Edge-KI für Mobilität: Fußgänger und Radfahrer zählen

In diesem Monat schließen wir unseren Teil eines öffentlich geförderten Forschungsprojekts zu KI-Kameras ab, die Daten zur aktiven Mobilität erfassen: wie viele Menschen an einem bestimmten Punkt zu Fuß oder mit dem Rad vorbeikommen und in welche Richtung. Geleitet hat das Projekt unser Partner, ein Start-up, das IoT-Ausrüstung für die Straßeninfrastruktur baut. Wir waren für den Embedded-KI-Teil verantwortlich: Aufzeichnung und Streaming auf den Kamerasystemen, Auswahl und Rollout der Erkennungsmodelle und deren Tests im Feld.

Es war nicht unser erster Kontakt mit KI-Kameras: Unseren ersten KI-Kamera-Demonstrator für die Straßeninfrastruktur haben wir bereits 2021 gebaut, und das ganze Jahr 2023 über haben wir geprüft, ob eine Stereokamera mit eigenem Bildverarbeitungsprozessor die Basis für einen Zähl-Pilot sein kann. Hier die Erkenntnisse, die wir daraus mitgenommen haben.

Warum auf der Kamera zählen

Ziel war nie das Video. Verkehrsplaner brauchen Zahlen pro Klasse, pro Richtung und pro Viertelstunde. Berechnet die Kamera diese selbst, muss kein Bild von Menschen das Gerät verlassen. Ein gutes Design behält Bilder auf dem Gerät, beschränkt den Fernzugriff streng und sendet nur anonyme Statistiken. Das vereinfacht die Diskussion um die DSGVO erheblich und ist umso wichtiger, seit das Europäische Parlament in diesem Monat den AI Act angenommen hat – mit besonderem Augenmerk auf Systeme, die Menschen identifizieren. Zu zählen, dass ein Radfahrer vorbeigefahren ist, ist etwas ganz anderes, als zu erkennen, wer es war.

Geräte am Straßenrand haben außerdem wenig Strom und oft nur schwachen Mobilfunkempfang. Ein paar Zahlen statt eines Videostreams zu senden, ist also nicht nur eine Frage des Datenschutzes.

Die Kamera entscheidet, welche Modelle Sie nutzen können

Inferenz auf dem Gerät bedeutet, dass das Modell auf dem Bildverarbeitungsprozessor der Kamera läuft. Es muss also zuerst in ein Format konvertiert werden, das dieser Prozessor versteht. In der Praxis hat das die Auswahl viel stärker eingeschränkt, als es jede Benchmark-Tabelle vermuten ließe:

• Leichtgewichtige Detektoren vom Typ SSD liefen flüssig auf dem Gerät und erkannten sowohl Menschen als auch Fahrzeuge.
• Kompakte YOLO-Varianten erkannten mehr Klassen, aber bei spürbar niedrigerer Bildrate.
• Spezialisierte Modelle, etwa nur für Fahrzeuge, können für eine Klasse sehr gut sein und kaum nützen, sobald sich die Anforderungen ändern.
• Die neuesten Architekturen sind nicht immer in einem Format verfügbar, das der Bildverarbeitungsprozessor unterstützt; ihre Konvertierung kann mehr Aufwand kosten als die restliche Pipeline.

Es gab noch eine zweite, weniger offensichtliche Einschränkung. Da die Erkennung in der Kamera läuft, ist das Gerät nicht dafür ausgelegt, ein aufgezeichnetes Video als Eingabe zu verarbeiten – genau so vergleicht man Modelle aber normalerweise am PC. Wir haben deshalb Aufzeichnungs- und Streamingfunktionen für die Kameras gebaut und eine Möglichkeit, jedes Modell auf derselben Aufzeichnung laufen zu lassen. So ließen sich alle Modelle anhand identischer Referenzvideos vergleichen.

Feldtests: jedes Ergebnis gegen eine manuelle Zählung

Laborergebnisse sagen wenig über eine Straße aus. Deshalb haben wir im Freien auf einem gemeinsamen Geh- und Radweg getestet, jede Session aufgezeichnet und die Zählungen der Kamera mit einer manuellen Zählung derselben Aufnahmen verglichen.

• Bei wenig Verkehr kam ein leichtgewichtiger Detektor mit Tiefeninformation und einem einfachen Bewegungsfilter nah an die manuelle Referenz heran.
• In Stoßzeiten, wenn Gruppen gleichzeitig vorbeikamen, hatten alle Modelle Probleme: Menschen wurden zusammengefasst oder übersehen, Fahrräder zu oft gezählt.
• Schwerere Modelle waren nicht automatisch besser, sobald sie auf dem Gerät laufen mussten.

Die Erkenntnisse betrafen meist nicht das Modell:

• Schwellenwerte sind ein Kompromiss, keine Lösung. Ein niedrigerer Erkennungsschwellenwert ließ das Modell mehr sehen, aber die Fehlerkennungen stiegen drastisch. Filtern nach Bewegung und Tiefe half mehr als das Feintuning des Schwellenwerts.
• Die Montage zählt so viel wie das Modell. Am besten waren die Zählungen dort, wo sich Wege nicht kreuzten und Menschen nicht am Rand des Sichtfelds stehen blieben. Auch die Montagehöhe verändert die Ergebnisse, besonders bei Gedränge.
• Die Stromversorgung prägt alles. Anforderungen an einen geringen Stromverbrauch schränken die Hardwareauswahl ein und verteuern jeden Testtag vor Ort – planen Sie sie von Anfang an ein.

Was wir allen raten, die Zählungen per Kamera planen

• Legen Sie Klassen, Richtungen und akzeptablen Fehler fest, bevor Sie Hardware auswählen. Eine Tagesstatistik und ein Sicherheitsauslöser brauchen eine ganz unterschiedliche Genauigkeit.
• Wählen Sie die Edge-Hardware im Wissen, dass sie die nutzbaren Modelle begrenzt, und prüfen Sie vor dem Kauf den Konvertierungsweg für die gewünschten Modelle.
• Planen Sie Referenzdaten ab dem ersten Tag ein: Videoaufzeichnung und manuelle Zählung für jeden Test, bei ruhigem wie bei dichtem Verkehr.
• Testen Sie im Gedränge und an der echten Montageposition. Auf einem ruhigen Gehweg sieht jedes Modell gut aus.
• Behalten Sie Bilder auf dem Gerät und senden Sie nur die Zahlen, die der Anwendungsfall braucht.

Die nächste Frage betrifft meist das Training. Mit Modellen, die auf öffentlichen Datensätzen vortrainiert sind, kommen Sie weit; um die Lücke in vollen Szenen zu schließen, braucht es Daten von echten Montagepositionen, und synthetische Bilder sind eine Möglichkeit, die Kosten für deren Annotation zu senken.

Objekterkennung am Edge ist keine verkleinerte Version von Cloud-KI. Es ist ein anderes Design, bei dem Hardware, Montage und Stromversorgung genauso zählen wie das Modell und Datenschutz von Anfang an eingebaut werden kann, statt ihn später nachzurüsten. Wenn Sie an einem Gerät oder Smart-City-Projekt arbeiten, das sehen und zählen soll, werfen Sie einen Blick auf unsere IoT-Leistungen oder schreiben Sie uns.