Autor: Max Oppenheimer

Dieser Beitrag wurde von Max Oppenheimer verfasst. Er ist Projektreferent für das KI Wissens- und Weiterbildungszentrum bei „das Demographienetzwerk e.V.“ (ddn) und ist für die Austausch- und Vernetzungsarbeit zuständig.

Am 04.08.22 fand das zweite Austauschforum „KI in KMU“ statt. Das übergeordnete Thema dieser Runde war: „Lehren aus der KI-Implementierung – Was sollten andere beachten?“. Ziel war es, sich über mögliche Herausforderungen  auszutauschen, die einem bei der Implementierung einer KI-Anwendung begegnen können, sowie die passenden Lösungen zu identifizieren.

In unserem Format tauschten sich dieses Mal folgende Vertreter von KMUs aus:

Durch das Austauschforum konnten wieder viele wertvolle Erkenntnisse gewonnen werden, die im Folgenden beschrieben sind.

AI Washing: Nicht überall, wo KI draufsteht, ist auch KI drin!

Um die Diskussion anzuregen, eröffnete Herr Scheidig das Austauschforum mit einem kurzen Impulsvortrag dazu, wie der erste Versuch einer KI-Implementierung bei der C. Jentner GmbH verlief. Wie bereits im Nachbericht des ersten Austauschforums nachzulesen ist, wurde dort eine KI-Anwendung zur automatisierten Qualitätskontrolle implementiert. Das Ziel hierbei war zum einen, dass der Ausschuss unter den Werkstücken reduziert und zum anderen, dass die Mitarbeiterin, die für die manuelle Überprüfung zuständig war, entlastet werden sollte. Während diese Ziele durch eine Kooperation mit der Hochschule Pforzheim erreicht werden konnten und nun eine voll funktionsfähige und automatisierte KI-Anwendung bei der C. Jentner GmbH Einzug gefunden hat, verlief der erste Implementierungsversuch sehr viel holpriger.

Vereinfacht ausgedrückt, lässt sich der „Misserfolg“ des ersten Anlaufs auf einen unpassenden Kooperationspartner reduzieren. Dieser gab die Implementierungsstrategie vor, die zwischen Juli 2020 und Juni 2021 umgesetzt werden sollte. Im ersten Schritt sollte eine Tischapparatur geliefert werden, mit der manuell Bilder von den einzelnen Werkstücken aufgenommen und eine Fehlerannotation durchgeführt werden sollte, um im Anschluss die KI anzutrainieren. Die Bilder, sowie die entsprechende Beschreibung der Fehler, sollten als Grundlage für alle künftigen Schritte dienen. Im zweiten Schritt sollte dann eine Automation des Vorgangs mit Hilfe eines Cobots stattfinden.

Die ersten Probleme traten mit der Lieferung der manuellen Tischapparatur auf. Neben der minderwertigen Verarbeitung der Apparatur, musste die C. Jentner GmbH rund 5000 Bilder von OP-Pinzetten machen, sowie die Fehler annotieren. Allerdings musste dieser langwierige Prozess wiederholt werden, da die Lichtverhältnisse der Apparatur nicht ausreichten, um die KI anzutraineren.

Das Ergebnis war mehr als enttäuschend, als sich herausstellte, dass die Fehlererkennungsrate bei lediglich 27 Prozent lag und auch nur für eine Art von Werkstück, sowie eine einzige Fehlerkategorie funktionierte. Das IT-Unternehmen eröffnete daraufhin, dass für jede weiterer Fehlerklasse mindestens 10.000Bilder benötigt werden, um eine 80-prozentige Fehlererkennung zu ermöglichen und dass die C. Jentner GmbH für jede Kategorie extra zahlen müsse, was zuvor nicht vereinbart war. Daraufhin wurde die Zusammenarbeit beendet.

„Wir haben ein Angebotspapier gehabt, das waren 35 Seiten, das hätte einen dann schon mal zum Nachdenken bringen sollen. Und dann stand im Kleingedruckten, dass die uns keine „echte“ KI-Lösung verkaufen, sondern nur einen „aufgeblähten Algorithmus“. Aber im Nachhinein ist man immer schlauer.“

M. Scheidig, C. Jentner GmbH

Herr Scheidig zieht fünf Schlüsse aus diesen Erfahrungen:

  • Erstens: Man muss vorsichtig sein, wen man sich als KI-Partner aussucht. Insbesondere bei Firmen, die sich KI in der Bilderkennung auf die Fahne schreiben sei zu eruieren, ob dort tatsächlich KI gemacht wird. Man solle keine Scheu davor haben, tiefergehende Fragen zu stellen. Wenn z.B. mit Referenzprojekten geworben wird, kann eruiert werden, um was für Objekte es sich gehandelt hat, wie das Lichtsetup war, wie lange es gedauert hat, bis tatsächlich etwas realisiert wurde und wie die Erfolgsaussichten waren.
  • Zweitens: Man sollte die Kosten und möglichen Folgekosten genau betrachten und Verträge richtig durchgehen und im Idealfall juristisch prüfen lassen. Gute Referenzen, auch von namhaften Firmen, seien kein Garant dafür, dass alles immer mit rechten Dingen zugeht.
  • Drittens: Man sollte sich die Software und Anwendungen von Anfang an richtig und genau erklären lassen. Insbesondere was Erreichbarkeit angeht: was passiert im Störfall, wo werden Daten gespeichert, wer hat Zugriff, was passiert, wenn man Daten löscht, usw. und vor allem; was ist überhaupt machbar. Hier helfen ein Lastenheft und ein transparenter Umgang miteinander.
  • Viertens: Wie sieht der Verwaltungsapparat rund um das Projekt aus? Ist eine bestimmte Software vielleicht objektiv ein gutes Tool, für das konkrete Projekt aber vielleicht ungeeignet?
  • Und fünftens: Wenn man die Möglichkeit hat, sollte man sich unbedingt im vorhinein Informieren. Haben bspw. andere Firmen eine ähnliche Anwendung, gibt es Forschungseinrichtungen und Hochschulen, die sich mit einem passenden Projekt auseinandersetzen und ggf. als Kooperationspartner und Anlaufstelle dienen können, oder gibt es einen vergleichbaren Use Case, der auf die eigenen Bedürfnisse angepasst werden kann?

Kann es auch anders laufen?

Dass die beschriebenen Probleme keinen Einzelfall darstellen, kann auch Herr Barac bestätigen. Neben dem KI-gestützten CV Analyzer den die BTB GmbH einsetzt, bietet das Unternehmen auch eigene KI-Lösungen an. Dabei spiele insbesondere Transparenz eine enorm wichtige Rolle für das Unternehmen. Laut eigener Aussage sind sie, mittlerweile dazu übergegangen, keine Lösung zu garantieren, da oft unsicher ist, wie gut ein KI-Modell tatsächlich funktionieren kann. Verträge werden, so Barac, erst dann aufgesetzt, wenn mit einem KI-Team eine Prototyplösung entwickelt wurde, die eine gewisse Zuverlässigkeit absehbar macht.

Auch Herr Barac formuliert einige wichtige Aspekte, denen man bei der KI-Implementierung Beachtung schenken sollte. So sei die Zeitkomponente sehr wichtig. Und zwar in dem Sinne, dass man sich nicht Hals über Kopf in ein KI-Projekt stürzen darf und sofort mit der Umsetzung starten sollte. Vielmehr sollte man sich ausreichend Zeit für die Planung nehmen. Auch die Kooperation mit Forschungseinrichtungen wird als besonders positiv eingestuft, auch, oder insbesondere um Machbarkeiten noch Mal mit KI-Expert:innen abklären zu können. Einer der wichtigsten Punkte, der jedoch häufig über Erfolg oder Misserfolg eines KI-Projekts entscheide, sei die Datenqualität. Hier empfiehlt es sich im Zweifelsfall auch mehr Zeit dafür zu nutzen, um gute Daten zu generieren.

Die Projektgröße im Vorfeld abstecken

Von weiteren möglichen Problemen berichtet Herr Klingenberg von Berlin Recycling. Hier wird KI aktuell für die Routenoptimierung und Fahrerplanung genutzt.

Zusätzlich werden in immer mehr Abfallbetrieben Kehrmaschinen mit Bilderkennung ausgestattet. Hierbei kann Berlin Recycling aber bereits aus einem fachverwandten Projekt Erkenntnisse gewinnen, welches in Frankfurt stattgefunden hat. Hier hat man festgestellt, dass die Objekterkennung, neben dem Grad und der Art der Vermüllung, zusätzliche Daten sammeln könnte. Hierbei wurde überlegt, ob zum Beispiel zusätzlich kaputte Straßenschilder, oder abgebrochene Bordsteine mit in die Objekterkennung genommen werden sollten. Trotz ausreichender Bilder als Datengrundlage, wurde das Projekt viel zu groß und unübersichtlich.

In einem weiteren KI-Projekt, das aktuell bei Berlin Recycling in der Entwicklungsphase steckt, möchte man nun die Stressfaktoren für die Kraftfahrer ermitteln. Hier eröffnen sich aber nicht nur technische, sondern auch ethische Probleme. Denn während man den Stressfaktor über Wearables messen kann, wäre eine zusätzliche Videoerkennung fördernd für eine bessere Datenlage. Neben der Frage nach dem Datenschutz die sich hierbei stellt, kommt erschwerend hinzu, dass aktuell kein Unternehmen eine passende Lösung anbieten kann.

„Wir hatten aber, Gott sei Dank, bisher nur gute Erfahrungen mit unseren KI-Startups, deswegen bin ich auch guter Dinge, dass wir noch was Passendes finden“

J. Klingenberg, Berlin Recycling

Berlin Recycling konnte zusätzlich aus einem anderen IT-Projekt wertvolle Lehren zielen, bei  welchem  ähnliche Probleme wie bei der C. Jenter GmbH auftraten. Diese konnten nur mit viel Geld, Zeit und Geduld gelöst werden. Herr Klingenberg lernte daraus, dass man sich im Vorfeld selber intensiver mit dem Thema befassen muss, und nicht blind externen IT-Unternehmen vertrauen darf.

Expertise und das richtige Netzwerk

Es ist auf jeden Fall hilfreich ist, sich die KI- und IT-Expertise ins Haus zu holen, um mögliche Fehler zu vermeiden. Dabei reiche sogar auch mal ein:e Praktikant:in oder Werkstudent:in.

„In unserem Unternehmen sind ca. 500 Beschäftigte, ungefähr 100 arbeiten im Backoffice und davon sind wiederum rund 30 IT-affin und die haben sich jetzt auch so ein bisschen auf die Fahne geschrieben, die goldenen Grundregeln zu lernen, gerade bei technischen Projekten. Nämlich: <<Du brauchst die Zeit, du brauchst die Expertise und wenn’s irgendwann mal klemmen sollte, auch das Geld und den Mut haben zu sagen <ok ich mach’s jetzt weiter>, oder eben die Reißleine zu ziehen>>“

J. Klingenberg, Berlin Recycling

Nachdem es jedoch aktuell insbesondere im IT-Bereich an Fachkräften mangelt und vor allem kleine Betriebe große Probleme dabei haben, an die entsprechenden Fachkräfte zu kommen, sind regionale Angebote und Anlaufstellen zur Vernetzung umso wichtiger. Diese Forderung unterstreicht auch Herr Marker noch einmal:

„In meiner Betriebsgröße, also so bis 25 Mitarbeitenden, wird es halt echt schwierig, eigenes Personal zu holen und dann KI zu machen, oder aus eigener Kraft stark voranzutreiben. Und da brauchen wir einfach eine viel bessere Vernetzung!“

D. Marker, Polierscheibenfabrik Spaeth e.K.

Die wichtigsten Lehren die andere KI-Anwender:innen beachten sollten

Zum Abschluss der Diskussion gaben uns die Anwesenden noch in einer kurzen Blitzlichtrunde ihre wichtigsten Lehren aus der KI-Implementierung mit auf den Weg.

Besonders wichtig seien demnach: Vorausschau und Geduld, eine solide Datenbasis und die richtige KI-Strategie. Zusätzlich sollte man sich genug Zeit für Auftragsklärung nehmen, sich alle Prozesse ausführlich erklären lassen, selbst wissen, was man erreichen will und die Mitarbeitenden immer in den kompletten Prozess einbeziehen.

Haben Sie Fragen zu dem Artikel oder möchten Sie an den kommenden Austauschforen teilnehmen? Dann wenden Sie sich gerne an den zuständigen Mitarbeiter Max Oppenheimer unter: oppenheimer@ddn-netzwerk.de