dot.intern - Interner Einsatz von Künstlicher Intelligenz (KI)

Im letzten Newsletter haben wir erzählt, wo wir künstliche Intelligenz, repräsentiert durch Large Language Models (LLM) in der dot consulting AG einsetzen. In diesem Beitrag möchte ich diesen Einsatz detaillieren und mögliche Entwicklungen antizipieren. Es ist eine Art "Nabelschau" wo und wie wir LLM verwenden und zukünftig eventuell verwenden könnten. Dieser Beitrag richtet sich insbesondere an unsere Mitbewerber. Kunden dürfen natürlich auch gerne lesen. 

Bevor wir starten: Bedenken hinsichtlich Datenspeicherung

Wir sind zur Vertraulichkeit verpflichtet. So publizieren wir keine Lieferobjekte unserer Kunden im Internetz, wir quatschen auch nicht im Zug über unsere Kunden oder bei Kunden über andere Kunden. Wir hüten das Wissen und mögliche Artefakte unserer Kunden sorgsam. Daher verbietet sich, das Kundenwissen in ein proprietäres Modell zu kippen, das alle Prompts irgendwo speichert und für weitere Zwecke unverschlüsselt verwertet. Das zwingt uns, dass wir "offene" Modelle selber betreiben. 

Diese Bedenken gelten insbesondere für unseren Beruf. Ob andere Unternehmen anderen Branchen ihre Prompts freimütig den üblichen Verdächtigen anvertrauen, müssen sie selbst beantworten. Wir möchten auch nicht deren Entscheidung werten.

Daher unterhalten wir derzeit unsere eigene kleine LLM-Infrastruktur. Gewisse "offene" Modelle können auf einem Server installiert und dort auch ausgeführt werden, ohne dass irgendwelche Prompts, Tokens oder Kontexte in die Cloud "wandern". Die "offenen" Modelle werden von unterschiedlichen Organisationen kompetitiv entwickelt. "Offen" ist jedoch dehnbar und nicht eng definiert. Manche Modelle sind in der Lizenzierung respektive "Benutzung" offen, andere publizieren Auszüge ihrer Trainingsdaten respektive Quellen. Demgegenüber existieren komplett geschlossene Systeme, die zu keinerlei Transparenz verpflichtet sind. Der populärste, aber auch innovativste Anbieter geschlossener Systeme ist derzeit übrigens OpenAI. Vermutlich ist Name (noch) kein Programm. 

dot-Einsatz: Kleine Helferlein für Zusammenfassungen

Du hast ein Fotoprotokoll, ein Dokument, einen Miro-Export, einen Blog, eine riesige Liste von Kommentaren - und du brauchst eine Zusammenfassung. Hier sind die LLM unschlagbar und unbestritten. Weil hier eignet sich das Wahrscheinlichkeitsprinzip eines LLM bestens für die Aufgabe. Auch der tschegg.io nutzt LLM für Zusammenfassungen der Freitext-Felder oder individuellen Umfrageergebnisse wie z.B. für den leadership.tschegg oder roles.tschegg. 

dot-Einsatz: Wissen abfragen mit RAG

Wir haben unser Intranet, Website, Blogs und Schulungsunterlagen vektorisiert. Der Text ist in Scheibchen geschnitten. Eine Art Suchmaschine durchsucht diese Scheibchen und fügt die passendsten automatisch in den Kontext des Promptes. Dadurch kann das LLM den dot-spezifischen Kontext dynamisch und mit jeder Abfrage berücksichtigen. Das nennt man auch Retrieval-Augmented Generation (RAG). Freilich ist der Kontext unseres LLM begrenzt. Wir können also keine kompletten Bücher beifügen, sondern bloss eine Anzahl Scheibchen davon. Um einen (noch) grösseren Kontext zu erlauben, müssten wir unsere Hardware-Infrastruktur mindestens verdreifachen. Aufwand-Nutzen wären unausgeglichen. 

Für Externe bieten wir dieses RAG basierend unserer Blogs an. Der Prompt wird also automatisch um relevante Blog-Inhalte erweitert. Wir bieten diesen Service mit best-effort. Wir garantieren keine permanente Verfügbarkeit und/oder kommerzielle Antwortgeschwindigkeiten, erwartbar sind 15-20 Token pro Sekunden. 

Hier kann man das RAG testen (auf den "Zauberstab" unten rechts klicken): http://www.dotag.ch/blog/

dot-Einsatz: Symbolbilder generieren

Wir haben zwar eine Stock-Bilddatenbank abonniert. Aber ganz ehrlich: Diese Stockfotos waren nie sehr überzeugend. Auf Pixabay fanden wir weitaus bessere Bilder. Pixabay basiert auf "Ruhm und Ehre". Die Teilnehmenden können ihre eigenen Fotos hochladen und hoffen auf eine Weiterverwendung gemäss Lizenzvereinbarung.  Mit LLM können heutzutage die fantasievollsten Stockfotos generiert werden. Gewiss wiederholen sich diese LLM-Bilder. Dennoch können sie abstrakte Blogs wie diesen gezielt anreichern respektive den Fliesstext auflockern. 

Generiertes Symbolbild für einen superselbstbewussten (bewusst männlichen) Consultant, der alles weiss und kann. 

dot-Einsatz: Zweitmeinung generieren

Ein einigermassen umstrittener Einsatz ist die Generierung von Zweitmeinungen. Umstritten, weil LLM lediglich Mittelmässigkeit und Wahrscheinlichkeit und Redeschwall kreieren, wo der Kontext ungenügend ist. Umstritten andererseits, weil dadurch das Wissen respektive der Kontext nicht innerhalb der dot consulting AG transportiert und vervielfältigt werden kann. Trotzdem kann das LLM hier als Gesprächspartner für diffizile, heikle und knifflige Situationen dienen, wo nicht mehrere dots gleichzeitig unterwegs sind. Oftmals genügt bereits das Formulieren einer guten Frage, um die eigenen Gedanken weiter zu schärfen und dadurch Mehrwert für den Kunden zu schaffen. 

dot-Einsatz: Übersetzungen

LLM können rasch und verlässlich Texte übersetzen. Das ist insbesondere relevant, wo schützenswerte Kundendaten betroffen sind. Die meisten Kunden haben bereits interne Übersetzungsmodelle. Dort, wo sie (noch) fehlen, können wir mit unserer LLM-Infrastruktur assistieren.

Übrigens war der erste Einsatz eines Sprachmodelles bereits vor Jahren und vor dem LLM-Boom, dass wir die Sprache von Texten, insbesondere Kommentaren im tschegg.io erkennen konnten. 

dot-Einsatz: Technische Fragen beantworten

LLM haben ja das gesammte Internetz seit 2023 plusminus abgegrast. Darunter auch etliche Foren. So genau weiss das leider niemand (mehr) - Betriebsgeheimnis mindestens für OpenAI. Jedenfalls vereinfacht das LLM die Beantwortung gängiger technischer Fragen im Consulting-Alltag. Wie mache ich einen Screenshot auf dem iPhone? Wie setze ich einen Ceph-Cluster auf? Wie formuliere ich JQL für Jira? Wie schneide ich User Stories? Wie mounte ich ein Samba-Share in Mac OS? Was sind die Phasen der Teambildung? Dieses Wissen ist dank LLM nun sehr zugänglich-niederschwellig und nicht mehr in irgendwelchen Foren-Threads versteckt. Solche Fragen sind auch maximal unbedenklich. 

Und wie bemerken unsere Kunden das?

Im heutigen Ausbauschritt bemerken unsere Kunden diese "Helferlein" im Hintergrund nicht. Das einzige, was einigermassen sichtbar ist, ist unser Blog-Chatbot. Derzeit optimieren wir gezielt, können hier und da einige Minuten freischaffen, kumuliert natürlich in Stunden. Diese Stunden spart dann der Kunde. Wesentlich signifikanter ist das Potenzial in den möglichen zukünftigen Einsatzfelder von LLM. 

Potenziell bedenkenswerte Einsatzfelder

Unser LLM-Einsatz ist verhältnismässig konservativ. Wir verwenden LLM, wo sinnvoll und unbestritten. Folgende Einsatzfelder können wir uns aber mittelfristig vorstellen:

Vorbedingung: Consulting LLM Fine-Tuning

Als eine Art Vorbedingung erachten wir das Fine-Tuning eines Consulting Modells. Es schwirren auf Hugging Face bereits einige öffentliche Datasets mit dem Stichwort "Consulting". Diese sind aber nicht auf unsere Branchen oder Kunden spezialisiert. Sie sind nicht einmal auf die klassische Unternehmensberatung ausgerichtet. Das Erstellen von Datasets ist mühsam, das Fine-Tuning eines Modells ist rechenintensiv. Derzeit scheuen wir den Aufwand. Ausserdem sind wir eine kleine Firma. Unsere Kapazitäten sind begrenzt, wir investieren maximal 10% unserer Zeit in strategische Themen. Und wir haben noch andere Ideen im Backlog bereits priorisiert. Doch ausschliessen möchten wir noch nichts. 

Mit Consulting Modell: dot-Vorgehensmodelle kontextuell adaptieren

Mit unserem "eigenen" Modell (Fine-Tuning) könnten wir Vorgehensvorschläge adaptieren. Die Auftragsklärung erfolgt plusminus bereits elektronisch mit Vorlagen. Wir könnten diesen Prozess weiter optimieren, mehr Kontext sammeln und dann mit unserem eigenen Modell passgenaue Offerten, Fliesstexte oder Visualisierungen erstellen. Die Weiterentwicklung unseres Vorgehensmodell müssten wir lediglich periodisch wieder in Datasets komprimieren für das ebenso periodische Fine-Tuning. Dadurch könnten wir auch weitere Mitarbeitende in unseren Vorgehensmodellen schulen, eventuell sogar die Einstiegshürde für eine Anstellung bei der dot consulting AG senken. 

Mit Consulting Modell: Chatbot erstellen

Der jetzige Blog-Chatbot ist noch einigermassen dumm. Es ist nur ein Blog-RAG. Er kann keine einzigartigen Probleme lösen. Er berücksichtigt auch nicht unser Vorgehensmodell - es sei denn, ein Stichwort triggert ihn gerade und er findet im Blog etwas Übereinstimmendes. Hier könnten wir unser "eigenes" Modell (Fine-Tuning) auch als Chatbot für Marketingzwecke einsetzen. Natürlich würden wir die Antworten mit einem "Wasserzeichen" versehen und für die Umsetzung uns selbst empfehlen. 

Sind wir nun AI-Experten? Machen wir AI-Consulting?

Für uns sind LLM Werkzeuge, welche uns in unserer Arbeit unterstützen. Wir prognostizieren keine direkte Konkurrenz. Das reine "Abfragewissen" war ja bereits mit Google demokratisiert; kluge Suchanfragen konnten bereits die meisten handwerklichen und methodischen Fragen beantworten. Die LLM vermögen nun, die Fragen rascher und einfacher beantwortet zu wissen. Die Fähigkeit, komplexere Suchanfragen zu bauen, wird schliesslich um das sogenannte Prompt Engineering erweitert - aber nicht ersetzt.

Wir machen kein AI-Consulting, wie du mit AI dich überflüssig machen kannst. Wir befähigen dich auch nicht im Prompt Engineering. Hier mögen andere uns übertreffen. Wir erachten Prompt Engineering als eine weitere existenzielle digitale Fähigkeit in der Domäne "Information and data literacy" der EU beispielsweise. Hier investieren wir in die Befähigung der dots mit regelmässigen Learning Nuggets. 

Unbestritten ist, dass LLM unsere Arbeit beeinflusst. Wir werden in gewissen Aufgaben schneller. Das klassische Workshop-Protokoll ist nun in wenigen Minuten erledigt. Mit einem "eigenen" Modell können wir eventuell die Ausbildungszeit neuer Mitarbeitende verkürzen. Wir können eventuell die Varianz unserer Qualität stabilisieren.

Falls du ein Mitbewerber bist, der unseren LLM-Einsatz reflektieren möchte, eventuell um deinen eigenen anzuregen, kannst du uns ebenso kontaktieren wie ein Kunde, der mit uns seinen LLM-Einsatz im Kontext der Organisationsentwicklung mittelfristig wegleiten möchte. LLM verändert bereits jede Organisation - wichtig also, dass man hier als Organisation den richtigen Rahmen setzt.