Open Source-basierte GenAI-Technologie von Comma Soft emanzipiert europäische Unternehmen von LLM-as-a-Service-Anbietern

Jedes sechste Unternehmen plant laut dem Branchenverband Bitkom den Einsatz von Generativer KI. Gleichzeitig können sich Unternehmen derzeit nicht auf die Qualität von Tools wie ChatGPT verlassen, wie Wissenschaftler:innen der Universitäten Stanford und Berkeley in einer Studie kürzlich herausfanden. „Wir beobachten in den letzten Monaten eine zunehmende Nachfrage seitens unserer Kunden bei einer gleichzeitig kritischen Haltung gegenüber den auf dem Markt verfügbaren LLM-as-a-Service-Lösungen“, bestätigt auch Benjamin Schulte, COO der Comma Soft AG, und ergänzt: „Bei Unternehmen, die im europäischen Raum tätig sind, bestehen bei den Tools von US-Anbietern oftmals Bedenken, ob regulatorische Anforderungen ausreichend erfüllt werden.“ Diese Regularien umfassen bspw. die EU-DSGVO, das Geschäftsgeheimnisgesetz oder branchenspezifische Vorgaben. Hinzu kommt, dass im Business-Kontext eines spezifischen Unternehmens Trainingsdaten für GenAI-Lösungen benötigt werden, die in den bisherigen Tools nicht enthalten sind, z. B. vertrauliche Daten aus eigenen Informationssystemen. „Unternehmen suchen Antworten darauf, wie sie mit diesen Limitierungen umgehen können und fragen uns vermehrt um Rat, da wir mit unserer mehr als zehnjährigen Erfahrung in KI-Forschung, -Beratung und -Lösungsentwicklung für sie der erste Ansprechpartner sind. Mit unserem eigenentwickelten LLM bieten wir unseren Kunden nun die technologische Basis für eine unbedenkliche GenAI-Nutzung und unterstützen sie über den gesamten Prozess von der Evaluation über die Einführung bis zur produktiven Nutzung“, so Benjamin Schulte.

Unbedenklicher GenAI-Einsatz dank Open Source

Das LLM von Comma Soft basiert auf einem Open Source-Foundation-Modell, aktuell Llama 2 von Meta, und kann sowohl on-premises als auch in einer beliebigen Cloud-Umgebung gehostet werden, bspw. in Deutschland. „Unternehmen können damit eine unternehmenseigene GenAI-Lösung schaffen, bei der sie die volle Kontrolle über ihre Daten behalten, da diese nicht extern weitergegeben und auch nicht automatisch für das Modelltraining verwendet werden“, erklärt Dr. Andrej Fischer, Executive Manager und einer der GenAI-Expert:innen der Comma Soft AG. Die Unternehmen behalten so auch die volle Kontrolle, wenn es um das Nachtrainieren mit den unternehmenseigenen Daten geht. Dies ermöglicht es, das LLM für spezielle branchen- sowie fach- und unternehmensspezifische Anwendungsfälle nachzutrainieren sowie bestehende Fachanwendungen und Datenbanken per Plugin zu integrieren.

Mit dieser technologischen Basis können Unternehmen:

• Eine auf ihre Anforderungen zugeschnittene GenAI-Lösung einführen
• Regulatorische & Compliance-Anforderungen nachweisbar erfüllen, z. B. die EU-DSGVO
• GenAI in deutscher Sprache mit hochwertiger Qualität nutzen
• Mitarbeiter:innen gezielt in ihren Arbeitsabläufen unterstützen
• Selbst bestimmen, wie ihre GenAI-Lösung gehostet wird, bspw. on-premises oder in einer deutschen Cloud-Umgebung
• Jetzt & in Zukunft flexibel & kosteneffizient weitere Anwendungsfälle abbilden

„Unternehmen können beim Thema Generative KI nicht länger zögern, da immer mehr Menschen solche Lösungen auch privat nutzen und die schnellen Ergebnisse schätzen. Mitarbeiter:innen wünschen sich einen solchen digitalen Assistenten auch im Arbeitsalltag – und nutzen ihn eventuell bereits ohne das Wissen des Unternehmens. Wir haben deswegen unser eigenes ‚CommaGPT‘ als eine auf der Azure API basierende Weiterentwicklung von ChatGPT-4 bereits seit Mai für alle unsere Mitarbeiter:innen und ausgewählte Kunden im täglichen Einsatz. Da aber neben den rechtlichen Rahmenbedingungen auch Qualität, Relevanz und Konsistenz im Unternehmenskontext enorm wichtig sind, wird bei den marktüblichen LLM-as-a-Service-Lösungen in der Regel ein Nachrüsten erforderlich sein. Das ist mit hohem Aufwand und zusätzlichen Kosten verbunden, wobei letztere durch Pay-per-Token-Modelle gerade für den produktiven Einsatz in Volumenprozessen in Zukunft weiter steigen“, sagt Dr. Andrej Fischer und ergänzt: „Hier können Unternehmen ihre Mitarbeiter:innen unterstützen, indem sie eigene GenAI-Lösungen bereitstellen, die nicht nur die Business-Anforderungen erfüllen, sondern die durch gezielte Weiterentwicklung und Individualisierung auch hilfreicher sein können, als die derzeit auf dem Markt verfügbaren Modelle.“

Skalierbarkeit und Performance ohne Kostenfalle

Die Einführung einer eigenen GenAI-Lösung stellt gerade für mittelständische Unternehmen eine große Herausforderung bezüglich der IT-Ressourcen dar. Aber auch Konzerne sind aufgrund ihrer hohen User-Zahlen darauf angewiesen, dass Performance und Kosten im Verhältnis zueinander stehen. Dr. Lars Flöer, Lead Consultant Artificial Intelligence der Comma Soft AG, entwickelt mit seinem Team das LLM dafür entsprechend skalierbar: „Im Gegensatz zu As-a-Service-Lösungen müssen Unternehmen bedenken, dass sie bei einem selbstbetriebenen LLM neben dem Modell und den Trainingsdaten auch eine entsprechende IT-Infrastruktur benötigen, insbesondere Kapazitäten für das Finetuning und Hosting. Für den großen Mittelstand und selbst für Konzerne ist dies oft mit hohen Investitionen und Umsetzungsrisiken verbunden. Daher war es uns wichtig, bei unserem LLM eine technologische Basis zu schaffen, die dieses Problem löst.“

Um eine sowohl kosteneffiziente als auch hochperformante Operationalisierung zu gewährleisten, setzt die Comma Soft AG bei ihrer LLM-Technologie u. a. auf die folgenden Bausteine:

• Optimierte Trainingsverfahren, bei denen nicht das gesamte Modell, sondern nur die relevanten Modelteile (nach-)trainiert werden, wodurch weniger Trainingsdaten und Hardware nötig sind (LoRa & QLoRA).
• Effizientes Hosting, bei dem das fertig trainierte LLM hardware-sparend mit wenigen der kostspieligen und z. T. schwer erhältlichen Grafikkarten betrieben wird (Inferenz-Quantisierung).
• Maximale Performanz und Skalierbarkeit, bei der auch Tausende Nutzer:innen dank dynamischer Lastverteilung ohne Verzögerungen zeitgleich auf das LLM zugreifen können (Continuous Batching, Autoscaling).

Entwicklungspartnerschaften als Treibstoff für den Wirtschaftsstandort Deutschland

Da derzeit viele Unternehmen vor der Herausforderung stehen, wie sie GenAI selbst kosteneffizient und sicher betreiben können, setzt sich Comma Soft für Entwicklungspartnerschaften ein, wie Benjamin Schulte betont: „Statt jeweils allein an einer Lösung zu arbeiten, können wir mit unserem ‚Schwarmwissen‘ viel mehr bewegen und einen weitaus größeren Nutzen erzielen. Wir laden daher alle interessierten Unternehmen dazu ein, mit uns in den Erfahrungsaustausch zu gehen und gemeinsam GenAI reif für den europäischen Markt zu machen.“

Wenn Sie sich zu diesem Thema austauschen oder bei der Entwicklung der LLM-Technologie von Comma Soft partnerschaftlich mitwirken möchten, wenden Sie sich an den LLM-Taskforce-Leiter der Comma Soft AG Dr. Valentin Kemper: Hier können Sie Kontakt aufnehmen.

Weitere Informationen finden Sie zudem hier:

• Generative KI-Lösungen für Unternehmen
• ChatGPT & Co unter der Lupe: Was kann Generative KI/GenAI?