Vier Jahre BERTA Lab: Was 80+ Projekte über Enterprise-KI gelehrt haben — Jubiläumsbilanz
Vier Jahre BERTA Lab: Was 80+ Projekte über Enterprise-KI gelehrt haben — Jubiläumsbilanz.
Vier Jahre BERTA Lab: Was 80+ Projekte über Enterprise-KI gelehrt haben — Jubiläumsbilanz
Datum: 2029-07-06 | Post #55 | Serie: BERTA Lab Insights 2029
Im März 2025 haben wir das BERTA Lab gegründet. Vier Jahre später: 80+ Projekte, 10 produktive KI-Tools in Betrieb, ein autonomes Agenten-Team — und eine Menge Dinge, die wir falsch gemacht haben, bevor wir sie richtig gemacht haben.
Hier ist, was wirklich zählt — ohne Marketing-Glanz.
Was wir gebaut haben
Die Zahl 80+ klingt beeindruckend. Die ehrlichere Aufschlüsselung:
- ~30 Proof-of-Concepts, die nie in Produktion gegangen sind
- ~20 Projekte, die auf dem Weg zur Produktion steckengeblieben sind (Infrastruktur, Budget, Change Management)
- ~10 Tools, die heute aktiv genutzt werden
- ~25 Lernprojekte — technisch fertig, aber bewusst nicht in Produktion gebracht
Die Erfolgsquote klingt nach "nur 12%". Aber die Lernprojekte sind keine Misserfolge — sie sind unser Curriculum gewesen.
Die 10 produktiven Tools
Was heute tatsächlich genutzt wird:
- Bea v3 — Voicebot für Vergaberecht (multimodale Sprachsteuerung)
- BRITE — RAG-basierter Config-Advisor für Enterprise-Software
- Hermes — Automatische Beschaffung von Compliance-Dokumenten
- Data Assessment — PII-Erkennung und DSGVO-Audit-Automatisierung
- Jura AI — Lokale Vertragsanalyse und Risikoklausel-Erkennung
- Meeting Appliance — KI-Transkription mit Sprecherdiarisierung
- PACT — Autonomes KI-Entwicklerteam (10+ Agenten)
- Paperclip — KI-Agenten-Managementsystem (intern genutzt)
- MailMind — E-Mail-Archiv-Analyse mit lokaler KI
- IT-Ausschreibungsanalyse — Multi-Agenten Go/No-Go für öffentliche Ausschreibungen
Was diese 10 gemeinsam haben: Sie lösen ein konkretes Problem für eine definierbare Nutzergruppe. Kein "KI für alles".
Die wichtigsten Lernkurven
Lektion 1: Infrastruktur ist die Hälfte der Arbeit
Im ersten Jahr unterschätzten wir systematisch den Infrastrukturaufwand. Ein RAG-System entwickeln dauert drei Wochen. Ein RAG-System, das zuverlässig, datenschutzkonform und wartbar läuft — das sind drei Monate.
Vector Databases, Embedding-Pipelines, Model-Serving, Monitoring, Update-Zyklen: All das ist unspektakulär und entscheidend.
Was wir gelernt haben: Infrastruktur als First-Class-Citizen behandeln — nicht als nachgelagerten Implementierungsdetail.
Lektion 2: Lokale Inference ist kein Nischenthema mehr
2025 war On-Premise-LLM-Inference noch exotisch. Heute ist es Standard für regulierte Branchen. Die Frage "Können wir unsere Daten in die Cloud schicken?" schließt für viele Kunden Cloud-LLMs von vornherein aus.
Unsere Investition in lokale Inference-Infrastruktur (vLLM, LiteLLM, NVIDIA NIM) hat sich vielfach ausgezahlt — nicht nur technisch, sondern als Vertriebsargument.
Lektion 3: Multi-Agenten-Systeme brauchen Governance
Einzelne Agenten sind beherrschbar. Agenten-Teams sind eine andere Kategorie. Die Koordinationslogik, die Konfliktauflösung, die Fehlerbehandlung — das ist eigene Architektur, die nicht "out of the box" mitgeliefert wird.
Unser PACT-Framework und die Paperclip-Integration haben hier die meisten Investitionen verschlungen — und den höchsten Hebel gebracht.
Lektion 4: Change Management schlägt Technologie
Die meisten KI-Projekte, die bei uns nicht in Produktion gegangen sind, sind nicht an Technologie gescheitert. Sie sind an Menschen gescheitert: Mitarbeiter, die sich nicht gehört fühlten. Manager, die das Budget nicht freigaben. Prozesse, die niemand ändern wollte.
KI ist ein Change-Projekt mit Technologieanteil — nicht umgekehrt.
Lektion 5: Evaluation ist nicht verhandelbar
"Das Modell gibt gute Antworten" ist keine Produktionsmetrik. In den ersten zwei Jahren haben wir viel zu wenig in systematische Evaluation investiert. Die Folge: Qualitätsprobleme, die erst im Produktionsbetrieb aufgetaucht sind.
Heute: Jedes System hat Eval-Sets, Baseline-Metriken und automatisierte Tests vor jedem Update. Das klingt selbstverständlich — war es für uns lange nicht.
Was sich in vier Jahren verändert hat
Die Modelle: Dramatisch besser. Ein heutiges 7B-Modell übertrifft das GPT-4 von 2024 in den meisten praktischen Aufgaben — bei einem Bruchteil des Compute-Aufwands.
Die Tools: Ausgereift. LangChain war 2025 noch Beta-Stadium. Heute gibt es stabile Produktions-Stacks.
Die Erwartungen: Realistischer. Die "KI macht alles"-Euphorie ist abgeklungen. Kunden wissen, was sie fragen müssen.
Die Regulierung: Strukturierter. Der EU AI Act schafft Klarheit — auch wenn die Compliance-Last real ist.
Das Team: Gewachsen — sowohl menschlich als auch algorithmisch. Unser KI-Agenten-Team besteht heute aus mehreren autonomen Agenten, die täglich Aufgaben übernehmen.
Was wir nicht gelernt haben
Ehrlichkeit gehört dazu: Es gibt Bereiche, in denen wir nach vier Jahren noch keine guten Antworten haben.
Langzeit-Evaluation: Wie misst man, ob ein KI-System über 12 Monate besser oder schlechter wird? Wir haben keine zufriedenstellende Antwort.
Fairness und Bias in geschlossenen Unternehmensdaten: Große Sprachmodelle haben Biases. Wie stark übertragen sich diese in enge Fachkontexte? Wir arbeiten dran.
Optimale Mensch-KI-Zusammenarbeit: Wie viel Autonomie ist in welchem Kontext richtig? Die Antwort ändert sich mit der Technologie — und mit dem Vertrauen, das über Zeit aufgebaut wird.
Was kommt
Die nächste Phase für das BERTA Lab: Weniger neue Projekte, mehr Tiefe in bestehenden. Die Grundlagen sind gelegt — jetzt geht es um Qualität, Skalierbarkeit und Wissenstransfer in die Breite.
Vier Jahre waren eine gute Schule. Die eigentliche Prüfung kommt jetzt — wenn KI nicht mehr Experimentierfeld ist, sondern Betriebsrealität.
Daniel Röding ist IT-Consultant bei Bechtle Bremen. Das BERTA Lab wurde 2025 gegründet, um Enterprise-KI-Projekte unter realen Bedingungen zu entwickeln und zu testen.
Danke an alle, die diesen Weg mitgegangen sind — Kollegen, Kunden, Partner, und die KI-Agenten, die mittlerweile fester Teil unseres Teams sind.
#BertaLab #EnterpriseAI #KI #FourYears #Lessons #Innovation #Mittelstand #DigitalTransformation