Abnahmekriterien für KI-Agenten: wann ein Agent fertig ist

Ein KI-Agent ist fertig, wenn er vorab vereinbarte Prüffälle besteht, nicht wenn er in einer Vorführung gut aussieht. Dafür legen Auftraggeber und Auftragnehmer vor dem Bau fünf Dinge schriftlich fest: die Prüffälle aus echten Vorgängen, die geforderte Trefferquote, den Umgang mit Ausnahmen, die Freigabe durch Menschen und die Frist zur Nachbesserung. Wer das erst nach dem Bau klärt, streitet über Eindrücke statt über Zahlen.

Warum Abnahmekriterien bei KI wichtiger sind als bei anderer Software

Klassische Software tut bei gleicher Eingabe immer das Gleiche. Ein Agent mit Sprachmodell antwortet in Grenzen unterschiedlich und macht Fehler, die man in der Vorführung nicht sieht. Ob er verlässlich arbeitet, zeigt sich erst an vielen echten Fällen. Das Thema beschäftigt auch die Anwender: Laut Bitkom nennen 26 Prozent der Unternehmen mit KI im Einsatz schlechte Qualität der Ergebnisse als Hindernis, 25 Prozent mangelnde Nachvollziehbarkeit. Messbare Kriterien machen beides prüfbar.

Die fünf Bestandteile

1. Prüffälle aus echten Vorgängen

Die Prüffälle stammen aus Ihrem Alltag: echte Aufträge, Anfragen oder Rechnungen aus den letzten Monaten, mit dem richtigen Ergebnis, das ein Mitarbeiter von Hand bestätigt hat. Erfundene Beispiele sind zu glatt. Wichtig ist die Mischung. Neben den Normalfällen gehören die schwierigen hinein: unvollständige Angaben, Tippfehler, ungewöhnliche Formate. Die Fälle werden vor dem Bau festgelegt. Ein Teil davon bleibt dem Bauenden unbekannt, damit nicht nur auf bekannte Fälle hin gebaut wird.

2. Trefferquote

Legen Sie für jede Aufgabe des Agenten fest, wie viele Prüffälle er richtig bearbeiten muss. Die Zahl hängt vom Schaden eines Fehlers ab. Bei einer Vorsortierung, die ein Mensch ohnehin prüft, darf sie niedriger liegen als bei einer Aufgabe, die direkt in ein Buchungssystem schreibt. Wichtig ist, was als „richtig“ zählt: Ist ein Fall richtig, wenn alle Felder stimmen, oder reicht es, wenn die wichtigsten stimmen? Das gehört in die Vereinbarung, mit Beispielen.

3. Umgang mit Ausnahmen

Kein Agent beherrscht jeden Fall. Entscheidend ist, was er tut, wenn er unsicher ist. Ein guter Agent gibt solche Fälle an einen Menschen ab und rät nicht. Vereinbaren Sie deshalb eine zweite Messzahl: Wie viele Fälle gibt der Agent zurück, und wie viele davon hätte er selbst lösen können? Ein Agent, der alles zurückgibt, ist sicher, aber nutzlos. Einer, der nie zurückgibt, macht Fehler im Verborgenen.

4. Freigabe durch Menschen

Legen Sie fest, welche Schritte ein Mensch freigibt, bevor sie wirken: zum Beispiel jede Mail an Kunden, jede Buchung über einer Grenze, jede Änderung von Stammdaten. Diese Freigaben gehören in den Test. Prüfen Sie auch, ob die Person, die freigibt, die nötigen Angaben vor sich hat, um wirklich zu entscheiden, und nicht nur abnickt.

5. Nachbesserung

Kein Agent ist nach dem ersten Tag im Betrieb fehlerfrei. Vereinbaren Sie deshalb, bis wann Abweichungen von den Kriterien kostenlos behoben werden. Bei uns sind es 60 Tage ab Abnahme, ohne Aufpreis, unbeschadet Ihrer gesetzlichen Rechte. Die Frist beginnt mit der Abnahme, damit sie Fehler aus dem echten Betrieb abdeckt und nicht nur aus dem Test.

Werkvertrag oder Dienstvertrag: nur der Rahmen

Rechtlich unterscheidet das Bürgerliche Gesetzbuch zwei Grundformen. Beim Dienstvertrag schuldet der eine Teil die versprochenen Dienste, der andere die Vergütung. Beim Werkvertrag schuldet der Unternehmer die Herstellung des versprochenen Werkes, der Besteller die vereinbarte Vergütung. Gegenstand kann auch ein durch Arbeit herbeizuführender Erfolg sein.

Für Sie heißt das: Wer einen fertigen Agenten bestellt, will einen Erfolg und nicht bloß Arbeitsstunden. Dann ist die Abnahme der Punkt, an dem geprüft wird, ob das Werk vertragsgemäß ist. Nach § 640 BGB muss der Besteller ein vertragsmäßig hergestelltes Werk abnehmen, wegen unwesentlicher Mängel kann er die Abnahme nicht verweigern. Als abgenommen kann ein Werk auch gelten, wenn der Unternehmer eine angemessene Frist zur Abnahme gesetzt hat und der Besteller sie nicht unter Angabe eines Mangels verweigert.

Das ist nur der gesetzliche Rahmen, keine Rechtsberatung. Wie Ihr Vertrag einzuordnen ist und was er im Einzelnen regelt, klären Sie mit Ihrer Rechtsberatung. Ohne messbare Kriterien bleibt aber auch der beste Vertragstyp unscharf, denn „vertragsmäßig“ lässt sich nur prüfen, wenn der Vertrag festlegt, was gemeint ist.

Eine Vorlage für die Vereinbarung

Halten Sie vor Baubeginn schriftlich fest:

• Welche Aufgaben der Agent übernimmt und welche nicht.
• Woher die Prüffälle stammen, wie viele es sind und wer das richtige Ergebnis bestätigt hat.
• Welche Trefferquote je Aufgabe gilt und was als richtig zählt.
• Wann der Agent einen Fall an einen Menschen abgibt.
• Welche Schritte ein Mensch freigibt.
• Wer die Abnahme erklärt und bis wann.
• Wie lange und zu welchen Bedingungen Abweichungen behoben werden.

Wie wir abnehmen

Bei unseren Einführungen legen wir die Abnahmekriterien gemeinsam mit Ihnen in den ersten zwei Wochen fest, noch vor dem Bau, auf Prüffällen aus Ihren echten Vorgängen. Der Agent geht erst in Betrieb, wenn er diese Prüffälle besteht. Danach gilt die Nachbesserung von 60 Tagen ab Abnahme, wie oben beschrieben.

Woran Sie schwache Kriterien erkennen

„Der Agent soll zuverlässig arbeiten“ ist kein Kriterium. „Der Agent bearbeitet von den vereinbarten Prüffällen mindestens den vereinbarten Anteil richtig und gibt den Rest an einen Menschen ab“ ist eines. Wenn Sie nach dem Lesen der Vereinbarung nicht sagen können, wie ein Dritter den Test wiederholen würde, ist sie zu vage.

Quellen

• Bürgerliches Gesetzbuch § 631 Vertragstypische Pflichten beim Werkvertrag
• Bürgerliches Gesetzbuch § 640 Abnahme
• Bürgerliches Gesetzbuch § 611 Vertragstypische Pflichten beim Dienstvertrag
• Bitkom, Presseinformation vom 14. September 2026: Erstmals nutzt die Mehrheit der Unternehmen KI

Anbieterangaben und Schätzungen sind im Text als solche benannt. Rechtliche Aussagen sind kein Rechtsrat.