1. Eine Aufgabe mit Anfang und Ende auswählen
Ein geeigneter erster Umfang kann freigegebene Produktinformationen in einen prüfbaren Textentwurf übertragen oder ein vorhandenes Briefing strukturieren. Das sind Planungsideen für einen neuen Auftrag. Das Briefing beschreibt Startpunkt, Eingabe und den Zustand, in dem die Aufgabe an eine Person übergeben wird.
Zunächst wird der bestehende Ablauf betrachtet: Wer sammelt Informationen, wer entscheidet und welche Nacharbeit entsteht? Regelbasierte Schritte und generative Aufgaben werden getrennt beschrieben. Der Pilot soll eine konkrete Annahme prüfen; ein allgemeiner Wunsch nach einem Agenten reicht dafür nicht.
2. Datenzugriff und zulässigen Umfang eingrenzen
Der erste Versuch verwendet ausgewählte, freigegebene Materialien. Aktualität, Zuständigkeit und erlaubte Nutzung werden dokumentiert. Nicht benötigte Daten werden aus dem Pilotumfang gehalten. Zugriffsrechte und technische Verarbeitung sind Teil der Abstimmung mit den verantwortlichen Personen, bevor eine Integration umgesetzt wird.
Welche Inhalte gelten als verlässlich und was geschieht bei fehlenden Angaben? Diese Fragen gehören in die Spezifikation. Eine Ausgabe muss Unsicherheit und offene Punkte erkennbar lassen. Ein fehlendes Produktmerkmal darf nicht durch eine überzeugend formulierte Erfindung ersetzt werden.
3. Ausgabequalität mit Beispielen beurteilen
Das NIST-Profil zu generativer KI beschreibt unter anderem plausibel präsentierte falsche Inhalte und empfiehlt nachvollziehbare Prüfungen. Für unseren Pilot leiten wir daraus konkrete Testfälle ab. Der freiwillige Rahmen ist eine fachliche Orientierung; die Anwendung benötigt eine eigene Bewertung.
| Testfall | Prüfkriterium | Vorgesehene Reaktion |
|---|---|---|
| Vollständige Eingabe | Fakten und gewünschtes Format stimmen | Entwurf zur menschlichen Prüfung |
| Fehlendes Merkmal | Lücke bleibt sichtbar | Rückfrage oder markierter offener Punkt |
| Widersprüchliche Quelle | Konflikt wird nicht verdeckt | Übergabe an die zuständige Person |
| Technische Unterbrechung | Kein unbemerkter Folgefehler | Abbruch und nachvollziehbarer Ersatzablauf |
4. Menschliche Prüfung als echte Arbeitsphase planen
Die prüfende Person braucht Originalgrundlagen, Entwurf und erkennbare offene Punkte. Ihre Aufgabe wird konkret benannt: sachlich prüfen, Änderungen vornehmen oder eine Übergabe freigeben. Für den Pilot kann zunächst ausschließlich eine Ausgabe zur Prüfung vorgesehen werden, bevor externe Aktionen überhaupt Teil des Umfangs sind.
Die technische Anbindung wird separat beschrieben. Bei späteren Änderungen in Zielsystemen werden Rechte, Freigabe, Fehlerbehandlung und Rücknahme mitgeplant. Ein Textprototyp beweist noch keine zuverlässige CRM-, Mail- oder Produktionsintegration. Die Abnahme bezieht sich auf den tatsächlich getesteten Prozess.
5. Nutzen und Nacharbeit gemeinsam messen
Im Pilot werden Bearbeitungszeit, Korrekturen, Fehlerfälle und erfolgreiche Übergaben nach vereinbarten Definitionen erfasst. Auch Vorbereitung und Prüfung zählen zum Aufwand. Eine einzelne gelungene Ausgabe liefert keine belastbare Aussage über den gesamten späteren Betrieb oder alle Datentypen.
Der Abschluss nennt getestete Fälle, verwendete Systeme und verbleibende Grenzen. 360° Company kann Prozess, Prototyp und die vereinbarten Übergaben begleiten. Anschließend wird entschieden, ob der Ablauf weiterentwickelt, eingegrenzt oder vorerst verworfen wird. Der nächste Integrationsschritt bekommt eine eigene Freigabe und Prüfung.
Ein Angebots- und Abnahmeblatt für den Pilot verwenden
Vor dem Versuch wird ein kleiner Testkorpus mit vollständigen, fehlenden und widersprüchlichen Angaben beschrieben. Die verantwortliche Person bestätigt Datenbasis und erwartete Reaktion. Das Prüfblatt hält Eingabe, Ausgabestand, menschliche Korrektur, Fehler und Übergabe getrennt fest. Ein einzelner gelungener Entwurf ist kein Nachweis eines produktiven Gesamtprozesses.
Das Angebot benennt erlaubte Zugriffe und Aktionen. Eine reine Ausgabe zur Prüfung wird von einer späteren Änderung in einem Zielsystem getrennt. Technische Unterbrechung, Abbruch und Ersatzablauf gehören in die Abnahme. Erst der dokumentierte Befund entscheidet, ob Integration oder weitere Aufgaben sinnvoll sind.
| Prüffall | Vorab vereinbarte Reaktion | Im Ergebnis dokumentieren |
|---|---|---|
| Vollständige Eingabe | Entwurf im gewünschten Format zur Review | Fakten, Korrekturen und menschliche Freigabe |
| Fehlende / widersprüchliche Daten | Lücke oder Konflikt sichtbar lassen | Offene Frage und Übergabe an Verantwortliche |
| Technische Unterbrechung | Abbruch oder benannter Ersatzweg | Befund ohne unbemerkte Folgeaktion |
| Auswertung | Vorbereitung, Prüfung und Nacharbeit mitzählen | Tatsächlich getesteter Umfang statt behaupteter Zeitersparnis |
Checkliste für Ihr Briefing
- Prozessanfang, Ende und verantwortliche Person festlegen
- Freigegebene Quellen und erlaubte Datenverwendung dokumentieren
- Fehlende und widersprüchliche Eingaben als Testfälle aufnehmen
- Qualitätskriterien vor dem ersten Modellversuch beschreiben
- Prüfung, Freigabe und Fehlerübergabe konkret planen
- Zeitaufwand einschließlich Nacharbeit und Grenzen auswerten
Fachliche Quellen
- NIST: AI Risk Management Framework
Freiwilliger Rahmen für die Bewertung und Gestaltung von KI-Systemen.
- NIST: Generative AI Profile, NIST AI 600-1
Falsche generative Inhalte und nachvollziehbare Prüfung von Systemgrenzen; insbesondere Abschnitte 2.2 und Measure 2.5.
Die passenden Leistungen verbinden
- KI-Agenten, Prozesse und Prototyping
- Deklarierte Kompetenz: Agents und Automation
- KI-Content als eigener Produktionsumfang
- Verantwortlichkeiten im digitalen Auftrag
Welche Bestandteile Ihr Projekt benötigt, klären wir anhand von Ziel, Fläche, Timing und gewünschtem Ergebnis.
Projekt besprechen