Prompt Engineering im Now Assist Skill Kit: was nach hundert Iterationen übrig bleibt

Seit dem Xanadu-Release baue ich regelmäßig eigene Skills mit dem Now Assist Skill Kit, und inzwischen sind über die Projekte einige Dutzend Iterationen zusammengekommen: Zusammenfassungen für Spezialprozesse, Strukturierung von Freitext-Meldungen, Entwürfe für Management-Kommunikation. Zeit, die Erkenntnisse aufzuschreiben, die mir am Anfang gefehlt haben, weil sie in keiner Dokumentation stehen.

Der Prompt ist Code und gehört auch so behandelt

Die größte Falle ist organisatorisch, nicht technisch: der schleichende Prompt. Drei Leute formulieren über Monate daran herum, jeder mit guten Absichten, und am Ende weiß niemand mehr, warum welcher Satz drinsteht und welche Änderung welche Wirkung hatte. Das Ergebnis verschlechtert sich schubweise, und keiner kann sagen, seit wann.

Die Abhilfe ist dieselbe wie bei jedem anderen Artefakt: Versionierung, definierte Testfälle, Review vor Änderungen. Jede Prompt-Änderung läuft gegen dieselbe Sammlung von Beispiel-Eingaben wie die Version davor, und das Skill Kit bringt die Testmöglichkeiten dafür mit. Zehn repräsentative Fälle reichen für den Anfang, darunter bewusst zwei oder drei schwierige. Wer das von Tag eins macht, erkennt Verschlechterungen sofort statt drei Wochen später im Beschwerde-Ticket.

Beispiele schlagen Beschreibungen

Die Erkenntnis, die meine Skills am deutlichsten verbessert hat: Statt in fünf Sätzen zu beschreiben, wie die Ausgabe aussehen soll, lieber ein vollständiges Beispiel der gewünschten Ausgabe in den Prompt. Das Modell folgt Mustern zuverlässiger als Anweisungen.

Zwei Beispiele decken erstaunlich viel ab, eines für den Normalfall und eines für einen Randfall, etwa einen Datensatz mit dünner Informationslage. Gerade das Randfall-Beispiel zahlt sich aus, weil es dem Modell zeigt, wie Zurückhaltung aussieht: kurze Ausgabe, explizite Lücken-Markierung, kein Auffüllen mit Plausiblem.

Das Grounding entscheidet mehr als die Formulierung

Wenn ich den Aufwand meiner Iterationen ehrlich bilanziere, kam die meiste Qualitätsverbesserung nie aus schönerem Prompttext, sondern aus besserem Grounding, also aus der Frage, welche Daten der Skill überhaupt zu sehen bekommt.

Die Intuition "mehr Kontext ist besser" führt dabei in die falsche Richtung. Wer den halben Datensatz mitschickt, verwässert das Ergebnis, weil das Modell Relevantes von Beiläufigem nicht unterscheiden kann. Gezielt die fünf relevanten Felder übergeben schlägt das großzügige Mitschicken von allem, was da ist, und zwar deutlich. Die Vorarbeit, gemeinsam mit den Fachleuten zu klären, welche Felder ein Mensch für dieselbe Aufgabe heranziehen würde, ist der wertvollste Teil des ganzen Skill-Designs.

Niedrige Temperatur, fast immer

Für alles, was faktentreu sein soll, also Zusammenfassungen, Strukturierung, Extraktion, gehört die Kreativität an die kurze Leine. Die Fälle, in denen ich die Temperatur bewusst höher gestellt habe, kann ich an einer Hand abzählen, und es waren ausnahmslos Entwurfsaufgaben, bei denen ein Mensch das Ergebnis ohnehin umschreibt.

Die Voreinstellung zu übernehmen, ohne darüber nachzudenken, ist einer der häufigsten Fehler, die ich in Reviews fremder Skills sehe. Es ist ein Ein-Minuten-Fix mit messbarer Wirkung auf die Reproduzierbarkeit.

Den Misserfolg definieren

Der Unterschied zwischen einem Skill, dem das Team vertraut, und einem, den es nach drei Wochen ignoriert, liegt selten im Normalfall. Er liegt im Verhalten bei schlechter Datenlage. Ohne explizite Anweisung rät das Modell lieber, als zuzugeben, dass es nichts weiß, und ein einziger souverän formulierter Fehlgriff zerstört mehr Vertrauen, als zwanzig gute Ergebnisse aufbauen.

Deshalb gehört in praktisch jeden Prompt ein Satz von der Sorte: Wenn die Information nicht in den übergebenen Daten enthalten ist, gib stattdessen die definierte Lücken-Meldung zurück. Das klingt trivial. Es ist der wichtigste einzelne Satz in den meisten meiner Prompts.

Klein schneiden, einzeln testen

Die letzte Lektion betrifft den Zuschnitt. Die Versuchung, einen Skill zu bauen, der zusammenfasst, bewertet und gleich noch eine Empfehlung formuliert, ist groß, und das Ergebnis wird zuverlässig in allen drei Disziplinen mittelmäßig. Drei kleine Skills mit je einer Aufgabe liefern bessere Resultate, lassen sich einzeln testen und einzeln reparieren, wenn etwas hakt.

Nichts von alledem ist Raketenwissenschaft, und genau das ist die Botschaft. Eigene GenAI-Skills sind keine Magie, sondern Handwerk mit klaren Regeln: versionieren, mit Beispielen führen, Daten kuratieren, Temperatur zähmen, Scheitern definieren, klein schneiden. Die Summe entscheidet darüber, ob ein Skill ein verlässliches Werkzeug wird oder ein Partytrick.