Engineering Journal

Ein verirrtes Suchwort, ein Schwellenwert von 0,75, der immer noch nicht streng genug war, und die Erkenntnis, dass manche Fragen überhaupt keine Wahrscheinlichkeit brauchen — nur eine Regel.

Exakter Hex-Abgleich für Farben konnte nie funktionieren, egal wie der Schwellenwert justiert wurde. Das Vergleichsmodell zu korrigieren — zweimal, in zwei unabhängigen Domänen — kam vor jeder Zahl.

Ein dauerhafter Sweep gegen echte Ground Truth, ein eindeutiger Knick in der Kurve, und eine ehrlich berichtete Lücke, die kein noch so fein justierter Schwellenwert je hätte schließen können.

Ein Vorschlag, ein Validator und ein Konfidenzmodell, das bei "hoch" beginnt und sich nur nach unten bewegen kann — und was es tatsächlich brauchte, um zu beweisen, dass dieser Mechanismus verallgemeinert, nicht nur einmal, sondern zweimal.

Die Fotografie-Seite blieb sieben Monate unangetastet, während alles andere auf dieser Seite klüger wurde. Das ist die Geschichte, warum es so lange gedauert hat — und was den Stillstand schließlich beendet hat.

Das Foto ist der einzige Input in diesem gesamten System, den ich nicht vollständig kontrolliere. Das ist die Geschichte des Prompts, des Vertrags und der Architekturentscheidung, die Claude erlaubte, sicher hinzuschauen.

Die Suche ging live und lieferte nichts. Ich habe das behoben, und sie fing an, das Falsche mit voller Zuversicht zurückzugeben. Beide Fehler haben mich gelehrt, einem Ähnlichkeitswert nicht mehr zu vertrauen, als er verdient hat.

Cyclist hätte das Fahrrad-Foto finden sollen. Tat es nicht — und das zu beheben, lehrte mich, dass meine erste Schwellenwert-Vermutung zweimal falsch war, einmal bei 0,75, und noch einmal bei einem einzigen flachen 0,55.

Eine gerankte Liste von Fotos beantwortet "welche passen". Sie beantwortet nicht "warum gehören diese zusammen" — und das erwies sich als die interessantere Frage.

Ein Prozent-Badge und eine Liste zitierter Foto-IDs sehen beide wie ein Beweis aus. Keines von beiden ist einer, für sich genommen — und die deterministischen Prüfungen, die hinter jedem von beiden stehen mussten, erwiesen sich als sehr unterschiedliche Probleme.

Die letzte Lücke lag gar nicht in der Retrieval-Pipeline — sie lag zwischen einem System, das Fragen zu Fotos beantwortet, und einem, das sich tatsächlich anfühlt, als würde es sich an sie erinnern.

Ein statisches Portfolio hat genau eine Aufgabe — Informationen darzustellen. Ich bin dreimal gegen dieselbe Wand gelaufen, als ich dieses hier mehr tun lassen wollte — und jedes Mal sah die Lösung am Ende gleich aus, noch bevor ich das so geplant hatte.

Der erste Anschreiben-Generator hat an einem Nachmittag funktioniert und war auf eine Weise falsch, die ich erst viel später bemerkt habe. Das ist die Geschichte der zwei getrennten Male, an denen er kaputtging, und was mich jedes davon über das Vertrauen in ein Modell gelehrt hat.

Einem KI-Agenten echten Zugriff auf ein Repository zu geben, ist in Ordnung – bis man nicht mehr unterscheiden kann, ob er gehandelt oder nur vorgeschlagen hat. So habe ich das Gerüst gebaut, das diese Grenze sichtbar hält – und wo ich es erst falsch und dann richtig gemacht habe.

Jedes Mal, wenn ich eine neue Claude-Aufrufstelle hinzufügte, schrieb ich dieselben fünf Zeilen Verkabelung erneut und redete mir ein, das sei in Ordnung, weil das Feature ja anders sei. Beim vierten Mal war es nicht mehr in Ordnung — und die Lösung war nicht "einen besseren Prompt schreiben."

`structuredGenerate()` hat gelöst, wie ein Claude-Aufruf geformt ist. Es sagte nichts darüber, was in ihn hineingegeben wird — und das erwies sich als das schwerere Problem, eines, das ich in den Tabellen, die ich aus einem ganz anderen Grund gebaut hatte, schon halb aus Versehen gelöst hatte.

Strukturierte Daten sagen dir, was wahr ist. Sie sagen dir nicht, wie viel davon du einem Modell zeigen sollst, oder in welcher Reihenfolge — und die zwei Male, bei denen ich das falsch gemacht habe, sahen an der Oberfläche völlig verschieden aus, gingen aber aus genau demselben Grund kaputt.

Ein einzelner gut gebauter Prompt hat keine Naht, in die man eine Prüfung einfügen könnte. In dem Moment, in dem ich einen in benannte Stufen aufteilte, bekam ich etwas, das ein Prompt nie geben kann — eine Stelle, an der man ein Gate einbaut, bevor der Output überhaupt jemanden erreicht.

Eine Pipeline hindert ein Modell daran, zu entscheiden, was wahr ist. Sie sagt einem nicht automatisch, warum eine bestimmte Entscheidung so ausgefallen ist, wie sie ausgefallen ist — und die ehrliche Version dieser Antwort schließt eine Sicherheitslücke ein, die ich verengt, aber nicht geschlossen habe.