Die Wirtschaftlichkeit laufender KI-Betreuungsverträge

Ein Projekt hat ein Ende. Die Leistungsbeschreibung benennt es: eine Abnahmeprüfung, ein Datum, eine Unterschrift. Die KI-Arbeit in einem Unternehmen hat diese Form nicht, und dies so zu tun, ist der teuerste Fehler, den ein Käufer im ersten Jahr machen kann. Das Modell, das im März die Abnahme bestanden hat, beantwortet im September verschiedene Fragen. Die Verordnung, die zum Zeitpunkt der Unterzeichnung ein Entwurf war, ist bei der Erneuerung in Kraft. Der Anwendungsfall, der das Budget rechtfertigte, erweist sich als das drittwertvollste, was das System leisten kann, und niemand entdeckt die ersten beiden, bis das System einen Monat lang in den Händen echter Menschen war.

Nach dem Start eines KI-Systems bleiben Kosten für Evaluation, Überwachung, Änderungen und Vorfälle. Ein laufender Vertrag sollte Kapazität messbar machen, Zuständigkeiten nennen und festlegen, wann er verkleinert oder beendet wird.

Warum KI-Arbeit die Form von Kapazität hat

Vier Dinge unterscheiden ein Produktionsmodell von einer Software, die akzeptiert und in Ruhe gelassen wurde.

Das erste ist Drift. Ein Modell ist eine Funktion, die an die Welt zum Zeitpunkt der Erfassung der Trainingsdaten angepasst ist. Die Welt bewegt sich: Kunden ändern ihren Wortschatz, eine Produktlinie wird umbenannt, die Kampagne eines Konkurrenten verändert die Fragen der Leute, ein Lieferant ändert das Format eines Dokuments. Die Eingaben des Modells ähneln nicht mehr seiner Trainingsverteilung und seine Antworten werden immer schlechter. Nichts stürzt ab. Kein Alarm wird ausgelöst, es sei denn, jemand hat einen gebaut. Drift wird durch Messung erkannt und die Messung ist eine stehende Aktivität mit dem Namen einer Person darauf.

Die zweite ist die Regulierung. Die Rahmenbedingungen, die diese Arbeit regeln, sind noch nicht fertig. Das EU-KI-Gesetz erlegt Anbietern und Betreibern von Systemen mit hohem Risiko fortlaufende Verpflichtungen auf: Risikomanagement, das während der gesamten Lebensdauer des Systems fortbesteht, Protokollierung, menschliche Aufsicht, Überwachung nach dem Inverkehrbringen und die Meldung schwerwiegender Vorfälle. Die DSGVO verlangt, dass Entscheidungen, die ausschließlich auf automatisierter Verarbeitung beruhen, wenn sie rechtliche oder ähnlich erhebliche Auswirkungen auf eine Person haben, Garantien enthalten, einschließlich des Rechts auf menschliches Eingreifen, und dass einer Verarbeitung mit hohem Risiko eine Datenschutz-Folgenabschätzung vorausgeht, die ständig überprüft wird. Das revidierte Bundesgesetz über den Datenschutz verlangt ein Verzeichnis der Bearbeitungstätigkeiten, eine Folgenabschätzung, wenn die Bearbeitung ein hohes Risiko mit sich bringt, und eine Meldung an den Eidgenössischen Datenschutz- und Öffentlichkeitsbeauftragten, wenn ein Verstoß voraussichtlich ein hohes Risiko für die betroffenen Personen mit sich bringt. Jede davon ist eine wiederkehrende Verpflichtung. Ein System, das sie beim Go-Live erfüllt hat, hat sie nicht erfüllt; es ist ihnen einmal begegnet.

Der dritte ist der dritte Anwendungsfall. Der Auftrag, der ein KI-Programm finanziert, ist normalerweise derjenige, den eine Führungskraft beschreiben konnte, bevor das System existierte. Die wertvollen Fälle werden anschließend von den Personen gefunden, die sie betreiben: Ein Schadensbearbeiter bemerkt, dass der Konfidenzwert des Klassifikators vorhersagt, welche Fälle eskaliert werden; Ein Treasury-Analyst entdeckt, dass die für Rechnungen entwickelte Dokumentenextraktion auch bei Bankbestätigungen funktioniert. Ein Projekt verfügt über keinen Mechanismus, um dies aufzufangen. Eine Änderungsnotiz wird erstellt, der Preis festgelegt, darüber diskutiert, und bis sie genehmigt wird, wurde die Gelegenheit manuell umgangen. Ein Retainer verfügt über einen Rückstand und einen Planungsrhythmus, der genau zu diesem Zweck erstellt wurde.

Der vierte Punkt ist die Bewertung. Das Verhalten eines Modells wird nicht durch seinen Code spezifiziert; Es zeichnet sich durch seine Evaluierungssuite aus. Jede Änderung an einer Eingabeaufforderung, einem Abrufindex, einem Feinabstimmungssatz oder der zugrunde liegenden Modellversion muss vor der Veröffentlichung für diese Suite ausgeführt werden, und die Suite selbst muss wachsen, wenn in der Produktion neue Fehlermodi gefunden werden. Dies ist kein Test im Sinne eines Softwareprojekts. Es handelt sich um eine permanente Funktion, die eher der Qualitätssicherung in einem Labor ähnelt als einer Testphase am Ende eines Baus.

Ein System, das seinen regulatorischen Verpflichtungen bei der Inbetriebnahme nachgekommen ist, hat diese nicht erfüllt. Es hat sie einmal getroffen.

Was ein laufender Betreuungsvertrag abdeckt

Ein Vertrag, der es wert ist, unterschrieben zu werden, kauft vier Dinge, und die Vereinbarung sollte jedes davon benennen.

Ein benanntes Team. Kein Pool, keine Bank, keine „Zuweisung von Ressourcen mit gleichwertigem Dienstalter“. Der Auftragsleiter, die Fachbereichsleiter und die Ingenieure, die das System im Kopf haben, werden in einem Zeitplan benannt, mit jeweils einem Stellvertreter und einem schriftlichen Verfahren dafür, was passiert, wenn einer von ihnen ausscheidet. Die Kontinuität der Menschen ist das meiste, wofür Sie bezahlen. Ein Team, das vierteljährlich wechselt, muss das System auf Ihre Kosten neu erlernen.

Eine Kadenz. Ein wöchentlicher Arbeitsrhythmus innerhalb des Teams, ein monatliches Lenkungsmeeting, bei dem Lieferung, Risiko und Ausgaben im Vergleich zum Kapazitätsband überprüft werden, und eine vierteljährliche Planungssitzung, in der die Prioritäten für das nächste Quartal festgelegt werden. Die Kadenz ist die Governance. Ohne sie degradiert ein Retainer zu einer Ticketwarteschlange.

Ein gemeinsam geregelter Rückstand. Alles, was das Team tun könnte, wird an einem Ort, in Größe und Rangfolge aufgeschrieben. Ihre Seite besitzt die Rangfolge des Wertes; Das Unternehmen ist Eigentümer der Aufwandsschätzung und der Risikoerklärung. Keine Seite darf Arbeiten hinzufügen, die die andere nicht gesehen hat. Der Rückstand wird bei jeder Lenkungssitzung überprüft und sein Zustand ist die einzig ehrliche Antwort auf die Frage, wofür Sie bezahlen.

Reaktionsverpflichtungen. Was das Team tun wird und wie schnell, wenn sich ein Modell verschlechtert, eine Regulierungsbehörde schreibt, ein Anbieter eine Modellversion ablehnt oder ein Vorfall auftritt. Diese werden als Schweregraddefinitionen mit jeweiligen Bestätigungs- und Lösungszeiten verfasst und bei jeder Lenkungsbesprechung darüber berichtet. Sie sind nicht dasselbe wie die Verfügbarkeit des Systems, die eine betriebliche Angelegenheit sein kann; Sie sind die Verfügbarkeit der Menschen, die das System verändern können.

So ermitteln Sie den Preis

Die Einheit eines Honorars ist die Kapazität, und die ehrliche Art, die Kapazität auszudrücken, ist ein Band: eine festgelegte Anzahl von Praxistagen pro Monat, die von benannten Praxen zu einem für die Laufzeit festgelegten Pauschalpreis bezogen werden. Die Band hat eine Untergrenze, zu deren Zahlung Sie sich verpflichten, und eine Obergrenze, die den Höchstbetrag angibt, den das Team ohne eine neue Vereinbarung liefern kann. Die in einem Monat nicht in Anspruch genommene Kapazität sollte innerhalb des Quartals vorgetragen werden und verfällt am Ende des Quartals; Kapazitäten über der Obergrenze sollten vor der Ausführung schriftlich vereinbart werden und dürfen niemals überraschend in Rechnung gestellt werden.

Angenommen, ein Honorar beträgt vierzig Einheiten pro Monat, wobei eine Einheit einem Übungstag entspricht. In der Vereinbarung ist festgelegt, aus welchen Praxen die Einheiten bezogen werden dürfen, welches Verhältnis zwischen ihnen ohne Genehmigung verschoben werden darf und wie der Mischsatz berechnet wird, wenn sich der Mix ändert. Darin heißt es, was sich innerhalb des Bandes befindet – Bewertung, Überwachung, sofortige und abrufbare Änderungen, behördliche Berichterstattung, der Steuerungsrhythmus selbst – und was sich außerhalb davon befindet: ein neues System, eine Migration zu einem anderen Modellanbieter, ein Wechsel der Datenebene. Bei Arbeiten außerhalb der Band handelt es sich entweder um ein Projekt mit separatem Preis oder um eine Neubesetzung, die bei der vierteljährlichen Überprüfung vereinbart wurde.

Gewöhnlich werden zwei Alternativen vorgeschlagen, und beide scheitern hier aus Gründen, die es wert sind, klar dargelegt zu werden.

Zeit und Material scheitern, weil es Aufwand und nicht Engagement kostet. Das Unternehmen hat keinen Grund, in einem ruhigen Monat ein benanntes Team zur Verfügung zu halten, und allen Grund, die Arbeit in einem geschäftigen Monat auszuweiten. Der Käufer kann nicht budgetieren und die Finanzabteilung behandelt jede Rechnung als Überraschung. Die Folge ist, dass bereits bei der ersten Kostenüberprüfung die Kostenvoranschläge gekürzt werden, weil niemand sagen kann, was er gekauft hat.

Der Festpreis schlägt fehl, weil er einen Umfang erfordert, und das ganze Argument dieses Artikels ist, dass der Umfang im Laufe der Arbeit entdeckt wird. Ein Festpreisvertrag für kontinuierliche Arbeiten ist ein Vertrag, der vierteljährlich neu ausgehandelt wird, wobei das Unternehmen das Risiko des Unbekannten einpreist und der Käufer für dieses Risiko zahlt, unabhängig davon, ob es eintritt oder nicht. Die Änderungskontrolle wird zur Hauptaktivität.

Ein Kapazitätsband ist das Instrument dazwischen. Es legt den Preis des Monats fest und überlässt den Inhalt des Monats der Verwaltung.

Regierungsführung

Ein Vorschuss ohne Governance ist eine Dauerrechnung. Die Governance besteht aus sechs Teilen, für die jeweils ein General Counsel zuständig sein sollte.

Eine Lenkfrequenz. Monatlich, an der der Executive Sponsor, der Engagement Lead des Unternehmens und derjenige, der über das Budget verfügt, teilnehmen. Es überprüft den Rückstand, die Reaktionsverpflichtungen, das Risikoregister und die Ausgaben im Vergleich zum Band. Im Protokoll wird festgehalten, was und warum beschlossen wurde.

Ein vierteljährlicher Rückblick. Länger und älter. Es plant die Prioritäten für das nächste Quartal neu, überprüft das Band erneut im Vergleich zur tatsächlichen Auslosung, überprüft die Bewertungsergebnisse und die Regulierungslage und entscheidet, ob der Vorschuss fortbestehen, wachsen, schrumpfen oder umgestellt werden soll.

Wer kann mit der Arbeit aufhören? Benannte Personen auf beiden Seiten können eine Freilassung stoppen, und die Vereinbarung besagt dies. Auf Ihrer Seite sind dies in der Regel der Geschäftsinhaber des Systems und der Datenschutzbeauftragte oder eine gleichwertige Person. Auf der Seite des Unternehmens liegt der Engagement Lead. Ein Stopp ist kein Verstoß; Es ist die funktionierende Governance.

Geistiges Eigentum. Im Rahmen des Vorbehalts erbrachte Leistungen werden Ihnen mit der Bezahlung abgetreten. Dazu gehören Code, Eingabeaufforderungen, Bewertungssuiten, fein abgestimmte Gewichtungen, die auf Ihren Daten trainiert werden, Dokumentation und die Überwachungskonfiguration. Das Unternehmen behält seine bereits vorhandenen Methoden und Tools und lizenziert Ihnen alles, was davon in das, was es liefert, integriert ist, dauerhaft und ohne weitere Gebühr.

Modell- und Dateneigentum. Ihre Daten bleiben Ihr Eigentum, in der von Ihnen gewählten Datenebene, und die Vereinbarung benennt diese Ebene. Auf Ihre Daten abgestimmte Modelle gehören Ihnen. Wenn ein externer Modellanbieter genutzt wird, wird in der Vereinbarung festgelegt, welche Daten verarbeitet werden, wo die Daten verarbeitet werden, was für wie lange gespeichert wird und wie Sie darüber informiert werden, bevor sich etwas ändert.

Ausstiegsbedingungen und Wissenstransfer. Es gelten eine Kündigungsfrist und eine Übergabepflicht, die mit denen eines Projekts identisch sind: Dokumentation ist aktuell, Anmeldeinformationen werden Ihnen übergeben, Runbooks vorhanden, Evaluierungssuiten und Überwachung werden funktionsfähig übergeben und Wissen wird an benannte Personen in Ihrer Organisation weitergegeben. Keine Rücknahmegebühr. Eine Firma, die sich dieser Klausel widersetzt, sagt Ihnen, was ihrer Meinung nach die Beziehung zusammenhält.

Wann man aufhört und wann man konvertiert

Ein Vorschuss sollte auf eine von drei Arten enden, und bei der vierteljährlichen Überprüfung wird die Frage gestellt.

Es endet, weil die Arbeit nicht mehr die Form einer Kapazität hat. Die Modelle sind stabil, die Evaluierungssuite hat seit zwei Quartalen keinen neuen Fehlermodus gefunden, die Regulierungslage ist geklärt und der Rückstand ist gering. Wandeln Sie den Rest in eine unkomplizierte Beratungsvereinbarung um und zahlen Sie nicht mehr für ein Team, das Sie nicht mehr benötigen. Eine Firma, die bei der Überprüfung dagegen argumentiert, hat einen Vorschuss mit einer Miete verwechselt.

Es endet, weil das Werk eine eigene Form entwickelt hat. Wenn der Rückstand groß ist, aus dem dritten Anwendungsfall ein fünfter und sechster geworden ist und das Team in allen Bereichen außer der Beschäftigung zur KI-Funktion der Organisation wird, ist das richtige Instrument ein eingebettetes Team mit einem Fähigkeitsübertragungsplan: Die Mitarbeiter des Unternehmens treten zurück, während Ihre Mitarbeiter nach vorne treten, nach einem Zeitplan und mit Überschneidungen. Der Vorschuss wird in diesen Plan umgewandelt, anstatt auf unbestimmte Zeit zu wachsen.

Es endet, weil die Governance nicht betrieben wurde. Lenkungssitzungen werden verpasst, der Rückstand wird nicht gerankt, das Band wird jeden Monat ohne Entscheidung an die Decke gezogen. Dies ist das häufigste und am wenigsten ehrliche Ende. Das Mittel ist kein neues Unternehmen; Es ist ein Sponsor, der anwesend ist.

Was der CFO vor der Unterzeichnung fragen sollte

Vor Vertragsunterzeichnung sollten sechs Fragen schriftlich gestellt und schriftlich beantwortet werden.

Was ist die Bandbreite in Einheiten und wie hoch ist der Mischsatz? Was ist namentlich innerhalb der Band und was außerhalb? Wer ist im Team und wie ist vorzugehen, wenn einer von ihnen ausscheidet? Wie lauten die Reaktionsverpflichtungen nach Schweregrad und wo werden sie gemeldet? Wem gehören die Modelle, die Eingabeaufforderungen und die Bewertungssuiten und wo werden die Daten gespeichert? Was kostet der Auszug und wie lange dauert die Übergabe?

Eine Antwort, die auf eine Preisliste, eine Bank oder ein Dokument mit allgemeinen Geschäftsbedingungen verweist, ist keine Antwort. Das Unternehmen, das sechs konkrete Antworten geben kann, hat dies bereits getan und erwartet, dass man sich daran hält.

Was tun am Montag?

1. Fragen Sie die Person, die Ihre Serienmodelle betreibt, was sie letzten Monat getan hat, um Drift zu erkennen, und ob jemand dafür bezahlt wird, dies weiterhin zu tun.
2. Listen Sie alle wiederkehrenden Verpflichtungen auf, die Ihre KI-Systeme gemäß der DSGVO, dem EU-KI-Gesetz und dem überarbeiteten Schweizer DSG erfüllen, mit dem Datum, an dem sie jeweils zuletzt erfüllt wurden.
3. Schreiben Sie die Anwendungsfälle auf, die seit dem Go-Live entdeckt wurden und die niemand finanziert hat, und was es kostet, sie weiterhin manuell zu umgehen.
4. Wenn Sie für diese Arbeit eine Zeit- und Materialvereinbarung getroffen haben, bitten Sie darum, dass diese als Kapazitätsband mit einem benannten Team und einer Kadenz neu ausgedrückt wird.
5. Stellen Sie die oben genannten sechs Fragen schriftlich an Ihr aktuelles oder zukünftiges Unternehmen und lesen Sie die Antworten zusammen mit Ihrem General Counsel durch.