L’economia dei contratti continuativi per l’IA aziendale

Un progetto ha una fine. La dichiarazione di lavoro lo nomina: un test di accettazione, una data, una firma. Il lavoro dell’intelligenza artificiale in un’impresa non ha questa forma e fingere che lo abbia è l’errore più costoso che un acquirente possa commettere nel primo anno. Il modello che ha superato l'accettazione a marzo risponderà a diverse domande a settembre. Il regolamento che era una bozza al momento della firma è in vigore al momento del rinnovo. Il caso d’uso che ha giustificato il budget risulta essere la terza cosa più preziosa che il sistema può fare, e nessuno scopre i primi due finché il sistema non è nelle mani di persone reali per un mese.

Dopo il lancio di un sistema di IA, valutazione, monitoraggio, modifiche e incidenti richiedono ancora capacità. Un accordo continuativo deve renderla misurabile, indicare gli incaricati e definire quando ridurre o terminare il servizio.

Perché il lavoro dell’IA ha la forma della capacità

Quattro cose distinguono un modello di produzione da un pezzo di software che è stato accettato e lasciato in pace.

Il primo è la deriva. Un modello è una funzione adattata al mondo così com'era quando sono stati raccolti i dati di addestramento. Il mondo si muove: i clienti cambiano il loro vocabolario, una linea di prodotti viene rinominata, la campagna di un concorrente altera ciò che la gente chiede, un fornitore cambia il formato di un documento. Gli input del modello smettono di assomigliare alla distribuzione dell'addestramento e le sue risposte peggiorano silenziosamente. Niente si blocca. Nessun fuoco di allerta a meno che qualcuno non ne abbia costruito uno. La deriva viene rilevata mediante misurazione e la misurazione è un'attività permanente su cui è scritto il nome di una persona.

La seconda è la regolamentazione. I quadri che governano questo lavoro non sono finiti. La legge dell’UE sull’intelligenza artificiale impone obblighi costanti ai fornitori e agli utilizzatori di sistemi ad alto rischio: gestione del rischio che persiste per tutta la vita del sistema, registrazione, supervisione umana, monitoraggio post-commercializzazione e segnalazione di incidenti gravi. Il GDPR richiede che le decisioni basate esclusivamente sul trattamento automatizzato, laddove abbiano effetti legali o similmente significativi su una persona, comportino garanzie tra cui il diritto all’intervento umano, e che il trattamento ad alto rischio sia preceduto da una valutazione d’impatto sulla protezione dei dati che viene tenuta sotto controllo. La nuova legge federale svizzera sulla protezione dei dati richiede un registro delle attività di trattamento, una valutazione dell’impatto laddove il trattamento comporta un rischio elevato e una notifica all’Incaricato federale della protezione dei dati e della trasparenza quando una violazione potrebbe comportare un rischio elevato per le persone interessate. Ognuno di questi è un obbligo che ricorre. Un sistema che li soddisfaceva al momento del go-live non li ha soddisfatti; li ha incontrati una volta.

Il terzo è il terzo caso d'uso. Il mandato che finanzia un programma di intelligenza artificiale è solitamente quello che un dirigente poteva descrivere prima che il sistema esistesse. Quelli di valore vengono trovati in seguito, dalle persone che lo gestiscono: un gestore dei sinistri nota che il punteggio di confidenza del classificatore prevede quali casi verranno intensificati; un analista di tesoreria scopre che l'estrazione dei documenti creata per le fatture funziona sulle conferme bancarie. Un progetto non ha alcun meccanismo per assorbirlo. Una nota di modifica viene sollevata, prezzata, discussa e nel momento in cui viene approvata l'opportunità è stata elaborata manualmente. Un dipendente ha un arretrato e una cadenza di pianificazione pensati esattamente per questo.

Il quarto è la valutazione. Il comportamento di un modello non è specificato dal suo codice; si caratterizza per la sua suite di valutazione. Ogni modifica a un prompt, a un indice di recupero, a un set di messa a punto o alla versione del modello sottostante deve essere eseguita su quella suite prima del rilascio e la suite stessa deve crescere man mano che vengono rilevate nuove modalità di errore nella produzione. Questo non è un test nel senso in cui lo intende un progetto software. Si tratta di una funzione permanente, più vicina alla garanzia di qualità in un laboratorio che a una fase di test al termine di una costruzione.

Un sistema che ha adempiuto ai propri obblighi normativi al momento del go-live non li ha adempiuti. Li ha incontrati una volta.

Cosa comprende un contratto continuativo

Un contratto che vale la pena firmare acquista quattro cose e l'accordo dovrebbe nominare ciascuna di esse.

Una squadra nominata. Non un pool, non una panchina, non “risorse di pari anzianità da assegnare”. Il responsabile dell'incarico, i presidi dello studio e gli ingegneri che tengono in mente il sistema sono nominati in un programma, con un sostituto per ciascuno e una procedura scritta su cosa succede se uno di loro se ne va. La continuità delle persone è la maggior parte di ciò per cui paghi; una squadra che ruota ogni trimestre deve apprendere nuovamente il sistema a vostre spese.

Una cadenza. Un ritmo operativo settimanale all'interno del team, una riunione direttiva mensile che esamina la consegna, il rischio e la spesa rispetto alla fascia di capacità e una sessione di pianificazione trimestrale che stabilisce le priorità del trimestre successivo. La cadenza è la governance. Senza di essa, un addetto si riduce a una coda per i biglietti.

Un arretrato governato congiuntamente. Tutto ciò che la squadra potrebbe fare è scritto in un unico posto, dimensionato e classificato. La vostra parte possiede la classifica del valore; l'impresa possiede la stima dell'impegno e la dichiarazione di rischio. Nessuna delle due parti può aggiungere lavori che l'altra non ha visto. L'arretrato viene rivisto in ogni riunione direttiva e il suo stato è l'unica risposta onesta alla domanda per cosa si sta pagando.

Impegni di risposta. Cosa farà il team e quanto velocemente, quando un modello si deteriora, scrive un regolatore, un fornitore depreca una versione del modello o si verifica un incidente. Queste sono scritte come definizioni di gravità con tempi di riconoscimento e risoluzione per ciascuna e riportate in ogni riunione direttiva. Non corrispondono alla disponibilità del sistema, che può essere una questione operativa; sono la disponibilità delle persone che possono cambiare il sistema.

Come valutarlo

L'unità di un anticipo è la capacità, e il modo onesto per esprimere la capacità è una fascia: un numero stabilito di giornate professionali al mese, ricavati da pratiche denominate, a una tariffa mista fissata per il periodo. La band ha un tetto minimo, che è ciò che vi impegni a pagare, e un tetto, che è il massimo che la squadra fornirà senza un nuovo accordo. La capacità non utilizzata in un mese dovrà essere riportata entro il trimestre e decadere allo scadere dello stesso; la capacità superiore al massimale deve essere concordata per iscritto prima della lavorazione e mai fatturata a sorpresa.

Supponiamo un anticipo di quaranta unità al mese, dove un'unità è un giorno di pratica. L'accordo stabilisce da quali pratiche possono essere tratte le unità, quale proporzione può spostarsi tra loro senza approvazione e come viene calcolata la tariffa mista quando il mix cambia. Dice cosa c’è all’interno della fascia – valutazione, monitoraggio, cambiamenti tempestivi e di recupero, reporting normativo, la stessa cadenza di governo – e cosa c’è al di fuori di essa: un nuovo sistema, una migrazione verso un diverso fornitore di modelli, un cambiamento del piano dati. Il lavoro al di fuori della fascia è un progetto con prezzo separato o una riclassificazione concordata durante la revisione trimestrale.

Di solito vengono proposte due alternative, ed entrambe falliscono qui per ragioni che vale la pena esporre chiaramente.

Tempo e materiali falliscono perché costano sforzo e non impegno. L'azienda non ha motivo di tenere disponibile un team designato in un mese tranquillo, mentre ha tutte le ragioni per espandere il lavoro in un mese impegnativo. L'acquirente non può stabilire un budget e la funzione finanziaria tratta ogni fattura come una sorpresa. Il risultato è che nella prima revisione dei costi vengono ridotti gli acconti in termini di tempo e materiali, perché nessuno può dire cosa ha acquistato.

Il prezzo fisso fallisce perché richiede un ambito e l'intera argomentazione di questo articolo è che l'ambito viene scoperto man mano che il lavoro procede. Un contratto a prezzo fisso per lavoro continuo è un contratto che verrà rinegoziato ogni trimestre, con l’impresa che valuta il rischio dell’ignoto e l’acquirente che paga per tale rischio indipendentemente dal fatto che si materializzi o meno. Il controllo del cambiamento diventa l'attività principale.

Una banda di capacità è lo strumento tra di loro. Fissa il prezzo del mese lasciando il contenuto del mese alla governance.

Governo

Un acconto senza governance è una fattura permanente. La governance è composta da sei parti e un consulente legale dovrebbe cercare ciascuna di esse.

Una cadenza di sterzo. Mensilmente, a cui partecipano lo sponsor esecutivo, il responsabile del coinvolgimento dell'azienda e chiunque possieda il budget. Esamina l'arretrato, gli impegni di risposta, il registro dei rischi e la spesa a carico della banda. I suoi verbali sono la testimonianza di ciò che è stato deciso e perché.

Una revisione trimestrale. Più lungo e più anziano. Ripianifica le priorità del trimestre successivo, riesamina la fascia rispetto al sorteggio effettivo, rivede i risultati della valutazione e la posizione normativa e decide se il fermo deve continuare, crescere, ridursi o convertirsi.

Chi può fermare il lavoro. Individui nominati da entrambe le parti possono fermare un rilascio, e l'accordo lo dice. Da parte vostra, di solito si tratta del proprietario dell'azienda del sistema e del responsabile della protezione dei dati o equivalente. Da parte dell'azienda, il responsabile dell'impegno. Uno stop non è una violazione; è la governance che funziona.

Proprietà intellettuale. Le forniture prodotte in base all'acconto vi verranno assegnate dietro pagamento. Ciò include codice, prompt, suite di valutazione, pesi ottimizzati addestrati sui dati, documentazione e configurazione di monitoraggio. L'azienda mantiene i suoi metodi, strumenti e licenze preesistenti, qualunque essi siano incorporati in ciò che offre, per sempre e senza ulteriori costi.

Modello e proprietà dei dati. I vostri dati rimangono vostri, nel piano dati che avete scelto e l'accordo nomina quel piano. I modelli ottimizzati sui vostri dati sono vostri. Laddove venga utilizzato un fornitore di modelli di terze parti, l'accordo specifica quale, dove avviene il trattamento, cosa conserva e per quanto tempo, e come viene informato prima che qualsiasi di questi cambiamenti.

Termini di uscita e trasferimento di conoscenze. Un periodo di preavviso e un obbligo di consegna identico a quello di un progetto: documentazione attuale, credenziali a voi assegnate, runbook in atto, suite di valutazione e monitoraggio consegnati funzionanti e conoscenza trasferita a persone nominate nella vostra organizzazione. Nessuna commissione di uscita. Un'azienda che resiste a questa clausola vi sta dicendo cosa pensa che tenga insieme il rapporto.

Quando fermarsi e quando convertirsi

Un acconto dovrebbe terminare in tre modi e la revisione trimestrale è il punto in cui viene posta la domanda.

Finisce perché il lavoro ha smesso di avere la forma della capacità. I modelli sono stabili, la suite di valutazione non ha riscontrato una nuova modalità di fallimento in due trimestri, la posizione normativa è stabilizzata e il ritardo è breve. Converti ciò che rimane in un accordo di consulenza leggero e smetti di pagare per una squadra di cui non avete più bisogno. Un'impresa che in sede di revisione si oppone a questo ha confuso l'acconto con l'affitto.

Finisce perché l'opera ha acquisito una forma propria. Quando il backlog è lungo, il terzo caso d'uso è diventato un quinto e un sesto, e il team sta diventando la funzione di intelligenza artificiale dell'organizzazione in tutto tranne che nel mondo del lavoro, lo strumento giusto è un team integrato con un piano di trasferimento di capacità: le persone dell'azienda fanno un passo indietro mentre le vostre fanno un passo avanti, secondo un programma, con sovrapposizioni. L'acconto si converte in quel piano anziché crescere indefinitamente.

Finisce perché la governance non è stata operata. Vengono perse le riunioni di direzione, il ritardo non viene classificato, la fascia viene tirata al massimo ogni mese senza una decisione. Questo è il finale più comune e il meno onesto. Il rimedio non è una nuova azienda; è uno sponsor che partecipa.

Cosa dovrebbe chiedere il CFO prima di firmare

Prima della firma dell'accordo, sei domande dovrebbero essere poste per iscritto e ricevere risposta per iscritto.

Qual è la fascia, in unità, e qual è il tasso misto? Cosa c'è all'interno della band e cosa c'è all'esterno, per nome? Chi fa parte della squadra e qual è la procedura se uno di loro lascia? Quali sono gli impegni di risposta, per gravità, e dove verranno riportati? Chi possiede i modelli, i suggerimenti e le suite di valutazione e dove risiedono i dati? Quanto costa la partenza e quanto tempo richiede la consegna?

Una risposta che rimanda a un tariffario, a una panchina o a un documento con termini standard non è una risposta. L'azienda che può fornire sei risposte specifiche lo ha già fatto in precedenza e si aspetta di essere obbligata a risponderle.

Cosa fare lunedì

1. Chiedete alla persona che gestisce i tuoi modelli di produzione cosa ha fatto il mese scorso per rilevare la deriva e se qualcuno è pagato per continuare a farlo.
2. Elenca tutti gli obblighi ricorrenti che i vostri sistemi di IA hanno ai sensi del GDPR, della legge UE sull'AI e della revisione della LPD svizzera, con la data in cui ciascuno è stato adempiuto per l'ultima volta.
3. Annota i casi d'uso scoperti dal go-live che nessuno ha finanziato e quanto costa continuare a risolverli manualmente.
4. Se avete un accordo su tempo e materiali per questo lavoro, chiedete che venga riespresso come una fascia di capacità con una squadra nominata e una cadenza.
5. Rivolgi per iscritto le sei domande di cui sopra alla vostra azienda attuale o potenziale e leggi le risposte con il vostro consulente legale.