L’économie des contrats de suivi pour l’IA en entreprise

Un projet a une fin. Le cahier des charges le nomme : un test de réception, une date, une signature. Le travail de l’IA dans une entreprise n’a pas cette forme, et prétendre que c’est le cas est l’erreur la plus coûteuse qu’un acheteur puisse commettre au cours de la première année. Le modèle qui a été accepté en mars répond à différentes questions en septembre. Le règlement qui était un projet au moment de la signature est en vigueur au moment du renouvellement. Le cas d'utilisation qui a justifié le budget s'avère être la troisième chose la plus précieuse que le système puisse faire, et personne ne découvre les deux premières jusqu'à ce que le système soit entre les mains de vraies personnes pendant un mois.

Après le lancement d’un système d’IA, évaluation, surveillance, modifications et incidents demandent toujours des moyens. Un contrat récurrent doit rendre cette capacité mesurable, nommer les responsables et prévoir sa réduction ou sa fin.

Pourquoi le travail de l'IA a la forme de la capacité

Quatre choses distinguent un modèle de production d'un logiciel accepté et laissé seul.

Le premier est la dérive. Un modèle est une fonction adaptée au monde tel qu'il était lorsque les données d'entraînement ont été collectées. Le monde bouge : les clients changent de vocabulaire, une gamme de produits est renommée, la campagne d'un concurrent modifie les questions posées, un fournisseur change le format d'un document. Les entrées du modèle ne ressemblent plus à sa distribution de formation et ses réponses se détériorent progressivement. Rien ne plante. Aucune alerte ne se déclenche à moins que quelqu'un n'en ait construit une. La dérive est détectée par mesure, et la mesure est une activité debout sur laquelle figure le nom d'une personne.

Le deuxième est la réglementation. Les cadres qui régissent ce travail ne sont pas terminés. La loi de l'UE sur l'IA impose des obligations continues aux fournisseurs et aux déployeurs de systèmes à haut risque : gestion des risques qui persistent tout au long de la vie du système, journalisation, surveillance humaine, surveillance après commercialisation et signalement des incidents graves. Le RGPD exige que les décisions fondées uniquement sur un traitement automatisé, lorsqu'elles ont des effets juridiques ou d'importance similaire sur une personne, soient assorties de garanties, notamment le droit à l'intervention humaine, et que le traitement à haut risque soit précédé d'une analyse d'impact sur la protection des données qui soit régulièrement examinée. La loi fédérale révisée sur la protection des données exige un enregistrement des activités de traitement, une analyse d'impact lorsque le traitement comporte un risque élevé et une notification au Préposé fédéral à la protection des données et à la transparence lorsqu'une violation est susceptible d'entraîner un risque élevé pour les personnes concernées. Chacun d’eux est une obligation récurrente. Un système qui les a satisfaits lors de la mise en service ne les a pas satisfaits ; il les a rencontrés une fois.

Le troisième est le troisième cas d'utilisation. Le mandat qui finance un programme d’IA est généralement celui qu’un dirigeant pouvait décrire avant que le système n’existe. Les plus précieux sont trouvés ensuite, par les personnes qui l'exploitent : un gestionnaire de sinistres remarque que le score de confiance du classificateur prédit quels cas seront remontés ; un analyste de trésorerie découvre que l'extraction de documents construite pour les factures fonctionne sur les confirmations bancaires. Un projet ne dispose d’aucun mécanisme pour absorber cela. Une note de modification est émise, tarifée, discutée et au moment où elle est approuvée, l'opportunité a été contournée à la main. Un mandataire a un arriéré et une cadence de planification conçues exactement pour cela.

Le quatrième est l’évaluation. Le comportement d'un modèle n'est pas spécifié par son code ; il se caractérise par sa suite d'évaluation. Chaque modification apportée à une invite, un index de récupération, un ensemble de réglages fins ou la version du modèle sous-jacent doit être exécutée sur cette suite avant la publication, et la suite elle-même doit croître à mesure que de nouveaux modes de défaillance sont découverts en production. Il ne s’agit pas de tests au sens où l’entend un projet logiciel. Il s'agit d'une fonction permanente, plus proche de l'assurance qualité en laboratoire que d'une phase de test en fin de construction.

Un système qui a respecté ses obligations réglementaires lors de sa mise en service ne les a pas remplies. Il les a rencontrés une fois.

Ce que couvre un contrat de suivi

Un mandat qui vaut la peine d’être signé achète quatre choses, et l’accord doit nommer chacune d’elles.

Une équipe nommée. Pas de pool, pas de banc, pas de « ressources d'ancienneté équivalente à affecter ». Le responsable de la mission, les directeurs de cabinet et les ingénieurs qui ont le système en tête sont nommés dans un planning, avec un adjoint pour chacun et une procédure écrite sur ce qui se passe en cas de départ de l'un d'entre eux. La continuité des personnes est l’essentiel de ce pour quoi vous payez ; une équipe qui tourne tous les trimestres doit réapprendre le système à vos frais.

Une cadence. Un rythme de fonctionnement hebdomadaire au sein de l'équipe, une réunion de pilotage mensuelle qui examine les livraisons, les risques et les dépenses par rapport à la bande de capacité, et une séance de planification trimestrielle qui fixe les priorités du trimestre suivant. La cadence est la gouvernance. Sans cela, un mandataire se dégrade en une file d’attente de tickets.

Un arriéré régi conjointement. Tout ce que l'équipe peut faire est noté en un seul endroit, dimensionné et classé. Votre camp possède le classement des valeurs ; l'entreprise est propriétaire de l'estimation de l'effort et de la déclaration des risques. Aucune des deux parties ne peut ajouter des travaux que l’autre n’a pas vu. L’arriéré est examiné à chaque réunion de pilotage, et son état constitue la seule réponse honnête à la question de savoir ce que vous payez.

Engagements de réponse. Ce que l'équipe fera et à quelle vitesse, lorsqu'un modèle se dégrade, écrit un régulateur, qu'un fournisseur désapprouve une version du modèle ou qu'un incident se produit. Ceux-ci sont rédigés sous forme de définitions de gravité avec des délais d'accusé de réception et de résolution pour chacun, et font l'objet d'un rapport à chaque réunion de pilotage. Ce n’est pas la même chose que la disponibilité du système, qui peut être une question opérationnelle ; ce sont la disponibilité des personnes qui peuvent changer le système.

Comment le tarifer

L'unité d'un mandataire est la capacité, et la manière honnête d'exprimer la capacité est une tranche : un nombre déclaré de jours de pratique par mois, tirés des pratiques nommées, à un taux global fixé pour la durée. Le groupe a un plancher, qui correspond à ce que vous vous engagez à payer, et un plafond, qui correspond au maximum que l'équipe pourra offrir sans un nouvel accord. Les capacités non tirées au cours d'un mois doivent être reportées au cours du trimestre et devenir caduques à la fin de celui-ci ; la capacité au-dessus du plafond doit être convenue par écrit avant qu'elle ne soit exploitée, jamais facturée par surprise.

Supposons un forfait de quarante unités par mois, où une unité correspond à une journée de pratique. L'accord indique de quelles pratiques les unités peuvent être issues, quelle proportion peut changer entre elles sans approbation et comment le taux pondéré est calculé lorsque la composition change. Il indique ce qui se trouve à l’intérieur de la bande – évaluation, surveillance, modifications d’invite et de récupération, rapports réglementaires, cadence de pilotage elle-même – et ce qui se trouve à l’extérieur : un nouveau système, une migration vers un autre fournisseur de modèles, un changement de plan de données. Les travaux en dehors de la bande constituent soit un projet tarifé séparément, soit un reclassement convenu lors de l'examen trimestriel.

Deux alternatives sont généralement proposées, et toutes deux échouent ici pour des raisons qui méritent d'être clairement exposées.

Le temps et le matériel échouent parce que cela coûte des efforts et non un engagement. L'entreprise n'a aucune raison de maintenir une équipe désignée disponible au cours d'un mois calme, et toutes les raisons d'étendre ses activités au cours d'un mois chargé. L’acheteur ne peut pas établir de budget et la fonction financière traite chaque facture comme une surprise. Le résultat est que les délais et les dépenses en matériaux sont réduits dès la première évaluation des coûts, car personne ne peut dire ce qu'il a acheté.

Le prix fixe échoue parce qu’il nécessite une portée, et tout l’argument de cet article est que la portée est découverte au fur et à mesure que le travail avance. Un contrat à prix fixe pour un travail continu est un contrat qui sera renégocié tous les trimestres, l'entreprise évaluant le risque de l'inconnu et l'acheteur payant ce risque, qu'il se matérialise ou non. Le contrôle des changements devient l'activité principale.

Une bande de capacité est l’instrument entre eux. Elle fixe le prix du mois tout en laissant le contenu du mois à la gouvernance.

Gouvernance

Un mandat sans gouvernance est une facture permanente. La gouvernance comporte six parties, et un avocat général devrait rechercher chacune d'elles.

Une cadence de direction. Chaque mois, en présence du sponsor exécutif, du responsable de l'engagement du cabinet et de la personne responsable du budget. Il examine l'arriéré, les engagements de réponse, le registre des risques et les dépenses par rapport au groupe. Ses procès-verbaux consignent ce qui a été décidé et pourquoi.

Une revue trimestrielle. Plus long et plus senior. Il replanifie les priorités du prochain trimestre, réexamine la fourchette par rapport au tirage réel, examine les résultats de l'évaluation et la position réglementaire, et décide si la provision doit se poursuivre, croître, diminuer ou se convertir.

Qui peut arrêter de travailler. Des personnes désignées des deux côtés peuvent interrompre une libération, et l'accord le précise. De votre côté, il s'agit généralement du propriétaire commercial du système et du délégué à la protection des données ou équivalent. Du côté de l'entreprise, c'est le responsable de l'engagement. Un arrêt n’est pas une infraction ; c'est la gouvernance qui fonctionne.

Propriété intellectuelle. Les livrables produits dans le cadre du mandat vous sont cédés contre paiement. Cela inclut le code, les invites, les suites d'évaluation, les pondérations affinées appliquées à vos données, la documentation et la configuration de surveillance. L'entreprise conserve ses méthodes et outils préexistants et vous accorde des licences pour tout ce qui est intégré dans ce qu'elle propose, à perpétuité et sans frais supplémentaires.

Propriété du modèle et des données. Vos données restent les vôtres, dans le plan de données que vous avez choisi, et l'accord nomme ce plan. À vous les modèles affinés sur vos données. Lorsqu'un fournisseur de modèle tiers est utilisé, l'accord indique lequel, où le traitement a lieu, ce qu'il conserve et pendant combien de temps, et comment vous en êtes informé avant tout changement.

Modalités de sortie et transfert de connaissances. Un délai de préavis et une obligation de transfert qui sont les mêmes que pour un projet : documentation à jour, informations d'identification qui vous sont remises, runbooks en place, suites d'évaluation et de suivi remis en état de marche et connaissances transférées à des personnes nommées dans votre organisation. Pas de frais de sortie. Une entreprise qui résiste à cette clause vous dit ce qui, selon elle, maintient la relation.

Quand s'arrêter et quand se convertir

Un mandat doit se terminer de trois manières, et c'est lors de l'examen trimestriel que la question est posée.

Cela se termine parce que le travail a cessé d’avoir la forme d’un pouvoir. Les modèles sont stables, la suite d'évaluation n'a pas trouvé de nouveau mode de défaillance depuis deux trimestres, la position réglementaire est réglée et le retard est réduit. Convertissez ce qui reste en un accord de conseil léger et arrêtez de payer pour une équipe dont vous n'avez plus besoin. Une entreprise qui s’y est opposée lors de l’examen a confondu un mandat avec un loyer.

Cela se termine parce que l’œuvre a pris une forme qui lui est propre. Lorsque le retard est important, que le troisième cas d'utilisation est devenu un cinquième et un sixième, et que l'équipe devient la fonction IA de l'organisation dans tous les domaines sauf en matière d'emploi, le bon instrument est une équipe intégrée avec un plan de transfert de capacités : les collaborateurs de l'entreprise reculent tandis que les vôtres avancent, selon un calendrier, avec chevauchement. La provision se convertit en ce plan plutôt que de croître indéfiniment.

Cela se termine parce que la gouvernance n’a pas fonctionné. Les réunions de pilotage sont manquées, le retard n'est pas classé, la bande est tirée au plafond chaque mois sans décision. C’est la fin la plus courante et la moins honnête. Le remède n’est pas une nouvelle entreprise ; c'est un sponsor qui y assiste.

Ce que le directeur financier doit demander avant de signer

Avant la signature de l'accord, six questions doivent être posées par écrit et répondues par écrit.

Quelle est la fourchette, en unités, et quel est le taux pondéré ? Qu’y a-t-il à l’intérieur du groupe et qu’est-ce qu’il y a à l’extérieur, par nom ? Qui fait partie de l’équipe et quelle est la procédure en cas de départ de l’un d’entre eux ? Quels sont les engagements de réponse, par gravité, et où seront-ils signalés ? À qui appartiennent les modèles, les invites et les suites d’évaluation, et où se trouvent les données ? Combien coûte le départ et combien de temps dure le transfert ?

Une réponse qui pointe vers une grille tarifaire, un banc ou un document de conditions standard n'est pas une réponse. L'entreprise qui peut donner six réponses spécifiques l'a déjà fait et s'attend à ce qu'elle y soit tenue.

Que faire lundi

1. Demandez à la personne qui gère vos modèles de production ce qu'elle a fait le mois dernier pour détecter la dérive et si quelqu'un est payé pour continuer à le faire.
2. Répertoriez toutes les obligations récurrentes de vos systèmes d'IA en vertu du RGPD, de la loi européenne sur l'IA et de la LPD suisse révisée, avec la date à laquelle chacune a été satisfaite pour la dernière fois.
3. Notez les cas d'utilisation découverts depuis la mise en service que personne n'a financés, et ce qu'il en coûte pour continuer à les contourner à la main.
4. Si vous disposez d'un accord de temps et de matériel pour ce travail, demandez qu'il soit réexprimé sous la forme d'une tranche de capacité avec une équipe nommée et une cadence.
5. Posez les six questions ci-dessus à votre entreprise actuelle ou potentielle, par écrit, et lisez les réponses avec votre avocat général.