En tirant les leçons du passé, en mettant à profit une maturité accrue et, surtout, avec la bonne approche, il doit être possible de passer de 13% à 65% d’usages IA mis en production.

Mettre l’IA en production : peut mieux faire

Une performance décevante depuis 2020 ?

87% des projets d’IA ne vont jamais en production

VentureBeat

87% ? C’est précis dîtes-moi !
Je suis presque surpris de ne pas lire 86,8% ou 87,3%…

Gartner est plus prudent : « 80% des projets d’IA de 2020 vont rester à l’état de PoC ».

Ces taux sont très mauvais et je m’interroge sur l’importante proportion d’échecs des projets Data & iA. Allons les amis, un peu de nerf, je pense qu’il est assez facile de faire collectivement beaucoup mieux !

Mais avant de voir comment, j’aimerais m’attarder un peu sur 4 points à mettre en perspective

4 points à mettre en perspective

  1. Les deux assertions en intro datent de 2019. Elles ont donc plus de 3 ans désormais. Et 3 ans en Data, c’est une vie !  Le monde a évolué, la maturité a progressé. On peut et doit se poser la question si ce constat est toujours d’actualité
  2. Et alors ? Yoann Benoit l’a très bien expliqué dans un article sur Hymaia en juin 2022. Ne pas aller en production, ce n’est pas nécessairement synonyme d’échec
  3. Tous les projets Data & iA n’ont pas vocation à aller en production. Il me paraît tout à fait sain de conserver une poche importante de jours pour travailler sur des sujets de pure exploration ou R&D. Par exemple, dans mon équipe, je réserve jusqu’à 25% des JH sur des sujets « Innovation » sans ambition d’industrialisation
  4. Mise en production, sous-entendu « technique », au sens DSI du terme, n’est pas équivalent à mise en service, au profit de l’utilisateur final. Certains projets sont « MEP » mais jamais « MES »

Une statistique à repenser

Pour toutes ces raisons, la statistique en entrée ne me semble pas bien construite et est difficile à analyser. Il serait plus pertinent, si tant est que cela soit possible, de chercher à bâtir et à suivre dans le temps, une autre stat. De type : « Taux d’échec sur les projets Data & iA pour lesquels nous avions imaginé qu’ils puissent fournir un service concret et pérenne à l’utilisateur ou client final ».

J’ai cherché une stat plus récente et qui répond mieux à notre question, mais sans succès. J’ai même demandé à ChatGPT. Mais dans sa grande sagesse, il m’a répondu qu’« Il n’y a pas de réponse unique à cette question, car cela dépend de nombreux facteurs tels que la taille de l’entreprise, la maturité de ses processus, la complexité du projet, […] ».

Bon, admettons, le taux d’échecs des projets Data & iA qui auraient dû aller au bout demeure nettement trop important.

Travailler sur la sélectivité initiale

Un taux, c’est avant tout un ratio, composé donc par définition d’un numérateur et d’un dénominateur. Au numérateur, nous avons donc le nombre de projets ou de use case Data & iA qui ont échoués. Ici, je n’ai pas tellement de recette secrète. Il faut savoir analyser concrètement les raisons de l’échec et ne pas reproduire à l’avenir ce qui n’a pas fonctionné. Pour se donner le maximum de chance, suivre les bonnes pratiques du MLOps me semble être le meilleur gage de réussite. Plusieurs livres blancs sont sortis au cours de l’année écoulée. Je vous invite à vous y référer.

Au dénominateur, nous avons le nombre de projets que nous imaginons emmener à terme et qui sont censés fournir de la valeur ajoutée pour un collaborateur ou un client final. C’est ici que nos efforts seront les plus opérants pour améliorer le taux de succès.

Concrètement, comment s’y prendre

Méthodologie v2

L’an dernier, j’ai écrit un article qui expliquait comment construire un plan Data en 10 étapes.

La méthodologie n’a pas tellement changé cette année.

J’ai légèrement adapté :

  • En posant un coefficient 2 au critère « Valeur Business »
  • En ajoutant un 5ème critère, la traction métier

Le score va donc désormais de 6 à 18.

J’élimine automatiquement les besoins qui ne dépassent pas 10 points. Cela ne veut pas dire que ceux qui dépassent sont conservés. J’ai tenté d’autres approches de scoring et de coefficients, mais cela ne change pas fondamentalement les choix. Restons simple.

Être plus sélectif et plus accompagnés

La grande nouveauté du plan Data 2023, c’est une volonté de réduire le nombre de cas d’usage à traiter par l’équipe. Je suis plus sévère dans ma sélection, et j’essaye de détecter en avance de phase les projets qui s’avéreraient « foireux ».

L’idée générale, c’est de concentrer le maximum d’énergie sur les use cases à très haute valeur ajoutée. Notamment, j’ai pris plus de temps avec les métiers pour challenger leurs besoins, je leur demande la garantie de pouvoir piocher dans leurs budgets DSI pour financer les industrialisations, et je m’assure davantage de la disponibilité des ressources.

Trop souvent, des projets Data & iA échouent, car le besoin n’a pas été suffisamment bien défini au démarrage. On aura surestimé la capacité des métiers à nous accompagner ou bien, on ne trouvera plus personne lorsqu’il s’agit de passer à la caisse.

Une des raisons génériques est que le secteur Assurance est en pleine transformation depuis quelques années ; mon entreprise, La Mutuelle Générale, ne faisant pas exception. La première conséquence, c’est que tous les métiers sont en évolution constante, tous ont des doléances spécifiques fortes et personne ne peut embarquer sur sa feuille de route, la totalité des projets souhaités ; principalement non par manque d’envie, mais simplement en raison d’un manque de capacité à faire. Nous n’avons pas le choix, il faut prioriser, choisir ses combats, flécher la dépense d’énergie et donc réduire notre surface d’intervention.

S’appuyer sur une maturité accrue

Pour la plupart d’entre nous, CDO, directeurs Data, responsables de département ou de pôle Data, cela fait désormais plusieurs années que nous évoluons dans cet univers. Près d’une décennie est passée depuis que nous avons assisté à ce profond bouleversement des métiers de la donnée, cette rupture de paradigme déterminée par l’émergence de nouveaux algorithmes d’intelligence Artificielle, la possibilité de traiter des opérations à distance avec le cloud, une capacité de stockage des informations considérablement étendue, et l’apparition d’une nouvelle école, la Data Science.

Nous avons maintenant :

  • Gagné en maturité, individuellement et collectivement, en échangeant sur les salons, en écoutant les conférences d’experts, en participant à des meet-ups.
  • Suffisamment de clés pour anticiper ce qui risque de fonctionner ou pas.
  • Le devoir vis-à-vis de nos employeurs, nos collaborateurs, nos clients internes, nos clients finaux, pour le bien commun, d’être capable de trier le bon grain de l’ivraie, de mieux déterminer à quel niveau et sur quels projets se situent les apports à forte valeur.

Passer du push au pull

Si par le passé, nous avons été davantage sur une démarche Push, pour attirer l’attention vers nous, vers les formidables opportunités offertes par l’iA, pour étendre le champ des possibles et acculturer nos interlocuteurs, sans doute est-il plus judicieux aujourd’hui d’envisager une stratégie Pull, laisser venir à nous les plus motivés et ceux qui ont le plus besoin des experts Data pour réussir leur transformation.

L’objectif dorénavant est de moins s’éparpiller, pour créer de la valeur concrète plus souvent et de façon plus robuste et plus impactante. Éliminons à la source les projets qui ont toutes les chances de « planter ». Priorisons pour mettre en production et en service, relativement plus de projets Data & iA, et réduire le taux d’échecs.

Vers un nouvel objectif ambitieux

Quel serait un objectif raisonnable ?

À mon avis, une mise en service pour au moins la moitié des projets Data & iA dont c’était l’idée initiale.

Soyons plus ambitieux, visons un taux d’échec capé à 35%.

Assureurs : pensez aux données non structurées !

Une dernière conviction pour finir.

Dans le cas du secteur Assurance, le seul que je connaisse bien, j’ai le sentiment que l’on s’est parfois noyé autour des cas d’usage à données structurées liés à la souscription, au multi-équipement, à la rétention, qui demandent beaucoup d’efforts pour des gains aléatoires. Nous ne sommes ni Netflix, ni Amazon, ni Cdiscount, le taux de visite sur les sites, et par extension l’information que l’on collecte sur nos clients et prospects, demeurent somme toute relativement confidentiels, et la capacité des assureurs à pratiquer du rebond commercial ou de la recommandation s’avère sinon limitée, a minima décevante.

En revanche, les cas d’usage fondés sur des données non structurées, comme des images, du texte ou de la voix, davantage orientés « amélioration des processus et de la performance », sont encore insuffisamment traités.

Ils sont pourtant générateurs de très haute valeur pour l’entreprise. La plupart du temps, un projet Data & iA réussi et ce sont plusieurs ETP qui peuvent être réorientés.
Ces ETP sont des collaborateurs pratiquants fréquemment des actions à faible valeur ajoutée. Ils peuvent s’orienter vers des tâches d’expertises et de conseils, que jamais un robot ou une iA ne pourront réaliser. 

Ça tombe bien, ce sont les sujets dont raffolent les Data scientists.
Une piste de réflexion sans doute…

  • Yann-Erlé Le Roux

    Yann-Erlé est diplômé des universités Rennes I (Maîtrise d’économie) et Lyon II (Master de Statistiques).

    Après une première expérience à l’AP-HP, il intègre en 2007 le monde de l’Assurance, à la Direction Technique de La Mutuelle Générale.

    Il a en charge la tarification et le suivi des risques Santé sur le marché individuel.

    En 2014, toujours à LMG, il rejoint la Direction Marketing pour mettre en place des modèles de scorings et améliorer le rendement des campagnes ;
    puis en 2017, la Direction de la Stratégie, dans le but de construire la stratégie Data de l’entreprise.

    Parallèlement, Yann-Erlé reprend ses études au Centre d’Etudes Actuarielles afin de préparer le diplôme d’Actuaire.
    Diplôme qu’il obtient en 2018 après présentation de son mémoire « Valeur Client : Modélisation, Théorie et Pratique ».

    Depuis 2019, il est responsable du Département Data & iA au sein de la DGA Développement et Marketing, à la tête d’une équipe de 10 data scientists ou experts du traitement de la donnée.