Le Product Manager IA, qu’est-ce encore que cette nouvelle notion ? Rien de très sorcier, rassurez-vous ! Le Product Manager IA est tout simplement un Product Manager travaillant sur un produit d’Intelligence Artificielle ou comprenant une part d’Intelligence Artificielle. Avec l’accroissement de l’utilisation de l’Intelligence Artificielle dans les produits tech, ce poste est amené à être de plus en plus en vogue. Cet article vise à donner une vision exhaustive du poste de Product Manager IA, de ses enjeux et à proposer quelques bonnes pratiques à adopter en tant que Product Manager IA.
Le Product Manager IA est amené à travailler sur des produits d’Intelligence Artificielle ou utilisant une part d’Intelligence Artificielle. L’Intelligence Artificielle peut être utilisée à diverses fins produit. Deux grandes catégories d’intelligence artificielle existent : le Machine Learning, qui consiste à entraîner une machine sur des jeux de données, afin de lui permettre de prendre des décisions en autonomie. Le Deep Learning, qui est une sous-partie du Machine Learning, et qui consiste à simuler le raisonnement humain. Voici quelques cas d’usage produit associés à chacune de ces deux grandes entités :
Cas d’usage produit liés au Machine Learning
Cas d’usage produit liés au Deep Learning
Un Product Manager IA est donc amené à concilier technique de pointe et attente produit. Pour ce faire, il travaille la plupart du temps avec des équipes techniques pluridisciplinaires, composées de Data Scientists, Data Ingénieurs et de développeurs back et front.
Le Product Manager IA est ainsi amené à travailler avec des équipes pluridisciplinaires et très techniques. Les Data Scientists sont responsables de concevoir les algorithmes et d’entraîner les modèles d’Intelligence Artificielle, mais aussi d’établir des prompt systems pour donner des instructions au LLM, tandis que les Data Ingénieurs sont responsables de mettre à disposition des Data Scientists des jeux de données fiables, mais aussi d’optimiser la recherche dans les bases de données et l’indexation des données.
Le rôle d’un Product Manager IA est de permettre à ces deux équipes, très dépendantes l’une de l’autre, de travailler en bonne intelligence. Pour ce faire, le Product Manager IA peut instaurer des daily communs, identifier les principales dépendances et prioriser le travail des Data Scientists et des Data Ingénieurs. Les développements effectués par les Data Scientists et les Data Ingénieurs doivent aussi être intégrés sur l’applicatif digital, par le biais d’une équipe de développeurs web ou app. Le Product Manager IA est ainsi souvent amené à travailler avec ces trois équipes en parallèle : Data Scientists, Data Ingénieurs, développeurs back et front.
Contrairement à un Product Manager classique, le Product Manager IA doit faire montre d’un fort intérêt pour la technique : en effet, là où un Product Manager classique peut se contenter de quelques notions techniques, le Product Manager IA doit comprendre l’architecture du produit, le travail des Data Ingénieurs et des Data Scientists, la façon dont fonctionnent les algorithmes ou dont sont entraînés les modèles d’IA, l’indexation des données ou encore la structuration des bases de données. Sans cette compréhension, le Product Manager IA ne peut être en mesure d’adopter les bonnes règles produit.
Par ailleurs, l’IA étant un domaine très expérimental et dont les technologies évoluent rapidement, il est essentiel pour le Product Manager IA de faire régulièrement de la veille technologique, afin d’être au fait des dernières avancées en la matière. Dans le cas de l’utilisation d’un LLM du marché, le Product Manager IA peut par exemple s’interroger sur la pertinence d’utiliser l’API d’Open AI plutôt que celle d’Anthropic ou de Mistral. Il peut être amené à les tester chacune afin d’identifier leurs forces et faiblesses respectives, et décider de la plus adaptée à son produit.
Tout l’enjeu du Product Manager IA se résume donc à allier amélioration technique et bénéfice utilisateur, sur un scope bien plus technique que pour un produit classique. La complexité réside en la compréhension intime du travail effectué par les Data Scientists et Data Ingénieurs, et son application concrète au produit final, afin de servir les utilisateurs finaux. Le Product Manager IA doit par exemple être en mesure de définir les bonnes règles métiers dans le cadre d’algorithmes de recommandations (sur quelles données entraîner l’algorithme, quels critères utilisateur utiliser), mais aussi de définir les règles de recherche et d’indexation des documents dans les bases de données dans le cadre d’un LLM. Si ce lien entre technique et produit n’est pas assuré, l’écueil est de privilégier la technique au détriment du produit.
Le Product Manager IA doit aussi pouvoir fixer les bons KPIs pour juger des améliorations de ses équipes techniques. Contrairement à un Product Manager classique, dont les hypothèses produit peuvent être testées aisément, à travers des AB tests, le tracking des données dans Tableau ou Google Analytics, il est plus délicat de juger de la réussite d’un produit IA, en raison de sa complexité. Les critères de réussite sont à la fois produit, mais aussi techniques : par exemple, la réduction des hallucinations est un KPI à prendre en compte, tout comme la réduction des faux positifs. Dans le cadre d’un agent conversationnel ou d’un LLM, les critères peuvent être plus subjectifs et reposer sur la pertinence de la réponse, la capacité à prendre en compte l’intention de l’utilisateur, son humeur et le contexte de sa question. Un Product Manager IA doit garder une certaine souplesse et flexibilité et être en mesure de définir des KPIs pertinents pour bien évaluer la performance de son produit et conduire à son amélioration.
Dans cette tâche, il peut être accompagné d’un Data Analyst, qui l’aidera à définir les meilleurs KPIs et à mettre en place un plan de tracking pertinent.
Cela passe avant tout par une écoute active des équipes techniques : les Data Scientists et Data Ingénieurs sont les plus à-même d’aider le Product Manager IA dans la compréhension technique du produit, et dans les pistes potentielles d’amélioration. Un Product Manager IA doit ainsi s’appuyer largement sur ses équipes techniques dans la définition de pistes d’amélioration, afin de pouvoir identifier ce qu’il est techniquement possible de faire. Néanmoins, le Product Manager IA reste un garde-fou pour empêcher les équipes techniques de s’éloigner de la finalité du produit, qui reste avant tout de satisfaire les utilisateurs finaux. Il est important que le Product Manager IA guide les équipes techniques dans cette direction, sans se laisser embarquer dans de la technique pure, sans lien avec le produit.
Le Product Manager IA est un Product Manager responsable d’un produit d’IA, de Deep Learning ou de Machine Learning, ou ayant trait à l’IA. Il est souvent la clé de voute entre équipes Data Scientists, Data Ingénieurs et développeurs back et front. Le Product Manager IA doit faire montre d’une certaine appétence technique, afin de bien comprendre le travail de chacune de ses équipes : cela lui permettra de lier technique et finalité produit, afin de mettre la technique au service des utilisateurs finaux.