From the Field Sikia se rend sur le terrain : l'IA peut-elle faciliter l'écoute des agriculteurs ?
Des chercheurs en Éthiopie et en Tanzanie procèdent actuellement au premier test sur le terrain de Sikia, afin de déterminer si l'IA est capable de saisir les propos des agriculteurs dans leurs propres mots et de transformer ces conversations en informations exploitables à grande échelle.
Demandez à un agriculteur pourquoi il préfère une variété à une autre, et la réponse est rarement aussi simple que de choisir une option dans une liste. Il peut évoquer ses performances en cas de faibles précipitations, indiquer s’il a produit suffisamment pour vendre, parler de son goût, ou expliquer pourquoi une variété à bon rendement restait difficile à commercialiser. Ces détails peuvent en dire plus aux chercheurs que les simples préférences des agriculteurs, mais les recueillir à grande échelle pose un défi pratique : des centaines d’entretiens doivent être enregistrés, transcrits, lus et interprétés avant que les chercheurs puissent commencer à y identifier des tendances.
Pour les chercheurs en sciences qualitatives, ce travail peut prendre des semaines, et plus on laisse aux personnes la possibilité d’expliquer leurs expériences avec leurs propres mots, plus il y a d’informations à traiter par la suite. Sikia a été développé pour relever ce défi : les chercheurs pourraient-ils écouter ce que les agriculteurs ont réellement à dire sans que la richesse de ces conversations ne rende leur exploitation trop chronophage ?
«Les agriculteurs ont toujours eu bien plus à nous dire que ce que nous pouvions recueillir dans une enquête. Avec NDIZI, nous voulions voir si nous pouvions écouter ces récits à grande échelle sans en perdre les détails », explique Stephen Mutuvi, de l’Alliance entre Bioversity International et le CIAT.
Sikia, qui signifie « écouter » en swahili, est une plateforme numérique conçue pour recueillir des réponses ouvertes dans les propres mots et langues des personnes interrogées, puis utiliser l’IA pour aider les chercheurs à organiser et analyser ce qu’ils ont entendu. Après des tests préliminaires dans le domaine de la recherche en sélection végétale, la plateforme a désormais franchi une étape importante grâce au projet pilote CropConcept Market Intelligence mené en Éthiopie et en Tanzanie, où elle a été déployée dans le cadre d’un exercice de collecte de données sur le terrain en conditions réelles et appliquée au-delà des essais de sélection végétale pour lesquels elle avait été initialement développée.
Des retours d'expérience des agriculteurs à Sikia
Sikia est issue de NDIZI (NLP to Develop and Innovate Zero-Shot Intelligence), une initiative de recherche en IA de l’Alliance, soutenue par la Fondation Gates. NDIZI est parti d’une question de recherche concrète : l’IA pourrait-elle permettre de recueillir les retours d’expérience des agriculteurs avec la richesse d’un entretien approfondi, mais à la vitesse et à l’échelle d’une enquête ?
Cette approche a d’abord été testée dans le cadre d’essais participatifs sur le haricot essais variétaux participatifs menés auprès de petits agriculteurs en Tanzanie. Plutôt que de limiter les agriculteurs à des catégories sélectionnées à l’avance, ceux-ci pouvaient décrire ce qu’ils aimaient et n’aimaient pas dans différentes variétés avec leurs propres mots, tandis que Sikia transcrivait leurs réponses et aidait les chercheurs à identifier les caractéristiques qu’ils mentionnaient, notamment le rendement, le goût, la tolérance à la sécheresse et la demande du marché. Ces observations ont ensuite pu être organisées en un ensemble de données permettant aux chercheurs d’examiner les tendances qui se dégagent des entretiens tout en conservant les détails contenus dans les réponses des agriculteurs.
Le projet pilote CropConcept Market Intelligence a poussé cette démarche plus loin, en utilisant Sikia pour un autre problème de recherche en Éthiopie et Tanzanie, et ce dans trois langues : l’amharique et l’afaan oromo en Éthiopie, et le swahili en Tanzanie.
Transformer les conversations en éléments de preuve exploitables
Au cours de la phase pilote, les enquêteurs ont utilisé Sikia pour interroger les agriculteurs et enregistrer leurs réponses sous forme audio, ce qui leur a permis d’expliquer leurs réponses au-delà des catégories prédéfinies. Un agriculteur peut répondre à la question posée, puis ajouter un « eh bien, en fait… », évoquant ainsi une expérience, une préférence ou une préoccupation que le chercheur n’avait pas anticipée, mais qui pourrait aider à expliquer pourquoi il préfère une variété ou un produit à un autre.
Sikia aide les chercheurs à saisir ces réponses plus complètes sans avoir à passer manuellement en revue chaque enregistrement. La reconnaissance vocale automatique convertit l’audio en texte, tandis que le traitement du langage naturel et outils basés sur des modèles linguistiques de grande envergure permettent d’identifier et d’organiser les thèmes, les observations individuelles et le sentiment qui y est associé. L’objectif est de rendre les réponses plus riches et plus faciles à exploiter à grande échelle, en réduisant le délai entre la collecte d’une réponse ouverte et la mise à disposition d’informations que les chercheurs peuvent analyser.
De la sélection végétale à l'analyse des marchés
Jusqu’au projet pilote « CropConcept Market Intelligence », Sikia avait été testé dans le cadre d’essais de sélection végétale, où les questions portaient principalement sur les expériences et les préférences des agriculteurs concernant les variétés de cultures. Ce déploiement présentait un défi différent : appliquer la même approche à une étude de marché couvrant deux pays et trois langues.
C'était également la première fois que Sikia était déployé dans le cadre d'un exercice réel de collecte de données sur le terrain, où l'analyse qualitative ne constituait pas simplement une expérience secondaire s'ajoutant à une enquête quantitative. Les enquêtes d’intelligence de marché, à l’instar de nombreux exercices de recherche à grande échelle, ont tendance à s’appuyer fortement sur des questions structurées, car les réponses peuvent être traitées et comparées relativement rapidement, tandis que les volumes importants de réponses ouvertes nécessitent un travail considérablement plus important pour être transcrits, codés et interprétés.
Ce projet pilote offre donc l’occasion d’examiner si les conversations ouvertes peuvent jouer un rôle plus important dans ce type de recherche sans créer le même goulot d’étranglement au niveau du traitement des données, tout en testant Sikia au-delà du contexte de sélection végétale dans lequel il a été développé.
Tester Sikia avec ses utilisateurs
Le passage d’un prototype de recherche à un produit utilisé lors d’une collecte de données réelles peut mettre en évidence des difficultés difficiles à anticiper pendant la phase de développement. Pendant trois jours, six enquêteurs ont utilisé Sikia pour interroger une trentaine d’agriculteurs. Avant leur départ sur le terrain, leur formation a permis de mettre au jour deux bugs critiques : la question relative au GPS ne pouvait pas être complétée, et la reprise d’un formulaire mis en pause provoquait le blocage de l’application. Ces deux problèmes ont été corrigés le jour même et vérifiés le lendemain, tandis que la logique du formulaire a également été améliorée.
Les enquêteurs ont également identifié une fonctionnalité qui s’est avérée particulièrement efficace dans la pratique : l’enregistrement audio intégré à Sikia pouvait être mis en pause et repris directement depuis le formulaire, ce qu’ils ont trouvé plus pratique que les outils qu’ils utilisent habituellement. Il s’agit là d’un enseignement important tiré de ce déploiement, car l’enregistrement des réponses ouvertes est essentiel pour permettre à Sikia de capturer les propos des agriculteurs en vue de leur transcription et de leur analyse.
« J’ai vraiment apprécié de pouvoir mettre l’enregistrement en pause, revenir à la question, puis continuer. Avec les outils que nous utilisons habituellement, ce n’est pas aussi simple, ce qui a rendu l’entretien beaucoup plus fluide. »
« Sikia signifie “écouter”, et ce déploiement nous a rappelé que nous devons également être à l’écoute des utilisateurs. Les enquêteurs ont repéré des éléments qui nous avaient échappé, notamment deux problèmes que nous avons pu résoudre avant leur départ sur le terrain. Mais ils nous ont aussi montré ce qui fonctionnait déjà bien pour eux. Ce sont ces retours d’expérience qui nous aident à développer un meilleur produit.» Laurens Goormachtigh, responsable produit
Ce déploiement a réuni l’équipe CIMMYT et l’équipe NDIZI de l’ Alliance, aux côtés de collègues travaillant dans les domaines du MLOps, du développement de produits et de la mise en œuvre sur le terrain, avec le soutien de la Fondation Gates. Ensemble, ils ont fait le lien entre les besoins en matière de recherche et la technologie sous-jacente à Sikia, ainsi que les réalités concrètes de la collecte d’informations auprès des agriculteurs. Ce travail contribue également à la création d’une suite de produits Sikia comprenant des applications mobiles et web.
Cette approche pourrait-elle s'appliquer à d'autres domaines que l'agriculture ?
Bien que Sikia soit issue de la recherche agricole, le défi auquel elle s’attaque ne se limite pas à la sélection végétale. Les chercheurs travaillant dans les domaines des études de marché, des études de consommation, de la nutrition, de la santé maternelle, des études sur le genre et d’autres programmes communautaires peuvent être confrontés à une difficulté similaire lorsque les expériences des personnes ne peuvent pas être correctement saisies à l’aide de réponses prédéfinies.
Le principe de Sikia repose sur l’idée que la même infrastructure sous-jacente de collecte et d’analyse des réponses ouvertes pourrait potentiellement être adaptée à différents contextes de recherche sans qu’il soit nécessaire de repenser la plateforme de base pour chaque nouveau sujet. Le projet pilote CropConcept offre une première occasion d’explorer ce potentiel en faisant sortir Sikia de son environnement d’origine, celui de la sélection végétale, pour l’appliquer à l’intelligence de marché. Il est trop tôt pour se prononcer sur les performances de la plateforme dans d’autres secteurs, mais la tester sur un problème de recherche différent constitue une étape importante pour comprendre l’étendue des applications possibles de cette approche.
Dans quelle mesure Sikia a-t-elle bien écouté ?
Une première analyse des données commence à mettre en évidence les points forts de Sikia et les domaines où des efforts supplémentaires sont nécessaires. Pour l'amharique, la qualité de la transcription a été notée entre 9,5 et 10 sur 10, la traduction en anglais étant qualifiée de quasi parfaite. L’afaan oromo s’est révélé plus difficile : la transcription a obtenu une note comprise entre 3 et 6 sur 10, bien que la traduction en anglais ait obtenu de meilleurs résultats, avec une note comprise entre 6 et 8 sur 10.
Ces premiers résultats montrent de solides performances en amharique, tandis que l’afaan oromo pose encore des défis en matière de transcription. Cela revêt une importance particulière alors que Sikia s’étend à des langues disposant de niveaux variables de ressources numériques pour soutenir les systèmes d’IA, et met en évidence un domaine où des développements et des tests supplémentaires seront nécessaires.
Ces travaux se poursuivent, et l’équipe développe des fonctionnalités hors ligne, afin que Sikia puisse être utilisé là où la connectivité est limitée ou inexistante, ainsi qu’un système de questions dynamiques, qui permettrait à l’IA de générer des questions de suivi pertinentes au cours d’un entretien. Le haoussa et l’arabe sont également à l’étude en tant que langues supplémentaires.
Le déploiement en Éthiopie et en Tanzanie a donc permis à Sikia d’aller bien au-delà de son cas d’utilisation initial dans le domaine de la sélection végétale. Il a commencé à mettre en évidence les domaines dans lesquels la technologie fonctionne déjà bien, ceux où elle doit encore s’améliorer, et ce qui sera nécessaire pour que les chercheurs puissent l’utiliser afin d’écouter davantage de personnes, dans davantage de langues et dans davantage d’endroits.
