D’après une étude menée par Ivan Jaric (équipe BioM), les scientifiques s’appuient de plus en plus sur des sources de données et des outils puissants qu’ils ne peuvent souvent pas pleinement comprendre, inspecter ou vérifier. Les outils et données de pointe tels que l’intelligence artificielle, l’imagerie satellite, les données en ligne et les capteurs numériques révolutionnent la façon dont les scientifiques étudient le monde naturel. Mais ces systèmes fonctionnent en réalité comme de véritables « boîtes noires » scientifiques, susceptibles de remettre de plus en plus en question la confiance accordée à la science.

Cette nouvelle étude (https://doi.org/10.1093/biosci/biag119), menée par une équipe internationale de scientifiques, aborde les problèmes de reproductibilité, de confiance et d’avenir de la recherche scientifique à une époque où des technologies essentielles peuvent façonner la science et influencer les connaissances sans être pleinement soumises à un examen approfondi. Ces technologies sont capables de traiter d’énormes quantités d’informations, de surveiller la biodiversité et les menaces à l’échelle de continents entiers, et de révéler des schémas qui, autrefois, seraient restés hors de portée.

« Cependant, beaucoup de ces outils constituent de véritables boîtes noires, car les processus à l’origine de leurs résultats demeurent largement dissimulés », a déclaré Ivan Jarić, auteur principal de l’étude. « Ils appartiennent souvent à des entreprises privées qui limitent délibérément l’accès aux informations sur le fonctionnement de leurs systèmes ou le traitement de leurs données, en raison de contraintes de propriété industrielle et d’objectifs commerciaux. »

L’article identifie plusieurs types de boîtes noires de plus en plus utilisées en écologie et en conservation. L’un des exemples les plus marquants concerne les grands modèles de langage et autres technologies d’IA, de plus en plus employés pour analyser des jeux de données massifs, interpréter l’imagerie satellite et modéliser les écosystèmes. Or, les chercheurs n’ont souvent que peu, voire aucun accès aux données utilisées pour entraîner ces systèmes, aux algorithmes sous-jacents, à des tests directs du système, ou à une compréhension de la façon et des raisons pour lesquelles ils produisent certains résultats. À mesure que l’IA gagne en capacité et en autonomie, ce manque de transparence rendra les résultats scientifiques plus difficiles à interpréter et à vérifier.

Ce problème ne se limite pas à l’IA. De nombreux produits de télédétection reposent sur un traitement propriétaire que les chercheurs ne peuvent ni pleinement consulter ni vérifier, tandis que certains dispositifs de suivi de la faune ne fournissent que des localisations animales déjà traitées, sans donner accès aux données brutes sous-jacentes. Les plateformes en ligne telles que les moteurs de recherche et les réseaux sociaux, devenues des sources précieuses pour l’étude de la biodiversité et des interactions entre l’homme et la nature, reposent sur des algorithmes cachés et des politiques changeantes susceptibles d’introduire des biais inconnus dans ces données. Des problèmes similaires touchent également les enquêtes sociales. Les scientifiques s’en remettent de plus en plus à des entreprises privées pour recruter des participants et gérer les enquêtes, disposant souvent d’informations limitées sur la façon dont les répondants sont sélectionnés, sur la manière dont la qualité des données est assurée, ou sur une possible interférence d’agents d’IA dans les réponses.

« Ce problème ne relève pas simplement de questions commerciales et de propriété industrielle », a expliqué la professeure Karen Anderson, de l’Université d’Exeter, autre auteure de l’étude. « Les outils scientifiques modernes deviennent aussi techniquement si complexes que leurs utilisateurs, et parfois même leurs développeurs, peuvent avoir du mal à en examiner et en comprendre pleinement le fonctionnement. »

Cette dépendance croissante aux technologies de type boîte noire est encore renforcée par une culture du « publish or perish », une pression croissante exercée sur les scientifiques pour accroître leur productivité et rester compétitifs, mais aussi par la nécessité de faire face plus efficacement à des jeux de données toujours plus volumineux et à des crises environnementales urgentes. Outre le risque de monopole, l’entrave aux efforts en faveur d’une science ouverte et la vulnérabilité à la manipulation, les chercheurs avertissent que cette tendance pourrait gravement compromettre la reproductibilité globale de la science. Si les étapes analytiques clés ne peuvent être ni examinées ni reproduites, la confiance dans les résultats scientifiques pourrait progressivement s’éroder.

Les auteurs recommandent plusieurs solutions pour rendre les technologies de type boîte noire plus transparentes et plus responsables. Cela inclut la priorité donnée aux logiciels et matériels open source chaque fois que possible, l’étalonnage des outils propriétaires par rapport à des jeux de données transparents, la comparaison des résultats obtenus par plusieurs méthodes, une documentation rigoureuse des données d’entraînement, des flux de traitement, des versions, des paramètres, et en particulier des limites des outils, ainsi que, en définitive, des efforts systématiques pour sensibiliser plus largement à ce problème et le faire reconnaître.

« La supervision humaine doit rester au cœur de l’ensemble du processus de recherche, d’autant plus que ce sont les auteurs des études qui doivent assumer la responsabilité de toute erreur ou incertitude découlant de l’utilisation d’outils boîte noire dans leurs travaux », a déclaré Michael Bertram, de l’Université suédoise des sciences agricoles et de l’Université de Stockholm, autre auteur de l’étude. « Il est également nécessaire d’intensifier les efforts en faveur de la science ouverte, notamment par des réglementations qui amélioreraient l’accès des chercheurs aux plateformes numériques et aux données sous-jacentes. »

Cependant, certaines boîtes noires pouvant rester réfractaires à ces solutions et éloignées des normes de la science ouverte, les scientifiques doivent rester vigilants face aux compromis liés à leur utilisation et aux risques d’une adoption non critique.

Contact : Ivan Jarić, ivan.jaric@universite-paris-saclay.fr

Légendes des images :

Image 1. Principales préoccupations et solutions potentielles liées à l’utilisation d’outils et de sources de données de type boîte noire en écologie et en conservation (illustration de Julie Johnson, Life Science Studios).