Le biais algorithmique est un terme issu du monde de l’intelligence artificielle. Il fait référence aux algorithmes qui prennent systématiquement des décisions incorrectes et biaisées. Certaines raisons techniques peuvent l’expliquer, notamment lorsque le programme utilise un générateur de nombres aléatoires qui s’avère finalement ne pas être vraiment aléatoire.
Mais le biais algorithmique se produit surtout lorsque des ensembles de données limités sont utilisés. Les algorithmes d’apprentissage profond dépendent de la quantité d’informations qui leur sont soumises à l’entrée. Plus il y a de données, plus l’algorithme est performant. Les systèmes d’IA apprennent, en effet, à établir des prédictions à partir des données qu’ils reçoivent à l’entrée et essaient ensuite d’y identifier des modèles. Si les ensembles de données sont incomplets, l’algorithme arrivera systématiquement à des conclusions erronées.
Un exemple typique est un algorithme de Google qui interprétait mal les photos de personnes parce qu’il avait été essentiellement formé avec des images de personnes blanches. Un problème similaire s’est posé chez Amazon, qui discriminait les femmes pour le poste de programmeur dans un système HR fondé sur l’IA, tout simplement parce que les données disponibles incluaient principalement des hommes.