Un réseau de neurones est un modèle informatique qui s’inspire du fonctionnement des cellules nerveuses biologiques et de la structure de leurs associations. Ce sont des algorithmes d’apprentissage machine.
https://commons.wikimedia.org/wiki/File:Artificial_neural_network_image_recognition.png
Il est constitué de neurones artificiels reliés les uns aux autres et organisés en couches. La première reçoit un signal, constitué d’un ou plusieurs neurones, traite l’information et renvoie le résultat à la deuxième couche. Chacun des neurones va envoyer son résultat à l’ensemble des neurones de la couche suivante. La deuxième couche va réitérer l’opération et transmettre le résultat à la couche suivante, et ainsi de suite. La dernière couche va collecter un résultat final, somme des transformations des couches précédentes. Selon le problème à résoudre, les neurones vont transformer les données de manières différentes. Manières qui vont également évoluer en fonctionnement du résultat final obtenu.
https://commons.wikimedia.org/wiki/File:Simplified_neural_network_example.png
Par exemple, lorsqu’il s’agit d’apprendre à identifier une image, le signal prend la forme des différents paramètres de l’image, comme la valeur de chacun des pixels la constituant . Chacun des neurones suivants va recevoir une combinaison de chaque neurone et appliquer un traitement, par exemple, privilégier les pixels proches qui ont la même teinte, afin d’extraire des formes. Les résultats sont renvoyés dans la couche suivante qui va, par exemple privilégier les formes qui se ressemblent. Le processus peut ainsi continuer jusqu’à la dernière couche qui doit établir le type d’image. En fonction du résultat obtenu, les transformations que font les neurones peuvent être modifiées, optimisées et réappliquées à une autre image. Le réseau apprend ainsi, image après image à reconnaître de quoi est constituée l’image.
Lorsqu’il y a plusieurs couches intermédiaires, l’algorithme est appelé réseau de neurones profond ou apprentissage profond (Deep Learning en anglais).
Dans les grands modèles de langage
Les grands modèles de langage comme ceux utilisés par ChatGPT fonctionnent avec des réseaux de neurones profonds extrêmement grands. Le nombre de couches est de l’ordre d’une centaine et celui de neurones par couche se compte en centaines de millions.