La sous-détermination des modèles

Pour faire suite aux commentaires de Marc et Nicolas dans cet article concernant la modélisation, je voudrais attirer l'attention sur une difficulté fondamentale de la modélisation des systèmes naturels:
Il s'agit du problème de la sous-détermination des modèles par rapport aux données d'observation, c'est à dire la capacité pour plusieurs modèles d'expliquer les mêmes données.
Ce problème caractérise grandement tous les systèmes complexes, notamment biologiques et sociaux.
J'ai montré comment, grâce à l'informatique, il est possible de simuler des comportements auto-organisateurs ayant des propriétés émergentes.
L'intérêt de ces simulations consiste:

1. A suggérer des modèles théoriques conduisant à l'apparition de phénomènes observés dans la nature et qui sembleraient "à priori" improbables ou mystérieux (comme l'apparition de la vie, ou l'évolution)
2. De suggérer de nouvelles expériences qui permettraient de décider, entre deux modèles concurrents, lequel est le plus capable d'expliquer des phénomènes observés.

Dans son livre sur l'auto-organisation (1), Henri Atlan décrit des recherches menées en intelligence artificielle et en cybernétique, qui montrent qu'il est possible d'organiser deux systèmes de réseaux de neurones tels que le système 1 a un comportement émergent, qui peut être utilisé par le système 2 de telle sorte que l'ensemble Système 1/Système 2 se fixe ses propres buts (qu'on peut donc qualifier de buts émergents)

Ces buts sont tout à fait imprévisibles à priori: le système global n'est pas pré-programmé pour les atteindre. Atlan dénomme cette classe de comportement "auto-organisation intentionnelle au sens fort" par opposition à "l'auto-organisation au sens faible" où l'objectif du réseau de neurones est déterminé par le concepteur et non pas le système lui-même. (En général le "but" fixé par le concepteur est un apprentissage adaptatif)
Dans le cas de ce système d'auto-organisation intentionnelle au sens fort, il permet d'envisager la possibilité d'un principe téléologique émergent et non vitaliste, c'est à dire d'une auto-détermination.

Le système décrit par Atlan se base intégralement sur la théorie de la complexité par le bruit. Les 2 systèmes sont organisés de telle façon que le bruit dans le système 1 produit un sens pour le système 2 qui, lui-même, rétroagit sur le système 1. Les "buts" du système émergent naturellement et sont relativement stables par rapport aux perturbations, tout en n'étant jamais complètement figés car ils peuvent continuer d'évoluer au fil des données d'entrée.

Ainsi on est capable de concevoir et de mettre en oeuvre un modèle de machine d'intelligence artificielle qui se fixe ses propres buts et qui se comporte ainsi quasiment comme un organisme vivant.

Mais peut-on affirmer pour autant que les organismes vivants sont construits sur le même modèle?

Les problèmes de l'ingénierie classique consistent à reproduire des systèmes capables de certaines fonctionnalités prédéfinies ou de performances observées dans la nature. Par exemple, un appareil photo est capable d'enregistrer une image, de même que l’œil humain (et les neurones associés) de la stocker.
L’œil humain fonctionne-il pour autant comme un appareil photo?
C'est une question typique de l'ingénierie inverse.
L'ingénierie inverse part des observations pour construire un modèle capable de reproduire des états observés: elle essaie de concevoir des modèles capables d'expliquer des observations.

Or pour les systèmes naturels (de même que pour la sociologie, l'histoire, l'économie, la psychologie, etc.), il existe un nombre extrêmement élevé de variables observables, et de nombreux modèles sont capables de prédire les mêmes états observés: c'est ce qu'on appelle la sous-détermination.

On peut estimer le degré de sous-détermination d'un modèle en fonction du nombre d'éléments qui composent un système. D'une certaine manière, puisque cette sous-détermination donne une mesure de l'information cachée dans le système (son fonctionnement), elle donne une mesure de sa complexité, c'est à dire de son entropie d'information.
Ce degré de sous-détermination est déjà très important pour de petits réseaux d'éléments interconnectés (moins d'une dizaine d'éléments).
Par exemple, pour n éléments interconnectés qui peuvent avoir x états différents, le nombre d'états observables du système global est x à la puissance n. Mais le nombre de structures de modèles possibles pour expliquer ces états observés, est de y à la puissance n au carré (y étant le nombre de valeurs possibles que peut prendre chaque connexion: par exemple: active/inactive/inexistante).
Il en résulte que pour un système complexe tel que, par exemple, le cerveau humain, un nombre gigantesque de modèles peuvent expliquer les mêmes états observés.

Cette propriété des systèmes complexes, notamment biologiques, peut parfois expliquer leur robustesse.

En génétique, une expérience de "knock-out" consiste à inhiber totalement un gène.
Lors d'une telle expérience menée sur des souris, les biologistes ont pu constater que la suppression d'un gène dont on savait par ailleurs, qu'il avait un rôle important dans le développement d'un phénotype chez la souris, n'affectait quasiment pas le phénotype.

Le modèle déterministe classique cause>conséquence, instancié en biologie sous la forme un gène>une protéine>une fonction, est actuellement revisité en un modèle multicausal ou la multi-causalité provient du fait qu'un grand nombre de structures possibles peut produire les mêmes fonctions.
Autrement dit, une structure biologique qui utilise certains gènes pour produire certaines fonctions peut se passer complètement de ces mêmes gènes et pourtant parvenir à produire exactement ou approximativement les mêmes fonctions, ce qui explique en partie leur fiabilité et dénote une redondance fonctionnelle délocalisée telle que prévue par Von Neumann.

En matière médicale, les raisons pour lesquelles tels médicaments ou telle médecine parallèle fonctionnent sont tellement sous-déterminées qu'on est presque fondé à dire que tout marche mais avec des probabilités différentes.
Ainsi, comme le dit le titre d'un livre du mathématicien René Thom, "prédire n'est pas expliquer". Plusieurs modèles concurrents peuvent prédire le devenir d'un système sans toutefois l'expliquer. D'après Atlan, c'est en cela que la science se distinguerait de la magie, qui ne laisse rien, elle, d'inexpliqué. Alors que l'explication laisse notre âme en repos, la science, elle, ne cesse de nous questionner par son caractère ouvert d'incomplétude explicative...

Le problème du biais de sous-détermination apparaît lorsqu'on cherche à prédire le futur en se basant sur un modèle qui marche pour expliquer des faits observés dans le passé. Car les nombreux modèles différents capables d'expliquer ces états passés peuvent ne pas conduire tous aux mêmes prédictions concernant les états futurs... surtout dans le cas de systèmes naturels complexes ou le nombre de données observables et reproductibles sont en nombre limités.

Ainsi la sous détermination des modèles par rapport aux observations peut nous conduire à des extrapolations erronées...

Non seulement notre monde est donc fondamentalement indéterminé, mais de plus, les modèles explicatifs que nous concevons pour l'appréhender sont généralement sous-déterminés...
Il n'y a donc rien d'étonnant à ce que nos prévisions soient hasardeuses ou, en tous cas, risquées.

Pour répondre au commentaire de mon ami Nicolas Quint, je ne parierai donc pas trop sur le fait que nos amis Alsaciens voteront conservateur dans les 5 prochaines élections, même si ça fait déjà deux siècles que c'est le cas.

Comme disait Pierre Dac, "la prévision est un art difficile, surtout quand elle concerne l'avenir".

Sources:

(1) Le vivant post-génomique ou qu'est-ce que l'auto-organisation - Henri Atlan
(2) La peinture est de Françoise Nielly
(3) Les photos sont extraites de "The writing on the wall" de OK Go (une découverte du prof d'Art Plastique de mon fils, un type qui donne envie de prendre des courts d'Art Plastique)

Post Scriptum:
Pour ceux qui ont aimé la vidéo The writing on the wall (les autres peuvent quitter ce blog, je les renie), je recommande aussi celles-ci:
I wan't let you down et Needing/Getting, le tout réalisé sans montage! (C'est le principe de OK Go, mais c'est incroyable)
Et puis, ça illustre parfaitement la sous-détermination des modèles...