Jim Critchfield est notre invité pour cette unité.
Il est Professeur de Physique à l'Université de Californie, à Davis,
et Directeur du Centre de Science de la Complexité.
Il est aussi professeur externe au Santa Fé Institute.
Jim est l'un des pionniers dans le domaine de la théorie du chaos,
et il a travaillé longtemps sur une série de sujets de recherche en complexité,
plus spécialement sur le traitement de l'information dans les systèmes complexes.
- Bienvenue Jim - Bonjour Mélanie, comment allez-vous?
- Bien. Je voudrais juste vous demander le rôle que vous donnez au concept d'information,
dans la recherche sur les systèmes complexes?
La réponse la plus courte et la plus simple que je puisse donner est
qu'il s'agit d'un concept clé.
L'un de ses principaux rôles est de nous servir
pour calculer les quantités qui nous intéressent.
En contraste ou en parallèle, on peut penser au domaine de la physique:
en physique, l'objet principal, le concept
ou l'entité qui nous intéresse est l'énergie.
Et il y a certainement beaucoup d'applications fructueuses
des physiques traditionnelles, comme la physique de transitions des phases,
aux systèmes complexes.
Mais beaucoup de ces systèmes complexes,
si l'on pense aux réseaux sociaux ou
à un système planifié par des humains tels qu'internet,
on n'y trouve pas nécessairement une notion appropriée de l'énergie.
L'information nous sert donc à décrire
comment se comporte un système complexe.
Plusieurs sortes de traitement de l'information ou de stockage
peuvent être associées à la manière avec laquelle un système est organisé.
C'est donc un concept clé.
La notion originelle de Shannon de l'information,
en tant que degré de surprise,
comme degré d'imprévisibilité d'un système,
ou de son caractère aléatoire, doit être améliorée.
Et c'est certainement l'un des sujets de mon travail.
C'est-à-dire délimiter les différents types d'information,
pas juste au sens de Shannon,
ce qui, dans le contexte de la théorie de la communication,
est un degré de surprise.
- Parlons d'un exemple précis.
Nous avons vu le cas des colonies de fourmis.
Comment pensez-vous que l'information s'y insère,
et quels sont les différents types d'informations?
L'approche de base consiste à partir
du point de vue de Shannon,
suivant lequel tout processus,
tout système naturel ou créé est un canal de communication.
Ce concept s'applique de nombreuses manières.
De manière générale, tout processus temporel
est un canal de communication entre le passé et le futur.
Et cette même image peut aussi s'appliquer
pour une colonie de fourmis, à plusieurs niveaux:
la notion d'organisation dans le nid,
ou les types d'informations sociales ou architecturales
qui sont construits dans cette organisation sociale,
ou encore la propre structure du nid...
Et tout cela exprime une sorte de résumé
du comportement passé des fourmis,
qui est important pour leur survie et leur futur.
On peut s'approcher un peu plus et se demander
quel est le contenu de la communication,
comment la colonie s'organise autour de certaines tâches?
Ce serait un niveau plus individuel.
Peut-être qu'une source de nourriture apparaît près du nid.
Comment communiquent-elles cela?
Comment les populations d'ouvrières se remplacent pour y répondre?
Et nous pouvons aussi parler de cela en termes de communication:
la structure de l'information dans la colonie change-t-elle
en réponse à ces données externes,
combien de mémoire y a-t-il, et ainsi de suite.
- L'information est donc une chose réelle,
au même titre que la masse ou l'énergie?
Elle a le même type de quantité physique?
- Nous travaillons toujours là-dessus.
Basiquement, oui.
Il est utile de repenser,
quatre ou cinq siècle en arrière,
aux premières discussion
sur la nature de l'énergie dans les fondations de la physique.
Au 16 et 17èmes siècles, on discutait beaucoup pour savoir si
l'énergie kinétique dépendait de la vitesse d'un objet, ou de son carré.
À cette époque, on voit qu'il s'agissait d'une confusion
entre momentum et énergie kinétique.
Et je pense que d'une certaine façon,
nous sommes à la même époque,
nous essayons de comprendre
qu'il n'y a pas de notion unitaire de l'information.
Différents types d'informations ont différents contextes sémantiques
dans différentes situations.
Je crois que la preuve est dans le résultat. Cela aide-t-il?
Oui, il y a plusieurs applications.
Nous parvenons à montrer que le stockage et le traitement de l'information
sont importants pour décrire comment les propriétés émergentes apparaissent,
et peuvent être quantifiés dans des systèmes en formation ou
des systèmes dynamiques non-linéaires.
Il y a donc plusieurs domaines
en physiques mathématiques, en dynamique non-linéaire,
où le concept est très utile,
et cela va certainement augmenter.
Au fur et à mesure, notre notion de l'information
et de ses différents types vont s'enrichir.
- Nous avons parlé d'une définition de la complexité dans ce cours,
et c'est assez difficile.
Les gens ont plusieurs définitions.
Comment l'information s'insère-t-elle
dans votre propre définition de la complexité?
- Pour être simple, ce sont plutôt des synonymes, à mon sens.
- Pas la théorie de Shannon.
- Il y a une définition mathématique de l'information selon Shannon,
qui dit, pour faire simple,
combien d'information il y a dans un événement probable.
Mathématiquement, c'est donc le format d'une distribution de probabilité,
son caractère uniforme tout au long des événements.
Cette même structure mathématique est utilisée encore et encore,
mais les distributions que nous descrivons
sont différentes suivant le contexte d'application.
Par exemple, si vous parlez de la théorie de Shannon
dans l'architecture causale d'un système,
elle mesure le montant de mémoire stockée,
et non la difficulté à prédire ce système.
- Par architecture causale, vous voulez dire ce qui cause quoi dans le système?
- Exact. Combien de degrés de liberté sont actifs.
Si je regarde un fluide turbulent,
ou le moteur de ma voiture qui tourne mal,
combien de degrés de liberté sont actifs?
Et dans l'état instantané d'un système qui garde les informations passées?
Quel est le lieu du stockage d'information?
Nous utilisons toujours la même expression mathématique
de la fonction de l'information de Shannon,
mais appliquée à une autre distribution,
et donc le sens est différent de la notion d'origine
qui était de savoir combien d'information
est produite par une source par unité de temps.
- Je sais que vous avez eu beaucoup d'influence
dans le domaine de la théorie du chaos et des dynamiques.
Comment en êtes-vous arrivé à vous intéresser à l'information
et au traitement de l'information?
- Dans l'histoire de la physique et de la dynamique non-linéaires,
une des moments les plus importants correspond aux travaux
du mathématicien russe Andrei Kolmogorov et de son étudiant Yakov Sinai.
Ils ont emprunté la notion d'information
que Shannon a introduite dans les années 40,
et l'ont appliquée aux systèmes dynamiques non-linéaires.
Ce qui les intéressait particulièrement, c'était que,
si vous avec deux systèmes dynamiques différents,
ils savaient presque intuitivement s'ils étaient chaotiques,
dans quel mesure,
et leur degré de prévisibilité.
Mais ils ne pouvaient pas quantifier cette impression,
jusqu'à ce qu'ils utilisent la notion d'information de Shannon,
et son concept d'entropie de la source,
pour en faire ce qui est aujourd'hui appelé l'entropie de Kolmogorov-Sinai.
Vous avez un système dynamique non-linéaire,
et un ensemble d'équations différentielles déterministes,
et vous pouvez mesurer le taux de production de l'information.
Vous pouvez donc dire qu'un système est plus chaotique,
plus difficile à prévoir qu'un autre.
La réponse directe à la question,
c'est donc que l'étude des systèmes dynamiques non-linéaires,
et en particulier de ceux qui sont chaotiques,
est depuis très longtemps, depuis un demi-siècle,
liée à l'information,
à la manière par laquelle nous comprenons
la production d'information dans les systèmes naturels.
- Sur quoi travaillez-vous maintenant?
Quelle est la chose la plus intéressante qui
retient votre attention pour le moment?
Je compare les informations actuelles
avec celles d'autres périodes,
à propos de la nature de l'énergie.
La chose la plus important, pour le moment,
est de se demander s'il y a une relation fondamentale,
dans un système naturel
qui a différents types d'énergies,
et quel est son comportement dans le temps.
Et de quelle manière c'est lié à sa production d'information,
et à son stockage d'information?
La question est donc de savoir s'il y a une limite
à la quantité d'information qu'on peut extraire
d'un système naturel, ou planifié comme un ordinateur,
et combien de dissipation d'énergie cela demande?
C'est un nouveau domaine, appelé thermodynamique de l'information.
On cherche à comprendre la relation directe entre énergie et information.
- Liz Bradley, avec qui nous avons discuté dans l'unité précédente,
considère les ordinateurs comme des systèmes dynamiques,
et cherche à les mesurer dans ces termes.
C'est lié au type de choses que vous faites vous-même?
- Oui, Liz et moi voulons prendre certaines de nos mesures
de stockage et de traitement de l'information,
les appliquer sur des circuits logiques simples,
et voir s'il y a une relation
entre le degré de traitement d'information
et la dissipation d'énergie.
L'idée est donc d'en revenir à Rolf Landauer au Centre IBM.
Rolf vient de décéder.
Il avait une notion aujourd'hui connue comme principe de Landauer,
selon lequel pour chaque bit de manipulation logique
qu'un système réalise, il y a dissipation
d'une quantité d'énergie proportionnelle au nombre de bits.
C'est le nombre de choix qu'un système doit faire dans ses opération logiques,
il disait que c'était une limite fondamentale,
et nous testons à présent cette idée.
Un domaine qui est en train d'être revu
est celui du démon de Maxwell.
Maxwell a proposé son petit démon malin pour trier
les molécules rapides et lentes des deux côtés d'une boîte,
en augmentant la différence de température,
ce qui permet d'en obtenir un certain travail.
Il y a donc la question de l'intelligence du démon
par rapport à la quantité de travail.
On est en train de revoir cela,
c'est une sorte de système prototype,
qui nous permet de parler d'intelligence
et d'information d'un côté,
et de dissipation d'énergie et d'extraction de travail de l'autre.
- J'ai une dernière question.
Beaucoup d'étudiants se demandent
comment fait-on pour étudier les systèmes complexes?
Comme il n'y a pas de formation spécifique dans les universités,
qu'est-ce que vous recommandez à ceux qui s'intéressent à ce domaine?
- Je crois qu'ils devraient suivre votre cours.
Je suis aussi en train de monter mon cours,
et d'après les conversations que j'ai eues
à propos de formations en ligne ouvertes à tous,
je crois que cela devient de plus en plus accessible.
Mais cela reste difficile.
Il y a certains domaines de base qu'il faut étudier.
Ma liste favorite est: physique statistique, théorie de l'information,
théorie des dynamiques non-linéaires de calcul...
- J'ai donné une liste comme celle-là,
j'y ai ajouté l'apprentissage, l'évolution de l'apprentissage.
- Je vois cela comme des applications des notions de base,
mais vous avez raison.
Il y a d'autres types de systèmes,
d'autres questions à propos du stockage et du traitement de l'information,
de la dissipation d'énergie appliquée
à des systèmes écologiques ou d'apprentissage,
des systèmes adaptatifs, des systèmes évolutionnaires aussi...
Tout cela constitue une sorte d'itinéraire de base en systèmes complexes.
On peut espérer qu'à un certain moment dans le futur,
mais je ne pense pas que cela ait déjà été fait, comme vous l'avez dit,
une université va finir par faire le pas
et proposer une formation en systèmes complexes.
Bref, il faut être un peu aventurier.
Il ne manque pas de livres grand public et spécialisés,
même des monographies,
et votre cours peut sans doute donner une liste de ressources,
mais il nous faut encore tout mettre ensemble.
- Merci beaucoup, c'était très intéressant.
- Je suis content d'avoir pu vous aider.