Raisonnement scientifique et inférence bayésienne

Après deux siècles de quasi-oubli, les méthodes dites bayésiennes ont connu un essor extraordinaire au cours des trente dernières années.

Ce sont de telles applications de la théorie des probabilités qui faisaient dire de celle-ci au principal pionnier de ces méthodes, Laplace, qu'elle «n'est que le bon sens réduit au calcul».

Des formalisations plus récentes (Cox, 1946) font que l'on sait aujourd'hui que raisonner de manière rationnelle est équivalent à utiliser un raisonnement bayésien [Jaynes 2003].
Savoir raisonner de manière rationnelle étant nécessaire pour tout scientifique, il nous a semblé intéressant de faire le lien entre ces méthodes bayésiennes et ce que l'on appelle généralement la méthode scientifique.

Les méthodes bayésiennes sont des méthodes qui dérivent de l'application de l'interprétation bayésienne de la théorie des probabilités.
Selon cette interprétation, une probabilité n'est pas une propriété intrinsèque d'un système (comme une fréquence), mais une mesure (qui peut être subjective) de l'incertitude que l'on a sur l'état de celui-ci.
Le coeur de ces méthodes est alors le théorème de Bayes (entre 1745 et 1750), qui permet de réviser cette mesure à l'aune de nouvelles données:
p(H|D,I) = p(D|H,I) * p(H|I)/p(D|I).
La notation utilisée ici reflète l'usage qui nous intéresse: H représente une hypothèse, D des données, et, un raisonnement ne se faisant pas «dans le vide», I représente un contexte informationnel qui n'intervient pas dans les calculs mais que nous avons choisi de représenter explicitement, suivant ainsi [Sivia 2006].
Le terme p(H|I) représente alors la probabilité qui avait été attribuée a priori à l'hypothèse, p(D|I) représente les faits nouveaux que l'on désire prendre en compte, et p(D|H,I) la vraisemblance de ces faits en supposant l'hypothèse vraie.
On extrait de cela la probabilité révisée, a posteriori de l'hypothèse, p(H|D,I).

Dans cette étude, nous expliquons que l'application de ce théorème est non seulement compatible avec la méthode scientifique traditionnelle venant de la tradition d'Aristote, Bacon et Descartes et ses trois étapes --observer, former des hypothèses, tester ces hypothèses-- mais qu'en plus, elle permet d'étendre la logique «cartésienne» pour prendre en compte le problème de l'inférence.

En effet, la logique cartésienne permet de déduire les conséquences à partir de causes connues, mais il n'est pas possible de déterminer formellement les causes à partir de l'observation des faits.

L'utilisation du théorème de Bayes, autrefois appelé loi des probabilités inverses, permet de résoudre ce problème, en déterminant la plausibilité de diverses hypothèses à partir des faits.

En outre, le remplacement d'une logique binaire avec deux valeurs «vrai/faux» par un continuum de probabilité permet «d'adoucir» l'effet d'observations contraires à une théorie par ailleurs largement validée, alors qu'une application brutale et naïve de la logique classique voudrait qu'elle soit considérée immédiatement comme réfutée.
Inversement, l'application du théorème de Bayes avec des données prédites par une théorie confirme l'idée intuitive que cette théorie est rendue plus plausible (sans devenir pour autant certaine).
Ce sont des avantages par rapport au réfutationnisme poppérien.

Cette extension de la logique facilite également la prise en compte de données dont l'interprétation est incertaine.

Les méthodes bayésiennes fournissent aussi un critère pour résoudre le problème qui peut se poser avec le principe du rasoir d'Occam.
En effet, celui-ci veut qu'entre deux théories à pouvoir explicatif identique, on choisisse celle qui est la plus simple.
Mais que faire dans le cas où s'affrontent deux théories, dont l'une est plus complexe mais aussi plus précise que l'autre~?
Le théorème de Bayes permet de comparer les probabilités respectives de ces théories en prenant non seulement en compte leur adéquation aux données dont on dispose, mais également le nombre de paramètres (donc la complexité) prévu par ces théories.
Faute d'avoir le temps de présenter cela à l'aide d'un exemple comme nous l'avions initialement espéré, nous renvoyons le lecteur vers le chapitre 4 de [Sivia-2006].
Incidemment, le formalisme bayésien de l'induction de Solomonoff permet même une démonstration du rasoir d'Occam.

De manière plus générale, étant donné qu'il n'est guère possible de rendre compte de l'incroyable richesse des applications des méthodes bayésiennes, nous dirigeons le lecteur soucieux d'en apprendre plus vers notre bibliographie annotée.