Je sais, vous en avez assez entendu parler mais il ne s’agit ici ni des magnifiques 10 dernières minutes de Neymar ni de la fâcheuse habitude de Thiago Silva à mener ses équipes vers des scores fleuves. On parlera plutôt de Big Data, car si le barça a ajouté des lettres d’or à l’histoire du football, les lignes que ce match a écrites dans l’histoire de l’analyse prédictive sont bien plus sombres.
Retour sur les faits
Le 3 mars dernier, à quelques jours du match retour du huitième de finale de la Ligue des Champions, opposant le Barça au PSG, l’algorithme prédictif de l’UEFA, instance dirigeante du football européen, y est allé de sa prédiction justement : Barcelone avait 0% de chances de se qualifier. Barcelonais de cœur depuis un manita administrée en 1994 par la dream team de Cruyff et assez curieux vis-à-vis du Big Data, cette affirmation m’avait doublement frappé. Surtout que quelques semaines plus tôt, le même algorithme avançait que Barcelone avait le plus de chances de soulever la coupe aux grandes oreilles.
Nous sommes le 16 mars et nous savons tous que l’algorithme s’est au moins trompé une fois.
Dans cet article, nous revisiterons les fails d’une déclaration très plausible à priori mais tellement erronée à postériori. Où quand le Big Data se cogne contre le mur de l’exception humaine.
1er fail : L’échantillon
Dans sa prédiction, l’UEFA s’est appuyée sur les précédentes occurrences en coupes européennes d’un tel scénario (victoire d’une équipe à domicile par 4-0 à l’aller) pour relever un schéma net et sans bavure. Quand on perd 4-0 à l’aller, on ne se qualifie pas. Un raisonnement somme toute logique. Mais dans un football mondialisé, avec deux équipes où l’Amérique du Sud est largement représentée, les compétitions européennes sont-elles suffisantes comme échantillon d’analyse ? Et les coupes locales ? Clairement, les compétitions européennes n’avaient pas encore tout vu avant ce soir du 8 mars. Evidemment, elles n’ont pas fini de vivre des faits inédits.
2ème fail : Les facteurs d’analyse
Dans sa prédiction, l’UEFA prend en compte un seul facteur : le score. Ce dernier est un bon indicateur, certes, mais il ne suffit pas. Qu’en est-il des joueurs impliqués ? De leur psychologie ? Un Thiago Silva échaudé par le naufrage brésilien a-t-il été pris en compte ? La forme récente des deux équipes ? Les confrontations directes ? La facilité du Barça à mettre des valises à ses adversaires quelque soit leur calibre ?
Le sport, comme toutes les activités humaines, ne peut être résumé à des facteurs de résultat. Dans un cas similaire, au-delà du résultat, un coefficient d’erreur prenant en compte ces données de second niveau, aurait au moins donné un petit 1% aux Catalans et beaucoup de crédit au Big Data.
3ème fail : La rigidité de l’analyse
Comme je vous le disais, l’UEFA avait précédemment annoncé que Barcelone était le club favori de son algorithme pour la victoire finale. Entretemps, un 4-0 est passé par là. Il est à reprocher aux Data scientists de l’UEFA de ne pas avoir revu leurs modèles de structuration après un tel imprévu. Voir son algorithme prédire l’élimination d’un club qu’il portait à la Coupe deux semaines auparavant devrait poser des questions. Celles-ci n’ont probablement pas été posées.
4ème fail : Le facteur d’événement de rupture
Le 4-0 de Paris autant que le 6-1 de Barcelone sont des matches inattendus. Le soir du 14 février, les footeux étaient presque aussi surpris que le soir du 8 mars. Deux événements exceptionnels qui sont venus contredire deux prédictions coup sur coup comme une métaphore footballistique qui voudrait que tant que le Big data considère des schémas linéaires, il sera souvent piégé hors-jeu sur le prédictif. L’histoire humaine est faite d’événements de rupture. ARPANET, la pomme de Newton, le bain d’Archimède, la découverte de l’Amérique, le nombre de fois où l’imprévu du hasard a changé le cours de notre histoire ne se compte plus. En plus, on avance arbitrairement, sans sens aucun, si ce n’est le hasard. Certes, d’un point de vue macro, nous évoluons de manière plus ou moins hiérarchisée mais nous avons quand même mis un homme sur la lune avant de mettre des roues sous nos valises !
5ème fail : S’appuyer sur le passé pour estimer le futur
L’une des critiques fréquentes de statisticiens à l’égard du Big Data est relative à ce qu’ils considèrent un postulat statistique erroné : Tout savoir sur le passé permettrait de deviner le futur. Selon les chantres de la statistique, on ne pourrait être plus loin de la réalité. Tout savoir ne signifie pas bien savoir (voir 2ème et 3ème fails) et statistiquement, le passé et le futur sont deux groupes statistiques différents, les conclusions ressorties de l’un ne peuvent être appliquées à l’autre. A savoir : que personne ne l’ait jamais fait, ne signifie pas qu’on ne pourra pas le faire. Demandez à Edison.
6ème fail : La publicité
Par définition, toute tentative prédictive est une expérience. Dans le cas d’un événement sportif, elle relève quelque peu de l’expérience sociale aussi. L’une des règles des études sociales voudrait que partager le résultat qu’on cherche à prouver avec l’échantillon cobaye contamine les résultats de l’étude. En rendant la prédiction publique et en créant la vague médiatique qui s’en est suivie, l’UEFA a contaminé le match et rendu les statistiques caduques car elle avait créé une situation inédite : Personne ne l’avait fait auparavant mais cette fois, tout le monde le savait. On défend peut-être avec moins d’entrain quand on sait qu’on est statistiquement à l’abri et peut-être qu’on attaque avec plus de passion quand on sait qu’on va entrer dans l’histoire…
Une conclusion
Au final, pour moi, cette victoire barcelonaise n’a pas juste été l’occasion de taquiner mes amis parisiens sur Facebook jusqu’à ce qu’ils déménagent en province, elle a été une leçon sur l’analyse prédictive et ses limites.
On peut prédire des schémas collectifs peut-être mais pas des événements particuliers. On peut prévoir le taux de conversion d’une landing page mais pas la probabilité de conversion d’un prospect en particulier.
On ne peut que spéculer. Et par essence, la spéculation est un exercice sujet à l’erreur. Ne serait-il donc pas judicieux de supprimer 0% et 100% des possibilités de résultats des modèles prédictifs ?
Car au final, personne ne peut prédire l’avenir.
