La stack technique derrière Wikipédia, 20 ans de réussite

Le 15 Janvier 2001, Wikipedia voit le jour, créé par Jimmy Wales et Larry Sanger, les fondateurs de la société Bomis et de l'encyclopédie en ligne Nupedia.

Nupedia est alors une encyclopédie rédigée par des experts suivant un processus très formel, contrairement à Wikipedia dont le fer de lance sera la collaboration, philosophie qui fait sa réussite aujourd'hui.

À l'origine, Wales et Sanger envisagent de tirer profit de Wikipedia, mais les inquiétudes grandissantes de la communauté envers, notamment, l'apparition de pub sur la plateforme poussent Wales à renoncer à son envie de monétiser l'encyclopédie et migre wikipedia.com vers wikipedia.org.

En 2003, Nupedia est définitivement absorbé par Wikipedia, et tout son contenu sera injecté dans ce dernier qui ne cessera de grandir, de s'exporter jusqu'à devenir le 13ème site le plus consulté sur Internet en 2020 (Alexa rank).

La même année, la fondation WikiMedia sera créée afin que la gestion de Wikipedia (et des quelques autres services) puisse être déléguée et réalisée de manière indépendante.

La stack technique

Il est intéressant de voir qu'au fil des années, plus les nouvelles technos apparaissent dans le web et plus on a l'impression que les "anciennes" technologies web ne sont plus suffisamment performantes pour faire tourner de grosses plateformes.

Et pourtant, vous allez voir que l'un des sites les plus visités au monde est basé sur une "simple" stack PHP / MySQL !

Reprenons dans l'ordre, Wikipédia tourne sur une plateforme libre et open-source appelée MediaWiki et développée spécialement pour le lancement de Wikipédia.

Cette plateforme est développée en PHP, la majorité de la base de code tournant sous la version 7 de PHP, et utilise MySQL comme base de données.

À noter que certains serveurs de base de données de Wikipédia tournent sous MariaDB, un fork libre et open-source de MySQL (ce dernier appartenant à Oracle).

La recherche des articles et effectuées grâce à Elastic Search, la stratégie de "caching" utilise Apache Traffic Server (ATS) ainsi que Varnish et le serveur d'application est un serveur Apache.

En 2015, la fondation WikiMedia comptait 520 serveurs dans leur datacenter d'Ashburn, sans compter les serveurs localisés à d'autres endroits pour la redondance des données.

Ces serveurs tournent majoritairement sous Linux Debian, mais quelque-unes des machines les plus anciennes fonctionnent sous Ubuntu (peut-être plus le cas aujourd'hui).

Vous pouvez retrouver certaines de ces informations sur la page Wikipédia dédiée.

Quelques statistiques

Une stack technique c'est intéressant, surtout si l'on peut avoir quelques données sur la charge moyenne qu'elle est capable de supporter, et heureusement WikiMedia est très transparent là-dessus :

• Plus de 55 millions d'articles dans le monde (soit 228 millions de pages au total)
• Environs 3 milliards d'éditions au total
• Plus de 93 millions d'utilisateurs inscrits
• Le site est disponible dans 317 langues (à noter que Wikipédia n'est pas le site le plus traduit au monde, c'est le site jw.org avec 1025 langues différentes)
• La base des textes des articles (sans révisions) de la version anglaise pèse 78Go (et peut être téléchargée juste ici), la version complète de la base anglaise pèse plus de 10 To.
• En 2020, en.wikipedia.org a totalisé le nombre de 94 313 066 229 pages vues ! (source)

En 2020, la fondation emploie plus de 300 personnes avec un revenu annuel dépassant les 100 millions de dollars, principalement basé sur des dons.

Fun fact

Wikipédia est un champ de bataille pour de nombreux bots, automatisant des éditions d'articles sur des sujets parfois controversés. Certains d'entre-eux sont bloqués dans des boucles, modifiant la même donnée encore et encore, parfois pendant plusieurs années.

Un article du Guardian en parle, je vous invite à le lire si ça vous intéresse !