Peering Usenet : comment les serveurs échangent les articles

Quand vous publiez un article sur un serveur Usenet, cet article doit atteindre tous les autres serveurs du réseau. Le mécanisme s'appelle le peering. Deux serveurs Usenet établissent une relation de peering et échangent des articles entre eux. Chaque serveur fournit les nouveaux articles à ses peers et reçoit les nouveaux articles de leur part. C'est ainsi qu'un seul message se propage à des milliers de serveurs dans le monde en quelques minutes.

Le peering est l'épine dorsale du fonctionnement décentralisé d'Usenet. Il n'y a pas de serveur central qui contiendrait tous les articles. À la place, chaque serveur a sa propre copie, maintenue synchronisée par les relations de peering. L'histoire d'Usenet remonte à 1979, quand ce modèle a été conçu pour la première fois.

IHAVE / CHECK / TAKETHIS

Le protocole NNTP définit trois commandes pour l'échange d'articles entre serveurs :

IHAVE est la méthode classique. Le serveur A dit au serveur B : « j'ai un article avec le Message-ID X. » Le serveur B répond soit « envoie » (s'il ne l'a pas déjà), soit « je l'ai déjà » (s'il l'a). C'est une conversation en deux temps pour chaque article.

CHECK / TAKETHIS est la méthode moderne en streaming (RFC 4644). Le serveur A envoie CHECK avec un Message-ID, et le serveur B répond immédiatement s'il veut l'article. Puis le serveur A utilise TAKETHIS pour envoyer les données de l'article. L'approche en streaming permet d'avoir plusieurs paires CHECK/TAKETHIS en cours simultanément, ce qui est beaucoup plus rapide sur les connexions à forte latence.

Les grands opérateurs de backbones échangent des millions d'articles par jour avec chaque peer. L'efficacité du protocole de peering influe directement sur la rapidité avec laquelle les nouveaux messages se propagent sur le réseau.

Peers Tier-1

Les plus grands opérateurs Usenet peerent directement entre eux. Ce sont les fournisseurs de backbones : les serveurs qui ingèrent le plus de contenu et qui ont le plus de relations de peering. Quand un article est publié sur un serveur Tier-1, il atteint d'autres serveurs Tier-1 en quelques secondes via le peering direct.

Feeds en aval

Les fournisseurs plus petits qui n'ont pas leur propre backbone reçoivent les articles via un feed depuis un fournisseur plus important. Ce ne sont pas des peers au sens classique ; ce sont des clients d'un opérateur de backbone. Leur inventaire d'articles est ce que le fournisseur en amont leur donne, moins ce que le fournisseur en amont a déjà retiré.

C'est la distinction clé entre fournisseurs indépendants et revendeurs. Un fournisseur indépendant peere directement avec d'autres backbones. Un revendeur reçoit un feed en aval d'un seul backbone et n'a aucun contrôle sur son contenu.

Disponibilité des articles : Un fournisseur avec plus de relations de peering ingère plus d'articles depuis plus de sources. Les articles qui ne se propagent pas via un chemin de peering peuvent arriver via un autre. Plus de peers signifie un inventaire d'articles plus complet.

Vitesse de propagation : Un fournisseur bien peeré reçoit les nouveaux articles plus vite. Si vous utilisez des outils d'automatisation, cela signifie que les nouveaux contenus sont disponibles chez votre fournisseur plus tôt après la publication.

Taux de complétion : Le taux de complétion est en partie une fonction de la qualité du peering. Un fournisseur qui ingère les articles de manière fiable depuis plusieurs peers a moins de segments manquants. NewsDemon maintient un taux de complétion de 99 %+ en partie grâce à nos relations de peering directes avec d'autres opérateurs Tier-1.

NewsDemon opère comme un backbone Tier-1 avec des relations de peering directes vers d'autres grands backbones Usenet. Nous ingérons environ 500 To de nouveaux articles par jour à travers toutes les sources de peering. Nos trois régions de serveurs (US East, US West, UE Pays-Bas) maintiennent chacune des copies complètes de notre spool, de sorte que la latence de peering n'affecte pas la disponibilité des articles selon la région.