Usenet-Peering: Wie Server Artikel austauschen

Wenn Sie einen Artikel auf einem Usenet-Server veröffentlichen, muss dieser Artikel jeden anderen Server im Netzwerk erreichen. Der Mechanismus dafür heißt Peering. Zwei Usenet-Server bauen eine Peering-Beziehung auf und tauschen Artikel miteinander aus. Jeder Server speist neue Artikel an seine Peers ein und empfängt neue Artikel von ihnen. So verbreitet sich ein einzelner Beitrag innerhalb von Minuten auf tausende Server weltweit.

Peering ist die Grundlage dafür, wie Usenet als dezentrales System funktioniert. Es gibt keinen zentralen Server, der alle Artikel hält. Stattdessen hat jeder Server seine eigene Kopie, die durch Peering-Beziehungen synchron gehalten wird. Die Geschichte des Usenet reicht zurück bis 1979, als dieses Modell erstmals entworfen wurde.

IHAVE / CHECK / TAKETHIS

Das NNTP-Protokoll definiert drei Befehle für den Artikelaustausch zwischen Servern:

IHAVE ist die klassische Methode. Server A sagt zu Server B: „Ich habe Artikel mit Message-ID X." Server B antwortet entweder „schick ihn" (wenn er ihn noch nicht hat) oder „den habe ich schon" (wenn doch). Das ist eine zweistufige Konversation für jeden Artikel.

CHECK / TAKETHIS ist die moderne Streaming-Methode (RFC 4644). Server A sendet CHECK mit einer Message-ID, und Server B antwortet sofort, ob er den Artikel haben will. Dann verwendet Server A TAKETHIS, um die Artikeldaten zu senden. Der Streaming-Ansatz erlaubt mehrere CHECK/TAKETHIS-Paare gleichzeitig im Flug, was auf Verbindungen mit hoher Latenz viel schneller ist.

Große Backbone-Betreiber tauschen pro Tag Millionen Artikel mit jedem Peer aus. Die Effizienz des Peering-Protokolls beeinflusst direkt, wie schnell sich neue Beiträge im Netzwerk verbreiten.

Tier-1-Peers

Die größten Usenet-Betreiber peeren direkt miteinander. Das sind die Backbone-Anbieter: die Server, die am meisten Inhalte aufnehmen und die meisten Peering-Beziehungen haben. Wenn ein Artikel auf einem Tier-1-Server veröffentlicht wird, erreicht er andere Tier-1-Server innerhalb von Sekunden über direktes Peering.

Downstream-Feeds

Kleinere Anbieter, die keinen eigenen Backbone haben, erhalten Artikel über einen Feed von einem größeren Anbieter. Sie sind keine Peers im klassischen Sinn, sondern Kunden eines Backbone-Betreibers. Ihr Artikelbestand ist das, was der Upstream-Anbieter ihnen gibt, abzüglich dessen, was der Upstream-Anbieter bereits entfernt hat.

Das ist der Schlüsselunterschied zwischen unabhängigen Anbietern und Resellern. Ein unabhängiger Anbieter peert direkt mit anderen Backbones. Ein Reseller bekommt einen Downstream-Feed von einem Backbone und hat keine Kontrolle über dessen Inhalt.

Artikelverfügbarkeit: Ein Anbieter mit mehr Peering-Beziehungen nimmt mehr Artikel aus mehr Quellen auf. Artikel, die über einen Peering-Pfad nicht durchkommen, können über einen anderen ankommen. Mehr Peers bedeuten einen vollständigeren Artikelbestand.

Verbreitungsgeschwindigkeit: Ein gut gepeerter Anbieter empfängt neue Artikel schneller. Wenn Sie Automatisierungs-Tools nutzen, bedeutet das, dass neue Inhalte auf Ihrem Anbieter früher nach der Veröffentlichung verfügbar sind.

Completion-Rate: Die Completion-Rate ist teilweise eine Funktion der Peering-Qualität. Ein Anbieter, der Artikel zuverlässig von mehreren Peers aufnimmt, hat weniger fehlende Segmente. NewsDemon hält eine Completion-Rate von 99 %+ unter anderem aufgrund unserer direkten Peering-Beziehungen zu anderen Tier-1-Betreibern.

NewsDemon arbeitet als Tier-1-Backbone mit direkten Peering-Beziehungen zu anderen großen Usenet-Backbones. Wir nehmen über alle Peering-Quellen hinweg etwa 500 TB neuer Artikel pro Tag auf. Unsere drei Serverregionen (US East, US West, EU Niederlande) halten jeweils vollständige Kopien unseres Spools, sodass Peering-Latenz die Artikelverfügbarkeit nach Region nicht beeinflusst.