Usenet-peering: hoe servers artikelen uitwisselen

Wanneer u een artikel op een Usenet-server plaatst, moet dat artikel elke andere server op het netwerk bereiken. Het mechanisme daarvoor heet peering. Twee Usenet-servers leggen een peering-relatie aan en wisselen artikelen met elkaar uit. Elke server voedt nieuwe artikelen aan zijn peers en ontvangt nieuwe artikelen van hen. Zo verspreidt één bericht zich binnen enkele minuten naar duizenden servers wereldwijd.

Peering is de basis van hoe Usenet als gedistribueerd systeem werkt. Er is geen centrale server die alle artikelen bevat. In plaats daarvan heeft elke server zijn eigen kopie, die via peering-relaties synchroon wordt gehouden. De geschiedenis van Usenet gaat terug tot 1979, toen dit model voor het eerst werd ontworpen.

IHAVE / CHECK / TAKETHIS

Het NNTP-protocol definieert drie commando's voor het uitwisselen van artikelen tussen servers:

IHAVE is de klassieke methode. Server A zegt tegen server B: „Ik heb een artikel met Message-ID X." Server B antwoordt ofwel „stuur maar" (als hij het nog niet heeft) of „die heb ik al" (als hij hem heeft). Dat is een gesprek in twee stappen voor elk artikel.

CHECK / TAKETHIS is de moderne streaming-methode (RFC 4644). Server A stuurt CHECK met een Message-ID, en server B antwoordt onmiddellijk of hij het artikel wil. Daarna gebruikt server A TAKETHIS om de artikelgegevens te versturen. Met de streaming-aanpak kunnen meerdere CHECK/TAKETHIS-paren tegelijk onderweg zijn, wat op verbindingen met hoge latentie veel sneller is.

Grote backbone-exploitanten wisselen miljoenen artikelen per dag uit met elke peer. De efficiëntie van het peering-protocol beïnvloedt direct hoe snel nieuwe berichten zich over het netwerk verspreiden.

Tier-1-peers

De grootste Usenet-exploitanten peeren rechtstreeks met elkaar. Dat zijn de backbone-aanbieders: de servers die de meeste inhoud opnemen en de meeste peering-relaties hebben. Wanneer een artikel op een Tier-1-server wordt geplaatst, bereikt het binnen seconden andere Tier-1-servers via direct peering.

Downstream-feeds

Kleinere aanbieders zonder eigen backbone ontvangen artikelen via een feed van een grotere aanbieder. Zij zijn geen peers in de klassieke zin, maar klanten van een backbone-exploitant. Hun artikelvoorraad is wat de upstream-aanbieder hun geeft, minus wat de upstream-aanbieder al heeft verwijderd.

Dat is het sleutelverschil tussen onafhankelijke aanbieders en doorverkopers. Een onafhankelijke aanbieder peert rechtstreeks met andere backbones. Een doorverkoper krijgt een downstream-feed van één backbone en heeft geen controle over de inhoud daarvan.

Artikelbeschikbaarheid: Een aanbieder met meer peering-relaties neemt meer artikelen op uit meer bronnen. Artikelen die zich via één peering-pad niet weten te verspreiden, kunnen via een ander aankomen. Meer peers betekent een vollediger artikelbestand.

Verspreidingssnelheid: Een goed gepeerde aanbieder ontvangt nieuwe artikelen sneller. Gebruikt u automatiseringstools, dan betekent dat dat nieuwe inhoud sneller na plaatsing op uw aanbieder beschikbaar is.

Completion-rate: Completion-rate is deels een functie van peering-kwaliteit. Een aanbieder die artikelen betrouwbaar van meerdere peers opneemt, heeft minder ontbrekende segmenten. NewsDemon handhaaft een completion-rate van 99 %+ deels dankzij onze directe peering-relaties met andere Tier-1-exploitanten.

NewsDemon werkt als Tier-1-backbone met directe peering-relaties met andere grote Usenet-backbones. Wij nemen over alle peering-bronnen heen ongeveer 500 TB nieuwe artikelen per dag op. Onze drie serverregio's (US East, US West, EU Nederland) houden elk volledige kopieën van onze spool, zodat peering-latentie de artikelbeschikbaarheid per regio niet beïnvloedt.