Hoe Usenet-backbones werken

Een Usenet-backbone is de infrastructuur die Usenet-artikelen ontvangt, opslaat, indexeert en uitlevert. Hij zit tussen het mondiale Usenet-netwerk en de eindgebruiker. Wanneer u verbinding maakt met uw aanbieder en een artikel downloadt, staat dat artikel ergens op een backbone.

Sommige aanbieders beheren hun eigen backbone. Zij bezitten de servers, beheren de opslag, regelen de peering-verbindingen en controleren de volledige levenscyclus van een artikel, van ingestie tot uitlevering. Dat zijn Tier-1-aanbieders.

Andere aanbieders hebben geen eigen backbone-infrastructuur. Ze huren toegang tot de servers van een Tier-1-exploitant en verkopen die toegang onder hun eigen merknaam. Dat zijn doorverkopers. De website, prijzen en support van de doorverkoper zijn van henzelf, maar de artikelen die u downloadt komen van iemand anders zijn hardware.

Het verschil doet ertoe, omdat aanbieders op dezelfde backbone dezelfde artikelen voeren. Als een artikel bij één wordt verwijderd, is het bij allemaal weg. Als een artikel nooit door die backbone is opgenomen, heeft geen enkele doorverkoper op die backbone het. Onze pagina over onafhankelijkheid behandelt de zakelijke gevolgen. Deze pagina behandelt de technische.

Backbones begrijpen begint bij begrijpen wat er met een artikel gebeurt vanaf het moment dat het wordt geplaatst tot het moment waarop u het downloadt.

Stap 1: Plaatsen

Een gebruiker stelt in zijn newsreader een artikel op (een tekstbericht of een gecodeerd binair bestand) en klikt op „plaatsen". De newsreader maakt via NNTP verbinding met de aanbieder van de gebruiker en stuurt het artikel met het commando POST of IHAVE. De front-end-server van de aanbieder ontvangt het, kent een Message-ID toe als er nog geen was, en slaat het lokaal op.

Stap 2: Ingestie en indexering

Het ingestiesysteem van de backbone neemt het nieuwe artikel en schrijft het naar de spool-opslag. Het artikel wordt geïndexeerd op Message-ID, newsgroup(s), datum en headers. Die index stelt uw newsreader in staat later artikelen te zoeken en op te halen. De snelheid en kwaliteit van dit indexeersysteem is een van de dingen die een goede backbone onderscheidt van een middelmatige.

Stap 3: Peering (verspreiding)

De backbone biedt het nieuwe artikel aan aan zijn peering-partners. Elke partner kijkt in zijn eigen index of hij al een artikel met die Message-ID heeft. Zo niet, dan accepteert hij het artikel en slaat het op zijn eigen spool op. Zo wel, dan weigert hij het aanbod. Die uitwisseling vindt voortdurend plaats, duizenden keren per seconde, tussen elk paar peering-backbones in het netwerk. Onze peering-verdieping behandelt de technische details van hoe die onderhandeling op protocolniveau werkt.

Stap 4: Ophalen

Wanneer u een artikel zoekt of downloadt, stuurt uw newsreader een verzoek naar de front-end-server van uw aanbieder. De front-end zoekt het artikel op in de index, lokaliseert het in de spool-opslag en streamt het terug via uw NNTP-verbinding. Als SSL is ingeschakeld (en dat zou moeten), is deze hele uitwisseling versleuteld.

Stap 5: Vervallen

Op een gegeven moment ouderdom een artikel voorbij het retentievenster van de backbone. De spool-software markeert het voor vervallen en geeft uiteindelijk de opslag vrij. Bij NewsDemon ligt dat venster momenteel op 5.695+ dagen en het groeit dagelijks met één. Ons AI-gestuurde filtersysteem verwijdert bovendien rommel, spam en sporge voordat die zelfs maar op de spool belandt, waardoor het archief schoon blijft en de opslag efficiënt.

Een Usenet-backbone is geen enkele machine. Het is een gedistribueerd systeem met duidelijk gescheiden lagen, die elk verschillende delen van de werkbelasting afhandelen.

Front-end-servers (transit- en reader-servers)

Dit zijn de servers waarmee uw newsreader verbinding maakt. Zij handelen NNTP-authenticatie af (uw gebruikersnaam en wachtwoord), beheren uw verbindingen, verwerken uw zoek- en downloadverzoeken en streamen artikelen naar u terug. Front-end-servers zijn geoptimaliseerd voor gelijktijdige verbindingen en doorvoer. Een drukke backbone kan onder één DNS-adres als news.newsdemon.com tientallen front-end-servers met load-balancing hebben draaien.

NewsDemon beheert front-end-servers in drie geografische regio's: US East (Virginia), US West (Californië) en EU (Nederland). Dat geeft u, waar u ook bent, een verbindingsinstappunt in de buurt, wat de latentie verlaagt en de downloadsnelheid verbetert.

Back-end-servers (spool-opslag)

Hier staan de daadwerkelijke artikelgegevens. De spool is waar de petabytes wonen. Moderne backbones gebruiken gelaagde opslag: snelle NVMe-drives voor de meest recente en meest opgevraagde artikelen (de „hot"-laag) en high-density harde schijven voor oudere inhoud (de „cold"-laag). Sommige exploitanten gebruiken ook tape-archieven voor zeer oude inhoud. NewsDemon gebruikt NVMe-spool-sets die op hot-inhoud minder dan 3 ms artikellatentie leveren.

De spool-software is het brein van de operatie. Zij beslist waar nieuwe artikelen worden geschreven, hoe ze worden geïndexeerd voor snelle opvraging, wanneer artikelen van hot naar cold opslag worden verplaatst, en wanneer ze vervallen. Verschillende backbone-exploitanten draaien verschillende spool-software. Sommige gebruiken open-source-oplossingen als Diablo of Cyclone. Andere draaien eigen systemen die ze zelf hebben gebouwd. De spool-software is het grootste onderscheidende element in backbone-prestaties, en het is wat u als eindgebruiker nooit te zien krijgt.

Feeder-servers (peering)

Een aparte laag regelt de uitwisseling van artikelen met peering-partners. Feeder-servers onderhouden persistente verbindingen met andere backbones en onderhandelen de constante stroom nieuwe artikelen in beide richtingen. Een drukke feeder-server kan miljoenen artikelaanbiedingen per uur verwerken. We behandelen dit uitgebreid op de peering-pagina.

De spool is de kern van elke backbone. Het is het fysieke opslagsysteem dat elk artikel bevat dat de backbone heeft opgenomen en dat nog niet is vervallen. Op de schaal van een moderne Usenet-backbone die ~500 TB aan nieuwe inhoud per dag verwerkt, is spool-engineering niet triviaal.

Schaal

Een backbone met 5.000+ dagen retentie slaat een enorme hoeveelheid gegevens op. Het precieze aantal hangt af van hoeveel de exploitant van de inkomende feed bewaart (sommige filteren agressief, andere slaan bijna alles op) en hoe deduplicatie wordt afgehandeld. NewsDemon gebruikt AI-gestuurd filteren om rommel en duplicaten eruit te halen voordat artikelen op de spool komen, waardoor onze opslag schoner en efficiënter blijft dan bij een „alles opslaan"-aanpak.

Gelaagde opslag

Niet alle artikelen hebben dezelfde toegangssnelheid nodig. Een bericht van gisteren wordt duizenden keren opgevraagd. Een bericht uit 2015 wordt eens per maand opgevraagd. Backbone-exploitanten profiteren daarvan door de opslag te lagen. Recente en populaire artikelen komen op snelle NVMe- of SSD-drives. Oudere artikelen verhuizen naar high-density harde schijven die zijn geoptimaliseerd voor sequentieel lezen. De overgang tussen lagen wordt door de spool-software geregeld op basis van toegangspatronen en leeftijd.

De NVMe-spool-sets van NewsDemon leveren op hot-artikelen een ophaallatentie van minder dan 3 ms. Cold-artikelen op draaiende schijven zijn trager maar nog steeds prima bruikbaar voor downloads. De gebruikerservaring is dat nieuw materiaal op volle snelheid binnenkomt en oud materiaal wat trager, maar alles is er.

Spool-software

De software die de spool beheert, is wellicht het belangrijkste onderdeel van de technologie-stack van een backbone. Zij handelt schrijfacties voor artikelen (uit ingestie), leesacties (uit gebruikersverzoeken), indexering (op Message-ID, newsgroup, datum), lagen (artikelen tussen opslaglagen verplaatsen) en vervallen (artikelen voorbij het retentievenster verwijderen) af. Populaire open-source-opties zijn Diablo (ouder, beproefd) en Cyclone (nieuwer, sneller op moderne hardware). Sommige backbone-exploitanten, waaronder enkele van de grootste, draaien volledig eigen spool-systemen die zijn afgestemd op hun specifieke hardware en werklast.

Geen enkele backbone ziet elk artikel dat op Usenet wordt geplaatst. Artikelen verspreiden zich tussen backbones via peering, een systeem van bilaterale uitwisselingsafspraken tussen exploitanten.

Het proces werkt ongeveer zo: Backbone A ontvangt een nieuw artikel (hetzij door een gebruiker die rechtstreeks plaatst, hetzij van een andere peering-partner). Backbone A controleert of Backbone B dat artikel al heeft door een reeks Message-IDs te sturen. Backbone B antwoordt met welke hij wil. Backbone A stuurt de gevraagde artikelen. Backbone B doet hetzelfde in de andere richting. Dat gebeurt voortdurend, via tientallen peering-relaties tegelijk.

Peering-afspraken variëren. Sommige zijn full-feed (beide kanten wisselen alles uit). Sommige zijn gedeeltelijk (alleen specifieke newsgroup-hiërarchieën). Sommige zijn eenrichtingsverkeer. De kwaliteit en breedte van de peering-relaties van een backbone beïnvloeden direct zijn artikelvoorraad. Een backbone met sterke peering over veel partners heeft een vollediger artikelpool dan een met beperkte peering.

Dat is ook waarom onafhankelijke backbones verschillende artikelen voeren. Zelfs met goede peering hebben geen twee backbones identieke inhoud. Artikelen worden op een backbone geplaatst en verspreiden zich door timing, filtering of selectieve peering mogelijk niet naar een andere. Dat verschil maakt het nuttig om aanbieders op verschillende backbones te combineren. Voor de volledige technische uitleg, zie onze peering-verdieping.

Een backbone-exploitant (Tier-1-aanbieder) beheert zijn eigen infrastructuur: front-end-servers, spool-opslag, feeder-servers, peering-verbindingen. Hij heeft elke schakel van de artikelcyclus in de hand.

Een doorverkoper bezit geen backbone-infrastructuur. Hij koopt toegang tot de servers van een Tier-1-exploitant, meestal via een groothandelsconstructie, en verkoopt die toegang onder zijn eigen merk. De doorverkoper regelt marketing, facturatie en support, maar de artikelen komen van de spool van een ander.

Vanuit het oogpunt van een gebruiker kan de ervaring met een doorverkoper prima zijn. De snelheid, retentie en completion die u ziet, zijn die van de backbone, geleverd onder de branding van de doorverkoper. Het probleem ontstaat wanneer u aanbieders vergelijkt en niet doorhebt dat twee (of vijf of tien) van hen dezelfde back-end doorverkopen. Ze hebben verschillende prijzen en verschillende websites, maar identieke artikelpools.

De vraag „op welke backbone zit deze aanbieder?" is nuttiger dan „hoeveel dagen retentie claimt deze aanbieder?". Onze pagina over onafhankelijkheid behandelt het eigendomsperspectief, en onze keuzegids voor aanbieders loopt het volledige beslissingskader door.

Wij beheren onze eigen backbone over drie serverregio's. De opzet is eenvoudig maar duur om te bouwen en te onderhouden.

Front-end-servers in US East (Virginia), US West (Californië) en EU (Nederland), load-balanced achter news.newsdemon.com. Elke verbinding is versleuteld met 256-bits SSL. 50 gelijktijdige verbindingen per account.

NVMe-spool-opslag voor hot-artikelen (ophalen in minder dan 3 ms). High-density harde schijven voor cold storage. AI-gestuurde filtering verwijdert spam, rommel en sporge voordat artikelen op de spool komen. Artikel-deduplicatie houdt het archief schoon.

Peering-verbindingen met meerdere upstream-feeds. We hebben ook een grote verzameling artikelen hersteld uit magneetband-archieven die meer dan 20 jaar teruggaan. Deze artikelen zijn door andere exploitanten nooit gemigreerd en zijn exclusief op onze spool.

Onafhankelijk in eigendom. K&L Technologies, Inc. Geen moedermaatschappij, geen gedeeld eigendom met andere Usenet-merken, geen externe partij die beslist over inhoud of prijzen.