Usenet feed-grootte: hoeveel data dagelijks door Usenet stroomt

Een Tier-1 Usenet-backbone neemt in 2026 ongeveer 400 tot 600 terabyte aan nieuwe artikelen per dag op. Het exacte getal schommelt op basis van het plaatsingsvolume, maar het gemiddelde ligt rond 500 TB per dag. NewsDemon neemt op aan de bovenkant van dit bereik over alle grote newsgroup-hiërarchieën.

Om dat in perspectief te plaatsen: 500 TB per dag is ongeveer 5,8 gigabyte per seconde, doorlopend, 24 uur per dag. Dat volume zou een consumentenharddisk van 20 TB ongeveer elke 58 minuten vullen.

Binaire artikelen (95 %+ van het volume)

De overweldigende meerderheid van de Usenet-feed bestaat qua volume uit binaire data die in alt.binaries.*-groepen wordt geplaatst. Binaire artikelen zijn bestanden die met yEnc in tekstformaat zijn gecodeerd en opgesplitst in artikelgrote segmenten. Eén groot bestand kan duizenden losse artikelen genereren. Daar komt het volume vandaan.

Tekstartikelen (onder 5 % van het volume)

Discussiebijdragen in tekst-newsgroups (comp.*, sci.*, rec.*, soc.*, alt.* en andere) maken een klein deel uit van de dagelijkse feed naar datavolume. Een tekstartikel is doorgaans enkele kilobytes. Een binair artikelsegment is doorgaans 750 KB tot 1 MB. Er zijn meer tekstartikelen naar aantal dan de meeste mensen denken, maar ze worden qua opslag overschaduwd door binaries.

Spam, sporge en ruis

Een betekenisvol percentage van de ruwe feed is rommel: spam, sporge (massaal geplaatste valse artikelen), foutieve headers, duplicaten en andere ruis. Goede aanbieders filteren dit weg voordat het hun spool bereikt, en daarom telt slimme opname meer dan ruwe opname-volume. NewsDemon draait een AI-gestuurd filtersysteem dat ruis verwijdert en legitieme inhoud behoudt.

De Usenet-feed is sinds de jaren 90 ongeveer per decennium met een factor 10 gegroeid:

De groei wordt aangedreven door twee dingen: de gemiddelde grootte van bestanden die in binaire newsgroups worden geplaatst blijft toenemen naarmate coderingsformaten en opslagcapaciteit zich ontwikkelen, en de wereldwijde upload-bandbreedte wordt steeds sneller, waardoor posters meer volume per dag kunnen uploaden.

Opslagvereisten

Bij 500 TB per dag vereist één jaar retentie ongeveer 180 petabytes opslag, vóór redundantie en replicatie worden meegerekend. NewsDemon houdt meer dan 5.695 dagen over drie serverregio's. De opslag-engineering hierachter is substantieel en is een van de belangrijkste verschillen tussen aanbieders. Meer hierover op onze pagina over spool-software.

Opname-infrastructuur

500 TB per dag accepteren vereist toegewijde opname-servers met hoge-bandbreedte peering-verbindingen, snelle disk-arrays voor schrijfdoorvoer en software die artikelen kan dedupliceren, filteren, indexeren en opslaan zonder achterop te raken. Raakt de opname achter op de feed, dan worden artikelen gemist en daalt de completion-rate.

Bandbreedtekosten

De ruwe bandbreedte die nodig is om de volledige feed van meerdere peers te ontvangen, plus deze aan duizenden gelijktijdige lezers te leveren, is een aanzienlijke operationele kostenpost. Dat is een van de redenen waarom veel Usenet-merken doorverkopers zijn in plaats van backbone-exploitanten: het bouwen en onderhouden van de infrastructuur om dit volume aan te kunnen, is duur en technisch veeleisend.

Als gebruiker hebt u geen rechtstreeks contact met de feed. Maar de feed-grootte beïnvloedt uw ervaring op meerdere manieren:

Completion-rate. Een aanbieder die de feed niet kan bijhouden, laat artikelen vallen. Die gevallen artikelen worden ontbrekende segmenten in uw downloads. Hoge opname-capaciteit is een voorwaarde voor hoge completion.

Retentiediepte. Hoe groter de dagelijkse feed, hoe meer opslag nodig is per dag retentie. Aanbieders die diepe retentie aanbieden bij de huidige feed-grootte doen een veel grotere opslaginvestering dan aanbieders die hetzelfde retentiegetal vijf jaar geleden boden, toen de dagelijkse feed kleiner was.

Snelheid. Tijdens piek-plaatsingstijden kan de feed flink boven het gemiddelde uitkomen. Aanbieders met robuuste opname-infrastructuur verwerken die pieken zonder de leesprestaties te raken. Onderkrachtige infrastructuur betekent dat uw downloadsnelheid daalt wanneer de feed zwaar is.

Artikelbeschikbaarheid. De dagelijkse feed is het uitgangspunt voor alles wat uw aanbieder opslaat. Unieke artikelen die één keer worden geplaatst en nooit opnieuw, moeten de eerste keer worden opgenomen of ze zijn verloren. Aanbieders met agressieve, goed-gepeerde opnamesystemen vangen meer van de feed op dan systemen die trager of slechter verbonden zijn.

NewsDemon neemt ongeveer 500 TB nieuwe artikelen per dag op over alle grote newsgroup-hiërarchieën via directe Tier-1-peering-verbindingen.

Opname-pijp: Toegewijde feeder-servers accepteren artikelen van meerdere peers tegelijk, dedupliceren op Message-ID en schrijven in real-time naar spool-opslag. Ons AI-gestuurde filtersysteem verwijdert spam en ruis voordat artikelen de spool bereiken, zodat ons archief schoon en doorzoekbaar blijft.

Drie-regio replicatie: Elk artikel wordt gerepliceerd over US East, US West en EU (Nederland). De volledige feed wordt in elke regio onafhankelijk opgenomen voor redundantie.

NVMe-spool voor recente artikelen: Het meest recente deel van de feed gaat naar NVMe-opslag met een ophaal-latentie onder 3 ms. Oudere artikelen verhuizen naar high-density opslag die geoptimaliseerd is voor sequentieel lezen. Details op onze pagina over server-architectuur.

Resultaat: 99 %+ completion-rate over het volledige 5.695+-dagen retentievenster, plus exclusieve tape-archief-inhoud die voor onze huidige spool ligt.