Usenet-Feed-Größe: Wie viele Daten täglich durch Usenet fließen

Ein Tier-1-Usenet-Backbone nimmt 2026 etwa 400 bis 600 Terabyte neuer Artikel pro Tag auf. Die genaue Zahl schwankt je nach Posting-Volumen, aber der Durchschnitt liegt bei etwa 500 TB täglich. NewsDemon nimmt am oberen Ende dieses Bereichs über alle großen Newsgroup-Hierarchien hinweg auf.

Um das in Perspektive zu setzen: 500 TB pro Tag entsprechen etwa 5,8 Gigabyte pro Sekunde, durchgehend, 24 Stunden am Tag. Dieses Volumen würde eine Endkunden-Festplatte mit 20 TB etwa alle 58 Minuten füllen.

Binäre Artikel (95 %+ des Volumens)

Die überwältigende Mehrheit des Usenet-Feeds besteht volumenmäßig aus Binärdaten, die in alt.binaries.*-Gruppen veröffentlicht werden. Binäre Artikel sind Dateien, die mit yEnc in Textformat kodiert und in artikelgroße Segmente aufgeteilt wurden. Eine einzige große Datei kann tausende einzelne Artikel erzeugen. Daher kommt das Volumen.

Text-Artikel (unter 5 % des Volumens)

Diskussionsbeiträge in Text-Newsgroups (comp.*, sci.*, rec.*, soc.*, alt.* und andere) machen einen winzigen Bruchteil des täglichen Feeds nach Datenvolumen aus. Ein Text-Artikel hat typischerweise ein paar Kilobyte. Ein Binärartikel-Segment hat typischerweise 750 KB bis 1 MB. Es gibt mehr Text-Artikel nach Anzahl, als die meisten Leute denken, aber sie werden in Bezug auf Speicher von Binaries in den Schatten gestellt.

Spam, Sporge und Rauschen

Ein nennenswerter Prozentsatz des rohen Feeds ist Müll: Spam, Sporge (massenweise gepostete Fake-Artikel), fehlerhafte Header, Duplikate und anderes Rauschen. Gute Anbieter filtern das heraus, bevor es ihren Spool erreicht, weshalb intelligente Aufnahme mehr zählt als rohes Aufnahme-Volumen. NewsDemon betreibt ein KI-gestütztes Filtersystem, das Rauschen entfernt und legitime Inhalte behält.

Der Usenet-Feed ist seit den 1990ern etwa pro Jahrzehnt um das 10-Fache gewachsen:

Das Wachstum wird von zwei Dingen getrieben: Die durchschnittliche Größe von Dateien, die in Binär-Newsgroups gepostet werden, nimmt weiter zu, während Kodierungsformate und Speicherkapazitäten sich entwickeln, und die globale Upload-Bandbreite wird weiter schneller, was Postern erlaubt, mehr Volumen pro Tag hochzuladen.

Speicheranforderungen

Bei 500 TB pro Tag erfordert es ungefähr 180 Petabyte Speicher, um ein Jahr Vorhaltezeit zu halten, bevor Redundanz und Replikation eingerechnet werden. NewsDemon hält über 5.695 Tage über drei Serverregionen. Das Speicher-Engineering dahinter ist erheblich und einer der wichtigsten Unterschiede zwischen Anbietern. Mehr dazu auf unserer Seite zur Spool-Software.

Aufnahme-Infrastruktur

500 TB pro Tag anzunehmen erfordert dedizierte Aufnahme-Server mit Hochbandbreiten-Peering-Verbindungen, schnelle Plattenarrays für Schreib-Durchsatz und Software, die Artikel deduplizieren, filtern, indizieren und speichern kann, ohne den Anschluss zu verlieren. Wenn die Aufnahme hinter den Feed zurückfällt, werden Artikel verpasst und die Completion-Rate sinkt.

Bandbreitenkosten

Die rohe Bandbreite, die nötig ist, um den vollen Feed von mehreren Peers zu empfangen und ihn an tausende gleichzeitige Leser auszuliefern, ist ein erheblicher Betriebskostenposten. Das ist einer der Gründe, warum viele Usenet-Marken Reseller sind statt Backbone-Betreiber: Den Aufbau und die Wartung der Infrastruktur, um dieses Volumen zu bewältigen, ist teuer und technisch anspruchsvoll.

Als Nutzer interagieren Sie nicht direkt mit dem Feed. Aber die Feed-Größe beeinflusst Ihre Erfahrung auf mehrere Arten:

Completion-Rate. Ein Anbieter, der mit dem Feed nicht Schritt halten kann, verliert Artikel. Diese verlorenen Artikel werden zu fehlenden Segmenten in Ihren Downloads. Hohe Aufnahmekapazität ist eine Voraussetzung für hohe Completion.

Vorhaltetiefe. Je größer der tägliche Feed, desto mehr Speicher wird pro Tag Vorhaltezeit benötigt. Anbieter, die bei aktuellen Feed-Größen tiefe Vorhaltezeit anbieten, machen eine viel größere Speicherinvestition als Anbieter, die dieselbe Vorhaltezeit-Zahl vor fünf Jahren anboten, als der tägliche Feed kleiner war.

Geschwindigkeit. Während der Spitzen-Posting-Zeiten kann der Feed deutlich über den Durchschnitt steigen. Anbieter mit robuster Aufnahme-Infrastruktur bewältigen diese Spitzen, ohne die Leser-Performance zu beeinträchtigen. Unterdimensionierte Infrastruktur bedeutet, dass Ihre Download-Geschwindigkeit einbricht, wenn der Feed schwer ist.

Artikelverfügbarkeit. Der tägliche Feed ist der Ausgangspunkt für alles, was Ihr Anbieter speichert. Einzigartige Artikel, die einmal gepostet und nie neu gepostet werden, müssen beim ersten Mal aufgenommen werden, sonst sind sie verloren. Anbieter mit aggressiven, gut gepeerten Aufnahmesystemen erfassen mehr vom Feed als solche mit langsameren oder schlecht angebundenen Systemen.

NewsDemon nimmt etwa 500 TB neuer Artikel pro Tag über alle großen Newsgroup-Hierarchien über direkte Tier-1-Peering-Verbindungen auf.

Aufnahme-Pipeline: Dedizierte Feeder-Server akzeptieren Artikel von mehreren Peers gleichzeitig, deduplizieren nach Message-ID und schreiben in Echtzeit in den Spool-Speicher. Unser KI-gestütztes Filtersystem entfernt Spam und Rauschen, bevor Artikel den Spool erreichen, und hält unser Archiv sauber und durchsuchbar.

Drei-Regionen-Replikation: Jeder Artikel wird über US East, US West und EU (Niederlande) repliziert. Der volle Feed wird in jeder Region unabhängig zur Redundanz aufgenommen.

NVMe-Spool für aktuelle Artikel: Der jüngste Teil des Feeds geht auf NVMe-Speicher mit Abruf-Latenz unter 3 ms. Ältere Artikel wandern auf hochdichten Speicher, der für sequentielles Lesen optimiert ist. Details auf unserer Seite zur Server-Architektur.

Ergebnis: 99 %+ Completion-Rate über das volle 5.695+-Tage-Vorhaltezeit-Fenster, plus exklusive Bandarchiv-Inhalte, die unserem aktuellen Spool vorausgehen.