Taille quotidienne actuelle du feed
Un backbone Usenet Tier-1 ingère en 2026 environ 400 à 600 téraoctets de nouveaux articles par jour. Le chiffre exact fluctue selon le volume de publication, mais la moyenne se situe autour de 500 To par jour. NewsDemon ingère dans le haut de cette fourchette à travers toutes les grandes hiérarchies de newsgroups.
par jour
actifs
en moyenne
Pour mettre cela en perspective : 500 To par jour, c'est environ 5,8 gigaoctets par seconde, en continu, 24 heures sur 24. Ce volume remplirait un disque dur grand public de 20 To environ toutes les 58 minutes.
Ce qui compose le feed
Articles binaires (95 %+ du volume)
L'écrasante majorité du feed Usenet en volume est constituée de données binaires publiées dans les groupes alt.binaries.*. Les articles binaires sont des fichiers qui ont été encodés en format texte avec yEnc et découpés en segments de la taille d'un article. Un seul gros fichier peut générer des milliers d'articles individuels. C'est de là que vient le volume.
Articles texte (moins de 5 % du volume)
Les messages de discussion dans les newsgroups texte (comp.*, sci.*, rec.*, soc.*, alt.* et autres) représentent une fraction minuscule du feed quotidien en volume de données. Un article texte fait typiquement quelques kilo-octets. Un segment d'article binaire fait typiquement 750 Ko à 1 Mo. Il y a plus d'articles texte en nombre que la plupart des gens ne le pensent, mais ils sont éclipsés par les binaires en termes de stockage.
Spam, sporge et bruit
Un pourcentage non négligeable du feed brut est de la pollution : spam, sporge (faux articles publiés en masse), en-têtes malformés, doublons et autre bruit. Les bons fournisseurs filtrent cela avant que ça n'atteigne leur spool, et c'est pourquoi une ingestion intelligente compte plus que le volume brut d'ingestion. NewsDemon exploite un système de filtrage assisté par IA qui supprime le bruit tout en conservant le contenu légitime.
Comment le feed a grandi
Le feed Usenet a grandi d'environ un facteur 10 par décennie depuis les années 1990 :
| Époque | Feed quotidien approximatif | Ce qui a changé |
|---|---|---|
| Début des années 1990 | Mégaoctets/jour | Texte seul ; communautés universitaires et tech |
| Fin des années 1990 | Quelques Go/jour | Binaires UUEncode ; les ISPs proposent Usenet |
| Début des années 2000 | 10-50 Go/jour | L'encodage yEnc (2001) divise la surcharge par 30 ; le format NZB apparaît |
| Milieu des années 2000 | 100-500 Go/jour | Adoption du haut débit ; la course à la rétention commence |
| Début des années 2010 | 1-5 To/jour | Maturité du haut débit ; tailles d'articles plus grandes ; outils d'automatisation |
| Fin des années 2010 | 10-50 To/jour | Capacités d'upload plus élevées ; volume de publication accru |
| Années 2020 | 100-600 To/jour | Bande passante mondiale plus rapide ; tailles de fichiers plus grandes ; publications plus actives |
La croissance est tirée par deux choses : la taille moyenne des fichiers publiés sur les newsgroups binaires continue d'augmenter à mesure que les formats d'encodage et la capacité de stockage évoluent, et la bande passante d'upload mondiale ne cesse de s'accélérer, permettant aux posteurs de téléverser plus de volume par jour.
Pourquoi la taille du feed compte pour les fournisseurs
Exigences de stockage
À 500 To par jour, garder une année de rétention demande environ 180 pétaoctets de stockage, avant de tenir compte de la redondance et de la réplication. NewsDemon maintient plus de 5 695 jours sur trois régions de serveurs. L'ingénierie de stockage derrière tout cela est substantielle et c'est l'un des principaux différenciateurs entre fournisseurs. Plus à ce sujet sur notre page consacrée au logiciel de spool.
Infrastructure d'ingestion
Accepter 500 To par jour demande des serveurs d'ingestion dédiés avec des connexions de peering à haut débit, des baies de disques rapides pour le débit en écriture, et des logiciels capables de dédupliquer, filtrer, indexer et stocker les articles sans prendre du retard. Si l'ingestion prend du retard sur le feed, des articles sont manqués et le taux de complétion baisse.
Coûts de bande passante
La bande passante brute requise pour recevoir le feed complet de plusieurs pairs, plus le servir à des milliers de lecteurs simultanés, est une charge d'exploitation importante. C'est l'une des raisons pour lesquelles de nombreuses marques Usenet sont des revendeurs plutôt que des opérateurs de backbones : construire et maintenir l'infrastructure pour gérer ce volume est coûteux et techniquement exigeant.
C'est pourquoi l'indépendance du backbone compte. Les fournisseurs qui exploitent leur propre backbone contrôlent leur pipeline d'ingestion de bout en bout. Les revendeurs dépendent de leur backbone amont pour ingérer le feed complet sans trous. Si l'amont rate des articles, chaque revendeur sur ce backbone les rate aussi. NewsDemon exploite son propre backbone indépendant avec un peering direct vers d'autres opérateurs Tier-1.
Pourquoi la taille du feed compte pour les utilisateurs
En tant qu'utilisateur, vous n'interagissez pas directement avec le feed. Mais la taille du feed affecte votre expérience de plusieurs manières :
Taux de complétion. Un fournisseur qui ne peut pas suivre le feed perd des articles. Ces articles perdus deviennent des segments manquants dans vos téléchargements. Une capacité d'ingestion élevée est un préalable à une complétion élevée.
Profondeur de rétention. Plus le feed quotidien est grand, plus il faut de stockage par jour de rétention. Les fournisseurs qui offrent une rétention profonde aux tailles de feed actuelles font un investissement de stockage bien plus important que les fournisseurs qui offraient le même chiffre de rétention il y a cinq ans, quand le feed quotidien était plus petit.
Vitesse. Pendant les heures de publication de pointe, le feed peut grimper bien au-dessus de la moyenne. Les fournisseurs avec une infrastructure d'ingestion robuste gèrent ces pics sans affecter les performances de lecture. Une infrastructure sous-dimensionnée signifie que votre vitesse de téléchargement chute quand le feed est lourd.
Disponibilité des articles. Le feed quotidien est le point de départ de tout ce que votre fournisseur stocke. Les articles uniques, publiés une seule fois et jamais republiés, doivent être ingérés du premier coup, sinon ils sont perdus. Les fournisseurs avec des systèmes d'ingestion agressifs et bien peerés capturent plus du feed que ceux avec des systèmes plus lents ou moins bien connectés.
Comment NewsDemon gère le feed
NewsDemon ingère environ 500 To de nouveaux articles par jour à travers toutes les grandes hiérarchies de newsgroups via des connexions de peering Tier-1 directes.
Pipeline d'ingestion : Des serveurs feeder dédiés acceptent les articles de plusieurs pairs simultanément, dédupliquent par Message-ID et écrivent dans le stockage spool en temps réel. Notre système de filtrage assisté par IA supprime le spam et le bruit avant que les articles n'atteignent le spool, gardant notre archive propre et interrogeable.
Réplication trois régions : Chaque article est répliqué à travers US East, US West et UE (Pays-Bas). Le feed complet est ingéré dans chaque région indépendamment pour la redondance.
Spool NVMe pour les articles récents : La portion la plus récente du feed va sur du stockage NVMe avec une latence de récupération inférieure à 3 ms. Les articles plus anciens migrent vers du stockage haute densité optimisé pour la lecture séquentielle. Détails sur notre page sur l'architecture serveur.
Résultat : 99 %+ de taux de complétion sur l'ensemble de la fenêtre de rétention de 5 695+ jours, plus du contenu exclusif d'archive sur bandes qui précède notre spool actuel.
Questions fréquemment posées
500 To ingérés quotidiennement. 99 %+ de complétion. Trois régions.
Backbone indépendant, ingestion complète du feed, stockage spool NVMe, 5 695+ jours de rétention. Forfaits à partir de 3 $ par mois.
Voir les forfaits