Qu'est-ce que le taux de complétion Usenet ? Comment le tester

Le taux de complétion mesure le pourcentage d'articles chez un fournisseur Usenet qui sont réellement disponibles au téléchargement. Si un fournisseur revendique 99 % de complétion, cela veut dire que pour chaque 100 segments d'articles dans une publication, 99 d'entre eux sont sur ses serveurs et téléchargeables. Le 1 % manquant a pu être perdu lors de l'ingestion, retiré par un takedown, ou jamais reçu d'un peer.

Le taux de complétion est l'une des métriques les plus importantes pour évaluer un fournisseur Usenet, mais aussi l'une des plus difficiles à vérifier de manière indépendante. Cette page explique ce qui influe sur la complétion, comment la tester et ce que les chiffres signifient en pratique.

Quand vous téléchargez un fichier depuis Usenet, votre client de téléchargement a besoin de chaque segment pour reconstruire l'original. S'il manque des segments, le téléchargement échoue, à moins qu'il n'y ait suffisamment de blocs de réparation PAR2 pour combler les trous.

À 99 %+ de complétion (niveau NewsDemon), un téléchargement typique avec une surcharge PAR2 standard se termine sans aucune réparation nécessaire. Le segment occasionnellement manquant est réparé automatiquement et vous ne le remarquez jamais.

À 95 % de complétion, vous perdez 5 segments sur 100. La réparation PAR2 se déclenche sur presque chaque téléchargement. Les réparations prennent du temps (gourmandes en CPU), et si la publication ne contenait pas assez de données PAR2, le téléchargement échoue complètement.

À 90 % ou moins, les gros téléchargements deviennent peu fiables. La réparation PAR2 ne peut pas couvrir les trous pour de nombreuses publications, et vous vous retrouvez avec des fichiers incomplets inutilisables. C'est à ce stade que les gens commencent à chercher un deuxième fournisseur pour combler les articles manquants.

Qualité du backbone

Un fournisseur sur un backbone bien entretenu, avec des relations de peering fiables, ingère les articles de manière plus fiable. Les articles manqués lors de l'ingestion sont la cause la plus fréquente d'une complétion basse. Si un backbone perd des articles en pleine charge, chaque fournisseur sur ce backbone a le même trou.

Takedowns

Les demandes de takedown DMCA et NTD retirent des articles spécifiques chez un fournisseur. Les fournisseurs sur le même backbone partagent le même traitement de takedown, donc ils perdent les mêmes articles. Les fournisseurs indépendants comme NewsDemon traitent les takedowns séparément, ce qui veut dire que notre profil de complétion est différent du réseau partagé.

Profondeur de rétention

La complétion a tendance à diminuer pour les contenus plus anciens. Les articles d'il y a plus de 10 ans ont eu plus de temps pour être affectés par des défaillances matérielles, des migrations de stockage et des takedowns cumulés. NewsDemon atténue cela avec notre archive sur bandes exclusive qui a récupéré des articles que d'autres fournisseurs ont perdus lors des transitions de stockage.

Fiabilité du stockage

Les pannes de disques arrivent. Les fournisseurs qui exploitent une architecture de stockage redondante (RAID, réplication entre régions) perdent moins d'articles à cause des pannes matérielles. NewsDemon réplique tous les articles sur trois régions de serveurs.

La seule façon de vraiment tester la complétion est de télécharger une sélection de NZBs et de voir quel pourcentage aboutit. Voici une approche pratique :

Choisissez un éventail d'âges de contenus. Essayez de télécharger quelque chose publié hier, quelque chose d'il y a un mois, quelque chose d'il y a un an et quelque chose d'il y a plusieurs années. La complétion peut varier selon l'âge.

Vérifiez les statistiques de réparation PAR2. Après chaque téléchargement, regardez les logs de votre client de téléchargement. SABnzbd et NZBGet rapportent tous les deux combien de segments ont été téléchargés, combien manquaient et combien ont été réparés. Si vous voyez régulièrement zéro segment manquant, la complétion est très élevée.

Comparez entre fournisseurs. Si vous avez des comptes chez deux fournisseurs, téléchargez le même NZB sur les deux et comparez les statistiques de réparation. Cela vous montre la différence réelle entre leurs inventaires d'articles.

NewsDemon maintient un taux de complétion de 99 %+ sur l'ensemble de notre fenêtre de rétention. Cela a été vérifié par des sites de tests indépendants comme TechRadar et NGR Blog.

Notre complétion est élevée parce que nous exploitons notre propre backbone avec un peering direct vers d'autres opérateurs Tier-1, parce que nous exploitons un stockage redondant sur trois régions et parce que nous avons récupéré du contenu exclusif depuis des archives sur bandes. Nous ne dépendons pas d'un backbone partagé où quelqu'un d'autre contrôle le pipeline d'ingestion.