Usenet

Usenet is tussen 1979 en 1980 door Tom Truscott en Jim Ellis ontwikkeld aan de Duke University, toen er nog geen internet bestond. Wel hadden veel mensen, vooral aan Amerikaanse universiteiten, computers met het besturingssysteem Unix, die met elkaar over de telefoon konden communiceren. Het UUCP-protocol werd de standaard voor zulke verbindingen om gegevens uit te wisselen. Usenet maakte hier in het begin van gebruik, maar er werd later een manier ontwikkeld om Usenet ook via het internet door te geven: het NNTP-protocol. Usenet gebruikt sindsdien vooral NNTP.

Er heeft zich in die tijd een Usenetcultuur ontwikkeld met de eerste regels over het gebruik van internet: over flaming en nettiquette.[1] Het had toen dezelfde indeling als startpagina.nl.[2]

Usenet is met bulletin board systems of BBSen te vergelijken. Dergelijke systemen waren in de periode 1980-1995 populair. Veel computergebruikers zetten een BBS op, waar anderen dan gebruik van maken. Uiteindelijk verspreidt veel materiaal zich over veel verschillende BBSen. Deze opzet is een voorbeeld van client-servercommunicatie: de computer met het BBS fungeert als een server, waar de gebruikers, de clients, verbinding mee maken. Het verspreiden van de gegevens tussen de servers gaat hierbij niet automatisch.

Bij Usenet is dat wel het geval, alle berichten worden automatisch overal heen verspreid. Dat ging in het begin door directe berichtenuitwisseling tussen gebruikers, via UUCP, maar later via internet. Er zijn daarvoor speciale Usenet-servers die berichten vasthouden en onderling uitwisselen, en waar gebruikers via het NNTP-protocol als client verbinding mee maken. De communicatie is daarmee een mengvorm tussen client-server en peer-to-peer, chats gaan met IRC op dezelfde manier.

A stuurt een bericht, bedoeld voor B. Het bericht gaat over drie servers naar B, maar ook andere mensen lezen het bericht.

Usenet bestaat in technische zin uit een verzameling afspraken, protocollen, voor het uitwisselen van berichten, waarin ook wordt gedefinieerd welke metadata er aan de berichten in de vorm van een aantal headers zijn gekoppeld. Een van de headers in een bericht is de nieuwsgroep, waarin het bericht wordt geplaatst, een andere bijvoorbeeld het onderwerp van het bericht, de titel. Berichten worden verspreid via een netwerk van duizenden servers overal ter wereld. Usenet was een van de eerste peer-to-peertoepassingen.

Bij gebruik van NNTP moet een gebruiker, om Usenet te bereiken, verbinding leggen met een NNTP-server, een nieuwsserver. Hiervoor moet de gebruiker een newsreader, hetzelfde als een NNTP-client, gebruiken: een programma dat volgens NNTP communiceert en de aangeboden functies aan de gebruiker kan aanbieden. Tot deze functies behoren het maken van overzichten van beschikbare berichten per nieuwsgroep, het ophalen van berichten om te lezen en het plaatsen van zelf geschreven berichten. De NNTP-servers wisselen onderling geregeld hun nieuwe berichten uit. Daardoor komt een door een gebruiker geplaatst bericht op een gegeven moment bij een andere gebruiker aan, zelfs als deze van een andere NNTP-server gebruikmaakt, maar hier kunnen soms dagen overheen gaan. Daardoor krijgen de verschillende deelnemers aan een Usenet-discussie toch dezelfde berichten, maar vaak in een totaal verschillende volgorde. Wel worden alle reacties op een bericht als zodanig gemarkeerd, en bieden de nieuwslezerprogramma's goede overzichten van de discussies aan, waardoor er toch samenhangende discussies mogelijk zijn.

De meeste internetproviders bieden een NNTP-server aan als standaarddienst voor hun abonnees, maar deze hebben meestal beperkingen. De meeste bieden bijvoorbeeld geen binary-nieuwsgroepen aan. Er zijn ook enkele openbare nieuwsservers, met een ruimer aanbod, daarvoor moet meestal apart voor worden betaald.

News-Service Europe, naar eigen zeggen de grootste Usenetprovider van Europa, kondigde op 5 november 2011 aan, de activiteiten met directe ingang stop te zetten.[3]

Usenet is qua populariteit door Facebook, Netflix en Spotify ingehaald. Usenet wordt door nieuwe gebruikers als complexer ervaren dan de genoemde alternatieven, hetgeen de populariteit van de dienst drukt. Toch is er nog steeds een vrij sterke en standvaste Usenetcommunity, met name vanwege het immense aanbod aan bestanden in hoge kwaliteit, gecombineerd met de hoge downloadsnelheden.[4]

Artikelen die gebruikers posten op Usenet zijn georganiseerd in onderwerpcategorieën in nieuwsgroepen. Deze nieuwsgroepen zijn op hun beurt hiërarchisch ingedeeld. In de meeste nieuwsgroepen is een artikel een reactie op andere artikelen. Usenet werkt met threads en subthreads, zoals ook de hedendaagse forums gebruiken.

Het meest bekend zijn de Big-8 die de volgende acht hiërarchieën omvat: comp, humanities, misc, news, rec, sci, soc en talk. Verder is er de alt-hiërarchie, waarin eenieder groepen kan aanmaken, daarom is de structuur van alt.* tamelijk chaotisch.

Verschillende landen hebben hun eigen hiërarchie. In Nederland is er de nl-hiërarchie die door de nl-admin wordt beheerd, in België is er de be-hiërarchie.

De nieuwsgroepen bevinden zich op een server of preciezer een netwerk van servers.[5] Men moet meestal om toegang te krijgen tot deze server een maandelijks te betalen abonnement betalen. De meeste internetproviders geven ook zeer gelimiteerd toegang tot usenetservers, maar daar is meestal nauwelijks iets te vinden.

Omdat er binaire bestanden kunnen worden doorgegeven via het usenet, wordt dit vaak gebruikt om illegaal bestanden door te geven. Deze bestanden kunnen spelletjes zijn, maar ook films, muziek of zelfs virussen. Volgens het hooggerechtshof in Amsterdam zijn usenet providers niet verantwoordelijk voor de inbreuk op het auteursrecht dat gebruikers van hun servers plegen. Wel moeten providers op basis van notice and takedown verzoeken zo snel mogelijk illegale downloads te verwijderen.[6]

Retentie is de periode dat een bericht op een nieuwsserver wordt bewaard. Deze periode kan per provider en nieuwsgroep verschillen. Giganews zegt van alle grote aanbieders de beste retentietijd te hebben: 2367 dagen voor binaire inhoud, 4795 dagen voor tekst.[7] Dat vergt meer dan negen petabyte aan opslagruimte.[8]

Voor een deel als gevolg van dergelijke lange retentietijden, evenals door groeiende snelheid van uploaden, wordt Usenet ook voor back-up gebruikt: met usenet backup of uBackup.[9] Terwijl commerciële aanbieders gemakkelijk te gebruiken online back-up-diensten aanbieden, is het opslaan van gegevens op Usenet gratis. Sommige internetproviders bieden ook gratis toegang tot Usenet aan. De methode vereist dat de gebruiker de gegevens handmatig selecteert, voorbereidt en uploadt. Deze gegevens worden normaal gecodeerd, omdat anders iedereen de back-upbestanden kon downloaden. Nadat de bestanden zijn geüpload, heeft de uploader er geen enkele controle meer over. De bestanden worden automatisch gekopieerd naar alle Usenet providers, dus zullen er meer exemplaren verspreid over verschillende geografische locaties over de hele wereld zijn.

• 1979: Tom Truscott en Jim Ellis ontwikkelen Usenet
• 1983: 550 UUCP-hosts. Usenet maakte voornamelijk gebruik van X.25-links
• 1984: 940 UUCP-hosts.
• 1985: NNTP wordt ontwikkeld, een toepassingslaag bovenop TCP/IP voor Usenet
• 1990: snelle groei van internet, andere toepassingen beginnen Usenet te overvleugelen
• 1995: DejaNews maakt het door middel van het wereldwijd web mogelijk oude en nieuwe Usenetberichten te doorzoeken
• 2001: Google neemt DejaNews over en breidt de dienst uit tot het huidige Google Groups
• 2005: AOL stopt met Usenet. AOL kondigt aan dat het zijn geïntegreerde dienst die van Usenet begin 2005 zal beëindigen vanwege de sterke groei van onder andere webforums en weblogs.