snelheid

[scorpius]

SABnzbd is nogal CPU hongerig.
Maar mogelijk is bij jou Ziggo de beperkende factor.
Ik ben zelf de gelukkige bezitter van een 100Mbit glasvezel aansluiting.
Met een bescheiden Atom230 WHS server haal ik 6 MByte/sec en met
een 4 jaar oude AMD Athlon 3000+ doos met Ubuntu haal ik 9 MByte/sec.
Mijn 1 jaar oude Windows 7 doos haalt de maximale 11 MByte/sec.

Het ligt niet aan Ziggo, want als ik met mijn Windows PC download gaat het op volle snelheid (inmiddels 120Mb). Ik ben er overigens wel zeker van dat het aan de machine lag, want die crashte op een gegeven moment bijna. Ik had eerst 20Mb ADSL en dat ging op mijn PC ook nog prima, maar met de hogere snelheid van Ziggo heb ik wel wat aanpassingen moeten doen. Met Grabit verslikte mijn i7 zich ook in het parren en rarren (het duurde gewoon lang, alles op 1 core). Nu heb ik Newsbin Pro en die gebruikt meerdere cores voor de taken, en dat gaat aanmerkelijk sneller.

Ik heb nu een nieuwe machine besteld als NAS en download machine en daar komt een AMD X4 in. Ik ga dan nog een keer testen met sabnzb.

Wat is trouwens een goede instelling voor het aantal simultane connecties naar de newsservers? Ik kan niet echt iets vinden daarover. Ik heb dus Ziggo 120Mb en GigaNews.

[shypike]

Wat is trouwens een goede instelling voor het aantal simultane connecties naar de newsservers? Ik kan niet echt iets vinden daarover. Ik heb dus Ziggo 120Mb en GigaNews.

Dat is voor iedere Usenet provider anders, je zult wat moeten experimenteren.
Gebruik niet meer connecties dan nodig is voor de hoogste snelheid.
Op een gegeven moment zal je performance teruglopen.

[injectx]

SABnzbd is nogal CPU hongerig.
Maar mogelijk is bij jou Ziggo de beperkende factor.
Ik ben zelf de gelukkige bezitter van een 100Mbit glasvezel aansluiting.
Met een bescheiden Atom230 WHS server haal ik 6 MByte/sec en met
een 4 jaar oude AMD Athlon 3000+ doos met Ubuntu haal ik 9 MByte/sec.
Mijn 1 jaar oude Windows 7 doos haalt de maximale 11 MByte/sec.

Het ligt niet aan Ziggo, want als ik met mijn Windows PC download gaat het op volle snelheid (inmiddels 120Mb). Ik ben er overigens wel zeker van dat het aan de machine lag, want die crashte op een gegeven moment bijna. Ik had eerst 20Mb ADSL en dat ging op mijn PC ook nog prima, maar met de hogere snelheid van Ziggo heb ik wel wat aanpassingen moeten doen. Met Grabit verslikte mijn i7 zich ook in het parren en rarren (het duurde gewoon lang, alles op 1 core). Nu heb ik Newsbin Pro en die gebruikt meerdere cores voor de taken, en dat gaat aanmerkelijk sneller.

Ik heb nu een nieuwe machine besteld als NAS en download machine en daar komt een AMD X4 in. Ik ga dan nog een keer testen met sabnzb.

Wat is trouwens een goede instelling voor het aantal simultane connecties naar de newsservers? Ik kan niet echt iets vinden daarover. Ik heb dus Ziggo 120Mb en GigaNews.

Een AMD Phenom X4 als NAS.. zou ik je wel aanraden om een 65Watt versie te kopen en geen 95Watt.
Aangezien ik bij een NAS toch denk aan een machine die 24/7 aan staat en met die processor toch best wat energie verstookt.
(Wel lekker voor in de winter maanden natuurlijk).

Daarnaast zou je ook een NAS kunnen bouwen zoals ik dat zelf ook heb gedaan met behulp van FreeNAS.
Mijn kosten voor een Intel Atom D510, 2GBRAM, 2x1,5TB HD(RAID1), ITX-case waren rond de 290 euro.
Daarnaast verstookt het ding tussen de 35Watt(idle) en 40Watt(load), draait SabNZBd er echt voortreffelijk op
en ook bestanden overzetten via Gigabit gaat goed (max. 60MB,65MB/sec.).

Is maar een tip

[scorpius]

Een AMD Phenom X4 als NAS.. zou ik je wel aanraden om een 65Watt versie te kopen en geen 95Watt.
Aangezien ik bij een NAS toch denk aan een machine die 24/7 aan staat en met die processor toch best wat energie verstookt.
(Wel lekker voor in de winter maanden natuurlijk).

Daarnaast zou je ook een NAS kunnen bouwen zoals ik dat zelf ook heb gedaan met behulp van FreeNAS.
Mijn kosten voor een Intel Atom D510, 2GBRAM, 2x1,5TB HD(RAID1), ITX-case waren rond de 290 euro.
Daarnaast verstookt het ding tussen de 35Watt(idle) en 40Watt(load), draait SabNZBd er echt voortreffelijk op
en ook bestanden overzetten via Gigabit gaat goed (max. 60MB,65MB/sec.).

Is maar een tip

Ik wilde een multi-core processor vanwege de performance. Een multicore blijft veel stabieler onder load, dus als je cpu-intensieve zaken doet als par en rar, moet de boel wel door blijven jakkeren. Daarbij moet mijn NAS (ik ben hem deze week aan het opbouwen) 10Tb aan opslag geven (6x 2Tb in RAID5), waarbij ik voor softraid ga (Ubuntu met mdadm). Dat performed prima, maar kost ook eea aan cpu power. Dus vandaar de keuze voor de AMD X4 (overigens een Athlon X4 640). Dat is de goedkoopste quadcore, en niet zo heel veel duurder als een Intel CoreDuo.
En ik heb wel nagedacht over die kant en klare NAS distro's, maar het is net zo makkelijk onder Ubuntu. Ik gebruik altijd WebMin voor beheer via een browser en in ben niet geheel onhandig met Linux.

Er is over nagedacht...

Ik ben de machine nu aan het testen (de RAID array is nog niet klaar) en ik download naar een soort staging area bestaande uit 2 500Gb disks in RAID0 (striped dus) wat erg snel is. RAID5 is niet geschikt om op te downloaden en uit te pakken. Dan zakt ie compleet in elkaar. Na het downloaden en uitpakken laat ik 'm de boel overzetten met een post-script. Net even een download getimed en hij pakt de volle bandbreedte (120Mb) en een DVD pakt ie in krap een minuutje uit. Al met al zijn de eerste resultaten dus naar tevredenheid. CPU werd toch nog tot zo'n 40% belast. Het ging een beetje heen en weer, soms de ene core 50% en de andere 25%, maar ik schat dat ie grosso modo op +/- 40% uitkwam. Unrarren ging niet helemaal gelijk over alle cores, maar goed...ik klaag niet met 4Gb in nog geen minuut.

[injectx]

Hallo Scorpius,

Blijkt inderdaad wel degelijk over nagedacht te zijn, wist niet dat je zo'n flinke setup ging draaien.
Suc6 verder

[shypike]

Ik zou graag je ervaring met RAID straks lezen.
Eén forum lid claimt grote problemen te hebben met de combinatie
Linux/SABnzbd/par2/unrar wanneer de werkfolders op de RAID staan.
Zie de discussie tussen tpas en mij, hier: http://forums.sabnzbd.org/index.php?topic=3409.0

[scorpius]

Blijkt inderdaad wel degelijk over nagedacht te zijn, wist niet dat je zo'n flinke setup ging draaien.

Ach...ik wil van mijn DVD/HD-DVD/BluRay verzameling af. Ik heb een jaar of 3 geleden mijn CD verzameling gedigitaliseerd en speel alleen nog muziek af via iPods en de HTPC. De CD's heb ik niet meer aangeraakt. Ik wil dat ook met de DVD's gaan doen en dan kijk ik ze lekker via XBMC op mijn HTPC. De verzameling is redelijk omvangrijk en als je een paar BluRays download, zit 1TB ook zó vol. Vandaar dus. En ik ben ICT'er dus ik knutsel graag met die dingen.

@Shypike: ik gebruik 2 500Gb disks in RAID0 als werkschijven. Die disks zijn aangesloten op de mobo controller, maar de RAID is met mdadm (software RAID dus). Het filesystem is XFS vanwege de performance. Het is de bedoeling dat ik na het downloaden/uitpakken de boel naar een nette structuur op de RAID5 array wegschrijf (bestandsnamen fatsoeneren e.d). De RAID5 array is op een HighPoint 2680 controller aangemaakt en bestaat uit 6x 2Tb Samsung GP disks. Ook de array is voorzien van een XFS filesysteem.

Tot nu toe heb ik al bijna 16Gb gedownload en er is geen bit verloren gegaan. Ik weet niet in welke mate de CRC problemen optraden, maar ik kan me voorstellen dat als je gaat downloaden naar een RAID5 array je de boel wel onder druk zet. Vooral als je het met software raid doet. Vandaar dat ik die 500Gb schijven heb ingezet. Die zaten in mijn 'oude' NAS.

[shypike]

Wat ik tpas probeer duidelijk te maken is dat een RAID onzichtbaar moet zijn voor applicaties.
Zijn problemen duiden er op dat er iets niet goed is in zijn systeem.
Je kunt best performance problemen krijgen, maar het moet wel
goed blijven werken. Wat heb je anders aan RAID?

[scorpius]

Wat ik tpas probeer duidelijk te maken is dat een RAID onzichtbaar moet zijn voor applicaties.
Zijn problemen duiden er op dat er iets niet goed is in zijn systeem.
Je kunt best performance problemen krijgen, maar het moet wel
goed blijven werken. Wat heb je anders aan RAID?

Precies. RAID is in principe transparant voor de rest van het systeem, en bij hardware RAID is het zelfs transparant voor het OS. Maar ik ben het met je eens dat die meneer een of ander vreemd probleem heeft met zijn array. Ik kan me niet voorstellen dat het een inherent probleem is van RAID in combinatie met het downloaden. Het enige dat je kunt verwachten is performance issues als je random schrijfacties gaat uitvoeren naar een RAID5 array; die wordt daar helemaal dol van omdat ie steeds de parity moet berekenen. Voor dat gebruik is RAID5 minder geschikt. Het kán wel, dus whatever probleem hij ook heeft, het ligt niet aan sabnzb.