Homeserver mit SEHR viel Speicher !

Autor

Beitrag

aM-dan
Inventar

#1 erstellt: 30. Jan 2014, 11:47

Guten Tag liebe Leute,

derzeit betreibe ich eine QNAP NAS mit 4 WD Red Festplatten a 3 TB im RAID5 Verbund.
Also Nettospeicherplatz beträgt: 8,25 TB

Dies ist momentan alles noch in Ordnung doch auf dauer wird dies zu wenig sein.
Ich besitze eine ordenliche Filmsammlung, derzeit ca. 500 DVD's und 350 BluRay's.
Da ich diese Filme aber gerne auf meine Mediaplayer streamen möchte habe ich angefangen alle Filme zu digitalisieren. Die Filme haben immer eine Größe zwischen 2-3 GB bei DVD's und 7-8 GB bei BluRays.
Zudem kommen dann eben noch so Sachen wie Musik, Backups für meine PC's, Laptobs und sonstigen Geräte, Bilder (Hobbyfotograf) und alles was eben sonst noch so anfällt.
Zu meiner NAS die zu 90% als FTP genutzt wird gesellt sich ein kleiner Server mit Energiesparender Hardware der auch fast 24/7 läuft. Nun möchte ich in diesem Jahr diese beiden Sachen vereinen und den Speicherplatz soweit ausbauen, dass er für mich auch in 2 - 3 Jahren noch ausreichend ist.

Der Server sollte folgende eigenschaften mitbringen:

- Leise
- Energiesparend
- Zeitgesteuert starten/runterfahren
- RAM 8 - 16 GB (am liebsten 16GB)
- min. RAID5, ich denke aber auch an ein RAID6 oder Hotspare betrieb sofern möglich
- alle Platten im Wechselrahmen (ausser Systemplatte)
- SEHR viel Speicherplatz den man erweitern kann
- ausdauernde Festplatten die nach Möglichkeit lange halten und wenig anfällig sind

Schön wäre wenn ich Imgrunde mit 3 oder 4 Platten anfangen könnte und die dann immer wieder erweitern könnte bis auf min. 10 Platten. Rechenleistung braucht er keine besondere, auf dem Server laufen meist 3 - 4 kleine Programme, von der Leistungsintensität her vielleicht wie Teamspeak3.
Im jetzigen Server steckt ein AMD E350 Prozessor der Imgrunde auch reicht, wäre aber auch nicht schlecht wenn der Prozessor einen kleinen Tick stärker ist sofern dies dann nicht stark auf die Stromrechnung geht.
Der Preis ist erst mal nicht ganz so wichtig, die Grund Hardware sollte allerdings unter 500 EUR bleiben (ohne Festplatten). Über das Betriebssystem habe ich mir noch keine besonderen Gedanken gemacht, besitze aber eine Win 2003 Enterprise x64 Lizenz.

Ich hoffe ich habe nichts vergessen.
Wenn noch Fragen offen sind einfach her damit.

Gruß.

mehmet88
Stammgast

#2 erstellt: 01. Feb 2014, 13:36

- RAM 8 - 16 GB (am liebsten 16GB)

wofür soviel ram?
für einen mass sotrage (einfache NAS aufgaben) reicht sogar unter 1gb ram aus, die richtige software vorrausgesetzt, mit 2gb ist amn hier schon sehr übppig ausgestattet.

- min. RAID5, ich denke aber auch an ein RAID6 oder Hotspare betrieb sofern möglich

wofür raid?
ausfall einer platte so gravierend das man sich das wirklich braucht? bzw. würde nicht sogar ein RAId1 reichen?
zusätzliche backups, sind auch bei einem RAID nötig.

- ausdauernde Festplatten die nach Möglichkeit lange halten und wenig anfällig sind

wie viel geld möchtest du ausgeben, sprich consumer oder profi hardware?
ausfälle kann es immer geben.

auf dem Server laufen meist 3 - 4 kleine Programme, von der Leistungsintensität her vielleicht wie Teamspeak3.

auch hier, 2gb ram sind völlig ausreichend für sowas

Im jetzigen Server steckt ein AMD E350 Prozessor der Imgrunde auch reicht, wäre aber auch nicht schlecht wenn der Prozessor einen kleinen Tick stärker ist sofern dies dann nicht stark auf die Stromrechnung geht.

einer kleiner pentium oder i3 wäre eine überlegeung wert, haben leistung nach oben satt, sind aber im idle sehr stromsparend

Über das Betriebssystem habe ich mir noch keine besonderen Gedanken gemacht, besitze aber eine Win 2003 Enterprise x64 Lizenz.

ein normales windows, oder linux server würde auch gehn bei diesen anwendungen.
ich selber benutze auf meinem massenspeicher im lan, debian das ich entsprechend konfiguriert habe... dieser rehner bassiert auf einem atom N570 (ähnlich deines E350) und 1gb ram, mit der ram auslstung ahbe ich da wenig probleme, mitterweile stoße ich aber mit NAs, test forum, mumble und anderen kleinigkeiten an die grenze des prozessors...

in welches gehäuse soll denn das ganze rein?
in einen normalen midi tower oder direkt nen big tower?

aM-dan
Inventar

#3 erstellt: 01. Feb 2014, 15:30

wofür soviel ram?
für einen mass sotrage (einfache NAS aufgaben) reicht sogar unter 1gb ram aus, die richtige software vorrausgesetzt, mit 2gb ist amn hier schon sehr übppig ausgestattet.

Ich sags mal so, RAM kostet nicht wirklich viel und ich sagte ja das ich für die Zukunft planen will.
Also ich denke 8 GB RAM sollten da schon minimum rein. Sagt man nicht eh, dass für ein Server OS sowieso mehr RAM vorhanden sein soll?

wofür raid?
ausfall einer platte so gravierend das man sich das wirklich braucht? bzw. würde nicht sogar ein RAId1 reichen?
zusätzliche backups, sind auch bei einem RAID nötig.

Ja der Ausfall einer 3 oder gar 4 TB Platte wäre gravierend.
Ein Raid1 macht aus meiner Sicht gar keinen sinn denn dafür brauche ich ja gleich die doppelte Anzahl an Platten.
Beispiel 10 Platten: Raid 1 = 5 Platten netto Raid 5 = 9 Platten netto Raid 6 = 8 Platten netto

wie viel geld möchtest du ausgeben, sprich consumer oder profi hardware?
ausfälle kann es immer geben.

Consumer! Ich habe aktuell ja die WD RED Platten drin, ich denke die sind schon OK.

einer kleiner pentium oder i3 wäre eine überlegeung wert, haben leistung nach oben satt, sind aber im idle sehr stromsparend

Stimmt! Werde ich in Betracht ziehen.

Server 2003 Lizenz ist halt da und wird anders nicht gebraucht.

in welches gehäuse soll denn das ganze rein?
in einen normalen midi tower oder direkt nen big tower?

Darf ruhig ein Big Tower sein, allein schon wegen den Wechselgehäusen.

mehmet88
Stammgast

#4 erstellt: 01. Feb 2014, 16:21

gut wie du das raid dann letztlich machst ist dein ding

als motherboard würde ich für deine anforderungen sowas hier nehmen:
ASRock Z87 Extreme6

http://geizhals.at/d...-a0uayz-a953087.html
ASRock Fatal1ty Z87 Professional

http://geizhals.at/d...-a0uayz-a953098.html
Gigabyte GA-Z87X-UD5H

http://geizhals.at/de/gigabyte-ga-z87x-ud5h-a947814.html

grund:
von haus aus 10 s-ata ports, daher für den anfang wohl genug

nachrüsten kann man dann immer noch
desweiteren sidn dort für den 24/7 einsatz höherwertige kompoennten verbaut.

ram würde ich je nach boar din der kompa. liste schauen, bzw. den günstigsten beim jeweiligen shop nehmen.

Intel Core i3-4130

http://geizhals.at/d...6i34130-a993678.html [damit dürfest du gemssen am gesamtsystem, ohne last bei etwa 60-70Watt liegen, unter last kenne ich leider nur ergebnisse wo eine seperate graka eingebaut ist, sollte aber maximal 150W sein, je nach festplattenbestückung)

als netzteil würde ich aufgrund der mengen an festplatten, die vor allem beim anlaufen einiges an strom benötigen, auf ein 400-500W modell setzen.
sowas in der richtung:
be quiet! Straight Power E9 450W ATX 2.4

http://geizhals.at/d...w-bn191-a677345.html
Enermax Revolution X't 430W

http://geizhals.at/d...430awt-a1015786.html

gehäuse ist ja geschmackssache, ich würde sowas hier nehmen:
Nanoxia Deep Silence 5 anthrazit, schallgedämmt

http://geizhals.at/d...thrazit-a971411.html
NZXT H630 Big-Tower

http://geizhals.at/de/nzxt-h630-schwarz-ca-h630f-m1-a942575.html
alles andere wäre zu teuer mm, kannst aber selber noch nach anderen schauen.

als systemplatte käme für mich nur eine ssd in frage, hier würde aber wohl schon eine kleine mit 64gb reichen, da aber die 120gb versionen kaum teurer sind...
Samsung SSD 840 EVO 120GB

http://geizhals.at/d...te120bw-a977934.html

die wd red als datenplatte verwende ich selber, die ist ganz gut

dann sind so meine gedanken dazu...

Mickey_Mouse
Inventar

#5 erstellt: 01. Feb 2014, 19:45

nur so als Info, Network Appliance (das würde ich als echten Profi Bereich bezeichnen) setzt RAID4 ein.
Ich verstehe auch nicht, warum die Leute immer "mindestens RAID5" haben wollen?
Welchen Sinn macht es die Parität mit viel Aufwand auf alle Platten zu verteilen?!? Speziell wenn man das auch noch per Software machen muss.

Und jedem sollte klar sein, dass z.B. ein defektes Netzteil alle Platten gleichzeitig schritten kann und einem auch der "beste RAID Level" dann absolut gar nix nutzt, die Daten sind futsch...

mehmet88
Stammgast

#6 erstellt: 01. Feb 2014, 20:35

Und jedem sollte klar sein, dass z.B. ein defektes Netzteil alle Platten gleichzeitig schritten kann und einem auch der "beste RAID Level" dann absolut gar nix nutzt, die Daten sind futsch...

ich schrieb ja bereits ein raid ersetzt kein backup.
grundsätzlich stimme ich dir im bezug auf raid zu, daher benutze ich bei meinem nas gar kein raid... (geschwindigkeitsmäßig bring tes mir auch wenig, mehr wie 1gbit/s geht eh nicht^^ ine platte bei mir schafft bis zu 900mbit/s)

[Beitrag von mehmet88 am 01. Feb 2014, 20:36 bearbeitet]

aM-dan
Inventar

#7 erstellt: 01. Feb 2014, 22:05

Mickey_Mouse (Beitrag #5) schrieb:

Dass die Leute immer minedstens Raid5 haben wollen wusste ich nicht.
Ich möchte dies aber haben da in meiner NAS vor 2 Monaten eine der WD RED Platten ausgefallen ist und defekt war, ohne Raid5 wär alles weg gewesen.
Sicher ist man nie das ist mir durchaus bewusst aber mir sind in den letzten 12 - 15 jahren doch schon ein paar Platten kaputt gegangen aber lediglich ein Netzteil und das bei einem NT Ausfall auch gleich alle Platten Schrott sind muss auch nicht sein.

mehmet88
Stammgast

#8 erstellt: 01. Feb 2014, 22:24

wie gesagt, sichere die daten auf einem weiterem speichermedium, am besten nicht aus der gleichen festplattenserie. (um serien defekte auszuschließen)

Mickey_Mouse
Inventar

#9 erstellt: 01. Feb 2014, 22:49

aM-dan (Beitrag #7) schrieb:

bei RAID4 wäre genauso wenig weg gewesen wie bei RAID5, nur das Recovery wäre schneller und einfacher gewesen

Passat
Inventar

#10 erstellt: 02. Feb 2014, 14:24

Mickey_Mouse (Beitrag #5) schrieb:

Bei einem Raid 4 gibt es eine Platte, auf der alle Paritätsinformationen gespeichert werden.
Zitat Wikipedia:

Ein Nachteil bei klassischem RAID 4 besteht darin, dass die Paritätsplatte bei allen Schreib- und Leseoperationen beteiligt ist. Dadurch ist die maximal mögliche Datenübertragungsgeschwindigkeit durch die Datenübertragungsgeschwindigkeit der Paritätsplatte begrenzt. Da bei jeder Operation immer eine der Datenplatten und die Paritätsplatte verwendet werden, muss die Paritätsplatte weit mehr Zugriffe durchführen als die Datenplatten. Sie verschleißt dadurch stärker und ist daher häufiger von Ausfällen betroffen.

Wegen der fest definierten Paritätsplatte bei RAID 4 wird stattdessen fast immer RAID 5 bevorzugt.

Ich würde immer Raid 5 oder 6 nehmen.
Außerdem wird Raid 4 von fast keinem Raid-Kontroller oder einem Software-Raid mehr unterstützt.
Man kann es in der Praxis also gar nicht implementieren.

Grüße
Roman

Mickey_Mouse
Inventar

#11 erstellt: 02. Feb 2014, 15:20

nicht alles was Wiki schreibt ist auch richtig

nehmen wir mal an, wir hätten 9 Platten, auf die ersten 8 werden die 8 Bits eines Bytes abgespeichert und auf der 9. das Paritäts-Bit. In der Praxis würde man das natürlich nicht bit- sondern block-weise organisieren, aber das Prinzip ist dasselbe.
Alle Platten werden gleich stark belastet, keine bildet den Flaschenhals und die Berechnung dafür baue ich dir in Hardware aus einer Handvoll 74xx Gatter zusammen, bzw. kann man das selbst in 6502 Assembler in ein paar Zeilen codieren.

Bitte nicht falsch verstehen, ich will nicht RAID4 als das einzig legitime RAID-Level darstellen!
Der Ausgangspunkt war: "ich möchte mindestens RAID5 haben"!
Mir geht es nur darum, dass die Leute immer nach dem Motto denken: höherer RAID-Level ist automatisch besser, das ärgert mich!

KurtHarders
Ist häufiger hier

#12 erstellt: 03. Feb 2014, 08:07

Hallo,
ich habe mir einen sehr ähnlichen Server vor vielen Jahren aufgebaut. Das RAID6 hat bisher alle neuen Mainboards und Plattencontroller, die im Rahmen von Stromsparmaßnahmen getauscht wurden, überstanden

aM-dan (Beitrag #1) schrieb:

Der Server sollte folgende eigenschaften mitbringen:

- Leise
- Energiesparend
- Zeitgesteuert starten/runterfahren
- RAM 8 - 16 GB (am liebsten 16GB)
- min. RAID5, ich denke aber auch an ein RAID6 oder Hotspare betrieb sofern möglich
- alle Platten im Wechselrahmen (ausser Systemplatte)
- SEHR viel Speicherplatz den man erweitern kann
- ausdauernde Festplatten die nach Möglichkeit lange halten und wenig anfällig sind

Derzeit werkelt ein älteres AMD-Mainboard mit 2 PCI S-ATA Controllern in einem Midi-Tower mit 12 externen 5,25"-Einschüben. Dieser Rechner ist "Hausserver" und virtualisiert derzeit 3 Linux-Systeme. Bei der letzten Umbauaktion habe ich alle 3,5"-Platten gegen stromsparende 2,5"-Platten getauscht. Das ging, mit ein wenig SATA-Kabel-stöpseln im laufenden Betrieb, da Linux SW-RAID sowas halt kann. Das RAID6 besteht aus 6 Platten mit je 1TB, also 4TB netto.
Nächste Aktion wird der Einbau eines ASRock C2550D4I C2550 sein, da dieses strompsarend und passiv belüftet ist und 12 SATA-Schnittstellen on board hat. Auch der Preis ist für ein echtes Server-Mainboard mit KVM-Netzerinterface OK.
In das eine PCIe-Slot kommt dann aus einem anderen Rechner ein Digital Devices Octopus mit derzeit einem Doppeltuner.
Als Wechselrahmen habe ich 3x4-fach 2,5" in einem 5,25"-Slot. Also braucht man dafür nur noch 4 5,25"-Slots (DVD) oder 5, wenn die Datensicherungsplatte auch in einem Rahmen steckt. Das RAID-Array ist auf alle 3 Rahmen verteilt.
Der größte Ausbau dieses Systems wäre also DVD+Systemplatte+10x1TB RAID6 (netto 8TB).
Zu Thema ausdauernde Festplatten: RAID hieß mal "redundant array of INEXPENSIVE disks". Weil das den Plattenherstellern nicht gefiel, wurde aus INEXPENSIVE INDEPENDANT. Ich habe seit vielen Jahren dieses Array im Betrieb und es hat einen harten Plattendefekt gehabt, und zwei vorsorgliche Plattenwechsel. Bei RAID6 kann man auf teure Serverplatten verzichten. Man sollte aber den Plattenstatus/RAID-Status regelmäßig prüfen und mdadmd verwenden, um bei einem Fehler eine Mail zu erhalten.
Noch ein Nachtrag: Hot Spare finde ich unsinnig

und die Integration einer neuen Festplatte mit 1TB dauert im laufenden Betrieb ca. 1-2 Tage.

Ich glaube, die Konfiguration kommt Deinen Anforderungen sehr nahe.
Viel Erfolg, Kurt

Passat
Inventar

#13 erstellt: 03. Feb 2014, 09:41

KurtHarders (Beitrag #12) schrieb:

und die Integration einer neuen Festplatte mit 1TB dauert im laufenden Betrieb ca. 1-2 Tage.

Da merkt man, das das Plattensystem bzw. der Prozessor nicht ausreicht.

Hier auf einem 6 Jahre alten Server mit Hardware-Raidcontroller dauerte das bei einer 250 GB-Platte genau 17 Minuten!

Hochgerechnet auf die 1 TB wäre das unter 1 Stunde.

Grüße
Roman

KurtHarders
Ist häufiger hier

#14 erstellt: 03. Feb 2014, 10:34

Hallo Roman,
hast Du eventuell übersehen, dass die Integration im laufenden Betrieb erfolgte? Dann ist bei mdadm der Durchsatz drastisch reduziert (1-5MB/s), damit die Auswirkungen auf den Betrieb gering bleiben. Ausserdem die Frage, welchen RAID-Level Dein Controller verwendet.
Grüße, Kurt

Passat
Inventar

#15 erstellt: 03. Feb 2014, 10:35

Das war im laufenden Betrieb mit gleichzeitigem Plattenzugriff durch ca. 20 Benutzer.
War übrigens ein RAID 5.

Grüße
Roman

naz86
Schaut ab und zu mal vorbei

#16 erstellt: 03. Feb 2014, 14:40

http://www8.hp.com/d...379860#!tab=features

16Gig Ram rein und 4X 4TB

und freenas installiert

http://www.freenas.org/

cbv
Inventar

#17 erstellt: 03. Feb 2014, 16:53

Interessant, dass über diverse Raid-Level fabuliert, aber ausser Acht gelassen wird, dass offenbar alle Platten aus einer Serie stammen (sollen/werden). Sinnvoller wäre, Platten verschiedener Hersteller zu mischen, um die Gefahr von Serienfehlern zu minimieren. Aber gut, das ist Einstellungssache.

Zum anderen unterstützt offenbar (nur flüchtiger Blick auf die Specs meinerseits) keines der Boards ECC. Für ein NAS sollte das ein KO-Kriterium sein.

Jogobo
Stammgast

#18 erstellt: 03. Feb 2014, 16:57

Mickey Mouse schrieb:

nehmen wir mal an, wir hätten 9 Platten, auf die ersten 8 werden die 8 Bits eines Bytes abgespeichert und auf der 9. das Paritäts-Bit

Unter dieser Annahme wäre Deine Kritik am Wahrheitsgehalt des Wiki Artikels gerechtfertigt.

Mickey Mouse schrieb:

In der Praxis würde man das natürlich nicht bit- sondern block-weise organisieren, aber das Prinzip ist dasselbe.

In der Praxis würde es nicht nur, sondern es war (und ist bei noch existierenden Systemen mit RAID4) Blockweise organisiert. Und genau hier geht Deine Annahme von oben in die Hose.
RAID4 ist Striping (RAID0) mit Parität. Auf jeder der o.g. 8 Datenplatten existiert eine einheitliche Blockgröße . Gehen wir von 4 KB (es könnten aber genauso gut 64KB sein) als Blockgröße aus, dann wird bei jedem Schreibvorgang, der weniger als 28 KB und ein Byte umfasst, die Paritätsplatte einmal mehr benutzt, als die Datenplatten, die für den Schreibvorgang nicht benötigt wurden. Je ungünstiger das Verhältnis von Blockgröße zu durchschnittlichem Datenvolumen pro Schreibzugriff ist, umso stärker die Belastung der Paritätsplatte im Verhältnis zu den Datenplatten.

KurtHarders
Ist häufiger hier

#19 erstellt: 03. Feb 2014, 17:23

Hallo Chris,
doch, das ASRock C2550D4I C2550 unterstützt ECC.
Grüße, Kurt

mehmet88
Stammgast

#20 erstellt: 03. Feb 2014, 20:00

ECC ist für den heimgebrauch nicht zwingend erforderlich, ich komme auch ohne sehr gut aus.

[Beitrag von mehmet88 am 03. Feb 2014, 20:07 bearbeitet]

cbv
Inventar

#21 erstellt: 04. Feb 2014, 10:01

@Kurt:
Ok. Ich hatte die Specs wie gesagt nur überflogen.

@mehmet:
Das muss im Endeffekt jeder für sich selbst entscheiden. Mir ist Datenintegrität wichtig.

Drexl
Inventar

#22 erstellt: 10. Feb 2014, 19:07

Mickey_Mouse (Beitrag #9) schrieb:

bei RAID4 wäre genauso wenig weg gewesen wie bei RAID5, nur das Recovery wäre schneller und einfacher gewesen ;)

Wieso sollte es? Aber für den normalen Betrieb ist RAID-4 nicht zu empfehlen, deshalb wurde ja RAID-5 erfunden.

RAID-4:

Beim Lesen wird die Paritätsplatte überhaupt nicht genutzt.
Beim Schreiben ist die Paritätsplatte bei jeder Operation (außer Full Stripe Writes) beteiligt und wird schnell zum Bottleneck

RAID-5:

Etwas höherer Lesedurchsatz, da es keine dedizierte Parityplatte gibt.
Deutlich bessere Schreibperformance, da alle Platten gleichmäßig ausgelastet sind.

Beim Schreiben eines Datenblockes müssen Datenblock und Parityblock gelesen, das Parity neu berechnet und anschließend Daten und Parity neu geschrieben werden. Also vier reale I/Os bei einem virtuellen I/O. Bei RAID-4 ist daher bei jeder Schreiboperation die dedizierte Parityplatte zweimal beteiligt.

als Tabelle:
x = Gesamtzahl zufälliger I/O-Operationen bei einem n+1 RAID 4/5
Platte n+1 wäre bei RAID-4 die Parityplatte.

          |                     Platte
          |    0    |    1    |    2    |   ...   |    n    |   n+1
----------+---------+---------+---------+---------+---------+---------
Lesen     |         |         |         |         |         |
    RAID-4|   x/n   |   x/n   |   x/n   |   ...   |   x/n   |    0
    RAID-5| x/(n+1) | x/(n+1) | x/(n+1) |   ...   | x/(n+1) | x/(n+1)
----------+---------+---------+---------+---------+---------+---------
Schreiben |         |         |         |         |         |
    RAID-4|  2*x/n  |  2*x/n  |  2*x/n  |   ...   |  2*x/n  |   2*x
    RAID-5|4*x/(n+1)|4*x/(n+1)|4*x/(n+1)|   ...   |4*x/(n+1)|4*x/(n+1)

RAID-4:

Beim Lesen ist die Parityplatte unbeschäftigt, es wird Performance verschenkt
Beim Schreiben muß die Parityplatte genauso viel Arbeit verrichten wie alle übrigen Platten zusammen.

RAID-5:

Das Parity ist auf allen Platten gleichmäßig verteilt, der Lesedurchsatz ist um 1/(n+1) höher.
Alle Platten sind gleichmäßig belastet, es gibt kein Bottleneck. Die Belastung jeder Festplatte ist um den Faktor (n+1)/2 geringer ggü. der Parityplatte bei RAID-4

D.h.:
Ein RAID-5 3+1 ist beim Lesen 33% schneller und beim Schreiben doppelt so schnell als ein RAID-4 3+1.
Ein RAID-5 7+1 ist beim Lesen 14% schneller und beim Schreiben viermal so schnell als ein RAID-4 7+1.

mehmet88 (Beitrag #20) schrieb:

ECC ist für den heimgebrauch nicht zwingend erforderlich, ich komme auch ohne sehr gut aus.

Wenn einem seine Daten etwas wert sind, dann spielt es keine Rolle, ob es "Businessdaten" oder Heimdaten sind.

ECC kommt in der Praxis wesentlich häufiger vor als einem suggeriert wird:

http://www.cs.toronto.edu/~bianca/papers/sigmetrics09.pdf

aM-dan (Beitrag #1) schrieb:

- min. RAID5, ich denke aber auch an ein RAID6 oder Hotspare betrieb sofern möglich

RAID-5 mit Hotspare ist unsinnig, wenn man auch RAID-6 einsetzen kann (außer der etwas höhere Schreibdurchsatz bei RAID-5). Bei einem so großen RAID sollte man schon RAID-6 in Betracht ziehen.

mehmet88
Stammgast

#23 erstellt: 10. Feb 2014, 19:19

ECC kommt in der Praxis wesentlich häufiger vor als einem suggeriert wird: [url]http://www.cs.toronto.edu/~bianca/papers/sigmetrics09.pdf

[/url]
ist mir noch nie passiert, kann aber auch daran liegen das, wenn ich daten auf meine nas kopiere, diese mit hashwert (md5-prüfsumme) überprüft werden.

[Beitrag von mehmet88 am 10. Feb 2014, 19:23 bearbeitet]

BlogYourEarth
Ist häufiger hier

#24 erstellt: 15. Feb 2014, 20:41

Hallo zusammen,

ich hatte früher auch meine Server selber gebaut. Aber dann hatte ich keine Lust mehr auf das Basteln und habe mir eine Synology Diskstation DS 1813+ gekauft.

Der Server hatte als Betriebssystem Open SUSE 11.1 installiert und stellt über SAMBA Shares die Laufwerke im Netzwerk bereit. In Summe hatte ich dann bei RAID 6 11 TB nutzbar. Als Dateisystem kam das XSF Dateisystem zum Einsatz. Als Raidcontroller habe ich einen Adaptec ICP5165BR 16 fach Controller im Einsatz.

Ich bin dann auf eine Synology DiskStation DS1813+ umgesteigen und vermisse jetzt die Flexibilität. Dafür muss ich mich so gut wie um nichts mehr kümmern. Die DiskStation funktioniert einfach klasse...

Viele Grüße,

BlogYourEarth

aM-dan
Inventar

#25 erstellt: 01. Mrz 2014, 12:38

Hallo nochmal,

nachdem ich mir nun noch immer nicht genau sicher bin werde ich noch ein bisschen warten.
Einige HDD Hersteller wollen ja demnächst mit Platten bis zu 6 TB rauskommen.
Mal sehen wie die so werden und was alles passiert, noch ist ja etwas Platz auf meiner NAS und vielleicht wechsel ich dann auch nur die Platten aus und kaufe zusätzlich 2 oder 3 externe Platten fürs Backup.

ich danke trotzdem allen für die Beteiligung

stoske
Inventar

#26 erstellt: 01. Mrz 2014, 14:27

Auch ich habe meine DVD-Sammlung mal gerippt, aus den 2-3 GB pro Film
im uralten MP2-Format, werden rund 800 MB im modernen MP4-Format, ohne
das man einen Unterschied bemerken würde. Wenn du nach wie vor 2-3 GB
pro DVD brauchst, dann würde ich zuerst mal über die Art der Codierung
nachdenken, statt über Plattenplatz. Zum Einen schmeisst du die Originale
nach dem Codieren kaum weg, sodass sie als Backup nutzbar bleiben, zum
Anderen kannst du den Bedarf ganz einfach auf ein Viertel oder Fünftel
reduzieren.

Anstatt also pro DVD das zu haben:
- 4.7 GB auf DVD
+ 2-3 GB pro Rip
+ 2-3 GB im Backup

Ging es auch so:
- 4.7 GB auf DVD (Backup)
- ca. 800 MB pro Rip

(Just my 2 Cents)

ukle
Stammgast

#27 erstellt: 02. Mrz 2014, 09:38

Bitte nicht vergessen:
Eine Recodierung der schon heute oftmals vergleichsweise als mies empfundenen DVD-Qualität wird immer mit einem weiteren Qualitätsverlust verbunden sein, egal, wie effizient der neue Codec sein mag.
Außerdem verliert man bei o.g. Vorgehen ja die DVD-Menüs.

[Beitrag von ukle am 02. Mrz 2014, 09:38 bearbeitet]

stoske
Inventar

#28 erstellt: 02. Mrz 2014, 09:57

Wenn die Einstellungen der Codierung ausreichend sind, ergibt sich
kein sichtbarer Unterschied, auch nicht nach der fünften Wandlung.
Zwischen tatsächlich vorhandenen Unterschieden und denen die man
tatsächlich sehen kann, ist ein weites Feld. Eine Pauschal-Aussage,
dass es immer(!) sichtbare(!) Unterschiede gäbe ist falsch und sollte
sehr wohl vergessen werden.

ukle
Stammgast

#29 erstellt: 02. Mrz 2014, 10:32

Ich habe nicht von "immer sichtbar" gesprochen, sondern habe angemerkt, dass jede Recodierung mit einem verlustbehafteten Codec - und das sind nun einmal die heute verwendeten, modernen Codecs zu einem Qualitätsverlust bzgl. des Originals führt.
Das willst Du ja sicher nicht bestreiten.
Ob und inwieweit das dann sichtbar wird, hängt von den eigenen Qualitätsansprüchen und sicher von der Übertragungskette (wie z.B. Bildschirmgröße) ab. Messbar sind diese Unterschiede jedenfalls.

stoske
Inventar

#30 erstellt: 02. Mrz 2014, 10:49

Genau das meine ich doch, was usus ist, ist auch obsolet, wie
der Kommentar selbst. Das brauche ich mir eben nicht merken
und kann es sehr wohl vergessen. Denn das ist immer der Fall,
aber nicht immer relevant. Maßgeblich ist die Transparenz, egal
ob MP2/3/4 oder Jpeg. Dass es immer messbare Unterschiede
gibt, ändert nichts an der Sache, am Codec oder dem Vorgang.

ukle
Stammgast

#31 erstellt: 02. Mrz 2014, 12:32

... dann ist für Dich natürlich auch obsolet, wenn man die DVD-Menüs bei deiner Vorgehensweise verliert ...

Da kannst Du es drehen wie du willst, aber dieser Umstand und die Tatsache, dass eine einfache wie mehrfache Umwandlung nicht ohne Beeinträchtigung der Qualität sei, magst du ja gerne ignorieren.

Ich denke, es gehört wohl auch hier zum guten Ton, sachlich zu bleiben.

Ob mein Kommentar dir nun "obsolet" erscheint, sei dir unbenommen.

[Beitrag von ukle am 02. Mrz 2014, 12:37 bearbeitet]

aM-dan
Inventar

#32 erstellt: 03. Mrz 2014, 14:26

Hallo nochmal,

es ist ja alles nett und schön, dass ihr Tipps gebt wie man die Datenmenge verkleinern kann.
Dies ist aber für mich keine Option.
Meine DVD's zu archivieren ist das eine, da ich aber sogut wie keine DVD's mehr kaufe sondern zu 98% BluRays und auch sonst ausschliesslich HD Material habe kommt dies für mich nicht in Frage. Zudem geht es mir auch nicht rein um Filme oder Serien.
Ich möchte einfach sehr sehr viel Speicher, auch für die nächsten 2 - 3 Jahre haben für alles mögliche was man so abspeichert.
Ich mache auch viele Fotos, jedes Foto wird RAW und JPG abgelegt, da kommt auch schnell was zusammen.
Wie gesagt, ich habe jetzt netto knappe 9 TB und das ist deutlich zu wenig wenn ich an die Zukunft denke.

Am liebsten wären mir 20 TB aufwärts aber mal sehen was die Zeit so bringt

cbv
Inventar

#33 erstellt: 03. Mrz 2014, 18:52

ukle (Beitrag #27) schrieb:

Außerdem verliert man bei o.g. Vorgehen ja die DVD-Menüs.

Hmmm. Genau das ist der Grund, warum ich nach Möglichkeit alle DVDs bzw BRs sofort nach Kauf rippe. Mir gehen die Menus auf den Zeiger.

Insbesondere mir vor Genuß des Films per Implikation vorwerfen lassen zu müssen, dass ich ein Raubkopierer sei, empfinde ich als Frechheit.

Drexl
Inventar

#34 erstellt: 03. Mrz 2014, 19:41

ukle (Beitrag #27) schrieb:

Wer auf Nummer sicher gehen will, tut den Film einfach Remuxen. Dann werden die Originalspuren des Films genommen und alles überflüssige weggelassen (Sprachspuren und Untertitel, die man nicht braucht). Dann läßt man noch Trailer, Making-Ofs und sonstige Extras weg, falls die einen nicht interessieren. So kann man jede DVD schon mal um 10-40% ohne jeglichen Qualiätsverlust reduzieren.

Außerdem verliert man bei o.g. Vorgehen ja die DVD-Menüs.

Da bin ich ganz cvbs Meinung. Das Fehlen der DVD-Menüs betrachte ich nicht als Verlust, sondern als Gewinn.

aM-dan (Beitrag #32) schrieb:

es ist ja alles nett und schön, dass ihr Tipps gebt wie man die Datenmenge verkleinern kann.
Dies ist aber für mich keine Option.
Meine DVD's zu archivieren ist das eine, da ich aber sogut wie keine DVD's mehr kaufe sondern zu 98% BluRays und auch sonst ausschliesslich HD Material habe kommt dies für mich nicht in Frage.

Gerade bei Blu-rays erreicht man durch Rekodierung mit x264 hervorragende Kompressionsraten bei einer Bildqualität, die kaum vom Original zu unterscheiden ist. Raten von 50% sind hier möglich. Ich wandle zusätzlich noch jede Tonspur, die ich behalte (deutsch und englisch) von dts nach DD (640 kbit/s) um, verzichte auf die MVC-Erweiterung (da mich 3D nicht interessiert und auch in Zukunft nicht interessieren wird).
Und mit einer Halbierung des benötigten Speicherplatzes kommt man schon eine zeitlang über die Runden.

[Beitrag von Drexl am 03. Mrz 2014, 19:42 bearbeitet]

ukle
Stammgast

#35 erstellt: 04. Mrz 2014, 15:16

@cbv
Es gibt durchaus Tools, die Menüs von DVDs und BRs erhalten und diese "Warntafeln" dennoch herausfiltern.
Wer keine Menüs will, kann sie ja weglassen. Da will ich doch niemanden überzeugen. Ich weise doch nur darauf hin.
Bei einem normalen Spielfilm benötige ich sie auch nicht unbedingt, aber es gibt da z.B. Serienkompilationen, bei denen man sich echt schlecht orientieren kann, wenn das fehlt.

@Drexl
Klar kann man alles wegmuxen, wenn man es nicht haben will. Da gibt es auch sehr komfortable Lösungen, die ich auch bei Bedarf nutze.
Ich bezog mich bei meiner Aussage aber auf den technischen Qualitätsverlust, der bei einem Videostream z.B. MPEG2-Codiert in ein h.264-codiertes MP4 entsteht.

Jeder soll es machen, wie er es mag. Ein Patentrezept gibt es nicht, da Jeder andere Ansprüche hat, die er selber kennen muss. Dann kann er danach handeln muss.

Gruß
Uwe

[Beitrag von ukle am 04. Mrz 2014, 15:21 bearbeitet]

cbv
Inventar

#36 erstellt: 08. Mrz 2014, 18:12

ukle (Beitrag #35) schrieb:

Jeder wie er will, klar.

Bei einem normalen Spielfilm benötige ich sie auch nicht unbedingt, aber es gibt da z.B. Serienkompilationen, bei denen man sich echt schlecht orientieren kann, wenn das fehlt.

Pro Folge eine Datei rippen und gut ist.

Mas_Teringo
Inventar

#37 erstellt: 24. Mrz 2014, 22:56

Wie kann man eigentlich DVDs und blu-rays digitalisieren? ;-) Sorry, der musste raus.

RAW + JPG gleicher Auflösung halte ich übrigens für einen konzeptionellen Fehler. Hat mich aber auch lange Zeit gekostet, das nachzuvollziehen. Ich möchte aber nicht mehr zurück, jetzt spare in so viel Zeit - und etwas Plattenplatz.

Der wahre Platzkiller sind trotz 24MP-14bit RAWs nur Filme. Ich habe rund 1.000 CDs und die nehmen als FLAC nicht mal 1TB ein. Ich habe schon für Geld fotografiert und komme auf weniger Platz als bei der Musik. Und alle sonstigen Daten sind auch nicht größer inkl. Geschäftsdaten. Es sind also Film Daten, die den Platz rauben.

Daher würde in mir in Deinem Fall überlegen, die Systeme zu trennen, eines für Filme, eines für den Rest (oder entsprechend Deiner Nutzung anders gesplittet). Gedanke dahinter: Nur weil ich am Tag häufiger an Daten ran muss, müssen ja nicht dauernd 3-7 Festplatten voller Filme mitlaufen.

promocore
Inventar

#38 erstellt: 27. Mrz 2014, 00:19

aM-dan (Beitrag #32) schrieb:

Wenn es nicht auf Geschwindigkeit ankommt, könnte man 2 Unraidsysteme nehmen.
Der Plattenplatz liegt derzeit bei maximal 96TB bzw. mit 6TB Platten bei 144TB.
Bei den Datenmengen sollte wohl auch das Backup organisiert sein

Das zweite System würde ich als Backupsystem nutzen.
Nimmt man beide Systeme zusammen, ist dies auch sicherer als ein Raid5. Vorallem da sie physikalisch getrennt sind.
Damit Datenverlust entsteht, müssten auf jedem Server mindestens 2 Platten ausfallen, zudem auch noch mindestens einmal die gleiche.
Es können sogar noch viel mehr Platten ausfallen, solange es nicht die gleichen in beiden Servern sind.
Preislich kommt man mit 500 Euro auch hin.

Edit: Natürlich kann man hierfür auch ähnliche Systeme wie ZFS und weitere nehmen.

[Beitrag von promocore am 27. Mrz 2014, 00:54 bearbeitet]

cbv
Inventar

#39 erstellt: 01. Apr 2014, 15:51

promocore (Beitrag #38) schrieb:

Der Plattenplatz liegt derzeit bei maximal 96TB bzw. mit 6TB Platten bei 144TB. [...] Preislich kommt man mit 500 Euro auch hin.

Huh? Habe ich den letzten Preissturz bei Festplatten verschlafen?

promocore
Inventar

#40 erstellt: 01. Apr 2014, 16:27

cbv (Beitrag #39) schrieb:

promocore (Beitrag #38) schrieb:

Der Plattenplatz liegt derzeit bei maximal 96TB bzw. mit 6TB Platten bei 144TB. [...] Preislich kommt man mit 500 Euro auch hin.

Huh? Habe ich den letzten Preissturz bei Festplatten verschlafen?

TE hst die 500 Taler ohne Festplatte angegeben.
Aber schön wär es

sLashi
Stammgast

#41 erstellt: 02. Apr 2014, 10:43

@Am Dam: Meine Meinung dazu: finger weg von den consumer Boards ala Zotac, ASRock oder sonstiges!!!

Dann kannst du dir das auch gleich sparen und nen (zweites) fertig Nas kaufen - wenn du es richtig machen willst, kommst du um ein Board von Supermicro oder einem Intel Serverboard m.E. nicht herum.
Die Consumerboards haben zuviel unnützen Mist on Board, die zusätzlich Stromziehen und IRQs belegen und weitere Ressourcen belegen (z.B. irgendwelche pci-e lanes, die sonst derspeicheranbindung zur verfügung stehen etc. pp.)
Darüberhinaus sollte man immer im Hinterkopf haben, dass Consumerprodukte nicht für den 24h/7 Dienst ausgelegt sind - die Laufzeit ist bei einem Dauerbetrieb dadurch drastisch reduziert.

Gerade Supermicro hat klasse Boards mit SoC und 6+ SATA Anschlüssen auf mITX Format im Angebot. Derzeit steht auch ein neues in den Startlöchern mit 8+ SATA - allerdings fällt mir da gerade nicht die genaue Boardnummer ein.

16GB Ram sind m.E. viel zu viel - es sei denn, du willst noch paar VMs betreiben, hast größere SQL DBs für 50+ User...... unter normalen Umständen reichen 4 GB Arbeitsspeicher mehr als aus für ein "Fileserver" -- dann lieber weniger aber dafür ecc und dual channel.

Also ein Raid würde ich definitiv machen -- alleine um nachher nur ein Logisches Laufwerk zu haben - nicht nur der Sicehrheit wegen, sondern auch wegen dem Komfort (und m.M. halten dadurch die Festplatten länger....)
Ich selber fahre mit einem RAID 5 recht gut - genau das richtige Verhältnis zwischen Ausfallsicherheit , Geschwindigkeit und Nettospeicher, wobei RAID 0 eh kein Sinn macht (den Geschwindigkeitsvorteil macht dein GB Lan eh wieder weg) - Gefahr ist nur, dass ein RAID 5 und 6 Systeme sehr sehr Anfällig beim resync nach einem ausfall sind - dadurch könnten beim wiederherstellen durchaus weitere Platten ausfallen (gerade bei einer Produktionscharge eines Herrstellers ist das Risiko hoch - manch ein Sysadmin schwört drauf die Festplatten von so vielen Händlern wie möglich zu beziehen).

So meine kurzen Gedanken dazu .... vlt hilft es dir ja bei deiner Überlegung.

Achja -- Grundregel bei einem DIY NAS: Denke garnicht erst daran, ein Windows Server OS zu nehmen....;)

ukle
Stammgast

#42 erstellt: 02. Apr 2014, 11:27

sLashi (Beitrag #41) schrieb:

Achja -- Grundregel bei einem DIY NAS: Denke garnicht erst daran, ein Windows Server OS zu nehmen....;)

Warum das?

Deine persönliche Meinung oder gibt es allgemeine Gründe dafür?

Ich fahre mit einem Windows Homeserver 2011 für < 50€ für 10 Userlizenzen ausgesprochen komfortabel und zuverlässig mit meinem quasi Do It Yourself - NAS HP Proliant Microserver N54L.
Zusammen mit einem Drivepool-Addon für 19,95$

Stablebit Drivepool verwalte ich 16TB "am Stück" als großes Volumen und das läuft seit mehr als 2 Jahren problemlos und performant.

sLashi
Stammgast

#43 erstellt: 02. Apr 2014, 12:05

Beides

Prinzipiell sind die Windows Server super ausgereift - allerdings für meinen Geschmack sehr hardwarehungrig (erster aspekt) dazu funktionieren windows server 2012 nur mit einem ad wirklich ausgereift.

Homeserver war ein tolles spielzeug für mich (gerade der erste homeserver -- diese option auf den speicherpool war grandios!!! :D)
dadurch dass es im neuen homeserver nichtmehr vorhanden ist, hat für mich das softwareprodukt keinen einzigen vorteil mehr....

Im Wirkbetrieb würde ich, je nach Firma bzw. it-abteilung, windows empfehlen.

betreffend performanz: im vergleich zu was? ein low budget nas wird auf einem unix derivat wesentlich komfortabler und zuverlässiger laufen als auf windows ...es kommt immer drauf an, was wir mit was vergleichen

promocore
Inventar

#44 erstellt: 02. Apr 2014, 12:44

sLashi (Beitrag #41) schrieb:

Das glaub ich nicht.
Die meisten Bauteile sind eh alle gleich.
Die Intel Consumerboards wie das dh78rl sind auch extrem sparsam.
Allein die ganzen Atom Büchsen sind alle samt Consumerware und laufen in zahlreichen Server 24/7.
Am Ende ist es ähnlich wie bei den deutschen Autoherstellern. 70% beziehen diese alle von den gleichen Herstellern (z.B. Bosch).
Rechnet man Intel Serverboards gegen Intel Consumerboards und rechnet man mit der Stromersparnis von max. 5 Watt holt man den Mehrpreis auch nicht in 5-6 Jahren rein.
Viel wichtiger zum Stromsparen sind hier CPU und Treiber für das BS. Grad hier machen Serverboards manchmal Probleme, da diese nicht immer optimal unterstützt werden. Im Idealfall deaktiviert das BS alle unnützen Sachen, wo Windows gegenüber Linux weit vorne ist.
Grad das Consumer Desktopboard DH87RL wurde mit dem Core i3 in der CT auf 10 Watt gebracht. Leute im Forum schafften sogar mit einer Pico PSU 7 Watt Idle.
Für die meisten dürfte das wohl sparsam genug sein.

sLashi
Stammgast

#45 erstellt: 02. Apr 2014, 14:40