Tausende von Resends

[pcandiwi]

Stimmt genau. Datenfluß kurz bei 60-70 dann Abfall auf min. 20.
Da ich denn Rechner aber nur zum Archivieren der TS.Streams und TrueimageFiles benütze, reicht mir das als billiger Fileserver (Preis für 300GB je 100€).

Heizungskeller mit Gasheizung- daher kühl genug.

Als System läuft das Disketten NASlite daher keine Konfigurationsmöglichkeiten.

[Jeppdot]

Hallo,

Frage:
Was soll ihm Gigabit nützen, wenn er auf der Gegenseite, seinem Arbeits PC, nicht genau die gleiche oder zumindest eine ähnlich performante Plattenarchitektur hat ?

Genau darum habe ich auch geschrieben:

Allerding solltest du im Terabytebereich ernsthaft über Gigabit-Ethernet nachdenken

Also Gigabit-Ethernet und nicht nur Gigabitnetzwerkkarte. Das Netzwerk hat immer mindestens 2 Komponenten.

Geschwindigkeitsrekorde hin oder her, will ich gar nicht aufstellen. Trotzdem merke ich jedenfalls ganz deutlich den Zeitunterschied zwischen Fastethernet und Gigabit-Ethernet wenn ich eine > Gigabyte grosse Datei übers Netz von einem zum nächsten Rechner kopiere.

Bei mir wäre das Konstrukt folgendermassen:
Dbox streamt auf NFS-Server-Windows-PC. Da wird der TS von mir entsprechend weiterverarbeitet, und landet dann per NFS wieder als fertige Datei auf dem Fileserver. Wenn ich dann mehre Filme von ARD und Konsorten dann auf das Datenfass schiebe, oder auch später wieder hole um doch mal eine DVD zu brennen, ist der Unterschied Gigabit / Ethernet doch schon markant. Und wenn man dann in Terabytegrössen denkt liegt die eingesparte Zeit locker im Stundenbereich.

Samba würde ich für sowas 'eh nicht benutzen.

Sicher hast du recht wenn man das herausholen will, was Gigabit-Ethernet wirklich könnte muss ein bisschen mehr investieren. Aber ich glaube dieses Budget haben die wenigsten für ihr Hobby zur Verfügung.

Eigentlich schade

[petb]

Stimmt genau. Datenfluß kurz bei 60-70 dann Abfall auf min. 20.
Da ich denn Rechner aber nur zum Archivieren der TS.Streams und TrueimageFiles benütze, reicht mir das als billiger Fileserver (Preis für 300GB je 100€).

Heizungskeller mit Gasheizung- daher kühl genug.

Als System läuft das Disketten NASlite daher keine Konfigurationsmöglichkeiten.

Haste Recht.
Und wie sind die Platten darin organisiert ?
Als ein großes Volume ?
Als Stripe ?
oder einfach quasi nebeneinander (JBOD) ?
Wie sieht es denn da aus wenn eine Platte faulty ist ?
Bei JBOD glaube ich gehen alle anderen noch, bei Stripe ist der Verbund definitiv kaputt und die Daten sind erstmal weg.
Raid5 wirds bestimmt nicht sein, denn dann hättest du ja die Kapazität einer Platte weniger.
Bye
PetB

[petb]

Hallo,
Also Gigabit-Ethernet und nicht nur Gigabitnetzwerkkarte. Das Netzwerk hat immer mindestens 2 Komponenten.
Geschwindigkeitsrekorde hin oder her, will ich gar nicht aufstellen. Trotzdem merke ich jedenfalls ganz deutlich den Zeitunterschied zwischen Fastethernet und Gigabit-Ethernet wenn ich eine > Gigabyte grosse Datei übers Netz von einem zum nächsten Rechner kopiere.

Hmmm, ok, es wird wohl "overall" ein wenig schneller sein als 100MBit, je nach Platte, im Innenbereich der Platte machts dann aber nicht mehr viel. Abgesehen davon, das wenn es keine Subnetze gibt, während eines Transfers über GBit auch auf dem Netzt so eng wird, das noch mehr Pausen entstehen. Da kann es dann schon problematisch werden, wenn die Boxen dann gerade aufnehmen.

Bei mir wäre das Konstrukt folgendermassen:
Dbox streamt auf NFS-Server-Windows-PC. Da wird der TS von mir entsprechend weiterverarbeitet, und landet dann per NFS wieder als fertige Datei auf dem Fileserver. Wenn ich dann mehre Filme von ARD und Konsorten dann auf das Datenfass schiebe, oder auch später wieder hole um doch mal eine DVD zu brennen, ist der Unterschied Gigabit / Ethernet doch schon markant. Und wenn man dann in Terabytegrössen denkt liegt die eingesparte Zeit locker im Stundenbereich.
Samba würde ich für sowas 'eh nicht benutzen.
Sicher hast du recht wenn man das herausholen will, was Gigabit-Ethernet wirklich könnte muss ein bisschen mehr investieren. Aber ich glaube dieses Budget haben die wenigsten für ihr Hobby zur Verfügung.
Eigentlich schade

Stimmt,
wenn man mehr rausholen will muss man mehr investieren.
Das war auch Teil meiner Schilderung.
Trotz Einsatz massiver Hardware ist es Geld bezogen nicht das beste Preis/Leistungsverhältnis.
Für das was ich mehr an Geld investiert habe, habe ich nicht äquivalent mehr Leistung als mit der billigen Lösung.
Es ist eben nur einen Tick besser.
Ich kann damit halt 6 Boxen bedienen und trotzdem noch mit dem WinPC Daten vom/auf den Server schaufeln.
Die Aufnahmen bleiben sauber. lediglich abspielen von hochratigen Streams geht dann nicht mehr so toll.
Aber normal bleiben bei mir die Daten eh auf dem Server und werden nach dem anschauen, bis auf wenige Ausnahmen, wieder gelöscht.

Aber wenn die Platte im PC eh nicht so schnell ist wie der Verbund im Server, dann würde ich gleich auf den Server streamen oder Direktaufnahme nnutzen.
Dann auch später gleich auf dem Server arbeiten und nicht erst die Daten auf die langsame PC Platte holen, zumal dann ja auch der Server das Dateihandling abnimmt und daher mehr Performance für die eigentliche Berechnung/Codieren, etc. vorhanden ist. (Vieleicht ist das in der Praxis nicht so viel, weis nicht so genau )

Wieviele Boxen habt ihr denn, die auf den Server gleichzeitig zugreifen ?
Und wie sieht denn da die Performance bei euch aus ?
Was geht und was geht nicht ?
Kann man bei der Lösung nicht noch eine Datei ala udrec drauf bringen und starten ?


Bye
PetB

[Jeppdot]

Ich hab für mich persönlich mal einen kleinen "Test" zusammengestellt.

Alle Befehle werden per Telnet am Linux-PC eingegeben, vernachlässigt wird dabei der immer vorhandene Netzwerktraffic, sowie der laufende Realtimevirenscanner auf der Windowsmaschine.

1.
Befehl:
time cat /proc/kcore > /mnt/movies/1000MBfile
Ziel:
eine ~ 1GB große Datei, genauer 1.069.543.424 Bytes, auf der gemounteten SFU-Freigabe /mnt/movies erstellen und die Zeit dafür messen
Ergebnis:
1:25.90elapsed

2.
Befehl:
time cp /mnt/movies/1000MBfile /home/1000MBfile
Ziel:
die Datei von der SFU-Freigabe nach /home kopieren und die Zeit dafür messen
Ergebnis:
0:38.02elapsed (hierbei war die CPU-Last mal nennenswert höher = 37% sonst < 7%)

3.
Befehl:
time cp /home/1000MBfile /mnt/movies/1000MBFILE
Ziel:
die Datei von /home nach mount/movies kopieren (nur nochmal zur Sicherheit)und die Zeit dafür messen
Ergebnis:
1:28.28elapsed

4.
Das gleiche nochmals während zwei Boxen jeweils gleichzeitig ARD und ZDF auf SFU streamen.
(OK "Brisant" und "Hallo Deutschland" haben sicher nicht DIE Datenraten)
Ergebnis:
1:40.51elapsed

Beide Aufnahmen sind laut PX fehlerfrei.

Leider hab ich derzeit keinen Rechner mit 100Mbit-Nic zur Verfügung um damit zu testen.

Beide Maschinen sind mit Gigabit-Nics (Broadcom Onboard/Windows) (INTEL GT1000 PCI/LINUX) über einen Netgear-Switch GS608 verbunden. Daran hängen auch die beiden Boxen. Nicht zu vernachlässigen sind auch die NICS statt der INTEL GT 1000 hatte ich vorher eine D-LINK drin, die brachte nicht mal die Hälfte, und war genauso teuer.

Selbstverständlich sind diese PC der 2 GHz-Klasse und 1GB RAM nicht mit einem PC der PIII-Klasse zu vergleichen. Ich denke aber das 1 Gigabyte übers Netzwerk in 1 - 2 Minuten kopiert schon ein Argument für Gigabit-Ethernet ist. Zumal die SOHO-Produkte ja mittlerweile erschwinglich sind.

Ich trau mich gar nicht die Tests mit den Rechnern im Netzwerk in der Firma zu machen. Danach blase ich wohl mindestens drei Wochen Trübsal
Da ist aber auch an Netzwerkkomponenten und Servern, Hardware in einer ganz anderen Liga verbaut. Nur sind die Geräte nicht mehr wirklich Hobby- und Wohnzimmertauglich. (Es sei denn man ist taub und absolut wärmeunempfindlich oder man leistet sich noch die Kleinigkeit der passenden Klimaanlagen)

Nur das wir nicht aneinander vorbeireden: Ich habe noch keinen NASLite-NFS-Terabyte-Server, ich plane nur einen, schön leise und viel Plattenplatz.
Von Datensicherung/sicherheit fangen wir gar nicht erst an dann wird es richtig preiswert.*

*Ja ich weiss, es kommt gleich: "Dann lösch sie doch gleich"

[petb]

Nur das wir nicht aneinander vorbeireden: Ich habe noch keinen NASLite-NFS-Terabyte-Server, ich plane nur einen, schön leise und viel Plattenplatz.
Von Datensicherung/sicherheit fangen wir gar nicht erst an dann wird es richtig preiswert.*

*Ja ich weiss, es kommt gleich: "Dann lösch sie doch gleich"

GRINS, neeee, habe ja auch 2 Platten ohne Sicherheit drinnen.
Nur die wichtigsten Sachen/serien kommen auf das Raid5.
Wenn mal ein paar Filme fehlen ist das nicht wichtig.
Aber wenn auf einmal 15 Folgen einer Serie fehlen die ich noch nicht gesehen habe, dann würde es ja ewig dauern die als Wiederholung irgendwann wieder zu finden.

Zu den Gigabit Sachen.
Ich habe noch die Erfahrung gemacht das wenn ich einen Gigabit Switch mit wenig bis kein Puferspeicher nutzte, dieser über Gigabit vom Server gefüllt wird, es öfter Probleme mit mehreren Boxen macht, da vermutlich dauernd und viel zu schnell Daten an den Switch gehen und daher größere Pausen im Datenstrom zu den einzelnen Boxen auftreten weil die ja nicht so schnell abnehmen können.
Lass ich einen 100Mbit Adapte auf den Switch los, klemmt es nicht mehr so stark, vermutlich weil die Daten dann langsamer zum Switch kommen.

Aber wie du auch sagtest ist das alles immer eine Sache der Verträglichkeiten unter den ganzen Komponenten.

Bye
PetB
P.S.
In einer der letzten CT´s war eine humorvolle Darstellung von Backupstrategieen mit Fallbeispielen.
Das war echt witzig, was da alles so schief laufen kann.

[Jeppdot]

P.S.
In einer der letzten CT´s war eine humorvolle Darstellung von Backupstrategieen mit Fallbeispielen.
Das war echt witzig, was da alles so schief laufen kann.

Ich hab den Artikel überflogen, aber noch nicht gelesen. Aber nach dem Hinweis werde ich mich gleich mal damit befassen.

In der aktuellen CT befasst man sich übrigens mit RAID-Konzepten.
Den muss ich auch noch lesen.

Dann muss ich halt bei dem Wetter mal den Balkon einweihen und lesen.