Mainboards, BIOS, Prozessoren, RAM 27.255 Themen, 123.517 Beiträge

Verfolgung starten Optionen

Wie schnell ist RAM bei kleinen Dateien?

Sovebämse / 19 Antworten / Flachansicht Nickles

Hallo zusammen

Da ja das Problem auch heute noch besteht, dass beim Lesen / Zugriff auf viele kleinere Dateien (wie z. B. beim Windows-Start etc.) selbst bei den SSDs noch eine riesige Diskrepanz herrscht zum Lesen grosser Dateien (Leistung im unteren einstelligen Prozentbereich, konkret so um 50 MB/s), wollte ich mal fragen, ob es diese krasse Diskrepanz eigentlich auch beim RAM gibt.

Zudem die Frage: Wird es in Zukunft mal möglich sein, das Lesen kleiner Dateien fast so schnell hinzukriegen wie das Lesen grosser Dateien? Was bräuchte es dazu noch und wie weit ist man schon auf dem Weg? Nehme an, da reden wir dan schon über den Quantencomputer bzw. diese Ebene der Technik.

Gruss und Dank
Thomas

bei Antwort benachrichtigen
Das wird nie schneller werden. Der Zeitaufwand wird für die Adressierung benötigt. pappnasen
Und weshalb kann die Adressierung nicht schneller werden? Sovebämse
Hi! Das ist eine recht komplexe Sache. Versuchen wir es mal mir meinem Wissen zu betrachten das ist allerdings auch nicht ... Andreas42
Die Prozesseorgeschwindigkeit hat damit auch zu tun. pappnasen
Uff... ...ich stelle mir gerade einen Quantenrechner in der Bude vor. Das Hochhaus daneben dient dem Kühlen - Irgendwann ... fakiauso
Das ist dann mal eine echte Innovation. Weshalb soll der Mensch dem Rechenknecht sagen was er machen soll? Der soll ... hatterchen1
Die Diskussion bewegt sich vermutlich eher im ideellen Bereich. Zumindest ist die grosse Diskrepanz zwischen Lesen und ... fakiauso
Also ich merke nicht einmal den Unterschied zwischen SSD und NVMe mit quasi fünffacher Geschwindigkeit. Und beim RAM ... hatterchen1
NVMe ist eine Schnittstelle zur Anbindung von SSDs, als für diesen Einsatzweck besser geeignete Alternative zu SATA/AHCI. ... Borlander
Der muss aber auch wesentlich mehr lesen und schreiben als Du um das gleiche Ergebnis zu erzielen. Borlander
So ein paar Ergänzende Gedanken: U.U. müssen wir auch erst noch das Verzeichnis finden innerhalb eines Verzeichnisbaums. ... Borlander
Nun, die Erklärungen zeigen, warum diese Prozesse bei mehreren, kleineren Dateien so lange dauern. Aber es sagt noch ... Sovebämse
... die sind unabhängig von der Dateigröße. Bei großen Dateien ist deren Anteil nur vernachlässigbar klein. Siehe ... Borlander
Andreas42 Sovebämse „Nun, die Erklärungen zeigen, warum diese Prozesse bei mehreren, kleineren Dateien so lange dauern. Aber es sagt noch ...“
Optionen

Hi!

Ich habe noch einen anderen Erklärungsansatz, der darauf hinaus läuft, dass es einfach nicht geht.

Der Verwaltungsanteil ist bei großen und kleinen Datei immer der selbe. Und zwar reden wir jetzt von dem Vorgang, bis das Lesen der Daten beginnen kann. Auch das Lesen der eigentlichen Daten ist gleich schnell, weil grundsätzlich die selbe Technik im Hintergrund zum Einsatz kommt.

Klar ist dann, dass kurze Daten generell schneller gelesen werden als große: mehr Daten zu lesen braucht mehr Zeit.

Das bedeutet jetzt einfach, dass kleine Dateien immer schneller geladen werden als große.

Warum passt das nicht zu den Messwerten?

Weil diese die Zeit für die gesamte Dateioperation nehmen und mit der Größe der Datei verrechnen. Das ignoriert dann die durch die Verwaltung mitgelesene Datenmenge.

Man könnte jetzt einfach eine Messung vorsehen, die nur die Zeitdauer für das reine Lesen der Daten misst. Macht man aber nicht, weil sich dann jeder fragen würde, warum das Lesen von kleinen Dateien so lange dauert, obwohl die Lesegeschwindigkeit nicht eingebrochen, sondern sogar größer ist.

Da der Verwaltungsaufwand für alle Dateien gleich ist, kann er auch nicht für kleine Dateien verkürzt werden.

Die einzige Lösung wäre banal: kleine Dateien auf einen besonders schnellen Datenträger zu schreiben. Was aber unsinnig ist, da die großen Dateien natürlich auch von diesem schneller geladen werden.

Bis dann

Andreas

Bitte bei der Ueberweisung im Betreff "Loeschen fuer Kohle" und den Beitrag angeben. Knausern hilft nicht!
bei Antwort benachrichtigen
Ja, Andreas. Was du schreibst, leuchtet mir ein bzw. habe ich eigentlich auch vorher schon gewusst. Der Verwaltungsaufwand ... Sovebämse
Hi! Da kommt man dann mehr in den Bereich der Software Entwicklung. Dazu muss man sich dann die Frage stellen, braucht man ... Andreas42
Ja, das ist eine berechtigte Frage bzw. wäre der richtige Ansatz, alles in grosse Dateien zu schreiben. Jedoch: braucht es ... Sovebämse
Dann hast Du statt einer kompletten Partition plötzlich eine große Container-Datei mit einem eigenen Dateisystem: Damit ... Borlander
Ziemlich sicher nicht. Und vor allem nicht in Form eines universellen Dateisystems. Für Anwendungen wie den Start eines ... Borlander