{"id":6017,"date":"2024-05-10T12:33:09","date_gmt":"2024-05-10T12:33:09","guid":{"rendered":"https:\/\/ultratendencyaca-urouz8wsum.live-website.com\/?p=6017"},"modified":"2024-05-14T08:40:17","modified_gmt":"2024-05-14T08:40:17","slug":"galore-speichereffizientes-llm-training-durch-gradient-low-rank-projection","status":"publish","type":"post","link":"https:\/\/ultratendency.academy\/de\/2024\/05\/10\/galore-speichereffizientes-llm-training-durch-gradient-low-rank-projection\/","title":{"rendered":"GaLore: Speichereffizientes LLM-Training durch Gradient Low-Rank Projection"},"content":{"rendered":"

Das Trainieren gro\u00dfer Sprachmodelle (Large Langugage Models = LLMs) erfordert erhebliche Mengen an Speicher und Rechenleistung. Um zum Beispiel ein LLaMA 7B-Modell von Grund auf zu trainieren, ben\u00f6tigt eine einzige Batchgr\u00f6\u00dfe mindestens 58 GB Speicher. Eine Methode, die diese Speicherprobleme entsch\u00e4rfen kann, ist die Low-rank Adaptation (LoRA). Bei diesem Ansatz werden jeder Schicht trainierte Low-Rank-Matrizen hinzugef\u00fcgt, wodurch die Anzahl der Parameter reduziert wird. Diese Methode kann jedoch die Parametersuche in Subspaces mit niedrigem Rang einschr\u00e4nken, die Trainingsdynamik ver\u00e4ndern und sogar einen Warmstart mit vollem Rang erforderlich machen, was m\u00f6glicherweise zu einer schlechteren Leistung im Vergleich zum Training mit Gewichten mit vollem Rang f\u00fchrt.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

GaLore: Gradient Low-Rank Projektion<\/h2>\n

Gradient Low-Rank Projection (GaLore) stellt eine Trainingsstrategie vor, die Lernen mit allen Parametern und mit gr\u00f6\u00dferer Speichereffizienz als herk\u00f6mmliche Low-Rank-Anpassungsmethoden, wie z.B. LoRA, erm\u00f6glicht. GaLore erreicht eine bis zu 65,5%ige Reduktion der Speichernutzung innerhalb der Optimierungszust\u00e4nde und bewahrt so die Effizienz und Leistung w\u00e4hrend des Pre-Trainings auf den Architekturen LLaMA 1B und 7B sowie w\u00e4hrend der Feinabstimmung der GLUE-Aufgaben auf RoBERTa. Bemerkenswert ist, dass 8-Bit GaLore den Optimierungsspeicher um 82,5% und den gesamten Trainingsspeicher um 63,3% im Vergleich zum BF16-Standard reduziert. Insbesondere er\u00f6ffnet es die noch nie dagewesene M\u00f6glichkeit, ein 7B-Modell auf Consumer-GPUs wie der NVIDIA RTX 4090 vorzutrainieren, ohne dass ein paralleles Checkpointing des Modells oder Offloading-Strategien erforderlich sind.<\/p>\n<\/div>

<\/span><\/div>

Speicherverbrauch des Pre-Trainings eines LLaMA 7B-Modells mit einer Token-Batch-Gr\u00f6\u00dfe von 256 auf einem einzigen Ger\u00e4t, ohne Aktivierungs-Checkpointing und Speicher-Offloading.<\/em><\/p>\n<\/div>

GaLore erm\u00f6glicht das Lernen mit vollen Parametern, um die von LoRA aufgezeigten Einschr\u00e4nkungen zu \u00fcberwinden, und ist dabei deutlich speichereffizienter als herk\u00f6mmliche Low-Rank-Anpassungsmethoden. Die Schl\u00fcsselidee besteht darin, die sich langsam ver\u00e4ndernde Low-Rank-Struktur des Gradienten G der Gewichtsmatrix W zu nutzen, anstatt zu versuchen, die Gewichtsmatrix selbst als Low-Rank zu approximieren.<\/p>\n<\/div>

<\/span><\/div>

Lernen durch niedrigrangige Subspaces \u0394WT1und \u0394WT2 mit GaLore<\/em><\/p>\n<\/div>

Formel f\u00fcr die Aktualisierung der Gewichte: <\/strong>Das Gewicht W_t bei einem bestimmten Trainingsschritt t wird gem\u00e4\u00df der Formel aktualisiert:<\/p>\n<\/div>

<\/span><\/div>

Subspace Switching:<\/strong> Das Modell wechselt w\u00e4hrend des Trainings dynamisch zwischen Subspaces mit niedrigem Rang. Die Auswahl eines Subspaces basiert auf einem Zeitplan, der durch \"\" bestimmt wird, wobei T_i die Anzahl der Aktualisierungen innerhalb des i-ten Subspaces angibt.<\/p>\n

Der Weg von \"\" durch mehrere Subspaces mit niedrigem Rang ist in einer Abbildung dargestellt. Dieser Ansatz, der es dem Modell erlaubt, mehrere
\nSubspaces mit niedrigem Rang zu durchlaufen ist entscheidend f\u00fcr ein erfolgreiches Vortraining von LLMs. Diese Technik ist ein ausgekl\u00fcgelter Ansatz zur Optimierung des Trainings gro\u00dfer neuronaler Netzwerke. Durch sorgf\u00e4ltiges Navigieren durch verschiedene Subspaces kann das Modell den Gewichtsraum effizienter erkunden, was zu einer besseren Generalisierung und Leistung f\u00fchren kann. Diese Methode tr\u00e4gt der Komplexit\u00e4t des Gewichtsraums von LLMs Rechnung und nutzt mathematische Werkzeuge wie SVD, um das Training effektiver und effizienter zu gestalten.<\/p>\n<\/div>

<\/span><\/div>

Vergleich mit Low-Rank-Algorithmen beim Vortraining verschiedener Gr\u00f6\u00dfen von LLaMA-Modellen auf dem C4-Datensatz. <\/em>Die Validierungs-Perplexit\u00e4t wird zusammen mit einer Speichersch\u00e4tzung f\u00fcr die Gesamtheit der Parameter und Optimierer <\/em>Zust\u00e4nde basierend auf dem BF16-Format.<\/em><\/p>\n<\/div>

Diese Tabelle zeigt die Speichereffizienz von GaLore anhand experimenteller Ergebnisse. Der Versuchsaufbau ist wie folgt skizziert:<\/p>\n