{"id":7330,"date":"2024-10-30T23:53:39","date_gmt":"2024-10-30T23:53:39","guid":{"rendered":"https:\/\/ultratendencyaca-urouz8wsum.live-website.com\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/"},"modified":"2024-10-30T23:58:44","modified_gmt":"2024-10-30T23:58:44","slug":"lora-low-rank-anpassung-grosser-sprachmodelle","status":"publish","type":"post","link":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/","title":{"rendered":"LoRA: Low-Rank-Anpassung gro\u00dfer Sprachmodelle"},"content":{"rendered":"

In der sich st\u00e4ndig weiterentwickelnden Landschaft der k\u00fcnstlichen Intelligenz und des maschinellen Lernens ist man st\u00e4ndig auf der Suche nach effizienteren und effektiveren Methoden zur Modellabstimmung. Ein faszinierender Ansatz, der an Aufmerksamkeit gewinnt, ist LoRA, kurz f\u00fcr Low-Rank Adaptation. LoRA bietet eine vielversprechende L\u00f6sung zur Verbesserung der Leistung von Modellen, insbesondere in ressourcenbeschr\u00e4nkten Umgebungen oder beim Umgang mit gro\u00dfen Datens\u00e4tzen.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Der Kern der erw\u00e4hnten LoRA-Methode ist die Low-Rank-Zerlegung. W\u00f6rtlich bedeutet dies, dass gro\u00dfdimensionale Matrixoperationen in niedrigere Dimensionen zerlegt werden. Betrachten wir die Operation Self-attention. Bei Self-Attention m\u00fcssen wir Q, K und V mithilfe von Matrixoperationen konstruieren. Die Matrizen W, die zur Erstellung von Q, K und V verwendet werden, sind sehr hochdimensional. Dies ist aufgrund der gro\u00dfen Dimensionalit\u00e4t der Eingabe unvermeidlich. Die Idee hier ist, diese hochdimensionalen Matrizen in niedrigere Dimensionen zu zerlegen.<\/p>\n<\/div>

<\/a><\/span><\/div>

Das linke Blau stellt die urspr\u00fcngliche hochdimensionale Matrix dar. Sie hat die Dimensionen dd, wobei d die Dimensionalit\u00e4t der eingegebenen Merkmale ist. Die rechte orangefarbene Matrix hingegen steht f\u00fcr die Low-Rank Decomposed Matrix. Sie besteht aus zwei Matrizen, A und B, mit den Dimensionen dr bzw. r*d. Wenn r viel kleiner ist als d (z.B. 1 oder 2), gibt es nur sehr wenige Operationen in der orangefarbenen Matrix. In LoRA sind die blauen Parameter die vortrainierten Gewichte, sie bleiben also fest, w\u00e4hrend nur die orangefarbenen Parameter hinzugef\u00fcgt und f\u00fcr die nachfolgende Aufgabe trainiert werden.<\/p>\n<\/div>

Empirische Experimente<\/strong><\/h1>\n<\/div>
<\/span><\/div>

Die obige Abbildung vergleicht die GLUE Benchmark-Leistung von RoBERTa, DeBERTa mit Fine-Tuning (FT) und anderen PEFT-Methoden (BitFit, Adpt) mit LoRA. Es ist faszinierend festzustellen, dass LoRA im Vergleich zu anderen PEFT-Methoden mit weniger Parametern eine bessere Leistung erzielt. Noch faszinierender ist, dass LoRA in einigen F\u00e4llen die traditionellen Fine-Tuning-Methoden \u00fcbertrifft. Fine-Tuning ist in der Gemeinschaft des maschinellen Lernens seit langem ein fester Bestandteil, um vortrainierte Modelle an spezifische nachgelagerte Aufgaben anzupassen. Es erfordert jedoch oft umfangreiche Rechenressourcen und kann zu einer \u00dcberanpassung f\u00fchren, insbesondere wenn es sich um gro\u00dfe Modelle und begrenzte Datens\u00e4tze handelt. Im Gegensatz dazu verfolgt LoRA einen anderen Ansatz, indem es die Low-Rank-Zerlegung zur Optimierung des Abstimmungsprozesses einsetzt. Durch die Zerlegung hochdimensionaler Matrizen in niedrigere Dimensionen reduziert LoRA effektiv den Rechenaufwand, w\u00e4hrend die Modellleistung erhalten bleibt oder sogar verbessert wird.<\/p>\n<\/div>

Pro und Kontra<\/strong><\/h1>\n

Trotz seiner St\u00e4rken hat LoRA eine Reihe von Vor- und Nachteilen. Zun\u00e4chst werden in dem LoRA-Papier drei Vorteile genannt. Der erste Vorteil ist die geringere Nutzung von Arbeitsspeicher und Speicherplatz. Dieser Aspekt wird sofort deutlich, wenn Sie die LoRA-Methode verstehen. LoRA trainiert nicht auf den vorhandenen vortrainierten Parametern, so dass diese Parameter nicht im Optimierer gespeichert werden m\u00fcssen. Je nach Dimensionalit\u00e4t, die durch Low-Rank Decomposition erreicht wird, k\u00f6nnen so etwa zwei Drittel der VRAM-Nutzung eingespart werden. Dar\u00fcber hinaus kann auch die Gr\u00f6\u00dfe der Pr\u00fcfpunkte erheblich reduziert werden. Der zweite Vorteil sind die geringeren Inferenzkosten. Das liegt daran, dass LoRA f\u00fcr jede Aufgabe separate Parameter hat und die Berechnungen entsprechend der Aufgabe umschaltet. Der dritte Vorteil ist die geringere Trainingszeit. Basierend auf dem GPT3 175B Modell ist es Berichten zufolge 25% schneller. Das liegt daran, dass f\u00fcr die meisten vortrainierten Parameter keine Gradienten berechnet werden m\u00fcssen. Auf der anderen Seite weist das LoRA-Papier auch auf Einschr\u00e4nkungen hin. Eine bemerkenswerte Einschr\u00e4nkung ist die Unf\u00e4higkeit, verschiedene Aufgaben zu mischen und Stapel zu bilden. Dies ist auf die Methode zur\u00fcckzuf\u00fchren, f\u00fcr jede Aufgabe unterschiedliche LoRA-Parameter zu verwenden. Mit anderen Worten: F\u00fcr jede Aufgabe m\u00fcssen separate Datens\u00e4tze zusammengestellt werden, was separate Feinabstimmungsprozesse erfordert.<\/p>\n<\/div>

Fazit<\/strong><\/h1>\n

Auf der Suche nach effizienteren und effektiveren Techniken zur Modellanpassung erweist sich LoRA als vielversprechender Ansatz. Durch die Nutzung lokalisierter Repr\u00e4sentationen und gezielter Parameteraktualisierungen er\u00f6ffnet LoRA neue Ebenen der Effizienz und Leistung bei der Modellanpassung. Ob in Forschungslabors, in der Industrie oder bei allt\u00e4glichen Anwendungen, die Prinzipien von LoRA bieten wertvolle Einblicke in die Zukunft der Optimierung des maschinellen Lernens. Im Wesentlichen stellt LoRA einen Paradigmenwechsel in der Art und Weise dar, wie wir an die Modellanpassung herangehen, wobei Effizienz, Anpassungsf\u00e4higkeit und Leistung im Vordergrund stehen. Da sich der Bereich des maschinellen Lernens st\u00e4ndig weiterentwickelt, ebnen Innovationen wie LoRA den Weg f\u00fcr intelligentere, ressourceneffizientere und wirkungsvollere KI-Systeme. <\/p>\n

Referenz: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS<\/a><\/em><\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/div><\/div><\/p>\n","protected":false},"excerpt":{"rendered":"","protected":false},"author":3,"featured_media":7328,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[43],"tags":[],"class_list":["post-7330","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai"],"yoast_head":"\nLoRA: Low-Rank-Anpassung gro\u00dfer Sprachmodelle - Ultra Tendency Academy<\/title>\n<meta name=\"description\" content=\"LoRA optimiert die Modellabstimmung in der KI, indem es die Rechenkosten und den Speicherbedarf reduziert und so die Effizienz und Leistung insbesondere bei gro\u00dfen Datens\u00e4tzen verbessert.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"LoRA: Low-Rank-Anpassung gro\u00dfer Sprachmodelle - Ultra Tendency Academy\" \/>\n<meta property=\"og:description\" content=\"LoRA optimiert die Modellabstimmung in der KI, indem es die Rechenkosten und den Speicherbedarf reduziert und so die Effizienz und Leistung insbesondere bei gro\u00dfen Datens\u00e4tzen verbessert.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/\" \/>\n<meta property=\"og:site_name\" content=\"Ultra Tendency Academy\" \/>\n<meta property=\"article:published_time\" content=\"2024-10-30T23:53:39+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-10-30T23:58:44+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/10\/LoRA.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"750\" \/>\n\t<meta property=\"og:image:height\" content=\"500\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Sally Bo Hatter\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Sally Bo Hatter\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"12\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/\"},\"author\":{\"name\":\"Sally Bo Hatter\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/#\\\/schema\\\/person\\\/b417acb6e3e5e24ff1b0c5941e419ea9\"},\"headline\":\"LoRA: Low-Rank-Anpassung gro\u00dfer Sprachmodelle\",\"datePublished\":\"2024-10-30T23:53:39+00:00\",\"dateModified\":\"2024-10-30T23:58:44+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/\"},\"wordCount\":2314,\"commentCount\":0,\"image\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/ultratendency.academy\\\/wp-content\\\/uploads\\\/2024\\\/10\\\/LoRA.jpg\",\"articleSection\":[\"AI\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/\",\"url\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/\",\"name\":\"LoRA: Low-Rank-Anpassung gro\u00dfer Sprachmodelle - Ultra Tendency Academy\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/ultratendency.academy\\\/wp-content\\\/uploads\\\/2024\\\/10\\\/LoRA.jpg\",\"datePublished\":\"2024-10-30T23:53:39+00:00\",\"dateModified\":\"2024-10-30T23:58:44+00:00\",\"author\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/#\\\/schema\\\/person\\\/b417acb6e3e5e24ff1b0c5941e419ea9\"},\"description\":\"LoRA optimiert die Modellabstimmung in der KI, indem es die Rechenkosten und den Speicherbedarf reduziert und so die Effizienz und Leistung insbesondere bei gro\u00dfen Datens\u00e4tzen verbessert.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/#primaryimage\",\"url\":\"https:\\\/\\\/ultratendency.academy\\\/wp-content\\\/uploads\\\/2024\\\/10\\\/LoRA.jpg\",\"contentUrl\":\"https:\\\/\\\/ultratendency.academy\\\/wp-content\\\/uploads\\\/2024\\\/10\\\/LoRA.jpg\",\"width\":750,\"height\":500},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/10\\\/30\\\/lora-low-rank-anpassung-grosser-sprachmodelle\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Startseite\",\"item\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"LoRA: Low-Rank-Anpassung gro\u00dfer Sprachmodelle\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/#website\",\"url\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/\",\"name\":\"Ultra Tendency Academy\",\"description\":\"News & Expertentipps aus der IT-Branche\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/#\\\/schema\\\/person\\\/b417acb6e3e5e24ff1b0c5941e419ea9\",\"name\":\"Sally Bo Hatter\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/6af8a92f6ae6021d8e0786d04c66cacfb1c012d43877d0715f99e0fb5a379d7a?s=96&d=mm&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/6af8a92f6ae6021d8e0786d04c66cacfb1c012d43877d0715f99e0fb5a379d7a?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/6af8a92f6ae6021d8e0786d04c66cacfb1c012d43877d0715f99e0fb5a379d7a?s=96&d=mm&r=g\",\"caption\":\"Sally Bo Hatter\"},\"url\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/author\\\/sallybohattar\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"LoRA: Low-Rank-Anpassung gro\u00dfer Sprachmodelle - Ultra Tendency Academy","description":"LoRA optimiert die Modellabstimmung in der KI, indem es die Rechenkosten und den Speicherbedarf reduziert und so die Effizienz und Leistung insbesondere bei gro\u00dfen Datens\u00e4tzen verbessert.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/","og_locale":"de_DE","og_type":"article","og_title":"LoRA: Low-Rank-Anpassung gro\u00dfer Sprachmodelle - Ultra Tendency Academy","og_description":"LoRA optimiert die Modellabstimmung in der KI, indem es die Rechenkosten und den Speicherbedarf reduziert und so die Effizienz und Leistung insbesondere bei gro\u00dfen Datens\u00e4tzen verbessert.","og_url":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/","og_site_name":"Ultra Tendency Academy","article_published_time":"2024-10-30T23:53:39+00:00","article_modified_time":"2024-10-30T23:58:44+00:00","og_image":[{"width":750,"height":500,"url":"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/10\/LoRA.jpg","type":"image\/jpeg"}],"author":"Sally Bo Hatter","twitter_card":"summary_large_image","twitter_misc":{"Verfasst von":"Sally Bo Hatter","Gesch\u00e4tzte Lesezeit":"12\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/#article","isPartOf":{"@id":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/"},"author":{"name":"Sally Bo Hatter","@id":"https:\/\/ultratendency.academy\/de\/#\/schema\/person\/b417acb6e3e5e24ff1b0c5941e419ea9"},"headline":"LoRA: Low-Rank-Anpassung gro\u00dfer Sprachmodelle","datePublished":"2024-10-30T23:53:39+00:00","dateModified":"2024-10-30T23:58:44+00:00","mainEntityOfPage":{"@id":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/"},"wordCount":2314,"commentCount":0,"image":{"@id":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/#primaryimage"},"thumbnailUrl":"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/10\/LoRA.jpg","articleSection":["AI"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/","url":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/","name":"LoRA: Low-Rank-Anpassung gro\u00dfer Sprachmodelle - Ultra Tendency Academy","isPartOf":{"@id":"https:\/\/ultratendency.academy\/de\/#website"},"primaryImageOfPage":{"@id":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/#primaryimage"},"image":{"@id":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/#primaryimage"},"thumbnailUrl":"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/10\/LoRA.jpg","datePublished":"2024-10-30T23:53:39+00:00","dateModified":"2024-10-30T23:58:44+00:00","author":{"@id":"https:\/\/ultratendency.academy\/de\/#\/schema\/person\/b417acb6e3e5e24ff1b0c5941e419ea9"},"description":"LoRA optimiert die Modellabstimmung in der KI, indem es die Rechenkosten und den Speicherbedarf reduziert und so die Effizienz und Leistung insbesondere bei gro\u00dfen Datens\u00e4tzen verbessert.","breadcrumb":{"@id":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/#primaryimage","url":"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/10\/LoRA.jpg","contentUrl":"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/10\/LoRA.jpg","width":750,"height":500},{"@type":"BreadcrumbList","@id":"https:\/\/ultratendency.academy\/de\/2024\/10\/30\/lora-low-rank-anpassung-grosser-sprachmodelle\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Startseite","item":"https:\/\/ultratendency.academy\/de\/"},{"@type":"ListItem","position":2,"name":"LoRA: Low-Rank-Anpassung gro\u00dfer Sprachmodelle"}]},{"@type":"WebSite","@id":"https:\/\/ultratendency.academy\/de\/#website","url":"https:\/\/ultratendency.academy\/de\/","name":"Ultra Tendency Academy","description":"News & Expertentipps aus der IT-Branche","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/ultratendency.academy\/de\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Person","@id":"https:\/\/ultratendency.academy\/de\/#\/schema\/person\/b417acb6e3e5e24ff1b0c5941e419ea9","name":"Sally Bo Hatter","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/secure.gravatar.com\/avatar\/6af8a92f6ae6021d8e0786d04c66cacfb1c012d43877d0715f99e0fb5a379d7a?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/6af8a92f6ae6021d8e0786d04c66cacfb1c012d43877d0715f99e0fb5a379d7a?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/6af8a92f6ae6021d8e0786d04c66cacfb1c012d43877d0715f99e0fb5a379d7a?s=96&d=mm&r=g","caption":"Sally Bo Hatter"},"url":"https:\/\/ultratendency.academy\/de\/author\/sallybohattar\/"}]}},"_links":{"self":[{"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/posts\/7330","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/comments?post=7330"}],"version-history":[{"count":8,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/posts\/7330\/revisions"}],"predecessor-version":[{"id":7340,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/posts\/7330\/revisions\/7340"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/media\/7328"}],"wp:attachment":[{"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/media?parent=7330"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/categories?post=7330"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/tags?post=7330"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}