{"id":5777,"date":"2024-04-10T12:50:42","date_gmt":"2024-04-10T12:50:42","guid":{"rendered":"https:\/\/ultratendencyaca-urouz8wsum.live-website.com\/?p=5777"},"modified":"2024-04-10T12:55:34","modified_gmt":"2024-04-10T12:55:34","slug":"spark-optimierung","status":"publish","type":"post","link":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/","title":{"rendered":"Spark-Optimierung"},"content":{"rendered":"

Was ist Spark?<\/strong><\/h2>\n

Apache Spark ist eine einheitliche Computing-Engine, die von einer Reihe von Bibliotheken begleitet wird, die f\u00fcr die parallele Datenverarbeitung in einer Cluster-Umgebung entwickelt wurden. Als die am aktivsten entwickelte Open-Source-Engine f\u00fcr parallele Verarbeitung entwickelt sich Spark schnell zu einem Standardwerkzeug f\u00fcr Entwickler und Datenwissenschaftler, die sich mit Big-Data-Aufgaben befassen. Sie ist mit g\u00e4ngigen Programmiersprachen wie Python, Java, Scala und R kompatibel und bietet ein umfangreiches Angebot an Bibliotheken f\u00fcr verschiedene Funktionen, von SQL bis hin zu Streaming und maschinellem Lernen. Spark ist vielseitig und kann in verschiedenen Umgebungen betrieben werden, von einem einzelnen Laptop bis hin zu ausgedehnten Clustern mit Tausenden von Servern. Mithilfe dieser Funktionen k\u00f6nnen Benutzer m\u00fchelos die Verarbeitung gro\u00dfer Datenmengen einleiten und Operationen nahtlos skalieren – von kleinen Setups bis hin zu umfangreichen Clustern.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Wie man Spark optimiert<\/strong><\/h2>\n

01 –<\/span> Shuffling so weit wie m\u00f6glich vermeiden<\/h3>\n

Was ist Shuffling?<\/em><\/p>\n

Shuffling ist eine wichtige Operation im Kontext der verteilten Datenverarbeitung und spielt in Apache Spark eine wichtige Rolle, wenn es um gro\u00dfe Datens\u00e4tze geht, die \u00fcber mehrere Knoten in einem Cluster verteilt sind. Beim Shuffling werden die Daten im Cluster neu verteilt und reorganisiert, in der Regel als Ergebnis von Transformationen oder Operationen, die eine Gruppierung oder Aggregation von Daten auf eine Art und Weise erfordern, wie sie zuvor nicht der Fall war.<\/em><\/p>\n

Das Mischen von Daten kann zeit- und bandbreitenintensiv sein, da es Datenbewegungen und Koordinierung zwischen den Knotenpunkten erfordert. Die Minimierung des Shufflings ist h\u00e4ufig ein Ziel der Leistungsoptimierung bei der Entwicklung von Spark-Anwendungen. Strategien wie die Auswahl geeigneter Partitionierungsmethoden, die Verwendung von Broadcast-Variablen und die Optimierung des Ausf\u00fchrungsplans k\u00f6nnen dazu beitragen, die Auswirkungen des Shufflings auf die Gesamtleistung von Spark-Auftr\u00e4gen abzuschw\u00e4chen.<\/p>\n

In Situationen, in denen das Problem mit reduceByKey gel\u00f6st werden kann, sollten Sie immer reduceByKey verwenden. Bei der Verwendung von groupByKey kommt es unweigerlich zu der h\u00f6chst unerw\u00fcnschten (aber manchmal unvermeidbaren) Datenumverteilung \u00fcber alle Knoten in Spark. Bei der Verwendung von reduceByKey werden die Daten zwar immer noch gemischt, der wesentliche Unterschied zwischen den beiden Funktionen liegt jedoch darin, dass reduceByKey die Reduktionsoperation vor der Mischung durchf\u00fchrt, wodurch die \u00fcber das Netz \u00fcbertragene Datenmenge drastisch reduziert wird. Daher ist es ratsam, Funktionen zu verwenden, die die Datengr\u00f6\u00dfe vor dem Mischen reduzieren, wie reduceByKey oder aggregateByKey, wann immer m\u00f6glich. Selbst bei der gleichen breiten Transformationsfunktion kann es erhebliche Leistungsunterschiede geben.<\/p>\n

Im folgenden Beispiel wird die Leistung von „groupByKey“ und „reduceByKey“ verglichen:<\/p>\n

Verwendung von groupByKey:<\/strong><\/p>\n<\/div>

<\/span><\/div>

<\/h2>\n

Verwendung von reduceByKey:<\/strong><\/p>\n<\/div>

<\/span><\/div>

DAG groupByKey vs. reduceByKey:<\/strong><\/p>\n<\/div><\/div><\/div>

<\/span><\/div><\/div><\/div>
<\/span><\/div><\/div><\/div>

Vergleich der Gesamtbearbeitungszeit:<\/strong><\/p>\n<\/div>

<\/span><\/div><\/div><\/div>

02<\/span> –<\/span> Unterteilung<\/h3>\n

In parallelen Umgebungen wie einem Spark-Cluster ist es entscheidend, die Daten angemessen zu partitionieren. Dadurch wird sichergestellt, dass jeder Executor-Knoten aktiv und produktiv bleibt. Wenn schlecht partitionierte Daten f\u00fcr die Verarbeitung verwendet werden, kann dies zu einer Situation f\u00fchren, in der bestimmte Knoten eine unverh\u00e4ltnism\u00e4\u00dfig hohe Arbeitslast tragen. Dies wird als Datenschieflage bezeichnet. In Situationen, in denen der Programmierer die Kontrolle hat, kann er die Anzahl der Partitionen mit Funktionen wie „coalesce“ oder „repartition“ anpassen. Es gibt jedoch Szenarien, die sich der Kontrolle des Programmierers entziehen, z. B. bei Operationen wie „join“, die ein Mischen der Daten erfordern. In solchen F\u00e4llen wird die Anzahl der Partitionen durch den Spark-Konfigurationsparameter „spark.sql.shuffle.partitions“ bestimmt. Bei Auftr\u00e4gen, die h\u00e4ufige Join-Operationen erfordern, hilft die vorherige Anpassung dieses Konfigurationswerts daher, eine angemessene Anzahl von Partitionen beizubehalten.<\/p>\n

Es ist wichtig, den Unterschied zwischen „coalesce“ und „repartition“ zu beachten. repartition‘ f\u00fchrt zu einer Umverteilung, da der gesamte Datenbestand gleichm\u00e4\u00dfig auf die Knoten verteilt wird. Dies ist unvermeidlich, da das Wesen der Repartitionierung darin besteht, eine gleichm\u00e4\u00dfige Verteilung auf die Knoten zu erreichen. Andererseits erm\u00f6glicht die Verwendung der Funktion „coalesce“ die Verteilung der Daten, ohne ein Shuffling auszul\u00f6sen, allerdings mit der Einschr\u00e4nkung, dass die Anzahl der Partitionen nicht erh\u00f6ht werden kann.<\/p>\n

03<\/span> –<\/span> Verwenden Sie die richtigen Datenstrukturen<\/h3>\n

Ab Spark 2.x wird empfohlen, die Dataset-API zu verwenden. Die zugrundeliegende Struktur von Datasets ist zwar immer noch RDD, aber sie beinhaltet verschiedene Optimierungen, wie die Spark Catalyst-Optimierung, und eine viel leistungsf\u00e4higere Schnittstelle. Bei der Durchf\u00fchrung zeitaufw\u00e4ndiger Join-Operationen mit der High-Level-API k\u00f6nnen die Optimierungen beispielsweise automatisch auf Techniken wie Broadcast Join umschalten, um das Shuffling so weit wie m\u00f6glich zu minimieren. Daher ist es ratsam, wann immer m\u00f6glich, Datasets oder DataFrames zu verwenden.<\/p>\n<\/div>

04 –<\/span> Verwendung von Broadcast-Variablen<\/h3>\n

Broadcast-Variablen in Apache Spark werden verwendet, um schreibgesch\u00fctzte Variablen effizient \u00fcber die Knoten in einem Spark-Cluster zu verteilen. Anstatt eine Kopie der Variablen an jede Aufgabe zu senden, was ressourcenintensiv und ineffizient sein kann, erm\u00f6glichen Broadcast-Variablen die Zwischenspeicherung der Variablen auf jedem Rechner und die gemeinsame Nutzung durch die Aufgaben, die auf diesem Rechner laufen. Dies kann die Leistung bestimmter Spark-Operationen erheblich verbessern, da die \u00fcber das Netzwerk zu \u00fcbertragende Datenmenge reduziert wird.<\/p>\n

Nachfolgend ein Beispiel f\u00fcr die Verbindung zweier Datenrahmen. Die erste Variante ist ohne Broadcast, die zweite mit Broadcast.<\/p>\n<\/div>

Verbinden von zwei Datenrahmen ohne \u00dcbertragung:<\/strong><\/p>\n<\/div>

<\/span><\/div>
<\/span><\/div>

Verbinden von zwei Datenrahmen mit Broadcasting:<\/strong><\/p>\n<\/div>

<\/span><\/div>
<\/span><\/div>

Wenn Sie beide Beispiele ausf\u00fchren, werden Sie feststellen, dass der gr\u00f6\u00dfte Unterschied darin besteht, dass bei dem Beispiel mit Broadcast kein Mischen erforderlich ist. Bei Spark ist das Mischen ein kostspieliger Vorgang. Durch die Verwendung von Broadcast wird unn\u00f6tiges Shuffling vermieden, was die Netzauslastung reduziert. Bei Spark, wo die Verarbeitung gro\u00dfer Datenmengen \u00fcblich ist, kann die Minimierung dieser unn\u00f6tigen Netzwerknutzung die Leistung erheblich verbessern.<\/p>\n<\/div>

05 –<\/span> Zwischenzeitliche Daten beibehalten<\/h3>\n

In Apache Spark sind persist() und cache() Methoden, die verwendet werden, um ein DataFrame, RDD (Resilient Distributed Dataset) oder Dataset im Speicher oder auf der Festplatte zu speichern. Diese Methoden sind besonders n\u00fctzlich, um die Leistung von iterativen oder interaktiven Spark-Workloads zu verbessern, da die Daten nicht bei jedem Zugriff neu berechnet werden m\u00fcssen.<\/p>\n

Insbesondere iterative Algorithmen f\u00fcr maschinelles Lernen, wie sie in der MLlib von Spark \u00fcblich sind, profitieren erheblich von Caching oder Persisting. Diese Algorithmen greifen w\u00e4hrend der Iterationen wiederholt auf dieselben Daten zu und aktualisieren sie, so dass die Zwischenspeicherung f\u00fcr die Effizienz unerl\u00e4sslich ist.<\/p>\n

Wenn Daten persistiert werden, speichert Spark sie au\u00dferdem auf eine fehlertolerante Weise. Dadurch wird sichergestellt, dass bei einem Ausfall eines Knotens w\u00e4hrend der Berechnung die verlorenen Daten aus der urspr\u00fcnglichen Quelle oder aus Zwischenschritten neu berechnet werden k\u00f6nnen, so dass die Datenintegrit\u00e4t erhalten bleibt.<\/p>\n<\/div>

<\/span><\/div>

In diesem Beispiel wird die Methode persist() verwendet, um den DataFrame im Speicher zwischenzuspeichern. Nachfolgende Aktionen auf dem DataFrame k\u00f6nnen von den zwischengespeicherten Daten profitieren, was die Leistung verbessert. Denken Sie daran, dass Sie je nach Anwendungsfall und verf\u00fcgbaren Ressourcen eine geeignete Speicherebene w\u00e4hlen sollten.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/div><\/div><\/p>\n","protected":false},"excerpt":{"rendered":"","protected":false},"author":3,"featured_media":5775,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[42],"tags":[],"class_list":["post-5777","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-coding"],"yoast_head":"\nSpark-Optimierung - Ultra Tendency Academy Pandas Performance steigern: Vom Profiling zur Optimierung mit Snakeviz<\/title>\n<meta name=\"description\" content=\"Ein Praxisbeispiel, wie das Profiling von snakeviz bei der Suche von Bottlenecks und der Optimierung von Pandas Analysen hilft:\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Spark-Optimierung - Ultra Tendency Academy Pandas Performance steigern: Vom Profiling zur Optimierung mit Snakeviz\" \/>\n<meta property=\"og:description\" content=\"Ein Praxisbeispiel, wie das Profiling von snakeviz bei der Suche von Bottlenecks und der Optimierung von Pandas Analysen hilft:\" \/>\n<meta property=\"og:url\" content=\"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/\" \/>\n<meta property=\"og:site_name\" content=\"Ultra Tendency Academy\" \/>\n<meta property=\"article:published_time\" content=\"2024-04-10T12:50:42+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-04-10T12:55:34+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/04\/UAA-Blog-1.png\" \/>\n\t<meta property=\"og:image:width\" content=\"750\" \/>\n\t<meta property=\"og:image:height\" content=\"500\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Sally Bo Hatter\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Sally Bo Hatter\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"36\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/\"},\"author\":{\"name\":\"Sally Bo Hatter\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/#\\\/schema\\\/person\\\/b417acb6e3e5e24ff1b0c5941e419ea9\"},\"headline\":\"Spark-Optimierung\",\"datePublished\":\"2024-04-10T12:50:42+00:00\",\"dateModified\":\"2024-04-10T12:55:34+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/\"},\"wordCount\":7232,\"commentCount\":0,\"image\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/ultratendency.academy\\\/wp-content\\\/uploads\\\/2024\\\/04\\\/UAA-Blog-1.png\",\"articleSection\":[\"Coding\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/\",\"url\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/\",\"name\":\"Spark-Optimierung - Ultra Tendency Academy Pandas Performance steigern: Vom Profiling zur Optimierung mit Snakeviz\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/ultratendency.academy\\\/wp-content\\\/uploads\\\/2024\\\/04\\\/UAA-Blog-1.png\",\"datePublished\":\"2024-04-10T12:50:42+00:00\",\"dateModified\":\"2024-04-10T12:55:34+00:00\",\"author\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/#\\\/schema\\\/person\\\/b417acb6e3e5e24ff1b0c5941e419ea9\"},\"description\":\"Ein Praxisbeispiel, wie das Profiling von snakeviz bei der Suche von Bottlenecks und der Optimierung von Pandas Analysen hilft:\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/#primaryimage\",\"url\":\"https:\\\/\\\/ultratendency.academy\\\/wp-content\\\/uploads\\\/2024\\\/04\\\/UAA-Blog-1.png\",\"contentUrl\":\"https:\\\/\\\/ultratendency.academy\\\/wp-content\\\/uploads\\\/2024\\\/04\\\/UAA-Blog-1.png\",\"width\":750,\"height\":500},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/2024\\\/04\\\/10\\\/spark-optimierung\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Startseite\",\"item\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Spark-Optimierung\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/#website\",\"url\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/\",\"name\":\"Ultra Tendency Academy\",\"description\":\"News & Expertentipps aus der IT-Branche\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/#\\\/schema\\\/person\\\/b417acb6e3e5e24ff1b0c5941e419ea9\",\"name\":\"Sally Bo Hatter\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/6af8a92f6ae6021d8e0786d04c66cacfb1c012d43877d0715f99e0fb5a379d7a?s=96&d=mm&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/6af8a92f6ae6021d8e0786d04c66cacfb1c012d43877d0715f99e0fb5a379d7a?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/6af8a92f6ae6021d8e0786d04c66cacfb1c012d43877d0715f99e0fb5a379d7a?s=96&d=mm&r=g\",\"caption\":\"Sally Bo Hatter\"},\"url\":\"https:\\\/\\\/ultratendency.academy\\\/de\\\/author\\\/sallybohattar\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Spark-Optimierung - Ultra Tendency Academy Pandas Performance steigern: Vom Profiling zur Optimierung mit Snakeviz","description":"Ein Praxisbeispiel, wie das Profiling von snakeviz bei der Suche von Bottlenecks und der Optimierung von Pandas Analysen hilft:","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/","og_locale":"de_DE","og_type":"article","og_title":"Spark-Optimierung - Ultra Tendency Academy Pandas Performance steigern: Vom Profiling zur Optimierung mit Snakeviz","og_description":"Ein Praxisbeispiel, wie das Profiling von snakeviz bei der Suche von Bottlenecks und der Optimierung von Pandas Analysen hilft:","og_url":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/","og_site_name":"Ultra Tendency Academy","article_published_time":"2024-04-10T12:50:42+00:00","article_modified_time":"2024-04-10T12:55:34+00:00","og_image":[{"width":750,"height":500,"url":"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/04\/UAA-Blog-1.png","type":"image\/png"}],"author":"Sally Bo Hatter","twitter_card":"summary_large_image","twitter_misc":{"Verfasst von":"Sally Bo Hatter","Gesch\u00e4tzte Lesezeit":"36\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/#article","isPartOf":{"@id":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/"},"author":{"name":"Sally Bo Hatter","@id":"https:\/\/ultratendency.academy\/de\/#\/schema\/person\/b417acb6e3e5e24ff1b0c5941e419ea9"},"headline":"Spark-Optimierung","datePublished":"2024-04-10T12:50:42+00:00","dateModified":"2024-04-10T12:55:34+00:00","mainEntityOfPage":{"@id":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/"},"wordCount":7232,"commentCount":0,"image":{"@id":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/#primaryimage"},"thumbnailUrl":"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/04\/UAA-Blog-1.png","articleSection":["Coding"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/","url":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/","name":"Spark-Optimierung - Ultra Tendency Academy Pandas Performance steigern: Vom Profiling zur Optimierung mit Snakeviz","isPartOf":{"@id":"https:\/\/ultratendency.academy\/de\/#website"},"primaryImageOfPage":{"@id":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/#primaryimage"},"image":{"@id":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/#primaryimage"},"thumbnailUrl":"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/04\/UAA-Blog-1.png","datePublished":"2024-04-10T12:50:42+00:00","dateModified":"2024-04-10T12:55:34+00:00","author":{"@id":"https:\/\/ultratendency.academy\/de\/#\/schema\/person\/b417acb6e3e5e24ff1b0c5941e419ea9"},"description":"Ein Praxisbeispiel, wie das Profiling von snakeviz bei der Suche von Bottlenecks und der Optimierung von Pandas Analysen hilft:","breadcrumb":{"@id":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/#primaryimage","url":"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/04\/UAA-Blog-1.png","contentUrl":"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/04\/UAA-Blog-1.png","width":750,"height":500},{"@type":"BreadcrumbList","@id":"https:\/\/ultratendency.academy\/de\/2024\/04\/10\/spark-optimierung\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Startseite","item":"https:\/\/ultratendency.academy\/de\/"},{"@type":"ListItem","position":2,"name":"Spark-Optimierung"}]},{"@type":"WebSite","@id":"https:\/\/ultratendency.academy\/de\/#website","url":"https:\/\/ultratendency.academy\/de\/","name":"Ultra Tendency Academy","description":"News & Expertentipps aus der IT-Branche","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/ultratendency.academy\/de\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Person","@id":"https:\/\/ultratendency.academy\/de\/#\/schema\/person\/b417acb6e3e5e24ff1b0c5941e419ea9","name":"Sally Bo Hatter","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/secure.gravatar.com\/avatar\/6af8a92f6ae6021d8e0786d04c66cacfb1c012d43877d0715f99e0fb5a379d7a?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/6af8a92f6ae6021d8e0786d04c66cacfb1c012d43877d0715f99e0fb5a379d7a?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/6af8a92f6ae6021d8e0786d04c66cacfb1c012d43877d0715f99e0fb5a379d7a?s=96&d=mm&r=g","caption":"Sally Bo Hatter"},"url":"https:\/\/ultratendency.academy\/de\/author\/sallybohattar\/"}]}},"_links":{"self":[{"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/posts\/5777","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/comments?post=5777"}],"version-history":[{"count":0,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/posts\/5777\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/media\/5775"}],"wp:attachment":[{"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/media?parent=5777"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/categories?post=5777"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ultratendency.academy\/de\/wp-json\/wp\/v2\/tags?post=5777"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}