Einf\u00fchrung<\/strong><\/h2>\n In der sich schnell entwickelnden Welt des Datenmanagements stellt Delta Lake einen transformativen Fortschritt dar, der die Handhabung und Verarbeitung gro\u00dfer Datenmengen mit Apache Spark optimiert. Als Open-Source-Speicherschicht, die von den Sch\u00f6pfern von Spark entwickelt wurde, verbessert Delta Lake die Zuverl\u00e4ssigkeit, Leistung und Verwaltung von Daten und macht Data Lakes in Unternehmen einfacher und robuster. Die Verwaltung komplexer Datenpipelines mit herk\u00f6mmlichem Spark kann aufgrund ineffizienter Upserts, komplexer Zeitreisen und Schema-Inkonsistenzen eine Herausforderung darstellen. Delta Lake l\u00f6st diese Probleme mit Funktionen, die den Betrieb rationalisieren und eine hohe Datenqualit\u00e4t gew\u00e4hrleisten. Seine Medaillon-Architektur wirkt wie eine Reihe von Toren, die sicherstellen, dass nur saubere Daten die Rohdaten-, Kuratierungs- und Serving-Ebenen durchlaufen. Die Durchsetzung von Schemata verhindert, dass unsaubere Daten Ihre Pipeline verunreinigen, w\u00e4hrend die eingebaute Versionierung wie eine Zeitmaschine funktioniert, die eine einfache Pr\u00fcfung und ein Rollback zu fr\u00fcheren Datenzust\u00e4nden erm\u00f6glicht. Delta Lake bietet au\u00dferdem effiziente Merge-Operationen, die die Datenintegration vereinfachen und die Komplexit\u00e4t und den Zeitaufwand f\u00fcr Upserts reduzieren. Leistungsverbesserungen wie Z-Ordering optimieren die Speicherung, beschleunigen Abfragen und senken die Kosten. Die Verwaltung von Metadaten strukturiert Informationen effektiv, und der Vakuum-Befehl hilft dabei, Daten zu organisieren und relevant zu halten. Durch die Integration von Delta Lake mit Apache Spark k\u00f6nnen Dateningenieure skalierbare, zuverl\u00e4ssige und effiziente Datenpipelines erstellen. Diese Integration sorgt f\u00fcr eine h\u00f6here Datenqualit\u00e4t, optimierte Speicherung, geringere Betriebskosten und eine agilere Dateninfrastruktur und macht Spark zu einem leistungsf\u00e4higeren Werkzeug f\u00fcr moderne Datenherausforderungen.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
Einf\u00fchrung in Delta Lake<\/strong><\/h1>\n Delta Lake, eine Open-Source-Speicherschicht von Databricks, wurde Anfang 2019 eingef\u00fchrt. Sie wurde entwickelt, um die Zuverl\u00e4ssigkeit und Leistung von Data Lakes zu verbessern und l\u00e4sst sich nahtlos mit Apache Spark integrieren.<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/delta_lake_1.png\")
<\/a><\/span>Quelle: https:\/\/learn.microsoft.com\/en-us\/answers\/questions\/533548\/delta-lake-with-databricks-and-synapse<\/div><\/div><\/div><\/div>Warum Delta Lake verwenden?<\/strong><\/h3>\n Delta Lake l\u00f6st mehrere g\u00e4ngige Probleme bei der Datenverwaltung und -verarbeitung: <\/p>\n
\n- Open Source<\/strong>: Angetrieben von Beitr\u00e4gen der Community und unterst\u00fctzt von Databricks mit offenen Standards und Protokollen.<\/li>\n
- ACID-Transaktionen<\/strong>: Sorgt f\u00fcr zuverl\u00e4ssige und konsistente Datenoperationen mit starker Isolierung.<\/li>\n
- Zeitreise<\/strong>: Erm\u00f6glicht die Abfrage von fr\u00fcheren Datenversionen f\u00fcr Audits und Rollbacks.<\/li>\n
- Schema-Entwicklung<\/strong>: Unterst\u00fctzt Schema\u00e4nderungen ohne Unterbrechung des laufenden Betriebs.<\/li>\n
- Gleichzeitige Schreibvorg\u00e4nge<\/strong>: Erm\u00f6glicht das gleichzeitige Schreiben von Daten, was f\u00fcr umfangreiche Anwendungen entscheidend ist.<\/li>\n
- Optimierung der Leistung<\/strong>: Funktionen wie Z-Ordering und das \u00dcberspringen von Daten verbessern die Abfragegeschwindigkeit.<\/li>\n
- Skalierbare Metadaten<\/strong>: Verwalten Sie umfangreiche Datens\u00e4tze mit Milliarden von Partitionen und Dateien.<\/li>\n
- Vereinheitlichtes Batch\/Streaming<\/strong>: Erm\u00f6glicht eine Exact-once-Semantik f\u00fcr Batch- und Streaming-Daten.<\/li>\n
- Audit-Verlauf<\/strong>: Bietet einen vollst\u00e4ndigen Pr\u00fcfpfad mit detaillierten Protokollen aller Daten\u00e4nderungen.<\/li>\n
- DML-Operationen<\/strong>: Bietet flexible APIs (SQL, Scala\/Java, Python) f\u00fcr Datenmanipulationsaufgaben.<\/li>\n<\/ul>\n<\/div>
Einf\u00fchrung in Apache Spark<\/strong><\/h1>\n Apache Spark ist eine einheitliche Analyse-Engine f\u00fcr die Verarbeitung gro\u00dfer Datenmengen mit integrierten Modulen f\u00fcr Streaming, SQL, maschinelles Lernen und Graphverarbeitung. Die verteilten Rechenfunktionen von Spark machen es zu einem leistungsstarken Werkzeug f\u00fcr die schnelle und effiziente Verarbeitung gro\u00dfer Datenmengen. Zu den wichtigsten Funktionen von Spark geh\u00f6ren die In-Memory-Datenverarbeitung, die erweiterte Abfrageoptimierung und die Unterst\u00fctzung verschiedener Datenquellen und -formate. Spark Core<\/strong>: Verwaltet die Planung von Aufgaben und die Speicherverwaltung. <\/p>\n\n- Spark SQL<\/strong>: Bietet Funktionen zur Datenabfrage.<\/li>\n
- Spark Streaming<\/strong>: Verarbeitet Daten in Echtzeit.<\/li>\n
- MLlib<\/strong>: F\u00fcr maschinelles Lernen.<\/li>\n
- GraphX<\/strong>: F\u00fcr die Verarbeitung von Graphen.<\/li>\n<\/ul>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/apache_spark_1.jpg\" "\\"apache_spark_1\\"")
<\/span><\/div>Verbesserung von Spark mit Delta Lake<\/strong><\/h1>\n Delta Lake erweitert Apache Spark durch die Integration einer leistungsstarken Schicht, die die Datenverwaltung und -verarbeitung verbessert. Urspr\u00fcnglich exklusiv f\u00fcr Databricks, ist es jetzt Open Source unter der Apache License V2. Delta Lake l\u00e4sst sich nahtlos in bestehende Speichersysteme integrieren und bietet eine einheitliche Plattform f\u00fcr die Batch- und Streaming-Datenverarbeitung, die Datenkonsistenz, eine einfache Schemaverwaltung und die M\u00f6glichkeit zur Abfrage historischer Datenversionen gew\u00e4hrleistet. Im Folgenden finden Sie einen kurzen \u00dcberblick dar\u00fcber, wie Delta Lake Spark erweitert und wie der Datenfluss und die Interaktionspunkte aussehen: <\/p>\n
\n- Daten-Ingestion<\/strong>:\n
\n- Quellen<\/strong>: Delta Lake erm\u00f6glicht die nahtlose Aufnahme von Daten aus verschiedenen Quellen, einschlie\u00dflich Cloud Object Stores, Datenbanken und Streaming-Plattformen.<\/li>\n
- Integration<\/strong>: Die Daten werden in Delta Lake-Tabellen eingelesen, die sowohl f\u00fcr Batch- als auch f\u00fcr Streaming-Operationen optimiert sind. Diese Integration unterst\u00fctzt die Aufnahme von Daten mit hohem Durchsatz und minimaler Latenz. <\/li>\n<\/ul>\n<\/li>\n
- Datenverarbeitung<\/strong>:\n
\n- Spark-Integration<\/strong>: Sobald sich die Daten in Delta Lake-Tabellen befinden, verarbeitet Spark sie effizient mit seinen verteilten Rechenfunktionen.<\/li>\n
- ACID-Transaktionen<\/strong>: Delta Lake bietet ACID-Transaktionen, um die Datenkonsistenz w\u00e4hrend der Verarbeitung sicherzustellen. Dies garantiert, dass alle Vorg\u00e4nge korrekt abgeschlossen werden und im Falle von Fehlern Rollback-Funktionen zur Verf\u00fcgung stehen. <\/li>\n<\/ul>\n<\/li>\n
- Datenverwaltung<\/strong>:\n
\n- Schema-Entwicklung<\/strong>: Delta Lake vereinfacht die Schemaverwaltung, indem es Schema\u00e4nderungen ohne Unterbrechung des laufenden Betriebs erm\u00f6glicht. Diese Flexibilit\u00e4t ist entscheidend f\u00fcr die Anpassung an sich entwickelnde Datenstrukturen. <\/li>\n
- Zeitreise<\/strong>: Erm\u00f6glicht Benutzern den Zugriff auf und die Abfrage von fr\u00fcheren Datenversionen und erleichtert so Audits, Rollbacks und die Analyse historischer Daten.<\/li>\n<\/ul>\n<\/li>\n
- Daten abfragen<\/strong>:\n
\n- Spark SQL<\/strong>: Benutzer k\u00f6nnen Spark SQL nutzen, um komplexe Abfragen auf Delta Lake-Tabellen auszuf\u00fchren. Die Optimierungen von Delta Lake, wie z.B. das \u00dcberspringen von Daten und Z-Ordering, verbessern die Abfrageleistung und reduzieren die Ausf\u00fchrungszeiten. <\/li>\n<\/ul>\n<\/li>\n<\/ol>\n
Delta Lake erweitert die F\u00e4higkeiten von Apache Spark, indem es ein robustes Framework f\u00fcr die Datenverwaltung bietet. Seine Funktionen – ACID-Transaktionen, Schema-Evolution und Zeitreisen – verbessern die Leistung, Datenzuverl\u00e4ssigkeit und Flexibilit\u00e4t von Spark. Diese Integration stellt sicher, dass Spark-Anwender von einer verbesserten Datenkonsistenz, optimierten Schemaanpassungen und leistungsstarken Abfragefunktionen profitieren.<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/spark_delta_lake.png\" "\\"spark_delta_lake\\"")
<\/span><\/div>Praktisches Beispiel: Delta Lake mit Apache Spark<\/strong><\/h1>\n Dieser Abschnitt enth\u00e4lt ein praktisches Beispiel f\u00fcr die Verwendung von Delta Lake mit Apache Spark. Detaillierte Anweisungen zur Einrichtung und weitere Informationen finden Sie in der Delta Lake-Dokumentation<\/a>. Der Einfachheit halber werden wir Python verwenden und anhand von Notebook-Zellen demonstrieren, wie Sie die Funktionen von Delta Lake nutzen k\u00f6nnen. <\/p>\nEinrichtung und Initialisierung<\/strong><\/h3>\n Um Delta Lake mit Apache Spark zu integrieren, haben Sie mehrere flexible M\u00f6glichkeiten: <\/p>\n
\n- Interactive Shell:<\/strong> Verwenden Sie PySpark oder die Spark Scala-Shell f\u00fcr die direkte Interaktion. Sie k\u00f6nnen PySpark mit Delta Lake mit pip oder die Scala-Shell mit bin\/spark-shell von Spark einrichten, beide mit Delta Lake-Abh\u00e4ngigkeiten und -Konfigurationen. <\/li>\n
- Projekt einrichten:<\/strong> Erstellen Sie ein Projekt mit Delta Lake unter Verwendung von Maven oder SBT f\u00fcr Scala\/Java, oder konfigurieren Sie Python-Projekte mit pip und delta-spark. Dieses Setup erm\u00f6glicht eine skalierbare Entwicklung und Integration in gr\u00f6\u00dfere Anwendungen. <\/li>\n<\/ul>\n
Installation der Bibliothek f\u00fcr die Demo<\/strong><\/h3>\n F\u00fcr die Demo haben wir uns entschieden, den Code in einer lokalen Jupyter Notebook-Umgebung auszuf\u00fchren. Bitte installieren Sie die erforderlichen Bibliotheken mit Python, um die Demo einzurichten: !pip install pyspark delta-spark Vergewissern Sie sich, dass das Jupyter-Notebook lokal installiert ist und geben Sie dann im Terminal ein: jupyter notebook Dieser Befehl richtet PySpark und Delta Lake f\u00fcr die interaktive Nutzung ein und stellt sicher, dass Sie die f\u00fcr die Datenverarbeitung und -verwaltung erforderlichen Tools in Ihrer Umgebung haben. 4.3 Einrichten von Spark mit Delta Lake<\/strong> Um Delta Lake mit Apache Spark in Ihrer Python-Umgebung zu verwenden, m\u00fcssen Sie zun\u00e4chst eine SparkSession mit den erforderlichen Delta Lake-Konfigurationen initialisieren. Diese Einrichtung erm\u00f6glicht es Ihnen, die Funktionen von Delta Lake wie ACID-Transaktionen und Schemaentwicklung in Ihren Spark-Anwendungen zu nutzen. Hier erfahren Sie, wie Sie Spark mit Delta Lake konfigurieren k\u00f6nnen:<\/p>\n<\/div>![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/settingup_1-1.png\" "\\"settingup_1")
<\/span><\/div>Laden von Beispieldaten<\/strong><\/h3>\n Dieses Codeschnipsel liest eine CSV-Datei in einen Spark DataFrame ein, wobei das Schema abgeleitet und die Kopfzeilen einbezogen werden. Anschlie\u00dfend zeigt er die ersten 5 Zeilen des DataFrame an und liefert eine Zusammenfassung der Statistiken des Datensatzes.<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/settingup_2-1-1.png\" "\\"settingup_2")
<\/span><\/div>Schreiben und Lesen von Daten mit Delta Lake<\/strong><\/h3>\n In diesem Abschnitt wird gezeigt, wie Sie Daten in eine Delta Lake-Tabelle schreiben und dann wieder zur\u00fccklesen. Der Code speichert den DataFrame in einer Delta Lake-Tabelle unter dem angegebenen Pfad und liest ihn dann in einen neuen DataFrame zur\u00fcck und zeigt die Ergebnisse an.<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/settingup_3-1.png\" "\\"settingup_3")
<\/span><\/div>Hinzuf\u00fcgen und Lesen neuer Daten mit der Schemaverwaltung<\/strong><\/h3>\n In diesem Abschnitt wird gezeigt, wie Sie neue Daten zu einer Delta Lake-Tabelle hinzuf\u00fcgen und Schema\u00e4nderungen handhaben k\u00f6nnen. Das folgende Codeschnipsel zeigt, wie Sie neue Daten zu einer Delta Lake-Tabelle hinzuf\u00fcgen und gleichzeitig die Schemaentwicklung verwalten k\u00f6nnen. Es f\u00fcgt neue Datens\u00e4tze an die Tabelle an und stellt die Konsistenz sicher, indem es die aktualisierten Daten nach jeder Transaktion anzeigt.<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/settingup_4-1.png\" "\\"settingup_4")
<\/span><\/div>![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/settingup_5-1.png\" "\\"settingup_5")
<\/span><\/div>Hinzuf\u00fcgen neuer Spalten und Schemaentwicklung<\/strong><\/h3>\n In diesem Abschnitt wird erl\u00e4utert, wie Sie einer bestehenden Delta Lake-Tabelle neue Spalten hinzuf\u00fcgen und ihr Schema aktualisieren. Mit der Option mergeSchema wird das Schema nahtlos weiterentwickelt, so dass neue Spalten integriert werden k\u00f6nnen, ohne die vorhandenen Daten zu beeintr\u00e4chtigen.<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/settingup_6.png\" "\\"settingup_6\\"")
<\/span><\/div>Zeitreise und Versionswiederherstellung<\/strong><\/h3>\n Dieser Abschnitt demonstriert die Zeitreisefunktion von Delta Lake. Durch die Angabe von versionAsOf oder timestampAsOf k\u00f6nnen Sie fr\u00fchere Versionen der Tabelle abfragen und wiederherstellen und so sicherstellen, dass Daten aus fr\u00fcheren Zust\u00e4nden wiederhergestellt oder gepr\u00fcft werden k\u00f6nnen.<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/settingup_7-1.png\" "\\"settingup_7")
<\/span><\/div>![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/dataframe.png\" "\\"dataframe\\"")
<\/span><\/div>Optimieren mit Z-Ordering<\/strong><\/h3>\n In diesem Abschnitt verwenden wir Z-Ordering zur Optimierung der Delta-Tabelle. Z-Ordering ist eine Technik in Delta Lake, die die Abfrageleistung verbessert, indem zusammengeh\u00f6rige Daten im Speicher zusammengelegt werden. Der Befehl optimize().executeZOrderBy(„PickupZip“) reorganisiert die Datendateien, um die Zugriffsmuster f\u00fcr Abfragen zu optimieren, die nach PickupZip filtern. Eine visuelle Erkl\u00e4rung der Z-Ordnung und ihrer Auswirkungen auf die Abfrageeffizienz finden Sie in der nebenstehenden Abbildung.<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/z-order.png\")
<\/a><\/span><\/div>Nachfolgend finden Sie dieses Codeschnipsel:<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/optimizing_1.png\" "\\"optimizing_1\\"")
<\/span><\/div>Streaming-Daten und Upsert-Operationen<\/strong><\/h3>\n <\/strong>In diesem Abschnitt zeigen wir Ihnen, wie Sie mit Delta Lake Streaming-Daten verarbeiten und Upsert-Operationen durchf\u00fchren k\u00f6nnen. <\/p>\n\n- Streaming-Datenquelle:<\/strong> Wir richten eine Streaming-Quelle mit spark.readStream.format(„rate“).load() ein, die einen Datenstrom simuliert. Diese Daten werden dann in die Delta-Tabelle mit einem Checkpoint-Verzeichnis geschrieben, um Fehlertoleranz und Konsistenz zu gew\u00e4hrleisten.<\/li>\n
- Streaming-Daten lesen:<\/strong> Die Streaming-Daten werden aus der Delta-Tabelle gelesen und in der Konsole angezeigt. Diese Einstellung erm\u00f6glicht Aktualisierungen und \u00dcberwachung in Echtzeit. <\/li>\n
- Upsert Operation:<\/strong> Wir verwenden die Zusammenf\u00fchrungsfunktion von Delta Lake, um eine Upsert-Operation durchzuf\u00fchren, die bestehende Datens\u00e4tze aktualisiert oder neue Datens\u00e4tze auf der Grundlage einer passenden Bedingung einf\u00fcgt. Dieser Vorgang ist wichtig, um aktuelle und genaue Daten in Echtzeitszenarien zu erhalten. <\/li>\n
- Datenl\u00f6schung und -verdichtung:<\/strong> Wir demonstrieren die Datenl\u00f6schung und Dateikompaktierung mit deltaTable.delete() und deltaTable.vacuum(), die zur Verwaltung der Datengr\u00f6\u00dfe und Leistung beitragen.<\/li>\n<\/ol>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/dataflow_1.png\" "\\"dataflow_1\\"")
<\/span><\/div>Um ein vollst\u00e4ndiges Verst\u00e4ndnis zu erhalten, sehen Sie sich das mitgelieferte Diagramm an, das den Datenfluss und die Interaktion zwischen Streaming-Datenquellen und Delta Lake veranschaulicht.<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/spark_delta_1.png\")
<\/a><\/span>spark_delta_1<\/h2><\/div><\/div><\/div>![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/spark_delta_2.png\")
<\/a><\/span><\/div>Der Upsert-Vorgang war erfolgreich, wie die aktualisierte erste Zeile der Daten zeigt. Au\u00dferdem wurden die veralteten Dateien durch die Vakuumoperation effektiv bereinigt.<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/spark_delta_3.png\" "\\"spark_delta_3\\"")
<\/span><\/div>Wir k\u00f6nnen nun den L\u00f6schvorgang \u00fcberpr\u00fcfen, indem wir die Daten aus dem Stream abrufen und sicherstellen, dass die zuvor gel\u00f6schte erste Zeile nicht mehr erscheint.<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/spark_delta_4.png\" "\\"spark_delta_4\\"")
<\/span><\/div>Deltatabelle anzeigen – Verlauf und Aufr\u00e4umen<\/strong><\/h3>\n In diesem Abschnitt wird gezeigt, wie Sie die historischen \u00c4nderungen in einer Delta-Tabelle anzeigen und eine Datenbereinigung durchf\u00fchren k\u00f6nnen.<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/spark_delta_5.png\" "\\"spark_delta_5\\"")
<\/span><\/div>Mit diesem Code k\u00f6nnen Sie die \u00c4nderungshistorie der Delta-Tabelle einsehen, was Ihnen hilft, \u00c4nderungen zu verfolgen und die Entwicklung Ihrer Daten zu verstehen. Die Vakuum-Operation wird verwendet, um alte, nicht mehr ben\u00f6tigte Datendateien zu bereinigen, wobei nur die Dateien der letzten angegebenen Anzahl von Stunden (168 Stunden = 7 Tage) erhalten bleiben. Wir werden untersuchen, wie Delta Lake Metadaten f\u00fcr Skalierbarkeit und Auditing handhabt. Delta Lake f\u00fchrt ein detailliertes Protokoll aller \u00c4nderungen an Ihren Daten, das als JSON-Dateien in einem Verzeichnis namens _delta_log gespeichert wird. In diesen Protokollen werden alle \u00c4nderungen, Hinzuf\u00fcgungen und L\u00f6schungen protokolliert, so dass Sie einen umfassenden \u00dcberblick \u00fcber alle Transaktionen erhalten. Anhand dieser Protokolle k\u00f6nnen Sie \u00fcberpr\u00fcfen, wie effizient Delta Lake Metadaten im gro\u00dfen Ma\u00dfstab verwaltet und dabei sowohl Skalierbarkeit als auch Nachvollziehbarkeit gew\u00e4hrleistet. Ich mache einen Screenshot, der das Verzeichnis und diese Protokolldateien zeigt, um zu veranschaulichen, wie Delta Lake die \u00c4nderungsdetails f\u00fcr eine robuste Datenverwaltung erfasst und organisiert. <\/p>\n
Speicher Core Unit<\/strong><\/h1>\n In Delta Lake ist eine Tabelle eine Sammlung von Daten, die in einem Schema und einer Verzeichnisstruktur organisiert sind. Sie stellt die grundlegende Einheit der Speicherung dar. Hier ist es die lokale Darstellung der Delta-Tabelle:<\/p>\n<\/div>
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/spark_delta_6.png\" "\\"spark_delta_6\\"")
<\/span><\/div>
Einf\u00fchrung in Delta Lake<\/strong><\/h1>\n Delta Lake, eine Open-Source-Speicherschicht von Databricks, wurde Anfang 2019 eingef\u00fchrt. Sie wurde entwickelt, um die Zuverl\u00e4ssigkeit und Leistung von Data Lakes zu verbessern und l\u00e4sst sich nahtlos mit Apache Spark integrieren.<\/p>\n<\/div>
<\/a><\/span>Quelle: https:\/\/learn.microsoft.com\/en-us\/answers\/questions\/533548\/delta-lake-with-databricks-and-synapse<\/div><\/div><\/div><\/div>Warum Delta Lake verwenden?<\/strong><\/h3>\n Delta Lake l\u00f6st mehrere g\u00e4ngige Probleme bei der Datenverwaltung und -verarbeitung: <\/p>\n
\n- Open Source<\/strong>: Angetrieben von Beitr\u00e4gen der Community und unterst\u00fctzt von Databricks mit offenen Standards und Protokollen.<\/li>\n
- ACID-Transaktionen<\/strong>: Sorgt f\u00fcr zuverl\u00e4ssige und konsistente Datenoperationen mit starker Isolierung.<\/li>\n
- Zeitreise<\/strong>: Erm\u00f6glicht die Abfrage von fr\u00fcheren Datenversionen f\u00fcr Audits und Rollbacks.<\/li>\n
- Schema-Entwicklung<\/strong>: Unterst\u00fctzt Schema\u00e4nderungen ohne Unterbrechung des laufenden Betriebs.<\/li>\n
- Gleichzeitige Schreibvorg\u00e4nge<\/strong>: Erm\u00f6glicht das gleichzeitige Schreiben von Daten, was f\u00fcr umfangreiche Anwendungen entscheidend ist.<\/li>\n
- Optimierung der Leistung<\/strong>: Funktionen wie Z-Ordering und das \u00dcberspringen von Daten verbessern die Abfragegeschwindigkeit.<\/li>\n
- Skalierbare Metadaten<\/strong>: Verwalten Sie umfangreiche Datens\u00e4tze mit Milliarden von Partitionen und Dateien.<\/li>\n
- Vereinheitlichtes Batch\/Streaming<\/strong>: Erm\u00f6glicht eine Exact-once-Semantik f\u00fcr Batch- und Streaming-Daten.<\/li>\n
- Audit-Verlauf<\/strong>: Bietet einen vollst\u00e4ndigen Pr\u00fcfpfad mit detaillierten Protokollen aller Daten\u00e4nderungen.<\/li>\n
- DML-Operationen<\/strong>: Bietet flexible APIs (SQL, Scala\/Java, Python) f\u00fcr Datenmanipulationsaufgaben.<\/li>\n<\/ul>\n<\/div>
Einf\u00fchrung in Apache Spark<\/strong><\/h1>\n Apache Spark ist eine einheitliche Analyse-Engine f\u00fcr die Verarbeitung gro\u00dfer Datenmengen mit integrierten Modulen f\u00fcr Streaming, SQL, maschinelles Lernen und Graphverarbeitung. Die verteilten Rechenfunktionen von Spark machen es zu einem leistungsstarken Werkzeug f\u00fcr die schnelle und effiziente Verarbeitung gro\u00dfer Datenmengen. Zu den wichtigsten Funktionen von Spark geh\u00f6ren die In-Memory-Datenverarbeitung, die erweiterte Abfrageoptimierung und die Unterst\u00fctzung verschiedener Datenquellen und -formate. Spark Core<\/strong>: Verwaltet die Planung von Aufgaben und die Speicherverwaltung. <\/p>\n\n- Spark SQL<\/strong>: Bietet Funktionen zur Datenabfrage.<\/li>\n
- Spark Streaming<\/strong>: Verarbeitet Daten in Echtzeit.<\/li>\n
- MLlib<\/strong>: F\u00fcr maschinelles Lernen.<\/li>\n
- GraphX<\/strong>: F\u00fcr die Verarbeitung von Graphen.<\/li>\n<\/ul>\n<\/div><\/span><\/div>
Verbesserung von Spark mit Delta Lake<\/strong><\/h1>\n Delta Lake erweitert Apache Spark durch die Integration einer leistungsstarken Schicht, die die Datenverwaltung und -verarbeitung verbessert. Urspr\u00fcnglich exklusiv f\u00fcr Databricks, ist es jetzt Open Source unter der Apache License V2. Delta Lake l\u00e4sst sich nahtlos in bestehende Speichersysteme integrieren und bietet eine einheitliche Plattform f\u00fcr die Batch- und Streaming-Datenverarbeitung, die Datenkonsistenz, eine einfache Schemaverwaltung und die M\u00f6glichkeit zur Abfrage historischer Datenversionen gew\u00e4hrleistet. Im Folgenden finden Sie einen kurzen \u00dcberblick dar\u00fcber, wie Delta Lake Spark erweitert und wie der Datenfluss und die Interaktionspunkte aussehen: <\/p>\n
\n- Daten-Ingestion<\/strong>:\n
\n- Quellen<\/strong>: Delta Lake erm\u00f6glicht die nahtlose Aufnahme von Daten aus verschiedenen Quellen, einschlie\u00dflich Cloud Object Stores, Datenbanken und Streaming-Plattformen.<\/li>\n
- Integration<\/strong>: Die Daten werden in Delta Lake-Tabellen eingelesen, die sowohl f\u00fcr Batch- als auch f\u00fcr Streaming-Operationen optimiert sind. Diese Integration unterst\u00fctzt die Aufnahme von Daten mit hohem Durchsatz und minimaler Latenz. <\/li>\n<\/ul>\n<\/li>\n
- Datenverarbeitung<\/strong>:\n
\n- Spark-Integration<\/strong>: Sobald sich die Daten in Delta Lake-Tabellen befinden, verarbeitet Spark sie effizient mit seinen verteilten Rechenfunktionen.<\/li>\n
- ACID-Transaktionen<\/strong>: Delta Lake bietet ACID-Transaktionen, um die Datenkonsistenz w\u00e4hrend der Verarbeitung sicherzustellen. Dies garantiert, dass alle Vorg\u00e4nge korrekt abgeschlossen werden und im Falle von Fehlern Rollback-Funktionen zur Verf\u00fcgung stehen. <\/li>\n<\/ul>\n<\/li>\n
- Datenverwaltung<\/strong>:\n
\n- Schema-Entwicklung<\/strong>: Delta Lake vereinfacht die Schemaverwaltung, indem es Schema\u00e4nderungen ohne Unterbrechung des laufenden Betriebs erm\u00f6glicht. Diese Flexibilit\u00e4t ist entscheidend f\u00fcr die Anpassung an sich entwickelnde Datenstrukturen. <\/li>\n
- Zeitreise<\/strong>: Erm\u00f6glicht Benutzern den Zugriff auf und die Abfrage von fr\u00fcheren Datenversionen und erleichtert so Audits, Rollbacks und die Analyse historischer Daten.<\/li>\n<\/ul>\n<\/li>\n
- Daten abfragen<\/strong>:\n
\n- Spark SQL<\/strong>: Benutzer k\u00f6nnen Spark SQL nutzen, um komplexe Abfragen auf Delta Lake-Tabellen auszuf\u00fchren. Die Optimierungen von Delta Lake, wie z.B. das \u00dcberspringen von Daten und Z-Ordering, verbessern die Abfrageleistung und reduzieren die Ausf\u00fchrungszeiten. <\/li>\n<\/ul>\n<\/li>\n<\/ol>\n
Delta Lake erweitert die F\u00e4higkeiten von Apache Spark, indem es ein robustes Framework f\u00fcr die Datenverwaltung bietet. Seine Funktionen – ACID-Transaktionen, Schema-Evolution und Zeitreisen – verbessern die Leistung, Datenzuverl\u00e4ssigkeit und Flexibilit\u00e4t von Spark. Diese Integration stellt sicher, dass Spark-Anwender von einer verbesserten Datenkonsistenz, optimierten Schemaanpassungen und leistungsstarken Abfragefunktionen profitieren.<\/p>\n<\/div>
<\/span><\/div>Praktisches Beispiel: Delta Lake mit Apache Spark<\/strong><\/h1>\n Dieser Abschnitt enth\u00e4lt ein praktisches Beispiel f\u00fcr die Verwendung von Delta Lake mit Apache Spark. Detaillierte Anweisungen zur Einrichtung und weitere Informationen finden Sie in der Delta Lake-Dokumentation<\/a>. Der Einfachheit halber werden wir Python verwenden und anhand von Notebook-Zellen demonstrieren, wie Sie die Funktionen von Delta Lake nutzen k\u00f6nnen. <\/p>\nEinrichtung und Initialisierung<\/strong><\/h3>\n Um Delta Lake mit Apache Spark zu integrieren, haben Sie mehrere flexible M\u00f6glichkeiten: <\/p>\n
\n- Interactive Shell:<\/strong> Verwenden Sie PySpark oder die Spark Scala-Shell f\u00fcr die direkte Interaktion. Sie k\u00f6nnen PySpark mit Delta Lake mit pip oder die Scala-Shell mit bin\/spark-shell von Spark einrichten, beide mit Delta Lake-Abh\u00e4ngigkeiten und -Konfigurationen. <\/li>\n
- Projekt einrichten:<\/strong> Erstellen Sie ein Projekt mit Delta Lake unter Verwendung von Maven oder SBT f\u00fcr Scala\/Java, oder konfigurieren Sie Python-Projekte mit pip und delta-spark. Dieses Setup erm\u00f6glicht eine skalierbare Entwicklung und Integration in gr\u00f6\u00dfere Anwendungen. <\/li>\n<\/ul>\n
Installation der Bibliothek f\u00fcr die Demo<\/strong><\/h3>\n F\u00fcr die Demo haben wir uns entschieden, den Code in einer lokalen Jupyter Notebook-Umgebung auszuf\u00fchren. Bitte installieren Sie die erforderlichen Bibliotheken mit Python, um die Demo einzurichten: !pip install pyspark delta-spark Vergewissern Sie sich, dass das Jupyter-Notebook lokal installiert ist und geben Sie dann im Terminal ein: jupyter notebook Dieser Befehl richtet PySpark und Delta Lake f\u00fcr die interaktive Nutzung ein und stellt sicher, dass Sie die f\u00fcr die Datenverarbeitung und -verwaltung erforderlichen Tools in Ihrer Umgebung haben. 4.3 Einrichten von Spark mit Delta Lake<\/strong> Um Delta Lake mit Apache Spark in Ihrer Python-Umgebung zu verwenden, m\u00fcssen Sie zun\u00e4chst eine SparkSession mit den erforderlichen Delta Lake-Konfigurationen initialisieren. Diese Einrichtung erm\u00f6glicht es Ihnen, die Funktionen von Delta Lake wie ACID-Transaktionen und Schemaentwicklung in Ihren Spark-Anwendungen zu nutzen. Hier erfahren Sie, wie Sie Spark mit Delta Lake konfigurieren k\u00f6nnen:<\/p>\n<\/div><\/span><\/div>Laden von Beispieldaten<\/strong><\/h3>\n Dieses Codeschnipsel liest eine CSV-Datei in einen Spark DataFrame ein, wobei das Schema abgeleitet und die Kopfzeilen einbezogen werden. Anschlie\u00dfend zeigt er die ersten 5 Zeilen des DataFrame an und liefert eine Zusammenfassung der Statistiken des Datensatzes.<\/p>\n<\/div>
<\/span><\/div>Schreiben und Lesen von Daten mit Delta Lake<\/strong><\/h3>\n In diesem Abschnitt wird gezeigt, wie Sie Daten in eine Delta Lake-Tabelle schreiben und dann wieder zur\u00fccklesen. Der Code speichert den DataFrame in einer Delta Lake-Tabelle unter dem angegebenen Pfad und liest ihn dann in einen neuen DataFrame zur\u00fcck und zeigt die Ergebnisse an.<\/p>\n<\/div>
<\/span><\/div>Hinzuf\u00fcgen und Lesen neuer Daten mit der Schemaverwaltung<\/strong><\/h3>\n In diesem Abschnitt wird gezeigt, wie Sie neue Daten zu einer Delta Lake-Tabelle hinzuf\u00fcgen und Schema\u00e4nderungen handhaben k\u00f6nnen. Das folgende Codeschnipsel zeigt, wie Sie neue Daten zu einer Delta Lake-Tabelle hinzuf\u00fcgen und gleichzeitig die Schemaentwicklung verwalten k\u00f6nnen. Es f\u00fcgt neue Datens\u00e4tze an die Tabelle an und stellt die Konsistenz sicher, indem es die aktualisierten Daten nach jeder Transaktion anzeigt.<\/p>\n<\/div>
<\/span><\/div><\/span><\/div>Hinzuf\u00fcgen neuer Spalten und Schemaentwicklung<\/strong><\/h3>\n In diesem Abschnitt wird erl\u00e4utert, wie Sie einer bestehenden Delta Lake-Tabelle neue Spalten hinzuf\u00fcgen und ihr Schema aktualisieren. Mit der Option mergeSchema wird das Schema nahtlos weiterentwickelt, so dass neue Spalten integriert werden k\u00f6nnen, ohne die vorhandenen Daten zu beeintr\u00e4chtigen.<\/p>\n<\/div>
<\/span><\/div>Zeitreise und Versionswiederherstellung<\/strong><\/h3>\n Dieser Abschnitt demonstriert die Zeitreisefunktion von Delta Lake. Durch die Angabe von versionAsOf oder timestampAsOf k\u00f6nnen Sie fr\u00fchere Versionen der Tabelle abfragen und wiederherstellen und so sicherstellen, dass Daten aus fr\u00fcheren Zust\u00e4nden wiederhergestellt oder gepr\u00fcft werden k\u00f6nnen.<\/p>\n<\/div>
<\/span><\/div><\/span><\/div>Optimieren mit Z-Ordering<\/strong><\/h3>\n In diesem Abschnitt verwenden wir Z-Ordering zur Optimierung der Delta-Tabelle. Z-Ordering ist eine Technik in Delta Lake, die die Abfrageleistung verbessert, indem zusammengeh\u00f6rige Daten im Speicher zusammengelegt werden. Der Befehl optimize().executeZOrderBy(„PickupZip“) reorganisiert die Datendateien, um die Zugriffsmuster f\u00fcr Abfragen zu optimieren, die nach PickupZip filtern. Eine visuelle Erkl\u00e4rung der Z-Ordnung und ihrer Auswirkungen auf die Abfrageeffizienz finden Sie in der nebenstehenden Abbildung.<\/p>\n<\/div>
<\/a><\/span><\/div>Nachfolgend finden Sie dieses Codeschnipsel:<\/p>\n<\/div>
<\/span><\/div>Streaming-Daten und Upsert-Operationen<\/strong><\/h3>\n <\/strong>In diesem Abschnitt zeigen wir Ihnen, wie Sie mit Delta Lake Streaming-Daten verarbeiten und Upsert-Operationen durchf\u00fchren k\u00f6nnen. <\/p>\n\n- Streaming-Datenquelle:<\/strong> Wir richten eine Streaming-Quelle mit spark.readStream.format(„rate“).load() ein, die einen Datenstrom simuliert. Diese Daten werden dann in die Delta-Tabelle mit einem Checkpoint-Verzeichnis geschrieben, um Fehlertoleranz und Konsistenz zu gew\u00e4hrleisten.<\/li>\n
- Streaming-Daten lesen:<\/strong> Die Streaming-Daten werden aus der Delta-Tabelle gelesen und in der Konsole angezeigt. Diese Einstellung erm\u00f6glicht Aktualisierungen und \u00dcberwachung in Echtzeit. <\/li>\n
- Upsert Operation:<\/strong> Wir verwenden die Zusammenf\u00fchrungsfunktion von Delta Lake, um eine Upsert-Operation durchzuf\u00fchren, die bestehende Datens\u00e4tze aktualisiert oder neue Datens\u00e4tze auf der Grundlage einer passenden Bedingung einf\u00fcgt. Dieser Vorgang ist wichtig, um aktuelle und genaue Daten in Echtzeitszenarien zu erhalten. <\/li>\n
- Datenl\u00f6schung und -verdichtung:<\/strong> Wir demonstrieren die Datenl\u00f6schung und Dateikompaktierung mit deltaTable.delete() und deltaTable.vacuum(), die zur Verwaltung der Datengr\u00f6\u00dfe und Leistung beitragen.<\/li>\n<\/ol>\n<\/div><\/span><\/div>
Um ein vollst\u00e4ndiges Verst\u00e4ndnis zu erhalten, sehen Sie sich das mitgelieferte Diagramm an, das den Datenfluss und die Interaktion zwischen Streaming-Datenquellen und Delta Lake veranschaulicht.<\/p>\n<\/div>
<\/a><\/span>spark_delta_1<\/h2><\/div><\/div><\/div><\/a><\/span><\/div>Der Upsert-Vorgang war erfolgreich, wie die aktualisierte erste Zeile der Daten zeigt. Au\u00dferdem wurden die veralteten Dateien durch die Vakuumoperation effektiv bereinigt.<\/p>\n<\/div>
<\/span><\/div>Wir k\u00f6nnen nun den L\u00f6schvorgang \u00fcberpr\u00fcfen, indem wir die Daten aus dem Stream abrufen und sicherstellen, dass die zuvor gel\u00f6schte erste Zeile nicht mehr erscheint.<\/p>\n<\/div>
<\/span><\/div>Deltatabelle anzeigen – Verlauf und Aufr\u00e4umen<\/strong><\/h3>\n In diesem Abschnitt wird gezeigt, wie Sie die historischen \u00c4nderungen in einer Delta-Tabelle anzeigen und eine Datenbereinigung durchf\u00fchren k\u00f6nnen.<\/p>\n<\/div>
<\/span><\/div>Mit diesem Code k\u00f6nnen Sie die \u00c4nderungshistorie der Delta-Tabelle einsehen, was Ihnen hilft, \u00c4nderungen zu verfolgen und die Entwicklung Ihrer Daten zu verstehen. Die Vakuum-Operation wird verwendet, um alte, nicht mehr ben\u00f6tigte Datendateien zu bereinigen, wobei nur die Dateien der letzten angegebenen Anzahl von Stunden (168 Stunden = 7 Tage) erhalten bleiben. Wir werden untersuchen, wie Delta Lake Metadaten f\u00fcr Skalierbarkeit und Auditing handhabt. Delta Lake f\u00fchrt ein detailliertes Protokoll aller \u00c4nderungen an Ihren Daten, das als JSON-Dateien in einem Verzeichnis namens _delta_log gespeichert wird. In diesen Protokollen werden alle \u00c4nderungen, Hinzuf\u00fcgungen und L\u00f6schungen protokolliert, so dass Sie einen umfassenden \u00dcberblick \u00fcber alle Transaktionen erhalten. Anhand dieser Protokolle k\u00f6nnen Sie \u00fcberpr\u00fcfen, wie effizient Delta Lake Metadaten im gro\u00dfen Ma\u00dfstab verwaltet und dabei sowohl Skalierbarkeit als auch Nachvollziehbarkeit gew\u00e4hrleistet. Ich mache einen Screenshot, der das Verzeichnis und diese Protokolldateien zeigt, um zu veranschaulichen, wie Delta Lake die \u00c4nderungsdetails f\u00fcr eine robuste Datenverwaltung erfasst und organisiert. <\/p>\n
Speicher Core Unit<\/strong><\/h1>\n In Delta Lake ist eine Tabelle eine Sammlung von Daten, die in einem Schema und einer Verzeichnisstruktur organisiert sind. Sie stellt die grundlegende Einheit der Speicherung dar. Hier ist es die lokale Darstellung der Delta-Tabelle:<\/p>\n<\/div>
<\/span><\/div>
<\/a><\/span>Warum Delta Lake verwenden?<\/strong><\/h3>\n Delta Lake l\u00f6st mehrere g\u00e4ngige Probleme bei der Datenverwaltung und -verarbeitung: <\/p>\n
\n- Open Source<\/strong>: Angetrieben von Beitr\u00e4gen der Community und unterst\u00fctzt von Databricks mit offenen Standards und Protokollen.<\/li>\n
- ACID-Transaktionen<\/strong>: Sorgt f\u00fcr zuverl\u00e4ssige und konsistente Datenoperationen mit starker Isolierung.<\/li>\n
- Zeitreise<\/strong>: Erm\u00f6glicht die Abfrage von fr\u00fcheren Datenversionen f\u00fcr Audits und Rollbacks.<\/li>\n
- Schema-Entwicklung<\/strong>: Unterst\u00fctzt Schema\u00e4nderungen ohne Unterbrechung des laufenden Betriebs.<\/li>\n
- Gleichzeitige Schreibvorg\u00e4nge<\/strong>: Erm\u00f6glicht das gleichzeitige Schreiben von Daten, was f\u00fcr umfangreiche Anwendungen entscheidend ist.<\/li>\n
- Optimierung der Leistung<\/strong>: Funktionen wie Z-Ordering und das \u00dcberspringen von Daten verbessern die Abfragegeschwindigkeit.<\/li>\n
- Skalierbare Metadaten<\/strong>: Verwalten Sie umfangreiche Datens\u00e4tze mit Milliarden von Partitionen und Dateien.<\/li>\n
- Vereinheitlichtes Batch\/Streaming<\/strong>: Erm\u00f6glicht eine Exact-once-Semantik f\u00fcr Batch- und Streaming-Daten.<\/li>\n
- Audit-Verlauf<\/strong>: Bietet einen vollst\u00e4ndigen Pr\u00fcfpfad mit detaillierten Protokollen aller Daten\u00e4nderungen.<\/li>\n
- DML-Operationen<\/strong>: Bietet flexible APIs (SQL, Scala\/Java, Python) f\u00fcr Datenmanipulationsaufgaben.<\/li>\n<\/ul>\n<\/div>
Einf\u00fchrung in Apache Spark<\/strong><\/h1>\n Apache Spark ist eine einheitliche Analyse-Engine f\u00fcr die Verarbeitung gro\u00dfer Datenmengen mit integrierten Modulen f\u00fcr Streaming, SQL, maschinelles Lernen und Graphverarbeitung. Die verteilten Rechenfunktionen von Spark machen es zu einem leistungsstarken Werkzeug f\u00fcr die schnelle und effiziente Verarbeitung gro\u00dfer Datenmengen. Zu den wichtigsten Funktionen von Spark geh\u00f6ren die In-Memory-Datenverarbeitung, die erweiterte Abfrageoptimierung und die Unterst\u00fctzung verschiedener Datenquellen und -formate. Spark Core<\/strong>: Verwaltet die Planung von Aufgaben und die Speicherverwaltung. <\/p>\n\n- Spark SQL<\/strong>: Bietet Funktionen zur Datenabfrage.<\/li>\n
- Spark Streaming<\/strong>: Verarbeitet Daten in Echtzeit.<\/li>\n
- MLlib<\/strong>: F\u00fcr maschinelles Lernen.<\/li>\n
- GraphX<\/strong>: F\u00fcr die Verarbeitung von Graphen.<\/li>\n<\/ul>\n<\/div><\/span><\/div>
Verbesserung von Spark mit Delta Lake<\/strong><\/h1>\n Delta Lake erweitert Apache Spark durch die Integration einer leistungsstarken Schicht, die die Datenverwaltung und -verarbeitung verbessert. Urspr\u00fcnglich exklusiv f\u00fcr Databricks, ist es jetzt Open Source unter der Apache License V2. Delta Lake l\u00e4sst sich nahtlos in bestehende Speichersysteme integrieren und bietet eine einheitliche Plattform f\u00fcr die Batch- und Streaming-Datenverarbeitung, die Datenkonsistenz, eine einfache Schemaverwaltung und die M\u00f6glichkeit zur Abfrage historischer Datenversionen gew\u00e4hrleistet. Im Folgenden finden Sie einen kurzen \u00dcberblick dar\u00fcber, wie Delta Lake Spark erweitert und wie der Datenfluss und die Interaktionspunkte aussehen: <\/p>\n
\n- Daten-Ingestion<\/strong>:\n
\n- Quellen<\/strong>: Delta Lake erm\u00f6glicht die nahtlose Aufnahme von Daten aus verschiedenen Quellen, einschlie\u00dflich Cloud Object Stores, Datenbanken und Streaming-Plattformen.<\/li>\n
- Integration<\/strong>: Die Daten werden in Delta Lake-Tabellen eingelesen, die sowohl f\u00fcr Batch- als auch f\u00fcr Streaming-Operationen optimiert sind. Diese Integration unterst\u00fctzt die Aufnahme von Daten mit hohem Durchsatz und minimaler Latenz. <\/li>\n<\/ul>\n<\/li>\n
- Datenverarbeitung<\/strong>:\n
\n- Spark-Integration<\/strong>: Sobald sich die Daten in Delta Lake-Tabellen befinden, verarbeitet Spark sie effizient mit seinen verteilten Rechenfunktionen.<\/li>\n
- ACID-Transaktionen<\/strong>: Delta Lake bietet ACID-Transaktionen, um die Datenkonsistenz w\u00e4hrend der Verarbeitung sicherzustellen. Dies garantiert, dass alle Vorg\u00e4nge korrekt abgeschlossen werden und im Falle von Fehlern Rollback-Funktionen zur Verf\u00fcgung stehen. <\/li>\n<\/ul>\n<\/li>\n
- Datenverwaltung<\/strong>:\n
\n- Schema-Entwicklung<\/strong>: Delta Lake vereinfacht die Schemaverwaltung, indem es Schema\u00e4nderungen ohne Unterbrechung des laufenden Betriebs erm\u00f6glicht. Diese Flexibilit\u00e4t ist entscheidend f\u00fcr die Anpassung an sich entwickelnde Datenstrukturen. <\/li>\n
- Zeitreise<\/strong>: Erm\u00f6glicht Benutzern den Zugriff auf und die Abfrage von fr\u00fcheren Datenversionen und erleichtert so Audits, Rollbacks und die Analyse historischer Daten.<\/li>\n<\/ul>\n<\/li>\n
- Daten abfragen<\/strong>:\n
\n- Spark SQL<\/strong>: Benutzer k\u00f6nnen Spark SQL nutzen, um komplexe Abfragen auf Delta Lake-Tabellen auszuf\u00fchren. Die Optimierungen von Delta Lake, wie z.B. das \u00dcberspringen von Daten und Z-Ordering, verbessern die Abfrageleistung und reduzieren die Ausf\u00fchrungszeiten. <\/li>\n<\/ul>\n<\/li>\n<\/ol>\n
Delta Lake erweitert die F\u00e4higkeiten von Apache Spark, indem es ein robustes Framework f\u00fcr die Datenverwaltung bietet. Seine Funktionen – ACID-Transaktionen, Schema-Evolution und Zeitreisen – verbessern die Leistung, Datenzuverl\u00e4ssigkeit und Flexibilit\u00e4t von Spark. Diese Integration stellt sicher, dass Spark-Anwender von einer verbesserten Datenkonsistenz, optimierten Schemaanpassungen und leistungsstarken Abfragefunktionen profitieren.<\/p>\n<\/div>
<\/span><\/div>Praktisches Beispiel: Delta Lake mit Apache Spark<\/strong><\/h1>\n Dieser Abschnitt enth\u00e4lt ein praktisches Beispiel f\u00fcr die Verwendung von Delta Lake mit Apache Spark. Detaillierte Anweisungen zur Einrichtung und weitere Informationen finden Sie in der Delta Lake-Dokumentation<\/a>. Der Einfachheit halber werden wir Python verwenden und anhand von Notebook-Zellen demonstrieren, wie Sie die Funktionen von Delta Lake nutzen k\u00f6nnen. <\/p>\nEinrichtung und Initialisierung<\/strong><\/h3>\n Um Delta Lake mit Apache Spark zu integrieren, haben Sie mehrere flexible M\u00f6glichkeiten: <\/p>\n
\n- Interactive Shell:<\/strong> Verwenden Sie PySpark oder die Spark Scala-Shell f\u00fcr die direkte Interaktion. Sie k\u00f6nnen PySpark mit Delta Lake mit pip oder die Scala-Shell mit bin\/spark-shell von Spark einrichten, beide mit Delta Lake-Abh\u00e4ngigkeiten und -Konfigurationen. <\/li>\n
- Projekt einrichten:<\/strong> Erstellen Sie ein Projekt mit Delta Lake unter Verwendung von Maven oder SBT f\u00fcr Scala\/Java, oder konfigurieren Sie Python-Projekte mit pip und delta-spark. Dieses Setup erm\u00f6glicht eine skalierbare Entwicklung und Integration in gr\u00f6\u00dfere Anwendungen. <\/li>\n<\/ul>\n
Installation der Bibliothek f\u00fcr die Demo<\/strong><\/h3>\n F\u00fcr die Demo haben wir uns entschieden, den Code in einer lokalen Jupyter Notebook-Umgebung auszuf\u00fchren. Bitte installieren Sie die erforderlichen Bibliotheken mit Python, um die Demo einzurichten: !pip install pyspark delta-spark Vergewissern Sie sich, dass das Jupyter-Notebook lokal installiert ist und geben Sie dann im Terminal ein: jupyter notebook Dieser Befehl richtet PySpark und Delta Lake f\u00fcr die interaktive Nutzung ein und stellt sicher, dass Sie die f\u00fcr die Datenverarbeitung und -verwaltung erforderlichen Tools in Ihrer Umgebung haben. 4.3 Einrichten von Spark mit Delta Lake<\/strong> Um Delta Lake mit Apache Spark in Ihrer Python-Umgebung zu verwenden, m\u00fcssen Sie zun\u00e4chst eine SparkSession mit den erforderlichen Delta Lake-Konfigurationen initialisieren. Diese Einrichtung erm\u00f6glicht es Ihnen, die Funktionen von Delta Lake wie ACID-Transaktionen und Schemaentwicklung in Ihren Spark-Anwendungen zu nutzen. Hier erfahren Sie, wie Sie Spark mit Delta Lake konfigurieren k\u00f6nnen:<\/p>\n<\/div><\/span><\/div>Laden von Beispieldaten<\/strong><\/h3>\n Dieses Codeschnipsel liest eine CSV-Datei in einen Spark DataFrame ein, wobei das Schema abgeleitet und die Kopfzeilen einbezogen werden. Anschlie\u00dfend zeigt er die ersten 5 Zeilen des DataFrame an und liefert eine Zusammenfassung der Statistiken des Datensatzes.<\/p>\n<\/div>
<\/span><\/div>Schreiben und Lesen von Daten mit Delta Lake<\/strong><\/h3>\n In diesem Abschnitt wird gezeigt, wie Sie Daten in eine Delta Lake-Tabelle schreiben und dann wieder zur\u00fccklesen. Der Code speichert den DataFrame in einer Delta Lake-Tabelle unter dem angegebenen Pfad und liest ihn dann in einen neuen DataFrame zur\u00fcck und zeigt die Ergebnisse an.<\/p>\n<\/div>
<\/span><\/div>Hinzuf\u00fcgen und Lesen neuer Daten mit der Schemaverwaltung<\/strong><\/h3>\n In diesem Abschnitt wird gezeigt, wie Sie neue Daten zu einer Delta Lake-Tabelle hinzuf\u00fcgen und Schema\u00e4nderungen handhaben k\u00f6nnen. Das folgende Codeschnipsel zeigt, wie Sie neue Daten zu einer Delta Lake-Tabelle hinzuf\u00fcgen und gleichzeitig die Schemaentwicklung verwalten k\u00f6nnen. Es f\u00fcgt neue Datens\u00e4tze an die Tabelle an und stellt die Konsistenz sicher, indem es die aktualisierten Daten nach jeder Transaktion anzeigt.<\/p>\n<\/div>
<\/span><\/div><\/span><\/div>Hinzuf\u00fcgen neuer Spalten und Schemaentwicklung<\/strong><\/h3>\n In diesem Abschnitt wird erl\u00e4utert, wie Sie einer bestehenden Delta Lake-Tabelle neue Spalten hinzuf\u00fcgen und ihr Schema aktualisieren. Mit der Option mergeSchema wird das Schema nahtlos weiterentwickelt, so dass neue Spalten integriert werden k\u00f6nnen, ohne die vorhandenen Daten zu beeintr\u00e4chtigen.<\/p>\n<\/div>
<\/span><\/div>Zeitreise und Versionswiederherstellung<\/strong><\/h3>\n Dieser Abschnitt demonstriert die Zeitreisefunktion von Delta Lake. Durch die Angabe von versionAsOf oder timestampAsOf k\u00f6nnen Sie fr\u00fchere Versionen der Tabelle abfragen und wiederherstellen und so sicherstellen, dass Daten aus fr\u00fcheren Zust\u00e4nden wiederhergestellt oder gepr\u00fcft werden k\u00f6nnen.<\/p>\n<\/div>
<\/span><\/div><\/span><\/div>Optimieren mit Z-Ordering<\/strong><\/h3>\n In diesem Abschnitt verwenden wir Z-Ordering zur Optimierung der Delta-Tabelle. Z-Ordering ist eine Technik in Delta Lake, die die Abfrageleistung verbessert, indem zusammengeh\u00f6rige Daten im Speicher zusammengelegt werden. Der Befehl optimize().executeZOrderBy(„PickupZip“) reorganisiert die Datendateien, um die Zugriffsmuster f\u00fcr Abfragen zu optimieren, die nach PickupZip filtern. Eine visuelle Erkl\u00e4rung der Z-Ordnung und ihrer Auswirkungen auf die Abfrageeffizienz finden Sie in der nebenstehenden Abbildung.<\/p>\n<\/div>
<\/a><\/span><\/div>Nachfolgend finden Sie dieses Codeschnipsel:<\/p>\n<\/div>
<\/span><\/div>Streaming-Daten und Upsert-Operationen<\/strong><\/h3>\n <\/strong>In diesem Abschnitt zeigen wir Ihnen, wie Sie mit Delta Lake Streaming-Daten verarbeiten und Upsert-Operationen durchf\u00fchren k\u00f6nnen. <\/p>\n\n- Streaming-Datenquelle:<\/strong> Wir richten eine Streaming-Quelle mit spark.readStream.format(„rate“).load() ein, die einen Datenstrom simuliert. Diese Daten werden dann in die Delta-Tabelle mit einem Checkpoint-Verzeichnis geschrieben, um Fehlertoleranz und Konsistenz zu gew\u00e4hrleisten.<\/li>\n
- Streaming-Daten lesen:<\/strong> Die Streaming-Daten werden aus der Delta-Tabelle gelesen und in der Konsole angezeigt. Diese Einstellung erm\u00f6glicht Aktualisierungen und \u00dcberwachung in Echtzeit. <\/li>\n
- Upsert Operation:<\/strong> Wir verwenden die Zusammenf\u00fchrungsfunktion von Delta Lake, um eine Upsert-Operation durchzuf\u00fchren, die bestehende Datens\u00e4tze aktualisiert oder neue Datens\u00e4tze auf der Grundlage einer passenden Bedingung einf\u00fcgt. Dieser Vorgang ist wichtig, um aktuelle und genaue Daten in Echtzeitszenarien zu erhalten. <\/li>\n
- Datenl\u00f6schung und -verdichtung:<\/strong> Wir demonstrieren die Datenl\u00f6schung und Dateikompaktierung mit deltaTable.delete() und deltaTable.vacuum(), die zur Verwaltung der Datengr\u00f6\u00dfe und Leistung beitragen.<\/li>\n<\/ol>\n<\/div><\/span><\/div>
Um ein vollst\u00e4ndiges Verst\u00e4ndnis zu erhalten, sehen Sie sich das mitgelieferte Diagramm an, das den Datenfluss und die Interaktion zwischen Streaming-Datenquellen und Delta Lake veranschaulicht.<\/p>\n<\/div>
<\/a><\/span>spark_delta_1<\/h2><\/div><\/div><\/div><\/a><\/span><\/div>Der Upsert-Vorgang war erfolgreich, wie die aktualisierte erste Zeile der Daten zeigt. Au\u00dferdem wurden die veralteten Dateien durch die Vakuumoperation effektiv bereinigt.<\/p>\n<\/div>
<\/span><\/div>Wir k\u00f6nnen nun den L\u00f6schvorgang \u00fcberpr\u00fcfen, indem wir die Daten aus dem Stream abrufen und sicherstellen, dass die zuvor gel\u00f6schte erste Zeile nicht mehr erscheint.<\/p>\n<\/div>
<\/span><\/div>Deltatabelle anzeigen – Verlauf und Aufr\u00e4umen<\/strong><\/h3>\n In diesem Abschnitt wird gezeigt, wie Sie die historischen \u00c4nderungen in einer Delta-Tabelle anzeigen und eine Datenbereinigung durchf\u00fchren k\u00f6nnen.<\/p>\n<\/div>
<\/span><\/div>Mit diesem Code k\u00f6nnen Sie die \u00c4nderungshistorie der Delta-Tabelle einsehen, was Ihnen hilft, \u00c4nderungen zu verfolgen und die Entwicklung Ihrer Daten zu verstehen. Die Vakuum-Operation wird verwendet, um alte, nicht mehr ben\u00f6tigte Datendateien zu bereinigen, wobei nur die Dateien der letzten angegebenen Anzahl von Stunden (168 Stunden = 7 Tage) erhalten bleiben. Wir werden untersuchen, wie Delta Lake Metadaten f\u00fcr Skalierbarkeit und Auditing handhabt. Delta Lake f\u00fchrt ein detailliertes Protokoll aller \u00c4nderungen an Ihren Daten, das als JSON-Dateien in einem Verzeichnis namens _delta_log gespeichert wird. In diesen Protokollen werden alle \u00c4nderungen, Hinzuf\u00fcgungen und L\u00f6schungen protokolliert, so dass Sie einen umfassenden \u00dcberblick \u00fcber alle Transaktionen erhalten. Anhand dieser Protokolle k\u00f6nnen Sie \u00fcberpr\u00fcfen, wie effizient Delta Lake Metadaten im gro\u00dfen Ma\u00dfstab verwaltet und dabei sowohl Skalierbarkeit als auch Nachvollziehbarkeit gew\u00e4hrleistet. Ich mache einen Screenshot, der das Verzeichnis und diese Protokolldateien zeigt, um zu veranschaulichen, wie Delta Lake die \u00c4nderungsdetails f\u00fcr eine robuste Datenverwaltung erfasst und organisiert. <\/p>\n
Speicher Core Unit<\/strong><\/h1>\n In Delta Lake ist eine Tabelle eine Sammlung von Daten, die in einem Schema und einer Verzeichnisstruktur organisiert sind. Sie stellt die grundlegende Einheit der Speicherung dar. Hier ist es die lokale Darstellung der Delta-Tabelle:<\/p>\n<\/div>
<\/span><\/div>
Einf\u00fchrung in Apache Spark<\/strong><\/h1>\n Apache Spark ist eine einheitliche Analyse-Engine f\u00fcr die Verarbeitung gro\u00dfer Datenmengen mit integrierten Modulen f\u00fcr Streaming, SQL, maschinelles Lernen und Graphverarbeitung. Die verteilten Rechenfunktionen von Spark machen es zu einem leistungsstarken Werkzeug f\u00fcr die schnelle und effiziente Verarbeitung gro\u00dfer Datenmengen. Zu den wichtigsten Funktionen von Spark geh\u00f6ren die In-Memory-Datenverarbeitung, die erweiterte Abfrageoptimierung und die Unterst\u00fctzung verschiedener Datenquellen und -formate. Spark Core<\/strong>: Verwaltet die Planung von Aufgaben und die Speicherverwaltung. <\/p>\n\n- Spark SQL<\/strong>: Bietet Funktionen zur Datenabfrage.<\/li>\n
- Spark Streaming<\/strong>: Verarbeitet Daten in Echtzeit.<\/li>\n
- MLlib<\/strong>: F\u00fcr maschinelles Lernen.<\/li>\n
- GraphX<\/strong>: F\u00fcr die Verarbeitung von Graphen.<\/li>\n<\/ul>\n<\/div><\/span><\/div>
Verbesserung von Spark mit Delta Lake<\/strong><\/h1>\n Delta Lake erweitert Apache Spark durch die Integration einer leistungsstarken Schicht, die die Datenverwaltung und -verarbeitung verbessert. Urspr\u00fcnglich exklusiv f\u00fcr Databricks, ist es jetzt Open Source unter der Apache License V2. Delta Lake l\u00e4sst sich nahtlos in bestehende Speichersysteme integrieren und bietet eine einheitliche Plattform f\u00fcr die Batch- und Streaming-Datenverarbeitung, die Datenkonsistenz, eine einfache Schemaverwaltung und die M\u00f6glichkeit zur Abfrage historischer Datenversionen gew\u00e4hrleistet. Im Folgenden finden Sie einen kurzen \u00dcberblick dar\u00fcber, wie Delta Lake Spark erweitert und wie der Datenfluss und die Interaktionspunkte aussehen: <\/p>\n
\n- Daten-Ingestion<\/strong>:\n
\n- Quellen<\/strong>: Delta Lake erm\u00f6glicht die nahtlose Aufnahme von Daten aus verschiedenen Quellen, einschlie\u00dflich Cloud Object Stores, Datenbanken und Streaming-Plattformen.<\/li>\n
- Integration<\/strong>: Die Daten werden in Delta Lake-Tabellen eingelesen, die sowohl f\u00fcr Batch- als auch f\u00fcr Streaming-Operationen optimiert sind. Diese Integration unterst\u00fctzt die Aufnahme von Daten mit hohem Durchsatz und minimaler Latenz. <\/li>\n<\/ul>\n<\/li>\n
- Datenverarbeitung<\/strong>:\n
\n- Spark-Integration<\/strong>: Sobald sich die Daten in Delta Lake-Tabellen befinden, verarbeitet Spark sie effizient mit seinen verteilten Rechenfunktionen.<\/li>\n
- ACID-Transaktionen<\/strong>: Delta Lake bietet ACID-Transaktionen, um die Datenkonsistenz w\u00e4hrend der Verarbeitung sicherzustellen. Dies garantiert, dass alle Vorg\u00e4nge korrekt abgeschlossen werden und im Falle von Fehlern Rollback-Funktionen zur Verf\u00fcgung stehen. <\/li>\n<\/ul>\n<\/li>\n
- Datenverwaltung<\/strong>:\n
\n- Schema-Entwicklung<\/strong>: Delta Lake vereinfacht die Schemaverwaltung, indem es Schema\u00e4nderungen ohne Unterbrechung des laufenden Betriebs erm\u00f6glicht. Diese Flexibilit\u00e4t ist entscheidend f\u00fcr die Anpassung an sich entwickelnde Datenstrukturen. <\/li>\n
- Zeitreise<\/strong>: Erm\u00f6glicht Benutzern den Zugriff auf und die Abfrage von fr\u00fcheren Datenversionen und erleichtert so Audits, Rollbacks und die Analyse historischer Daten.<\/li>\n<\/ul>\n<\/li>\n
- Daten abfragen<\/strong>:\n
\n- Spark SQL<\/strong>: Benutzer k\u00f6nnen Spark SQL nutzen, um komplexe Abfragen auf Delta Lake-Tabellen auszuf\u00fchren. Die Optimierungen von Delta Lake, wie z.B. das \u00dcberspringen von Daten und Z-Ordering, verbessern die Abfrageleistung und reduzieren die Ausf\u00fchrungszeiten. <\/li>\n<\/ul>\n<\/li>\n<\/ol>\n
Delta Lake erweitert die F\u00e4higkeiten von Apache Spark, indem es ein robustes Framework f\u00fcr die Datenverwaltung bietet. Seine Funktionen – ACID-Transaktionen, Schema-Evolution und Zeitreisen – verbessern die Leistung, Datenzuverl\u00e4ssigkeit und Flexibilit\u00e4t von Spark. Diese Integration stellt sicher, dass Spark-Anwender von einer verbesserten Datenkonsistenz, optimierten Schemaanpassungen und leistungsstarken Abfragefunktionen profitieren.<\/p>\n<\/div>
<\/span><\/div>Praktisches Beispiel: Delta Lake mit Apache Spark<\/strong><\/h1>\n Dieser Abschnitt enth\u00e4lt ein praktisches Beispiel f\u00fcr die Verwendung von Delta Lake mit Apache Spark. Detaillierte Anweisungen zur Einrichtung und weitere Informationen finden Sie in der Delta Lake-Dokumentation<\/a>. Der Einfachheit halber werden wir Python verwenden und anhand von Notebook-Zellen demonstrieren, wie Sie die Funktionen von Delta Lake nutzen k\u00f6nnen. <\/p>\nEinrichtung und Initialisierung<\/strong><\/h3>\n Um Delta Lake mit Apache Spark zu integrieren, haben Sie mehrere flexible M\u00f6glichkeiten: <\/p>\n
\n- Interactive Shell:<\/strong> Verwenden Sie PySpark oder die Spark Scala-Shell f\u00fcr die direkte Interaktion. Sie k\u00f6nnen PySpark mit Delta Lake mit pip oder die Scala-Shell mit bin\/spark-shell von Spark einrichten, beide mit Delta Lake-Abh\u00e4ngigkeiten und -Konfigurationen. <\/li>\n
- Projekt einrichten:<\/strong> Erstellen Sie ein Projekt mit Delta Lake unter Verwendung von Maven oder SBT f\u00fcr Scala\/Java, oder konfigurieren Sie Python-Projekte mit pip und delta-spark. Dieses Setup erm\u00f6glicht eine skalierbare Entwicklung und Integration in gr\u00f6\u00dfere Anwendungen. <\/li>\n<\/ul>\n
Installation der Bibliothek f\u00fcr die Demo<\/strong><\/h3>\n F\u00fcr die Demo haben wir uns entschieden, den Code in einer lokalen Jupyter Notebook-Umgebung auszuf\u00fchren. Bitte installieren Sie die erforderlichen Bibliotheken mit Python, um die Demo einzurichten: !pip install pyspark delta-spark Vergewissern Sie sich, dass das Jupyter-Notebook lokal installiert ist und geben Sie dann im Terminal ein: jupyter notebook Dieser Befehl richtet PySpark und Delta Lake f\u00fcr die interaktive Nutzung ein und stellt sicher, dass Sie die f\u00fcr die Datenverarbeitung und -verwaltung erforderlichen Tools in Ihrer Umgebung haben. 4.3 Einrichten von Spark mit Delta Lake<\/strong> Um Delta Lake mit Apache Spark in Ihrer Python-Umgebung zu verwenden, m\u00fcssen Sie zun\u00e4chst eine SparkSession mit den erforderlichen Delta Lake-Konfigurationen initialisieren. Diese Einrichtung erm\u00f6glicht es Ihnen, die Funktionen von Delta Lake wie ACID-Transaktionen und Schemaentwicklung in Ihren Spark-Anwendungen zu nutzen. Hier erfahren Sie, wie Sie Spark mit Delta Lake konfigurieren k\u00f6nnen:<\/p>\n<\/div><\/span><\/div>Laden von Beispieldaten<\/strong><\/h3>\n Dieses Codeschnipsel liest eine CSV-Datei in einen Spark DataFrame ein, wobei das Schema abgeleitet und die Kopfzeilen einbezogen werden. Anschlie\u00dfend zeigt er die ersten 5 Zeilen des DataFrame an und liefert eine Zusammenfassung der Statistiken des Datensatzes.<\/p>\n<\/div>
<\/span><\/div>Schreiben und Lesen von Daten mit Delta Lake<\/strong><\/h3>\n In diesem Abschnitt wird gezeigt, wie Sie Daten in eine Delta Lake-Tabelle schreiben und dann wieder zur\u00fccklesen. Der Code speichert den DataFrame in einer Delta Lake-Tabelle unter dem angegebenen Pfad und liest ihn dann in einen neuen DataFrame zur\u00fcck und zeigt die Ergebnisse an.<\/p>\n<\/div>
<\/span><\/div>Hinzuf\u00fcgen und Lesen neuer Daten mit der Schemaverwaltung<\/strong><\/h3>\n In diesem Abschnitt wird gezeigt, wie Sie neue Daten zu einer Delta Lake-Tabelle hinzuf\u00fcgen und Schema\u00e4nderungen handhaben k\u00f6nnen. Das folgende Codeschnipsel zeigt, wie Sie neue Daten zu einer Delta Lake-Tabelle hinzuf\u00fcgen und gleichzeitig die Schemaentwicklung verwalten k\u00f6nnen. Es f\u00fcgt neue Datens\u00e4tze an die Tabelle an und stellt die Konsistenz sicher, indem es die aktualisierten Daten nach jeder Transaktion anzeigt.<\/p>\n<\/div>
<\/span><\/div><\/span><\/div>Hinzuf\u00fcgen neuer Spalten und Schemaentwicklung<\/strong><\/h3>\n In diesem Abschnitt wird erl\u00e4utert, wie Sie einer bestehenden Delta Lake-Tabelle neue Spalten hinzuf\u00fcgen und ihr Schema aktualisieren. Mit der Option mergeSchema wird das Schema nahtlos weiterentwickelt, so dass neue Spalten integriert werden k\u00f6nnen, ohne die vorhandenen Daten zu beeintr\u00e4chtigen.<\/p>\n<\/div>
<\/span><\/div>Zeitreise und Versionswiederherstellung<\/strong><\/h3>\n Dieser Abschnitt demonstriert die Zeitreisefunktion von Delta Lake. Durch die Angabe von versionAsOf oder timestampAsOf k\u00f6nnen Sie fr\u00fchere Versionen der Tabelle abfragen und wiederherstellen und so sicherstellen, dass Daten aus fr\u00fcheren Zust\u00e4nden wiederhergestellt oder gepr\u00fcft werden k\u00f6nnen.<\/p>\n<\/div>
<\/span><\/div><\/span><\/div>Optimieren mit Z-Ordering<\/strong><\/h3>\n In diesem Abschnitt verwenden wir Z-Ordering zur Optimierung der Delta-Tabelle. Z-Ordering ist eine Technik in Delta Lake, die die Abfrageleistung verbessert, indem zusammengeh\u00f6rige Daten im Speicher zusammengelegt werden. Der Befehl optimize().executeZOrderBy(„PickupZip“) reorganisiert die Datendateien, um die Zugriffsmuster f\u00fcr Abfragen zu optimieren, die nach PickupZip filtern. Eine visuelle Erkl\u00e4rung der Z-Ordnung und ihrer Auswirkungen auf die Abfrageeffizienz finden Sie in der nebenstehenden Abbildung.<\/p>\n<\/div>
<\/a><\/span><\/div>Nachfolgend finden Sie dieses Codeschnipsel:<\/p>\n<\/div>
<\/span><\/div>Streaming-Daten und Upsert-Operationen<\/strong><\/h3>\n <\/strong>In diesem Abschnitt zeigen wir Ihnen, wie Sie mit Delta Lake Streaming-Daten verarbeiten und Upsert-Operationen durchf\u00fchren k\u00f6nnen. <\/p>\n\n- Streaming-Datenquelle:<\/strong> Wir richten eine Streaming-Quelle mit spark.readStream.format(„rate“).load() ein, die einen Datenstrom simuliert. Diese Daten werden dann in die Delta-Tabelle mit einem Checkpoint-Verzeichnis geschrieben, um Fehlertoleranz und Konsistenz zu gew\u00e4hrleisten.<\/li>\n
- Streaming-Daten lesen:<\/strong> Die Streaming-Daten werden aus der Delta-Tabelle gelesen und in der Konsole angezeigt. Diese Einstellung erm\u00f6glicht Aktualisierungen und \u00dcberwachung in Echtzeit. <\/li>\n
- Upsert Operation:<\/strong> Wir verwenden die Zusammenf\u00fchrungsfunktion von Delta Lake, um eine Upsert-Operation durchzuf\u00fchren, die bestehende Datens\u00e4tze aktualisiert oder neue Datens\u00e4tze auf der Grundlage einer passenden Bedingung einf\u00fcgt. Dieser Vorgang ist wichtig, um aktuelle und genaue Daten in Echtzeitszenarien zu erhalten. <\/li>\n
- Datenl\u00f6schung und -verdichtung:<\/strong> Wir demonstrieren die Datenl\u00f6schung und Dateikompaktierung mit deltaTable.delete() und deltaTable.vacuum(), die zur Verwaltung der Datengr\u00f6\u00dfe und Leistung beitragen.<\/li>\n<\/ol>\n<\/div><\/span><\/div>
Um ein vollst\u00e4ndiges Verst\u00e4ndnis zu erhalten, sehen Sie sich das mitgelieferte Diagramm an, das den Datenfluss und die Interaktion zwischen Streaming-Datenquellen und Delta Lake veranschaulicht.<\/p>\n<\/div>
<\/a><\/span>spark_delta_1<\/h2><\/div><\/div><\/div><\/a><\/span><\/div>Der Upsert-Vorgang war erfolgreich, wie die aktualisierte erste Zeile der Daten zeigt. Au\u00dferdem wurden die veralteten Dateien durch die Vakuumoperation effektiv bereinigt.<\/p>\n<\/div>
<\/span><\/div>Wir k\u00f6nnen nun den L\u00f6schvorgang \u00fcberpr\u00fcfen, indem wir die Daten aus dem Stream abrufen und sicherstellen, dass die zuvor gel\u00f6schte erste Zeile nicht mehr erscheint.<\/p>\n<\/div>
<\/span><\/div>Deltatabelle anzeigen – Verlauf und Aufr\u00e4umen<\/strong><\/h3>\n In diesem Abschnitt wird gezeigt, wie Sie die historischen \u00c4nderungen in einer Delta-Tabelle anzeigen und eine Datenbereinigung durchf\u00fchren k\u00f6nnen.<\/p>\n<\/div>
<\/span><\/div>Mit diesem Code k\u00f6nnen Sie die \u00c4nderungshistorie der Delta-Tabelle einsehen, was Ihnen hilft, \u00c4nderungen zu verfolgen und die Entwicklung Ihrer Daten zu verstehen. Die Vakuum-Operation wird verwendet, um alte, nicht mehr ben\u00f6tigte Datendateien zu bereinigen, wobei nur die Dateien der letzten angegebenen Anzahl von Stunden (168 Stunden = 7 Tage) erhalten bleiben. Wir werden untersuchen, wie Delta Lake Metadaten f\u00fcr Skalierbarkeit und Auditing handhabt. Delta Lake f\u00fchrt ein detailliertes Protokoll aller \u00c4nderungen an Ihren Daten, das als JSON-Dateien in einem Verzeichnis namens _delta_log gespeichert wird. In diesen Protokollen werden alle \u00c4nderungen, Hinzuf\u00fcgungen und L\u00f6schungen protokolliert, so dass Sie einen umfassenden \u00dcberblick \u00fcber alle Transaktionen erhalten. Anhand dieser Protokolle k\u00f6nnen Sie \u00fcberpr\u00fcfen, wie effizient Delta Lake Metadaten im gro\u00dfen Ma\u00dfstab verwaltet und dabei sowohl Skalierbarkeit als auch Nachvollziehbarkeit gew\u00e4hrleistet. Ich mache einen Screenshot, der das Verzeichnis und diese Protokolldateien zeigt, um zu veranschaulichen, wie Delta Lake die \u00c4nderungsdetails f\u00fcr eine robuste Datenverwaltung erfasst und organisiert. <\/p>\n
Speicher Core Unit<\/strong><\/h1>\n In Delta Lake ist eine Tabelle eine Sammlung von Daten, die in einem Schema und einer Verzeichnisstruktur organisiert sind. Sie stellt die grundlegende Einheit der Speicherung dar. Hier ist es die lokale Darstellung der Delta-Tabelle:<\/p>\n<\/div>
<\/span><\/div>
- \n
- Spark SQL<\/strong>: Bietet Funktionen zur Datenabfrage.<\/li>\n
- Spark Streaming<\/strong>: Verarbeitet Daten in Echtzeit.<\/li>\n
- MLlib<\/strong>: F\u00fcr maschinelles Lernen.<\/li>\n
- GraphX<\/strong>: F\u00fcr die Verarbeitung von Graphen.<\/li>\n<\/ul>\n<\/div>
<\/span><\/div>Verbesserung von Spark mit Delta Lake<\/strong><\/h1>\n
Delta Lake erweitert Apache Spark durch die Integration einer leistungsstarken Schicht, die die Datenverwaltung und -verarbeitung verbessert. Urspr\u00fcnglich exklusiv f\u00fcr Databricks, ist es jetzt Open Source unter der Apache License V2. Delta Lake l\u00e4sst sich nahtlos in bestehende Speichersysteme integrieren und bietet eine einheitliche Plattform f\u00fcr die Batch- und Streaming-Datenverarbeitung, die Datenkonsistenz, eine einfache Schemaverwaltung und die M\u00f6glichkeit zur Abfrage historischer Datenversionen gew\u00e4hrleistet. Im Folgenden finden Sie einen kurzen \u00dcberblick dar\u00fcber, wie Delta Lake Spark erweitert und wie der Datenfluss und die Interaktionspunkte aussehen: <\/p>\n
- \n
- Daten-Ingestion<\/strong>:\n
- \n
- Quellen<\/strong>: Delta Lake erm\u00f6glicht die nahtlose Aufnahme von Daten aus verschiedenen Quellen, einschlie\u00dflich Cloud Object Stores, Datenbanken und Streaming-Plattformen.<\/li>\n
- Integration<\/strong>: Die Daten werden in Delta Lake-Tabellen eingelesen, die sowohl f\u00fcr Batch- als auch f\u00fcr Streaming-Operationen optimiert sind. Diese Integration unterst\u00fctzt die Aufnahme von Daten mit hohem Durchsatz und minimaler Latenz. <\/li>\n<\/ul>\n<\/li>\n
- Datenverarbeitung<\/strong>:\n
- \n
- Spark-Integration<\/strong>: Sobald sich die Daten in Delta Lake-Tabellen befinden, verarbeitet Spark sie effizient mit seinen verteilten Rechenfunktionen.<\/li>\n
- ACID-Transaktionen<\/strong>: Delta Lake bietet ACID-Transaktionen, um die Datenkonsistenz w\u00e4hrend der Verarbeitung sicherzustellen. Dies garantiert, dass alle Vorg\u00e4nge korrekt abgeschlossen werden und im Falle von Fehlern Rollback-Funktionen zur Verf\u00fcgung stehen. <\/li>\n<\/ul>\n<\/li>\n
- Datenverwaltung<\/strong>:\n
- \n
- Schema-Entwicklung<\/strong>: Delta Lake vereinfacht die Schemaverwaltung, indem es Schema\u00e4nderungen ohne Unterbrechung des laufenden Betriebs erm\u00f6glicht. Diese Flexibilit\u00e4t ist entscheidend f\u00fcr die Anpassung an sich entwickelnde Datenstrukturen. <\/li>\n
- Zeitreise<\/strong>: Erm\u00f6glicht Benutzern den Zugriff auf und die Abfrage von fr\u00fcheren Datenversionen und erleichtert so Audits, Rollbacks und die Analyse historischer Daten.<\/li>\n<\/ul>\n<\/li>\n
- Daten abfragen<\/strong>:\n
- \n
- Spark SQL<\/strong>: Benutzer k\u00f6nnen Spark SQL nutzen, um komplexe Abfragen auf Delta Lake-Tabellen auszuf\u00fchren. Die Optimierungen von Delta Lake, wie z.B. das \u00dcberspringen von Daten und Z-Ordering, verbessern die Abfrageleistung und reduzieren die Ausf\u00fchrungszeiten. <\/li>\n<\/ul>\n<\/li>\n<\/ol>\n
Delta Lake erweitert die F\u00e4higkeiten von Apache Spark, indem es ein robustes Framework f\u00fcr die Datenverwaltung bietet. Seine Funktionen – ACID-Transaktionen, Schema-Evolution und Zeitreisen – verbessern die Leistung, Datenzuverl\u00e4ssigkeit und Flexibilit\u00e4t von Spark. Diese Integration stellt sicher, dass Spark-Anwender von einer verbesserten Datenkonsistenz, optimierten Schemaanpassungen und leistungsstarken Abfragefunktionen profitieren.<\/p>\n<\/div>
<\/span><\/div>Praktisches Beispiel: Delta Lake mit Apache Spark<\/strong><\/h1>\n
Dieser Abschnitt enth\u00e4lt ein praktisches Beispiel f\u00fcr die Verwendung von Delta Lake mit Apache Spark. Detaillierte Anweisungen zur Einrichtung und weitere Informationen finden Sie in der Delta Lake-Dokumentation<\/a>. Der Einfachheit halber werden wir Python verwenden und anhand von Notebook-Zellen demonstrieren, wie Sie die Funktionen von Delta Lake nutzen k\u00f6nnen. <\/p>\n
Einrichtung und Initialisierung<\/strong><\/h3>\n
Um Delta Lake mit Apache Spark zu integrieren, haben Sie mehrere flexible M\u00f6glichkeiten: <\/p>\n
- \n
- Interactive Shell:<\/strong> Verwenden Sie PySpark oder die Spark Scala-Shell f\u00fcr die direkte Interaktion. Sie k\u00f6nnen PySpark mit Delta Lake mit pip oder die Scala-Shell mit bin\/spark-shell von Spark einrichten, beide mit Delta Lake-Abh\u00e4ngigkeiten und -Konfigurationen. <\/li>\n
- Projekt einrichten:<\/strong> Erstellen Sie ein Projekt mit Delta Lake unter Verwendung von Maven oder SBT f\u00fcr Scala\/Java, oder konfigurieren Sie Python-Projekte mit pip und delta-spark. Dieses Setup erm\u00f6glicht eine skalierbare Entwicklung und Integration in gr\u00f6\u00dfere Anwendungen. <\/li>\n<\/ul>\n
Installation der Bibliothek f\u00fcr die Demo<\/strong><\/h3>\n
F\u00fcr die Demo haben wir uns entschieden, den Code in einer lokalen Jupyter Notebook-Umgebung auszuf\u00fchren. Bitte installieren Sie die erforderlichen Bibliotheken mit Python, um die Demo einzurichten: !pip install pyspark delta-spark Vergewissern Sie sich, dass das Jupyter-Notebook lokal installiert ist und geben Sie dann im Terminal ein: jupyter notebook Dieser Befehl richtet PySpark und Delta Lake f\u00fcr die interaktive Nutzung ein und stellt sicher, dass Sie die f\u00fcr die Datenverarbeitung und -verwaltung erforderlichen Tools in Ihrer Umgebung haben. 4.3 Einrichten von Spark mit Delta Lake<\/strong> Um Delta Lake mit Apache Spark in Ihrer Python-Umgebung zu verwenden, m\u00fcssen Sie zun\u00e4chst eine SparkSession mit den erforderlichen Delta Lake-Konfigurationen initialisieren. Diese Einrichtung erm\u00f6glicht es Ihnen, die Funktionen von Delta Lake wie ACID-Transaktionen und Schemaentwicklung in Ihren Spark-Anwendungen zu nutzen. Hier erfahren Sie, wie Sie Spark mit Delta Lake konfigurieren k\u00f6nnen:<\/p>\n<\/div>
<\/span><\/div>Laden von Beispieldaten<\/strong><\/h3>\n
Dieses Codeschnipsel liest eine CSV-Datei in einen Spark DataFrame ein, wobei das Schema abgeleitet und die Kopfzeilen einbezogen werden. Anschlie\u00dfend zeigt er die ersten 5 Zeilen des DataFrame an und liefert eine Zusammenfassung der Statistiken des Datensatzes.<\/p>\n<\/div>
<\/span><\/div>Schreiben und Lesen von Daten mit Delta Lake<\/strong><\/h3>\n
In diesem Abschnitt wird gezeigt, wie Sie Daten in eine Delta Lake-Tabelle schreiben und dann wieder zur\u00fccklesen. Der Code speichert den DataFrame in einer Delta Lake-Tabelle unter dem angegebenen Pfad und liest ihn dann in einen neuen DataFrame zur\u00fcck und zeigt die Ergebnisse an.<\/p>\n<\/div>
<\/span><\/div>Hinzuf\u00fcgen und Lesen neuer Daten mit der Schemaverwaltung<\/strong><\/h3>\n
In diesem Abschnitt wird gezeigt, wie Sie neue Daten zu einer Delta Lake-Tabelle hinzuf\u00fcgen und Schema\u00e4nderungen handhaben k\u00f6nnen. Das folgende Codeschnipsel zeigt, wie Sie neue Daten zu einer Delta Lake-Tabelle hinzuf\u00fcgen und gleichzeitig die Schemaentwicklung verwalten k\u00f6nnen. Es f\u00fcgt neue Datens\u00e4tze an die Tabelle an und stellt die Konsistenz sicher, indem es die aktualisierten Daten nach jeder Transaktion anzeigt.<\/p>\n<\/div>
<\/span><\/div><\/span><\/div>Hinzuf\u00fcgen neuer Spalten und Schemaentwicklung<\/strong><\/h3>\n
In diesem Abschnitt wird erl\u00e4utert, wie Sie einer bestehenden Delta Lake-Tabelle neue Spalten hinzuf\u00fcgen und ihr Schema aktualisieren. Mit der Option mergeSchema wird das Schema nahtlos weiterentwickelt, so dass neue Spalten integriert werden k\u00f6nnen, ohne die vorhandenen Daten zu beeintr\u00e4chtigen.<\/p>\n<\/div>
<\/span><\/div>Zeitreise und Versionswiederherstellung<\/strong><\/h3>\n
Dieser Abschnitt demonstriert die Zeitreisefunktion von Delta Lake. Durch die Angabe von versionAsOf oder timestampAsOf k\u00f6nnen Sie fr\u00fchere Versionen der Tabelle abfragen und wiederherstellen und so sicherstellen, dass Daten aus fr\u00fcheren Zust\u00e4nden wiederhergestellt oder gepr\u00fcft werden k\u00f6nnen.<\/p>\n<\/div>
<\/span><\/div><\/span><\/div>Optimieren mit Z-Ordering<\/strong><\/h3>\n
In diesem Abschnitt verwenden wir Z-Ordering zur Optimierung der Delta-Tabelle. Z-Ordering ist eine Technik in Delta Lake, die die Abfrageleistung verbessert, indem zusammengeh\u00f6rige Daten im Speicher zusammengelegt werden. Der Befehl optimize().executeZOrderBy(„PickupZip“) reorganisiert die Datendateien, um die Zugriffsmuster f\u00fcr Abfragen zu optimieren, die nach PickupZip filtern. Eine visuelle Erkl\u00e4rung der Z-Ordnung und ihrer Auswirkungen auf die Abfrageeffizienz finden Sie in der nebenstehenden Abbildung.<\/p>\n<\/div>
<\/a><\/span><\/div>Nachfolgend finden Sie dieses Codeschnipsel:<\/p>\n<\/div>
<\/span><\/div>Streaming-Daten und Upsert-Operationen<\/strong><\/h3>\n
<\/strong>In diesem Abschnitt zeigen wir Ihnen, wie Sie mit Delta Lake Streaming-Daten verarbeiten und Upsert-Operationen durchf\u00fchren k\u00f6nnen. <\/p>\n
- \n
- Streaming-Datenquelle:<\/strong> Wir richten eine Streaming-Quelle mit spark.readStream.format(„rate“).load() ein, die einen Datenstrom simuliert. Diese Daten werden dann in die Delta-Tabelle mit einem Checkpoint-Verzeichnis geschrieben, um Fehlertoleranz und Konsistenz zu gew\u00e4hrleisten.<\/li>\n
- Streaming-Daten lesen:<\/strong> Die Streaming-Daten werden aus der Delta-Tabelle gelesen und in der Konsole angezeigt. Diese Einstellung erm\u00f6glicht Aktualisierungen und \u00dcberwachung in Echtzeit. <\/li>\n
- Upsert Operation:<\/strong> Wir verwenden die Zusammenf\u00fchrungsfunktion von Delta Lake, um eine Upsert-Operation durchzuf\u00fchren, die bestehende Datens\u00e4tze aktualisiert oder neue Datens\u00e4tze auf der Grundlage einer passenden Bedingung einf\u00fcgt. Dieser Vorgang ist wichtig, um aktuelle und genaue Daten in Echtzeitszenarien zu erhalten. <\/li>\n
- Datenl\u00f6schung und -verdichtung:<\/strong> Wir demonstrieren die Datenl\u00f6schung und Dateikompaktierung mit deltaTable.delete() und deltaTable.vacuum(), die zur Verwaltung der Datengr\u00f6\u00dfe und Leistung beitragen.<\/li>\n<\/ol>\n<\/div>
<\/span><\/div>Um ein vollst\u00e4ndiges Verst\u00e4ndnis zu erhalten, sehen Sie sich das mitgelieferte Diagramm an, das den Datenfluss und die Interaktion zwischen Streaming-Datenquellen und Delta Lake veranschaulicht.<\/p>\n<\/div>
<\/a><\/span>spark_delta_1<\/h2><\/div><\/div><\/div>
<\/a><\/span><\/div>Der Upsert-Vorgang war erfolgreich, wie die aktualisierte erste Zeile der Daten zeigt. Au\u00dferdem wurden die veralteten Dateien durch die Vakuumoperation effektiv bereinigt.<\/p>\n<\/div>
<\/span><\/div>Wir k\u00f6nnen nun den L\u00f6schvorgang \u00fcberpr\u00fcfen, indem wir die Daten aus dem Stream abrufen und sicherstellen, dass die zuvor gel\u00f6schte erste Zeile nicht mehr erscheint.<\/p>\n<\/div>
<\/span><\/div>Deltatabelle anzeigen – Verlauf und Aufr\u00e4umen<\/strong><\/h3>\n
In diesem Abschnitt wird gezeigt, wie Sie die historischen \u00c4nderungen in einer Delta-Tabelle anzeigen und eine Datenbereinigung durchf\u00fchren k\u00f6nnen.<\/p>\n<\/div>
<\/span><\/div>Mit diesem Code k\u00f6nnen Sie die \u00c4nderungshistorie der Delta-Tabelle einsehen, was Ihnen hilft, \u00c4nderungen zu verfolgen und die Entwicklung Ihrer Daten zu verstehen. Die Vakuum-Operation wird verwendet, um alte, nicht mehr ben\u00f6tigte Datendateien zu bereinigen, wobei nur die Dateien der letzten angegebenen Anzahl von Stunden (168 Stunden = 7 Tage) erhalten bleiben. Wir werden untersuchen, wie Delta Lake Metadaten f\u00fcr Skalierbarkeit und Auditing handhabt. Delta Lake f\u00fchrt ein detailliertes Protokoll aller \u00c4nderungen an Ihren Daten, das als JSON-Dateien in einem Verzeichnis namens _delta_log gespeichert wird. In diesen Protokollen werden alle \u00c4nderungen, Hinzuf\u00fcgungen und L\u00f6schungen protokolliert, so dass Sie einen umfassenden \u00dcberblick \u00fcber alle Transaktionen erhalten. Anhand dieser Protokolle k\u00f6nnen Sie \u00fcberpr\u00fcfen, wie effizient Delta Lake Metadaten im gro\u00dfen Ma\u00dfstab verwaltet und dabei sowohl Skalierbarkeit als auch Nachvollziehbarkeit gew\u00e4hrleistet. Ich mache einen Screenshot, der das Verzeichnis und diese Protokolldateien zeigt, um zu veranschaulichen, wie Delta Lake die \u00c4nderungsdetails f\u00fcr eine robuste Datenverwaltung erfasst und organisiert. <\/p>\n
Speicher Core Unit<\/strong><\/h1>\n
In Delta Lake ist eine Tabelle eine Sammlung von Daten, die in einem Schema und einer Verzeichnisstruktur organisiert sind. Sie stellt die grundlegende Einheit der Speicherung dar. Hier ist es die lokale Darstellung der Delta-Tabelle:<\/p>\n<\/div>
<\/span><\/div> - Streaming-Daten lesen:<\/strong> Die Streaming-Daten werden aus der Delta-Tabelle gelesen und in der Konsole angezeigt. Diese Einstellung erm\u00f6glicht Aktualisierungen und \u00dcberwachung in Echtzeit. <\/li>\n
- Projekt einrichten:<\/strong> Erstellen Sie ein Projekt mit Delta Lake unter Verwendung von Maven oder SBT f\u00fcr Scala\/Java, oder konfigurieren Sie Python-Projekte mit pip und delta-spark. Dieses Setup erm\u00f6glicht eine skalierbare Entwicklung und Integration in gr\u00f6\u00dfere Anwendungen. <\/li>\n<\/ul>\n
- Interactive Shell:<\/strong> Verwenden Sie PySpark oder die Spark Scala-Shell f\u00fcr die direkte Interaktion. Sie k\u00f6nnen PySpark mit Delta Lake mit pip oder die Scala-Shell mit bin\/spark-shell von Spark einrichten, beide mit Delta Lake-Abh\u00e4ngigkeiten und -Konfigurationen. <\/li>\n
- Zeitreise<\/strong>: Erm\u00f6glicht Benutzern den Zugriff auf und die Abfrage von fr\u00fcheren Datenversionen und erleichtert so Audits, Rollbacks und die Analyse historischer Daten.<\/li>\n<\/ul>\n<\/li>\n
- ACID-Transaktionen<\/strong>: Delta Lake bietet ACID-Transaktionen, um die Datenkonsistenz w\u00e4hrend der Verarbeitung sicherzustellen. Dies garantiert, dass alle Vorg\u00e4nge korrekt abgeschlossen werden und im Falle von Fehlern Rollback-Funktionen zur Verf\u00fcgung stehen. <\/li>\n<\/ul>\n<\/li>\n
- Integration<\/strong>: Die Daten werden in Delta Lake-Tabellen eingelesen, die sowohl f\u00fcr Batch- als auch f\u00fcr Streaming-Operationen optimiert sind. Diese Integration unterst\u00fctzt die Aufnahme von Daten mit hohem Durchsatz und minimaler Latenz. <\/li>\n<\/ul>\n<\/li>\n
- Quellen<\/strong>: Delta Lake erm\u00f6glicht die nahtlose Aufnahme von Daten aus verschiedenen Quellen, einschlie\u00dflich Cloud Object Stores, Datenbanken und Streaming-Plattformen.<\/li>\n
- Spark Streaming<\/strong>: Verarbeitet Daten in Echtzeit.<\/li>\n
![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/spark_delta_7.png\")
<\/a><\/span>![](\"https:\/\/ultratendency.academy\/wp-content\/uploads\/2024\/09\/spark_delta_8.png\")
<\/a><\/span><\/div>