Die Suche ist eine wichtige F\u00e4higkeit in der Computerwissenschaft mit zahlreichen praktischen Anwendungen. Menschen nutzen Suchtechnologien jeden Tag, wenn sie beliebte Websites und Suchmaschinen verwenden. Die Volltextsuche gibt es schon seit langem, und mit der zunehmenden Bedeutung der KI-Vektorsuche gewinnt die Volltextsuche nun an Bedeutung. In diesem Artikel vergleichen wir eine traditionelle Volltextsuche mit einer Vektorsuche unter Verwendung einer PostgreSQL-Instanz in einer Cloud-Umgebung.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
Einf\u00fchrung<\/h1>\n
Die Vektorsuche ist eine Methode zur Suche und Einstufung von Ergebnissen, die auf der Umwandlung einer Suchanfrage in eine Vektordarstellung und dem Vergleich mit Vektordarstellungen von gesuchten Dokumenten basiert. Je n\u00e4her der Vektor eines Dokuments am Vektor der Suchanfrage liegt, desto relevanter ist es. Es gibt mehrere Ma\u00dfst\u00e4be f\u00fcr die N\u00e4he, darunter der euklidische Abstand, das innere Produkt oder der Kosinusabstand. Zur Erzeugung von Vektoren (auch Einbettungen genannt) wird ein neuronales Netzwerkmodell verwendet.<\/p>\n<\/div>
![](\"\/wp-content\/uploads\/2024\/08\/vecotr_similartiy1.jpg\")
<\/a><\/span><\/div>Vektoren und entsprechende Dokumente werden in einem Vektorspeicher gespeichert. Da die Anzahl der Dokumente in Vektorspeichern sehr gro\u00df sein kann, sollten Sie Indexierungstechniken einsetzen, um die Suche nach relevanten Ergebnissen zu beschleunigen. Um nur einige zu nennen: <\/p>\n
- \n
- Lokalit\u00e4tsabh\u00e4ngiges Hashing (LSH)<\/li>\n
- Invertierter Datei-Index (IVF)<\/li>\n
- Hierarchical Navigable Small World (HNSW)<\/li>\n
- Produkt-Quantisierung (PQ), Skalar-Quantisierung (SQ)<\/li>\n
- Zusammengesetzte Methoden, z.B. HNSW_SQ, IVF_PQ<\/li>\n<\/ul>\n
Pgvector <\/em>ist eine Erweiterung, die Vektorspeicherfunktionen in PostgreSQL bietet. Pgvector verwendet den HNSW (Hierarchical Navigable Small World) Graph f\u00fcr die Indizierung. HNSW<\/a> ist ein mehrschichtiger Graph, der wie eine probabilistische Datenstruktur Skip-List funktioniert. Jeder Knoten im Graphen ist ein Vektor, w\u00e4hrend Kanten die nahe beieinander liegenden Knoten miteinander verbinden. Die Suche wird durchgef\u00fchrt, indem von der h\u00f6heren Schicht bis zur Schicht 0 hinabgestiegen wird und in jeder Schicht eine Breadth-First-Suche durchgef\u00fchrt wird, um die am besten \u00fcbereinstimmenden Vektoren zu finden. Bei der Volltextsuche werden Variationen von TF-IDF (Term Frequency-Inverse Document Frequency), Wortst\u00e4mme, Listen von Stoppw\u00f6rtern, Synonymw\u00f6rterb\u00fccher und eventuell weitere regelbasierte Algorithmen verwendet. Zur Verbesserung der Suchleistung wird der invertierte Index verwendet, d.h. eine Zuordnung vom Wort zur Liste der Dokumente, in denen das Wort vorkommt, zusammen mit einigen zus\u00e4tzlichen Informationen. PostgreSQL bietet die Indextypen GIN (Generalized Inverted Index) und GiST (Generalized Search Tree) sowie verschiedene Operationen f\u00fcr die Volltextsuche. Eingebaute Ranking-Funktionen<\/a> ber\u00fccksichtigen, wie oft die abgefragten Begriffe im Dokument vorkommen, wie nah die Begriffe im Dokument beieinander liegen und wie wichtig der Teil des Dokuments ist, in dem sie vorkommen.<\/p>\n<\/div>
Playground Einrichtung<\/span><\/h2>\n
In diesem Abschnitt wird kurz eine Einrichtung des PostgreSQL-Playgrounds in der Google Cloud beschrieben, um die Leistung der Indizes zu messen. Der n\u00e4chste Abschnitt liefert die Ergebnisse des Vergleichs. Wir richten die PostgreSQL-Instanz mit Cloud SQL ein. Die PostgreSQL Cloud SQL-Instanz enth\u00e4lt standardm\u00e4\u00dfig die pgvector-Erweiterung. Wir m\u00fcssen sie nur mit einer einfachen SQL-Anweisung aktivieren. F\u00fcr die Erzeugung von Einbettungen sowohl f\u00fcr indizierte Dokumente als auch f\u00fcr Suchanfragen wurde das Modell textembedding-gecko@001<\/em> gem\u00e4\u00df dem Beispiel<\/a> verwendet. Mit diesem Notebook und einer kleinen \u00c4nderung im Schritt „Speichern der Einbettungen im JSON-Format“, die den Fragentitel und den Fragenteil in die JSON-Ausgabe einbezieht, k\u00f6nnen wir JSON-Dateien mit der folgenden Struktur erzeugen: <\/p>\n
\n„`json [ { { “id“<\/span>: 1<\/span>, „embedding“<\/span>: [ 0.123456789, 0.123456789, …, 0.123456789]<\/span>, „text“<\/span>: “ Frage 1 header\\nFrage 1 Inhalt<\/span>“ }, { „id“<\/span>: 2, „embedding“<\/span>: [ 0.234567891, 0.234567891, …, 0.234567891]<\/span>, „text“<\/span>: “ Frage 2 Kopfzeile\\nFrage 2 Inhalt<\/span>“ }, … ] „` <\/p>\n
\nErstellen Sie eine Cloud SQL-Instanz (ersetzen Sie den Wert von DB_PASS durch ein beliebiges Passwort, wenn Sie es ausf\u00fchren): <\/p>\n
\n„`shell DB_USER= postgres <\/span>DB_PASS=[ password<\/span>] MY_PUBLIC_IP= $(<\/span>curl ipinfo.io\/ip )<\/span> gcloud auth login<\/span> gcloud sql instances create search-test<\/span>\\ –authorized-networks=${MY_PUBLIC_IP}<\/span> \\
\n –availability-type=ZONAL<\/span> \\ –root-password=“${DB_PASS}“<\/span> \\
\n –storage-auto-increase<\/span> \\
\n –storage-size=10G<\/span> \\ –region=“us-central1″<\/span> \\ –tier=“db-custom-2-8192″<\/span> \\ –database-version=POSTGRES_15 <\/span>„` <\/p>\n
\nBeachten Sie, dass die Verbindung zur Instanz nur von der \u00f6ffentlichen IP erlaubt ist, die durch die Variable MY_PUBLIC_IP definiert ist. Nachdem die Instanz verf\u00fcgbar ist, stellen wir mit einem PostgreSQL-Client und der \u00f6ffentlichen IP oder dem Cloud SQL Studio in der Google Cloud-Konsole eine Verbindung zu ihr her. Dort aktivieren wir die Vektorerweiterung und erstellen eine Tabelle und Indizes f\u00fcr den Vektor und f\u00fcr die Volltextsuche: Nachdem die Instanz verf\u00fcgbar ist, verbinden wir uns mit ihr \u00fcber einen PostgreSQL-Client und eine \u00f6ffentliche IP oder Cloud SQL Studio in der Google Cloud-Konsole. Dort aktivieren wir die Vektorerweiterung und erstellen eine Tabelle und Indizes f\u00fcr den Vektor und f\u00fcr die Volltextsuche: <\/p>\n
\n„`SQL CREATE <\/span>IF NOT EXISTS<\/span> vector; ERZEUGE TABLE<\/span> IF NOT EXISTS<\/span> question_store ( id interger primary key<\/span>, embedding vector( 768<\/span>), Inhalt text<\/span> ); CREATE INDEX<\/span> IF NOT EXISTS<\/span> hnsw_l2 ON<\/span> question_store USING<\/span> HNSW (embedding_vector_l2_ops); CREATE INDEX<\/span> IF NOT EXISTS<\/span> search_idx ON<\/span> question_store USING<\/span> GIN (to_tsvector(‚english<\/span>‚, content)); „` <\/p>\n
\nAls n\u00e4chstes laden Sie Daten in PostgreSQL. Installieren Sie gegebenenfalls das Paket psycopg2<\/em> und aktualisieren Sie die Variablen am Anfang des Skripts: Geben Sie die \u00f6ffentliche IP-Adresse der Cloud SQL-Instanz als Wert f\u00fcr die HOST-Variable an (die IP-Adresse finden Sie in den Details der Instanz in der Google Cloud-Konsole), geben Sie das Passwort als Wert f\u00fcr die PASS-Variable an und aktualisieren Sie den Wert f\u00fcr FILE_NAME_PREFIX entsprechend. Um Verbindungsprobleme zu vermeiden, stellen Sie au\u00dferdem sicher, dass Sie das Skript von dem Rechner aus ausf\u00fchren, dessen \u00f6ffentliche IP bei der Erstellung der SQL-Instanz angegeben wurde. Sie k\u00f6nnen in den Einstellungen der Cloud SQL-Instanz in der Google Cloud-Konsole weitere zul\u00e4ssige \u00f6ffentliche IPs hinzuf\u00fcgen: <\/p>\n
\n„`python import<\/span> psycopg2 import<\/span> json HOST= “ 34.67.204.142″<\/span> DB= „postgres“<\/span> USER= „postgres“<\/span> PASS= „“ <\/span>FILE_NAME_PREFIX= „\/tmp\/tmp5o9ucvho\/tmp5o9ucvho_“<\/span> connection = psycopg2.connect(database=DB, user=USER, password=PASS, host=HOST, port=5432) cursor = connection.cursor() def<\/span> load_vectors(i: int): result = [] with<\/span> open(FILE_NAME_PREFIX + str(i) + „.json“<\/span>, „r“<\/span>) as<\/span> vectors: line = vectors.readline() while<\/span> len(line) > 0: result.append(json.loads(line)) line = vectors.readline() return<\/span> ergebnis def<\/span> do_upload(i: int): entries = load_vectors(i) print ( „loading „<\/span> + str(len(entries)) + “ entries“<\/span>) args_str = „“ <\/span> for<\/span> entry in<\/span> entries: id = int(entry[ „id“<\/span>]) content = Eintrag[ „text“<\/span>] embedding = str(entry[ „embedding“<\/span>]).replace( „‚“<\/span>, „“<\/span>) args_str += cursor.mogrify( „(%s,%s,%s)“<\/span>, (str(id), einbettung, inhalt)).decode( „utf-8“<\/span>) args_str += „,“<\/span> cursor.execute( „insert into question_store(id, embedding, content) values“<\/span> + args_str.rstrip( ‚,‘<\/span>)) connection.commit() print( „done „<\/span> + str(i)) for<\/span> i in<\/span> range(0, 10<\/span>): do_upload(i) print(„finished“<\/span>) connection.close() „` <\/p>\n
\nDas Skript wird die Daten in mehreren Batches hochladen. Zu Beginn importiert es die erforderlichen Pakete, definiert Variablen, \u00f6ffnet dann eine Verbindung zu PostgreSQL und startet eine Transaktion. Die Funktion load_vectors()<\/em> liest die zuvor generierten Daten im JSON-Format aus Dateien, deren Speicherort durch die globale Variable FILE_NAME_PREFIX definiert ist, z.B. \/tmp\/tmp5o9ucvho\/tmp5o9ucvho_0.json, \/tmp\/tmp5o9ucvho\/tmp5o9ucvho_1.json, usw. Die Funktion do_upload()<\/em> liest die JSON-Datei und bereitet eine Insert-SQL-Anweisung mit den Einbettungen vor, f\u00fchrt sie aus und \u00fcbertr\u00e4gt die Transaktion. Schlie\u00dflich durchl\u00e4uft das Skript 10 Iterationen (eine Iteration pro Datei), wobei jedes Mal do_upload()<\/em> aufgerufen wird. Um die 5 wichtigsten Stack Overflow-Fragen auszuw\u00e4hlen, die f\u00fcr Ihre Anfrage am relevantesten sind, k\u00f6nnen Sie die SQL-Anweisungen verwenden: „`SQL SELECT<\/span> Inhalt, Einbettung <-> ‚[1,2,3]‘<\/span> AS<\/span> disctance FROM<\/span> question store WHERE<\/span> embedding <-> ‚[1,2,3]‘<\/span> < 1<\/span> ORDER BY<\/span> Abstand LIMIT<\/span> 5<\/span>; SELECT<\/span> id, Inhalt FROM<\/span> ( SELECT<\/span> id, inhalt, ts_rank_cd(to_tsvector(‚ english<\/span>‚, inhalt), query) AS<\/span> rang FROM<\/strong> question_store, to_tsquery(“) query WHERE<\/span> query @@ to_tsvector(‚ englisch<\/span>‚, inhalt) ORDER<\/span> BY<\/span> rank DESC<\/span> LIMIT<\/span> 5<\/span>) as<\/span> t „` <\/p>\n
\nDie erste Anweisung verwendet die Vektorsuche und den HNSW-Index. Relevante Vektoren k\u00f6nnen aus dem Text der Suchanfrage mit Hilfe des zuvor erw\u00e4hnten Modells textembedding-gecko@001<\/em> generiert werden, indem Sie die im Notebook<\/a> definierte Funktion encode_texts_to_embeddings()<\/em> aufrufen (was kein Problem sein sollte, wenn Sie es bis hierher geschafft haben). Die zweite Anweisung verwendet die Volltextsuche, wobei der Text der Suchanfrage direkt in der Anweisung als „“ angegeben wird. <\/p>\n<\/div>
Ergebnisse und Schlussfolgerung<\/span><\/h2>\n
Verwendung der Systemansicht pg_stat_statements<\/em> und Funktionen pg_relation_size<\/em>, pg_total_relation_size<\/em> k\u00f6nnen wir Informationen \u00fcber die Ausf\u00fchrungsgeschwindigkeit und den Umfang der Volltextsuche und der Vektorsuche gewinnen:<\/p>\n<\/div>\n
\n\n\n
\n \nName<\/th>\n Werte<\/th>\n<\/tr>\n<\/thead>\n \n Anzahl der Zeilen<\/td>\n 50000<\/td>\n<\/tr>\n \n Tabellengr\u00f6\u00dfe mit Indizes<\/td>\n 489 MB<\/td>\n<\/tr>\n \n Gr\u00f6\u00dfe des HNSW-Index<\/td>\n 195 MB<\/td>\n<\/tr>\n \n Gr\u00f6\u00dfe des GIN-Index<\/td>\n 40 MB<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n\n