Dev News Daily ENDE

Sentence Transformers: Pooling-Training hält 97,8 % Suchqualität mit viermal weniger Vektoren

Multi-Vektor-Modelle wie ColBERT speichern einen Vektor pro Dokument-Token. Das macht die Suche genau und den Speicher teuer. Tom Aarsen beschreibt in einem Beitrag im Hugging-Face-Blog vom 11. November einen Weg, diesen Speicher mit weniger Verlust zu verkleinern: Der Encoder wird so trainiert, dass er weiß, dass seine Vektoren später zusammengelegt werden.

Das Zusammenlegen übernimmt HierarchicalTokenPooling in Sentence Transformers. Es gruppiert ähnliche Token-Vektoren per Ward-Clustering, ersetzt jede Gruppe durch ihren normierten Mittelwert und lässt Anfrage-Vektoren unverändert. Das Budget lässt sich auf drei Arten setzen: feste Obergrenze je Dokument (max_tokens), Anteil der ursprünglichen Zahl (pool_factor) oder ein Distanz-Schwellenwert, bei dem die Zahl mit dem Inhalt schwankt. Der erste Token bleibt standardmäßig ungemischt.

Die Speicherkosten rechnet der Beitrag vor. Bei 4 Bit pro Residualkoordinate belegen 200 Vektoren mit 128 Dimensionen 12,8 KB pro Dokument, also 12,8 GB bei einer Million Dokumenten; mit 50 Vektoren pro Dokument sind es 3,2 GB.

Verglichen werden zwei Modelle auf Basis von ModernBERT-base, trainiert auf denselben 120.000 MS-MARCO-Tripeln, eine Epoche, gleicher Seed. Eines nutzt einen gewöhnlichen kontrastiven Loss, das andere ergänzt ihn um ein Ziel, das ungepoolte und mit Faktor 4 gepoolte Dokumente bewertet. Auf NanoBEIR kommt das gewöhnliche Modell ungepoolt auf 51,84 nDCG@10 und bei pool_factor=4 auf 49,03, behält also 94,6 % der Qualität mit etwa einem Viertel der Vektoren. Das Pooling-bewusste Modell erreicht 52,39 und 51,23, also 97,8 %. Der Abstand wächst mit der Kompression, von 1,64 Punkten bei Faktor 2 auf 2,20 bei Faktor 4. Laut Autor unterschied sich nur der Loss, eine Hyperparametersuche gab es nicht.

Optional gibt es CUDA-Kernel für MaxSim und Ward-Clustering; Letzteres sei je nach Einstellung 30- bis 150-mal schneller als SciPy.

Sentence Transformers: Pooling-Training hält 97,8 % Suchqualität mit viermal weniger Vektoren
Sentence Transformers: Pooling-Training hält 97,8 % Suchqualität mit viermal weniger Vektoren — Dev News Daily

Warum das wichtig ist

Bei Late-Interaction-Suche bestimmt die Zahl der Vektoren pro Dokument die Kosten. Das Ergebnis deutet darauf hin, dass Kompression weniger Qualität kostet, wenn das Modell dafür trainiert ist, und der Pool-Faktor lässt sich bei der Abfrage weiterhin ohne neues Training ändern.

Primärquelle
Hugging Face Blog
https://huggingface.co/blog/token-pooling