Petit exercice cette semaine, et des chiffres qui changent le discours sur le RAG.
Les bases vectorielles managées se facturent cher. Les versions open source, une fois en place, déçoivent souvent dès que le volume monte. On a voulu voir si on pouvait faire quelque chose d’intelligent. En exploitant notre expertise et ce que l'on enseigne (ArtFX, BUT, 3il, ...) ...
On a donc mis en place plusieurs algorithmes, du plus direct au plus élaboré, y compris des pistes tirées de notre veille sur des articles de recherche ainsi que des portages GPUs. On a aussi appliqué les bonnes pratiques C++ classique : données alignées, prise en compte du cache line, code pensé pour le processeur. Côté service, une des librairies réseau les plus performantes.
Sur nos mesures avec des vecteur de 384 (top-k 10) :
- ingestion : 11,2 millions de documents par seconde (lock free)
- construction d’index : 3,4 millions de vecteurs par seconde
- recherche sur 10 000 documents : environ 25 000 questions par seconde, en quelques dizaines de microsecondes
- recherche sur 1 million de vecteurs : environ 10 000 questions par seconde, autour du dixième de milliseconde
Et pour des vecteur de taille 1536 (top-k 10) :
- construction d’index : 234k vecteurs par seconde
- recherche sur 10 000 documents : environ 8 600 questions par seconde, à 0,12 ms
- recherche sur 1 million de vecteurs : environ 1 500 questions par seconde
Le service HTTP suit : près de 400 000 appels par seconde sur le contrôle de santé, autour de 90 000 sur une recherche groupée en fonction de la taille des vecteurs biensurs.
En comparaison, pour 1M de vecteurs : Weaviate latence de +100ms, 845 req/s en recherche et construction d'index entre 1 a 2min. Qdrant 160ms de latence, ~600 req/s et un index > 9 min. Bien-sur c'est un benchmark scientifiquement un peu limite, il faudrait prendre plus de temps pour tout verifier et comparer sur le meme dataset, meme machine etc.
Mais, des résultats qui sont très compétitif. Pourquoi ? Par ce que l'on ne s'encombre pas d'un engine de recherche complexe et on va a l'essentiel, une recherche de similarité. À un million de documents, le moteur n’est pas le poste qui justifie la facture. Le pire ? il reste des marges de manœuvres pour continuer a optimiser ....
Si vous êtes intéressé ? Discutons !