ILLUIN Technology reposted this
ILLUIN Technology et CentraleSupélec sont fiers de vous présenter une nouvelle approche innovante pour du #RAG dans des corpus documentaires complexes avec 𝐶𝑜𝑙𝑃𝑎𝑙𝑖: 𝐸𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑡 𝐷𝑜𝑐𝑢𝑚𝑒𝑛𝑡 𝑅𝑒𝑡𝑟𝑖𝑒𝑣𝑎𝑙 𝑤𝑖𝑡ℎ 𝑉𝑖𝑠𝑖𝑜𝑛 𝐿𝑎𝑛𝑔𝑢𝑎𝑔𝑒 𝑀𝑜𝑑𝑒𝑙𝑠 (https://lnkd.in/eBmSCVuW) 𝐂𝐨𝐦𝐦𝐞𝐧𝐭 𝐫𝐞𝐜𝐡𝐞𝐫𝐜𝐡𝐞𝐫 𝐞𝐟𝐟𝐢𝐜𝐚𝐜𝐞𝐦𝐞𝐧𝐭 𝐥’𝐢𝐧𝐟𝐨𝐫𝐦𝐚𝐭𝐢𝐨𝐧 𝐝𝐚𝐧𝐬 𝐝𝐞𝐬 𝐝𝐨𝐜𝐮𝐦𝐞𝐧𝐭𝐬 𝐜𝐨𝐦𝐩𝐥𝐞𝐱𝐞𝐬, 𝐧𝐨𝐭𝐚𝐦𝐦𝐞𝐧𝐭 𝐚𝐮 𝐬𝐞𝐢𝐧 𝐝’𝐢𝐦𝐚𝐠𝐞𝐬, 𝐝𝐞 𝐭𝐚𝐛𝐥𝐞𝐚𝐮𝐱, 𝐝𝐞 𝐝𝐢𝐚𝐠𝐫𝐚𝐦𝐦𝐞𝐬 ? C’est à cette question que nous essayons de répondre pour intégrer la meilleure approche au sein de nos produits (ILLUIN Search & ILLUIN Dialogue) et des projets de #GenAI sur mesure que nous réalisons. Les pipelines actuelles d’indexation documentaire sont essentiellement composées de 2 étapes : 🔄 Utiliser de nombreux modèles de computer vision pour comprendre la structure du document et en extraire le texte, 🗂️ Indexer le texte en utilisant des représentations textuelles pour une étape ultérieure de #retrieving. Mais cette approche, en plus d’être lente et de propager les erreurs de multiples modèles, ne permet pas de comprendre finement les éléments visuels d’un document comme le ferait un humain. L’alternative, c’est de construire directement une représentation du document adaptée ! Deux contributions principales sont ainsi présentées dans cette publication : 📚 Le benchmark #ViDoRe (Visual Document Retrieval), le premier benchmark open-source permettant d’évaluer la qualité des retrievers pour la recherche d’informations visuellement riches dans des documents, 🤖 Le modèle #ColPali, une nouvelle approche basée sur le VLM PaliGemma de #Google pour créer une représentation multi-vectorielle du document et du mécanisme de late interaction de Colbert pour un matching efficace des tokens de la requête avec les patches du document à l’inférence. 📈 ColPali est bien plus performant et plus rapide que de nombreuses autres approches, notamment une basée sur le captioning d’images avec le modèle Claude Sonnet d’#Anthropic, et démontre toute la promesse des VLM pour le retrieving documentaire. 👏 Un très grand bravo à tous les contributeurs Manuel Faysse Hugues Sibille Tony W. Bilel Omrani Celine Hudelot Pierre Colombo, ainsi qu’à l’équipe du CINES pour les ressources de calculs sur ADASTRA. Bien plus d’éléments à découvrir directement dans la publication : https://lnkd.in/eBmSCVuW. Robert VESOUL Wacim Belblidia Paul-Henry Cournède Renaud Monnet
Bien plus d’éléments à découvrir directement dans la publication : https://lnkd.in/eBmSCVuW.
Merci à ILLUIN pour avoir rendu ce beau travail possible !
Mahmoud KOBBI Ali Mahmoud thoughts?
Merci d’avoir partagé
Head of Research & Development @ Illuin Technology
1moN’hésitez pas à visiter également : - l’organisation HuggingFace https://huggingface.co/vidore - le blogpost de Manuel Faysse : https://huggingface.co/blog/manu/colpali