Chunking
Aussi : chunk · découpage en segments
Découpage d’un document en fragments, les chunks, qui sont indexés et récupérés séparément par un système de recherche.
Un système RAG ne transmet pas une page entière au modèle : il la découpe, indexe chaque fragment, et ne ramène que ceux qui se rapprochent de la question. Le découpage peut suivre une taille fixe en tokens, ou la mise en page : titres, paragraphes, listes. La documentation de Google Cloud pour son produit de recherche d’entreprise décrit cette seconde option, avec la possibilité d’ajouter à chaque fragment les titres dont il dépend.
Le risque est la perte de contexte : un fragment qui dit « ce tarif » ou « l’entreprise » sans les nommer ne répond plus à rien une fois isolé. Ni Google ni OpenAI ne documentent la façon dont leurs surfaces découpent une page web ; on ne règle donc pas son texte sur une taille de fragment. On écrit des passages qui nomment leur sujet et se comprennent seuls, sous un intertitre qui dit de quoi il s’agit.
Le sujet, traité en entier
Source Google Cloud — Parse and chunk documents (Agent Search)