Retrieval

RAG, nebo fine-tuning: co vaše firma skutečně potřebuje

Zeptejte se, jak rozběhnout jazykový model nad firemními daty, a uslyšíte dva pojmy podávané jako soupeře: retrieval-augmented generation a fine-tuning. Soupeři nejsou. Řeší jiné problémy a jejich záměna je způsob, jakým projekty utratí rozpočet za ten nesprávný z nich.

Rozdíl v jedné větě

Retrieval mění to, co model ví. Fine-tuning mění to, jak se model chová. Téměř každé praktické rozhodnutí vyplývá z této věty.

RAG propojí model s vašimi dokumenty v okamžiku dotazu: vyhledá relevantní pasáže a odpoví z nich. Fine-tuning upravuje samotný model tréninkem na příkladech a formuje jeho tón, formát nebo způsob, jakým zpracovává určitý typ úlohy.

Kdy potřebujete retrieval

Po RAG sáhněte, když je problém ve znalosti — model potřebuje fakta, na kterých nikdy nebyl trénován, nebo fakta, která se mění.

• Odpovídání na dotazy nad směrnicemi, smlouvami, manuály nebo katalogem produktů.
• Cokoli, kde se podkladová informace aktualizuje a odpověď musí zůstat aktuální.
• Všude, kde odpověď musí uvést svůj zdroj, aby ji člověk mohl ověřit.

Retrieval má zde rozhodující výhodu: když se dokument změní, aktualizujete dokument, ne model. Žádné přetrénování a systém dokáže ukázat přesně to místo, odkud odpověď pochází. Pro většinu firemních scénářů — interní znalosti, zákaznická podpora nad vlastními materiály — je to přesně to, co lidé skutečně potřebují.

Kdy potřebujete fine-tuning

Po fine-tuningu sáhněte, když je problém v chování — model má odpovídat v konzistentním stylu, formátu nebo vzorci, který se samotnými instrukcemi popisuje obtížně.

• Vynucení striktního výstupního formátu napříč tisíci voláními.
• Spolehlivé dodržení konkrétního tónu nebo oborové terminologie.
• Naučení úzké, opakované úlohy, kde příklady popisují práci lépe než instrukce.

Fine-tuning nenaučí model vaše fakta způsobem, kterému lze věřit — dotrénovaný model vám stále neřekne, co stojí v dnešní verzi smlouvy, a neumí uvést zdroj. Používat ho jako úložiště znalostí je klasické zneužití: drahé, neprůhledné a zastaralé v okamžiku, kdy se vaše data pohnou.

Proč většina firem začíná u RAG

V praxi je většina firemních problémů znalostním problémem převlečeným za problém chování. Otázka obvykle zní „odpovídej přesně z našich dat“, ne „napodob velmi konkrétní styl“. Retrieval je navíc levnější na sestavení, snazší na aktualizaci a mnohem snáz se mu důvěřuje, protože každá odpověď je dohledatelná.

Zralý vzorec, tam kde je opodstatněný, obojí kombinuje: retrieval dodá fakta a lehký fine-tuning určí, jak jsou tato fakta podána. To je ale optimalizace, ne výchozí bod. Začněte otázkou, zda je váš problém o tom, co model ví, nebo o tom, jak se chová — a nechte odpověď vybrat nástroj.

Praktický závěr

Pokud vaši uživatelé potřebují přesné, aktuální a ozdrojované odpovědi nad vlastními materiály, potřebujete retrieval. Pokud potřebujete konzistentní formu a tón ve velkém měřítku, potřebujete fine-tuning. Většina začíná tím prvním. Dodavatel, který navrhuje fine-tuning, aby „naučil model vaše dokumenty“, odpovídá na znalostní otázku nástrojem na chování — což stojí za další rozhovor, než podepíšete.

AKVANT Technologies je firma pro AI poradenství a vývoj. Se společnostmi hledáme, kde se AI vyplatí — a stavíme jen tam.