AI výzkumník generativních jazykových modelů

Tým Vyhledávání ve zkratce řeší, aby lidé na dotaz dostali to, co hledají. Za tímhle jednoduchým shrnutím ale stojí mravenčí práce. Na dotaz poskytneme až 10 dokumentů, ze kterých se staví výsledek vyhledávání, a to v takovém pořadí, aby uživatel co nejdříve spokojeně řekl “ahá.” To s sebou přináší spoustu zajímavých problémů. Třeba když někdo napíše do vyhledání “restaurace”, co bychom mu měli nabídnout? Přehled restaurací v okolí? Recenze restaurací? Etymologii slova “restaurace”? Problémy, co řešíme, jsou velmi nestrukturované a velmi těžko uchopitelné. A to je pro nás dělá extrémně zajímavé. Nutno dodat, že nejsme typičtí produkťáci, ale spíše “decision making data scientist”. Velkou část práce trávíme hrabáním se v datech a až podle našich závěrů z nich uděláme rozhodnutí.

• Naše projekty se odvíjí od aktuální vize celého Vyhledávání. Například teď chceme poskytovat jasnější a důvěryhodnější odpovědi, proto se zabýváme důležitostí slov v dotazech, jak lépe vyhodnotit, jestli je stránka důvěryhodná, nebo jak rychleji návštěvníka nasměrovat na správnou stránku, kterou hledá. Aktuálně také pracujeme na rychlejší identifikaci “nadějných” stránek, ve kterých se nachází odpověď. Musíme tedy umět zhodnotit více než miliardu stránek na českém internetu ve velice krátkém čase a vybrat z nich ty nejrelevantnější. Abychom dokázali rychle hledat mezi takovým množstvím stránek využíváme tzv. invertované a vektorové indexy. Ve vektorových indexech jsou dané stránky uloženy ve formě vektorů vytvořených pomocí sémantických jazykových modelů. Tyto indexy nám pomáhají hlavně ve chvílích, kdy daná stránka neobsahuje přesně slova z dotazu, ale slova sémanticky blízká.
• Základem veškeré práce u nás je Python a jeho knihovny, pandas, matplotlib, seaborn, sklearn, polars, pyspark. Zkrátka všechny knihovny pro práci s velkými daty a jejich vizualizací. Jakmile máme data prozkoumaná, tak trénujeme modely. A samozřejmě stále sledujeme nové technologie, které by nám s prací píchly. V týmu máme velkou svobodu v jejich použití a jsme pro (skoro) každou novinku.
• Ve Vyhledávání využíváme spoustu lidských kontrolorů, kteří zajišťují, aby Vyhledávání fungovalo jako po drátkách. Do budoucna chceme část ručních kontrol nahradit jazykovými modely, například pro detekci špatných výsledků ve Vyhledávání. Náš vztah s LLM v naší firmě je ale spíš opačný. My totiž dodáváme podklady, se kterými LLM pracují, třeba při shrnování odpovědí. Pokud má jazykový model poskytnout dobrou a krátkou odpověď, musí od nás obdržet dobrou stránku jako podklad, z které tu odpověď vytvoří.
• Datová centra jsou páteří veškeré naší práce. Naštěstí se o ně nemusíme moc starat, protože na to máme znalejší kolegy. Naše práce se celá točí kolem dat a čísel, takže jsme na datová centra napojení v jednom kuse. Ať už zjišťujeme, jak často uživatelům nabízíme nějaký e-shop, nebo trénujeme nový model pro rozhodování o pořadí výsledků, anebo třeba rozjíždíme nějaký monitoring, to vše řešíme přes naše datová centra.

Seznamácká interní datová centra se starají o provoz několika výzkumných Hadoop clusterů, které nám umožňují rychlé zpracování velkých a rychlých dat. Dále pro nás provozují několik GPU clusterů, ty pak umožňují trénink a inferenci stovek modelů strojového učení, včetně LLM modelů, které jsou základem služeb Seznamu.

Encoder modely (které tvoří sémantickou reprezentaci textu) používáme v projektech často a už několik let. S Large Language Models v Seznamu nejen pracujeme, ale také je jako jedno z mála výzkumných pracovišť v celé střední Evropě sami vytváříme. Naším ambiciózním cílem je vytvořit LLM, které umí češtinu jako ještě žádné jiné. Díky velké univerzálnosti velkých jazykových modelů je potom plánujeme používat skoro ve všech seznamáckých službách. Například jejich pomocí vytváříme reklamní kampaně, chystáme se doporučovat uživatelům internetový obsah, produkty, nemovitosti, výlety a také pomocí velkých jazykových modelů připravujeme vysílání rádia.

Na projektech využíváme převážně Python (Numpy, Pandas, Polars, Dask, Scipy, PyTorch a další), Spark, Dockers, Git. Pomáháme definovat zadání, připravujeme data, učíme různé typy modelů, měříme přínos, porovnáváme přístupy mezi sebou, vysvětlujeme výstupy.

Jsme v kontaktu s technickými fakultami skoro všech českých vysokých škol. Tradičními partnery jsme už s ČVUT, VUT, MUNI a UK. Vybrané výzkumné skupiny aktivně podporujeme (například CIIRC ČVUT), s některými plánujeme společné projekty (třeba s VUT, ČVUT nebo UK). Na MUNI a UK přednášíme jako externí lektoři. Samozřejmě podporujeme také neakademickou komunitu jako MLMU, MLPrague a jiné konference a pořádáme i vlastní odborná setkání a meetupy.