Práce v produktovém managementu

Tým Vyhledávání ve zkratce řeší, aby lidé na dotaz dostali to, co hledají. Za tímhle jednoduchým shrnutím ale stojí mravenčí práce. Na dotaz poskytneme až 10 dokumentů, ze kterých se staví výsledek vyhledávání, a to v takovém pořadí, aby uživatel co nejdříve spokojeně řekl “ahá.” To s sebou přináší spoustu zajímavých problémů. Třeba když někdo napíše do vyhledání “restaurace”, co bychom mu měli nabídnout? Přehled restaurací v okolí? Recenze restaurací? Etymologii slova “restaurace”? Problémy, co řešíme, jsou velmi nestrukturované a velmi těžko uchopitelné. A to je pro nás dělá extrémně zajímavé. Nutno dodat, že nejsme typičtí produkťáci, ale spíše “decision making data scientist”. Velkou část práce trávíme hrabáním se v datech a až podle našich závěrů z nich uděláme rozhodnutí.

• Naše projekty se odvíjí od aktuální vize celého Vyhledávání. Například teď chceme poskytovat jasnější a důvěryhodnější odpovědi, proto se zabýváme důležitostí slov v dotazech, jak lépe vyhodnotit, jestli je stránka důvěryhodná, nebo jak rychleji návštěvníka nasměrovat na správnou stránku, kterou hledá. Aktuálně také pracujeme na rychlejší identifikaci “nadějných” stránek, ve kterých se nachází odpověď. Musíme tedy umět zhodnotit více než miliardu stránek na českém internetu ve velice krátkém čase a vybrat z nich ty nejrelevantnější. Abychom dokázali rychle hledat mezi takovým množstvím stránek využíváme tzv. invertované a vektorové indexy. Ve vektorových indexech jsou dané stránky uloženy ve formě vektorů vytvořených pomocí sémantických jazykových modelů. Tyto indexy nám pomáhají hlavně ve chvílích, kdy daná stránka neobsahuje přesně slova z dotazu, ale slova sémanticky blízká.
• Základem veškeré práce u nás je Python a jeho knihovny, pandas, matplotlib, seaborn, sklearn, polars, pyspark. Zkrátka všechny knihovny pro práci s velkými daty a jejich vizualizací. Jakmile máme data prozkoumaná, tak trénujeme modely. A samozřejmě stále sledujeme nové technologie, které by nám s prací píchly. V týmu máme velkou svobodu v jejich použití a jsme pro (skoro) každou novinku.
• Ve Vyhledávání využíváme spoustu lidských kontrolorů, kteří zajišťují, aby Vyhledávání fungovalo jako po drátkách. Do budoucna chceme část ručních kontrol nahradit jazykovými modely, například pro detekci špatných výsledků ve Vyhledávání. Náš vztah s LLM v naší firmě je ale spíš opačný. My totiž dodáváme podklady, se kterými LLM pracují, třeba při shrnování odpovědí. Pokud má jazykový model poskytnout dobrou a krátkou odpověď, musí od nás obdržet dobrou stránku jako podklad, z které tu odpověď vytvoří.
• Datová centra jsou páteří veškeré naší práce. Naštěstí se o ně nemusíme moc starat, protože na to máme znalejší kolegy. Naše práce se celá točí kolem dat a čísel, takže jsme na datová centra napojení v jednom kuse. Ať už zjišťujeme, jak často uživatelům nabízíme nějaký e-shop, nebo trénujeme nový model pro rozhodování o pořadí výsledků, anebo třeba rozjíždíme nějaký monitoring, to vše řešíme přes naše datová centra.

Nákupní rádce je digitální nákupní asistent, který provede nakupující celým nákupním procesem. A to pohodlně v jednom rozhraní od inspirace přes výběr správného produktu po nalezení nejlepšího dodavatele. V našem týmu zodpovídáme za rozvoj a vizi nákupního rádce, organizaci zdrojů, exekuci a maximalizaci hodnoty pro zákazníky. Náplň práce spíše připomíná zakladatele startupu, takže hodně prvních kroků, ale taky strmá učící křivka, hodně zábavy, obohacující konverzace a nadšení, když robot poprvé promluví.

• Teď rozvíjíme produkt, který kombinuje Vyhledávání, Zboží.cz a LLM. V nákupním rádci vidíme příležitost zkrátit uživatelskou cestu a zvýšit uživatelský zážitek u komplexních nákupních dotazů. Zatím se soustředíme na část nákupního value chainu a postupně ho budeme rozšiřovat o další user stories. Nyní učíme LLM hledat výrobky v databázi Zboží. Můžete si vyzkoušet třeba vývoj aplikace v GO s pomocí OpenAI tools, RAG a návrh promptů, anotování a vyhodnocování LLM a další lahůdky.
• V rámci produktového managementu využíváme kancelářské aplikace (Excel, Word, PowerPoint, Zoom), ale ponořené nás najdete i v programech jako Figma, Freeform, Tableau, Youtrack a samozřejmě ChatGPT.
• Rádce kombinuje LLM s tradičními produkty Seznamu jako je Vyhledávání nebo Zboží.cz, takže LLM je nedílnou součástí naší práce. V rádci experimentujeme s možnými aplikacemi LLM a vývoj a promptění přenechávám zkušenějším kolegům. Zároveň LLM využívám ke zvýšení produktivity, ať už jako alternativu k Vyhledávání nebo jako asistenta a brainstorming partnera.
• V tuto chvíli datová centra významně nevyužíváme, kapacita nám zatím pro naše služby stačí.

Náš tým má na starosti jaké články a videa se zobrazí čtenáři, když přijde na Seznam.cz a jiné obsahové služby jako Novinky.cz, Stream.cz a další. Zkoumáme, co a proč se má uživateli zobrazit a jakou to pro něj má relevanci. Chceme lidem doručit ten nejlepší obsah z celého internetu. Samozřejmě na míru, nebo-li personalizovaně. K tomu používáme data a zpětnou vazbu návštěvníků. Do práce produktového manažera u nás patří analýza chování uživatelů, definice metrik, personalizace layoutu webu Seznam.cz, definice a plánování roadmapy a sprintů a také dohled na implementaci.

• V tomto roce pracujeme na třech klíčových projektech. Prvním je umět lidem doporučit ty nejlepší články z celého internetu, a to na základě jejich zájmů. Druhým je umět poskládat vzhled homepage na míru uživatele podle toho, co ho zajímá. Třetím klíčovým projektem je dostat na naší homepage ty nejzajímavější lokální zprávy.
• Mysql klient, Tableau, Grafana jsou pro analýzy dat. Jupyter Notebooks pro analýzu ab-testů a jiné občasné analýzy. MS office pro kvalitativní výzkum a veškeré zápisy. Zoom a Teams pro komunikaci, Youtrack pro plánování práce a Gitlab pro správu kódu.
• LLM používáme hlavně pro překlady. Plánujeme je ale používat i pro sumarizaci a další projekty.
• Vlastně jen zřídka. Ale produkťáci spolu s Vývojem a Výzkumem aktuálně plánují rozšíření nového hardwaru, takže se těšíme.

V případě platformy Firmy.cz se produktový management zaměřuje na poskytování přesných a aktuálních informací o firmách, které pak využívají naše další služby, jako jsou Mapy.cz nebo Vyhledávání. Máme k dispozici velké jazykové modely, což jsou naši nepostradatelní parťáci, a datový model i neustále rozvíjíme.

• Vylepšujeme náš datový model pro přesnější zpracování informací, automatizujeme proces stahování a aktualizace dat z veřejných rejstříků. A musíme se pochlubit i optimalizací procesu zakládání nových poboček firem v databázi pomocí LLM nástrojů a dat stažených z veřejných zdrojů. Zákazníkům jsme také ulehčili práci automatickým generováním popisků k firmám a tvorbou landing pages, které lidem usnadní hledání nejlepších firem v okolí. A v neposlední řadě zachycujeme duplicitní obsah v databázi našimi novými modely, což je radost.
• Jako produkťáci pracujeme s různými nástroji a technologiemi, které nám usnadňují každodenní práci. Nepostradatelné jsou pro nás Tabulky pro analýzu dat a tvorbu reportů. Komunikujeme přes Zoom a Teams a pro plánování a tvorbu ticketů je náš parťák YouTrack. A Grafanu a Reportera si nemůžeme vynachválit u analýzy databáze a statistik.
• S Large Language Models pracujeme především na dvou hlavních úlohách. První je generování popisků pro firmy. Zde využíváme modely k automatické tvorbě popisů firem na základě dostupných dat z webových stránek. Druhá oblast je stahování dat z veřejných rejstříků. Tady pomocí LLM zefektivňujeme proces získávání a zpracování dat z různých veřejných zdrojů.

Služba Email Profi dala malým a středním firmám možnost provozovat e-mail na vlastní doméně. A náš tým produkťáků pracuje na nových funkcích a rozšířené možnosti nastavení. A taky na novinkách v uživatelském rozhraní, protože mít e-mail i všechny důležité zprávy pod palcem, to lidé v dnešní rychlé době oceňují. A právě zpětná vazba našich uživatelů je pro nás důležitá pro další produktový rozvoj a zlepšení.

• Krom vylepšování technologického chodu služby a správy úložiště nezapomínáme ani na rozvoj antispamu a reagování na nové typy internetových hrozeb. Chystáme i nové funkce a rozšířené možnosti Nastavení a brzy přibude i bohatší nabídka novinek a zpráv v uživatelském prostředí.
• Zatím nijak, a to hlavně proto, že jsme zodpovědní za zachování listovního tajemství. Z tohoto důvodu nechceme do služby implementovat řešení třetí strany. Jakmile ale dokončíme Seznamácký LLM, počítáme na Emailu i Kalendáři s několika funkcemi, kde pustíme ke slovu i LLM. A to doslova, protože nám pomůže s lepší kontrolou pravopisu, cizojazyčnými překlady, shrnutím textů, návrhy předmětů a odpovědí a dalšími slovními vychytávkami.
• Většina našich komponent běží ve dvou lokalitách a v budoucnu bychom obě služby rádi provozovali ve třech. Takže ano, spolupráci máme vřelou.

Neznám je interní systém, který řeší docházku zaměstnanců a s ní spojené podklady pro mzdy, interní komunikaci, informační portál pro interní využití, databázi kontaktů, katalog vzdělávání a další featury, které Seznamákům ulehčují každodenní administrativu a hledání informací. Spolupracujeme s oddělením Podpory obchodu, které pro nás denně řeší otázky od uživatelů. Dále spolupracujeme s projektovou kanceláří a UI návrhářem. A naším produkťáckým úkolem je nejen denní údržba, ale i neustálý rozvoj a zlepšení.

• Už dlouhodobě pracujeme na rozvoji našeho interního systému. Naším cílem je zbavit se starého systému a rozvíjet a udržovat nový systém tak, aby byl pro naše Seznamáky i externisty stále uživatelsky přívětivý, zároveň splňoval i zákonné povinnosti. Průběžně také odbavujeme nahromaděný technologický dluh. Mezi velké projekty řadíme třeba plánky budov v Seznamu a kompletní docházkovou evidenci.
• Nepostradatelným nástrojem je pro nás Youtrack, ve kterém jsou vedené veškeré tickety spojené s naším systémem. Ať už jde o denní údržbu nebo zadání velkých projektů. Komunikujeme přes Teams a Zoom a s grafickými návrhy od návrhářů pak pracujeme ve Figmě.

Jako produkťáci oborových služeb máme na starosti služby Sauto.cz, Sreality.cz, Volnamista.cz a Sdovolena.cz. Hlavní náplní naší práce je neustálý rozvoj služeb a zlepšování dat. Nedílnou částí je i datová analýza a spolupráce s dalšími službami, jako jsou Mapy.cz a Firmy.cz. A protože komunikace s obchodní částí služeb i s externími partnery je taky naše parketa, je u nás v týmu opravdu živo.

• Teď pracujeme na nových Srealitách. Kromě webovky řešíme i úplně nový admin pro klienty, který má přinést lepší práci nejen s inzeráty, ale i snadnější objednávání doprovodných služeb. Zároveň pracujeme s LLM systémem a brzy dáme klientovi možnost nechat si vygenerovat popis inzerátů podle zadaných parametrů. Těšíme se i na další službu, která nám bude tagovat fotky. U každé fotky bude uvedené, o jakou místnost se jedná a také co vše se na ní nachází. Na webu vylepšujeme doporučování inzerátů, a to podle toho, jaké nemovitosti si návštěvník prohlíží. Na Volnamista.cz se nám o inzeráty stará fulltext robot a neuronová síť natrénovaná na realných inzerátech, která umí ze stránky vyseparovat nehodící se věci a opět z toho složit inzerát.
• Jako produkťáci nedáme dopustit na Youtrack pro evidenci a přehlednost tiketů. Teams a Zoom používáme pro komunikaci napříč týmem i celou firmou. Reportéra pak pro práci s daty a Figmu pro práci s grafickými návrhy.
• Nově budeme využívat LLM pro sestavování popisu nemovitostí podle zadaných parametrů a taky pro překlad popisu do jiných jazyků.
• Aktuálně nám služby běží ve třech lokalitách. Řešíme tam kompletní přepočítávání inzerce a statistik, výdej webovek a zpracovávání veškeré inzerce.

Na našich produkťáckých bedrech máme rozvoj i realizaci nových strategických projektů. Kapacitně řešíme technologický dluh, nové featury pro uživatele i dlouhodobé plány s celou službou. Každodenní náplní je tak rozvoj a zároveň zjednodušení služby z pohledu prodávajících i potencionálních zájemců, procesní analýza, návrhy na nové featury, jejich design a validace. A to samozřejmě nejde bez toho, aniž by člověk neznal službu od A do Z i pohledu dat a chování lidí. A jak už tomu v onlinu bývá, pravidelnou součástí je i vyhodnocování bezpečnostních rizik a jejich předcházení.

• S Sbazarem máme velké plány, ale hlavním projektem je teď lepší uživatelský zážitek z nakupování i prodávání. Pro prodávající jsme přidali možnost hromadně upravovat inzeráty nebo si je označit jako rezervované, dále jsme zjednodušili možnost ověřit si účet a být tak pro potenciální zájemce důvěryhodnější. Pro kupující zákazníky pak pracujeme na ulehčení hledání nabídek, které jsou v okolí.
• Pro evidenci tiketů a plánování Youtrack, pro grafické návrhy nám slouží Figma, pro procesní analýzy LucidChart, pro dílčí projekty třeba Miro, pro práci s daty Reportér, pro práci skoro na cokoliv ChatGPT a pak samozřejmě používáme i běžný kancelářský balíček.
• Pomocí LLM modelů pracujeme na vytvoření parametrické filtrace, abychom zjednodušili hledání té správné nabídky pro všechny kupující.
• Služby nám běží ve třech lokalitách, občas pracujeme na optimalizaci, ale jako produkťáci technologickou stránku moc neřešíme.

Náš tým má na triku vyhledávací funkce pro služby Mapy.cz a Firmy.cz. Výsledky našeho hledání můžete vidět také v podobě mapových a firemních upoutávek ve vyhledávání Seznam.cz. Primárním cílem je poskytovat lidem kvalitní a relevantní výsledky při hledání různých informací spojených s Mapami a Firmami. Jsme menší specializovaný tým a naše jádro tvoří šest vývojářů a produktový manažer. No a co nás dělá produkťáky? Že máme zodpovědnost za výsledek. A o ten se staráme napříč týmy.

• Naším hlavním současným projektem je technologické sjednocení vyhledávání pro Mapy.cz a Firmy.cz. Historicky se tyto dva systémy vyvíjely nezávisle na sobě, ale jejich funkce a cíle se časem stále více přibližovaly. Sloučení těchto dvou systémů nám umožní zachovat silné stránky obou přístupů a výrazně zjednoduší a urychlí další vývoj. Těšíme se, že tento krok přinese nejen zvýšení efektivity, ale také lepší zážitek návštěvníkům.
• Hledáni pro Mapy.cz a Firmy.cz je postavené na řadě open-source technologií. Provozujeme je v našem interním cloudovém prostředí, které je založeno na platformách Kubernetes a OpenStack. V rámci projektu sjednocení vyhledávání se postupně zbavujeme starších technologií a přecházíme na ElasticSearch jako hlavní nástroj pro vyhledávání.
• Kromě využívání nástrojů jako ChatGPT a GitHub Copilot pro usnadnění každodenní práce využíváme LLM zatím pouze opatrně. Přemýšlíme o jejich možném využití ve vyhledávání, v blízké budoucnosti plánujeme zkusit LLM použít k hodnocení kvality nalezených výsledků.
• S datovými centry spolupracujeme už standardně. Využíváme moderní infrastrukturu, která nám umožňuje efektivně provozovat a spravovat naše vyhledávací systémy a zajišťovat jejich vysokou dostupnost a výkon.