Co studie GEO skutečně zjistila — a co z ní neplyne
Rozbor recenzované studie z roku 2024: benchmark s 10 000 dotazy, naměřené přínosy úprav obsahu a limity, které je nutné znát před převodem výsledků do živého vyhledávání.
Co je to za studii
V listopadu 2023 publikoval tým výzkumníků z Princeton University, Georgia Tech a Allen Institute of AI paper s názvem „GEO: Generative Engine Optimization“. Studie prošla recenzním řízením a v roce 2024 vyšla ve sborníku konference ACM KDD.
Autoři zavedli benchmark GEO-bench a metriky, které sledují, jak velký prostor dostane zdroj v generované odpovědi a kde se jeho citace objeví. Je to užitečný experimentální základ, nikoli obchodní případová studie.
Co přesně testovali
- Benchmark 10 000 dotazů z různých domén a zdrojových datasetů
- Experimentální generativní engine s pěti předem vyhledanými zdroji a modelem GPT-3.5 Turbo
- 9 různých technik optimalizace obsahu
- Pět náhodných běhů pro omezení rozptylu výsledků
- Doplňkový test na Perplexity s vloženými soubory pro 200 příkladů
Hlavní zjištění
Nejlépe vycházely úpravy, které doplňovaly ověřitelné zdroje, relevantní citace a statistiky nebo zlepšovaly plynulost textu:
- Celkový vrchol benchmarku — podle autorů až 40% zvýšení viditelnosti
- Test na Perplexity — až 22 % na jedné objektivní a 37 % na jedné subjektivní metrice podle metody
- Keyword stuffing — v testu na Perplexity dopadl na objektivní metrice hůř než neupravený obsah
Výsledek pro níže umístěný zdroj
V jednom řezu experimentu zvýšilo doplnění zdrojů viditelnost webu na páté pozici vstupního pořadí o 115,1 %. U webu na první pozici stejná metoda naopak v průměru snížila viditelnost o 30,3 %.
Autoři tento výsledek popisují jako potenciál pro méně viditelné tvůrce. Studie však netřídila weby podle velikosti firmy a neprokazovala, že český malý podnik předběhne korporaci v ChatGPT nebo Googlu.
Limity, které marketing často vynechá
- V hlavním experimentu už byly zdroje předem vyhledané; studie netestovala celý proces indexace a retrievalu živého webu.
- Perplexity dostalo zdrojové texty jako vložené soubory, takže nešlo o běžné vyhledání stránky na internetu.
- Výsledkem byla viditelnost zdroje v odpovědi, nikoli návštěvnost, leady nebo tržby.
- Autoři sami upozorňují, že účinnost závisí na doméně a bude se měnit s vývojem generativních enginů.
Co z ní lze rozumně použít
Studie podporuje poctivou práci s ověřitelnými zdroji, relevantními statistikami, citacemi a čitelným textem. Tyto změny mají smysl testovat na stabilním baseline, ale jejich dopad musíme měřit na konkrétním webu a oddělit citaci od skutečného obchodního výsledku.