Úvod / robots.txt a AI roboti
AI viditelnost
robots.txt a AI roboti: koho pustit a koho blokovat
Kteří roboti přinášejí citace v ChatGPT, Perplexity a Claude, kteří jen sbírají data pro trénink, a jak to zapsat do robots.txt bez nejčastější chyby. Se dvěma variantami ke zkopírování.
Stručně: AI roboti se dělí na vyhledávací (OAI-SearchBot, PerplexityBot, Claude-SearchBot a uživatelské varianty), kteří přinášejí citace a odkazy, a tréninkové (GPTBot, ClaudeBot, CCBot, token Google-Extended), kteří berou obsah pro učení modelů. Vyhledávací roboty pusťte vždy. Tréninkové blokujte jen tehdy, když chráníte vlastní obsah. A pozor: robot, který má v robots.txt vlastní skupinu, ignoruje pravidla pod User-agent: *.
Jestli váš současný robots.txt některého AI robota neblokuje, zjistíte rychle v nástroji Kontrola AI viditelnosti webu zdarma. Ručně si soubor otevřete na adrese vase-domena.cz/robots.txt.
Kteří roboti jsou důležití
| User-agent | Firma | Typ | Doporučení |
|---|---|---|---|
OAI-SearchBot | OpenAI | Vyhledávání v ChatGPT. Při blokaci se web v ChatGPT search nezobrazí. | Povolit |
ChatGPT-User | OpenAI | Načítání na pokyn uživatele. Robots.txt se na něj nemusí vztahovat. | Povolit |
GPTBot | OpenAI | Trénink modelů | Vaše rozhodnutí |
PerplexityBot | Perplexity | Zobrazování a odkazování webů v Perplexity, podle firmy ne k tréninku. | Povolit |
Perplexity-User | Perplexity | Načítání na dotaz uživatele, robots.txt obecně ignoruje. | Povolit |
Claude-SearchBot | Anthropic | Indexace pro vyhledávání v Claude | Povolit |
Claude-User | Anthropic | Načítání na dotaz uživatele | Povolit |
ClaudeBot | Anthropic | Trénink modelů | Vaše rozhodnutí |
Googlebot | Google Search včetně AI Overviews a AI Mode | Povolit vždy | |
Google-Extended | Token, ne robot. Trénink Gemini a grounding v aplikacích Gemini a Vertex AI. | Vaše rozhodnutí | |
Bingbot | Microsoft | Index Bingu, ze kterého čerpá Copilot | Povolit vždy |
SeznamBot | Seznam | Index Seznamu, ze kterého čerpá i Seznam Asistent | Povolit vždy |
CCBot | Common Crawl | Otevřený archiv webu, v praxi hojně využívaný i k tréninku AI | Vaše rozhodnutí |
Google-Extended: co dělá a co ne
Tady vidím nejvíc nedorozumění. Google doslova píše, že Google-Extended neovlivňuje zařazení webu do Google Search ani se nepoužívá jako signál pro pořadí. AI Overviews a AI Mode jsou součástí Google Search a řídí se pravidly pro Googlebot a ovládacími prvky snippetů (nosnippet, max-snippet, noindex).
Google-Extended řídí použití obsahu pro trénink modelů Gemini a pro grounding v aplikacích Gemini a ve Vertex AI. Když ho zablokujete, o pozice v Googlu ani o AI Overviews nepřijdete, ale můžete omezit, jak se váš obsah použije v odpovědích aplikace Gemini. Firmě, která chce být vidět, proto blokaci nedoporučuji.
Nejčastější chyba: vlastní skupina ruší User-agent: *
Pravidlo, na které se zapomíná nejčastěji: pokud v robots.txt existuje skupina pro konkrétního robota, tento robot se řídí jen jí a obecnou skupinu User-agent: * ignoruje.
Typická situace: máte pod hvězdičkou zakázanou administraci a košík a pak přidáte samostatnou skupinu User-agent: OAI-SearchBot s řádkem Allow: /, protože ho chcete „výslovně povolit“. Tím jste mu ale zrušili všechny zákazy z obecné skupiny. Proto platí: když pro robota píšete vlastní skupinu, zopakujte v ní i zákazy. Nebo, a to je jednodušší, vlastní skupinu pro vyhledávací roboty vůbec nepište.
Druhá klasika: Disallow: / pod User-agent: *, které zůstalo z testovací verze webu. Tím blokujete úplně všechny roboty, včetně Googlu.
Varianta A: maximální viditelnost
Doporučuji ji pro většinu firem. Žádné zvláštní skupiny, všichni roboti se řídí obecnými pravidly. Cesty níže jsou příklad pro WordPress a WooCommerce, upravte je podle svého webu.
# robots.txt – varianta A: všichni roboti povoleni
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /kosik/
Disallow: /pokladna/
Disallow: /muj-ucet/
Disallow: /*?s=
Disallow: /*?add-to-cart=
Sitemap: https://www.vase-domena.cz/sitemap_index.xml
Varianta B: viditelnost ano, trénink ne
Pro weby s vlastním autorským obsahem, ze kterého žijete (placené návody, fotografie, texty). Tréninkoví roboti mají zákaz, vyhledávací zůstávají pod obecnými pravidly. To, že tréninkoví roboti kvůli vlastní skupině ignorují hvězdičku, tady nevadí: mají zakázaný celý web.
# robots.txt – varianta B: AI vyhledávání povoleno, trénink zakázán
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /kosik/
Disallow: /pokladna/
Disallow: /muj-ucet/
# Tréninkoví roboti: zakázat
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
# Google-Extended neblokuji: mohlo by to omezit grounding
# v aplikaci Gemini. Search ani AI Overviews neovlivňuje.
Sitemap: https://www.vase-domena.cz/sitemap_index.xml
Jestli povolení tréninkových robotů zvyšuje šanci, že vás model „zná“ i bez vyhledávání, nikdo spolehlivě nezměřil. Pokud obsah chránit nepotřebujete, zůstaňte u varianty A.
Poznámky pro WordPress
- Rank Math: Obecné nastavení → Upravit robots.txt. Funguje jen tehdy, když v kořeni webu neexistuje fyzický soubor robots.txt. Pokud existuje, upravte ho přes FTP nebo správce souborů hostingu.
- Yoast SEO: Nástroje → Editor souborů → robots.txt.
- Bezpečnostní pluginy (Wordfence, iThemes a podobné) mohou neznámé roboty blokovat bez ohledu na robots.txt. Zkontrolujte, že nezastavují OAI-SearchBot, PerplexityBot a Claude-SearchBot.
Poznámky pro Shoptet
Shoptet robots.txt generuje automaticky. Vlastní pravidla přidáte v administraci v Vzhled a obsah → Editor → HTML kód, sekce „Robots.txt“. Text se připojí na konec vygenerovaného souboru, výchozí pravidla tedy nepřepíšete.
Prakticky: nejdřív si otevřete vase-domena.cz/robots.txt a zkontrolujte, jestli AI vyhledávací roboti nejsou blokovaní. Pro variantu B stačí do sekce vložit jen skupiny pro GPTBot, ClaudeBot a CCBot. Pozor na pravidlo o vlastních skupinách: kdybyste sem přidali skupinu pro vyhledávacího robota, přestanou pro něj platit zákazy, které Shoptet píše pod hvězdičku.
Firewall a CDN
Robots.txt je jen pokyn. Google doporučuje ověřit, že crawling povoluje i hosting a CDN, OpenAI doporučuje zkontrolovat, že hosting propouští jejich publikované IP adresy. Pokud používáte Cloudflare, projděte v nastavení sekci pro boty a AI roboty. Některé ochrany je blokují bez ohledu na robots.txt.
Po úpravě dejte robotům čas, OpenAI uvádí zhruba 24 hodin. A pokud nějakou stránku nechcete v odpovědích, použijte meta tag noindex a stránku v robots.txt neblokujte, jinak robot tag nepřečte.
Přístup je jen první krok. Co dál, aby vás ChatGPT opravdu citoval, popisuji v článku Jak dostat firmu do odpovědí ChatGPT. A proč vedle robots.txt nepotřebujete nutně llms.txt, rozebírám zvlášť.
Chcete to mít kompletní? V PDF průvodci Jak dostat firmu do odpovědí ChatGPT, Google AI a Perplexity (490 Kč) najdete i variantu „blokovat vše kromě vybraných“, návody pro Webnode a Wix, Bing Webmaster Tools, strukturovaná data, šablony obsahu a 30denní akční plán.
Časté otázky
Zablokuje Disallow pro GPTBot můj web v ChatGPT?
Ne. GPTBot slouží k tréninku. Pro vyhledávání v ChatGPT je rozhodující OAI-SearchBot, a pokud ho necháte pod obecnými pravidly, zůstává povolený.
Musím AI vyhledávací roboty v robots.txt výslovně povolit?
Ne. Pokud nejsou blokovaní pravidlem pod User-agent: *, mají přístup. Samostatná skupina s Allow: / je zbytečná a navíc ruší zákazy z obecné skupiny.
Vyřadí mě blokace Google-Extended z AI Overviews?
Ne. Google-Extended neovlivňuje Google Search ani jeho AI funkce. Řídí trénink Gemini a grounding v aplikacích Gemini a Vertex AI.
Funguje robots.txt na všechny AI roboty?
Ne úplně. OpenAI uvádí, že se pravidla nemusí vztahovat na ChatGPT-User, a Perplexity píše, že Perplexity-User robots.txt obecně ignoruje, protože jde o požadavek uživatele.
Zdroje
- OpenAI: Overview of OpenAI Crawlers
- OpenAI Help Center: ChatGPT search
- OpenAI Help Center: Publishers and Developers FAQ
- Perplexity: Perplexity Crawlers
- Claude Help Center: Does Anthropic crawl data from the web?
- Google: List of Google’s common crawlers
- Search Engine Journal: Google updates Gemini/Vertex AI user agent documentation
- Google Search Central: AI features and your website
- Common Crawl: CCBot
- Shoptet Podpora: HTML kódy
Související: Jak se dostat do ChatGPT · llms.txt: má smysl ho mít? · Kontrola AI viditelnosti webu · Průvodce AI viditelností (PDF)
