Úvod / robots.txt a AI roboti

AI viditelnost

robots.txt a AI roboti: koho pustit a koho blokovat

Kteří roboti přinášejí citace v ChatGPT, Perplexity a Claude, kteří jen sbírají data pro trénink, a jak to zapsat do robots.txt bez nejčastější chyby. Se dvěma variantami ke zkopírování.

Autor: Štěpán Ševčík, webdesigner a tvůrce e-shopů ze Znojma · Aktualizováno 17. 10. 2026

Stručně: AI roboti se dělí na vyhledávací (OAI-SearchBot, PerplexityBot, Claude-SearchBot a uživatelské varianty), kteří přinášejí citace a odkazy, a tréninkové (GPTBot, ClaudeBot, CCBot, token Google-Extended), kteří berou obsah pro učení modelů. Vyhledávací roboty pusťte vždy. Tréninkové blokujte jen tehdy, když chráníte vlastní obsah. A pozor: robot, který má v robots.txt vlastní skupinu, ignoruje pravidla pod User-agent: *.

Jestli váš současný robots.txt některého AI robota neblokuje, zjistíte rychle v nástroji Kontrola AI viditelnosti webu zdarma. Ručně si soubor otevřete na adrese vase-domena.cz/robots.txt.

Kteří roboti jsou důležití

User-agentFirmaTypDoporučení
OAI-SearchBotOpenAIVyhledávání v ChatGPT. Při blokaci se web v ChatGPT search nezobrazí.Povolit
ChatGPT-UserOpenAINačítání na pokyn uživatele. Robots.txt se na něj nemusí vztahovat.Povolit
GPTBotOpenAITrénink modelůVaše rozhodnutí
PerplexityBotPerplexityZobrazování a odkazování webů v Perplexity, podle firmy ne k tréninku.Povolit
Perplexity-UserPerplexityNačítání na dotaz uživatele, robots.txt obecně ignoruje.Povolit
Claude-SearchBotAnthropicIndexace pro vyhledávání v ClaudePovolit
Claude-UserAnthropicNačítání na dotaz uživatelePovolit
ClaudeBotAnthropicTrénink modelůVaše rozhodnutí
GooglebotGoogleGoogle Search včetně AI Overviews a AI ModePovolit vždy
Google-ExtendedGoogleToken, ne robot. Trénink Gemini a grounding v aplikacích Gemini a Vertex AI.Vaše rozhodnutí
BingbotMicrosoftIndex Bingu, ze kterého čerpá CopilotPovolit vždy
SeznamBotSeznamIndex Seznamu, ze kterého čerpá i Seznam AsistentPovolit vždy
CCBotCommon CrawlOtevřený archiv webu, v praxi hojně využívaný i k tréninku AIVaše rozhodnutí

Google-Extended: co dělá a co ne

Tady vidím nejvíc nedorozumění. Google doslova píše, že Google-Extended neovlivňuje zařazení webu do Google Search ani se nepoužívá jako signál pro pořadí. AI Overviews a AI Mode jsou součástí Google Search a řídí se pravidly pro Googlebot a ovládacími prvky snippetů (nosnippet, max-snippet, noindex).

Google-Extended řídí použití obsahu pro trénink modelů Gemini a pro grounding v aplikacích Gemini a ve Vertex AI. Když ho zablokujete, o pozice v Googlu ani o AI Overviews nepřijdete, ale můžete omezit, jak se váš obsah použije v odpovědích aplikace Gemini. Firmě, která chce být vidět, proto blokaci nedoporučuji.

Nejčastější chyba: vlastní skupina ruší User-agent: *

Pravidlo, na které se zapomíná nejčastěji: pokud v robots.txt existuje skupina pro konkrétního robota, tento robot se řídí jen jí a obecnou skupinu User-agent: * ignoruje.

Typická situace: máte pod hvězdičkou zakázanou administraci a košík a pak přidáte samostatnou skupinu User-agent: OAI-SearchBot s řádkem Allow: /, protože ho chcete „výslovně povolit“. Tím jste mu ale zrušili všechny zákazy z obecné skupiny. Proto platí: když pro robota píšete vlastní skupinu, zopakujte v ní i zákazy. Nebo, a to je jednodušší, vlastní skupinu pro vyhledávací roboty vůbec nepište.

Druhá klasika: Disallow: / pod User-agent: *, které zůstalo z testovací verze webu. Tím blokujete úplně všechny roboty, včetně Googlu.

Varianta A: maximální viditelnost

Doporučuji ji pro většinu firem. Žádné zvláštní skupiny, všichni roboti se řídí obecnými pravidly. Cesty níže jsou příklad pro WordPress a WooCommerce, upravte je podle svého webu.

# robots.txt – varianta A: všichni roboti povoleni

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /kosik/
Disallow: /pokladna/
Disallow: /muj-ucet/
Disallow: /*?s=
Disallow: /*?add-to-cart=

Sitemap: https://www.vase-domena.cz/sitemap_index.xml

Varianta B: viditelnost ano, trénink ne

Pro weby s vlastním autorským obsahem, ze kterého žijete (placené návody, fotografie, texty). Tréninkoví roboti mají zákaz, vyhledávací zůstávají pod obecnými pravidly. To, že tréninkoví roboti kvůli vlastní skupině ignorují hvězdičku, tady nevadí: mají zakázaný celý web.

# robots.txt – varianta B: AI vyhledávání povoleno, trénink zakázán

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /kosik/
Disallow: /pokladna/
Disallow: /muj-ucet/

# Tréninkoví roboti: zakázat
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

# Google-Extended neblokuji: mohlo by to omezit grounding
# v aplikaci Gemini. Search ani AI Overviews neovlivňuje.

Sitemap: https://www.vase-domena.cz/sitemap_index.xml

Jestli povolení tréninkových robotů zvyšuje šanci, že vás model „zná“ i bez vyhledávání, nikdo spolehlivě nezměřil. Pokud obsah chránit nepotřebujete, zůstaňte u varianty A.

Poznámky pro WordPress

  • Rank Math: Obecné nastavení → Upravit robots.txt. Funguje jen tehdy, když v kořeni webu neexistuje fyzický soubor robots.txt. Pokud existuje, upravte ho přes FTP nebo správce souborů hostingu.
  • Yoast SEO: Nástroje → Editor souborů → robots.txt.
  • Bezpečnostní pluginy (Wordfence, iThemes a podobné) mohou neznámé roboty blokovat bez ohledu na robots.txt. Zkontrolujte, že nezastavují OAI-SearchBot, PerplexityBot a Claude-SearchBot.

Poznámky pro Shoptet

Shoptet robots.txt generuje automaticky. Vlastní pravidla přidáte v administraci v Vzhled a obsah → Editor → HTML kód, sekce „Robots.txt“. Text se připojí na konec vygenerovaného souboru, výchozí pravidla tedy nepřepíšete.

Prakticky: nejdřív si otevřete vase-domena.cz/robots.txt a zkontrolujte, jestli AI vyhledávací roboti nejsou blokovaní. Pro variantu B stačí do sekce vložit jen skupiny pro GPTBot, ClaudeBot a CCBot. Pozor na pravidlo o vlastních skupinách: kdybyste sem přidali skupinu pro vyhledávacího robota, přestanou pro něj platit zákazy, které Shoptet píše pod hvězdičku.

Firewall a CDN

Robots.txt je jen pokyn. Google doporučuje ověřit, že crawling povoluje i hosting a CDN, OpenAI doporučuje zkontrolovat, že hosting propouští jejich publikované IP adresy. Pokud používáte Cloudflare, projděte v nastavení sekci pro boty a AI roboty. Některé ochrany je blokují bez ohledu na robots.txt.

Po úpravě dejte robotům čas, OpenAI uvádí zhruba 24 hodin. A pokud nějakou stránku nechcete v odpovědích, použijte meta tag noindex a stránku v robots.txt neblokujte, jinak robot tag nepřečte.

Přístup je jen první krok. Co dál, aby vás ChatGPT opravdu citoval, popisuji v článku Jak dostat firmu do odpovědí ChatGPT. A proč vedle robots.txt nepotřebujete nutně llms.txt, rozebírám zvlášť.

Chcete to mít kompletní? V PDF průvodci Jak dostat firmu do odpovědí ChatGPT, Google AI a Perplexity (490 Kč) najdete i variantu „blokovat vše kromě vybraných“, návody pro Webnode a Wix, Bing Webmaster Tools, strukturovaná data, šablony obsahu a 30denní akční plán.

Časté otázky

Zablokuje Disallow pro GPTBot můj web v ChatGPT?

Ne. GPTBot slouží k tréninku. Pro vyhledávání v ChatGPT je rozhodující OAI-SearchBot, a pokud ho necháte pod obecnými pravidly, zůstává povolený.

Musím AI vyhledávací roboty v robots.txt výslovně povolit?

Ne. Pokud nejsou blokovaní pravidlem pod User-agent: *, mají přístup. Samostatná skupina s Allow: / je zbytečná a navíc ruší zákazy z obecné skupiny.

Vyřadí mě blokace Google-Extended z AI Overviews?

Ne. Google-Extended neovlivňuje Google Search ani jeho AI funkce. Řídí trénink Gemini a grounding v aplikacích Gemini a Vertex AI.

Funguje robots.txt na všechny AI roboty?

Ne úplně. OpenAI uvádí, že se pravidla nemusí vztahovat na ChatGPT-User, a Perplexity píše, že Perplexity-User robots.txt obecně ignoruje, protože jde o požadavek uživatele.

Zdroje

Související: Jak se dostat do ChatGPT · llms.txt: má smysl ho mít? · Kontrola AI viditelnosti webu · Průvodce AI viditelností (PDF)

Vidí AI asistenti váš web?

Zkontrolovat zdarma
Audit zdarmaKonzultace