Yapay zekâ botları için robots.txt nasıl ayarlanır?

Kısa cevap: robots.txt dosyasında her yapay zekâ botu için kendi adıyla ayrı bir “User-agent” grubu açar, “Allow” ve “Disallow” kurallarını o grubun altına yazarsınız. Sağlıklı bir kurulumda yanıtlarda kaynak gösteren arama botları (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot) açık tutulur; eğitim amaçlı botlar ise içerik politikanıza göre tamamen ya da dizin bazında sınırlandırılır.

robots.txt nedir, yapay zekâ botlarıyla ne ilgisi var?

robots.txt, alan adınızın kök dizininde duran ve tarayıcılara sitenin hangi yollarına girebileceklerini bildiren düz metin dosyasıdır. Robots Exclusion Protocol olarak bilinen bu kurallar, IETF tarafından RFC 9309 numarasıyla standart hâline getirildi. Yapay zekâ şirketlerinin tarayıcıları da bu dosyayı okur ve kurallara uyduklarını beyan eder. Yine de dosya bir ricadır: kuralları tanımayan bir aracı fiziksel olarak durdurmaz, gizli tutmak istediğiniz sayfaları da korumaz.

Hangi yapay zekâ botları var?

Yapay zekâ botlarını tek tek ezberlemek yerine amaçlarına göre dört grupta düşünmek, doğru kararı kolaylaştırır:

• Yanıtlarda kaynak gösteren arama botları: OAI-SearchBot ChatGPT aramasını, PerplexityBot ise Perplexity’nin yanıtlarını besler. Microsoft Copilot web sonuçlarında Bing dizinini kullandığı için Bingbot da bu gruptadır.
• Eğitim amaçlı botlar ve kontrol işaretleri: OpenAI’ın GPTBot’u ve Anthropic’in ClaudeBot’u model geliştirme için içerik toplar. Google-Extended ve Applebot-Extended ise ayrı tarayıcılar değil; Google’ın ve Apple’ın mevcut botlarıyla toplanan içeriğin model eğitiminde kullanılmasını yöneten robots.txt işaretleridir.
• Kullanıcı adına gelen ajanlar: ChatGPT-User gibi ajanlar, bir kişi sohbet içinde belirli bir sayfayı istediğinde siteye o anda gelir.
• Klasik arama botları: Googlebot yalnızca Google Arama için değil, AI Bakışı ve AI Modu için de tarama yapar; engellenmesi sitenizi Google’dan bütünüyle çıkarır.

Anthropic, Perplexity ve diğer şirketler arama ya da kullanıcı ziyaretleri için ek bot adları da kullanabilir. Liste zamanla değiştiği için kural yazmadan önce her platformun güncel dokümantasyonunu kontrol edin. Botların tek tek ayrıntısı için GPTBot ve Google-Extended yazılarımıza bakabilirsiniz.

Kurallar nasıl işler?

robots.txt’in mantığı basittir, ancak yapay zekâ botlarında sonucu belirleyen birkaç ayrıntı vardır:

• Bot yalnızca kendi grubunu okur. Bir bot, adıyla eşleşen bir grup bulursa yıldızlı (User-agent: *) genel grubu yok sayar. GPTBot için ayrı grup açtıysanız, genel gruptaki kısıtlamalar GPTBot’a artık uygulanmaz.
• En uzun eşleşme kazanır. Aynı yol için hem Allow hem Disallow varsa, daha uzun ve daha belirgin kural geçerli olur.
• Bot adları büyük-küçük harfe duyarlı değildir, fakat yanlış yazılmış bir ad hiçbir botla eşleşmez.
• Dosya her alt alan adı ve protokol için ayrıdır. Blog veya mağaza farklı bir alt alan adındaysa orada da ayrı bir robots.txt gerekir.

Adım adım kurulum

1. Mevcut dosyayı ve kayıtları inceleyin. Hangi botların sitenize geldiğini, hangilerinin engellendiğini ve dosyada geliştirme ortamından kalmış bir “Disallow: /” satırı olup olmadığını kontrol edin.
2. Karar tablosu hazırlayın. Her bot için “açık”, “kapalı” ya da “belirli dizinler kapalı” kararını gerekçesiyle yazın.
3. Her bot için ayrı grup yazın. Örnek bir yapı şöyle olabilir:
   • User-agent: OAI-SearchBot / Allow: /
   • User-agent: PerplexityBot / Allow: /
   • User-agent: GPTBot / Disallow: /uyelik/
   • User-agent: Google-Extended / Disallow: /arastirma-raporlari/
   • User-agent: * / Disallow: /yonetim/
   • Sitemap: alan adınızdaki site haritası adresi
4. Ortak kısıtlamaları her gruba ekleyin. Yönetim paneli veya sepet gibi tüm botlara kapalı olması gereken yolları, açtığınız her özel grupta tekrarlayın.
5. CDN ve güvenlik duvarını hizalayın. Bazı CDN ve güvenlik hizmetleri yapay zekâ botlarını varsayılan olarak engelleyen seçenekler sunar; robots.txt’te izin verdiğiniz bir botun bu katmanda takılmadığından emin olun.
6. Test edin. Dosyanın sunucudan başarılı yanıtla döndüğünü, karakter kodlamasının bozulmadığını ve kuralların beklediğiniz gibi eşleştiğini Search Console’daki robots.txt kontrolleriyle ve bir doğrulama aracıyla sınayın.
7. İzleyin ve güncelleyin. Sunucu kayıtlarında bot davranışını takip edin; yeni bot adları duyuruldukça dosyayı gözden geçirin.

Üç yaygın senaryonun karşılaştırması

• Tamamen açık: Hiçbir yapay zekâ botuna özel kural yoktur. En geniş görünürlük ihtimalini sağlar, ancak içeriğinizin eğitimde kullanılmasına dair bilinçli bir tercih yapmamış olursunuz.
• Dengeli: Arama ve alıntı botları açıktır; eğitim botları yalnızca ücretli, özgün veya hassas dizinlerde kısıtlanır. Çoğu kurumsal site ve e-ticaret mağazası için savunulması en kolay modeldir.
• Tamamen kapalı: Arama botları da dahil yapay zekâ botlarının tümü engellenir. İçerik korunur, fakat ChatGPT, Perplexity ve benzeri araçların yanıtlarında kaynak olarak anılma ihtimali büyük ölçüde kaybolur.

Sık yapılan hatalar

• Yayına alınan sitede, test ortamından kalan “User-agent: *” ve “Disallow: /” satırlarını unutmak.
• Bota özel grup açıp genel kısıtlamaları o gruba kopyalamamak; böylece yönetim yollarını istemeden açmak.
• Bir sayfayı dizinden çıkarmak için robots.txt kullanmak. Engellenen sayfadaki “noindex” etiketi okunamayacağı için sayfa, adresiyle birlikte dizinde kalabilir.
• Bot adını hatalı yazmak ya da internetten kopyalanan eski bir listeyi kontrol etmeden kullanmak.
• robots.txt veya sayfa içine yapay zekâya yönelik gizli talimatlar eklemek. Bu tür girişimler manipülasyon olarak görülebilir, platform kurallarını ihlal edebilir ve marka güvenini zedeler.

Gerçekçi beklenti

Doğru bir robots.txt bir ön koşuldur, tek başına sonuç getirmez. Kapıyı açarsınız; içeride bulunan içerik net ve güvenilir değilse alıntı gelmez. Değişikliklerin de etkisi anında görülmez: Google robots.txt içeriğini genellikle 24 saate kadar önbellekte tutar, diğer platformlar da dosyayı kendi aralıklarıyla yeniden okur. Yapay zekâ sistemlerinin içeriği yeniden tarayıp yanıtlara yansıtması ise genellikle 4–12 hafta alır ve hiçbir ayar belirli bir yanıtta yer almayı kesinleştirmez. Platform bazında neler yapılabileceğini Perplexity ve Copilot rehberlerimizde ayrıca anlattık.

Türkiye’deki durum

Google’ın AI Bakışı ve AI Modu özellikleri 18 Şubat 2026’dan beri Türkiye’de kademeli olarak kullanılıyor ve bu yüzeyler Googlebot’un taradığı içerikten beslenir. Dolayısıyla Türkiye’de Google’ın yapay zekâ yanıtlarında yer almak isteyen bir sitenin önce Googlebot erişimini sağlam tutması gerekir; Google-Extended’i kapatmak bu yüzeyleri etkilemez. Sahada en sık karşılaştığımız sorunlar ise barındırma hizmetinin varsayılan dosyası, eski bir geliştirme döneminden kalan kurallar ve CDN tarafında açık unutulmuş bot engelleridir. Genel bir öz denetim için GEO kontrol listemizi kullanabilirsiniz.

Racoun nasıl yardımcı olur?

Bot erişim yönetimi, GEO ajansı olarak sunduğumuz yapay zekâ görünürlüğü hizmetinin yedi bileşeninden biridir. GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended ve PerplexityBot dahil 14 botun robots.txt üzerinden yönetimini, görünürlük denetimi, yapılandırılmış veri ve atıf takibiyle birlikte ele alıyoruz. Kurallar yazılmadan önce sitenin taranabilirliğini teknik SEO açısından inceliyoruz; çünkü iyi bir teknik temel olmadan bot izinleri tek başına anlam taşımaz. Konunun arka planını merak ediyorsanız teknik SEO nedir yazımız iyi bir başlangıçtır.

Sık sorulan sorular

robots.txt’te yalnızca “User-agent: *” grubu yeterli olmaz mı?

Tüm botlara aynı kuralı uygulamak istiyorsanız yeterlidir. Ancak arama botlarına izin verip eğitim botlarını sınırlamak gibi ayrımlar yapmak istiyorsanız her bot için kendi adıyla ayrı grup açmanız gerekir. Bu durumda genel kısıtlamaları her özel grupta tekrarlamayı unutmayın.

robots.txt değişikliği ne kadar sürede etkili olur?

Botların dosyayı yeniden okuması gerekir; Google robots.txt içeriğini genellikle 24 saate kadar önbellekte tutar. Diğer platformların okuma sıklığı farklıdır. Yapay zekâ yanıtlarına yansıma ise içeriğin yeniden taranmasına bağlı olduğundan genellikle haftalar sürer.

robots.txt ile bir sayfayı yapay zekâdan tamamen gizleyebilir miyim?

Hayır. robots.txt yalnızca kurallara uyan botlara yönelik bir ricadır ve sayfayı korumaz. Gerçekten gizli kalması gereken içerik için parola, yetkilendirme veya sunucu düzeyinde erişim kısıtlaması kullanılmalıdır.

Racoun ile konuşun: İstanbul merkezli ekibimizle Türkiye genelindeki markalara hizmet veriyoruz. WhatsApp üzerinden yazabilir ya da teklif formunu doldurabilirsiniz. İlk görüşme ücretsizdir.