Kısa cevap: Robots.txt, web sitenizin kök dizininde (alanadiniz/robots.txt) bulunan ve arama motoru botlarına sitenin hangi bölümlerini tarayabileceklerini, hangilerini taramamaları gerektiğini söyleyen düz metin dosyasıdır. Taramayı yönetmek için kullanılır; bir sayfanın Google dizininden çıkmasını tek başına sağlamaz. Bunun için noindex etiketi gerekir.
Robots.txt ne işe yarar?
Arama motorları bir siteye geldiğinde önce robots.txt dosyasına bakar. Bu dosya bir tür “giriş kuralları” listesidir. Doğru kullanıldığında botların zamanını değersiz sayfalarla harcamasını önler ve önemli sayfaların daha verimli taranmasına yardımcı olur.
- Yönetim paneli, sepet, hesap sayfaları gibi aramada görünmesi anlamsız alanların taranmasını sınırlar.
- Filtre ve sıralama parametreleriyle oluşan sonsuz URL kombinasyonlarının taranmasını azaltır.
- Site haritasının adresini arama motorlarına bildirir.
- Geliştirme aşamasındaki bölümlerin taranmasını geçici olarak durdurabilir.
Robots.txt dosyasının temel satırları
User-agent
Kuralın hangi bot için geçerli olduğunu belirtir. Yıldız işareti tüm botları kapsar; belirli bir bot adı yazıldığında kural yalnızca o bot için uygulanır.
Disallow
Taranmaması istenen yolu belirtir. Örneğin yönetim paneli dizinini kapatmak için o dizinin yolu yazılır. Yalnızca eğik çizgi yazılırsa sitenin tamamı kapatılmış olur; bu en tehlikeli satırdır.
Allow
Kapatılmış bir dizin içindeki belirli bir yolun taranmasına izin verir. Örneğin bir klasör kapalıyken içindeki tek bir dosyayı açmak için kullanılır.
Sitemap
XML site haritasının tam adresini bildirir. Birden fazla site haritası satırı eklenebilir. Site haritası hakkında ayrıntılar için site haritası nedir yazımıza bakabilirsiniz.
Robots.txt nasıl hazırlanır? Adım adım
- Taranmaması gereken alanları listeleyin. Yönetim paneli, iç arama sonuç sayfaları, sepet ve ödeme adımları, kullanıcı hesap alanları, test klasörleri gibi.
- CSS, JavaScript ve görselleri kapatmayın. Google sayfayı bir tarayıcı gibi işler; bu dosyalara erişemezse sayfanın nasıl göründüğünü doğru anlayamaz.
- Kuralları sade yazın. Her satıra tek bir yönerge yazın, büyük-küçük harf duyarlılığına dikkat edin; yollar harf duyarlıdır.
- Site haritası satırını ekleyin. Dosyanın sonuna site haritasının tam adresini yazın.
- Dosyayı kök dizine koyun. Robots.txt yalnızca alan adının kökünde geçerlidir; alt klasöre konan dosya dikkate alınmaz. Her alt alan adı kendi robots.txt dosyasına ihtiyaç duyar.
- Test edin. Search Console’daki raporlar ve URL denetimi ile önemli sayfaların engellenmediğini doğrulayın.
Örnek bir robots.txt nasıl görünür?
Tipik bir kurumsal sitede robots.txt birkaç satırdan oluşur. İlk satırda tüm botları kapsayan bir user-agent tanımı yer alır. Ardından yönetim paneli dizini, iç arama sonuçları ve varsa test klasörü için birer Disallow satırı gelir. Son satırda ise site haritasının tam adresi yazılır. Bir e-ticaret sitesinde bunlara sepet, ödeme ve hesap sayfaları ile sonsuz kombinasyon üreten bazı filtre parametreleri eklenebilir. Ancak hangi filtrenin kapatılacağına karar verirken dikkatli olunmalıdır; bazı filtre sayfaları (örneğin “erkek koşu ayakkabısı” gibi gerçek arama talebi olan kombinasyonlar) değerli giriş sayfaları olabilir. Bu karar anahtar kelime verisine bakılarak verilmelidir.
Her sitenin ihtiyacı farklıdır; başka bir sitenin robots.txt dosyasını kopyalamak, sizin önemli sayfalarınızı yanlışlıkla kapatmanıza yol açabilir.
Robots.txt ile noindex arasındaki fark
En sık karıştırılan konu budur. Robots.txt taramayı, noindex ise dizine eklemeyi kontrol eder. Robots.txt ile engellenen bir sayfa, başka sitelerden link alıyorsa içeriği okunmadan yalnızca adresiyle arama sonuçlarında görünebilir. Bir sayfayı dizinden çıkarmak istiyorsanız noindex etiketi kullanmalı ve bu etiketin görülebilmesi için sayfanın taranmasına izin vermelisiniz. Yani aynı sayfayı hem robots.txt ile engelleyip hem noindex vermek, noindex’in hiç okunmamasına yol açar.
Dikkat edilmesi gerekenler
- Robots.txt bir güvenlik önlemi değildir. Dosya herkese açıktır; gizli kalması gereken dizinleri burada listelemek onları ifşa eder. Gizli alanlar şifre ve yetkilendirme ile korunmalıdır.
- Kötü niyetli botlar robots.txt kurallarına uymak zorunda değildir.
- Google, crawl-delay yönergesini dikkate almaz; tarama hızıyla ilgili sorunlar farklı yöntemlerle yönetilir.
- Yapay zekâ tarayıcıları için ayrı user-agent kuralları yazılabilir. İçeriğinizin yapay zekâ yanıtlarında yer almasını istiyorsanız bu botları bilinçsizce engellemeyin; konuyu yapay zekâ görünürlüğü stratejinizle birlikte değerlendirin.
- Arama motorlarının kurallarını zaman zaman güncellediğini unutmayın; değişiklik yapmadan önce güncel dokümantasyonu kontrol edin.
Sık yapılan hatalar
- Test ortamındaki “her şeyi kapat” kuralının canlıya taşınması: Yeni site yayına alınırken geliştirme ortamındaki tam engelleme kuralının unutulması, sitenin aramadan kaybolmasının en yaygın nedenlerinden biridir.
- CSS ve JS dosyalarını engellemek: Sayfanın mobil uyumluluğu ve içeriği yanlış değerlendirilebilir.
- Dizinden çıkarmak için robots.txt kullanmak: Yukarıda anlattığımız gibi bu yöntem amaca hizmet etmez.
- Joker karakterleri yanlış kullanmak: Fazla geniş bir kalıp, istemeden ürün veya kategori sayfalarını da kapatabilir.
- Site taşımada eski dosyayı unutmak: Yeni URL yapısına geçildiğinde eski dizin adlarına göre yazılmış kurallar ya anlamsız kalır ya da yeni sayfaları yanlışlıkla engeller.
- Dosyanın sunucuda hata vermesi: Robots.txt’ye erişimde sunucu hatası alınması taramayı olumsuz etkileyebilir.
Racoun nasıl yardımcı olur?
Racoun’un kendi altyapısında geliştirdiğimiz sitelerde robots.txt, site haritası ve noindex kuralları birbiriyle uyumlu biçimde kurulur; yayına alma sürecinde test ortamı kuralları canlıya taşınmaz. Mevcut siteniz için teknik SEO denetimi yaparak engellenen önemli sayfaları, gereksiz taranan parametreli URL’leri ve çelişen sinyalleri raporluyoruz. Taramayı ve dizine eklemeyi izlemek için Google Search Console rehberimiz de yol gösterici olabilir. Daha geniş bir çerçeve için SEO yönetimi hizmetimizi inceleyebilirsiniz.
Sık sorulan sorular
Robots.txt dosyası olmazsa ne olur?
Dosya yoksa arama motorları genellikle sitenin tamamını tarayabileceklerini varsayar. Küçük siteler için bu sorun yaratmayabilir; ancak site haritasını bildirmek ve gereksiz alanları sınırlamak için bir robots.txt dosyası bulundurmak iyi bir uygulamadır.
Robots.txt ile bir sayfayı Google’dan silebilir miyim?
Hayır, robots.txt yalnızca taramayı sınırlar. Sayfayı dizinden çıkarmak için noindex etiketi kullanmalı, sayfanın taranmasına izin vermeli ya da içeriği tamamen kaldırmalısınız.
Robots.txt değişikliği ne zaman etkili olur?
Arama motorları robots.txt dosyasını önbelleğe alır ve belirli aralıklarla yeniden okur. Değişikliğin etkisi genellikle kısa sürede görülür, ancak anında olmayabilir.
Racoun ile konuşun: İstanbul merkezli ekibimizle Türkiye genelindeki markalara hizmet veriyoruz. WhatsApp üzerinden yazabilir ya da teklif formunu doldurabilirsiniz. İlk görüşme ücretsizdir.
