Utilore

robots.txt oluşturucu ve test aracı

Tek sayfada iki iş: dosyayı kurallardan oluşturmak ve elinizdeki dosyayı sınamak. Yanıt yalnızca «izinli» ya da «engelli» demez, kararı hangi satırın verdiğini de söyler.

Şablon

Google, Crawl-delay yönergesini yok sayar; Yandex ve Bing hâlâ okur.

Nasıl kullanılır

  1. Bir şablon seçin ya da kapatılacak yolları her satıra bir tane olacak biçimde yazın.
  2. Allow altına istisnaları ve site haritanızın adresini ekleyin.
  3. Sonucu kopyalayın ya da indirin ve sitenin kök dizinine koyun.
  4. Test sekmesine geçin, dosyanızı yapıştırın ve belirli bir tarayıcı için belirli bir adresi sınayın.

Bilmekte fayda var

İlk kural değil, en uzun kural kazanır

Hem Google hem Yandex kuralı, dosyadaki sıraya göre değil, eşleşen yolun uzunluğuna göre seçer. Alışıldık «Disallow: /wp-admin/» ile «Allow: /wp-admin/admin-ajax.php» ikilisinin işe yaramasının nedeni budur: ikinci yol daha uzundur, bu yüzden o tek dosya için kazanır, klasörün geri kalanı kapalı kalır. Dosyayı yukarıdan aşağıya okuyan bir test aracı ise tam tersi yanıtı verirdi.

İlk User-agent satırının üstündeki kural kimseye ait değildir

Herhangi bir User-agent satırından önce yazılan bir Disallow’u bütün tarayıcılar yok sayar: dosya gruplar hâlinde okunur ve grup dışındaki bir kuralın sahibi yoktur. Görünüşte kusursuzdur ve hiçbir şeyi kapatmaz; robots.txt’deki en pahalı hatanın bu olmasının nedeni de budur. Test aracı bunu satır numarasıyla ayrıca bildirir.

Kaynaklar

Sık sorulan sorular

robots.txt bir sayfayı aramadan kaldırır mı?

Hayır, yalnızca taramayı durdurur. Kapatılmış bir adres, başka siteler ona bağlantı veriyorsa açıklamasız biçimde sonuçlarda yine görünebilir. Bir sayfayı dizinin dışında tutmak için onu tarayıcıya açık bırakın ve üstüne noindex meta etiketi koyun: robotun bu etiketi görebilmesi için sayfayı indirmesi gerekir.

Dosya nereye konmalı?

Yalnızca alan adının kök dizinine: https://example.com/robots.txt. Alt klasördeki bir dosya hiç okunmaz ve her alt alan adının kendi dosyası gerekir: shop.example.com için example.com’daki dosya geçerli değildir.

Yapay zekâ tarayıcılarını nasıl engellerim?

Her bot için ayrı grup ekleyin: GPTBot, ClaudeBot, PerplexityBot ve CCBot buradaki tarayıcı listesinde yer alır. Bunlar robots.txt’ye uyar, ama yasak ada göre işler: dosyada kendi grupları da varsa joker karakterli grup onları kapsamaz.

Crawl-delay ayarlamaya değer mi?

Google bunu tümüyle yok sayar; Yandex ve Bing hâlâ okur. Yalnızca sunucu tarama yükü altında gerçekten zorlanıyorsa ayarlayın, aksi hâlde yeni sayfalarınızın ne kadar çabuk keşfedileceğini yavaşlatmaktan başka işe yaramaz.

İlgili araçlar