Başlarken

Robots.txt dosyası, sitenizin kök dizininde bulunur. Dolayısıyla www.example.com sitesinde robots.txt dosyası www.example.com/robots.txt adresinde bulunur. Robots.txt, Robot Hariç Tutma Standardı’na uygun bir düz metin dosyasıdır. Robots.txt dosyası, bir veya daha fazla kuraldan oluşur. Her kural belirli bir tarayıcının söz konusu web sitesindeki belirli bir dosya yoluna erişimini engeller (veya erişimine izin verir).

Aşağıda, iki kural içeren basit bir robots.txt dosyasının içeriği gösterilmektedir:

# 1. Kural
User-agent: Googlebot
Disallow: /nogooglebot/

# 2. Kural
User-agent: *
Allow: /

Site haritası: https://www.mustafamutlu.name.tr/sitemap.xml

Açıklama:

1. “Googlebot” tarayıcısı adlı kullanıcı aracısı, https://www.mustafamutlu.name.tr/nogooglebot/ klasörünü veya herhangi bir alt dizinini taramamalıdır.
2. Diğer tüm kullanıcı aracıları sitenin tamamına erişebilir. (Tam erişim sağlandığı varsayımından hareketle bu durum belirtilmese dahi sonuç aynı olacaktır.)
3. Sitenin Site haritası dosyası, https://www.mustafamutlu.name.tr/sitemap.xml adresinde bulunmaktadır.

İlerleyen bölümlerde daha ayrıntılı bir örnek sağlayacağız.

Temel robots.txt yönergeleri

Robots.txt dosyaları ile ilgili bazı temel yönergeleri burada bulabilirsiniz. Robots.txt söz diziminin inceliklerini anlamak için robots.txt dosyalarının tam söz dizimini okumanızı öneririz.

Biçim ve konum

Bir robots.txt dosyası oluşturmak için neredeyse tüm metin düzenleyicilerini kullanabilirsiniz. Metin düzenleyicisi, standart ASCII veya UTF-8 metin dosyalarını oluşturabilmelidir. Kelime işlemci kullanmayın (kelime işlemciler, dosyaları genellikle özel bir biçimde kaydeder ve tarayıcılar için sorunlara neden olabilecek süslü tırnak gibi beklenmedik karakterler ekleyebilir).

Biçim ve konum kuralları:

• Dosya, robots.txt olarak adlandırılmalıdır.
• Sitenizde yalnızca bir robots.txt dosyası olabilir.
• Robots.txt dosyası, geçerli olduğu web sitesi ana makinesinin kök dizininde bulunmalıdır. Örneğin, https://www.mustafamutlu.name.tr/sitemaps.xml altındaki tüm URL’lerde taramayı kontrol etmek için robots.txt dosyası http://www.mustafamutlu.name.tr/robots.txt konumuna yerleştirilmelidir. Bir alt dizine (örneğin, https://mustafamutlu.name.tr/pages/robots.txt) yerleştirilemez. Web sitenizin kök dizinine nasıl erişeceğinizden emin değilseniz veya bunun için izin almanız gerekiyorsa web barındırma hizmeti sağlayıcınıza başvurun. Web sitenizin kök dizinine erişemiyorsanız, meta etiketler gibi alternatif bir engelleme yöntemini kullanın.
• Robots.txt dosyası alt alan adları (ör. http://demo.mustafamutlu.name.tr/robots.txt) veya standart olmayan bağlantı noktaları (ör. https://www.mustafamutlu.name.tr:8181/robots.txt) için geçerli olabilir.
• Yorumlar herhangi bir satırda olabilir

Söz dizimi

• Robots.txt bir ASCII veya UTF-8 metin dosyası olmalıdır. Başka hiçbir karaktere izin verilmez.
• Robots.txt dosyası, bir veya daha fazla kuraldan oluşur.
• Her kural çok sayıda yönergeden (talimattan) oluşur ve her satırda bir yönerge bulunur.
• Bir kuralda şu bilgiler verilir:
  • Kuralın kimin için geçerli olacağı (kullanıcı aracısı)
  • Söz konusu aracının erişebileceği dizinler veya dosyalar ve/veya
  • Söz konusu aracının erişemeyeceği dizinler veya dosyalar.
• Kurallar yukarıdan aşağıya doğru işlenir ve kullanıcı aracısı, yalnızca bir kural grubuyla eşleşebilir. Bu, belirli bir kullanıcı aracısıyla eşleşen ilk ve en ayrıntılı kural olur.
• Varsayılan olarak bir kullanıcı aracısının Disallow: kuralıyla engellenmeyen bir sayfayı veya dizini tarayabileceği kabul edilir.
• Kurallar büyük/küçük harfe duyarlıdır. Örneğin, Disallow: /file.asp kuralı https://www.mustafamutlu.name.tr/file.asp için geçerli olur ancak https://mustafamutlu.name.tr/FILE.aspiçin geçerli değildir.

Robots.txt dosyalarında aşağıdaki yönergeler kullanılır:

• User-agent: [Gerekli, her kural için bir veya daha fazla] Kuralın geçerli olduğu arama motoru robotunun (web tarayıcı yazılımı) adı. Bu, herhangi bir kuralın ilk satırıdır. Çoğu kullanıcı aracısı, Web Robotları Veritabanı‘nda veya Google kullanıcı aracısı listesinde listelenmektedir. Bir yol öneki, sonek veya dizenin tamamı için * joker karakterini destekler. Aşağıdaki örnekte olduğu gibi kullanılacak bir yıldız işareti (*) çeşitli AdsBot tarayıcıları dışındaki tüm tarayıcılarla eşleşir. Eşleşmeyen AdsBot tarayıcıların adlarının açık bir şekilde belirtilmesi gerekir. (Google tarayıcı adları listesine bakın.) Örnekler:

  # 1. Örnek: Yalnızca Googlebot'u engelleme
  User-agent: Googlebot
  Disallow: /
  
  # 2. Örnek: Googlebot'u ve Adsbot'u engelleme
  User-agent: Googlebot
  User-agent: AdsBot-Google
  Disallow: /
   
  # 3. Örnek: AdsBot tarayıcıları dışındaki her şeyi engelleme
  User-agent: * 
  Disallow: /

• Disallow: [Kural başına en az bir veya daha fazla Disallow veya Allow] Kullanıcı aracısı tarafından taranmaması gereken bir dizin veya sayfa; kök alanla göreli olarak belirtilir. Bu bir sayfaysa, tarayıcıda gösterildiği şekliyle tam sayfa adı olmalıdır; bir dizinse, / işaretiyle sona ermelidir.  Yol önekleri, sonek veya dizenin tamamı için * joker karakterini destekler.
• Allow: [Kural başına en az bir veya daha fazla Disallow veya Allow] Az önce bahsedilen kullanıcı aracısı tarafından taranması gereken bir dizin veya sayfa; kök alanla göreli olarak belirtilir. Bu parametre, izin verilmeyen bir dizindeki bir alt dizinin veya sayfanın taranmasına izin vermek üzere Disallow parametresini geçersiz kılmak için kullanılır. Bu bir sayfaysa, tarayıcıda gösterildiği şekliyle tam sayfa adı olmalıdır; bir dizinse, / işaretiyle sona ermelidir. Yol önekleri, sonek veya dizenin tamamı için * joker karakterini destekler.
• Sitemap: [İsteğe bağlı, dosya başına sıfır veya daha fazla] Bu web sitesinin site haritasının konumu. Tam bir URL olmalıdır; Google, http/https/www.www olmayan alternatifleri varsaymaz veya kontrol etmez. Site Haritaları, Google’a tarayabileceği veya tarayamayacağı içeriğe karşılık hangi içeriği taraması gerektiğinibildirmek için iyi bir yoldur. Site haritaları hakkında daha fazla bilgi edinin. Örnek:

  Site haritası: https://mustafamutlu.name.tr/sitemap.xml
  Site haritası: http://mustafamutlu.name.tr/sitemap.xml

Bilinmeyen anahtar kelimeler yoksayılır.

Bir başka örnek dosya

Robots.txt dosyası, her biri kuralların hedefini belirten bir User-agent satırıyla başlayan bir veya daha fazla kural blokundan oluşur. Burada, iki kurallı bir dosya gösterilmektedir. Her kural, satır içi yorumlarla açıklanmıştır:

# Googlebot'u example.com/directory1/... ve mustafamutlu.name.tr/directory2/... dizinlerinde
# engelleyin ancak directory2/subdirectory1/... dizinine erişimine izin verin
# Sitedeki diğer tüm dizinlere varsayılan olarak izin verilir.
User-agent: googlebot
Disallow: /directory1/
Disallow: /directory2/
Allow: /directory2/subdirectory1/

# Sitenin tamamını anothercrawler adlı başka bir tarayıcının erişimine karşı engelleyin.
User-agent: anothercrawler
Disallow: /

Tam robots.txt söz dizimi

Tam robots.txt söz dizimini burada bulabilirsiniz. Robots.txt söz diziminin öğrenilmesi önem taşıyan bazı karmaşık parçaları olduğundan lütfen tüm dokümanları okuyun.

Yararlı robots.txt kuralları

Yaygın olarak uygulanan bazı yararlı robots.txt kuralları aşağıda listelenmiştir:

User-agent: *
Disallow: /

User-agent: *
Disallow: /calendar/
Disallow: /junk/

User-agent: Googlebot-news
Allow: /

User-agent: *
Disallow: /

User-agent: Unnecessarybot
Disallow: /

User-agent: *
Allow: /

Disallow: /özel_dosya.html

User-agent: Googlebot-Image
Disallow: /resimler/kopekler.jpg

User-agent: Googlebot-Image
Disallow: /

User-agent: Googlebot
Disallow: /*.gif$

User-agent: *
Disallow: /

User-agent: Mediapartners-Google
Allow: /