Web sitenizin kök dizininde saklanan bir robots.txt dosyası, arama motoru örümcekleri gibi web robotlarına hangi klasörlerin ve dosyaların taranmasına izin verildiğini söyleyecektir. Bir robots.txt dosyası kullanmak kolaydır, ancak hatırlamanız gereken bazı şeyler vardır:
- Siyah şapka web robotları robots.txt dosyanızı görmezden gelecektir. En yaygın türler, hasat için e-posta adresleri arayan kötü amaçlı yazılım robotları ve robotlardır.
- Bazı yeni programcılar robots.txt dosyasını göz ardı eden robotlar yazacaklar. Bu genellikle yanlışlıkla yapılır.
- Robots.txt dosyanızı herkes görebilir. Her zaman robots.txt olarak adlandırılırlar ve her zaman web sitesinin kökünde saklanırlar.
- Son olarak, bir kullanıcı robots.txt dosyanız tarafından robots.txt dosyası tarafından hariç tutulmayan bir sayfadan dışlanan bir dosyaya veya dizine bağlanırsa, arama motorları yine de onu bulabilir.
Önemli bir şeyi gizlemek için robots.txt dosyalarını kullanmayın. Bunun yerine, önemli bilgileri güvenli parolaların arkasına koymanız veya tamamen web'den çıkarmanız gerekir.
Bu örnek dosyaları nasıl kullanılır
Metni, yapmak istediğiniz şeyin en yakın örneğinden kopyalayın ve robots.txt dosyanıza yapıştırın. Tercih ettiğiniz yapılandırmaya uyacak şekilde robot, dizin ve dosya adlarını değiştirin.
İki Temel Robots.txt Dosyası
Kullanıcı aracı: *
Disallow: /
Bu dosya, ona erişen herhangi bir robotun (User-agent: *) sitede bulunan her sayfayı (Disallow: /) göz ardı etmemesi gerektiğini söylüyor.
Kullanıcı aracı: *
Disallow:
Bu dosya, ona erişen herhangi bir robotun (Kullanıcı-aracı: *) sitenin her sayfasını görüntülemesine izin verildiğini söyler (Disallow:).
Bunu, robots.txt dosyanızı boş bırakarak veya sitenizde hiç bulunmayarak da yapabilirsiniz.
Robotlardan Belirli Dizinleri Koru
Kullanıcı aracı: *
Disallow: / cgi-bin /
Disallow: / temp /
Bu dosya, ona erişen herhangi bir robotun (User-agent: *) dizinleri / cgi-bin / ve / temp / (Disallow: / cgi-bin / Disallow: / temp /) göz ardı etmemesi gerektiğini söyler.
Robotlardan Belirli Sayfaları Koru
Kullanıcı aracı: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
Bu dosya, ona erişen herhangi bir robotun (User-agent: *), /jenns-stuff.htm ve /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php) dosyalarını görmezden gelmesi gerektiğini söyler.
Belirli bir Robotun Sitenize Erişmesini Önleme
Kullanıcı aracısı: Lycos / xx
Disallow: /
Bu dosya Lycos botunun (User-agent: Lycos / xx) sitenin herhangi bir yerine erişmesine izin verilmediğini söylüyor (Disallow: /).
Sadece Belirli Bir Robot Erişimini İzin Ver
Kullanıcı aracı: *
Disallow: /
Kullanıcı aracısı: Googlebot
Disallow:
Bu dosya, yukarıda yaptığımız gibi tüm robotlara izin vermez ve ardından Googlebot'un (Kullanıcı aracısı: Googlebot) her şeye erişmesine izin verir (Disallow:).
Tam Olarak İstediğiniz Hariç Tutulanları Almak için Birden Fazla Satırı Birleştirme
User-agent: * gibi çok kapsamlı bir User-agent satırı kullanmak daha iyi olsa da, istediğiniz kadar spesifik olabilirsiniz. Robotların dosyayı sırayla okuduğunu unutmayın. Yani ilk satırlar tüm robotların her şeyden engellendiğini söylerse ve daha sonra dosyada tüm robotların her şeye erişmesine izin verildiğini söylerse, robotlar her şeye erişebilir.
Robots.txt dosyanızı doğru yazıp yazılmadığından emin değilseniz, robots.txt dosyanızı kontrol etmek veya yeni bir tane yazmak için Google'ın Web Yöneticisi Araçları'nı kullanabilirsiniz.