Örnek Robots.txt Yapımı
Bu makalemizde sizlere örnek robots.txt yapımı nedir, nasıl hazırlanır ve parametreleri nelerdir bunlardan bahsedeceğiz. İlk olarak robots.txt bir web sitenin arama motorları ile aralarında bir köprü görevi gördüğünü söylemek mümkün. Çünkü bir robots.txt dosyasında sitemizin hangi bölümlerinin indexleneceğini hangi bölümlerinin hariç bırakılacağını belirleriz.
Robots.txt parametreleri nelerdir?
User-agent: * "Burda kullandığımız (*) tüm botlara izin verildiğini temsil eder"
Allow: / "Tüm dizinin taramasına izin verir"
Disallow: / "Arama motoru hiç bir dizini taramaz"
Disallow: /abc.php "hedef gösterilen abc.php dosyası dizine eklenmez"
Disallow: /abc/ "Hedef gösterilen abc dizinindeki dosyalar dizine eklenmez"
Disallow: /abc/aaa/ "Sadece hedef gösterilen abc/aaa/ dizininde bulunan dosyalar dizine eklenmez"
