Robots.txt Nedir?, öncelikle arama motoru yazılımlarına web sitenizin her hangi bölümlerini dizine ekleyeceğini ve hangi dizini taraması gerektiğini, hangi arama motoru yazılımlarının giriş izni olup ve olmadığını söylemeye yarayan oldukça basit bir komut dosyasıdır. Örümcek olarak da isimlendirilen Arama motoru ...