Word Press admin giriş sayfasının gösterimi ile ilgili yazdığım yazı ile ilgili Erçin Eker hocamın yorumunu okuyunca aklıma robots.txt dosyası ile ilgili başka bir konu geldi.

robots.txt dosyalarının çıkış noktası ve kullanımı aslında ihtiyacı karşılar nitelikte fakat akla gelmeyen başka bir konu var. robots.txt dosyaları web sunucusu üzerinde “public read” hakkı ile tutulmak zorunda böylelikle arama motorları bu dosyalara erişip, ilgili dizinlerin site yöneticisi indexletmek istemediğini anlayabiliyor.

Örnek bir robots.txt dosyası
User-agent: *
Disallow: /admin/
Disallow: /management/

şeklinde kayıtlarla sitenin root dizininde bulunuyor.

Güvenlik yönünden sıkıntı ise, bu dosyaya herkesin erişebilir durumda olması. Site ve sunucularımıza yapılan ataklardan dolayı “web hacking” in ne olduğunu ve nelere malolabileceği hakkında herkesin az çok fikri var. Web hacking konusunda en can alıcı nokta, hedef sunucunun hangi dizinlerinde ne gibi hassas uygulamalar çalıştığını tespit etmektir. Bu amaçla son zamanlarda çok moda olan arama motorlarının sağladığı apileri kullanarak, hedef site ile indexteki bilginin kullanılması, onun yetersiz kaldığı durumlarda özel yazılımlarla siteyi taramak, default dizinler duruyor mu, genel olarak kullanılan dizin isimlerini kullanarak o dizinler var mı yok mu şeklinde tarama yapılıyor. Bunların hepsi sunucu üzerinde hangi dizinler varın cevabını bulmak için. “robots.txt” dosyasına gelirsek, site yöneticisi kendi eliyle hangi dizinde hangi uygulamaların olduğunu yazıyor ve bunu herkesce okunabilir şekilde yerleştiriyor.

Hoş bir örnek olabilir diye düşündüğüm mozilla.org’un robots.txt dosyasını kopyalıyorum:
User-agent: *
Disallow: /webtools
Disallow: /webalizer

Burada “webalizer” dizinini arama motorlarından sakladıklarını görüyoruz ama siz browserdan http://www.mozilla.org/webalizer dediğiniz vakit mozilla.org sitesinin günlük istatistiği ne kadarmış görebiliyorsunuz.

robots.txt dosyasın içinde bulunan satırlar sitenize saldırmak isteyenler için güzel bir başlangıç olabilir.

Çözüm olarak robots.txt dosyası kullanmak yerine sitenizin root dizinine “.htaccess” dosyasını yerleştirmek
ve bunun içinde hangi dizinlere erişim verceğinizi belirtip, kalanını tamamen kapatmak daha sağlıklı bir yaklaşım olur.

örnek birkaç robots.txt dosyası:
http://www.microsoft.com/robots.txt
http://www.ibm.com/robots.txt
http://www.apache.org/robots.txt
http://www.redhat.com/robots.txt
http://www.linux.org.tr/robots.txt