Robot.txt dosyası ne işe yarar,Robot.txt nedir,Robot.txt dosyası nasıl düzenlenir.

Arkadaşlar robot.txt dosyası web sayfanızı tarayan arama motoru robotlarının sitenizdeki sayfaların erişimini kısıtlar. Arama motorlarından gelen bu botlar otomatiktir ve bir siteyi taramadan önce, bir robots.txt dosyası olup olmadığını kontrol ederler. Bu sayede kötü amaçlı kişilere karşı küçükte olsa bir önlem almış oluruz.

 

Örneğin; login sayfanızın arama motorları tarafından indexlenmesini istemiyorsanız gerekli olan yolu göstererek robot.txt dosyasını edit etmeniz yeterli olacaktır. Bu işlem son derece kolay bir işlemdir. Web sayfanızda bir dizin ya da dosyayı allow/disallow ederek erişimi kontrol edebilirsiniz. Hatta hangi arama motorlarını allow/disallow edeceğinizi de siz belirleyebiliyorsunuz.

Robot.txt dosyasını her bir subdomain için ve web sayfanızın ana dizinine bir tane uygun şekilde yerleştirmeniz gerekmektedir. Özellikle blog kullanan arkadaşlar için bu pek sorun olmaz. Çünkü neredeyse hazır bütün blog scriptlerinde robot.txt dosyası hazır vaziyette gelmektedir.

Bir kaç örnekle robot.txt dosyasını nasıl kullanacağınızı açıklamaya çalışacagız.

 

Örnegin bütün arama motorlarının blogunuzun tamamını indexlemesini istiyorsunuz. Tek yapmanız gereken şunları yazmak.

User-agent: *
Disallow: /

Yada blogunuzun tamamı’nın arama motorlarının birisi tarafından engellenmesini istiyorsunuz. Mesela google ı engelleyeceksiniz;

User-agent: Googlebot
Disallow: /
User-agent: *
Disallow:

Yada bir sayfanın tüm arama motorları tarafından indexlenmesini engellemek istiyorsunuz;

User-agent: *
Disallow: /dizin-adi/ozel-sayfa.html

Yada bir dizinin tüm arama motorları tarafından indexlenmesini engellemek istiyorsunuz;

User-agent: *
Disallow: /dizin-adi/

İşini düzgün yapan bir robot.txt dosyası oluşturmak istiyorsanız oturup saklamak istediğiniz dizinleri , sayfaları teker teker belirlemeniz ve bunları robot.txt dosyasına girmeniz gerekiyor.

Biraz daha fonksiyonel bir robot.txt dosyası örneği;

# www.maxteknoloji.com için robots.txt dosyası oluşturalım
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/private/
Disallow: /private.html

Bir örnek daha:

User-agent: *
Disallow:
User-agent: Googlebot
Disallow: /gizli.html
Disallow: /projelerim/
User-agent: Msnbot
Disallow: /resimlerim/gizliresim.html
Disallow: /projelerim/

Burda google ve msn için özelleştirilmiş bir robot txt dosyası görüyorsunuz. Herkese başarılar dileriz.