Robots.txt oluşturmak her web sitesinde yapılması zorunlu olan bir işlemdir. Arama motoru botlarının web site dizinlerini taraması için kullanılan Robots.txt dosyaları, SEO çalışmaları yürütülürken de uzmanların göz önünde bulundurduğu ilk düzenlemeler başında gelir. Arama motoru botlarının sitede neleri indeks edebileceğini gösteren Robots.txt ile ilgili püf noktaları yazımızda sizler için derledik.
Robots.txt Nedir?
Robots.txt arama motorlarının web sitelerinde hangi sayfaları taramaları gerektiğini gösteren bir metin dosyasıdır. Örümcek olarak isimlendirilen arama motoru botları, hazırlanan dosyada web sitesi sınırlarını öğrenerek indeks işlemini çizilen sınırlara göre gerçekleştirir. Sitenizde gizli, özel ya da indeks almasını istemediğiniz bölümleri Robots.txt dosyasında belirterek bu sayfaların görünmez olmasını sağlayabilirsiniz. Robots.txt işlevi ne işe yaradığı ise şu şekilde özetlenebilir:
- Arama motorunca indeks alması istenen içerikler belirlenebilir.
- Arama motoru sonuç dizinlerinde gizli kalması istenen içerikler belirlenebilir.
- İçeriklerin bazı arama motoru örümceklerine serbestken bazılarına yasaklanması sağlanabilir.
Robots.txt Nasıl Oluşturulur?
Robots.txt dosyasının oluşturulması gerekli kodlar bilindiğinde oldukça basittir. Standart Robots.txt örnekleri incelenerek yapılabilecek hazırlama işleminde sırası ile şu basamaklar takip edilmelidir:
- Boş bir not defteri açılır.
- Açılan not defteri içerisinde Robots.txt kodları girilir.
- Dosya kaydedilir.
- Dosya ismi “Robots.txt” olarak değiştirilir.
- Hazırlanan dosya web sitesine yüklenir.
Robots.txt Dosyasında Kullanılan Komutlar Nelerdir?
Robots.txt’de kullanılan komutlar hazırlanırken iki değişkenden yararlanılır. Hazırlanan dosyalarda “User-agent” ve “Disallow” komutları kullanılarak arama motoru botlarının izleyeceği sınır çizilir. Robots.txt hazırlarken “User-agent” arama motoru botlarının ismini, “Disallow” ise botun izinlerinin belirleneceği satırları oluşturur. Genel hatları ile en sık kullanılan 4 Robots.txt kodlama örneği ve işlevi, aşağıda paylaşılmaktır:
- Tüm Arama Motoru Botlarının Engellenmesi: Arama motoru örümceklerinin tamamının engellemesi için kullanılacak kodlama aşağıda paylaşılmıştır. Kodlamanın ikinci satırını kaldırarak arama motorlarının tamamına izin verilebilir.
- User-agent: *
- Disallow: /
- Dizin Engelleme ve İzin Verme: Web sitelerinin sadece belirli dizinlerine izin verilme ya da yasaklama işlemi için kullanılan kodlama aşağıdaki gibidir:
- User-agent: *
- Disallow: /yasaklı-dizin/
- Sayfa Engelleme ve İzin Verme: Bir dizinin tamamı yerine, web sitesi sayfalarından sadece belirli bir kısmının erişiminin engellenmesi ya da erişime açılması için kullanılacak kodlama örneği şu şekildedir:
- User-agent: *
- Disallow: /yasaklı-sayfalar.html/
- Taramalarda Süre Kısıtlama (Tarama Gecikmesi Belirleme): Hazırladığınız Robots.txt dosyasında örümceklere tarama için süre kısıtlaması uygulayabilirsiniz. Tarama süresini kısıtlarken yapmanız gereken ise tarama gecikmesi belirlemektir. Bu süreç için kullanacağınız kodlama şöyledir:
- User-agent: Xbot (X yerine hangi arama motoru olduğu yazılmalıdır)
- Crawl-delay: 1
Robots.txt Dosyasını Nasıl Test Edilir?
Robots.txt dosyasının test edilmesi ile birlikte yüklenen dosyanın performansı kontrol edilir. Test için herhangi bir tarayıcı adresine htts://alanadi.com/robots.txt/ yazılarak giriş yapılması yeterlidir. Robots.txt testi yapıldığında karşılaşılan sonuçların yorumlaması şu şekilde yapılır:
- Kodlama görülmesi halinde dosyanın çalıştığı anlaşılır.
- “Google Robots.txt test aracından izin verildi” mesajı alınması halinde eksik yanları bulunduğu anlaşılır.