Bu hafta sizlere Robots.txt dosyaları hakkında edindiğim bilgileri özetliyorum
Robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösterdiğiniz, belli sayfalara veya dizinlere erişimi kaldırabileceğiniz bir dosyadır.
Robots.txt standartlara uygun olarak hazırlanmalı ve sitenizin kök dizinine yüklenmelidir.

Doğru: https://www.orneginsizinwebsayfaniz.com/robots.txt
Yanlış: https://www.orneginsizinwebsayfaniz.com/main/robots.txt
Tüm içeriklere nasıl erişmesine izin veririz

User-agent: *
Disallow:
Bu dizinleri robots.txt dosyasında kullanmanız, tüm web tarayıcılarına www.orneginsizinwebsayfaniz.com‘daki tüm sayfaları taramalarını söyler.
Belirli web tarayıcılarına belirli klasörleri nasıl engelleriz

User-agent: Googlebot
Disallow: /ornek-altklasor/
Bunu robots.txt dosyasına eklediğiniz zaman Google’ın tarayıcısına (Googlebot) www.orneginsizinwebsayfaniz.com/ornek-altklasor/ URL’sindeki sayfaları taramayacağını bildirmiş olursunuz.
Belirli bir tarayıcıya belirli bir sayfa nasıl engellenir

User-agent: Bingbot
Disallow: /ornek-altklasor/engel.html
Bunu kullanarak örneğin Bing’in tarayıcısı olan Bingbot’a www.orneginsizinwebsayfaniz.com/ornek-altklasor/engel.html adresindeki sayfayı taramayacağını bildirirsiniz.
Yorum nasıl yazılır

Robots.txt dosyası içerisine, kendinize, site yöneticinize veya siteyi yöneten diğer arkadaşlarınıza , arama motoru robotlarının dikkate almadığı notlar bırakabilirsiniz. Bunun için başında # karakterini kullanmanız gerekmektedir.
# Not: Buraya örnek bir yorum veya açıklama metni yazabiliriz.
Öğrendiklerim kadarıyla bu yazımda sizlere robots.txt’den bahsettim, eksiklerim veya hatalarım olabilir sizinde eklemek veya düzeltmek istedikleriniz varsa veya sormak istediklerinizi yorum yazarak benimle paylaşabilirsiniz