robots.txt nedir? kısa örnek kullanımları?



Yazı Tarihi : 25.05.2020

Okunma Sayısı : 136


Bu hafta sizlere Robots.txt dosyaları hakkında edindiğim bilgileri özetliyorum

Robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösterdiğiniz, belli sayfalara veya dizinlere erişimi kaldırabileceğiniz bir dosyadır.

Robots.txt standartlara uygun olarak hazırlanmalı ve sitenizin kök dizinine yüklenmelidir.

Doğru: https://www.orneginsizinwebsayfaniz.com/robots.txt

Yanlış: https://www.orneginsizinwebsayfaniz.com/main/robots.txt

Tüm içeriklere nasıl erişmesine izin veririz

User-agent: *
Disallow:
Bu dizinleri robots.txt dosyasında kullanmanız, tüm web tarayıcılarına www.orneginsizinwebsayfaniz.com‘daki tüm sayfaları taramalarını söyler.

Belirli web tarayıcılarına belirli klasörleri nasıl engelleriz

User-agent: Googlebot
Disallow: /ornek-altklasor/
Bunu robots.txt dosyasına eklediğiniz zaman Google’ın tarayıcısına (Googlebot) www.orneginsizinwebsayfaniz.com/ornek-altklasor/ URL’sindeki sayfaları taramayacağını bildirmiş olursunuz.

Belirli bir tarayıcıya belirli bir sayfa nasıl engellenir

User-agent: Bingbot
Disallow: /ornek-altklasor/engel.html
Bunu kullanarak örneğin Bing’in tarayıcısı olan Bingbot’a www.orneginsizinwebsayfaniz.com/ornek-altklasor/engel.html adresindeki sayfayı taramayacağını bildirirsiniz.

Yorum nasıl yazılır

Robots.txt dosyası içerisine, kendinize, site yöneticinize veya siteyi yöneten diğer arkadaşlarınıza , arama motoru robotlarının dikkate almadığı notlar bırakabilirsiniz. Bunun için başında # karakterini kullanmanız gerekmektedir.

# Not: Buraya örnek bir yorum veya açıklama metni yazabiliriz.

Öğrendiklerim kadarıyla bu yazımda sizlere robots.txt’den bahsettim, eksiklerim veya hatalarım olabilir sizinde eklemek veya düzeltmek istedikleriniz varsa veya sormak istediklerinizi yorum yazarak benimle paylaşabilirsiniz


-> Yorumlar

Kalan Karakter :

Faydalı bilgiler, pratik problem çözümleri, nasıl yapılır paylaşımları, yazılımlar ve teknoloji haberleri paylaşan bilgi platformu

  • Tüm Hakları Saklıdır.
  • designer isilak
Uyarılar :Bu sitedeki her türlü içeriğin yazılı izin alınmaksızın kopyalanması veya farklı bir sitede yayınlanması yasaktır.kolayteknolojikbilgiler.com herhangi bir etkinliğin başarısızlığı, hatası, iptali veya gecikmesi, iletişim kesintisi, bilgisayar virüsü sonucu oluşan herhangi bir zarar veya hasardan dolayı sorumluluk kabul etmez.kolayteknolojikbilgiler.com genel ahlak ve toplum kurallarına uygun davranmayan kullanıcıların üyeliklerini iptal etme hakkını saklı tutmakla birlikte, bu tür ilişkilerinden meydana gelebilecek zarardan kullanıcının kendisi sorumludur. Sitemizde yer alan tüm logolar ve resimler tescil sahiplerine aittir. Ürünlere ait bilgiler ve programlar üreticilerin internet sitelerinden alınmaktadır. Yalnızca bilgi verme tanıtım amaçlıdır. Ürün bilgileri veya dosyalarındaki hatalardan dolayı oluşabilecek arızalardan ve zararlardan kolayteknolojikbilgiler.com sorumlu tutulamaz.Üreticilerin ürün özelliklerinde, sitelerinde ve yazılımlarında haber vermeden değişiklik yapma hakları saklıdır