Nasıl robots.txt dosyası oluşturabilirim?

+ Yorum Gönder
Webmaster ve Arama motorları Bölümünden Nasıl robots.txt dosyası oluşturabilirim? ile ilgili Kısaca Bilgi
  1. 1
    ACİL
    Özel Üye
    Reklam

    Nasıl robots.txt dosyası oluşturabilirim?

    Reklam



    Nasıl robots.txt dosyası oluşturabilirim?

    Forum Alev
    Nasıl robots.txt dosyası oluşturabilirim?

    Bu dosyayı herhangi bir metin düzenleyicisini kullanarak oluşturabilirsiniz. Dosyanın, HTML değil, ASCII kodlu metin dosyası olması gerekir. Dosya adı küçük harfle yazılmalıdır.
    Söz dizimi
    En basit robots.txt dosyasında iki kural kullanılır:
    • Kullanıcı Aracısı: aşağıdaki kuralın geçerli olduğu robot
    • İzin verme: engellemek istediğiniz sayfalar
    Bu iki satır, dosyada tek bir giriş sayılır. İstediğiniz kadar çok giriş ekleyebilirsiniz. Tek girişe birden çok İzin Verme satırı ve birden çok Kullanıcı Aracısı ekleyebilirsiniz.
    Kullanıcı Aracısı satırında ne listelenmelidir?
    Kullanıcı aracısı, belirli bir arama motoru robotudur. Web Robotları Veritabanı'nda, pek çok sık kullanılan bot listelenir. Bir girişi belirli bir bota (adını listeleyerek) veya tüm botlara (yıldız işareti koyarak) uygulanacak şekilde ayarlayabilirsiniz. Tüm botlara uygulanan bir giriş şöyle görünür:
    Kullanıcı Aracısı: *Google, birbirinden farklı çeşitli botlar (kullanıcı aracıları) kullanır. Bizim web aramamız için kullandığımız bot, Googlebot'tur. Googlebot-Mobile ve Googlebot-Image gibi diğer botlarımız, Googlebot için belirlediğiniz kurallara uyar; ancak bu botlar için özel olarak ek kurallar belirlemeniz de mümkündür.
    İzin Verme satırında ne listelenmelidir?
    İzin Verme satırında engellemek istediğiniz sayfalar listelenir. Belirli bir URL'yi veya modeli listeleyebilirsiniz. Girişin düz eğik çizgiyle (/) başlaması gerekir.
    • Sitenin tamamını engellemek için, düz eğik çizgi kullanın.
      İzin verme: /
    • Bir dizini ve o dizinin içinde bulunan tüm öğeleri engellemek için dizin adının sonuna bir düz eğik çizgi koyun.
      İzin verme: /ozel_dizin/
    • Bir sayfayı engellemek için o sayfayı listeleyin.
      İzin verme: /ozel_dosya.html
    URL'ler büyük küçük harfe duyarlıdır. Örneğin, İzin verme: /ozel_dosya.html, http://www.ornek.com.tr/ozel_dosya.html sayfasını engeller, fakat http://www.ornek.com.tr/Ozel_Dosya.html sayfasına izin verir.



  2. 2
    ALeos
    Yeni Üye

    --->: Nasıl robots.txt dosyası oluşturabilirim?

    Reklam



    linkler ölü beceremedim..







  3. 3
    ACİL
    Özel Üye
    Alıntı ALeos Nickli Üyeden Alıntı Mesajı göster
    linkler ölü beceremedim..
    Yasaklamak istediğin dosya yoksa sadece bunu yaz
    PHP- Kodu:
    User-agent: * allow: / 
    bazı klasörlerin okunmasını istemiyorsan aşağıdaki gibi yapa bilirsin / işaretiyle bitenler yasaklı klasörlerdir.
    PHP- Kodu:
    # Robots.txt file from http://www.yudumla.com/ # # All robots will spider the domain  User-agent: * Disallow: /includes/ Disallow: /modcp/ Disallow: /customavatars/ Disallow: /images/ Disallow: /clientscript/ Disallow: /ajax.php Disallow: /attachment.php Disallow: /calendar.php Disallow: /cron.php Disallow: /editpost.php Disallow: /global.php Disallow: /image.php Disallow: /inlinemod.php Disallow: /joinrequests.php Disallow: /login.phpDisallow: /moderator.phpDisallow: /newattachment.phpDisallow: /newreply.phpDisallow: /newthread.phpDisallow: /online.phpDisallow: /poll.phpDisallow: /postings.phpDisallow: /printthread.php 








  4. 4
    ALeos
    Yeni Üye
    ben bu işten anlamiyorum acikcasi pek.. sitem günlük 400 500 hit i var pr alamiyorum yardimci olurmusunuz msnden xx msn adresim..

  5. 5
    KemaaLL
    Emekli
    Alıntı ALeos Nickli Üyeden Alıntı Mesajı göster
    ben bu işten anlamiyorum acikcasi pek.. sitem günlük 400 500 hit i var pr alamiyorum yardimci olurmusunuz msnden xx msn adresim..
    pr dediğiniz şey bigünde oluşmuyor..sitenizin günden güne popülerliğinin artmasıyla değişen bir puanlama google tarafından..1 ayda sürer 10 senede sürer.böyle istemekle olmaz.araştırıp uygulamakla olacak şeyler..bence webmaster nedir neler yapmalıdır diye internette arama yapsanız birçok dökümana ulaşırsınız şüpheniz olmasın..

+ Yorum Gönder
5 üzerinden | Toplam : 0 kişi