เยอะขนาดนี้เลยหรอ
เราใส่ไว้
User-Agent: *
Disallow: /wp-admin/
Allow: /
แค่นี้เอง
Disallow: /cgi-bin << มันมีไฟล์ด้วยเหรอ
ถ้ามันไม่มีไฟล์สำคัญอะไรก็ไม่ต้องก็ได้มั้ง
Disallow: /wp-includes << บอทมันอ่านไม่รู้เรื่องอยู่แล้วง่ะ มีแต่ไฟล์ php
Disallow: /wp-content << อันนี้ถ้าอัพรูปขึ้นเว็บตัวเอง บอทจะอ่านไฟล์รูปไม่ได้นะ
Disallow: /wp-login.php << อ่า - - บอทมันล็อกอินได้เหรอนิ
Disallow: /search/*/feed << กลัวบอทค้นหาอะไรนิ
Disallow: /search/*/feed/
User-agent: Mediapartners-Google
Allow: /*
User-agent: Adsbot-Google
Allow: /*
User-agent: Googlebot-Image
Allow: /*
User-agent: Googlebot-Mobile
Allow: /*
#User-agent: ia_archiver-web.archive.org
#Disallow: /
ปกติ มันก็เข้ามาอ่านอยู่แล้วนะบอทพวกนี้อ่ะ
พัฒนาเว็บไซต์
