ขอบคุณทั้งสองท่านมาก ๆ ค่ะ
แต่ไฟล์ robot นี่อยู่ใน path ไหนเหรอคะ
สร้างไฟล์ robots.txt มาเองเลยครับ แล้วนำโค้ดที่ท่าน กระทู้ข้างบน มาใส่ในนั้นแล้วเชพได้เลย
ขอบคุณมาก ๆ ค่ะ
สร้างเสร็จแล้วไปเอาไปใส่ไว้ใน path ไหนคะ
ขอโทษด้วยค่ะ ที่ถามไม่รู้จักจบ
-กรณี host ที่ add ได้ Domain เดียว
Up ขึ้นไปไว้ใน public_html ได้เลยครับ
-กรณีhost ที่ add on Domain ได้หลาย Domain
Up ขึ้นไปไว้ใน public_html >ชื่อ Domain เว็บที่ต้องการ ครับ
ยกตัวอย่าง
ผมที่เว็บชื่อ (รักคนถามกระทู้นี้.com)
ผมก็จะ Up ไปไว้ ใน โพร์เดอร์ Domain ชื่อ รักคนถามกระทู้นี้.com
พอเรียกจาก Browsersจะได้
http://www 
.รักคนถามกระทู้นี้.com/robots.txt
สรุปง่าย คือ up ไปไว้ ที่เดียวกับที่ไพล์ชื่อ index.php หรือ .html อยู่ครับ
เหตุผล เพราะว่า เมื่อ Bot เข้ามาที่
http://www .รักคนถามกระทู้นี้.com/
bot ก็จะไปอ่าน ที่ robots.txt ก่อนเลยว่า จะไต่เข้าไปที่โพร์เดอร์ไหนได้บ้าง และ ที่ที่ห้ามเข้าไปไต่ครับ
คือ robots.txt เป็นเหมือนคำสั่งอนุญาติให้ bot ทำตาม
-กรณี robots.txt ที่ไม่ได้เขียนคำสั่ง หรือ ปล่อยว่างไว้ bot ก็เหมือนได้รับอนุญาติ bot มันก็จะเข้าไปไต่ทุกโพรเดอร์เลยครับ
ตอนนี้เอาไปวางไว้เรียบร้อยแล้วค่ะ แล้วก็ต้องรอให้บอท มาอีกที แล้วค่อยลอง search ใหม่ใช่มั้ยคะ
ก่อนหน้ากัน เว็บคุณ ไม่มี robots.txt bot ทุกตัวที่เข้ามา เลยมาเก็บ แล้ว index หน้านั้นๆ
พอมา search จาก google เลยรู้ว่า หน้าที่เราไม่อยากให้ index เช่น
hxxp://www.aaaaaaaa.org/wp-login.php กลับ index ไปแล้ว
-ตอนนี้ เราได้มี robots.txt แล้ว เมื่อ google update url /wp-admin ของเรา ในคำสั่ง
robots.txt url /wp-admin ก็จะหายไปครับ
ใน robots.txt ได้ใช้คำสั่ง
User-agent: *
Disallow: /wp-admin/
เป็นการห้าม bot เข้าไป ไต่ใน โฟรเดอร์ ที่ชื่อ wp-admin
*ถ้าเราไม่อยากให้ bot ไต่เข้าไปในโฟรเดอร์ อื่นๆ อีก ก็สามารถให้เพิ่มใน robots.txt ได้ครับ
เช่น ไม่อยากให้ bot ไต่ ใน โพรเดอร์
wp-includes
trackback
เราก็ใส่เพิ่มเข้าไปต่อท้ายว่า
User-agent: *
Disallow: /wp-includes/
Disallow: /trackback/
มี Disallow: /ชื่อโพรเดอร์ / เป็นคำสั่งที่ไม่อนุญาติให้ bot เข้าไปไต่
*เทคนิคอยากให้ bot วิ่งไปไต่เก็บ index ที่ไหนก่อนเลย
ก็สมมุติ ผมอยากให้ bot ไปเก็บ Sitemap.xml ก่อน เพื่อเข้ามาที่ เว็บ
http://www .รักคนถามกระทู้นี้.com/
ผมก็จะใช้
User-agent: *
Sitemap: http://www.รักคนถามกระทู้นี้.com/sitemap.xml
< กดยุบ (ห้องยกเลิกการใช้งาน)
