ต่อไป »

[tunyalit]

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search

พวกนี้คืออะไรครับ แล้วทำไมมันเป็น Disallow ?

[zZzZ]

robots.txt เป็นไฟล์ที่สร้างเอาไว้ให้บอทมาอ่าน
เพื่อบอทจะได้รู้ว่า เวบเราไต่โฟลเดอร์ไฟล์ไหนได้บ้าง
ไฟล์ไหน โฟลเดอร์ไหนห้ามไต่ ก็กำหนดไว้ใน robots.txt

ไม่ควรให้ไต่
- โฟลเดอร์แอดมิน หรือไฟล์ที่ไม่ได้อยากให้ติด serp
- เวลาทำ urlrewrite หากไม่บล๊อค url รูปแบบที่ใช้จริง แล้วมีลิงค์หลุดไปหาในรูปแบบนั้น
จะเหมือนเวบเรามีสองหน้าที่คอนเทนต์เดียวกัน จะเป็นข้อหา duplicate contents ก็แก้ด้วย robots.txt ได้อีกเหมือนกัน
- โฟลเดอร์ที่ไม่จำเป็น

[jameseleader]

ผมก็เป็นครับ..รอผู้รู้ครับ...ของผมมันเป็นแบบนี้หมายความว่ายังไง...ดีหรือไม่ดี...
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search

Sitemap: http://mlmeasyone.blogspot.com.../posts/default?orderby=updated