ต่อไป »

[goldrich]

มีบางส่วนในเวบ ที่ไม่อยากให้ search engine ทำการ index ที่หน้านั้นอะครับ

จะต้องพิมอะไรเพิ่มลงไปใน robot.txt บ้างครับ

ขอบคุณมากครับ

[korpai]

พี่กูเค้าบอกว่า

Blocking Googlebot
Google uses several user-agents. You can block access to any of them by including the bot name on the User-Agent line of an entry. Blocking Googlebot blocks all bots that begin with "Googlebot".

Googlebot: crawl pages from our web index and our news index
Googlebot-Mobile: crawls pages for our mobile index
Googlebot-Image: crawls pages for our image index
Mediapartners-Google: crawls pages to determine AdSense content. We only use this bot to crawl your site if you show AdSense ads on your site.
Adsbot-Google: crawls pages to measure AdWords landing page quality. We only use this bot if you use Google AdWords to advertise your site. Find out more about this bot and how to block it from portions of your site.
For instance, to block Googlebot entirely, you can use the following syntax:

User-agent: Googlebot
Disallow: /
Allowing Googlebot
If you want to block access to all bots other than the Googlebot, you can use the following syntax:

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:
Googlebot follows the line directed at it, rather than the line directed at everyone.

[goldrich]

^
^

หมายความว่า สมมติในเวบผมมีโฟลเดอร์

./Test
./File
./Picture

ผมต้องการไม่ให้ Bot มาเจอโฟลเดอร์ Test ในไฟล์ผมก็ใส่เป็น

Disallow : /Test
แบบนี้เหรอครับ

[korpai]

Copy ไปแล้วใช้ได้เลยครับ

User-agent: Googlebot
Disallow: /test/

[goldrich]

ขอบคุณครับ

[tana]

 

จะลองคลำๆดูเหมือนกัน

[payu]

ศึกษาจากกระทู้นี้ครับ ...
http://www.thaiseoboard.com/in...ic,3791.msg44289.html#msg44289

หลายๆอย่างมีในบอร์ดนี้เกือบหมดแล้วครับ .. ถ้าสนใจลอง "ค้นหา" ด้านบนดูนะครับ