อ้างอิง pawoot.com
สั่ง Search Engine ให้เชื่องด้วย robots.txt สำหรับผู้ที่มีเว็บไซต์การสร้างไฟล์ robots.txt ไว้ในเว็บของคุณจะเป็นการบอก Search engine ว่า " ไม่ต้องมาเก็บเว็บไซต์ของฉัน หรือหน้าเว็บบางหน้า หรือไฟล์บางไฟล์ ในเว็บของฉันนะ ไป index หรือเก็บไว้ในสารระบบเว็บของเธอนะจ๊ะ "
เหตุผลหลักๆที่ต้องใส่ robot.txt ก็เพราะต้องการป้องกันไม่ให้ robot ของ S/E มาเก็บข้อมูลที่เราไม่ต้องการให้แสดงใน S/E นั้น ๆอาจมีเหตุผลมาจากใน file/folder ในเว็บไซต์นั้นๆ เป็น ความลับหรือเขตห่วงห้ามพิเศษ restriction zone/Log-in required zone ที่ไม่อยากให้ Search Engine เข้าไปค้นหาเป็นต้น เช่นข้อมูลลับของบริษัท ที่ต้อง upload ไปเก็บในเว็บไซต์
โดยวิธีการง่าย ๆ ที่คุณจะบอกกับ Search Engine ก็เพียงแค่สร้างไฟล์ "rotbot.txt" ขึ้นมา แล้วนำไฟล์ๆ นี้ไปวางไว้ในตำแหน่งที่root folder ของเว็บไซต์ของคุณ (Root Folder คือ Dir บนสุดของเว็บคุณครับ คือ
http://www.ABC.com/robot.txt 
ครับ ไว้ตำแหน่งนี้นะครับ)
คำสั่งใน robots.txt เป็นดั่งนี้
-----------------------------------------------------
User-agent: * ---> ใส่ชื่อ bot ที่ต้องการ เช่น User-agent: msnbot ก็บอก msn ว่าไม่ต้องมา index เว็บของฉัน แต่ใส่ถ้า * ก็หมายถึงทุก S/E ไม่ต้องมา index
Disallow: / ---> บรรทัดนี้ ใส่ ชื่อ folder หรือ ชื่อ file หรือ File extension ที่ไม่ต้องการให่ถูกเก็บไป index
-----------------------------------------------------
:: Case Study ::
1. ถ้าไม่ต้องการให้ S/E ทุกยี่ห้อมาเก็บเว็บไซต์ทั้งเว็บไป index ใช้ข้อความข้างล่าง
User-agent: *
Disallow: /
2. ถ้าต้องการให้ S/E เฉพาะบางยี่ห้อมาเก็บเว็บไซต์ไป index ใช้ข้อความข้างล่าง เช่น msn ,google
User-agent: Googlebot
User-agent: msnbot
Disallow: [สังเกตุว่า ไม่มีเครื่องหมายใดหลัง disallow:]
User-agent: *
Disallow: /
หมายเหตุ ---> ใ นทางกลับกัน ถ้าไม่ต้องการให้ googlebot หรือ MSNbot ก็สลับบรรทัดกันระหว่างบรรทัด * กับ User-agent: Googlebot / User-agent: msnbot
3. ถ้าในกรณีของ ไม่ต้องการให้เก็บ Folder / File หรือ บาง File Extension ก็
User-agent: *
Disallow: /folder
Disallow: /file.extension อาทิ disallow:/indexhome.php ก็ไม่ต้องเก็บไฟล์ indexhome.php หรือ disallow:/indexhome.php?id ก็ไม่ต้องเก็บไฟล์ indexhome.php?[เป็น case ของ dynamic page]
Disallow:/*.file extension$ อาทิ disallow:/*.jpg$ ก็ไม่ต้องเก็บไฟล์ ที่มีนามสกุล jpg$
-----------------------------------------------------------
เพียงเท่านี้ คุณก็สามารถสั่งการ Search Engine ทุกๆ ยี่ห้อไม่ให้มายุ่ง หรือมายุ่งกับเว็บไซต์ของคุณได้อย่างไม่ยากแล้วคร้บบบบ ลองทำดูครับ ง่าย โคตรๆ
Pawoot P.
ความรู้ทั่วไป
