Robots.txt คืออะไร ?
robots.txt เป็นไฟล์ที่บอกให้ Search Engine เช่น google ,yahoo มาเก็บข้อมูลในหน้าเว็บของเรา ซึ่งในทางปฏิบัติแล้ว มันจะเก็บทุกส่วนของเว็บไซต์เรา ซึ่งถ้าเราไม่ต้องการให้มันเรียกเก็บข้อมูลในส่วนไหน เราก็สามารถป้องกันได้ ด้วยไฟล์ robots.txt นี้เอง

โรบอต (Robot) เป็นโปรแกรมเก็บข้อมูลในอินเตอร์เน็ต ซึ่งบางครั้ง เรียกว่าสไปเดอร์ (Spider) หรือ ครอว์เลอร์(Crawler) จะทําหน้าที่รวบรวมไฟล์ HTML เพื่อมาเป็นข้อมูล สําหรับสร้างดัชนีค้นหา ให้กับ เสิร์จเอ็นจิน (Search Engine) โดยทั่วไปแล้ว

ดังนั้นเราต้องสร้างไฟล์ robots.txt ขึ้นมา เพื่อกำหนดว่าจะให้ Robot เข้าไปยังโฟลเดอร์ไหนได้บ้าง
รายละเอียดผมไปค้นมาจาก google ลองไปอ่านดูครับ http://www.gorillatrick.com/how-to-file-robots-txt/

สำหรับ blogger ไม่จำเป็นต้องไปสร้างแบบกำหนดเองครับ ยกเว้นเราไม่อยากให้มันอินเดก หน้าบางหน้า แต่ถ้าอยากให้มันอินเดกทั้งหมด อินเดก labal ด้วยก็ใช้

User-Agent: *
Allow: /

ถ้าไม่อยากให้อินเดกหน้าไหนก็ใช้

User-agent: *
Disallow: /search
Disallow: /sdch
Disallow: /groups
Disallow: /images

หมายเหตุ Disallow: คือไม่อยากให้มันอินเดก ต้องการหน้าไหนโฟนเดอร์อะไรก็ / ตามด้วยชื้อโฟนเดอร์นั้นๆ หรือ url นั้นๆ

ปล.robots.txt ของ google http://www.google.com/robots.txt
การใช้ .robots.txt จากคำแนะนำของ google https://support.google.com/webmasters/answer/156449?hl=th