กรณี google index แล้ว หากต้องการ ไม่ให้ index เป็นบางหน้า ให้เขียนไว้ที่เพจนั้นๆ โดยใช้เมต้าแทคคือ
<meta name="robots" content="noindex,nofollow">
กรณีนี้ google ยังคง index ให้ปกติแต่จะไม่ index หน้าที่เราต้องการ
ไม่แนะนำให้ใช้วิธี เขียนในไฟล์ robot.txt
ข้อควรพิจารณาที่สำคัญสองข้อเมื่อใช้ /robots.txt:
โดยการบล็อคโรบอต เพราะบางหน้าที่ต้องการ index จะส่งผลกระทบ
หมายเหตุ โรบอตสามารถเพิกเฉยต่อ /robots.txt ของคุณ โดยเฉพาะหุ่นยนต์มัลแวร์ที่สแกนเว็บเพื่อหาช่องโหว่ด้านความปลอดภัยและที่อยู่อีเมลที่ใช้โดยผู้ส่งอีเมลขยะจะไม่ได้รับความสนใจ
ไฟล์ /robots.txt เป็นไฟล์แบบสาธารณะ ทุกคนสามารถดูได้ว่าคุณต้องการให้หุ่นยนต์ใช้ส่วนใดในเซิร์ฟเวอร์ของคุณ
ดังนั้นอย่าพยายามใช้ /robots.txt เพื่อซ่อนข้อมูล
กรณี รีไดเรก 301 หากเป็นเนื้อหาใกล้เคียงกัน หรือเชื่อมโยงกัน หรือสัมพันธ์กัน ผมเคยทดสอบแล้วยังคง index อยู่ แต่อันดับจะตกลงไม่ค่อยดีครับ