In the interest of maintaining a healthy ecosystem and preparing for potential future open source releases,
we're retiring all code that handles unsupported and unpublished rules (such as noindex) on September 1, 2019. For those of you who relied on the noindex indexing directive in the robots.txt file, which controls crawling, there are a number of alternative options:
Noindex in robots meta tags: Supported both in the HTTP response headers and in HTML, the noindex directive is the most effective way to remove URLs from the index when crawling is allowed.
ใน link ที่ Gary ทำ link ไปก็ยังบอกว่ารองรับอยู่เลย
https://support.google.com/webmasters/answer/93710 There are two ways to implement noindex: as a meta tag and as an HTTP response header. They are equivalent in effect, but you might choose one or the other as more convenient based on how much control you have over your server and your specific publishing process.
ไปหาข้อมูลมาเพิ่มแล้ว
ยกเลิกพวกที่ไม่ตรงมาตรฐานเช่น crawl-delay, nofollow, และ noindex เฉพาะใน robots.txt เท่านั้น
ใน robots meta tags ไม่ได้ยกเลิก ยังใช้ได้อยู่
เริ่มยกเลิก 1 กย.ตกใจหมด นึกว่าอ่านผิด