ThaiSEOBoard.com

ความรู้ทั่วไป => Search Engine Optimization => ข้อความที่เริ่มโดย: demonton5 ที่ 18 สิงหาคม 2019, 17:05:09



หัวข้อ: สอบถาม robots.txt แบบนี้ถูกไหมครับ
เริ่มหัวข้อโดย: demonton5 ที่ 18 สิงหาคม 2019, 17:05:09
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: *
Disallow: /wp-content/themes/newspaper/

Sitemap: https://ชื่อเว็บไซต์.com/sitemap.xml

แบบข้างบน แบบนี้ได้ไหมครับ
คือผมต้องการไม่ให้ บอทเก็บหน้า /wp-content/themes/newspaper/ น่ะครับ


หัวข้อ: Re: สอบถาม robots.txt แบบนี้ถูกไหมครับ
เริ่มหัวข้อโดย: peedam ที่ 18 สิงหาคม 2019, 18:08:10
ไฟล์ robots.txt ธรรมดาที่มีกฎ 2 ข้อมีลักษณะดังนี้ ดูคำอธิบายด้านล่าง

# กลุ่ม 1
User-agent: Googlebot
Disallow: /nogooglebot/

# กลุ่ม 2
User-agent: *
Allow: /

Sitemap: http://www.example.com/sitemap.xml
 

คำอธิบาย

User Agent ชื่อโปรแกรมรวบรวมข้อมูล "Googlebot" ไม่ควรรวบรวมข้อมูลในโฟลเดอร์ http://example.com/nogooglebot/ หรือไดเรกทอรีย่อยทั้งหมด
User Agent รายการอื่นมีสิทธิ์เข้าถึงทั้งเว็บไซต์ (ละได้และผลลัพธ์จะเหมือนกันเนื่องจากระบบเข้าใจว่าเป็นการเข้าถึงเต็มรูปแบบ)
ไฟล์แผนผังไซต์ของเว็บไซต์นี้อยู่ที่ http://www.example.com/sitemap.xml


หัวข้อ: Re: สอบถาม robots.txt แบบนี้ถูกไหมครับ
เริ่มหัวข้อโดย: Aoying ที่ 18 สิงหาคม 2019, 21:07:44
 :wanwan015: :wanwan015: :wanwan015:


หัวข้อ: Re: สอบถาม robots.txt แบบนี้ถูกไหมครับ
เริ่มหัวข้อโดย: demonton5 ที่ 19 สิงหาคม 2019, 07:42:58
ไฟล์ robots.txt ธรรมดาที่มีกฎ 2 ข้อมีลักษณะดังนี้ ดูคำอธิบายด้านล่าง

# กลุ่ม 1
User-agent: Googlebot
Disallow: /nogooglebot/

# กลุ่ม 2
User-agent: *
Allow: /

Sitemap: [url]http://www.example.com/sitemap.xml[/url]
 

คำอธิบาย

User Agent ชื่อโปรแกรมรวบรวมข้อมูล "Googlebot" ไม่ควรรวบรวมข้อมูลในโฟลเดอร์ [url]http://example.com/nogooglebot/[/url] หรือไดเรกทอรีย่อยทั้งหมด
User Agent รายการอื่นมีสิทธิ์เข้าถึงทั้งเว็บไซต์ (ละได้และผลลัพธ์จะเหมือนกันเนื่องจากระบบเข้าใจว่าเป็นการเข้าถึงเต็มรูปแบบ)
ไฟล์แผนผังไซต์ของเว็บไซต์นี้อยู่ที่ [url]http://www.example.com/sitemap.xml[/url]



User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot
Disallow: /wp-content/themes/newspaper/

Sitemap: https://ชื่อเว็บ.com/sitemap.xml

ตรงสีแดงเปลี่ยนไม่ได้ (ปลั๊กอิน) ส่วนตรงสีเขียวแบบนี้ พอจะถูกไหมครับ



หัวข้อ: Re: สอบถาม robots.txt แบบนี้ถูกไหมครับ
เริ่มหัวข้อโดย: CherryX ที่ 19 สิงหาคม 2019, 09:11:09
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: *
Disallow: /wp-content/themes/newspaper/

Sitemap: https://ชื่อเว็บไซต์.com/sitemap.xml

แบบข้างบน แบบนี้ได้ไหมครับ
คือผมต้องการไม่ให้ บอทเก็บหน้า /wp-content/themes/newspaper/ น่ะครับ


ถูกต้องค่ะ  :wanwan003:


หัวข้อ: Re: สอบถาม robots.txt แบบนี้ถูกไหมครับ
เริ่มหัวข้อโดย: market_online ที่ 19 สิงหาคม 2019, 23:11:26
 :wanwan005:


หัวข้อ: Re: สอบถาม robots.txt แบบนี้ถูกไหมครับ
เริ่มหัวข้อโดย: market_online ที่ 19 สิงหาคม 2019, 23:12:02
 :wanwan021: