ต่อไป »

[ติ๊งต๊อง]

พอดวันนี่้ีตรวจ Stat ที่ Host พบว่า มี error 404 Document Not Found เมือกดเข้าไปดูรายละเอียด พบว่ามีการค้นหา file robots.txt ถึง 30 ครั้ง และมี Googlebot เข้ามากกว่าทุกครั้ง (ตั้ง 5 ครั้งแหนะ )..

[iamnewbies]

ครับ มีก็จะีดีมากครับ

ไม่ีมีก็ไม่เป็นไรครับ

ไม่มี มันจะมีค่าเท่ากับ ใส่ไฟล์ robots เป็นเปล่าๆ ว่างๆ อะนะ


มันเหมือน มีมารยาทนะ

เข้าบ้านก็ต้องกดกริ่ง หรือ เคาะประตู

bot มันอ่าน rebots.txt ก่อน เพื่อให้ทรบว่าาเจ้าของบ้านให้ ย่องเข้าห้องใหน บ้างอะระ

[tony]

บอท มีมารยาท มันจะแวะมาอ่าน robots.txt ก่อน ทุกครั้ง (บางที มันจำได้ว่า มันเคยมา แว๊บๆ มันก็ไม่เ้ข้ามาอ่าน)

[MiithRanDir]

ในไฟล์ robot.txt ต้องเขียนอะไรลงไปป่าวครับ

[ryhan]

ในไฟล์ robot.txt ต้องเขียนอะไรลงไปป่าวครับ

เป็นไฟล์เปล่าก็ได้ครับ
แต่ถ้าจะเขียน ลองศึกษาจากเว็ปนี้ดูครับ
http://www.robotstxt.org/wc/faq.html

[mormmam]

สำหรับผมแล้ว มันไม่ได้ใช้งานในการทำ seo เลยครับ

แต่ใช้ในการป้องกันตัวเองจาก bot มากกว่า

[iamnewbies]

อยากรู้เหมือนกันว่า จะมี bot ประเภท ปลอมตัวจริงๆ (เป็น mozilla หรือ IE)  เพื่อสแกนเข้าตรวจสอบในส่วนที่ ป้องกันไว้ใน robots.txt ป่าว อะ

[daydies]

ได้ยินมาว่าถ้าไม่มีไฟล์ robots.txt MSN Search มันไม่ยอม Index ไม่ใช่หรือครับ หรือว่าเป็นแค่ความเข้าใจผิดๆของผม

[doneesi]

robots.txt หน้าที่จริงๆๆแล้วนะครับคือ ทำหน้าที่คอมเม้นบอกเสริจเอนจิ้นไม่ให้มาหาเวปเราตัวอย่าง


คำสั่งใน robots.txt เป็นดั่งนี้
-----------------------------------------------------
User-agent: * ---> ใส่ชื่อ bot ที่ต้องการ เช่น User-agent: msnbot ก็บอก msn ว่าไม่ต้องมา index เว็บของฉัน แต่ใส่ถ้า * ก็หมายถึงทุก S/E ไม่ต้องมา index
Disallow: / ---> บรรทัดนี้ ใส่ ชื่อ folder หรือ ชื่อ file หรือ File extension ที่ไม่ต้องการให่ถูกเก็บไป index
-----------------------------------------------------
:: Case Study ::

1. ถ้าไม่ต้องการให้ S/E ทุกยี่ห้อมาเก็บเว็บไซต์ทั้งเว็บไป index ใช้ข้อความข้างล่าง
User-agent: *
Disallow: /

2. ถ้าต้องการให้ S/E เฉพาะบางยี่ห้อมาเก็บเว็บไซต์ไป index ใช้ข้อความข้างล่าง เช่น msn ,google

User-agent: Googlebot
User-agent: msnbot
Disallow: [สังเกตุว่า ไม่มีเครื่องหมายใดหลัง disallow:]

User-agent: *
Disallow: /

หมายเหตุ ---> ในทางกลับกัน ถ้าไม่ต้องการให้ googlebot หรือ MSNbot ก็สลับบรรทัดกันระหว่างบรรทัด * กับ User-agent: Googlebot / User-agent: msnbot

3. ถ้าในกรณีของ ไม่ต้องการให้เก็บ Folder / File หรือ บาง File Extension ก็

User-agent: *
Disallow: /folder
Disallow: /file.extension อาทิ disallow:/indexhome.php ก็ไม่ต้องเก็บไฟล์ indexhome.php หรือ disallow:/indexhome.php?id ก็ไม่ต้องเก็บไฟล์ indexhome.php?[เป็น case ของ dynamic page]
Disallow:/*.file extension$ อาทิ disallow:/*.jpg$ ก็ไม่ต้องเก็บไฟล์ ที่มีนามสกุล jpg$

[monthonsite]

จำเป็นครับ เพราะว่ามีเครดิต

[ahon]

จำเป็นครับ เพราะว่ามีเครดิต

ส่งผลต่ออันดับด้วย หรอครับ

[monthonsite]

ขอตอบว่ามีผล(ความคิดผม) เพียงแต่ว่าเว็บที่มี robots.txt กูเกิลจะถือว่ามีเครดิตมากกว่า ย่อมส่งผลดีกว่าทุกด้าน สามารถส่งไซต์แมพได้อีกด้วย

สารพัดประโยชน์

[deksanook]

มีก็จะีดีมากครับ

ไม่ีมีก็ไม่เป็นไร

[kittypunkz]

ถ้าใช้ blogger จะแก้ไข robot.txt ยังไงครับ

[หมีกระป๋อง]

มันทำให้ Google มองว่าเว็บเรามีค่าขึ้นครับ (รึเปล่า)

[Twenty-One]

สงสัยเรื่องนี้มานานแล้วเหมือนกัน

[MR.chk]

ขอบคุณมากเลยครับ สงสัยมานานแล้วเหมือนกัน

[หนึ่งสุดหล่อ]

มีไว้ดีกว่าไม่มีล่ะครับ

อีกตัวนึงที่ชอบเข้ามาหากันจังคือ favicon ครับ ทำไว้ก็ดีนะ

[~บอล~]

จำเป็น

[beside]

Robots.txt เป็นเพียง file ธรรมดาแต่มีความหมาย เป็น file ข้อมูลที่ได้รับเกียรติจาก bots ก่อนเข้าเว็บไซต์ของเรา
คือ botsจะต้องอ่าน robots.txt ก่อนเข้าไปเยี่ยมชมเว็บไซต์ของเรา มันจะดูว่าเราอนุญาติให้มันสำรวจเว็บไซต์เรามากน้อยแค่ไหน
เราสามารถเขียนคำสั่งควบคุม bots ได้ ไปซ้าย ไปขวา ไปซักผ้า ไปถูบ้าน ออกไปซื้อกลับข้าวด้วยหิวแล้ว 

[golfkungja]

robots.txt เปรียนเสมือนบัตรเชื้อเชิญบอทดีๆนี่เอง อิอิ

[tarrekup]

เข้ามาเก็บกวาดครับ

ขอบคุณทุกท่าน


 

[CORNBB]

รับทราบแล้วครับ

[bsbblk77]

ความรู้ดีๆ

[gh_dark]

ดีละที่ไม่ลบมันไป 555+