ต่อไป »

[TarnNee]

สอบถามหน่อยค่ะ robots.txt ที่กำหนดเอง ของบล๊อกเกอร์ ตรงนี้ใช้ยังไงค่ะ เขียนสคริปหรอค่ะ แล้วเขียนยังไงอ่า เห็นระบบแจ้งว่า ให้ใช้อย่างระมัดระวัง โอ๊ววว ไม่กล้ามั่วเลยอ่ะ   ใครเชียวชาญแนะนำเก๋าหน่อยสิ เพิ่งจาทำบล๊อกเป็นครั้งแรก ติดขัดไปหมดซะทุกอย่าง T_T  ขอคำแนะจากท่านผู้รู้หน่อยน๊า.......

[aodzy]

รอฟัง 

[969]

Robots.txt คืออะไร ?
robots.txt เป็นไฟล์ที่บอกให้ Search Engine เช่น google ,yahoo มาเก็บข้อมูลในหน้าเว็บของเรา ซึ่งในทางปฏิบัติแล้ว มันจะเก็บทุกส่วนของเว็บไซต์เรา ซึ่งถ้าเราไม่ต้องการให้มันเรียกเก็บข้อมูลในส่วนไหน เราก็สามารถป้องกันได้ ด้วยไฟล์ robots.txt นี้เอง

โรบอต (Robot) เป็นโปรแกรมเก็บข้อมูลในอินเตอร์เน็ต ซึ่งบางครั้ง เรียกว่าสไปเดอร์ (Spider) หรือ ครอว์เลอร์(Crawler) จะทําหน้าที่รวบรวมไฟล์ HTML เพื่อมาเป็นข้อมูล สําหรับสร้างดัชนีค้นหา ให้กับ เสิร์จเอ็นจิน (Search Engine) โดยทั่วไปแล้ว

ดังนั้นเราต้องสร้างไฟล์ robots.txt ขึ้นมา เพื่อกำหนดว่าจะให้ Robot เข้าไปยังโฟลเดอร์ไหนได้บ้าง
รายละเอียดผมไปค้นมาจาก google ลองไปอ่านดูครับ http://www.gorillatrick.com/how-to-file-robots-txt/

สำหรับ blogger ไม่จำเป็นต้องไปสร้างแบบกำหนดเองครับ ยกเว้นเราไม่อยากให้มันอินเดก หน้าบางหน้า แต่ถ้าอยากให้มันอินเดกทั้งหมด อินเดก labal ด้วยก็ใช้

User-Agent: *
Allow: /

ถ้าไม่อยากให้อินเดกหน้าไหนก็ใช้

User-agent: *
Disallow: /search
Disallow: /sdch
Disallow: /groups
Disallow: /images

หมายเหตุ Disallow: คือไม่อยากให้มันอินเดก ต้องการหน้าไหนโฟนเดอร์อะไรก็ / ตามด้วยชื้อโฟนเดอร์นั้นๆ หรือ url นั้นๆ

ปล.robots.txt ของ google http://www.google.com/robots.txt
การใช้ .robots.txt จากคำแนะนำของ google https://support.google.com/webmasters/answer/156449?hl=th

[fnhero125]

ผมใช้แบบนี้

User-agent: * //
User-agent: Googlebot //
User-agent: Googlebot-Image //

[Mr.Satan285]

Robots.txt คืออะไร ?
robots.txt เป็นไฟล์ที่บอกให้ Search Engine เช่น google ,yahoo มาเก็บข้อมูลในหน้าเว็บของเรา ซึ่งในทางปฏิบัติแล้ว มันจะเก็บทุกส่วนของเว็บไซต์เรา ซึ่งถ้าเราไม่ต้องการให้มันเรียกเก็บข้อมูลในส่วนไหน เราก็สามารถป้องกันได้ ด้วยไฟล์ robots.txt นี้เอง

โรบอต (Robot) เป็นโปรแกรมเก็บข้อมูลในอินเตอร์เน็ต ซึ่งบางครั้ง เรียกว่าสไปเดอร์ (Spider) หรือ ครอว์เลอร์(Crawler) จะทําหน้าที่รวบรวมไฟล์ HTML เพื่อมาเป็นข้อมูล สําหรับสร้างดัชนีค้นหา ให้กับ เสิร์จเอ็นจิน (Search Engine) โดยทั่วไปแล้ว

ดังนั้นเราต้องสร้างไฟล์ robots.txt ขึ้นมา เพื่อกำหนดว่าจะให้ Robot เข้าไปยังโฟลเดอร์ไหนได้บ้าง
รายละเอียดผมไปค้นมาจาก google ลองไปอ่านดูครับ http://www.gorillatrick.com/how-to-file-robots-txt/

สำหรับ blogger ไม่จำเป็นต้องไปสร้างแบบกำหนดเองครับ ยกเว้นเราไม่อยากให้มันอินเดก หน้าบางหน้า แต่ถ้าอยากให้มันอินเดกทั้งหมด อินเดก labal ด้วยก็ใช้

User-Agent: *
Allow: /

ถ้าไม่อยากให้อินเดกหน้าไหนก็ใช้

User-agent: *
Disallow: /search
Disallow: /sdch
Disallow: /groups
Disallow: /images

หมายเหตุ Disallow: คือไม่อยากให้มันอินเดก ต้องการหน้าไหนโฟนเดอร์อะไรก็ / ตามด้วยชื้อโฟนเดอร์นั้นๆ หรือ url นั้นๆ

ปล.robots.txt ของ google http://www.google.com/robots.txt
การใช้ .robots.txt จากคำแนะนำของ google https://support.google.com/webmasters/answer/156449?hl=th

+ให้ท่านนี้คับ

[TarnNeeWangYen]

ง่า.....อ่านแล้ว งง นึกภาพไม่ออก
ก็คือ เราต้องพิม แบบนี้  ลงในช่องของ robots.txt ที่กำหนดเอง ในบล๊อกเกอร์ เลยหรอค่ะ

User-agent: * //
User-agent: Googlebot //
User-agent: Googlebot-Image //

ลักษณะการพิมลงไป ใช่แบบนี้หรือป่าวค่ะ

User-Agent: *
Allow: / http://www.horpak-today.com/

แบบนี้หรือป่าวค่ะ แหะๆ งง อ่า...

[TarnNeeWangYen]

ผมใช้แบบนี้

User-agent: * //
User-agent: Googlebot //
User-agent: Googlebot-Image //

คุณ fnhero125 ช่วยอธิบายหน่อยค่ะว่า แต่ละบรรทัดหมายถึงอะไร

[fangbif]

มันมีความจำเป็นต้องทำด้วยหรอคะ ถ้าไม่จำเป็นขนาดนั้นก็ไม่ต้องทำ มันเป็นการบล็อกหรืออนุญาติให้บอทบางตัวเข้าไปเก็บหรือไม่เก็บข้อมูลส่วนไหนของเว็บบ้าง ปกติจะใช้เมื่อรู้ว่าจะบล็อกตัวไหน ตรงไหน แค่นั้นแหละค่ะ ส่วนใหญ่ก็ปล่อยหมด

[969]

ผมใช้แบบนี้

User-agent: * //
User-agent: Googlebot //
User-agent: Googlebot-Image //

คุณ fnhero125 ช่วยอธิบายหน่อยค่ะว่า แต่ละบรรทัดหมายถึงอะไร

User-Agent: *
Allow: /

ใส่แค่ที่ผมบอกจบครับ อินเดกครบทุกหน้า แม้กระทั้ง  label
ถ้าไม่ต้องการเปลี่ยนอะไร ก็ไม่ต้องตั้งค่าตรงนี้ของ blogger ครับมันก็ปกติของมันไม่มีปัญหา แต่มันจะไม่อินเดก label แค่นั้นเอง

[fnhero125]

ผมใช้แบบนี้

User-agent: * //
User-agent: Googlebot //
User-agent: Googlebot-Image //

คุณ fnhero125 ช่วยอธิบายหน่อยค่ะว่า แต่ละบรรทัดหมายถึงอะไร

อนุญาติ Bot ทุกตัว เน้น bot google และ เน้นให้เก็บข้อมูลรูปภาพ แต่ต้องตั้งชื่อรูปภาพให้มีความหมายด้วย
ไม่ใช่ 11-77, 1/99,159468 ชื่อที่เป็นตัวเลข หรือตัวอักษรไม่มีความหมายเก็บไปก็ไม่เกิดประโยชน์ 

[TarnNeeWangYen]

ผมใช้แบบนี้

User-agent: * //
User-agent: Googlebot //
User-agent: Googlebot-Image //

คุณ fnhero125 ช่วยอธิบายหน่อยค่ะว่า แต่ละบรรทัดหมายถึงอะไร

User-Agent: *
Allow: /

ใส่แค่ที่ผมบอกจบครับ อินเดกครบทุกหน้า แม้กระทั้ง  label
ถ้าไม่ต้องการเปลี่ยนอะไร ก็ไม่ต้องตั้งค่าตรงนี้ของ blogger ครับมันก็ปกติของมันไม่มีปัญหา แต่มันจะไม่อินเดก label แค่นั้นเอง

อ่อ ใส่แค่นี้ เลยชิมิค่ะ ok ค่ะ ขอบคุณมากค่ะ

[TarnNeeWangYen]

ผมใช้แบบนี้

User-agent: * //
User-agent: Googlebot //
User-agent: Googlebot-Image //

คุณ fnhero125 ช่วยอธิบายหน่อยค่ะว่า แต่ละบรรทัดหมายถึงอะไร

อนุญาติ Bot ทุกตัว เน้น bot google และ เน้นให้เก็บข้อมูลรูปภาพ แต่ต้องตั้งชื่อรูปภาพให้มีความหมายด้วย
ไม่ใช่ 11-77, 1/99,159468 ชื่อที่เป็นตัวเลข หรือตัวอักษรไม่มีความหมายเก็บไปก็ไม่เกิดประโยชน์ 

อ่อ เข้าใจและค่ะ อิอิ ขอบคุณมากนะค่ะ ^_^  +1 ค๊า...