ตอนแรกผมเช่าโฮสเกเตอร์ ตอนเช่าผมใส่โเมนลงไปด้วย สมมุติว่าชื่อ aaa.com นะครับ ทำเว็บจนเสร็จ 1 เดือน จากนั้นจดเพิ่มอีก bbb.com ทำจนเสร็จ และจดเพิ่มอีิิก ccc.com และเพิ่มอีก ddd.com และเพิ่มอีก eee.com ทุกครั้งที่ผมจดโเมนมาผมจะแอดเข้าไปใน cPanel ทีนี้ด้วยความว่าตอนผมเช่าโฮสใหม่ผมใช้โดเมน aaa.com และมันจะอยู่ใน root ที่ชื่อ public_html และเมื่อผมจดโดเมนมาทีหลังผมแอดเข้าไปจากนั้นเมื่อเราเข้าไปที่ File Manager ตรง public_html จะเจอ โฟลเดอร์ที่ชื่อ bbb.com และ ccc.com ddd.com eee.com ผมแอดโดเมนเข้าทุกครั้งผมก็เขียนไฟล์ robots.txt สั่งห้ามบอทไม่ไห้เข้าโดเมนที่จดมาใหม่ทุกครั้ง และทุกเว็บที่จดมาใหม่ ก็ index ไปได้ด้วยดีเว็บละ 10000 กว่าหน้าบางเว็บก็ pr1 บางเว็บ pr3 แต่แล้ววันซวยก็มาถึง ผมนึกยังไงไม่รู้ผมคิดว่า เว็บหลักที่ชื่ aaa.com เป็นเว็บดีมีคุณภาพ บอทเข้าวันละ 10000 กว่ารอบ ผมเลยแก้ไข ไฟล์ robots.txt ปล่อยบอทเข้าสู่โฟล์เดอร์ที่เป็นของโดเมนอื่นๆ พอมาเปิดดูวันหลังซวยเลยครับ index เหลือ 0 ทุกเว็บ เหลือแต่เว็บแม่ aaa.com 4000 กว่าหน้าและก็ลดลงเรื่อยๆ ผมคิดอะไรไม่ออกเลยมืดไปหมด ทำมาก็เหนื่อย ไม่รู้พี่ Panda เค้าคิดยังไงถึงมาตบผมไม่รู้ถ้าใครพอเข้าใจช่วยอธิบายหน่อยครับ 4 เว็บที่ทำมา สลายสลาย....ในพลิบตา
โอ้จอร์ทยอดร่วง
ผมมานั่งคิดและทบทวนไปในแนวทางที่อาจเป็นไปได้ครับว่า......
ไฟล์ robos.txt คือประกาศิตที่ที่มีไว้สำหรับ "บอท" บอทควรให้ความเคารพในสิ่งที่บัญญัติไว้ใน robots.txt หากวันใดบอทไม่ให้ความเคารพในสิ่งนี้วันั้นคนทั้งโลกจะเกรียดชังบอท และบอทจะกลายเป็นหนอนที่ชอนไชอินเตอร์เน็ตไปวันๆโดยปริยายไฟล์ robots.txt เป็นไฟล์ที่สำคัญครับ ใช้บังคับบอทไปในทางที่สมควรจะไปเข้าตามตรอกออกตามประตู และ.....เราจะรอช้าอยู่ใยอย่าให้มันสายไปเหมือนที่ผมพลาดมา ผมไม่ค่อยแน่ใจว่าแนวคิดของผมถูกต้องหรือเปล่าหรือผมคิดมากไปเอง
1..บอทสามารถไต่ไปตามลิ้งทุกลิ้งค์ในหน้าเว็บ ( อันนี้น่าจะถูกเต็มร้อย)
2..บอทสามารถเข้าสู่ทุกโฟลเดอร์ใน web_root ของเรา (อันนี้น่าจะถูกเพราะเห็นเวลาเขียนไฟล์ robots.txt ต้องมีการห้ามเข้าบางโพลเดอร์อยู่ แล้วอย่างในกรณีที่เว็บผมโดนแบนข้างบน ชัวร์เลยครับเมื่อเข้าเว็บหลักจะเจอโฟลเดอร์ของเว็บย่อย อีก4เว็บ และ2เว็บก็เก็บปลั๊กอินที่พี่ google ไม่ค่อยปลื้มเท่าไหร่ พี่เค้าเลยชอนไชไปในเขตหวงห้าเมื่อเจอของดีพี่เค้าคงแบนผมเป็นแน่)
3..บอทสามารถอ่านโค้ดจากไฟล์ต่างในเว็บและแยกออกว่าอันไหนคือ ลิ้งค์ อันไหนคือโค้ด อันไหนคือตัวหนังสือ พี่เค้าอาจจดจำโค้ดบางอย่างหรืออาจวิเคราะห์ออกว่า โค้ในไฟล์นั้นเป็นโค้ด auto post คือการโพสแบบโอโต้ พี่เค้าคงไม่ปลื้มกับเว็บเราแน่
4..บอทอาจจะจดจำชื่อไฟล์บางตัวได้ โดยไม่ต้องดู เพราะพี่เค้าเดินทางข้ามน้ำข้ามทะเลทุกวันเลยชินกับชื่อไฟล์บางตัว
ยกตัวอย่างเหตุการณ์สมมุติ พี่ goo เค้าไปที่เว็บ.... ปปป.com เลยเช้าชอนไชเจอโฟลเดอร์ที่ชื่อ A1 ในโฟลเดอร์นั้น เก็บ ไฟล์ที่ชือ 1.php และ 2.php เป็นในลักษณะ โฟสแบบโอโต้หรือ สคริปต์ที่ดึงอะไรบางอย่างแบบโอโต้ พี่เค้าเลยไมชอบใจเลยโทรศัพท์บอกพี่ pan มาดูหน่อยพอพี่ pan มาถึงก็เลยพิพากษาด้วยการตบเว็บร่วงซะ ถัดจากนั้น พี่ทั้งสองเลยขึ้นซาเล้งเดินทางต่อไป ตามลิ้งค์ที่อยู่บนหน้าเว็บที่เพิ่งตบมาหมาดๆ ไปถึงเว็บที่ชื่อ ฟฟฟ.com พอมาถึง พี่ goo ร้องด้วยความตกใจอ้ายหย๋า เว็บนี้ก็มีโฟลเดอร์ที่ชื่อ A1 เหมือนกัน พอเปิดเข้าไปดูก็เจอไฟล์ที่ชื่อ 1.php 2.php สองไฟล์เหมือนเว็บเมื่อกี้เลย ด้วยความโมโหพี่ pan กระโดดลงจากซาเล้ง ง้างมือขึ้นได้กำลังจะตบ พี่ goo เลยพูดขึ้นว่า "เดี๋ยว ! นึ่เอ็งจะทำมันเดี๋ยวนี้เลยจริงๆหรอ" ทางพี่ pan เหลือบตามอง พูดว่า "มีไร" ทางพี่ goo พูดว่า "ไม่เก็บมันไว้ดูพฤติกรรมสัก2-3เดือนก่อนหรอ" ทางพี่ pan เลยบอกว่า "ก็ได้ ถ้าไม่ใช่เพราะเอ็งขอข้าจัดชุดใหญ่ให้มันไปแล้วนะเนี่ย" พูดเสร็จพี่ pan เลยเดินขึ้นรถ ส่วนพี่ goo เดินไปเก็บหน้าเว็บ 2-3 หน้าไปวางใส่หน้าซาเล้งแล้วสองผู้ยิ่งใหญ่เลยเดินทางไปทำภารกิจต่อไป............จบ แล้วทุกคนลงมือสร้างไฟล์ robots.txt กันหรือยัง คนที่ชอบใช้ Wp-robot สิ่งที่พี่ goo ไม่ปลื้มก็ซ่อนซะ เมื่อทำเว็บขึ้นมาใหม่ลองทำเหมือนที่ผมแนะนำดูถ้าใครทำแล้วก็อุ่นใจและควรจะแน่นหนานิดหนึ่งถ้าใครยังไม่ทำก็ทำนะครับแล้วลองเปรียบเทียบดูความแตกต่าง ว่านานเท่าไหร่กว่าจะโดนแบน
ตัวอย่างไฟล์ robots.txt สำหรับ wordpress แบบของผมก็ปลอดภัยอยู่ในแนวต้นๆครับ
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
คงพอกับการระบายอารมณ์ของผมครับ ผมไม่รู้จะทำยังไงเซ็งกับเว็บผมที่โดน พี่ pan ตบไปหมาดๆ วันหลังผมจะมาเล่าเรื่องการขายของในแบบของผม มีอยู่ประมาณ 2-3 เรื่องคงไม่ไร้สาระเหมือนนิทานของผมแน่ แล้วติดตามนะครับ ผมจะเขียนแค่ที่เดียวความหมายคือ มีอะไรผมก็จะมาต่อข้อความในโพสนี้ลงไปเรื่อยๆครับ ขอบคุณทุกท่านที่อ่านโพสของผม ขอบคุณอีกครั้งครับ
ความรู้ทั่วไป
