สวัสดีครับ ขอคำปรึกษาหน่อยครับ พอดี สามสัปดาห์ก่อน ผมได้ลองเพื่มไฟล์ robots.txt ใส่ไปในเว็บ แล้วก็ก๊อฟโค๊ด มาใส่ โดยไม่ได้ดูว่า มัน disallow หน้าไหนบ้าง
ก็เลยใส่ไปทั้งหมด แบบไม่รู้เรื่อง ปรากฏว่า สองสามวันหลังจากนั้น เริ่มแปลกๆ ว่าคนเข้าเว็บหายไปเกือบหมด ปกติเว็บคนเข้าจาก google 80-90%
หายไปเหลือไม่ถึง 10% ก็เลยรีบลบไฟล์ robots.txt ออก ปรากฏว่า ศึกษาดู มันบล๊อคการเข้าถึงของบอทกูเกิ้ลหมดเลย
แล้วหน้าเว็บอันไหน ที่เคยติดอันดับต้นๆ ของกูเกิ้ล ที่เคยดึงคนเข้าเว็บเยอะๆ ก็ขึ้นตามรูป ขึ้นว่า ไม่มีข้อมูลสำหรับหน้านี้
ผมก็เลยใส่ robots.txt ใหม่ แล้วเพิ่มคำสั่ง allow ทั้งหมดเลย แต่มันก็ยังเป็นเหมือนเดิม
คือมันไม่ได้โดนบล๊อคทั้งเว็บนะ เป็นบางหน้าเท่านั้น
ไม่ทราบว่า จะแก้ไขยังไงดีครับ ให้หน้าเหล่านั้น มีข้อมูลเข้าเว็บกูเกิ้ลเหมือนเดิม
ผมคิดเองนะครับ ว่า เอาลิงค์ หน้าที่มันเคยบล๊อค ไปโพสตามเว็บ ให้บอท มันไต่มาถึง มาเก็บข้อมูลใหม่ แบบนี้ พอจะช่วยได้ไหม
หรือเทพท่านใด มีคำแนะนำดีๆ กว่านี้ ขอทราบหน่อยนะครับ
ขอบคุณครับ
ความรู้ทั่วไป
