สงสัยเรื่องการทำงานของ robot.txt กับเวบที่เป็น dynamic page

1. เวบที่ทำงานแบบ dynamic page ถ้าเราบล็อกไม่ให้ search engine เห็นบางโฟเดอร์ robot.txt จะทำงานได้เปล่า
เช่น เรามีเวบอยู่ 1 เวบ ทำงานด้วยโปรแกรมสำเร็จรูป ที่มีการอัพเดทตัวเอง โดยไม่ต้องมาค่อยแก้ไขหน้าออนไลน์เหมือน HTML ทั่วๆไป แล้วเราไปบล็อก โฟลเดอร์ A ไม่ให้ search engine เห็น search engine จะเห็นว่าเวบของเรานั้นเป็นเป็นเวบเสียหรือไม่ (มุมมองในส่วนของ admin+user ทั่วๆ ไปเวบเราจะปกติ เพราะไม่ได้ลบ folder A ออก แต่มุมมองของ robot.txt จะเห็นเป็นแบบ admin+user ทั่วๆ หรือเห็นว่าเวบนี้เสีย )

2. หลังจากใส่ไฟล์ robot.txt เข้าไปที่ root ของ web site เราแล้ว จะตรวจสอบการทำงานของมันได้ยังไง หมายถึงมันเข้ามาในส่วนที่เราอนุญาติ + ไม่อนุญาตถูกต้องหรือเปล่า