Robots.txt คืออะไร Robots.txt คืออะไร เป็นไฟล์ที่บอกให้บอตหรือหุ่นยนต์ของ Search Engine ต่างๆนั้น เช่น Google, Yahoo, Bing จะทำการเข้ามา Crawal เพื่อเก็บข้อมูลภายในเว็บไซต์ แล้วจะนำข้อมูลที่เก็บทำเป็น Index เอาไว้ในฐานข้อมูล...Read More