วันนี้เข้าไป update sitemap และตรวจดูการ dowload sitemaps ล่าสุดของ www.thinkandclick.com ได้พบฟีเจอร์ใหม่ของ google คือ tab robots.txt ซึ่งเป็นส่วนที่ google ดึงเอาไฟล์ robots.txt ซึ่งเป็นไฟล์ที่บอกว่าSearch engine ว่าจะไม่อนุญาติให้ Search Engine เข้าไปเก็บข้อมูลในส่วนใดบ้างของเว็บไซต์ของเราบ้าง
นอกจากนี้ ส่วนล่างสุดของ tab นี้ยังมีส่วนที่ google ให้เราเช็คได้ว่าถ้าใช้ User-Agent ต่าง ๆในการ Crawl เว็บแล้วผลที่ได้จากการ Crawl เว็บแบบในต่างๆ ของ google จะแสดงผลลัพท์ว่า Allowed คือ syntax ที่ใช้ใน robots.txt ถูกต้องหรือ not allowed ซึ่ง user-agents ที่ว่าได้แก่
- ตัวหลัก Googlebot : google bot จะใช้ Crawl เว็บไซต์ของเราเพื่อนำมา index
- ตัวuser-agent ที่มีให้เราเลือกได้แก่
+ Googlebot-Mobile : เป็น user-agent ที่ใช้ crawls เว็บเพจเพื่อนำไป index ในระบบ Mobile ของ google
+ Googlebot-Image : เป็น user-agent ที่ใช้ crawls เว็บเพจเพื่อนำไป index ในฐานข้อมูลภาพของ google
+ Googlebot-MediaPartners : เป็น user-agent ที่ใช้ crawls เพื่อเช็คว่าเว็บเราสามารถลงโฆษณาAdSense ได้หรือไม่
+ Robots Standard : เป็น user-agent ที่ใช้ crawls เพื่อเช็คว่าเว็บเราใช้ syntax ใน robots.txt ถูกต้องตามมาตรฐานของ robots.txt หรือไม่
ผลของ www.thinkandclick.com คือ allowed ทุก agent
บริษัท ครีซิทีฟ บัญชี และ กฎหมาย จำกัด ผู้นำสารพันความรู้ทางด้านบัญชี ข้อมูลข่าวสารด้านบัญชี เรารับบริการงานด้านบัญชีต่างๆ ภาษีอากร กฎหมายที่เกี่ยวข้องกับการประกอบธุรกิจและสาระน่ารู้ต่างๆ
ที่ควรทราบในแวดวงธุรกิจเพื่อคนในแวดวงบัญชีผู้ประกอบการ และผู้ที่สนใจทั่วไป
Google sitemaps BETA ????????? Google webmaster tools ???????? root site ???????????????