Maximum BOY

วันนี้เข้าไป update sitemap และตรวจดูการ dowload sitemaps ล่าสุดของ www.thinkandclick.com  ได้พบฟีเจอร์ใหม่ของ google คือ tab robots.txt ซึ่งเป็นส่วนที่ google ดึงเอาไฟล์ robots.txt ซึ่งเป็นไฟล์ที่บอกว่าSearch engine ว่าจะไม่อนุญาติให้ Search Engine เข้าไปเก็บข้อมูลในส่วนใดบ้างของเว็บไซต์ของเราบ้าง

นอกจากนี้ ส่วนล่างสุดของ tab นี้ยังมีส่วนที่ google ให้เราเช็คได้ว่าถ้าใช้ User-Agent ต่าง ๆในการ Crawl เว็บแล้วผลที่ได้จากการ Crawl เว็บแบบในต่างๆ ของ google จะแสดงผลลัพท์ว่า Allowed คือ syntax ที่ใช้ใน robots.txt ถูกต้องหรือ not allowed  ซึ่ง user-agents ที่ว่าได้แก่

- ตัวหลัก Googlebot : google bot จะใช้ Crawl เว็บไซต์ของเราเพื่อนำมา index
- ตัวuser-agent ที่มีให้เราเลือกได้แก่
    + Googlebot-Mobile :  เป็น user-agent  ที่ใช้ crawls เว็บเพจเพื่อนำไป index ในระบบ Mobile ของ google
    + Googlebot-Image :   เป็น user-agent ที่ใช้ crawls เว็บเพจเพื่อนำไป index ในฐานข้อมูลภาพของ google
    + Googlebot-MediaPartners :   เป็น user-agent ที่ใช้ crawls เพื่อเช็คว่าเว็บเราสามารถลงโฆษณาAdSense ได้หรือไม่
    + Robots Standard :   เป็น user-agent ที่ใช้ crawls เพื่อเช็คว่าเว็บเราใช้ syntax ใน robots.txt ถูกต้องตามมาตรฐานของ robots.txt หรือไม่

ผลของ www.thinkandclick.com คือ allowed ทุก agent

Recently

You can follow any responses to this entry through the RSS 2.0 feed.
You can leave a response, or trackback from your own site.