Robots Meta Tag คืออะไร? noindex, nofollow และคำสั่งสำคัญใช้ต่างกันอย่างไร

หน้าเว็บไซต์แต่ละหน้าไม่จำเป็นต้องถูกจัดการเหมือนกันทั้งหมด บางหน้าต้องการให้ Google นำไป Index ตามปกติ บางหน้าอาจต้องการให้เปิดใช้งานได้แต่ไม่อยากให้ปรากฏในผลการค้นหา ขณะที่บางเว็บไซต์ต้องการจำกัดข้อความตัวอย่าง รูปภาพ หรือวิดีโอที่ Google นำไปแสดงใน Search สิ่งเหล่านี้สามารถควบคุมได้บางส่วนด้วย Robots Meta Tag ซึ่งเป็นคำสั่งที่ใส่ไว้ใน HTML ของหน้าเว็บเพื่อบอก Search Engine ว่าควรจัดการหน้าดังกล่าวอย่างไร Google ระบุว่า robots meta tag ใช้ควบคุมการ Index และการนำเนื้อหาไปแสดงในผลการค้นหาในระดับแต่ละหน้าได้อย่างละเอียด จึงเป็นเครื่องมือสำคัญของ Technical SEO แต่หากใช้ผิด เช่น ใส่ noindex ให้หน้าสำคัญ ก็อาจทำให้หน้าหายจาก Google ได้เช่นกัน

Robots Meta Tag คืออะไร และใส่อยู่ตรงไหนของหน้าเว็บ

Robots Meta Tag คือ <meta> tag ที่ใส่อยู่ภายในส่วน <head> ของ HTML เพื่อส่งคำสั่งให้ Search Engine Crawler เกี่ยวกับการ Index และการแสดงผลของหน้านั้น

ตัวอย่างที่พบได้บ่อยคือ

<meta name="robots" content="noindex">

คำสั่งนี้บอก Search Engine ที่รองรับว่าไม่ควรนำหน้านั้นเข้าสู่ดัชนี สำหรับ Google สามารถระบุเฉพาะ Googlebot ได้ด้วย เช่น name="googlebot" หากต้องการให้คำสั่งมีผลกับ Google โดยเฉพาะ

หากไม่มี robots meta tag หรือไม่มีคำสั่งจำกัดใด ๆ หน้าเว็บโดยทั่วไปจะไม่ได้ถูกห้าม Index ด้วยกลไกนี้

Robots Meta Tag คำสั่ง noindex ใช้ตอนไหน

noindex เป็นคำสั่งที่สำคัญที่สุดคำหนึ่ง เพราะใช้บอก Google ว่าไม่ต้องนำหน้าไปแสดงใน Search Results

ตัวอย่างหน้าที่อาจพิจารณาใช้ noindex ตามบริบท ได้แก่ หน้าระบบภายใน หน้า Search Result บางประเภท หน้าทดลอง หรือหน้าอื่นที่ยังต้องเปิดให้ผู้ใช้เข้าถึง แต่ไม่ได้มีเป้าหมายให้เป็น Landing Page จาก Organic Search

จุดที่ต้องระวังคือ Google ต้องสามารถ Crawl หน้าได้ก่อนจึงจะเห็นคำสั่ง noindex หากหน้าเดียวกันถูกบล็อกด้วย robots.txt Google อาจไม่สามารถเข้าถึง meta tag นั้นได้ และ URL ยังมีโอกาสปรากฏใน Search แบบไม่มีรายละเอียดได้ Google จึงแนะนำว่า robots.txt ไม่ควรใช้เป็นเครื่องมือหลักสำหรับสั่งไม่ให้หน้าเว็บปรากฏใน Search

Robots Meta Tag คำสั่ง nofollow ต่างจาก noindex อย่างไร

สองคำนี้ทำหน้าที่คนละอย่าง

noindex เกี่ยวข้องกับการนำ หน้าปัจจุบัน ไป Index

ส่วน nofollow เป็นคำสั่งเกี่ยวกับลิงก์ทั้งหมดบนหน้า โดยบอก Google ว่าไม่ต้องติดตามลิงก์เหล่านั้นตามความหมายของคำสั่ง robots meta tag

จึงไม่ควรเข้าใจว่า

noindex = ห้าม Crawl

หรือ

nofollow = ไม่ให้หน้าอยู่ Google

เพราะเป็นคนละหน้าที่

นอกจากนี้ยังมี rel="nofollow" ที่ใช้กำหนดกับลิงก์เป็นรายตัว ซึ่งต่างจากการใส่ nofollow ใน robots meta tag ที่มีผลในระดับทั้งหน้า

Robots Meta Tag กับ nosnippet และ max-snippet ใช้ควบคุมอะไร

Google รองรับคำสั่งที่ใช้ควบคุมการแสดงตัวอย่างเนื้อหาใน Search เช่น nosnippet และ max-snippet

nosnippet ใช้บอก Google ว่าไม่ควรแสดง Text Snippet หรือ Video Preview ของหน้านั้นในผลการค้นหา ขณะที่ max-snippet ใช้กำหนดจำนวนอักขระสูงสุดของ Text Snippet ที่ Google สามารถนำไปแสดงได้

ตัวอย่างแนวคิด

max-snippet:50

หมายถึงอนุญาตให้แสดง Text Snippet ได้สูงสุดประมาณค่าที่กำหนดในคำสั่งนั้นตามการตีความของระบบ

อย่างไรก็ตาม คำสั่งเหล่านี้ไม่ได้ทำให้ Title หรือ Ranking สูงขึ้น แต่เป็นการควบคุมว่าข้อมูลบางส่วนของหน้าอาจถูกนำไปใช้ใน Search Result อย่างไร

Robots Meta Tag ควบคุมรูปภาพและวิดีโอได้หรือไม่

Google รองรับคำสั่งเพิ่มเติม เช่น max-image-preview และ max-video-preview สำหรับควบคุมขนาด Preview ของรูปภาพและระยะเวลา Video Preview ที่สามารถแสดงใน Search ได้

ตัวอย่างการใช้งานเช่น เว็บไซต์ที่ไม่ต้องการให้ Google แสดงภาพ Preview ขนาดใหญ่ อาจกำหนดค่าที่เหมาะสมกับนโยบายของเว็บไซต์

นอกจากนี้ยังมี data-nosnippet ซึ่งไม่ใช่ robots meta tag โดยตรง แต่เป็น HTML attribute ที่สามารถใช้ป้องกันไม่ให้บางส่วนของข้อความบนหน้าไปปรากฏใน Snippet ขณะที่ส่วนอื่นยังสามารถใช้งานได้ตามปกติ Google รองรับวิธีนี้ควบคู่กับ robots meta tag และ X-Robots-Tag

Robots Meta Tag ต่างจาก robots.txt อย่างไร

ความสับสนที่พบได้บ่อยคือคิดว่า robots meta tag กับ robots.txt ใช้แทนกันได้

จริง ๆ แล้ว robots.txt มีหน้าที่หลักในการจัดการ Traffic ของ Crawler และการเข้าถึง Resource หรือ URL บางส่วนของเว็บไซต์ ส่วน robots meta tag ใช้ควบคุมการ Index และการแสดงผลในระดับหน้า

ดังนั้น หากต้องการให้หน้าไม่ปรากฏใน Google การใช้ noindex เป็นวิธีตรงกว่า

แต่ต้องเปิดให้ Googlebot Crawl หน้าได้เพื่ออ่าน noindex

นี่คือเหตุผลที่การใส่

Disallow ใน robots.txt

พร้อมกับ

noindex ในหน้าดังกล่าว

อาจไม่ทำงานตามที่เจ้าของเว็บไซต์คาด เพราะ Googlebot อาจถูกห้ามตั้งแต่ก่อนเข้าถึงคำสั่ง noindex

Robots Meta Tag กับ JavaScript ต้องระวังอะไร

เว็บไซต์บางแห่งใช้ JavaScript เปลี่ยน robots meta tag หลังจากโหลดหน้าแล้ว

กรณีนี้ต้องระวัง โดยเฉพาะเมื่อ HTML เริ่มต้นมี noindex

Google ระบุว่าหากพบ noindex ตั้งแต่แรก ระบบอาจข้ามการ Render และการ Execute JavaScript ในบางกรณี ดังนั้นการหวังให้ JavaScript ลบ noindex ภายหลังอาจไม่ทำงานตามที่ตั้งใจ หากต้องการให้หน้า Index ไม่ควรใส่ noindex ไว้ใน HTML เริ่มต้น

เรื่องนี้สำคัญกับเว็บไซต์ React, Vue หรือระบบที่สร้าง Metadata แบบ Dynamic มากเป็นพิเศษ

Robots Meta Tag แบบไหนควรใช้กับเว็บไซต์ทั่วไป

คำสั่งที่ควรรู้เป็นพื้นฐาน ได้แก่

1. index — อนุญาตให้หน้าเข้าร่วมการ Index ตามปกติ
2. noindex — ไม่ให้นำหน้าไปแสดงใน Search
3. follow — อนุญาตให้ติดตามลิงก์บนหน้า
4. nofollow — ไม่ให้ติดตามลิงก์ทั้งหมดบนหน้า
5. nosnippet — ไม่ให้แสดง Text Snippet และ Video Preview
6. max-snippet — จำกัดความยาว Text Snippet
7. max-image-preview — ควบคุมขนาด Image Preview
8. max-video-preview — จำกัด Video Preview

Google ระบุคำสั่งเหล่านี้ไว้ในเอกสาร robots meta tag อย่างเป็นทางการ และรองรับการใช้หลายคำสั่งร่วมกันใน content attribute เดียวได้ตามรูปแบบที่กำหนด

สรุป

Robots Meta Tag เป็นเครื่องมือสำคัญสำหรับควบคุมการ Index และการแสดงผลของหน้าเว็บไซต์ในระดับแต่ละ URL โดยคำสั่งที่ควรรู้มากที่สุดคือ noindex สำหรับหน้าไม่ต้องการให้ปรากฏใน Search และ nofollow สำหรับควบคุมการติดตามลิงก์บนหน้า นอกจากนี้ Google ยังรองรับคำสั่งอย่าง nosnippet, max-snippet, max-image-preview และ max-video-preview สำหรับควบคุม Preview ใน Search ผลลัพธ์ที่ถูกต้องขึ้นอยู่กับการตั้งค่าร่วมกับ robots.txt, JavaScript และโครงสร้างเว็บไซต์ด้วย ดังนั้นไม่ควรใส่คำสั่งเหล่านี้แบบเหมารวม เพราะการตั้งผิดเพียงหน้าเดียวอาจทำให้หน้าสำคัญไม่ถูก Index หรือแสดงผลใน Search ไม่ตรงกับที่ต้องการ

คำถามที่พบบ่อย (FAQ)

Robots Meta Tag คืออะไร?

Robots Meta Tag คือ <meta> tag ในส่วน <head> ของ HTML ที่ใช้ส่งคำสั่งให้ Search Engine เกี่ยวกับการ Index, การติดตามลิงก์ และการนำเนื้อหาไปแสดงใน Search

noindex กับ nofollow ต่างกันอย่างไร?

noindex ใช้ควบคุมว่าหน้าจะถูกนำไป Index หรือไม่ ส่วน nofollow เกี่ยวข้องกับการติดตามลิงก์บนหน้านั้น

ใช้ robots.txt แทน noindex ได้หรือไม่?

ไม่ควรใช้แทนกัน เพราะ robots.txt เน้นควบคุมการ Crawl และ URL ที่ถูกบล็อกด้วย robots.txt ยังมีโอกาสปรากฏใน Search ได้หาก Google พบ URL จากแหล่งอื่น

Google ต้อง Crawl หน้าเพื่อเห็น noindex หรือไม่?

ต้องสามารถเข้าถึงหน้าได้ หาก Googlebot ถูกบล็อกด้วย robots.txt ก็อาจอ่าน noindex ไม่ได้

Robots Meta Tag ใส่ผ่าน JavaScript ได้หรือไม่?

ทำได้ในบางระบบ แต่ไม่ควรใส่ noindex ใน HTML เริ่มต้นแล้วหวังให้ JavaScript เอาออกภายหลัง เพราะ Google อาจไม่ Render ต่อเมื่อพบ noindex ตั้งแต่แรก