File robot.txt mẫu (robot.txt example) chuẩn SEO cho bạn!

 

1. Tập tin robot txt là gì?

Robot.txt đối với người dùng bình thường thì có thể không có giá trị gì, nhưng với những bạn chuyên làm SEO hay thậm chí quản trị website chuyên nghiệp cũng thường bỏ sót. Mặc định nhiều bạn nghĩ rằng khi bạn viết 1 bài viết lên web, Google hay các công cụ tìm kiếm sẽ auto tìm đến bạn và cập nhật lên cơ sở dữ liệu của họ, nhưng thực tế không phải như vậy. Với việc hàng tỉ trang web được cập nhật mỗi ngày, sitemap.xml hay robot.txt là những file vô cùng quan trọng góp phần không nhỏ đến việc các công cụ tìm kiếm crawl website bạn nhanh hơn!

Đây là file robot.txt chuẩn để các bạn bổ sung cho website của mình đạt thứ hạng cao hơn trên SEO

2. File robot.txt mẫu (robot.txt example) chuẩn SEO cho bạn!

Dưới đây là file Robot.txt chuẩn cho bạn nhằm giúp các công cụ tìm kiếm khác nhận diện ra bạn! Bạn nhớ thay đổi link sitemap cuối cùng của file ứng với website của bạn nhé! 

Đối với các website wordpress bạn có thể thêm dòng "Disallow: /wp-admin" để chặn cho các công cụ khỏi tìm kiếm link admin, giúp website các bạn đỡ lag hơn!

User-agent: *

Allow: /

User-agent: NinjaBot

Allow: /

User-agent: GoogleBot

Allow: /

User-agent: GoogleBot-Mobile

Allow: /

User-agent: GoogleBot-Image

Allow: /

User-agent: Mediapartners-Google

Allow: /

User-agent: Adsbot-Google

Allow: /

User-agent: Bingbot

Allow: /

User-agent: Slurp

Allow: /

User-agent: Teoma

Allow: /

User-agent: twiceler

Allow: /

User-agent: Gigabot

Allow: /

User-agent: Scrubby

Allow: /

User-agent: Robozilla

Allow: /

User-agent: ia_archiver

Allow: /

User-agent: baiduspider

Allow: /

User-agent: naverbot

Allow: /

User-agent: yeti

Allow: /

User-agent: yahoo-mmcrawler

Allow: /

User-agent: psbot

Allow: /

User-agent: asterias

Allow: /

User-agent: yahoo-blogs/v3.9

Allow: /

Sitemap: https://www.khochat.com/sitemap.xml

Sitemap: https://www.khochat.com/sitemap.xml?page=1

Sitemap: https://www.khochat.com/sitemap.xml?page=2

Bạn có thể thay đổi cái Sitemap bên dưới tùy vào website của bạn nhé!

3.Tải file robot.txt chuẩn và test xem file robot.txt có chuẩn SEO không ở đâu?

Để check xem file robot.txt có chuẩn không bạn có thể vào trang website sau của Google để kiểm tra

Link: https://support.google.com/webmasters/answer/6062598?hl=vi

Bạn có thể tải file robot.txt cho Blogspot chuẩn tại link sau:

Link Google Drive

4. Cú pháp khác bạn thường hay tìm kiếm về file robot.txt

robot txt generator

robot.txt file

robot.txt wordpress

robot.txt example

robot.txt file generator

how to create a robot.txt

create a robot.txt file