File robots.txt – Những cách tạo robots.txt WordPress cực đơn giản. Bạn có thể tìm hiểu về robots.txt trong bài viết dưới đây cùng Web Vô Cực.
File robots.txt là gì?
File robots.txt là một tập tin văn bản đơn giản có dạng .txt. Tệp này là một phần của Robots Exclusion Protocol (REP) chứa một nhóm các tiêu chuẩn Web đã quy định cách Robot Web (hoặc Robot của các công cụ tìm kiếm) thu thập dữ liệu trên website, truy cập, index nội dung và cung cấp nội dung đó cho người dùng.
REP cũng bao gồm các lệnh khác như Meta Robots, Page-Subdirectory, Site-Wide Instructions. Nó sẽ hướng dẫn các công cụ của Google xử lí tất cả các liên kết. (ví dụ: Follow hay Nofollow link).
Trên thực tế, tạo robots.txt WordPress sẽ giúp các nhà quản trị web linh hoạt hơn, chủ động hơn trong việc cho phép hay không cho các con bot của công cụ Google Index một số phần nào đó trong trang chính của mình.
Cú pháp của file robots.txt
User-agent: Phần này là tên của các trình thu thập, truy cập dữ liệu trên web. (ví dụ: Googlebot, Bingbot,…)Disallow: Được sử dụng để thông báo cho các User-agent không thu thập bất kì dữ liệu URL cụ thể bất kì nào. Mỗi URL chỉ được sử dụng 1 dòng Disallow duy nhất.Allow(chỉ áp dụng cho bộ tìm kiếm Googlebot): Lệnh thực hiện thông báo cho Googlebot rằng nó sẽ truy cập một trang hoặc thư mục con. Mặc dù các trang hoặc các thư mục con của nó có thể không được cho phép.Crawl-delay: Thông báo cho các Web Crawler biết rằng nó phải đợi bao nhiêu giây trước khi tải và thu thập nội dung của trang. Tuy nhiên, lưu ý rằng bọ tìm kiếm Googlebot sẽ không thừa nhận lệnh này. Bạn cần cài đặt tốc độ thu thập dữ liệu trong Google Search Console.Sitemap: Được sử dụng để cung cấp cho các vị trí của bất kì Sitemap XML nào được liên kết với URL này. Lưu ý lệnh này chỉ được hỗ trợ bởi công cụ Google, Ask, Bing và Yahoo.
Cách tạo file robots.txt WordPress đơn giản
Sử dụng Yoast SEO
Bạn có thể chỉnh sửa hoặc tạo file robots.txt cho WordPress trên chính WordPress Dashboard với vài bước cơ bản và đơn giản. Đăng nhập vào website của bạn, khi đăng nhập vào bạn sẽ thấy giao diện của một trang Dashboard.
Nhìn vào phía bên trái màn hình, click vào SEO > Tools > File editor.
Tính năng file editor sẽ không thể xuất hiện nếu WordPress của bạn vẫn chưa được kích hoạt trình quản lý chỉnh sửa trên file. Do vậy hãy kích hoạt chúng thông qua FTP (File Transfer Protocol – Giao thức truyền tập tin).
Lúc này bạn sẽ thấy mục robots.txt và .htaccess file – đây là nơi giúp bạn tạo file robots.txt trên wordpress đấy nhé.
Qua bộ Plugin All in One SEO
Hoặc bạn cũng có thể sử dụng bộ Plugin All in One SEO để tạo file robots.txt WordPress một cách nhanh chóng. Đây cũng là một plugin tiện ích cho WordPress – Đơn giản lại dễ sử dụng.
Để tạo file robots.txt WordPress, bạn phải xem và tìm đến giao diện chính của Plugin All in One SEO Pack. Chọn All in One SEO > Features Manager > Nhấp Active cho mục robots.txt
Lúc này, trên giao diện sẽ xuất hiện nhiều tính năng thú vị khác nữa.
Và khi đó, mục robots.txt sẽ xuất hiện như một tab mới trong thư mục lớn All in One SEO. Bạn có thể tạo lập cũng như điều chỉnh file robots.txt WordPress sao cho phù hợp tại đây.
Tạo và upload file robots.txt qua FTP
Nếu bạn không muốn sử dụng plugin để tạo file robots.txt WordPress thì nên sử dụng cách này – Tự tạo file robots.txt thủ công cho WordPress của mình.
Bạn chỉ cần mất vài phút để tạo file robots.txt WordPress này bằng tay. Sử dụng Notepad hoặc Textedit để tạo mẫu file robots.txt trên WordPress theo Rule đã được giới thiệu ở đầu bài viết. Sau đó upload file này qua FTP không cần sử dụng plugin, quá trình này rất đơn giản không tốn của bạn quá nhiều thời gian.
Webvocuc
Cảm ơn bạn đã theo dõi bài viết của Webvocuc.com! Cập nhật các bài viết khác từ Webvocuc để biết thêm nhiều thông tin mới nhất về thiết kế website chuyên nghiệp và marketing online.
- Tham khảo các gói dịch vụ thiết kế website tại webvocuc.vn
- Tham khảo thêm gói chăm sóc web và chạy quảng cáo hiệu quả tại webvocuc.com
