Robots.txt Là Gì? Tìm Hiểu Về Robots.txt Là Gì?

Khác với sitemap là dẫn hướng các bot tìm kiếm và chỉ mục các nội dung trên website. Thì đối với file robots.txt bạn có quyền cho phép hoặc ngăn chặn các bot của các công cụ tìm kiếm index một nội dung nào đó trên website của mình.

  • Tạo bởi: | Lượt xem: 4,709 (View) | Ngày tạo: 2021-03-10 15:10:39
  • Ðánh giá: 1 11 21 31 41 5(4 sao 8 đánh giá)

1 - Robots.txt là gì?


"Robots.txt" "dạng tập tin đặc biệt không phải là HTML hay một loại nào khác". Mục đích của việc có file robots.txt là khai báo cho công cụ tìm kiếm biết rằng những nội dung nào trên website của bạn được cho phép các bot tìm kiếm và lập chỉ mục.

Khác với SITEMAP là dẫn hướng các bot tìm kiếm và chỉ mục các nội dung trên website. Thì đối với file robots.txt bạn có quyền cho phép hoặc ngăn chặn các bot của các công cụ tìm kiếm index một nội dung nào đó trên website của mình.
 

Robots.txt Là Gì? Tìm Hiểu Về Robots.txt Là Gì?

Hình 1: Robots.txt là gì?

 

1.1 - Một ví dụ đơn giản về file robots.txt


User-agent:*
 

Disallow: /wp-admin/
 

Disallow: /wp-includes/
 

Trong đó:
 

User-agent:* /*Cho phép tất cả các loại bot tìm kiếm*/
 

Disallow: /wp-admin/, Disallow: /wp-includes/ : /*Ngăn không cho phép bot tìm kiếm trong 2 thư mục này*/
 

1.2 - Tác dụng của file Robots.txt


Như mình có nêu ở phía trên, tác dụng của việc tạo file robots.txt cho website hay blog của mình. Nhằm mục đích cho phép và ngăn chặn bot của các công cụ tìm kiếm và index các nội dung trên website.
 

Bạn có thể chặn các bot tìm kiếm dữ liệu trong một thư mục nào đó trên website, hoặc chặn bot index một đường dẫn nào đó bằng cách Disallow: “….”
 

Có thể xét ví dụ bên trên: Chặn các bot của công cụ tìm kiếm index các nội dung trong thư mục /wp-admin/ và /wp-includes/.
 

Thì đó là tác dụng chính của file robots.txt này. Và điều này là rất cần thiết.
 

Robots.txt Là Gì? Tìm Hiểu Về Robots.txt Là Gì?
 

Hình 2: Tác dụng của file Robots.txt
 

1.3 - Cách tạo file robots.txt


Để tạo một file robots.txt bạn thực hiện các bước như sau:
 

Tạo file

Bạn tạo một file Text Document
 

Robots.txt Là Gì? Tìm Hiểu Về Robots.txt Là Gì?
 

Sau đó save lại với tên là robots.txt
 

Robots.txt Là Gì? Tìm Hiểu Về Robots.txt Là Gì?
 

Như vậy, việc tạo file hoàn tất. Tiếp theo ta cần thêm các lệnh vào trong file này.
 

1.4 - Thêm các câu lệnh


Trong phần này, mình sẽ giải thích một số câu lệnh. Bạn có thêm bớt tùy nhu cầu của các bạn. Phía dưới cuối phần này mình sẽ nêu ra một file robots.txt hoàn chỉnh. Bạn có thể sử dụng nó cho website của mình.
 

Chặn bot không cho chỉ mục toàn bộ website

Bạn có câu lệnh như sau:
 

User-agent:*
 

Disallow: /
 

Lệnh này có ý nghĩa: “Không cho phép các bot của công cụ tìm kiếm truy cập và đánh chỉ mục trên toàn bộ tài nguyên có trên website của bạn.”
 

Chặn bot chỉ mục vào một thư mục nhất định


User-agent:*


Disallow: /wp-admin/


Disallow: /wp-includes/
 

Lệnh này có nghĩa: “Cho phép bot lập chỉ mục tất cả dữ liệu trừ 2 thư mục /wp-admin/ và /wp-includes/ là không cho phép.”
 

Chặn một trang hay đường dẫn đến bài viết nào đó


User-agent:*


Disallow: /gioi-thieu.html
 

Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục tất cả các dữ liệu trừ đường dẫn /gioi-thieu.html”
 

Chặn một hình ảnh nào đó

 

User-agent:*


Disallow: /images/vietadsgroup.vn.jpg
 

Lệnh này có nghĩa: “Chặn một hình ảnh nào đó từ website của bạn, ngăn không cho các bot tìm kiếm và lập chỉ mục cho hình ảnh đó.”
 

Chặn một loại bot nào đó

User-agent:Spambot
 

Disallow: /
 

Lệnh này có nghĩa: “Chặn botspam truy cập tất cả dữ liệu trên website của bạn”. Trong khi đó các bot khác thì được quyền truy cập”
 

Chặn tất cả các dữ liệu trong một thư mục trừ một file nào đó

User-agent:*
 

Disallow: /thumucbichan/
 

Allow: /thumucbichan/filekhongbichan.html
 

Lệnh này có nghĩa: “Chặn bot tìm kiếm tất cả dữ liệu trong thư mục /thumucbichan/ nhưng cho phép lập chỉ mục file /filekhongbichan.html”
 

Trên đây là một số lệnh cơ bản khi bạn cần thêm vào file robots.txt. Tùy theo nhu cầu của các bạn mà thêm vào những lệnh cần thiết.

 

1.5 - Một số lưu ý


Để tránh xảy ra sai sót khi bạn sử dụng một file robots.txt của người khác hoặc tự tạo riêng cho website của mình. Bạn cần lưu ý một số điều như sau:
 

  • Phân biệt chữ hoa và chữ thường
  • Không được viết thừa, thiếu khoảng trắng
  • Chỉ nên thêm các lệnh, ngoài ra không nên chèn thêm kí tự nào khác trong file.
  • Nên sử dụng 1 dòng cho 1 câu lệnh. Muốn viết lệnh mới nên xuống dòng sau đó viết tiếp

1.6 - File robots.txt mẫu


Các bạn có thể sử dụng file robots.txt như của vietadsgroup.vn đang dùng dưới đây.
 

User-agent:*

Disallow: /wp-admin/

Disallow: /search?q=*

Disallow: *?replytocom

Disallow: */attachment/*

Allow: /wp-admin/admin-ajax.php

Allow: /wp-admin/images/*

Sitemap: https://vietadsgroup.vn/sitemap_index.xml
 

Lời kết:"Robots.txt" là "dạng tập tin đặc biệt không phải là HTML hay một loại nào khác". Mục đích của việc có file robots.txt là khai báo cho công cụ tìm kiếm biết rằng những nội dung nào trên website của bạn được cho phép các bot tìm kiếm và lập chỉ mục.


Quay lại danh mục "Hỏi đáp là gì" Quay lại trang chủ



  • VietAds

    "VietAds gửi lời cảm ơn tới quý khách hàng đã luôn tin dùng dịch vụ quảng cáo trực tuyến hiệu quả suốt chặng đường 9 năm vừa qua! - Đăng nhập"

  • CÔNG TY CỔ PHẦN TRỰC TUYẾN VIỆT ADS

Top bài viết liên quan
Top bài viết xem nhiều


Top dịch vụ tiêu biểu

Quảng cáo trên Google

Quảng Cáo Trên Google Adwords Giá Rẻ - Tìm Hiểu Google AdWords?

Quảng cáo Google là hình thức quảng cáo tiếp cận khách hàng khi họ tìm kiếm sản phẩm, dịch vụ của công ty bạn trên Google


Xem chi tiết

Quảng cáo trên Facebook

Quảng Cáo Trên Facebook Giá Rẻ - Tìm Hiểu Về Facebook Ads?

Quảng cáo facebook sẽ có biểu tượng được tài trợ, hiển thị ở vị trí chính giữa màn hình (News Feed) và hiển thị vị trí bên phải


Xem chi tiết

Quảng cáo Remarketing

Quảng Cáo Đặt Banner Giá Rẻ - Tìm Hiểu Banner Ads?

Dịch vụ quảng cáo Banner Remarketing VietAds giúp công ty bạn quảng cáo thương hiệu trên các trang website lớn, nổi tiếng


Xem chi tiết

Dịch vụ SEO Website

Công Ty SEO Giá Rẻ - Tìm Hiểu SEO Google?

VietAds với đội ngũ SEOer giàu kinh nghiệm được đào tạo bài bản tại các trung tâm SEO lớn như: Litado, Inet, Vietmoz, Vinalink


Xem chi tiết

Quảng cáo Youtube

Quảng Cáo Trên Youtube Giá Rẻ - Tìm Hiểu Youtube Ads?

VietAds với đội ngũ chuyên viên tư ấn am hiểu về chiến dịch quảng cáo Youtube sẽ tư vấn bạn giải pháp tối ưu, hiệu quả nhất


Xem chi tiết

Thiết kế Website

Cập Nhật Công Ty Thiết kế Website Chất Lượng Tại Hà Nội

Tìm công ty thiết kế website uy tín, chuyên nghiệp tại Hà Nội là rất khó cho khách hàng. VietAds xin giới thiệu công ty thiết kế Viet


Xem chi tiết

Quảng cáo Cốc Cốc

Quảng Cáo Cốc Cốc Giá Rẻ - Tìm Hiểu Cốc Cốc Ads?

Cốc Cốc là trình duyệt web trực tuyến hiệu quả, hãy cùng VietAds tìm hiểu về các hình thức quảng cáo của trình duyệt Cốc Cốc


Xem chi tiết

Quảng cáo Zalo

Quảng cáo Zalo

Vì sao doanh nghiệp bạn nên quảng cáo trên Zalo? hãy cùng VietAds tìm hiểu về các hình thức quảng cáo Zalo hiệu quả hiện nay


Xem chi tiết

Quảng cáo TikTok

Quảng cáo TikTok - Tìm hiểu về quảng cáo TikTok?

Quảng cáo tiktok đang là hình thức quảng cáo video hiệu quả hiện nay và được nhiều doanh nghiệp lựa chọn quảng cáo video


Xem chi tiết