"Robots.txt" là "dạng tập tin đặc biệt không phải là HTML hay một loại nào khác". Mục đích của việc có file robots.txt là khai báo cho công cụ tìm kiếm biết rằng những nội dung nào trên website của bạn được cho phép các bot tìm kiếm và lập chỉ mục.
Khác với SITEMAP là dẫn hướng các bot tìm kiếm và chỉ mục các nội dung trên website. Thì đối với file robots.txt bạn có quyền cho phép hoặc ngăn chặn các bot của các công cụ tìm kiếm index một nội dung nào đó trên website của mình.
User-agent:*
Disallow: /wp-admin/
Disallow: /wp-includes/
Trong đó:
User-agent:* /*Cho phép tất cả các loại bot tìm kiếm*/
Disallow: /wp-admin/, Disallow: /wp-includes/ : /*Ngăn không cho phép bot tìm kiếm trong 2 thư mục này*/
Như mình có nêu ở phía trên, tác dụng của việc tạo file robots.txt cho website hay blog của mình. Nhằm mục đích cho phép và ngăn chặn bot của các công cụ tìm kiếm và index các nội dung trên website.
Bạn có thể chặn các bot tìm kiếm dữ liệu trong một thư mục nào đó trên website, hoặc chặn bot index một đường dẫn nào đó bằng cách Disallow: “….”
Có thể xét ví dụ bên trên: Chặn các bot của công cụ tìm kiếm index các nội dung trong thư mục /wp-admin/ và /wp-includes/.
Thì đó là tác dụng chính của file robots.txt này. Và điều này là rất cần thiết.
Hình 2: Tác dụng của file Robots.txt
Để tạo một file robots.txt bạn thực hiện các bước như sau:
Bạn tạo một file Text Document
Sau đó save lại với tên là robots.txt
Như vậy, việc tạo file hoàn tất. Tiếp theo ta cần thêm các lệnh vào trong file này.
Trong phần này, mình sẽ giải thích một số câu lệnh. Bạn có thêm bớt tùy nhu cầu của các bạn. Phía dưới cuối phần này mình sẽ nêu ra một file robots.txt hoàn chỉnh. Bạn có thể sử dụng nó cho website của mình.
Bạn có câu lệnh như sau:
User-agent:*
Disallow: /
Lệnh này có ý nghĩa: “Không cho phép các bot của công cụ tìm kiếm truy cập và đánh chỉ mục trên toàn bộ tài nguyên có trên website của bạn.”
Lệnh này có nghĩa: “Cho phép bot lập chỉ mục tất cả dữ liệu trừ 2 thư mục /wp-admin/ và /wp-includes/ là không cho phép.”
Chặn một trang hay đường dẫn đến bài viết nào đó
Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục tất cả các dữ liệu trừ đường dẫn /gioi-thieu.html”
Chặn một hình ảnh nào đó
Lệnh này có nghĩa: “Chặn một hình ảnh nào đó từ website của bạn, ngăn không cho các bot tìm kiếm và lập chỉ mục cho hình ảnh đó.”
User-agent:Spambot
Disallow: /
Lệnh này có nghĩa: “Chặn botspam truy cập tất cả dữ liệu trên website của bạn”. Trong khi đó các bot khác thì được quyền truy cập”
User-agent:*
Disallow: /thumucbichan/
Allow: /thumucbichan/filekhongbichan.html
Lệnh này có nghĩa: “Chặn bot tìm kiếm tất cả dữ liệu trong thư mục /thumucbichan/ nhưng cho phép lập chỉ mục file /filekhongbichan.html”
Trên đây là một số lệnh cơ bản khi bạn cần thêm vào file robots.txt. Tùy theo nhu cầu của các bạn mà thêm vào những lệnh cần thiết.
Để tránh xảy ra sai sót khi bạn sử dụng một file robots.txt của người khác hoặc tự tạo riêng cho website của mình. Bạn cần lưu ý một số điều như sau:
Các bạn có thể sử dụng file robots.txt như của vietadsgroup.vn đang dùng dưới đây.
Lời kết:"Robots.txt" là "dạng tập tin đặc biệt không phải là HTML hay một loại nào khác". Mục đích của việc có file robots.txt là khai báo cho công cụ tìm kiếm biết rằng những nội dung nào trên website của bạn được cho phép các bot tìm kiếm và lập chỉ mục.
"VietAds gửi lời cảm ơn tới quý khách hàng đã luôn tin dùng dịch vụ quảng cáo trực tuyến hiệu quả suốt chặng đường 9 năm vừa qua! - Đăng nhập"
CÔNG TY CỔ PHẦN TRỰC TUYẾN VIỆT ADS
Số 6/25 Thổ Quan, Khâm Thiên, Đống Đa, TP.Hà Nội
Số 36 Điện Biên Phủ, Đa Kao, Quận 1, TP.Hồ Chí Minh
0964 82 6644 - (024) 6658 7378
(024) 6658 7378
Bài viết tạo bởi: VietAds | Ngày cập nhật: 2024-12-30 04:30:05 | Đăng nhập(661) - No Audio
Bài viết tạo bởi: VietAds | Ngày cập nhật: 2024-12-28 08:31:44 | Đăng nhập(590) - No Audio