Hướng dẫn tạo file robot txt cho website Robots.txt thuộc một dạng văn bản chứa mã lệnh điều hướng bots công cụ tìm kiếm vào website của bạn. Bạn đang phân vân không biết nên tạo và sử dụng file Robots.txt như nào cho hợp lý và hiệu quả. Dưới đây là cách tạo Robots.txt nhanh và đơn giản nhất. Tạo robot.txt cho website 1. Cách tạo file Robots.txt Trước tiên muốn sử dụng được file Robots.txt để tiến hành điều hướng bots công cụ tìm kiếm để có thể đẩy mạnh kết quả SEO thì cần tạo file Robots.txt trước tiên. Mở notepad chèn một số mã lệnh: Allow: /media/: cho phép bot vào thư mục trang nào đó Disallow: /wp-includes/ User-agent: Xác định bots của công cụ tìm kiếm Sitemap: http://tenten.vn/sitemap.xml Disallow: /wp-admin/: chặn bot truy cập trang quản trị Cách tạo file robot.txt cho website Lưu ý: Với những thư mục nào ta không cần index thì có thể chặn vào bots vào thư mục còn đối với những thư mục cần index thì nên để cho phép truy cập nhé. Sau đó quý vị có thể vào webmaster tool để cập nhật lại file và kiểm tra xem đã tạo thành công hay chưa nhé. 2. Cách sử dụng file Robots.txt Để có thể tiến hành sử dụng được file Robots.txt quý vị hãy tiến hành dựa theo một số hướng dẫn sau để có thể sử dụng hiệu quả. – Không cho phép bot truy cập vào thư mục nào mà mình không muốn Trong một số trường hợp không cho phép bots truy cập vào một thư mục nào đó sẽ có câu lệnh “Disallow” hoặc cho phép truy cập sẽ có dòng lệnh “Allow”. – Loại bỏ 1 ảnh từ Google Images User-agent: * User-agent: Googlebot-Image Disallow: /includes/ Disallow: /admin/ Disallow: /images/hinh.png Tại đây không cho phép truy cập các thư mục như: includes, admin, images. CÒ tất cả các bots khác đều được phép truy cập bình thường. – Khóa toàn bộ website không cho bot đánh chỉ mục User-agent: * Disallow: / Không cho phép bot truy cập vào tất cả các tài nguyên trên website của bạn. Sử dụng đồng thời “Allow” và “Disallow” cùng nhau Allow: /vidu/chi-demo-thoi-nha.html Disallow: /vidu/ User-agent: Googlebot Chặn bots truy cập vào tài nguyên Vidu và cho phép truy cập vào file chi-demo-thoi-nha.html. 3. Một số lưu ý cần tránh khi sử dụng file Robots.txt Khi các bạn tiến hành tạo file Robots.txt hoặc sử dụng một file Robots.txt nào đó mới đầu sẽ khó tránh hỏi những sai sót. Dưới đây chính là một số lỗi cơ bản hay mắc phải khi tạo và sử dụng file Robots.txt. Phân biệt chữ in hoa và chữ thường Mỗi câu lệnh đều được viết cùng một dòng Không được để dư thiếu khoảng trắng Không chèn thêm bất kì ký tự nào khác ngoài câu lệnh. Trên đây là cách tạo file Robots.txt và cách sử dụng cho website. Nếu quý muốn thêm file Robots.txt vào website để đẩy mạnh kết quả tìm kiếm thì có thể tham khảo tư vấn. Hi vọng với những chia sẻ này có thể giúp quý vị tạo file Robots.txt và sử dụng hiệu quả.
Bạn cần phải thường xuyên nhập xuất dữ liệu để tránh trường hợp bị mất dữ liệu do một số nguyên nhân nào đó. Tuy nhiên trong một số trường hợp khi nhập xuất dữ liệu lại
