Chặn bot AI, spam và đối thủ cào dữ liệu website
Website của doanh nghiệp không chỉ có khách thật ghé thăm. Mỗi ngày còn có rất nhiều chương trình tự động (gọi chung là bot) truy cập: có bot có ích, như bot của Google đọc trang để đưa lên kết quả tìm kiếm; có bot gây hại. Bài này nói về ba loại bot gây hại hay gặp nhất, và cách CNTech chặn chúng cho khách.
Ba mối lo hay gặp
1. Spam qua form liên hệ
Form liên hệ là nơi khách để lại số điện thoại. Nhưng nếu không được bảo vệ, bot sẽ gửi vào đó hàng chục, hàng trăm tin rác mỗi ngày: quảng cáo, đường link lạ. Tin của khách thật bị lẫn trong đống tin rác, nhân viên mất công lọc, có khi bỏ sót đúng khách cần gọi lại.
2. Bot AI lấy nội dung
Các công ty làm AI dùng bot để đọc nội dung trên mạng. Bài viết, mô tả sản phẩm, bảng giá mà bạn tốn công soạn có thể bị lấy đi mà bạn không biết, không được hỏi ý. Một số bot còn truy cập dồn dập, làm website chậm đi với chính khách thật.
3. Đối thủ cào dữ liệu
"Cào dữ liệu" là dùng chương trình tự động lấy hàng loạt thông tin trên website: toàn bộ danh sách sản phẩm, giá, ảnh. Đối thủ có thể theo dõi giá của bạn mỗi ngày, hoặc chép cả danh mục sang trang của họ.
Không để lộ API: điều ít người để ý
Phần lớn website hiện nay không chứa sẵn dữ liệu trong trang. Khi khách mở một trang, trình duyệt gọi tới một "cửa" phía sau, gọi là API, để lấy danh sách sản phẩm, giá, bài viết rồi mới hiện ra.
Nếu cửa API đó để mở mà không kiểm soát, người khác không cần mở website. Họ gọi thẳng vào API và lấy toàn bộ dữ liệu trong vài phút, gọn gàng hơn nhiều so với đọc từng trang.
Giữ kín API nghĩa là cửa đó chỉ trả đúng thứ trang web cần hiện cho khách, và không cho người ngoài dùng nó để lấy dữ liệu hàng loạt.
CNTech đã làm gì cho khách
CNTech đã làm cho khách những website:
- Chống spam, để form liên hệ chỉ nhận tin của người thật.
- Chặn bot AI lấy nội dung.
- Không để lộ API, người ngoài không gọi thẳng vào để cào dữ liệu được.
Chính form liên hệ trên website cntech.vn cũng được bảo vệ theo cách này. Một địa chỉ mạng chỉ gửi được 5 lần trong 10 phút, nên bot không thể gửi hàng trăm tin một lúc. Form còn có một ô ẩn mà người thật không nhìn thấy; bot điền vào ô đó thì tin bị bỏ qua, và bot không biết mình đã bị chặn.
Chặn bot mà không chặn nhầm Google
Có một điều cần cẩn thận: chặn bot không có nghĩa là chặn tất cả. Bot của Google và các công cụ tìm kiếm cần đọc được website thì khách mới tìm thấy bạn. Chặn nhầm chúng thì website biến mất khỏi kết quả tìm kiếm.
Vì vậy, việc chặn phải phân biệt được bot có ích với bot gây hại, và để khách thật dùng web bình thường, không phải qua thêm bước phiền phức nào.
Đọc thêm
Ảnh sản phẩm cũng là dữ liệu dễ bị lấy. Xem cách CNTech tự gắn hình mờ khi tải ảnh sản phẩm lên website.
CNTech ở Yên Phong, Bắc Ninh. Nếu website của bạn đang nhận nhiều tin rác hoặc bị chép nội dung, gọi 0868 158 658, email cntech024@gmail.com, hoặc để lại thông tin ở form liên hệ.