Crawler Series Discussion

[trannguyenhan]

Website demanejar không có mục bình luận dưới bài viết nên mình tạo cuộc thảo luận này để mọi người có thể thảo luận về series crawl này của mình, cũng là nơi mình có thể nhận góp ý từ mọi người, cùng mọi người thảo luận các vấn đề mới.

[LongChen3120]

Trong phần "Các cách website thường dùng để phòng tránh việc bị crawl" của anh, em có đọc và thắc mắc ngoài những cách anh đã trình bày thì còn cách nào khác không ạ.
Tại vì em từng thử dùng selenium để crawl dữ liệu từ shopee mà bị họ chặn. Không biết họ phát hiện bot bằng cách nào và phương pháp cụ thể để mình có thể vượt qua được để lấy dữ liệu từ shopee về ạ.
Em cảm ơn anh đã đọc!

[vmtuan12]

Mình đã từng thử crawl shopee gần đây, cơ mà dạo này shopee làm cái này căng quá 😁 Mình đã thử scrapy, playwright, puppeteer, selenium, cả selenium với các tool anti canvas và nhiều thư viện anti detect khác mà shopee vẫn detect ra dc 😭 nên có vẻ cách crawl shopee hiện tại là đăng ký partnership với nó để nó cho dùng api gọi. Mình có thử bắn trộm các api của nó thì chết sạch, dc mỗi cái lấy comment ở sản phẩm 😁

[trannguyenhan]

Bạn muốn lấy dữ liệu từ Shopee bây giờ nhìn chung là khó. Phương pháp hay cách phòng tránh đưa ra chỉ là chung thôi, còn mỗi website bên trong đấy sẽ sử dụng kỹ thuật khác nhau và vì vậy mỗi website cũng cần phải sử dụng các kỹ thuật khác nhau. Selenium hay các extension dùng thêm chỉ là các công cụ hỗ trợ. Việc thu thập dữ liệu từ Shopee bây giờ có vẻ là khó, bạn có thể thử chuyển hướng sang các sàn TMDT khác xem, như Tiki này.