#robotparser

Thu thập dữ liệu web cho nghiên cứu: robots.txt, điều khoản, tốc độ

Thu thập dữ liệu web cho nghiên cứu một cách có trách nhiệm: đọc điều khoản và robots.txt, giãn tốc độ, ưu tiên API chính thức, lưu ngày thu thập, xử lý dữ liệu