ico-spider

download ICO source code from etherscan

how to run

pip install -r requirements.txt

scrapy crawl tokens -o savedata/tokens.json

增加爬取合约交易数大于1000的所有合约

合约地址查询是从 google bigquery拿到的链接

增加反爬手段

增加浏览器头
自动限速
被禁止后，自动重试