Skip to content

Robô python que coleta dados de produtos por categoria no Mercado Livre

License

Notifications You must be signed in to change notification settings

rodrigorf/crawler-mercadolivre

Repository files navigation

Python Build status Python application Pylint

Como funciona?

-> Coleta dados de produtos a partir dos links de categorias do MercadoLivre
-> Grava imagens na pasta data/output/imagens
-> Grava xlsx dos itens coletados na pasta data/output
-> Os links das categorias devem ser informados no arquivo config.py

OBSERVAÇÃO: a responsabilidade de uso é de cada um, utilize para adquirir conhecimento e contribuições são bem-vindas, o projeto possui muitas melhorias que podem ser feitas e infinitas formas de chegar ao mesmo resultado.

O que este código não é e não faz!

-> Não é multithreaded
-> Não é escalável
-> Não usa proxys

Instruções de instalação

1. Instale o python(testado na 3.8.x) - Gerenciador de pacotes PIP
2. pip install virtualenv
3. Execute: virtualenv venv (pode escolher outro nome mas lembre de modificar no exec.bat se for usar)
4. Ative o ambiente virtual: cd venv/scripts & activate
5. Execute: "pip install -r requirements.txt" para instalar os packages

Instruções de configuração

* executarCategorias -> lista com os links das categorias do ML
* PAGE_SIZE -> total de produtos por página
* BAIXAR_IMAGENS -> Se true, serão baixadas para pasta data/output/imagens.
* LIMITE_PRODUTOS -> a quantidade que deseja processar, se quiser tudo coloque um valor elevado. Ex: 99999
* HEADER_TOTAL_SIZE -> colunas do excel que será gerado. Funciona junto com configuração CSV_HEADER.

Seja feliz!

EXECUTE: exec.bat ou python run.py

Blog - rodrigoreisf.com.br

About

Robô python que coleta dados de produtos por categoria no Mercado Livre

Resources

License

Stars

Watchers

Forks

Packages

No packages published