beeMôn:

Na beeMôn criamos muitos sistemas de raspagem de dados e buscamos todos os dias inovação na analise dos dados. Este desafio esta aberto para todos que quiserem abrir um fork e submeter suas ideias de tecnologia.

Desafio:

Escolher uma dos sites abaixo para fazer o desafio

• quotes.toscrape
• imdb.com

Minimo Entregável:

• Buscar dados de forma automatizada(script de linha de comando ou interface clicavel)
• Padronizar os retornos de forma estruturada (json/csv)
• Sistema de logs de para acompanhamento da execução
• Ter um prova da consulta (Screenshot)

Pontos Extra para:

• Armazenamento dos resultados em um banco relacional ou não relacional
• Fazer um dataframe que possibilite visualizar os resultados via pandas
• Trazer resultados de forma dinamica sem fixar caminhos no xpath
• Dockerizar a aplicação
• Conseguir agendar uma execução para um dia e horario.

Libs sugeridas:

• Selenium
• Scrapy
• Pandas
• Requests
• BeautifulSoup

O que iremos avaliar:

• Conhecimento em HTML
• Conhecimento em fluxo de request/response
• Conhecimento em extração de dados
• Conhecimento em base64
• Boas práticas de programação
• Utilização de bibliotecas de terceiros
• Documentação
• Criatividade
• Cobertura de testes
• Tempo de execução do código
• Versionamento do código