Skip to content

Files

Latest commit

30ae47d · Jan 15, 2025

History

History
28 lines (22 loc) · 933 Bytes

README.md

File metadata and controls

28 lines (22 loc) · 933 Bytes

Ferramenta desenvolvida com o framework Scrapy, usada para raspar informações sobre os serviços disponíveis no Portal RJ Digital

Como usar

Os comandos abaixo preparam o ambiente em sistema operacional Windows. É necessário ter o Python (+3.0) instalado.

Criar ambiente virtual

python -m venv .venv

Ativar ambiente virtual

.\.venv\Scripts\Activate.ps1

Instalar dependências

pip install -r .\requirements.txt

Executar raspador

scrapy crawl rj_digital_servicos

Ao final da execução, os 2 arquivos na pasta json são atualizados:

  • servicos.json - Que contém as informações sobre todos os serviços dispníveis no Portal
  • sites_externos.json - Arquivo auxiliar com o retorno da requisição para o site cadastrado no campo URL_EXTERNO de cada serviço disponível no Portal.