Última atualização: 16/10/2021.
Click here to read this article in english.
Diário Oficial é o nome da publicação utilizada pela administração pública brasileira para comunicar suas ações à população. Para ser válido, todo ato público deve ser publicado no diário oficial, seja na esfera federal, estadual ou municipal.
Mesmo com os esforços recorrentes para fortalecer a Lei de Acesso à Informação pelo país, a comunicação oficial permanece - na maioria do território nacional - em PDFs.
O objetivo do Querido Diário é trazer os diários oficiais municipais para a era digital, centralizando as informações hoje disponíveis apenas em fontes separadas.
O projeto tinha duas metas distintas quando foi lançado: criar raspadores para os diários oficiais e analisar as informações sobre compras públicas e licitações. Atualmente, mantemos apenas o primeiro deles.
Para saber mais sobre o projeto, acesse o site oficial.
A melhor maneira de entender como o Querido Diário funciona é acessar a fonte original e rodá-la localmente. Todos os raspadores são desenvolvidos usando o framework Scrapy. Eles oferecem um tutorial para que você aprenda como usá-lo.
Se você utiliza Windows, antes de rodar os passos a seguir, você irá precisar do Microsoft Visual Build Tools (baixe aqui). Ao iniciar a instalação, você precisa selecionar 'C++ build tools' na aba de carregamento e também 'Windows 10 SDK' e 'MSVC v142 - VS 2019 C++ x64/x86 build tools' na aba de componentes individuais.
Se você utiliza Linux, os comandos a seguir irão criar um novo ambiente virtual - que manterá tudo isolado do seu sistema -, ativá-lo e instalar todas as bibliotecas necessárias para começar a rodar e desenvolver novos raspadores.
$ python3 -m venv .venv
$ source .venv/bin/activate
$ pip install -r data_collection/requirements-dev.txt
$ pre-commit installNo sistema Windows, você pode utilizar o código abaixo. Apenas substitua source .venv/bin/activate por .venv/Scripts/activate.bat. Os outros passos são os mesmos usados no Linux.
Depois de configurar o ambiente de desenvolvimento, você poderá desenvolver e executar novos raspadores. Os raspadores estão na pasta data_collection, então você deve entrar nela e executar o comando scrapy:
$ cd data_collectionA seguir, listamos alguns comandos úteis.
Obter a lista de raspadores disponíveis
$ scrapy listExecutar o raspador com o nome spider_name:
Atenção: o comando acima levará um tempo para ser finalizado e irá coletar o site inteiro por padrão. Se você deseja pará-lo antes disso ou limitar a execução, utilize CLOSESPIDER_ITEMCOUNT ou configure
start_dateno raspador para uma data mais próxima.
$ scrapy crawl spider_nameVocê pode limitar o número de diários que deseja baixar configurando start_date como um argumento com o formato YYYY-MM-DD. O comando a seguir irá baixar apenas diários cuja data é maior que 01/09/2020:
$ scrapy crawl sc_florianopolis -a start_date=2020-09-01Dados coletados serão salvos na pasta data_collection/data.
Você pode se deparar com um cenário em que há diferentes cidades utilizando a mesma base para o raspador, como em FecamGazetteSpider. Para não ter que criar os arquivos de raspadores manualmente, você pode utilizar um script para casos em que temos alguns raspadores que não são complexos e usam a mesma base.
Os templates de raspadores ficam na pasta scripts/. Aqui está um exemplo de um raspador gerado:
from datetime import date
from gazette.spiders.base import ImprensaOficialSpider
class BaGentioDoOuroSpider(ImprensaOficialSpider):
name = "ba_gentio_do_ouro"
allowed_domains = ["pmGENTIODOOUROBA.imprensaoficial.org"]
start_date = date(2017, 2, 1)
url_base = "http://pmGENTIODOOUROBA.imprensaoficial.org"
TERRITORY_ID = "2911303"
Para rodar o script, você precisa apenas de um arquivo .CSV seguindo a estrutura a seguir:
url,city,state,territory_id,start_day,start_month,start_year,base_class
http://pmXIQUEXIQUEBA.imprensaoficial.org,Xique-Xique,BA,2933604,1,1,2017,ImprensaOficialSpider
http://pmWENCESLAUGUIMARAESBA.imprensaoficial.org,Wenceslau Guimarães,BA,2933505,1,1,2017,ImprensaOficialSpider
http://pmVERACRUZBA.imprensaoficial.org,Vera Cruz,BA,2933208,1,4,2017,ImprensaOficialSpider
Depois de obter o arquivo .CSV, rode o comando:
cd scripts/
python generate_spiders.py new-spiders.csv
É isso. O novo raspador estará na pasta data_collection/gazette/spiders/.
Ao rodar o comando pip install, você pode obter o seguinte erro:
module.c:1:10: fatal error: Python.h: No such file or directory
#include <Python.h>
^~~~~~~~~~
compilation terminated.
error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
Tente instalar python3-dev. Por exemplo, via apt install python3-dev, se você está usando uma distro Debian, ou utilize o gerenciamento de pacotes da sua distro (por exemplo, python3.6-dev or python3.7-dev). Você pode saber qual é a sua versão via python3 --version.
Se você está interessado em resolver issues e contribuir diretamente no código, por favor, leia o documento CONTRIBUTING.md.
Este projeto é mantido pela Open Knowledge Brasil graças ao apoio da Digital Ocean e de muitas outras pessoas.