alojamento_local

Scraping e tratamento de dados do Registo Nacional do Alojamento Local

Scraping por concelho, baseado num scraper anterior, sobre RoboBrowser, criado por João Antunes,

Na directoria de saída (configuarada em fetch_rnal_setup.py) é criada automaticamente uma nova pasta cujo nome se baseia na data e hora correntes. Dentro dessa pasta, o scraper coloca um CSV por concelho cujo nome tem a seguinte estrutura:

Down_<DICO>_<NOME>.csv

DICO é o código CAOP de 4 dígitos e NOME o nome do concelho em maiusculas.

Concelhos como Porto e Lisboa tem um número extremamente elevado de registos, o que obriga a dividir as operções de download em partes para evitar o cancelamento da ligação com o site. Nesse caso o nome inclui uma sigla de parte ...

Down_<DICO>_<NOME>_<PARTE>.csv

... que indica ano, ano e semestre ou ano e trimestre, consoante a necessidade.

Exemplo de utilização

python3 fetch_rnal.py   (baixa os 308 concelhos)
python3 fetch_rnal.py -i 10 (baixa a partir do 11º inclusive)
python3 fetch_rnal.py -i 1 -f 10 (baixa do 2º ao 11º inclusive)
python3 fetch_rnal.py -i 150 -f 250 -x "1106, 1312" (baixa do 151º ao 251º excluíndo Lisboa e Porto)

Dependências

Splinter (módulo Python -- pip install splinter)

Ficheiros adionais necessários

• fetch_rnal_setup.py - configuração editável
• Concelhos_CAOP2018.csv - lista de todos os concelhos do país

NOTA IMPORTANTE: Antes de usar, não esquecer de configurar as vossas directorias de trabalho em fetch_rnal_setup.py !

Fonte da lista de concelhos

A identificação dos concelhos e dos respectivos código DICOFRE encontra-se na página da Carta Administrativa de Portugal (CAOP) onde a podemos baixar a partir do link 'Informação extra'.