SOF_Execucao_Orcamentaria_PMSP.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Explorando as despesas da cidade de São Paulo"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "*Um tutorial de primeiros passos para acessar a execução orçamentária do município usando Python e a biblioteca de análise de dados Pandas* *"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Passo 1. Cadastro na API e token de acesso"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Acessar a Vitrine de APIs da Prodam:https://api.prodam.sp.gov.br/store/\n",
    "* Selecione a API do SOF\n",
    "* Clique em \"Inscrever-se\"\n",
    "* Acesse o menu \"Minhas assinaturas\"\n",
    "* Gere uma chave de acesso de produção; coloque um valor de validade negativo, para evitar que expire\n",
    "* Copie o Token de Acesso"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Passo 2. Teste na API Console"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A API Console é uma interface que permite testar as diferentes consultas e obter a URL com os parâmetros desejados. Por exemplo, se deseja obter todos os contratos da Secretaria de Educação em 2017, basta entrar no item **/consultaContrato** e informar \"2017\" no campo **anoContrato** e \"16\" (código da Educação) no campo **codOrgao**. A URL resultante dessa consulta é https://gatewayapi.prodam.sp.gov.br:443/financas/orcamento/sof/v2.1.0/consultaContrato?anoContrato=2017&codOrgao=16  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Passo 3. Mãos ao Pandas!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Este é o script que consulta a API (para qualquer URL gerada acima) e transforma o arquivo obtido em formato json para um Data Frame do Pandas, a partir do qual será possível fazer as análises. Substitua a constante TOKEN pelo seu código de assinatura!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import requests\n",
    "import json\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "TOKEN = '198f959a5f39a1c441c7c863423264'\n",
    "base_url = \"https://gatewayapi.prodam.sp.gov.br:443/financas/orcamento/sof/v2.1.0\"\n",
    "headers={'Authorization' : str('Bearer ' + TOKEN)}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Orçamento \n",
    "\n",
    "Primeiro, vamos ter uma visão geral do que foi orçado para a Secretaria Municipal de Saúde neste ano, bem como os valores congelados e já executados. Isso é possível com a consulta \"Despesas\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "url_orcado = '{base_url}/consultarDespesas?anoDotacao=2017&mesDotacao=08&codOrgao=84'.format(base_url=base_url)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "request_orcado = requests.get(url_orcado,\n",
    "                                headers=headers,\n",
    "                                verify=True).json()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_orcado = pd.DataFrame(request_orcado['lstDespesas'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_resumo_orcado = df_orcado[['valOrcadoInicial', 'valOrcadoAtualizado', 'valCongelado', 'valDisponivel', 'valEmpenhadoLiquido', 'valLiquidado']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>valOrcadoInicial</th>\n",
       "      <th>valOrcadoAtualizado</th>\n",
       "      <th>valCongelado</th>\n",
       "      <th>valDisponivel</th>\n",
       "      <th>valEmpenhadoLiquido</th>\n",
       "      <th>valLiquidado</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>8052053545</td>\n",
       "      <td>8.051865e+09</td>\n",
       "      <td>1.635561e+09</td>\n",
       "      <td>7.108660e+09</td>\n",
       "      <td>5.412855e+09</td>\n",
       "      <td>4.961956e+09</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   valOrcadoInicial  valOrcadoAtualizado  valCongelado  valDisponivel  \\\n",
       "0        8052053545         8.051865e+09  1.635561e+09   7.108660e+09   \n",
       "\n",
       "   valEmpenhadoLiquido  valLiquidado  \n",
       "0         5.412855e+09  4.961956e+09  "
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_resumo_orcado"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Empenhos"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Empenho é o ato em que autoridade verifica a existência do crédito orçamentário e autoriza a execução da despesa (por exemplo, para realizar uma licitação). A partir daí, os valores vão sendo liquidados e pagos conforme a execução de um contrato.\n",
    "Vamos ver quanto a Secretaria Municipal de Saúde empenhou de seu orçamento em 2017.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "url_empenho = '{base_url}/consultaEmpenhos?anoEmpenho=2017&mesEmpenho=08&codOrgao=84'.format(base_url=base_url)\n",
    "pagination = '&numPagina={PAGE}'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "request_empenhos = requests.get(url_empenho,\n",
    "                                headers=headers,\n",
    "                                verify=True).json()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A API fornece apenas uma página na consulta. O script abaixo checa a quantidade de páginas nos metadados da consulta e itera o número de vezes necessário para obter todas as páginas:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "number_of_pages = request_empenhos['metadados']['qtdPaginas']\n",
    "\n",
    "todos_empenhos = []\n",
    "todos_empenhos = todos_empenhos + request_empenhos['lstEmpenhos']\n",
    "if number_of_pages>1:\n",
    "    for p in range(2, number_of_pages+1):\n",
    "        request_empenhos = requests.get(url_empenho + pagination.format(PAGE=p), headers=headers, verify=True).json()\n",
    "        todos_empenhos = todos_empenhos + request_empenhos['lstEmpenhos']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_empenhos = pd.DataFrame(todos_empenhos)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Com os passos acima, fizemos a requisição de todas as páginas e convertemos o arquivo formato json em um DataFrame. Agora podemos trabalhar com a análise desses dado no Pandas. Para checar quantos registros existentes, vamos ver o final da lista:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>anoEmpenho</th>\n",
       "      <th>codCategoria</th>\n",
       "      <th>codElemento</th>\n",
       "      <th>codEmpenho</th>\n",
       "      <th>codEmpresa</th>\n",
       "      <th>codFonteRecurso</th>\n",
       "      <th>codFuncao</th>\n",
       "      <th>codGrupo</th>\n",
       "      <th>codItemDespesa</th>\n",
       "      <th>codModalidade</th>\n",
       "      <th>...</th>\n",
       "      <th>txtDescricaoUnidade</th>\n",
       "      <th>txtGrupoDespesa</th>\n",
       "      <th>txtModalidadeAplicacao</th>\n",
       "      <th>txtRazaoSocial</th>\n",
       "      <th>valAnuladoEmpenho</th>\n",
       "      <th>valEmpenhadoLiquido</th>\n",
       "      <th>valLiquidado</th>\n",
       "      <th>valPagoExercicio</th>\n",
       "      <th>valPagoRestos</th>\n",
       "      <th>valTotalEmpenhado</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>17089</th>\n",
       "      <td>2017</td>\n",
       "      <td>3</td>\n",
       "      <td>39</td>\n",
       "      <td>62352</td>\n",
       "      <td>01</td>\n",
       "      <td>00</td>\n",
       "      <td>10</td>\n",
       "      <td>3</td>\n",
       "      <td>01</td>\n",
       "      <td>90</td>\n",
       "      <td>...</td>\n",
       "      <td>Coordenadoria Regional de Saúde  Centro</td>\n",
       "      <td>Outras Despesas Correntes</td>\n",
       "      <td>Aplicações Diretas</td>\n",
       "      <td>PROVAC TERCEIRIZAÇÃO DE MÃO DE OBRA LTDA</td>\n",
       "      <td>0.0</td>\n",
       "      <td>38676.56</td>\n",
       "      <td>0.00</td>\n",
       "      <td>0.00</td>\n",
       "      <td>0</td>\n",
       "      <td>38676.56</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17090</th>\n",
       "      <td>2017</td>\n",
       "      <td>3</td>\n",
       "      <td>39</td>\n",
       "      <td>64945</td>\n",
       "      <td>01</td>\n",
       "      <td>00</td>\n",
       "      <td>10</td>\n",
       "      <td>3</td>\n",
       "      <td>03</td>\n",
       "      <td>90</td>\n",
       "      <td>...</td>\n",
       "      <td>Coordenadoria Regional de Saúde  Centro</td>\n",
       "      <td>Outras Despesas Correntes</td>\n",
       "      <td>Aplicações Diretas</td>\n",
       "      <td>COORDENADORIA REGIONAL DE SAÚDE CENTRO OESTE -...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>32463.08</td>\n",
       "      <td>32463.08</td>\n",
       "      <td>32463.08</td>\n",
       "      <td>0</td>\n",
       "      <td>32463.08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17091</th>\n",
       "      <td>2017</td>\n",
       "      <td>3</td>\n",
       "      <td>39</td>\n",
       "      <td>64962</td>\n",
       "      <td>01</td>\n",
       "      <td>00</td>\n",
       "      <td>10</td>\n",
       "      <td>3</td>\n",
       "      <td>03</td>\n",
       "      <td>90</td>\n",
       "      <td>...</td>\n",
       "      <td>Coordenadoria Regional de Saúde  Centro</td>\n",
       "      <td>Outras Despesas Correntes</td>\n",
       "      <td>Aplicações Diretas</td>\n",
       "      <td>COORDENADORIA REGIONAL DE SAÚDE CENTRO OESTE -...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>9750.00</td>\n",
       "      <td>9750.00</td>\n",
       "      <td>9750.00</td>\n",
       "      <td>0</td>\n",
       "      <td>9750.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17092</th>\n",
       "      <td>2017</td>\n",
       "      <td>3</td>\n",
       "      <td>39</td>\n",
       "      <td>65829</td>\n",
       "      <td>01</td>\n",
       "      <td>00</td>\n",
       "      <td>10</td>\n",
       "      <td>3</td>\n",
       "      <td>03</td>\n",
       "      <td>90</td>\n",
       "      <td>...</td>\n",
       "      <td>Coordenadoria Regional de Saúde  Centro</td>\n",
       "      <td>Outras Despesas Correntes</td>\n",
       "      <td>Aplicações Diretas</td>\n",
       "      <td>COORDENADORIA REGIONAL DE SAÚDE CENTRO OESTE -...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>34033.73</td>\n",
       "      <td>34033.73</td>\n",
       "      <td>34033.73</td>\n",
       "      <td>0</td>\n",
       "      <td>34033.73</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17093</th>\n",
       "      <td>2017</td>\n",
       "      <td>3</td>\n",
       "      <td>39</td>\n",
       "      <td>65007</td>\n",
       "      <td>01</td>\n",
       "      <td>00</td>\n",
       "      <td>10</td>\n",
       "      <td>3</td>\n",
       "      <td>03</td>\n",
       "      <td>90</td>\n",
       "      <td>...</td>\n",
       "      <td>Coordenadoria Regional de Saúde  Centro</td>\n",
       "      <td>Outras Despesas Correntes</td>\n",
       "      <td>Aplicações Diretas</td>\n",
       "      <td>COORDENADORIA REGIONAL DE SAÚDE CENTRO OESTE -...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>4730.52</td>\n",
       "      <td>4730.52</td>\n",
       "      <td>4730.52</td>\n",
       "      <td>0</td>\n",
       "      <td>4730.52</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5 rows × 41 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "       anoEmpenho  codCategoria codElemento  codEmpenho codEmpresa  \\\n",
       "17089        2017             3          39       62352         01   \n",
       "17090        2017             3          39       64945         01   \n",
       "17091        2017             3          39       64962         01   \n",
       "17092        2017             3          39       65829         01   \n",
       "17093        2017             3          39       65007         01   \n",
       "\n",
       "      codFonteRecurso codFuncao  codGrupo codItemDespesa  codModalidade  \\\n",
       "17089              00        10         3             01             90   \n",
       "17090              00        10         3             03             90   \n",
       "17091              00        10         3             03             90   \n",
       "17092              00        10         3             03             90   \n",
       "17093              00        10         3             03             90   \n",
       "\n",
       "             ...                             txtDescricaoUnidade  \\\n",
       "17089        ...         Coordenadoria Regional de Saúde  Centro   \n",
       "17090        ...         Coordenadoria Regional de Saúde  Centro   \n",
       "17091        ...         Coordenadoria Regional de Saúde  Centro   \n",
       "17092        ...         Coordenadoria Regional de Saúde  Centro   \n",
       "17093        ...         Coordenadoria Regional de Saúde  Centro   \n",
       "\n",
       "                 txtGrupoDespesa txtModalidadeAplicacao  \\\n",
       "17089  Outras Despesas Correntes     Aplicações Diretas   \n",
       "17090  Outras Despesas Correntes     Aplicações Diretas   \n",
       "17091  Outras Despesas Correntes     Aplicações Diretas   \n",
       "17092  Outras Despesas Correntes     Aplicações Diretas   \n",
       "17093  Outras Despesas Correntes     Aplicações Diretas   \n",
       "\n",
       "                                          txtRazaoSocial valAnuladoEmpenho  \\\n",
       "17089           PROVAC TERCEIRIZAÇÃO DE MÃO DE OBRA LTDA               0.0   \n",
       "17090  COORDENADORIA REGIONAL DE SAÚDE CENTRO OESTE -...               0.0   \n",
       "17091  COORDENADORIA REGIONAL DE SAÚDE CENTRO OESTE -...               0.0   \n",
       "17092  COORDENADORIA REGIONAL DE SAÚDE CENTRO OESTE -...               0.0   \n",
       "17093  COORDENADORIA REGIONAL DE SAÚDE CENTRO OESTE -...               0.0   \n",
       "\n",
       "      valEmpenhadoLiquido valLiquidado  valPagoExercicio valPagoRestos  \\\n",
       "17089            38676.56         0.00              0.00             0   \n",
       "17090            32463.08     32463.08          32463.08             0   \n",
       "17091             9750.00      9750.00           9750.00             0   \n",
       "17092            34033.73     34033.73          34033.73             0   \n",
       "17093             4730.52      4730.52           4730.52             0   \n",
       "\n",
       "      valTotalEmpenhado  \n",
       "17089          38676.56  \n",
       "17090          32463.08  \n",
       "17091           9750.00  \n",
       "17092          34033.73  \n",
       "17093           4730.52  \n",
       "\n",
       "[5 rows x 41 columns]"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_empenhos.tail()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Modalidades de Aplicação\n",
    "\n",
    "Aqui vemos a quantidade de recursos aplicados na Saúde, a título de exemplo, por Modalidade -- se é aplicação na rede direta ou repasse a organizações sociais. Note que o mesmo poderia ser feito para qualquer órgão, ou mesmo para a Prefeitura como um todo:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "modalidades = df_empenhos.groupby('txtModalidadeAplicacao')['valTotalEmpenhado', 'valLiquidado'].sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>valTotalEmpenhado</th>\n",
       "      <th>valLiquidado</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>txtModalidadeAplicacao</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Aplicações Diretas</th>\n",
       "      <td>2.808959e+09</td>\n",
       "      <td>2.155692e+09</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Transferências a Instituições Privadas sem Fins Lucrativos</th>\n",
       "      <td>3.106638e+09</td>\n",
       "      <td>2.806264e+09</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    valTotalEmpenhado  \\\n",
       "txtModalidadeAplicacao                                                  \n",
       "Aplicações Diretas                                       2.808959e+09   \n",
       "Transferências a Instituições Privadas sem Fins...       3.106638e+09   \n",
       "\n",
       "                                                    valLiquidado  \n",
       "txtModalidadeAplicacao                                            \n",
       "Aplicações Diretas                                  2.155692e+09  \n",
       "Transferências a Instituições Privadas sem Fins...  2.806264e+09  "
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "modalidades"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Outra maneira de fazer a mesma operação:\n",
    "#pd.pivot_table(df_empenhos, values='valTotalEmpenhado', index=['txtModalidadeAplicacao'], aggfunc=np.sum)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Maiores despesas de 2017\n",
    "\n",
    "Aqui vamos produzir a lista das 15 maiores despesas da Saúde neste ano:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "despesas = pd.pivot_table(df_empenhos, \n",
    "                              values=['valLiquidado', 'valPagoExercicio'], \n",
    "                              index=['numCpfCnpj', 'txtRazaoSocial', 'txtDescricaoPrograma'], \n",
    "                              aggfunc=np.sum).sort_values('valPagoExercicio', axis=0, ascending=False, inplace=False, kind='quicksort', na_position='last')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th>valLiquidado</th>\n",
       "      <th>valPagoExercicio</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>numCpfCnpj</th>\n",
       "      <th>txtRazaoSocial</th>\n",
       "      <th>txtDescricaoPrograma</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>00000000999962</th>\n",
       "      <th>FOLHA DE PAGAMENTO _ EXECUTIVO</th>\n",
       "      <th>Suporte Administrativo</th>\n",
       "      <td>8.205301e+08</td>\n",
       "      <td>8.205301e+08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>61699567000273</th>\n",
       "      <th>SPDM ASSOCIAÇÃO  PAULISTA PARA O DESENVOLVIMENTO DA MEDICINA</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>5.549547e+08</td>\n",
       "      <td>5.549547e+08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>60742616000160</th>\n",
       "      <th>CASA DE SAUDE SANTA MARCELINA</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>4.195546e+08</td>\n",
       "      <td>4.195546e+08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>68311216000101</th>\n",
       "      <th>ASSOCIAÇÃO SAUDE DA FAMILIA</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>4.174579e+08</td>\n",
       "      <td>4.174579e+08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>66518267000264</th>\n",
       "      <th>CENTRO DE ESTUDOS E PESQUISAS  DR.JOAO AMORIM</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>3.384486e+08</td>\n",
       "      <td>3.384486e+08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>09652823000176</th>\n",
       "      <th>IABAS -  INSTITUTO DE ATENÇÃO BÁSICA E AVANÇADA A SAÚDE</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>1.660016e+08</td>\n",
       "      <td>1.660016e+08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>60922168002634</th>\n",
       "      <th>ASSOCIAÇÃO CONGREGACAO DE SANTA CATARINA</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>1.369534e+08</td>\n",
       "      <td>1.369534e+08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>61687356000130</th>\n",
       "      <th>SERVIÇO SOCIAL DA CONSTRUÇÃO CIVIL DO ESTADO DE SP - SECONCI - SP</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>1.356095e+08</td>\n",
       "      <td>1.356095e+08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>61599908000158</th>\n",
       "      <th>REAL E BENEMERITA ASSOCIAÇÃO PORTUGUESA DE BENEFICENCIA</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>1.212174e+08</td>\n",
       "      <td>1.212174e+08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>60765823000130</th>\n",
       "      <th>SOCIEDADE BENEFICENTE ISRAELITA BRAS HOSPITAL ALBERT EINSTEIN</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>9.987687e+07</td>\n",
       "      <td>9.987687e+07</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>57571275000100</th>\n",
       "      <th>FUNDAÇÃO DO ABC</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>8.802562e+07</td>\n",
       "      <td>8.802562e+07</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>62779145000190</th>\n",
       "      <th>IRMANDADE DA SANTA CASA DE MISERICORDIA SP</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>7.392324e+07</td>\n",
       "      <td>7.392324e+07</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>51232221000126</th>\n",
       "      <th>ASSOCIACAO COMUNITARIA MONTE AZUL</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>6.971725e+07</td>\n",
       "      <td>6.971725e+07</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>00051417000000</th>\n",
       "      <th>SERV.SEC.MUN. DA SAÚDE - AUX. REFEIÇÃO</th>\n",
       "      <th>Suporte Administrativo</th>\n",
       "      <td>6.745194e+07</td>\n",
       "      <td>6.745194e+07</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>61699567000192</th>\n",
       "      <th>SPDM -  ASSOCIAÇÃO PAULISTA PARA O DESENVOLVIMENTO DA MEDICINA</th>\n",
       "      <th>Ações e serviços da saúde</th>\n",
       "      <td>6.598290e+07</td>\n",
       "      <td>6.598290e+07</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                                             valLiquidado  \\\n",
       "numCpfCnpj     txtRazaoSocial                                     txtDescricaoPrograma                      \n",
       "00000000999962 FOLHA DE PAGAMENTO _ EXECUTIVO                     Suporte Administrativo     8.205301e+08   \n",
       "61699567000273 SPDM ASSOCIAÇÃO  PAULISTA PARA O DESENVOLVIMENT... Ações e serviços da saúde  5.549547e+08   \n",
       "60742616000160 CASA DE SAUDE SANTA MARCELINA                      Ações e serviços da saúde  4.195546e+08   \n",
       "68311216000101 ASSOCIAÇÃO SAUDE DA FAMILIA                        Ações e serviços da saúde  4.174579e+08   \n",
       "66518267000264 CENTRO DE ESTUDOS E PESQUISAS  DR.JOAO AMORIM      Ações e serviços da saúde  3.384486e+08   \n",
       "09652823000176 IABAS -  INSTITUTO DE ATENÇÃO BÁSICA E AVANÇADA... Ações e serviços da saúde  1.660016e+08   \n",
       "60922168002634 ASSOCIAÇÃO CONGREGACAO DE SANTA CATARINA           Ações e serviços da saúde  1.369534e+08   \n",
       "61687356000130 SERVIÇO SOCIAL DA CONSTRUÇÃO CIVIL DO ESTADO DE... Ações e serviços da saúde  1.356095e+08   \n",
       "61599908000158 REAL E BENEMERITA ASSOCIAÇÃO PORTUGUESA DE BENE... Ações e serviços da saúde  1.212174e+08   \n",
       "60765823000130 SOCIEDADE BENEFICENTE ISRAELITA BRAS HOSPITAL A... Ações e serviços da saúde  9.987687e+07   \n",
       "57571275000100 FUNDAÇÃO DO ABC                                    Ações e serviços da saúde  8.802562e+07   \n",
       "62779145000190 IRMANDADE DA SANTA CASA DE MISERICORDIA SP         Ações e serviços da saúde  7.392324e+07   \n",
       "51232221000126 ASSOCIACAO COMUNITARIA MONTE AZUL                  Ações e serviços da saúde  6.971725e+07   \n",
       "00051417000000 SERV.SEC.MUN. DA SAÚDE - AUX. REFEIÇÃO             Suporte Administrativo     6.745194e+07   \n",
       "61699567000192 SPDM -  ASSOCIAÇÃO PAULISTA PARA O DESENVOLVIME... Ações e serviços da saúde  6.598290e+07   \n",
       "\n",
       "                                                                                             valPagoExercicio  \n",
       "numCpfCnpj     txtRazaoSocial                                     txtDescricaoPrograma                         \n",
       "00000000999962 FOLHA DE PAGAMENTO _ EXECUTIVO                     Suporte Administrativo         8.205301e+08  \n",
       "61699567000273 SPDM ASSOCIAÇÃO  PAULISTA PARA O DESENVOLVIMENT... Ações e serviços da saúde      5.549547e+08  \n",
       "60742616000160 CASA DE SAUDE SANTA MARCELINA                      Ações e serviços da saúde      4.195546e+08  \n",
       "68311216000101 ASSOCIAÇÃO SAUDE DA FAMILIA                        Ações e serviços da saúde      4.174579e+08  \n",
       "66518267000264 CENTRO DE ESTUDOS E PESQUISAS  DR.JOAO AMORIM      Ações e serviços da saúde      3.384486e+08  \n",
       "09652823000176 IABAS -  INSTITUTO DE ATENÇÃO BÁSICA E AVANÇADA... Ações e serviços da saúde      1.660016e+08  \n",
       "60922168002634 ASSOCIAÇÃO CONGREGACAO DE SANTA CATARINA           Ações e serviços da saúde      1.369534e+08  \n",
       "61687356000130 SERVIÇO SOCIAL DA CONSTRUÇÃO CIVIL DO ESTADO DE... Ações e serviços da saúde      1.356095e+08  \n",
       "61599908000158 REAL E BENEMERITA ASSOCIAÇÃO PORTUGUESA DE BENE... Ações e serviços da saúde      1.212174e+08  \n",
       "60765823000130 SOCIEDADE BENEFICENTE ISRAELITA BRAS HOSPITAL A... Ações e serviços da saúde      9.987687e+07  \n",
       "57571275000100 FUNDAÇÃO DO ABC                                    Ações e serviços da saúde      8.802562e+07  \n",
       "62779145000190 IRMANDADE DA SANTA CASA DE MISERICORDIA SP         Ações e serviços da saúde      7.392324e+07  \n",
       "51232221000126 ASSOCIACAO COMUNITARIA MONTE AZUL                  Ações e serviços da saúde      6.971725e+07  \n",
       "00051417000000 SERV.SEC.MUN. DA SAÚDE - AUX. REFEIÇÃO             Suporte Administrativo         6.745194e+07  \n",
       "61699567000192 SPDM -  ASSOCIAÇÃO PAULISTA PARA O DESENVOLVIME... Ações e serviços da saúde      6.598290e+07  "
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "despesas.head(15)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Fontes de recursos\n",
    "\n",
    "Agrupamento dos empenhos por fonte de recursos:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "fonte = pd.pivot_table(df_empenhos, \n",
    "                       values=['valLiquidado', 'valPagoExercicio'], \n",
    "                       index=['txtDescricaoFonteRecurso'], \n",
    "                       aggfunc=np.sum).sort_values('valPagoExercicio', axis=0, ascending=False, inplace=False, kind='quicksort', na_position='last')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>valLiquidado</th>\n",
       "      <th>valPagoExercicio</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>txtDescricaoFonteRecurso</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Tesouro Municipal</th>\n",
       "      <td>3.850308e+09</td>\n",
       "      <td>3.817710e+09</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Transferências Federais</th>\n",
       "      <td>1.096455e+09</td>\n",
       "      <td>1.093851e+09</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Transferências Estaduais</th>\n",
       "      <td>1.519343e+07</td>\n",
       "      <td>1.515786e+07</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                          valLiquidado  valPagoExercicio\n",
       "txtDescricaoFonteRecurso                                \n",
       "Tesouro Municipal         3.850308e+09      3.817710e+09\n",
       "Transferências Federais   1.096455e+09      1.093851e+09\n",
       "Transferências Estaduais  1.519343e+07      1.515786e+07"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "fonte"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Passo 4. Quer salvar um csv?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O objetivo deste tutorial não era fazer uma análise exaustiva da base, mas apenas mostrar o que é possível a partir do consumo da API. Você também pode salvar toda a base de empenhos num arquivo .csv e trabalhar no seu Excel (super te entendo). O Pandas também ajuda nisso! Assim:\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_empenhos.to_csv('empenhos.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Pronto, seu arquivo está lá salvo no mesmo diretório deste jupyter notebook! \n",
    "\n",
    "Esse foi um panorama. Aos poucos -- e à medida que eu for aprendendo e o tempo permitir, também -- vou explorando outras formas de consulta, análise e visualização.\n",
    "\n",
    "\n",
    "**Escrito por Fernanda Campagnucci. Agradecimentos especiais ao Fernando Paiva, pelas dicas de código para consumo da API, e aos colegas Eduardo Paiva e Marcelo Cabral, também gestores públicos entusiastas dos dados e do software livre, com quem venho aprendendo bastante*"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}