SOF_Contratos.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Explorando os contratos da cidade de São Paulo"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Na [primeira parte](https://github.com/campagnucci/api_sof/blob/master/SOF_Execucao_Orcamentaria_PMSP.ipynb) deste tutorial, procurei mostrar como:\n",
    "1. Fazer o cadastro na API do SOF\n",
    "2. Acessar os registros de empenhos (a execução orçamentária)\n",
    "3. Utilizar o Pandas para explorar algumas análises\n",
    "4. Fazer download da base em CSV"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Neste segundo tutorial, vamos focar em outra consulta disponível na mesma API: os **contratos**. \n",
    "\n",
    "A Prefeitura de São Paulo ainda não dispõe de um sistema centralizado para gestão de contratos (existe um em implementação). \n",
    "\n",
    "A **boa notícia** é que, com relação a contratos, se pode considerar uma das cidades mais transparentes do Brasil por ser uma das poucas a disponibilizar os termos de seus contratos e convênios na íntegra, desde 2014, [nesta página](http://transparencia.prefeitura.sp.gov.br/contas/Paginas/Contratos-v2.aspx) do Portal da Transparência. Com o Marco Regulatório da Sociedade Civil, vigente a partir deste ano, também começam a aparecer por lá os Termos de Cooperação (sem transferência de recursos) que antes não eram publicados.Também as doações começaram a aparecer aí. \n",
    "\n",
    "A **má notícia** é que nessa base do Portal você consegue extrair as informações publicadas em Diário Oficial, mas pode haver inconsistências (geradas por erros de publicação no D.O.). Às vezes há duplicidade, republicação, valores equivocados (pois são digitados manualmente na hora de publicar).   \n",
    "\n",
    "Por isso, podemos considerar que o registro mais confiável que há sobre a execução dos contratos é o do próprio sistema de Execução Orçamentária (o SOF), uma vez que é necessário cadastrar os contratos para realizar os pagamentos. E é daí a relevância desta API.\n",
    "\n",
    "*Importante!*\n",
    "\n",
    "Não tenho certeza se os contratos são imediatamente cadastrados no SOF ou se passam a existir no sistema apenas quando é gerado empenho vinculado a ele. Aqui neste exemplo eu encontrei empenhos zerados em alguns contratos, o que indica que não. Ainda assim, se quiser tratar no universo inteiro de contratos e não apenas da execução orçamentária, recomendo o 'double check' com a base do [Portal da Transparência](http://transparencia.prefeitura.sp.gov.br/contas/Paginas/Contratos-v2.aspx) -- explico mais no último passo deste tutorial."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Passo 1. Consulta à API"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Seguiremos os passos detalhados no tutorial anterior para acessar essa consulta na API e utilizar o Pandas para montar um DataFrame. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import requests\n",
    "import json\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "TOKEN = '198f959a5f39a1c441c7c863423264'\n",
    "base_url = \"https://gatewayapi.prodam.sp.gov.br:443/financas/orcamento/sof/v2.1.0\"\n",
    "headers={'Authorization' : str('Bearer ' + TOKEN)}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Um parêntesis! Como saber qual é o código do órgão que quero pesquisar?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Na consulta anterior, eu indiquei que o Código da Educação no Orçamento, por exemplo, é **16**; o Fundo Municipal de Saúde, **84**. Quem mexe com o orçamento, acaba se acostumando com os números. Mas como saber o código de todas as secretarias e empresas municipais? Existe uma consulta específica para isso na API, que você pode fazer lá no próprio console. Mas vamos trazer essa tabela para cá, para facilitar:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "url_orgaos = '{base_url}/consultarOrgaos?anoExercicio=2017'.format(base_url=base_url)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "request_orgaos = requests.get(url_orgaos,\n",
    "                                headers=headers,\n",
    "                                verify=True).json()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_orgaos = pd.DataFrame(request_orgaos['lstOrgaos'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>codOrgao</th>\n",
       "      <th>txtDescricaoOrgao</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>01</td>\n",
       "      <td>Autarquia Hospitalar Municipal</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>02</td>\n",
       "      <td>Hospital do Servidor Público Municipal</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>03</td>\n",
       "      <td>Instituto de Previdência Municipal de São Paulo</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>04</td>\n",
       "      <td>Serviço Funerário do Município de São Paulo</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>05</td>\n",
       "      <td>Autarquia Hospitalar Municipal Regional Leste</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>06</td>\n",
       "      <td>Autarquia Hospitalar Municipal Regional Sudeste</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>07</td>\n",
       "      <td>Fundo Municipal de Desenvolvimento Social</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>08</td>\n",
       "      <td>Fundo Municipal do Idoso</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>09</td>\n",
       "      <td>Câmara Municipal de São Paulo</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>10</td>\n",
       "      <td>Tribunal de Contas do Município de São Paulo</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>11</td>\n",
       "      <td>Secretaria do Governo Municipal</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>12</td>\n",
       "      <td>SECRETARIA MUNICIPAL DAS PREFEITURAS REGIONAIS</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>13</td>\n",
       "      <td>Secretaria Municipal de Gestão</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>14</td>\n",
       "      <td>Secretaria Municipal de Habitação</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>15</td>\n",
       "      <td>Secretaria Municipal  de Modernização, Gestão ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>16</td>\n",
       "      <td>Secretaria Municipal de Educação</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>17</td>\n",
       "      <td>Secretaria Municipal da Fazenda</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>18</td>\n",
       "      <td>Secretaria Municipal da Saúde</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>19</td>\n",
       "      <td>SECRETARIA MUNICPAL DE ESPORTES E LAZER</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>20</td>\n",
       "      <td>SECRETARIA MUNICIPAL DE MOBILIDADE E TRANSPORTES</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>21</td>\n",
       "      <td>PROCURADORIA GERAL DO MUNICIPIO DE SÃO PAULO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>22</td>\n",
       "      <td>SECRETARIA MUNICIPAL DE SERVIÇOS E OBRAS</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>23</td>\n",
       "      <td>SECRETARIA MUNICIPAL DE INOVAÇÃO E TECNOLOGIA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>24</td>\n",
       "      <td>Secretaria Municipal de Assistência e Desenvol...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>25</td>\n",
       "      <td>Secretaria Municipal de Cultura</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>26</td>\n",
       "      <td>Secretaria Municipal de Abastecimento</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>27</td>\n",
       "      <td>Secretaria Municipal do Verde e do Meio Ambiente</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>28</td>\n",
       "      <td>Encargos Gerais do Município</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>29</td>\n",
       "      <td>Secretaria Municipal de Comunicação</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>30</td>\n",
       "      <td>SECRETARIA MUNICIPAL DE TRABALHO E EMPREENDEDO...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>68</th>\n",
       "      <td>69</td>\n",
       "      <td>PREFEITURA REGIONAL DE VILA PRUDENTE</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>69</th>\n",
       "      <td>70</td>\n",
       "      <td>PREFEITURA REGIONAL SÃO MATEUS</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>70</th>\n",
       "      <td>71</td>\n",
       "      <td>PREFEITURA REGIONAL CIDADE TIRADENTES</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>71</th>\n",
       "      <td>72</td>\n",
       "      <td>PREFEITURA REGIONAL SAPOPEMBA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>72</th>\n",
       "      <td>74</td>\n",
       "      <td>Secretaria Municipal de Comunicação e Informaç...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>73</th>\n",
       "      <td>75</td>\n",
       "      <td>Fundo Municipal de Parques</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>74</th>\n",
       "      <td>76</td>\n",
       "      <td>Fundo Especial de Despesas da Câmara Municipal...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75</th>\n",
       "      <td>77</td>\n",
       "      <td>Fundo Especial de Despesas do Tribunal de Contas</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>76</th>\n",
       "      <td>78</td>\n",
       "      <td>Secretaria Municipal de Licenciamento</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>77</th>\n",
       "      <td>79</td>\n",
       "      <td>Secretaria Municipal de Políticas para as Mulh...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>78</th>\n",
       "      <td>80</td>\n",
       "      <td>FUNDAÇÃO PAULISTANA DE EDUCAÇÃO, TECNOLOGIA E ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>79</th>\n",
       "      <td>81</td>\n",
       "      <td>Autoridade Municipal de Limpeza Urbana</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>80</th>\n",
       "      <td>82</td>\n",
       "      <td>FUNDAÇÃO CATAVENTO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>81</th>\n",
       "      <td>83</td>\n",
       "      <td>Companhia Metropolitana de Habitação de São Paulo</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>82</th>\n",
       "      <td>84</td>\n",
       "      <td>FUNDO MUNICIPAL DE SAÚDE</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>83</th>\n",
       "      <td>85</td>\n",
       "      <td>Fundação Theatro Municipal de São Paulo</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>84</th>\n",
       "      <td>86</td>\n",
       "      <td>Fundo Municipal de Saneamento Ambiental e Infr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>85</th>\n",
       "      <td>87</td>\n",
       "      <td>Fundo Municipal de Desenvolvimento de Trânsito</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>86</th>\n",
       "      <td>88</td>\n",
       "      <td>Fundo de Preservação do Patrimônio Histórico e...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>87</th>\n",
       "      <td>89</td>\n",
       "      <td>Fundo Municipal de Esportes, Lazer e Recreação</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>88</th>\n",
       "      <td>90</td>\n",
       "      <td>Fundo Municipal dos Direitos da Criança e do A...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>89</th>\n",
       "      <td>91</td>\n",
       "      <td>Fundo Municipal de Habitação</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>90</th>\n",
       "      <td>92</td>\n",
       "      <td>Fundo Mun. do Sist. dos Corredores Segregados ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>91</th>\n",
       "      <td>93</td>\n",
       "      <td>Fundo Municipal de Assistência Social</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>92</th>\n",
       "      <td>94</td>\n",
       "      <td>Fundo Especial do Meio Ambiente e Desenvolvime...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>93</th>\n",
       "      <td>95</td>\n",
       "      <td>Fundo Especial de Promoção de Atividades Cultu...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>94</th>\n",
       "      <td>96</td>\n",
       "      <td>Fundo Municipal de Turismo</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>95</th>\n",
       "      <td>97</td>\n",
       "      <td>Fundo de Proteção do Patrimônio Cultural e Amb...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>96</th>\n",
       "      <td>98</td>\n",
       "      <td>Fundo de Desenvolvimento Urbano</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>97</th>\n",
       "      <td>99</td>\n",
       "      <td>Fundo Municipal de Iluminação Pública</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>98 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "   codOrgao                                  txtDescricaoOrgao\n",
       "0        01                     Autarquia Hospitalar Municipal\n",
       "1        02             Hospital do Servidor Público Municipal\n",
       "2        03    Instituto de Previdência Municipal de São Paulo\n",
       "3        04        Serviço Funerário do Município de São Paulo\n",
       "4        05      Autarquia Hospitalar Municipal Regional Leste\n",
       "5        06    Autarquia Hospitalar Municipal Regional Sudeste\n",
       "6        07          Fundo Municipal de Desenvolvimento Social\n",
       "7        08                           Fundo Municipal do Idoso\n",
       "8        09                      Câmara Municipal de São Paulo\n",
       "9        10       Tribunal de Contas do Município de São Paulo\n",
       "10       11                    Secretaria do Governo Municipal\n",
       "11       12     SECRETARIA MUNICIPAL DAS PREFEITURAS REGIONAIS\n",
       "12       13                     Secretaria Municipal de Gestão\n",
       "13       14                  Secretaria Municipal de Habitação\n",
       "14       15  Secretaria Municipal  de Modernização, Gestão ...\n",
       "15       16                   Secretaria Municipal de Educação\n",
       "16       17                    Secretaria Municipal da Fazenda\n",
       "17       18                      Secretaria Municipal da Saúde\n",
       "18       19            SECRETARIA MUNICPAL DE ESPORTES E LAZER\n",
       "19       20   SECRETARIA MUNICIPAL DE MOBILIDADE E TRANSPORTES\n",
       "20       21       PROCURADORIA GERAL DO MUNICIPIO DE SÃO PAULO\n",
       "21       22           SECRETARIA MUNICIPAL DE SERVIÇOS E OBRAS\n",
       "22       23      SECRETARIA MUNICIPAL DE INOVAÇÃO E TECNOLOGIA\n",
       "23       24  Secretaria Municipal de Assistência e Desenvol...\n",
       "24       25                    Secretaria Municipal de Cultura\n",
       "25       26              Secretaria Municipal de Abastecimento\n",
       "26       27   Secretaria Municipal do Verde e do Meio Ambiente\n",
       "27       28                       Encargos Gerais do Município\n",
       "28       29                Secretaria Municipal de Comunicação\n",
       "29       30  SECRETARIA MUNICIPAL DE TRABALHO E EMPREENDEDO...\n",
       "..      ...                                                ...\n",
       "68       69               PREFEITURA REGIONAL DE VILA PRUDENTE\n",
       "69       70                     PREFEITURA REGIONAL SÃO MATEUS\n",
       "70       71              PREFEITURA REGIONAL CIDADE TIRADENTES\n",
       "71       72                      PREFEITURA REGIONAL SAPOPEMBA\n",
       "72       74  Secretaria Municipal de Comunicação e Informaç...\n",
       "73       75                         Fundo Municipal de Parques\n",
       "74       76  Fundo Especial de Despesas da Câmara Municipal...\n",
       "75       77  Fundo Especial de Despesas do Tribunal de Contas \n",
       "76       78              Secretaria Municipal de Licenciamento\n",
       "77       79  Secretaria Municipal de Políticas para as Mulh...\n",
       "78       80  FUNDAÇÃO PAULISTANA DE EDUCAÇÃO, TECNOLOGIA E ...\n",
       "79       81             Autoridade Municipal de Limpeza Urbana\n",
       "80       82                                 FUNDAÇÃO CATAVENTO\n",
       "81       83  Companhia Metropolitana de Habitação de São Paulo\n",
       "82       84                           FUNDO MUNICIPAL DE SAÚDE\n",
       "83       85            Fundação Theatro Municipal de São Paulo\n",
       "84       86  Fundo Municipal de Saneamento Ambiental e Infr...\n",
       "85       87     Fundo Municipal de Desenvolvimento de Trânsito\n",
       "86       88  Fundo de Preservação do Patrimônio Histórico e...\n",
       "87       89     Fundo Municipal de Esportes, Lazer e Recreação\n",
       "88       90  Fundo Municipal dos Direitos da Criança e do A...\n",
       "89       91                       Fundo Municipal de Habitação\n",
       "90       92  Fundo Mun. do Sist. dos Corredores Segregados ...\n",
       "91       93              Fundo Municipal de Assistência Social\n",
       "92       94  Fundo Especial do Meio Ambiente e Desenvolvime...\n",
       "93       95  Fundo Especial de Promoção de Atividades Cultu...\n",
       "94       96                         Fundo Municipal de Turismo\n",
       "95       97  Fundo de Proteção do Patrimônio Cultural e Amb...\n",
       "96       98                    Fundo de Desenvolvimento Urbano\n",
       "97       99              Fundo Municipal de Iluminação Pública\n",
       "\n",
       "[98 rows x 2 columns]"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_orgaos"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Atenção para uma distinção conceitual importante**!\n",
    "\n",
    "* ÓRGÃO = Administração Direta (Prefeituras Regionais, Secretarias)\n",
    "* EMPRESA = Administração Indireta (Fundações, Empresas Públicas)\n",
    "\n",
    "Os campos na consulta da API são diferentes. Então se você inserir o Código da Prodam (uma empresa pública) no Campo Órgão, por exemplo, a consulta vai retornar 0 Registros.  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Pronto, aí temos a lista completa. Fecha parêntesis!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Seguindo, vamos fazer a consulta dos contratos da Secretaria do Verde e Meio Ambiente -- Órgão **27**, conforme a lista acima."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "url_contratos = '{base_url}/consultaContrato?anoContrato=2017&codOrgao=27'.format(base_url=base_url)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "request_contratos = requests.get(url_contratos,\n",
    "                                headers=headers,\n",
    "                                verify=True).json()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "number_of_pages = request_contratos['metadados']['qtdPaginas']\n",
    "\n",
    "todos_contratos = []\n",
    "todos_contratos = todos_contratos + request_contratos['lstContratos']\n",
    "if number_of_pages>1:\n",
    "    for p in range(2, number_of_pages+1):\n",
    "        request_contratos = requests.get(url_contratos + pagination.format(PAGE=p), headers=headers, verify=True).json()\n",
    "        todos_contratos = todos_contratos + request_contratos['lstContratos']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Passo 2. Mãos ao Pandas!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_contratos = pd.DataFrame(todos_contratos)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vamos checar como ficou nossa base de dados de contratos, mostrando os últimos 5 registros:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>anoContrato</th>\n",
       "      <th>codContrato</th>\n",
       "      <th>codEmpresa</th>\n",
       "      <th>codEvento</th>\n",
       "      <th>codModalidade</th>\n",
       "      <th>codOrgao</th>\n",
       "      <th>codTipoContratacao</th>\n",
       "      <th>datAssinaturaContrato</th>\n",
       "      <th>datPublicacaoContrato</th>\n",
       "      <th>datVigencia</th>\n",
       "      <th>...</th>\n",
       "      <th>txtTipoContratacao</th>\n",
       "      <th>valAditamentos</th>\n",
       "      <th>valAnulacao</th>\n",
       "      <th>valAnuladoEmpenho</th>\n",
       "      <th>valEmpenhadoLiquido</th>\n",
       "      <th>valLiquidado</th>\n",
       "      <th>valPago</th>\n",
       "      <th>valPrincipal</th>\n",
       "      <th>valReajustes</th>\n",
       "      <th>valTotalEmpenhado</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>75</th>\n",
       "      <td>2017</td>\n",
       "      <td>3487</td>\n",
       "      <td>01</td>\n",
       "      <td>None</td>\n",
       "      <td>6</td>\n",
       "      <td>27</td>\n",
       "      <td>5</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>12/04/2017</td>\n",
       "      <td>...</td>\n",
       "      <td>Nota de Empenho</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1896.0</td>\n",
       "      <td>1896.00</td>\n",
       "      <td>1896.00</td>\n",
       "      <td>1896.0</td>\n",
       "      <td>0</td>\n",
       "      <td>1896.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>76</th>\n",
       "      <td>2017</td>\n",
       "      <td>2259</td>\n",
       "      <td>01</td>\n",
       "      <td>None</td>\n",
       "      <td>8</td>\n",
       "      <td>27</td>\n",
       "      <td>5</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>31/12/2017</td>\n",
       "      <td>...</td>\n",
       "      <td>Nota de Empenho</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1000.0</td>\n",
       "      <td>0.00</td>\n",
       "      <td>0.00</td>\n",
       "      <td>1000.0</td>\n",
       "      <td>0</td>\n",
       "      <td>1000.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>77</th>\n",
       "      <td>2017</td>\n",
       "      <td>2216</td>\n",
       "      <td>01</td>\n",
       "      <td>None</td>\n",
       "      <td>6</td>\n",
       "      <td>27</td>\n",
       "      <td>5</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>15/03/2017</td>\n",
       "      <td>...</td>\n",
       "      <td>Nota de Empenho</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>2565.0</td>\n",
       "      <td>2565.00</td>\n",
       "      <td>2565.00</td>\n",
       "      <td>2565.0</td>\n",
       "      <td>0</td>\n",
       "      <td>2565.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>78</th>\n",
       "      <td>2017</td>\n",
       "      <td>2221</td>\n",
       "      <td>01</td>\n",
       "      <td>None</td>\n",
       "      <td>8</td>\n",
       "      <td>27</td>\n",
       "      <td>5</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>31/12/2017</td>\n",
       "      <td>...</td>\n",
       "      <td>Nota de Empenho</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>7500.0</td>\n",
       "      <td>1878.26</td>\n",
       "      <td>1878.26</td>\n",
       "      <td>7500.0</td>\n",
       "      <td>0</td>\n",
       "      <td>7500.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>79</th>\n",
       "      <td>2017</td>\n",
       "      <td>196</td>\n",
       "      <td>01</td>\n",
       "      <td>None</td>\n",
       "      <td>6</td>\n",
       "      <td>27</td>\n",
       "      <td>5</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>31/12/2017</td>\n",
       "      <td>...</td>\n",
       "      <td>Nota de Empenho</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>2232.0</td>\n",
       "      <td>413.42</td>\n",
       "      <td>413.42</td>\n",
       "      <td>2232.0</td>\n",
       "      <td>0</td>\n",
       "      <td>2232.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5 rows × 25 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "    anoContrato  codContrato codEmpresa codEvento  codModalidade codOrgao  \\\n",
       "75         2017         3487         01      None              6       27   \n",
       "76         2017         2259         01      None              8       27   \n",
       "77         2017         2216         01      None              6       27   \n",
       "78         2017         2221         01      None              8       27   \n",
       "79         2017          196         01      None              6       27   \n",
       "\n",
       "    codTipoContratacao datAssinaturaContrato datPublicacaoContrato  \\\n",
       "75                   5                  None                  None   \n",
       "76                   5                  None                  None   \n",
       "77                   5                  None                  None   \n",
       "78                   5                  None                  None   \n",
       "79                   5                  None                  None   \n",
       "\n",
       "   datVigencia        ...         txtTipoContratacao valAditamentos  \\\n",
       "75  12/04/2017        ...            Nota de Empenho              0   \n",
       "76  31/12/2017        ...            Nota de Empenho              0   \n",
       "77  15/03/2017        ...            Nota de Empenho              0   \n",
       "78  31/12/2017        ...            Nota de Empenho              0   \n",
       "79  31/12/2017        ...            Nota de Empenho              0   \n",
       "\n",
       "   valAnulacao valAnuladoEmpenho valEmpenhadoLiquido valLiquidado  valPago  \\\n",
       "75           0               0.0              1896.0      1896.00  1896.00   \n",
       "76           0               0.0              1000.0         0.00     0.00   \n",
       "77           0               0.0              2565.0      2565.00  2565.00   \n",
       "78           0               0.0              7500.0      1878.26  1878.26   \n",
       "79           0               0.0              2232.0       413.42   413.42   \n",
       "\n",
       "    valPrincipal  valReajustes  valTotalEmpenhado  \n",
       "75        1896.0             0             1896.0  \n",
       "76        1000.0             0             1000.0  \n",
       "77        2565.0             0             2565.0  \n",
       "78        7500.0             0             7500.0  \n",
       "79        2232.0             0             2232.0  \n",
       "\n",
       "[5 rows x 25 columns]"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_contratos.tail()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "São muitas as colunas dessa consulta (a visualização acima omite algumas). Vamos checar quais são:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['anoContrato',\n",
       " 'codContrato',\n",
       " 'codEmpresa',\n",
       " 'codEvento',\n",
       " 'codModalidade',\n",
       " 'codOrgao',\n",
       " 'codTipoContratacao',\n",
       " 'datAssinaturaContrato',\n",
       " 'datPublicacaoContrato',\n",
       " 'datVigencia',\n",
       " 'numOriginalContrato',\n",
       " 'txtDescricaoModalidade',\n",
       " 'txtDescricaoOrgao',\n",
       " 'txtObjetoContrato',\n",
       " 'txtRazaoSocial',\n",
       " 'txtTipoContratacao',\n",
       " 'valAditamentos',\n",
       " 'valAnulacao',\n",
       " 'valAnuladoEmpenho',\n",
       " 'valEmpenhadoLiquido',\n",
       " 'valLiquidado',\n",
       " 'valPago',\n",
       " 'valPrincipal',\n",
       " 'valReajustes',\n",
       " 'valTotalEmpenhado']"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "list(df_contratos)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_contratos.to_excel('contratos.xls')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Por modalidade de contratação"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>valEmpenhadoLiquido</th>\n",
       "      <th>valPago</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>txtDescricaoModalidade</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Dispensa de Licitação</th>\n",
       "      <td>6405664.44</td>\n",
       "      <td>3188859.58</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Pregão</th>\n",
       "      <td>6301100.70</td>\n",
       "      <td>543575.43</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Inexigibilidade</th>\n",
       "      <td>181947.92</td>\n",
       "      <td>8349.92</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Não Aplicável</th>\n",
       "      <td>21000.00</td>\n",
       "      <td>14378.26</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                        valEmpenhadoLiquido     valPago\n",
       "txtDescricaoModalidade                                 \n",
       "Dispensa de Licitação            6405664.44  3188859.58\n",
       "Pregão                           6301100.70   543575.43\n",
       "Inexigibilidade                   181947.92     8349.92\n",
       "Não Aplicável                      21000.00    14378.26"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_contratos.groupby(['txtDescricaoModalidade'])['valEmpenhadoLiquido', 'valPago'].sum().sort_values(['valEmpenhadoLiquido'], ascending=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vamos remover o txtRazaoSocial, para não nos atrapalhar mais tarde (vamos obter o dado de outro local). Esta consulta não retorna o nome das empresas contratadas, mas \"PREFEITURA DE SÃO PAULO\" para todos os valores -- provavelmente um erro da API."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_contratos.drop('txtRazaoSocial', axis=1, inplace=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Cruzando as bases"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Infelizmente, a consulta não vem \"pronta\". Vamos precisar cruzar com a base de empenhos do primeiro tutorial para conseguir, por exemplo, saber quais são os credores POR CONTRATO. A imagem abaixo foi exibida durante o lançamento da API, no [Café Hacker](http://cafehacker.prefeitura.sp.gov.br/cafe-hacker-discute-o-orcamento-municipal-e-bate-recorde-de-inscricoes/) da Controladoria Geral do Município e da Secretaria Municipal da Fazenda, e explica como as consultas se relacionam (o 'Simplificada' é por conta deles, hehe): "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![title](relacionamentos.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O Código de Contrato é um parâmetro facultativo da consulta de empenhos, mas não vem no retorno de dados (outro possível furo da API, que vamos alertar aos desenvolvedores para tentar corrigir). O que isso significa? Que precisaríamos consultar um a um para obter todos os contratos na lista de empenhos! Felizmente, a programação tá aí pra isso. Vamos criar uma estrutura de repetição semelhante à que fizemos para a paginação:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "url_empenho = '{base_url}/consultaEmpenhos?anoEmpenho=2017&mesEmpenho=08&codOrgao=27'.format(base_url=base_url)\n",
    "num_contrato = '&codContrato={CONTRATO}'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "80"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lista_contratos = list(df_contratos['codContrato'])\n",
    "len(lista_contratos)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "request_empenhos = requests.get(url_empenho,\n",
    "                                headers=headers,\n",
    "                                verify=True).json()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def add_codigo_contrato(empenhos, cod_contrato):\n",
    "    \"\"\"\"\"\n",
    "    Adiciona Código de Contrato no dict de cada empenho consultado. \n",
    "    \"\"\"\"\"\n",
    "    for item in empenhos:\n",
    "        item.update({'codContrato': cod_contrato})\n",
    "    return empenhos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [],
   "source": [
    "todos_empenhos = []\n",
    "\n",
    "todos_empenhos = todos_empenhos + request_empenhos['lstEmpenhos']\n",
    "\n",
    "for n in lista_contratos:\n",
    "    response = requests.get(url_empenho + num_contrato.format(CONTRATO=n), headers=headers, verify=True).json()\n",
    "    empenhos_c_cod = add_codigo_contrato(response['lstEmpenhos'], n)\n",
    "    todos_empenhos = todos_empenhos + empenhos_c_cod"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_empenhos_c_contratos = pd.DataFrame(todos_empenhos)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Agora já temos o DataFrame que junta todos Empenhos do Verde de 2017 com as informações de Contrato, deixando a base mais rica -- e corrigindo essa falha da falta de Razão Social e CNPJ na consulta de contratos! "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>anoEmpenho</th>\n",
       "      <th>codCategoria</th>\n",
       "      <th>codContrato</th>\n",
       "      <th>codElemento</th>\n",
       "      <th>codEmpenho</th>\n",
       "      <th>codEmpresa</th>\n",
       "      <th>codFonteRecurso</th>\n",
       "      <th>codFuncao</th>\n",
       "      <th>codGrupo</th>\n",
       "      <th>codItemDespesa</th>\n",
       "      <th>...</th>\n",
       "      <th>txtDescricaoUnidade</th>\n",
       "      <th>txtGrupoDespesa</th>\n",
       "      <th>txtModalidadeAplicacao</th>\n",
       "      <th>txtRazaoSocial</th>\n",
       "      <th>valAnuladoEmpenho</th>\n",
       "      <th>valEmpenhadoLiquido</th>\n",
       "      <th>valLiquidado</th>\n",
       "      <th>valPagoExercicio</th>\n",
       "      <th>valPagoRestos</th>\n",
       "      <th>valTotalEmpenhado</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2017</td>\n",
       "      <td>3</td>\n",
       "      <td>NaN</td>\n",
       "      <td>30</td>\n",
       "      <td>8458</td>\n",
       "      <td>01</td>\n",
       "      <td>00</td>\n",
       "      <td>18</td>\n",
       "      <td>3</td>\n",
       "      <td>01</td>\n",
       "      <td>...</td>\n",
       "      <td>Gabinete do Secretário</td>\n",
       "      <td>Outras Despesas Correntes</td>\n",
       "      <td>Aplicações Diretas</td>\n",
       "      <td>ATMOSFERA GASES ESPECIAIS E EPI S LTDA - EPP</td>\n",
       "      <td>0.0</td>\n",
       "      <td>8244.00</td>\n",
       "      <td>3474.00</td>\n",
       "      <td>3474.00</td>\n",
       "      <td>0</td>\n",
       "      <td>8244.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2017</td>\n",
       "      <td>3</td>\n",
       "      <td>NaN</td>\n",
       "      <td>30</td>\n",
       "      <td>70426</td>\n",
       "      <td>01</td>\n",
       "      <td>00</td>\n",
       "      <td>18</td>\n",
       "      <td>3</td>\n",
       "      <td>01</td>\n",
       "      <td>...</td>\n",
       "      <td>Gabinete do Secretário</td>\n",
       "      <td>Outras Despesas Correntes</td>\n",
       "      <td>Aplicações Diretas</td>\n",
       "      <td>AGLON COMÉRCIO E REPRESENTACÕES LTDA</td>\n",
       "      <td>0.0</td>\n",
       "      <td>420.00</td>\n",
       "      <td>420.00</td>\n",
       "      <td>0.00</td>\n",
       "      <td>0</td>\n",
       "      <td>420.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2017</td>\n",
       "      <td>3</td>\n",
       "      <td>NaN</td>\n",
       "      <td>30</td>\n",
       "      <td>42021</td>\n",
       "      <td>01</td>\n",
       "      <td>00</td>\n",
       "      <td>18</td>\n",
       "      <td>3</td>\n",
       "      <td>01</td>\n",
       "      <td>...</td>\n",
       "      <td>Gabinete do Secretário</td>\n",
       "      <td>Outras Despesas Correntes</td>\n",
       "      <td>Aplicações Diretas</td>\n",
       "      <td>MANZATOS FARMA LTDA ME</td>\n",
       "      <td>0.0</td>\n",
       "      <td>262.00</td>\n",
       "      <td>262.00</td>\n",
       "      <td>262.00</td>\n",
       "      <td>0</td>\n",
       "      <td>262.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2017</td>\n",
       "      <td>3</td>\n",
       "      <td>NaN</td>\n",
       "      <td>30</td>\n",
       "      <td>34570</td>\n",
       "      <td>01</td>\n",
       "      <td>00</td>\n",
       "      <td>18</td>\n",
       "      <td>3</td>\n",
       "      <td>01</td>\n",
       "      <td>...</td>\n",
       "      <td>Gabinete do Secretário</td>\n",
       "      <td>Outras Despesas Correntes</td>\n",
       "      <td>Aplicações Diretas</td>\n",
       "      <td>CRISTALIA PRODUTOS QUIMICOS FARMACEUTICOS LTDA</td>\n",
       "      <td>0.0</td>\n",
       "      <td>183.00</td>\n",
       "      <td>183.00</td>\n",
       "      <td>183.00</td>\n",
       "      <td>0</td>\n",
       "      <td>183.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2017</td>\n",
       "      <td>3</td>\n",
       "      <td>NaN</td>\n",
       "      <td>30</td>\n",
       "      <td>36186</td>\n",
       "      <td>01</td>\n",
       "      <td>00</td>\n",
       "      <td>18</td>\n",
       "      <td>3</td>\n",
       "      <td>01</td>\n",
       "      <td>...</td>\n",
       "      <td>Gabinete do Secretário</td>\n",
       "      <td>Outras Despesas Correntes</td>\n",
       "      <td>Aplicações Diretas</td>\n",
       "      <td>FARMACE - INDUSTRIA QUIMICO-FARMACEUTICA CEARE...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>271.97</td>\n",
       "      <td>271.97</td>\n",
       "      <td>271.97</td>\n",
       "      <td>0</td>\n",
       "      <td>271.97</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5 rows × 42 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "   anoEmpenho  codCategoria  codContrato codElemento  codEmpenho codEmpresa  \\\n",
       "0        2017             3          NaN          30        8458         01   \n",
       "1        2017             3          NaN          30       70426         01   \n",
       "2        2017             3          NaN          30       42021         01   \n",
       "3        2017             3          NaN          30       34570         01   \n",
       "4        2017             3          NaN          30       36186         01   \n",
       "\n",
       "  codFonteRecurso codFuncao  codGrupo codItemDespesa        ...         \\\n",
       "0              00        18         3             01        ...          \n",
       "1              00        18         3             01        ...          \n",
       "2              00        18         3             01        ...          \n",
       "3              00        18         3             01        ...          \n",
       "4              00        18         3             01        ...          \n",
       "\n",
       "      txtDescricaoUnidade            txtGrupoDespesa txtModalidadeAplicacao  \\\n",
       "0  Gabinete do Secretário  Outras Despesas Correntes     Aplicações Diretas   \n",
       "1  Gabinete do Secretário  Outras Despesas Correntes     Aplicações Diretas   \n",
       "2  Gabinete do Secretário  Outras Despesas Correntes     Aplicações Diretas   \n",
       "3  Gabinete do Secretário  Outras Despesas Correntes     Aplicações Diretas   \n",
       "4  Gabinete do Secretário  Outras Despesas Correntes     Aplicações Diretas   \n",
       "\n",
       "                                      txtRazaoSocial valAnuladoEmpenho  \\\n",
       "0       ATMOSFERA GASES ESPECIAIS E EPI S LTDA - EPP               0.0   \n",
       "1               AGLON COMÉRCIO E REPRESENTACÕES LTDA               0.0   \n",
       "2                            MANZATOS FARMA LTDA ME                0.0   \n",
       "3     CRISTALIA PRODUTOS QUIMICOS FARMACEUTICOS LTDA               0.0   \n",
       "4  FARMACE - INDUSTRIA QUIMICO-FARMACEUTICA CEARE...               0.0   \n",
       "\n",
       "  valEmpenhadoLiquido valLiquidado valPagoExercicio  valPagoRestos  \\\n",
       "0             8244.00      3474.00          3474.00              0   \n",
       "1              420.00       420.00             0.00              0   \n",
       "2              262.00       262.00           262.00              0   \n",
       "3              183.00       183.00           183.00              0   \n",
       "4              271.97       271.97           271.97              0   \n",
       "\n",
       "  valTotalEmpenhado  \n",
       "0           8244.00  \n",
       "1            420.00  \n",
       "2            262.00  \n",
       "3            183.00  \n",
       "4            271.97  \n",
       "\n",
       "[5 rows x 42 columns]"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_empenhos_c_contratos.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A tabela acima vai ter muitos valores \"Nan\" para codContrato -- pois há 493 empenhos e apenas 80 contratos. Como o interesse agora é só nos contratos, vamos retirar esses casos e montar um novo DataFrame que contém apenas contratos com algum empenho relacionado:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_empenhos_c_contratos = df_empenhos_c_contratos.dropna(axis=0).reset_index(drop=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Mudando o formato de número de decimal (tirar aquele .0 dali) para integer:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_empenhos_c_contratos['codContrato'] = df_empenhos_c_contratos.loc[:,'codContrato'].astype(int)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Agora temos duas bases de dados para trabalhar:\n",
    "* df_contratos = Primeira base que extraímos, contém todos os contratos (sem Razão Social ou CNPJ, por limitação da API)\n",
    "* df_empenhos_c_contratos = Base que contém todos os empenhos com código de contrato, depois do cruzamento que fizemos\n",
    "\n",
    "Ambas têm várias colunas em comum. Então, antes de juntá-las, vamos apenas retirar as colunas únicas nas duas, com o método \"difference\":"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [],
   "source": [
    "cols_to_use = df_empenhos_c_contratos.columns.difference(df_contratos.columns)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_contratos_empenhados = df_contratos.merge(df_empenhos_c_contratos[cols_to_use], left_index=True, right_index=True, how='outer')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 'Top 10' Contratos de 2017"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Agora com a lista de todos os contratos do ano, vamos montar uma tabela e ordenar os dados pelo *Valor Principal do Contrato*. No Manual da API, aprende-se que esse campo 'valPrincipal'significa o \"Valor do contrato sem ocorrência de reajustamentos, ou aditamentos\"."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {},
   "outputs": [],
   "source": [
    "top10 = df_contratos_empenhados[['txtDescricaoModalidade',\n",
    "                                 'txtObjetoContrato',\n",
    "                                 'txtRazaoSocial',\n",
    "                                 'numCpfCnpj',\n",
    "                                 'valPrincipal']].sort_values(['valPrincipal'], ascending=False)[:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>txtDescricaoModalidade</th>\n",
       "      <th>txtObjetoContrato</th>\n",
       "      <th>txtRazaoSocial</th>\n",
       "      <th>numCpfCnpj</th>\n",
       "      <th>valPrincipal</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>39</th>\n",
       "      <td>Pregão</td>\n",
       "      <td>Segurança e  Vigilancia  Patrimonial Desarmada...</td>\n",
       "      <td>WCOM TELECOMUNICAÇÕES LTDA - ME</td>\n",
       "      <td>01544859000124</td>\n",
       "      <td>6833864.80</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>70</th>\n",
       "      <td>Dispensa de Licitação</td>\n",
       "      <td>CONSUMO DE ÁGUA E ESGOTO.</td>\n",
       "      <td>SÃO PAULO SECRETARIA MUNICIPAL DE TRANSPORTES</td>\n",
       "      <td>46392155000383</td>\n",
       "      <td>4200000.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>Pregão</td>\n",
       "      <td>Serviços técnicos de manejo e conservação para...</td>\n",
       "      <td>MEDEIROS PAISAGISMO COMERCIO E SERVIÇOS LTDA</td>\n",
       "      <td>04102128000117</td>\n",
       "      <td>3816996.84</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>71</th>\n",
       "      <td>Dispensa de Licitação</td>\n",
       "      <td>FORNECIMENTO DE ENERGIA ELÉTRICA.</td>\n",
       "      <td>COMPANHIA DE GAS DE SAO PAULO COMGAS</td>\n",
       "      <td>61856571000117</td>\n",
       "      <td>2200000.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Pregão</td>\n",
       "      <td>Serviços de segurança e vigilância patrimonial...</td>\n",
       "      <td>HP BRASIL INDÚSTRIA E COMÉRCIO DE EQUIPAMENTOS...</td>\n",
       "      <td>22086683000346</td>\n",
       "      <td>1854994.72</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>Pregão</td>\n",
       "      <td>Contração de empresa especializada na prestaçã...</td>\n",
       "      <td>SIMPRESS COMERCIO LOCACAO E SERVIÇOS SA</td>\n",
       "      <td>07432517000107</td>\n",
       "      <td>652081.56</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Pregão</td>\n",
       "      <td>Aquisição de ração, grãos e demais suplementos...</td>\n",
       "      <td>LICITAVET COMERCIAL LTDA - EPP</td>\n",
       "      <td>09483617000180</td>\n",
       "      <td>408766.67</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>53</th>\n",
       "      <td>Pregão</td>\n",
       "      <td>fornecimento de produtos hortifrutigranjeiros ...</td>\n",
       "      <td>ASSOCIAÇÃO NACIONAL DE ORGÃOS MUNICIPAIS DE ME...</td>\n",
       "      <td>03657079000116</td>\n",
       "      <td>206045.19</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>Inexigibilidade</td>\n",
       "      <td>Aquisição de peças para os equipamentos Zeiss ...</td>\n",
       "      <td>COMERCIAL 3 ALBE LTDA</td>\n",
       "      <td>74400052000191</td>\n",
       "      <td>173598.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Pregão</td>\n",
       "      <td>Aquisição de Microcomputador Desktop Tipo I – ...</td>\n",
       "      <td>HP BRASIL INDÚSTRIA E COMÉRCIO DE EQUIPAMENTOS...</td>\n",
       "      <td>22086683000346</td>\n",
       "      <td>170589.16</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   txtDescricaoModalidade                                  txtObjetoContrato  \\\n",
       "39                 Pregão  Segurança e  Vigilancia  Patrimonial Desarmada...   \n",
       "70  Dispensa de Licitação                          CONSUMO DE ÁGUA E ESGOTO.   \n",
       "6                  Pregão  Serviços técnicos de manejo e conservação para...   \n",
       "71  Dispensa de Licitação                  FORNECIMENTO DE ENERGIA ELÉTRICA.   \n",
       "1                  Pregão  Serviços de segurança e vigilância patrimonial...   \n",
       "12                 Pregão  Contração de empresa especializada na prestaçã...   \n",
       "0                  Pregão  Aquisição de ração, grãos e demais suplementos...   \n",
       "53                 Pregão  fornecimento de produtos hortifrutigranjeiros ...   \n",
       "8         Inexigibilidade  Aquisição de peças para os equipamentos Zeiss ...   \n",
       "2                  Pregão  Aquisição de Microcomputador Desktop Tipo I – ...   \n",
       "\n",
       "                                       txtRazaoSocial      numCpfCnpj  \\\n",
       "39                    WCOM TELECOMUNICAÇÕES LTDA - ME  01544859000124   \n",
       "70      SÃO PAULO SECRETARIA MUNICIPAL DE TRANSPORTES  46392155000383   \n",
       "6        MEDEIROS PAISAGISMO COMERCIO E SERVIÇOS LTDA  04102128000117   \n",
       "71               COMPANHIA DE GAS DE SAO PAULO COMGAS  61856571000117   \n",
       "1   HP BRASIL INDÚSTRIA E COMÉRCIO DE EQUIPAMENTOS...  22086683000346   \n",
       "12            SIMPRESS COMERCIO LOCACAO E SERVIÇOS SA  07432517000107   \n",
       "0                      LICITAVET COMERCIAL LTDA - EPP  09483617000180   \n",
       "53  ASSOCIAÇÃO NACIONAL DE ORGÃOS MUNICIPAIS DE ME...  03657079000116   \n",
       "8                               COMERCIAL 3 ALBE LTDA  74400052000191   \n",
       "2   HP BRASIL INDÚSTRIA E COMÉRCIO DE EQUIPAMENTOS...  22086683000346   \n",
       "\n",
       "    valPrincipal  \n",
       "39    6833864.80  \n",
       "70    4200000.00  \n",
       "6     3816996.84  \n",
       "71    2200000.00  \n",
       "1     1854994.72  \n",
       "12     652081.56  \n",
       "0      408766.67  \n",
       "53     206045.19  \n",
       "8      173598.00  \n",
       "2      170589.16  "
      ]
     },
     "execution_count": 77,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "top10"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Passo 3 - Só quer salvar em Excel ou CSV?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_contratos_empenhados.to_excel('exemplos/contratos_empenhados.xls')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_contratos_empenhados.to_csv('exemplos/contratos_empenhados.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Passo \"Bônus\" - Comparando com o Portal da Transparência"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Como mencionei lá em cima, o Portal da Transparência de São Paulo tem algo muito importante que é publicar os contratos na íntegra [nesta página](http://transparencia.prefeitura.sp.gov.br/contas/Paginas/Contratos-v2.aspx). Não vou entrar nos detalhes dos poréns que surgem aqui -- mas saiba que a ação de publicar o contrato depende de as pessoas subirem o \"anexo\" certo na hora de enviar o extrato para o Diário Oficial; o que acaba acontecendo é que são cerca de 700 usuários que fazem isso em toda a prefeitura e os erros são frequentes (ex.: subir arquivo de extrato no local de íntegra; indicar modalidade errada; digitar metadado do valor errado etc etc). \n",
    "\n",
    "Eu já baixei (e arrumei alguns campos) um arquivo de lá com o mesmo exemplo da SVMA. Vamos comparar com o que vem na API do SOF:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_contratos_portal = pd.read_excel('exemplos/contratos_portal.xls')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Órgão</th>\n",
       "      <th>Fornecedor</th>\n",
       "      <th>CNPJ</th>\n",
       "      <th>Objeto</th>\n",
       "      <th>Valor (R$)</th>\n",
       "      <th>Modalidade</th>\n",
       "      <th>Contrato</th>\n",
       "      <th>Data de Assinatura</th>\n",
       "      <th>Vigência(Dias)</th>\n",
       "      <th>Processo Administrativo</th>\n",
       "      <th>Licitação</th>\n",
       "      <th>Evento</th>\n",
       "      <th>Data da Publicação</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>VERDE E MEIO AMBIENTE</td>\n",
       "      <td>DEMAX SERVIÇOS E COMÉRCIO LTDA</td>\n",
       "      <td>48.096.044/0001-93</td>\n",
       "      <td>Serviços técnicos de manejo e conservação do L...</td>\n",
       "      <td>13566843.56</td>\n",
       "      <td>COMPRA POR ATA DE REGISTRO DE PREÇO</td>\n",
       "      <td>010/SVMA/2015</td>\n",
       "      <td>2017-08-29</td>\n",
       "      <td>360</td>\n",
       "      <td>2014-0.307.071-3</td>\n",
       "      <td>007/SVMA/2014</td>\n",
       "      <td>EXTRATO DE ADITAMENTO</td>\n",
       "      <td>2017-08-30</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>VERDE E MEIO AMBIENTE</td>\n",
       "      <td>DEMAX SERVIÇOS E COMÉRCIO LTDA</td>\n",
       "      <td>48.096.044/0001-93</td>\n",
       "      <td>Serviços técnicos de manejo e conservação do L...</td>\n",
       "      <td>13566843.56</td>\n",
       "      <td>COMPRA POR ATA DE REGISTRO DE PREÇO</td>\n",
       "      <td>010/SVMA/2015</td>\n",
       "      <td>2017-06-21</td>\n",
       "      <td>360</td>\n",
       "      <td>2014-0.307.071-3</td>\n",
       "      <td>007/SVMA/2014</td>\n",
       "      <td>EXTRATO DE ADITAMENTO</td>\n",
       "      <td>2017-06-27</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>VERDE E MEIO AMBIENTE</td>\n",
       "      <td>DEMAX SERVIÇOS E COMÉRCIO LTDA</td>\n",
       "      <td>48.096.044/0001-93</td>\n",
       "      <td>Serviços técnicos de manejo e conservação do L...</td>\n",
       "      <td>13566843.56</td>\n",
       "      <td>COMPRA POR ATA DE REGISTRO DE PREÇO</td>\n",
       "      <td>010/SVMA/2015</td>\n",
       "      <td>2017-08-08</td>\n",
       "      <td>360</td>\n",
       "      <td>2014-0.307.071-3</td>\n",
       "      <td>007/SVMA/2014</td>\n",
       "      <td>EXTRATO DE ADITAMENTO</td>\n",
       "      <td>2017-08-11</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>VERDE E MEIO AMBIENTE</td>\n",
       "      <td>DEMAX SERVIÇOS E COMÉRCIO LTDA</td>\n",
       "      <td>48.096.044/0001-93</td>\n",
       "      <td>Serviços técnicos de manejo e conservação do L...</td>\n",
       "      <td>13566843.56</td>\n",
       "      <td>COMPRA POR ATA DE REGISTRO DE PREÇO</td>\n",
       "      <td>010/SVMA/2015</td>\n",
       "      <td>2017-06-28</td>\n",
       "      <td>360</td>\n",
       "      <td>2014-0.307.071-3</td>\n",
       "      <td>007/SVMA/2014</td>\n",
       "      <td>EXTRATO DE ADITAMENTO</td>\n",
       "      <td>2017-07-01</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>VERDE E MEIO AMBIENTE</td>\n",
       "      <td>PRESSSEG SERVIÇOS DE SEGURANÇA EIRELLI</td>\n",
       "      <td>08.818.229/0001-40</td>\n",
       "      <td>Prestação de Serviços de Vigilância e Seguranç...</td>\n",
       "      <td>10909360.70</td>\n",
       "      <td>PREGÃO ELETRÔNICO</td>\n",
       "      <td>019/SVMA/2017</td>\n",
       "      <td>2017-05-15</td>\n",
       "      <td>360</td>\n",
       "      <td>2013-0.282.697-9</td>\n",
       "      <td>001/SVMA/2014</td>\n",
       "      <td>EXTRATO DE ADITAMENTO</td>\n",
       "      <td>2017-05-18</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                   Órgão                              Fornecedor  \\\n",
       "0  VERDE E MEIO AMBIENTE          DEMAX SERVIÇOS E COMÉRCIO LTDA   \n",
       "3  VERDE E MEIO AMBIENTE          DEMAX SERVIÇOS E COMÉRCIO LTDA   \n",
       "1  VERDE E MEIO AMBIENTE          DEMAX SERVIÇOS E COMÉRCIO LTDA   \n",
       "2  VERDE E MEIO AMBIENTE          DEMAX SERVIÇOS E COMÉRCIO LTDA   \n",
       "4  VERDE E MEIO AMBIENTE  PRESSSEG SERVIÇOS DE SEGURANÇA EIRELLI   \n",
       "\n",
       "                 CNPJ                                             Objeto  \\\n",
       "0  48.096.044/0001-93  Serviços técnicos de manejo e conservação do L...   \n",
       "3  48.096.044/0001-93  Serviços técnicos de manejo e conservação do L...   \n",
       "1  48.096.044/0001-93  Serviços técnicos de manejo e conservação do L...   \n",
       "2  48.096.044/0001-93  Serviços técnicos de manejo e conservação do L...   \n",
       "4  08.818.229/0001-40  Prestação de Serviços de Vigilância e Seguranç...   \n",
       "\n",
       "    Valor (R$)                           Modalidade       Contrato  \\\n",
       "0  13566843.56  COMPRA POR ATA DE REGISTRO DE PREÇO  010/SVMA/2015   \n",
       "3  13566843.56  COMPRA POR ATA DE REGISTRO DE PREÇO  010/SVMA/2015   \n",
       "1  13566843.56  COMPRA POR ATA DE REGISTRO DE PREÇO  010/SVMA/2015   \n",
       "2  13566843.56  COMPRA POR ATA DE REGISTRO DE PREÇO  010/SVMA/2015   \n",
       "4  10909360.70                    PREGÃO ELETRÔNICO  019/SVMA/2017   \n",
       "\n",
       "  Data de Assinatura  Vigência(Dias) Processo Administrativo      Licitação  \\\n",
       "0         2017-08-29             360        2014-0.307.071-3  007/SVMA/2014   \n",
       "3         2017-06-21             360        2014-0.307.071-3  007/SVMA/2014   \n",
       "1         2017-08-08             360        2014-0.307.071-3  007/SVMA/2014   \n",
       "2         2017-06-28             360        2014-0.307.071-3  007/SVMA/2014   \n",
       "4         2017-05-15             360        2013-0.282.697-9  001/SVMA/2014   \n",
       "\n",
       "                  Evento Data da Publicação  \n",
       "0  EXTRATO DE ADITAMENTO         2017-08-30  \n",
       "3  EXTRATO DE ADITAMENTO         2017-06-27  \n",
       "1  EXTRATO DE ADITAMENTO         2017-08-11  \n",
       "2  EXTRATO DE ADITAMENTO         2017-07-01  \n",
       "4  EXTRATO DE ADITAMENTO         2017-05-18  "
      ]
     },
     "execution_count": 90,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_contratos_portal.sort_values('Valor (R$)', ascending=False).head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 98,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Modalidade\n",
       "ACORDO DE COOPERAÇÃO                   1.127556e+06\n",
       "COMPRA POR ATA DE REGISTRO DE PREÇO    1.604432e+08\n",
       "CONVÊNIO                               7.728465e+06\n",
       "DISPENSA                               2.873275e+06\n",
       "INEXIGIBILIDADE                        5.218800e+05\n",
       "PREGÃO ELETRÔNICO                      1.251965e+08\n",
       "PREGÃO PRESENCIAL                      1.478043e+06\n",
       "TOMADA DE PREÇOS                       2.989997e+05\n",
       "Name: Valor (R$), dtype: float64"
      ]
     },
     "execution_count": 98,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_contratos_portal.groupby('Modalidade')['Valor (R$)'].sum()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Vantagens:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Tem o número do Processo que gerou o contrato -- outra demanda de melhoria para a API!\n",
    "* Inclui outras modalidades: Acordo de cooperação\n",
    "* Traz itens mais recentes (4 dias atrás) ainda não cadastrados no SOF (ainda não houve pagamentos)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Desvantagens:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Repete valores e itens idênticos -- são compras com o mesmo valor, no mesmo processo? Ou houve retificação no D.O e foi republicado? Não dá para saber. Neste caso o empenho é mais confiável;\n",
    "* Existe possibilidade de erro humano ao cadastrar modalidade de licitação, valor."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}