01_Data_Wrangling-Obtencion_Tweets.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 1 - Data Wrangling\n",
    "\n",
    "<br>\n",
    "\n",
    "* El ***Data Wrangling*** (la lucha con los datos) es uno de los procesos mas “ingratos” en la ciencia de datos que tiene como finalidad ***obtener y mapear los datos en “bruto”*** (raw data) y pasarlos a un ***formato mas amigable*** y conveniente para su posterior tratamiento.\n",
    "\n",
    "\n",
    "* Por tanto es un proceso del cual se tienen que obtener los datos y ***preparar los datasets*** para que esos puedan ser utilizados de forma conveniente en la fase del *Exploratory Data Analysis (EDA)*.\n",
    "\n",
    "\n",
    "* El ***ETL*** (Extract-Transform-Load) consiste precisamente en ***extraer los datos del origen, transformarlos*** en un determinado formato y ***cargar o guardar esos datos transformados para sus posterior uso***.\n",
    "\n",
    "\n",
    "* Las ***fuentes de los datos*** en bruto pueden ser muy diversas como por ejemplo:\n",
    "\n",
    "    - ***datos de sensores***\n",
    "    - ***logs de servidores***\n",
    "    - ***redes sociales*** (APIs)\n",
    "    - ***paginas web*** (scraping)\n",
    "    - etc\n",
    "\n",
    "\n",
    "<hr>\n",
    "\n",
    "\n",
    "## Ejemplo de Obtención de Tweets\n",
    "\n",
    "\n",
    "* Uno de los origenes de datos de ejemplo puede ser el de la red social de ***Twitter*** que dispone de un **API** para poder obtener información de esta red social:\n",
    "\n",
    "    - Información de las cuentas\n",
    "    - Tweets de cuentas\n",
    "    - Tweets con determinados hashtags\n",
    "    - Etc.\n",
    "    \n",
    "\n",
    "* Aunque se puede interactuar directamente con el API de Twitter (un servicio REST), existe en python una librería llamada \"***Tweepy***\" que nos permite hacer peticiones al API por medio de una serie de funciones (o métodos) implementados en esta librería.\n",
    "\n",
    "\n",
    "###### ***NOTA***: En el fichero README.md se indica como instalar la librería tweepy, así como el resto de librerías necesarias para seguir este curso.\n",
    "\n",
    "\n",
    "### Registro de una APP en Twitter\n",
    "\n",
    "\n",
    "* Para poder interactuar con Twitter es necesario tener una cuenta de Twitter y registrar una applicación en: https://apps.twitter.com/. \n",
    "\n",
    "\n",
    "* Una vez registrada la app te deberá de proporcionar:\n",
    "    1. consumer_key\n",
    "    2. consumer_secret\n",
    "    \n",
    " \n",
    "* Luego se tiene que generar un:\n",
    "    1. access_token\n",
    "    2. access_token_secret\n",
    "\n",
    "\n",
    "### Autenticación para obtener información de Twitter\n",
    "\n",
    "\n",
    "* Nos tenemos que autenticar en Twitter con las credenciales proporcionadas una vez registrada la aplicación."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import tweepy\n",
    "from pathlib2 import Path\n",
    "\n",
    "# Claves de cliente y tokens de acceso\n",
    "CONSUMER_KEY = 'fcCFQpt3lhMzeCgGhznWsb8C5'\n",
    "CONSUMER_SECRET = 'lljbTkudnEvn0SWn6ZPw5Svam6TzD9q58AhBsgrsqGN9AdqrvF'\n",
    "ACCESS_TOKEN = '1021745678974902279-7VhCtZkPsqhcaHPq4NFalaShazGbTV'\n",
    "ACCESS_TOKEN_SECRET = '0xDVjwimkp1WKjjZpMpLuj0V3aRkAeKuvc4DiHkyfvYkZ'\n",
    "\n",
    "# Proceso de autenticación OAuth\n",
    "auth = tweepy.OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET)\n",
    "auth.set_access_token(ACCESS_TOKEN, ACCESS_TOKEN_SECRET)\n",
    "api = tweepy.API(auth,wait_on_rate_limit=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "## Ejemplo 1 - Obtención de Tweets por Hashtag\n",
    "\n",
    "\n",
    "* Por ejemplo podemos obtener los tweets que tienen un determinado Hashtag de la siguiente manera:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Tweet 1: Los equipos de la @LaLiga nos eligen como proveedores de sus equipaciones\n",
      "¿Y tú ? ¿Nos eliges tambíen?⚽⚽\n",
      ".\n",
      "https://t.co/xKILwCbAz3\n",
      ".\n",
      "#deporteshalcon #RealMadrid #Atletico #FCBarcelona #sportwear\n",
      "*Serigafía tu equipación en tiendas https://t.co/ExuXWt9SMh\n",
      "\n",
      "Tweet 2: 🇪🇸 SELECCIÓN | Ya tenemos a las 23 elegidas que lucharán por avanzar en la clasificación al Mundial 2023\n",
      "\n",
      "Representación de jugadoras del #RealMadrid #FCBarcelona #ManchesterUnited #atleti #levanteud #valenciacf #realsociedad\n",
      "\n",
      "#FIFAWWC\n",
      "\n",
      "https://t.co/qbO8HILi6A\n",
      "\n",
      "Tweet 3: 🇪🇸 SELECCIÓN | Ya tenemos a las 23 elegidas que lucharán por avanzar en la clasificación al Mundial 2023\n",
      "\n",
      "Representación de jugadoras del #RealMadrid #FCBarcelona #ManchesterUnited #atleti #levanteud #valenciacf #realsociedad\n",
      "\n",
      "#FIFAWWC\n",
      "\n",
      "https://t.co/kuhpBqvdad\n",
      "\n",
      "Tweet 4: 🇪🇸 SELECCIÓN | Ya tenemos a las 23 elegidas que lucharán por avanzar en la clasificación al Mundial 2023\n",
      "\n",
      "Representación de jugadoras del #RealMadrid #FCBarcelona #ManchesterUnited #atleti #levanteud #valenciacf #realsociedad\n",
      "\n",
      "#FIFAWWC\n",
      "\n",
      "https://t.co/I9qLw0S4mL\n",
      "\n",
      "Tweet 5: 🇪🇸 SELECCIÓN | Ya tenemos a las 23 elegidas que lucharán por avanzar en la clasificación al Mundial 2023\n",
      "\n",
      "Representación de jugadoras del #RealMadrid #FCBarcelona #ManchesterUnited #atleti #levanteud #valenciacf #realsociedad\n",
      "\n",
      "#FIFAWWC\n",
      "\n",
      "https://t.co/dmiMZBb5hX\n",
      "\n",
      "Tweet 6: 🇪🇸 SELECCIÓN | Ya tenemos a las 23 elegidas que lucharán por avanzar en la clasificación al Mundial 2023\n",
      "\n",
      "Representación de jugadoras del #RealMadrid #FCBarcelona #ManchesterUnited #atleti #levanteud #valenciacf #realsociedad\n",
      "\n",
      "#FIFAWWC\n",
      "\n",
      "https://t.co/4QaV7v6rND\n",
      "\n",
      "Tweet 7: 🇪🇸 SELECCIÓN | Ya tenemos a las 23 elegidas que lucharán por avanzar en la clasificación al Mundial 2023\n",
      "\n",
      "Representación de jugadoras del #RealMadrid #FCBarcelona #ManchesterUnited #atleti #levanteud #valenciacf #realsociedad\n",
      "\n",
      "#FIFAWWC\n",
      "\n",
      "https://t.co/tWHoLPyuQU\n",
      "\n",
      "Tweet 8: 🇪🇸 SELECCIÓN | Ya tenemos a las 23 elegidas que lucharán por avanzar en la clasificación al Mundial 2023\n",
      "\n",
      "Representación de jugadoras del #RealMadrid #FCBarcelona #ManchesterUnited #atleti #levanteud #valenciacf #realsociedad\n",
      "\n",
      "#FIFAWWC\n",
      "\n",
      "https://t.co/JTND2FNjtE\n",
      "\n",
      "Tweet 9: 🇪🇸 SELECCIÓN | Ya tenemos a las 23 elegidas que lucharán por avanzar en la clasificación al Mundial 2023\n",
      "\n",
      "Representación de jugadoras del #RealMadrid #FCBarcelona #ManchesterUnited #atleti #levanteud #valenciacf #realsociedad\n",
      "\n",
      "#FIFAWWC\n",
      "\n",
      "https://t.co/491Cg7lZDL\n",
      "\n",
      "Tweet 10: 🇪🇸 SELECCIÓN | Ya tenemos a las 23 elegidas que lucharán por avanzar en la clasificación al Mundial 2023\n",
      "\n",
      "Representación de jugadoras del #RealMadrid #FCBarcelona #ManchesterUnited #atleti #levanteud #valenciacf #realsociedad\n",
      "\n",
      "#FIFAWWC\n",
      "\n",
      "https://t.co/xziLiNh267\n",
      "\n",
      "Tweet 11: 🇪🇸 SELECCIÓN | Ya tenemos a las 23 elegidas que lucharán por avanzar en la clasificación al Mundial 2023\n",
      "\n",
      "Representación de jugadoras del #RealMadrid #FCBarcelona #ManchesterUnited #atleti #levanteud #valenciacf #realsociedad\n",
      "\n",
      "#FIFAWWC\n",
      "\n",
      "https://t.co/kAUKIzZ9Lu\n",
      "\n",
      "Tweet 12: XAVI quiere a TOMMI #sergiogamer78 https://t.co/7eAfRQqIwB a través de @tutiofifa #FCBarcelona #RealMadrid #futbol #ChampionsLeague #FYP #viral #Video #troll #humour #CristianoRonaldo #Messi #Espana #streaming #streamer #fypシ\n",
      "\n",
      "Tweet 13: Ya tenéis en https://t.co/DoOcoi2t5z nuestro directo FUTBOLERO\n",
      "\n",
      "#futbol #fútbol #ligaespañola #premierleague #realmadrid #barça #RealMadrid #FCBarcelona #atleticodemadrid #bayernmunich #manchestercityfc #halaand #mbappe #viniciusjr #cristianoronaldo #messi #twitch #twitchespaña https://t.co/dVVlYL3x6y\n",
      "\n",
      "Tweet 14: RT @giaco_iaco: 📣 #FCB #FCBarcelona y #RealMadrid siguen al talento del #Napoli, Eljif #Elmas. El extremo macedonio ya jugó 16 partidos con…\n",
      "\n",
      "Tweet 15: Hoy a las 19h (hora española) en https://t.co/DoOcoi2t5z  nuestro directo FUTBOLERO.\n",
      "#futbol #fútbol #ligaespañola #premierleague #seriea #superliga #realmadrid #barça #fcbarcelona #bayernmunich #manchestercityfc #halaand #mbappe #vinicius #ESPAÑA #messi #twitch #twitchespaña https://t.co/6zDGvb2tX5\n",
      "\n",
      "Tweet 16: 📣 #FCB #FCBarcelona y #RealMadrid siguen al talento del #Napoli, Eljif #Elmas. El extremo macedonio ya jugó 16 partidos con 2 goles y 2 asistencias en la 2021-22 @marcoconterio @TuttoMercatoWeb\n",
      "\n",
      "Tweet 17: RT @defcentral: Cinco jugadores del Real Madrid Castilla superan o igualan el valor de mercado del ‘abuelo’ Alves\n",
      "\n",
      "https://t.co/ZMJouw6sF1…\n",
      "\n",
      "Tweet 18: Cinco jugadores del Real Madrid Castilla superan o igualan el valor de mercado del ‘abuelo’ Alves\n",
      "\n",
      "https://t.co/ZMJouw6sF1\n",
      "\n",
      "#Alves #FCBarcelona #Marvel #RealMadrid https://t.co/r76JmpwhQ0\n",
      "\n",
      "Tweet 19: RT @NotiFut38033094: Maximos goleadores de @laliga hasta la última jornada 🔥🤩\n",
      "\n",
      "—————————————————————\n",
      "#laliga #transfermarkt #futbol #benzem…\n",
      "\n",
      "Tweet 20: Maximos goleadores de @laliga hasta la última jornada 🔥🤩\n",
      "\n",
      "—————————————————————\n",
      "#laliga #transfermarkt #futbol #benzema #realmadrid #viniciusjr #luissuarez #atleticodemadrid #rauldetomas #espanyol #oyarzabal #realsociedad #depay #fcbarcelona #falcao #rayovallecano #willianjose https://t.co/g03tJwZ6w9\n",
      "\n",
      "Tweet 21: RT @defcentral: El escocido Tebas empieza su campaña anti-Mbappé: \"Ansu Fati es mejor que él\" \n",
      "\n",
      "https://t.co/qgo30aVeJh\n",
      "\n",
      "#RealMadrid #FCBar…\n",
      "\n",
      "Tweet 22: RT @_elevenfootball: 🇪🇸CONOCE LOS JUGADORES QUE HA HECHO DEBUTAR LUIS ENRIQUE CON LA SELECCIÓN ESPAÑOLA\n",
      "\n",
      "‼️Nuevo Post de Eleven Football en…\n",
      "\n",
      "Tweet 23: RT @defcentral: El escocido Tebas empieza su campaña anti-Mbappé: \"Ansu Fati es mejor que él\" \n",
      "\n",
      "https://t.co/qgo30aVeJh\n",
      "\n",
      "#RealMadrid #FCBar…\n",
      "\n",
      "Tweet 24: El escocido Tebas empieza su campaña anti-Mbappé: \"Ansu Fati es mejor que él\" \n",
      "\n",
      "https://t.co/qgo30aVeJh\n",
      "\n",
      "#RealMadrid #FCBarcelona #LaLigaSantander https://t.co/jdWs7wzMyf\n",
      "\n",
      "Tweet 25: 1995 - La manita del #RealMadrid al #FCBarcelona en el #clasico . Menuda tarde de Ivan Zamorano @bambam9oficial ; 3 goles, un balón al palo y una asistencia de gol. #FCB https://t.co/2sbX8q6zN5\n",
      "\n",
      "Tweet 26: FALLA PORTERO y NO TE PIERDAS lo que hace el delantero 🚀🌈😱✔💯😍🆗👀✅ https://t.co/wx61GMYAPQ a través de @YouTube \n",
      "\n",
      "#futbol #football #soccer #barcelona #realmadrid #spain #españa #madrid #messi #laliga #fcbarcelona #championsleague #ronaldo #fifa #sport #worldcup #neymar\n",
      "\n",
      "Tweet 27: RT @10delBarca: El periodista madridista Ramón Álvarez de Mon  @Ramon_AlvarezMM acusa al youtuber blaugrana Míster Seitán @CuentaMister de…\n",
      "\n",
      "Tweet 28: Tres Champions seguidas el \"parche\", a ver qué hace la superstar... 🤔 Ay el panfleto 🤦🏻‍♂️😂#RealMadrid #LaLiga #FCBarcelona https://t.co/jEqx1y09GD\n",
      "\n",
      "Tweet 29: RT @10delBarca: El periodista madridista Ramón Álvarez de Mon  @Ramon_AlvarezMM acusa al youtuber blaugrana Míster Seitán @CuentaMister de…\n",
      "\n",
      "Tweet 30: RT @10delBarca: El periodista madridista Ramón Álvarez de Mon  @Ramon_AlvarezMM acusa al youtuber blaugrana Míster Seitán @CuentaMister de…\n",
      "\n",
      "Tweet 31: RT @10delBarca: El periodista madridista Ramón Álvarez de Mon  @Ramon_AlvarezMM acusa al youtuber blaugrana Míster Seitán @CuentaMister de…\n",
      "\n",
      "Tweet 32: RT @10delBarca: El periodista madridista Ramón Álvarez de Mon  @Ramon_AlvarezMM acusa al youtuber blaugrana Míster Seitán @CuentaMister de…\n",
      "\n",
      "Tweet 33: RT @10delBarca: El periodista madridista Ramón Álvarez de Mon  @Ramon_AlvarezMM acusa al youtuber blaugrana Míster Seitán @CuentaMister de…\n",
      "\n",
      "Tweet 34: El periodista madridista Ramón Álvarez de Mon  @Ramon_AlvarezMM acusa al youtuber blaugrana Míster Seitán @CuentaMister de faltarle al respeto 🤔\n",
      "\n",
      "¿Tú qué opinas? \n",
      "\n",
      "Video completo:\n",
      "https://t.co/FrmJAsMa8i\n",
      "#FCBarcelona #RealMadrid https://t.co/wH54FRXiUe\n",
      "\n",
      "Tweet 35: @elmejorequip @agentebourbon @FCBarcelona_es Por ser mujer no sé de fútbol??? Me parece a mi que el machismo de los fanáticos del #realmadrid está contagiandose a los del #fcbarcelona y que pena oye que luego los machos digáis que el Barcelona tiene valores cuándo su afición no!\n",
      "\n",
      "Tweet 36: El Clásico ⚽\n",
      "\n",
      "Consúltanos y vívelo con nosotros\n",
      "\n",
      "#ElClasico #FCBarcelona #RealMadrid #2022 #santiagobernabeu #futbol #mundotoursports https://t.co/3yQGV9HC4C\n",
      "\n",
      "Tweet 37: RT @defcentral: El exbarcelonista Rakitic no se corta y pide el Balón de Oro para Benzema\n",
      "\n",
      "https://t.co/yEZRAxrfnk\n",
      "\n",
      "#RealMadrid #FCBarcelon…\n",
      "\n",
      "Tweet 38: RT @defcentral: El exbarcelonista Rakitic no se corta y pide el Balón de Oro para Benzema\n",
      "\n",
      "https://t.co/yEZRAxrfnk\n",
      "\n",
      "#RealMadrid #FCBarcelon…\n",
      "\n",
      "Tweet 39: RT @defcentral: El exbarcelonista Rakitic no se corta y pide el Balón de Oro para Benzema\n",
      "\n",
      "https://t.co/yEZRAxrfnk\n",
      "\n",
      "#RealMadrid #FCBarcelon…\n",
      "\n",
      "Tweet 40: 😮 Y si se lo roba a Florentino? Xavi quiere pescar en el @realmadrid a coste 0 #FCBarcelona #realmadrid\n",
      "\n",
      "https://t.co/Hize2kcv2J\n",
      "\n",
      "Tweet 41: 🇪🇸CONOCE LOS JUGADORES QUE HA HECHO DEBUTAR LUIS ENRIQUE CON LA SELECCIÓN ESPAÑOLA\n",
      "\n",
      "‼️Nuevo Post de Eleven Football en Instagram\n",
      "\n",
      "👀¿Quién os falta en la lista? \n",
      "¡Os leemos!\n",
      "\n",
      "https://t.co/ZkzdB8EEhg \n",
      "\n",
      "#rdt #brahimdiaz #Seleccion #RealMadrid #FCBarcelona #AtleticoMadrid\n",
      "\n",
      "Tweet 42: RT @defcentral: El exbarcelonista Rakitic no se corta y pide el Balón de Oro para Benzema\n",
      "\n",
      "https://t.co/yEZRAxrfnk\n",
      "\n",
      "#RealMadrid #FCBarcelon…\n",
      "\n",
      "Tweet 43: RT @defcentral: El exbarcelonista Rakitic no se corta y pide el Balón de Oro para Benzema\n",
      "\n",
      "https://t.co/yEZRAxrfnk\n",
      "\n",
      "#RealMadrid #FCBarcelon…\n",
      "\n",
      "Tweet 44: RT @defcentral: El exbarcelonista Rakitic no se corta y pide el Balón de Oro para Benzema\n",
      "\n",
      "https://t.co/yEZRAxrfnk\n",
      "\n",
      "#RealMadrid #FCBarcelon…\n",
      "\n",
      "Tweet 45: 😮 Y si se lo roba a Florentino? Xavi quiere pescar en el @realmadrid a coste 0 #FCBarcelona #realmadrid\n",
      "\n",
      "https://t.co/Hize2ku5Uh\n",
      "\n",
      "Tweet 46: Santiago Solari da su opinión tras la llegada de Xavi al FC Barcelona.\n",
      "El DT del Club América aseguró que....\n",
      "#ClubAmerica #Solari #FCBarcelona #RealMadrid #LaLiga https://t.co/kIQA0klCIa\n",
      "\n",
      "Tweet 47: RT @defcentral: El exbarcelonista Rakitic no se corta y pide el Balón de Oro para Benzema\n",
      "\n",
      "https://t.co/yEZRAxrfnk\n",
      "\n",
      "#RealMadrid #FCBarcelon…\n",
      "\n",
      "Tweet 48: El exbarcelonista Rakitic no se corta y pide el Balón de Oro para Benzema\n",
      "\n",
      "https://t.co/yEZRAxrfnk\n",
      "\n",
      "#RealMadrid #FCBarcelona #BallonDor https://t.co/55j1cr2jIm\n",
      "\n",
      "Tweet 49: Ya está arriba nuestro último programa!! #xavi #xavihernandez #FCBarcelona #Laporta #RealMadrid #Manchester #ManU #City https://t.co/HtBoXS8lqK\n",
      "\n",
      "Tweet 50: Ya teneis en https://t.co/DoOcoi2t5z  nuestro directo  de debate y análisis futbolero FUERA DE JUEGO\n",
      "\n",
      "#futbol #fútbol #laliga #premierleague #seriea #realmadrid #barça #fcbarcelona #atleticodemadrid #bayernmunich #manchestercityfc #mbappe #viniciusjr #messi #twitch #twitchespaña https://t.co/PmLrBqNRsk\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# Numero de tweets a pedir\n",
    "n_tweets = 50\n",
    "\n",
    "# Hashtags\n",
    "hashtags = '#RealMadrid,#FCBarcelona'\n",
    "\n",
    "\n",
    "# Leo los tweets disponibles\n",
    "tweets = list()\n",
    "for tw in tweepy.Cursor(api.search, q=hashtags, lang=\"es\", tweet_mode=\"extended\").items(n_tweets):\n",
    "    tweets.append(tw.full_text.encode(encoding='utf-8').strip())\n",
    "\n",
    "for i, tweet in enumerate(tweets):\n",
    "    print('Tweet {num}: {tweet}\\n'.format(num=i+1, tweet=tweet.decode(\"utf-8\")))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Escribirmos los tweets en un fichero de texto para su almacenamiento:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Fichero donde guardaremos los tweets obtenidos\n",
    "file = \"./data/resultados/ejemplo_tweets_por_hashtag.csv\"\n",
    "\n",
    "# Escribimos los datos en fichero\n",
    "fichero = open(file, 'w', encoding='utf8')\n",
    "for i, tweet in enumerate(tweets):\n",
    "    fichero.write('{num},{tweet}\\n'.format(num=i+1, tweet=tweet.decode(\"utf-8\")))\n",
    "fichero.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "## Ejemplo 2 - Obtención de tweets por cuenta\n",
    "\n",
    "\n",
    "* Obtenemos los tweets de las cuentas de partidos políticos."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-> PPopular||pp||Recordamos que ahora estamos en @populares.\n",
      "\n",
      "-> PSOE||psoe||Con la nueva FP formamos a nuestros trabajadores y desempleados para que, mejorando su cualificación, estén preparados antes cualquier imprevisto.\n",
      "\n",
      "👉 Una formación vinculada a los sectores emergentes.\n",
      "\n",
      "🌹 @Pilar_Alegria \n",
      "\n",
      "#CMin\n",
      "#Avanzamos_ https://t.co/EeRVIIlU4H\n",
      "\n",
      "-> PSOE||psoe||El Gobierno apuesta de manera clara y decidida por la educación infantil.\n",
      "\n",
      "🌹 670M€ para la puesta en marcha de 65.382 nuevas plazas para niños y niñas de 0 a 3 años.\n",
      "\n",
      "🗣️ @Pilar_Alegria \n",
      "\n",
      "#CMin \n",
      "#Avanzamos_ https://t.co/bwpcTTwLN6\n",
      "\n",
      "-> CiudadanosCs||ciudadanos||💪 Insistimos en llevar los presupuestos al Consell de Garantías Estatutarias.\n",
      "\n",
      "‼️ Incurren en gastos en acción exterior que son ilegales.\n",
      "\n",
      "📡 @CarrizosaCarlos \"Es inaudito que los partidos que defienden la unidad de España no defiendan el dinero de los catalanes\" #ActualidadCs https://t.co/9ro0mIykXl\n",
      "\n",
      "-> CiudadanosCs||ciudadanos||Esperábamos que la CUP se alinease con unos presupuestos que dan continuidad al 'procés'...\n",
      "\n",
      "🤯 ¡Lo que nos sorprende es que el PSC se preste a salvar sus cuentas separatistas!\n",
      "\n",
      "📡 @CarrizosaCarlos \"Urgen unos presupuestos que salven la economía catalana\" #ActualidadCs https://t.co/1AKScrCON9\n",
      "\n",
      "-> PODEMOS||podemos||Hoy hemos aprobado el indulto parcial a Juana Rivas, una madre que protegió a sus hijos de la violencia machista y que fue condenada injustamente. Porque un maltratador nunca puede ser un buen padre, porque ninguna madre debería estar obligada a ver a sus hijos con su maltratador\n",
      "\n",
      "-> PODEMOS||podemos||Esta semana:\n",
      "\n",
      "❌ El PP se enfrenta a la posible imputación de Esperanza Aguirre y a un juicio de la Gürtel en Boadilla.\n",
      "\n",
      "✅ El Gobierno de coalición firma un acuerdo que garantiza que no se van a recortar las pensiones presentes o futuras.\n",
      "\n",
      "Diferencias. https://t.co/ySbxbzCGef\n",
      "\n",
      "-> vox_es||vox||La frontera oriental de Europa está siendo atacada.\n",
      "\n",
      "Miles de inmigrantes ilegales intentan romper el cordón de la guardia fronteriza polaca que impide que puedan asaltar el país.\n",
      "\n",
      "#GraciasPolonia por marcar el camino en la defensa de nuestra integridad y soberanía ⚔🇵🇱 https://t.co/ouBv11vqMn\n",
      "\n"
     ]
    }
   ],
   "source": [
    "cuentas = [{'partido': 'pp', 'nombre_cuenta': 'PPopular'},\n",
    "           {'partido': 'psoe', 'nombre_cuenta': 'PSOE'},\n",
    "           {'partido': 'ciudadanos', 'nombre_cuenta': 'CiudadanosCs'},\n",
    "           {'partido': 'podemos', 'nombre_cuenta': 'PODEMOS'},\n",
    "           {'partido': 'vox', 'nombre_cuenta': 'vox_es'}]\n",
    "\n",
    "# Numero de tweets a pedir por cuenta\n",
    "n_tweets = 2\n",
    "\n",
    "# Leo los tweets disponibles\n",
    "tweets = list()\n",
    "for i in cuentas:\n",
    "    for user_status in api.user_timeline(screen_name=i['nombre_cuenta'], count = n_tweets, include_rts=False, tweet_mode=\"extended\"):\n",
    "        tweets.append('{cuenta}||{partido}||{tweet}'\n",
    "                      .format(cuenta=i['nombre_cuenta'],\n",
    "                              partido=i['partido'],\n",
    "                              tweet=str(user_status.full_text.encode('utf-8').decode('utf-8')).strip()))\n",
    "\n",
    "for i, tweet in enumerate(tweets):\n",
    "    print('-> {tweet}\\n'.format(tweet=tweet))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "# Bonus Track - Strings - Codificación y funciones básicas\n",
    " \n",
    "\n",
    "\n",
    "\n",
    "## Codificación de Caracteres\n",
    "\n",
    "\n",
    "* Uno de los quebraderos de cabeza que se tiene a la hora de trabajar con python (sobre todo con python 2.X) es el tema de la ***codificación de los textos (Strings)***.\n",
    "\n",
    "\n",
    "* En un principio los ordenadores se diseñaron para utilizar el alfabeto ingles (que entre otras cosas no tiene ni acentos ni letras como la \"ñ\" para el Español) y por ese motivo se definió la codificación ***ASCII*** (***A***merican ***S***tandard ***C***ode for ***I***nformation ***I***nterchange) definido con 128 caracteres (7 bits para representar los 2<sup>7</sup> = 128 caracteres).\n",
    "\n",
    "\n",
    "<img src=\"./imgs/01_01_ASCII.png\" style=\"width: 500px;\"/>\n",
    "\n",
    "\n",
    "* Dado que en el resto de lenguas en el mundo hay muchos más caracteres, se definió una nueva codificación de caracteres denominada como ***UNICODE*** que representa alrededor de 110.000 caracteres.\n",
    "\n",
    "\n",
    "* Por tanto para poder trabajar con Strings (codificados de diferente manera) se debería hacer lo siguiente:\n",
    "\n",
    "    1. ¿Cual es la codificación de mi fichero original?\n",
    "    2. **Decode**: Paso el string de mi fichero a Unicode (cambio de codificación)\n",
    "    3. Realizo las operaciones que sean necesarias sobre los strings codificados en **Unicode**\n",
    "    4. **Encode**: Escribo de **Unicode** a otra **codificación** el string con el que he trabajado\n",
    "\n",
    "\n",
    "<img src=\"./imgs/01_02_Codificacion.png\" style=\"width: 500px;\"/>\n",
    "\n",
    "\n",
    "<hr>\n",
    "\n",
    "\n",
    "## Operaciones con Strings\n",
    "\n",
    "\n",
    "* Muchas veces tenemos que realizar operaciones de transforación sobre palabras o textos. A continuación se muestran algunas de las funciones más útiles para trabajar con strings:\n",
    "\n",
    "|Nombre Función|Funcionalidad|\n",
    "|---|---|\n",
    "|[s.find(t)](#M1)|index of first instance of string t inside s (-1 if not found)|\n",
    "|[s.rfind(t)](#M2)|index of last instance of string t inside s (-1 if not found)|\n",
    "|[s.index(t)](#M3)|like s.find(t) except it raises ValueError if not found|\n",
    "|[s.rindex(t)](#M4)|like s.rfind(t) except it raises ValueError if not found|\n",
    "|[s.join(text)](#M5)|combine the words of the text into a string using s as the glue|\n",
    "|[s.split(t)](#M6)|split s into a list wherever a t is found (whitespace by default)|\n",
    "|[s.splitlines()](#M7)|split s into a list of strings, one per line|\n",
    "|[s.lower()](#M8)|a lowercased version of the string s|\n",
    "|[s.upper()](#M9)|an uppercased version of the string s|\n",
    "|[s.title()](#M10)|a titlecased version of the string s|\n",
    "|[s.strip()](#M11)|a copy of s without leading or trailing whitespace|\n",
    "|[s.replace(t, u)](#M12)|replace instances of t with u inside s|"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "### <a name=\"M1\">s.find(t)</a>\n",
    "\n",
    "\n",
    "* Encuentra la posición (indice) del string que se pasa como parámetro empezando a contar desde la izquierda.\n",
    "\n",
    "\n",
    "* Si no encuentra el string, devuelve valor -1."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "8"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s = 'Ricardo Moya'\n",
    "s.find('Moya')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s.find('a')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "-1"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s.find('e')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "### <a name=\"M2\">s.rfind(t)</a>\n",
    "\n",
    "\n",
    "* Hace lo mismo que \"s.find(t)\" pero empezando a contar desde la derecha."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "11"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s.rfind('a')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "8"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s.rfind('Moya')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "### <a name=\"M3\">s.index(t)</a>\n",
    "\n",
    "\n",
    "* Hace lo mismo que \"s.find(t)\", con la única diferencia que devuelve un error (en vez de un -1) si no encuentra el string que se pasa como parámetro."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "8"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s.index('Moya')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s.index('a')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "ename": "ValueError",
     "evalue": "substring not found",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mValueError\u001b[0m                                Traceback (most recent call last)",
      "\u001b[1;32m<ipython-input-12-8ac0fc017686>\u001b[0m in \u001b[0;36m<module>\u001b[1;34m\u001b[0m\n\u001b[1;32m----> 1\u001b[1;33m \u001b[0ms\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mindex\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'e'\u001b[0m\u001b[1;33m)\u001b[0m \u001b[1;31m# Devuelve un error\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[1;31mValueError\u001b[0m: substring not found"
     ]
    }
   ],
   "source": [
    "s.index('e') # Devuelve un error"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "### <a name=\"M4\">s.rindex(t)\n",
    "\n",
    "\n",
    "* Hace lo mismo que \"s.index(t)\" pero empezando a contar desde la derecha."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "11"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s.rindex('a')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "8"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s.rfind('Moya')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "### <a name=\"M5\">separador.join(text)</a>\n",
    "\n",
    "\n",
    "* Une cada letra del string que se le pasa como parámetro con el separador.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'R-i-c-a-r-d-o- -M-o-y-a'"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "'-'.join(s)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Esta es una función muy utilizada para formar una cadena de texto con separador (por ejemplo un espacio en blanco) a partir de una lista o tupla:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Un radar multa a Mariano Rajoy por caminar demasiado rapido'"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lista = [\"Un\", \"radar\", \"multa\", \"a\", \"Mariano\", \"Rajoy\", \"por\", \"caminar\", \"demasiado\", \"rapido\"]\n",
    "' '.join(lista)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "### <a name=\"M6\">s.split(t)</a>\n",
    "\n",
    "\n",
    "* Divide el String \"***s***\" en una lista siempre que encuentre un separador \"***t***\".\n",
    "\n",
    "\n",
    "* Por defecto el separador es el espacio en blanco."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Un',\n",
       " 'radar',\n",
       " 'multa',\n",
       " 'a',\n",
       " 'Mariano',\n",
       " 'Rajoy',\n",
       " 'por',\n",
       " 'caminar',\n",
       " 'demasiado',\n",
       " 'rapido']"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "texto = \"Un radar multa a Mariano Rajoy por caminar demasiado rapido\"\n",
    "texto.split(' ')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "### <a name=\"M7\">s.splitlines()</a>\n",
    "\n",
    "\n",
    "* Divide un String \"***s***\" en una lista siempre que encuentre un salto de linea (\\n)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[' linea 1', 'linea 2', 'linea 3']"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "texto = \"\"\" linea 1\\nlinea 2\n",
    "linea 3\n",
    "\"\"\"\n",
    "\n",
    "texto.splitlines()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "### <a name=\"M8\">s.lower()</a>\n",
    "\n",
    "\n",
    "* Transforma un String \"***s***\" a minúsculas."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'minusculas'"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s = \"MiNuSCuLaS\"\n",
    "s.lower()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "### <a name=\"M9\">s.upper()</a>\n",
    "\n",
    "\n",
    "* Transforma un String \"***s***\" a mayúsculas."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'MAYUSCULAS'"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s = \"mAyUscUlAs\"\n",
    "s.upper()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "### <a name=\"M10\">s.title()</a>\n",
    "\n",
    "\n",
    "* Transforma el String \"***s***\" en formato título; es decir, pone la primera letra de cada palabra de String en mayúsculas y el resto en minúsculas."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Ricardo Moya'"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s = \"rIcArdO mOyA\"\n",
    "s.title()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "### <a name=\"M11\">s.strip()</a>\n",
    "\n",
    "\n",
    "* Elimina los espacios en blanco y caracteres espaciales que hay tanto a la decrecha como a la izquierda del String \"***s***\".\n",
    "\n",
    "\n",
    "* Existen también las variantes de:\n",
    "    - s.rstrip(): Elimina los espacios en blanco y caracteres espaciales que hay a la derecha del string.\n",
    "    - s.lstrip(): Elimina los espacios en blanco y caracteres espaciales que hay a la izquierda del string."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Ricardo Moya'"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s = \"   \\tRicardo Moya  \\t  \"\n",
    "s.strip()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'   \\tRicardo Moya'"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s.rstrip()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Ricardo Moya  \\t  '"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s.lstrip()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "\n",
    "### <a name=\"M12\">s.replace(t, u)</a>\n",
    "\n",
    "\n",
    "* Dado un String \"***s***\" sustituye cada aparición \"***t***\" por \"***u***\", pasandose \"***t***\" y \"***u***\" como parámetro."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Un radar multa a un tio por caminar demasiado rapido'"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s = \"Un radar multa a Mariano Rajoy por caminar demasiado rapido\"\n",
    "s.replace(\"Mariano Rajoy\", \"un tio\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<hr>\n",
    "\n",
    "*Este Notebook ha sido desarrollado por **Ricardo Moya García** y registrado en Safe Creative como ***Atribución-NoComercial-CompartirIgual***.*\n",
    "\n",
    "<img src=\"./imgs/CC_BY-NC-SA.png\" alt=\"CC BY-NC\">"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}