4.5 News Data Preprocessing.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 抓取新浪微博新闻列表"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 170,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import re\n",
    "\n",
    "res = requests.get('http://news.sina.com.cn/china/')\n",
    "res.encoding = 'utf-8'\n",
    "#res.text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 171,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "soup = BeautifulSoup(res.text, 'html.parser')\n",
    "\n",
    "newsary = []\n",
    "for link in soup.select('.news-item'):\n",
    "    if len(link.select('h2 a')) > 0:\n",
    "        newsary.append(getArticle(link.select('h2 a')[0]['href']))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 建立文章抓取函数"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 168,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "def getArticle(url):\n",
    "    res = requests.get(url)\n",
    "    res.encoding = 'utf-8'\n",
    "    \n",
    "    soup = BeautifulSoup(res.text, 'html.parser')\n",
    "    dic = {}\n",
    "    \n",
    "    dic['title'] = soup.select('#artibodyTitle')[0].text\n",
    "    dic['content'] = ' '.join(soup.select('#artibody')[0].text.split())\n",
    "    dic['source'] = soup.select('#navtimeSource')[0].text\n",
    "    dic['keyword'] = soup.select('.article-keywords')[0].text\n",
    "    return dic\n",
    "\n",
    "#getArticle('http://news.sina.com.cn/c/sd/2016-11-29/doc-ifxyawxa3005371.shtml')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 建立DataFrame"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 172,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>content</th>\n",
       "      <th>keyword</th>\n",
       "      <th>source</th>\n",
       "      <th>title</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>原标题：兰州建“文明城市”：考核合格单位职工增发一月工资 资料图。 为了确保兰州市创建全国文...</td>\n",
       "      <td>\\n文章关键词：\\n兰州 文明城市\\n</td>\n",
       "      <td>2017年04月26日18:33\\t\\t\\n环球网\\n</td>\n",
       "      <td>兰州建文明城市:考核合格单位职工增发1月工资</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>原标题：宁夏自治区党委主要负责同志职务调整 新华社北京4月26日电日前，中共中央决定： 石泰...</td>\n",
       "      <td>\\n文章关键词：\\n石泰峰 人事任免 宁夏\\n</td>\n",
       "      <td>2017年04月26日17:18\\t\\t\\n新华社\\n</td>\n",
       "      <td>石泰峰任宁夏党委书记 李建华另有任用</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>原标题：中国外交部：敦促日方不给中日关系造成新干扰 据报道，日本外务省25日向内阁会议提交2...</td>\n",
       "      <td>\\n文章关键词：\\n外交部 蓝皮书 中日关系\\n</td>\n",
       "      <td>2017年04月26日17:16\\t\\t\\n央视新闻\\n</td>\n",
       "      <td>外交部回应日本外交蓝皮书有关涉华内容</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>原标题：中国外交部：强烈敦促美韩取消部署“萨德” 据报道，26日凌晨，驻韩美军将“萨德”反导...</td>\n",
       "      <td>\\n文章关键词：\\n外交部 驻韩美军 萨德\\n</td>\n",
       "      <td>2017年04月26日17:10\\t\\t\\n央视新闻\\n</td>\n",
       "      <td>驻韩美军将萨德部件运入星州高球场 外交部回应</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>原标题：安徽省副省长周春雨涉嫌严重违纪接受组织审查 安徽省副省长周春雨涉嫌严重违纪，目前正接...</td>\n",
       "      <td>\\n文章关键词：\\n周春雨 副省长 反腐\\n</td>\n",
       "      <td>2017年04月26日16:56\\t\\t\\n中央纪委监察部网站\\n</td>\n",
       "      <td>安徽省副省长周春雨涉嫌严重违纪接受组织审查</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>原标题：雄安新区规划设计将面向全球招标 26日下午，雄安新区举行首场新闻发布会，新区筹委会副...</td>\n",
       "      <td>\\n文章关键词：\\n雄安新区\\n</td>\n",
       "      <td>2017年04月26日16:36\\t\\t\\n新华网\\n</td>\n",
       "      <td>雄安新区启动区30平方公里 规划设计全球招标</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>原标题：许勤当选为河北省人民政府省长 河北新闻网4月26日讯 河北省第十二届人民代表大会第六...</td>\n",
       "      <td>\\n文章关键词：\\n许勤 省长\\n</td>\n",
       "      <td>2017年04月26日16:25\\t\\t\\n中国新闻网\\n</td>\n",
       "      <td>许勤任河北省省长(图/简历)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>原标题：中共国家行政学院委员会关于巡视整改情况的通报 根据中央统一部署，2016年11月10...</td>\n",
       "      <td>\\n文章关键词：\\n国家行政学院 教师\\n</td>\n",
       "      <td>2017年04月26日16:14\\t\\t\\n中央纪委监察部网站\\n</td>\n",
       "      <td>国家行政学院党委通报巡视整改情况</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>原标题：江西回应“填湖造田”争议：为灭血吸虫 收益归集体 本报记者 蔡颖辉 近日，记者接到上...</td>\n",
       "      <td>\\n文章关键词：\\n血吸虫 余干县 钉螺\\n</td>\n",
       "      <td>2017年04月26日15:48\\t\\t\\n央视新闻\\n</td>\n",
       "      <td>江西回应“填湖造田”:为灭血吸虫 收益归集体</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>原标题：赵飞不再担任天津市副市长（图|简历） 中国经济网4月26日综合报道 据天津日报消息，...</td>\n",
       "      <td>\\n文章关键词：\\n赵飞 人事任免\\n</td>\n",
       "      <td>2017年04月26日15:20\\t\\t\\n中国经济网\\n</td>\n",
       "      <td>赵飞不再担任天津副市长(图/简历)</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                             content  \\\n",
       "0  原标题：兰州建“文明城市”：考核合格单位职工增发一月工资 资料图。 为了确保兰州市创建全国文...   \n",
       "1  原标题：宁夏自治区党委主要负责同志职务调整 新华社北京4月26日电日前，中共中央决定： 石泰...   \n",
       "2  原标题：中国外交部：敦促日方不给中日关系造成新干扰 据报道，日本外务省25日向内阁会议提交2...   \n",
       "3  原标题：中国外交部：强烈敦促美韩取消部署“萨德” 据报道，26日凌晨，驻韩美军将“萨德”反导...   \n",
       "4  原标题：安徽省副省长周春雨涉嫌严重违纪接受组织审查 安徽省副省长周春雨涉嫌严重违纪，目前正接...   \n",
       "5  原标题：雄安新区规划设计将面向全球招标 26日下午，雄安新区举行首场新闻发布会，新区筹委会副...   \n",
       "6  原标题：许勤当选为河北省人民政府省长 河北新闻网4月26日讯 河北省第十二届人民代表大会第六...   \n",
       "7  原标题：中共国家行政学院委员会关于巡视整改情况的通报 根据中央统一部署，2016年11月10...   \n",
       "8  原标题：江西回应“填湖造田”争议：为灭血吸虫 收益归集体 本报记者 蔡颖辉 近日，记者接到上...   \n",
       "9  原标题：赵飞不再担任天津市副市长（图|简历） 中国经济网4月26日综合报道 据天津日报消息，...   \n",
       "\n",
       "                    keyword                             source  \\\n",
       "0       \\n文章关键词：\\n兰州 文明城市\\n        2017年04月26日18:33\\t\\t\\n环球网\\n   \n",
       "1   \\n文章关键词：\\n石泰峰 人事任免 宁夏\\n        2017年04月26日17:18\\t\\t\\n新华社\\n   \n",
       "2  \\n文章关键词：\\n外交部 蓝皮书 中日关系\\n       2017年04月26日17:16\\t\\t\\n央视新闻\\n   \n",
       "3   \\n文章关键词：\\n外交部 驻韩美军 萨德\\n       2017年04月26日17:10\\t\\t\\n央视新闻\\n   \n",
       "4    \\n文章关键词：\\n周春雨 副省长 反腐\\n  2017年04月26日16:56\\t\\t\\n中央纪委监察部网站\\n   \n",
       "5          \\n文章关键词：\\n雄安新区\\n        2017年04月26日16:36\\t\\t\\n新华网\\n   \n",
       "6         \\n文章关键词：\\n许勤 省长\\n      2017年04月26日16:25\\t\\t\\n中国新闻网\\n   \n",
       "7     \\n文章关键词：\\n国家行政学院 教师\\n  2017年04月26日16:14\\t\\t\\n中央纪委监察部网站\\n   \n",
       "8    \\n文章关键词：\\n血吸虫 余干县 钉螺\\n       2017年04月26日15:48\\t\\t\\n央视新闻\\n   \n",
       "9       \\n文章关键词：\\n赵飞 人事任免\\n      2017年04月26日15:20\\t\\t\\n中国经济网\\n   \n",
       "\n",
       "                    title  \n",
       "0  兰州建文明城市:考核合格单位职工增发1月工资  \n",
       "1      石泰峰任宁夏党委书记 李建华另有任用  \n",
       "2      外交部回应日本外交蓝皮书有关涉华内容  \n",
       "3  驻韩美军将萨德部件运入星州高球场 外交部回应  \n",
       "4   安徽省副省长周春雨涉嫌严重违纪接受组织审查  \n",
       "5  雄安新区启动区30平方公里 规划设计全球招标  \n",
       "6          许勤任河北省省长(图/简历)  \n",
       "7        国家行政学院党委通报巡视整改情况  \n",
       "8  江西回应“填湖造田”:为灭血吸虫 收益归集体  \n",
       "9       赵飞不再担任天津副市长(图/简历)  "
      ]
     },
     "execution_count": 172,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas\n",
    "df = pandas.DataFrame(newsary)\n",
    "df.head(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 整理文章关键词"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 173,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0         \\n文章关键词：\\n兰州 文明城市\\n\n",
       "1     \\n文章关键词：\\n石泰峰 人事任免 宁夏\\n\n",
       "2    \\n文章关键词：\\n外交部 蓝皮书 中日关系\\n\n",
       "Name: keyword, dtype: object"
      ]
     },
     "execution_count": 173,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['keyword'].head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 178,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "#df['keyword'].map(lambda e: e.split('：')[1].split())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 179,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df['keyword'] = df['keyword'].map(lambda e: e.split('：')[1].split())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 180,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>content</th>\n",
       "      <th>keyword</th>\n",
       "      <th>source</th>\n",
       "      <th>title</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>原标题：兰州建“文明城市”：考核合格单位职工增发一月工资 资料图。 为了确保兰州市创建全国文...</td>\n",
       "      <td>[兰州, 文明城市]</td>\n",
       "      <td>2017年04月26日18:33\\t\\t\\n环球网\\n</td>\n",
       "      <td>兰州建文明城市:考核合格单位职工增发1月工资</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>原标题：宁夏自治区党委主要负责同志职务调整 新华社北京4月26日电日前，中共中央决定： 石泰...</td>\n",
       "      <td>[石泰峰, 人事任免, 宁夏]</td>\n",
       "      <td>2017年04月26日17:18\\t\\t\\n新华社\\n</td>\n",
       "      <td>石泰峰任宁夏党委书记 李建华另有任用</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>原标题：中国外交部：敦促日方不给中日关系造成新干扰 据报道，日本外务省25日向内阁会议提交2...</td>\n",
       "      <td>[外交部, 蓝皮书, 中日关系]</td>\n",
       "      <td>2017年04月26日17:16\\t\\t\\n央视新闻\\n</td>\n",
       "      <td>外交部回应日本外交蓝皮书有关涉华内容</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                             content           keyword  \\\n",
       "0  原标题：兰州建“文明城市”：考核合格单位职工增发一月工资 资料图。 为了确保兰州市创建全国文...        [兰州, 文明城市]   \n",
       "1  原标题：宁夏自治区党委主要负责同志职务调整 新华社北京4月26日电日前，中共中央决定： 石泰...   [石泰峰, 人事任免, 宁夏]   \n",
       "2  原标题：中国外交部：敦促日方不给中日关系造成新干扰 据报道，日本外务省25日向内阁会议提交2...  [外交部, 蓝皮书, 中日关系]   \n",
       "\n",
       "                         source                   title  \n",
       "0   2017年04月26日18:33\\t\\t\\n环球网\\n  兰州建文明城市:考核合格单位职工增发1月工资  \n",
       "1   2017年04月26日17:18\\t\\t\\n新华社\\n      石泰峰任宁夏党委书记 李建华另有任用  \n",
       "2  2017年04月26日17:16\\t\\t\\n央视新闻\\n      外交部回应日本外交蓝皮书有关涉华内容  "
      ]
     },
     "execution_count": 180,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head(3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 使用正规表达法抽取时间与源数据"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 181,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0          2017年04月26日18:33\\t\\t\\n环球网\\n\n",
       "1          2017年04月26日17:18\\t\\t\\n新华社\\n\n",
       "2         2017年04月26日17:16\\t\\t\\n央视新闻\\n\n",
       "3         2017年04月26日17:10\\t\\t\\n央视新闻\\n\n",
       "4    2017年04月26日16:56\\t\\t\\n中央纪委监察部网站\\n\n",
       "Name: source, dtype: object"
      ]
     },
     "execution_count": 181,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['source'].head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 183,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0          [2017年04月26日18:33, 环球网]\n",
       "1          [2017年04月26日17:18, 新华社]\n",
       "2         [2017年04月26日17:16, 央视新闻]\n",
       "3         [2017年04月26日17:10, 央视新闻]\n",
       "4    [2017年04月26日16:56, 中央纪委监察部网站]\n",
       "Name: source, dtype: object"
      ]
     },
     "execution_count": 183,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['source'].map(lambda e: e.split()).head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 185,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "#df['source'].str.extract('(\\d+年\\d+月\\d+日\\d+:\\d+)\\t\\t\\n(\\w+)\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 186,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df[['datetime', 'from']] = df['source'].str.extract('(\\d+年\\d+月\\d+日\\d+:\\d+)\\t\\t\\n(\\w+)\\n', expand =False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 187,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>content</th>\n",
       "      <th>keyword</th>\n",
       "      <th>source</th>\n",
       "      <th>title</th>\n",
       "      <th>datetime</th>\n",
       "      <th>from</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>原标题：兰州建“文明城市”：考核合格单位职工增发一月工资 资料图。 为了确保兰州市创建全国文...</td>\n",
       "      <td>[兰州, 文明城市]</td>\n",
       "      <td>2017年04月26日18:33\\t\\t\\n环球网\\n</td>\n",
       "      <td>兰州建文明城市:考核合格单位职工增发1月工资</td>\n",
       "      <td>2017年04月26日18:33</td>\n",
       "      <td>环球网</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>原标题：宁夏自治区党委主要负责同志职务调整 新华社北京4月26日电日前，中共中央决定： 石泰...</td>\n",
       "      <td>[石泰峰, 人事任免, 宁夏]</td>\n",
       "      <td>2017年04月26日17:18\\t\\t\\n新华社\\n</td>\n",
       "      <td>石泰峰任宁夏党委书记 李建华另有任用</td>\n",
       "      <td>2017年04月26日17:18</td>\n",
       "      <td>新华社</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>原标题：中国外交部：敦促日方不给中日关系造成新干扰 据报道，日本外务省25日向内阁会议提交2...</td>\n",
       "      <td>[外交部, 蓝皮书, 中日关系]</td>\n",
       "      <td>2017年04月26日17:16\\t\\t\\n央视新闻\\n</td>\n",
       "      <td>外交部回应日本外交蓝皮书有关涉华内容</td>\n",
       "      <td>2017年04月26日17:16</td>\n",
       "      <td>央视新闻</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                             content           keyword  \\\n",
       "0  原标题：兰州建“文明城市”：考核合格单位职工增发一月工资 资料图。 为了确保兰州市创建全国文...        [兰州, 文明城市]   \n",
       "1  原标题：宁夏自治区党委主要负责同志职务调整 新华社北京4月26日电日前，中共中央决定： 石泰...   [石泰峰, 人事任免, 宁夏]   \n",
       "2  原标题：中国外交部：敦促日方不给中日关系造成新干扰 据报道，日本外务省25日向内阁会议提交2...  [外交部, 蓝皮书, 中日关系]   \n",
       "\n",
       "                         source                   title          datetime  \\\n",
       "0   2017年04月26日18:33\\t\\t\\n环球网\\n  兰州建文明城市:考核合格单位职工增发1月工资  2017年04月26日18:33   \n",
       "1   2017年04月26日17:18\\t\\t\\n新华社\\n      石泰峰任宁夏党委书记 李建华另有任用  2017年04月26日17:18   \n",
       "2  2017年04月26日17:16\\t\\t\\n央视新闻\\n      外交部回应日本外交蓝皮书有关涉华内容  2017年04月26日17:16   \n",
       "\n",
       "   from  \n",
       "0   环球网  \n",
       "1   新华社  \n",
       "2  央视新闻  "
      ]
     },
     "execution_count": 187,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 188,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 92 entries, 0 to 91\n",
      "Data columns (total 6 columns):\n",
      "content     92 non-null object\n",
      "keyword     92 non-null object\n",
      "source      92 non-null object\n",
      "title       92 non-null object\n",
      "datetime    92 non-null object\n",
      "from        92 non-null object\n",
      "dtypes: object(6)\n",
      "memory usage: 4.4+ KB\n"
     ]
    }
   ],
   "source": [
    "df.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 转换时间格式"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 189,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df['datetime'] = pandas.to_datetime(df['datetime'], format = '%Y年%m月%d日%H:%M')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 195,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0   2017-04-26 18:33:00\n",
       "1   2017-04-26 17:18:00\n",
       "2   2017-04-26 17:16:00\n",
       "3   2017-04-26 17:10:00\n",
       "4   2017-04-26 16:56:00\n",
       "Name: datetime, dtype: datetime64[ns]"
      ]
     },
     "execution_count": 195,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['datetime'].head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 196,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>content</th>\n",
       "      <th>keyword</th>\n",
       "      <th>source</th>\n",
       "      <th>title</th>\n",
       "      <th>datetime</th>\n",
       "      <th>from</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>原标题：兰州建“文明城市”：考核合格单位职工增发一月工资 资料图。 为了确保兰州市创建全国文...</td>\n",
       "      <td>[兰州, 文明城市]</td>\n",
       "      <td>2017年04月26日18:33\\t\\t\\n环球网\\n</td>\n",
       "      <td>兰州建文明城市:考核合格单位职工增发1月工资</td>\n",
       "      <td>2017-04-26 18:33:00</td>\n",
       "      <td>环球网</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>原标题：宁夏自治区党委主要负责同志职务调整 新华社北京4月26日电日前，中共中央决定： 石泰...</td>\n",
       "      <td>[石泰峰, 人事任免, 宁夏]</td>\n",
       "      <td>2017年04月26日17:18\\t\\t\\n新华社\\n</td>\n",
       "      <td>石泰峰任宁夏党委书记 李建华另有任用</td>\n",
       "      <td>2017-04-26 17:18:00</td>\n",
       "      <td>新华社</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>原标题：中国外交部：敦促日方不给中日关系造成新干扰 据报道，日本外务省25日向内阁会议提交2...</td>\n",
       "      <td>[外交部, 蓝皮书, 中日关系]</td>\n",
       "      <td>2017年04月26日17:16\\t\\t\\n央视新闻\\n</td>\n",
       "      <td>外交部回应日本外交蓝皮书有关涉华内容</td>\n",
       "      <td>2017-04-26 17:16:00</td>\n",
       "      <td>央视新闻</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                             content           keyword  \\\n",
       "0  原标题：兰州建“文明城市”：考核合格单位职工增发一月工资 资料图。 为了确保兰州市创建全国文...        [兰州, 文明城市]   \n",
       "1  原标题：宁夏自治区党委主要负责同志职务调整 新华社北京4月26日电日前，中共中央决定： 石泰...   [石泰峰, 人事任免, 宁夏]   \n",
       "2  原标题：中国外交部：敦促日方不给中日关系造成新干扰 据报道，日本外务省25日向内阁会议提交2...  [外交部, 蓝皮书, 中日关系]   \n",
       "\n",
       "                         source                   title            datetime  \\\n",
       "0   2017年04月26日18:33\\t\\t\\n环球网\\n  兰州建文明城市:考核合格单位职工增发1月工资 2017-04-26 18:33:00   \n",
       "1   2017年04月26日17:18\\t\\t\\n新华社\\n      石泰峰任宁夏党委书记 李建华另有任用 2017-04-26 17:18:00   \n",
       "2  2017年04月26日17:16\\t\\t\\n央视新闻\\n      外交部回应日本外交蓝皮书有关涉华内容 2017-04-26 17:16:00   \n",
       "\n",
       "   from  \n",
       "0   环球网  \n",
       "1   新华社  \n",
       "2  央视新闻  "
      ]
     },
     "execution_count": 196,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head(3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 刪除Source"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 197,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "del df['source']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 198,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>content</th>\n",
       "      <th>keyword</th>\n",
       "      <th>title</th>\n",
       "      <th>datetime</th>\n",
       "      <th>from</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>原标题：兰州建“文明城市”：考核合格单位职工增发一月工资 资料图。 为了确保兰州市创建全国文...</td>\n",
       "      <td>[兰州, 文明城市]</td>\n",
       "      <td>兰州建文明城市:考核合格单位职工增发1月工资</td>\n",
       "      <td>2017-04-26 18:33:00</td>\n",
       "      <td>环球网</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>原标题：宁夏自治区党委主要负责同志职务调整 新华社北京4月26日电日前，中共中央决定： 石泰...</td>\n",
       "      <td>[石泰峰, 人事任免, 宁夏]</td>\n",
       "      <td>石泰峰任宁夏党委书记 李建华另有任用</td>\n",
       "      <td>2017-04-26 17:18:00</td>\n",
       "      <td>新华社</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>原标题：中国外交部：敦促日方不给中日关系造成新干扰 据报道，日本外务省25日向内阁会议提交2...</td>\n",
       "      <td>[外交部, 蓝皮书, 中日关系]</td>\n",
       "      <td>外交部回应日本外交蓝皮书有关涉华内容</td>\n",
       "      <td>2017-04-26 17:16:00</td>\n",
       "      <td>央视新闻</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                             content           keyword  \\\n",
       "0  原标题：兰州建“文明城市”：考核合格单位职工增发一月工资 资料图。 为了确保兰州市创建全国文...        [兰州, 文明城市]   \n",
       "1  原标题：宁夏自治区党委主要负责同志职务调整 新华社北京4月26日电日前，中共中央决定： 石泰...   [石泰峰, 人事任免, 宁夏]   \n",
       "2  原标题：中国外交部：敦促日方不给中日关系造成新干扰 据报道，日本外务省25日向内阁会议提交2...  [外交部, 蓝皮书, 中日关系]   \n",
       "\n",
       "                    title            datetime  from  \n",
       "0  兰州建文明城市:考核合格单位职工增发1月工资 2017-04-26 18:33:00   环球网  \n",
       "1      石泰峰任宁夏党委书记 李建华另有任用 2017-04-26 17:18:00   新华社  \n",
       "2      外交部回应日本外交蓝皮书有关涉华内容 2017-04-26 17:16:00  央视新闻  "
      ]
     },
     "execution_count": 198,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 200,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df = df[['from','title', 'content', 'keyword', 'datetime']]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 将整理好的数据储存回Excel"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 202,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df.to_excel('news.xlsx')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}