nakamura/dataextract.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "from bs4 import BeautifulSoup\n",
    "import csv\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "import requests\n",
    "import re\n",
    "import time\n",
    "from tqdm import tqdm\n",
    "import json\n",
    "from datetime import datetime, timedelta, timezone\n",
    "import pickle\n",
    "import pprint"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(\"../data/鉄道人身事故データベース.html\", \"r\") as f:\n",
    "    html = f.read()\n",
    "    soup = BeautifulSoup(html, 'html.parser')\n",
    "    a = soup.findAll(\"table\")[0].findAll(\"tr\")\n",
    "    with open(\"../data/jinshin.csv\", \"w\", newline=\"\", encoding=\"utf-8\") as file:\n",
    "        csv_write = csv.writer(file)\n",
    "        for tr in a:\n",
    "            data = []\n",
    "            for cell in tr.findAll([\"td\", \"th\"]):\n",
    "                if (not \"詳細\" in cell.get_text()) and cell.get_text() != \"\":\n",
    "                    data.append(cell.get_text())\n",
    "            if len(data) == 3:\n",
    "                data.append(\"\")\n",
    "            for url in tr.findAll(\"a\"):\n",
    "                data.append(url.get(\"href\"))\n",
    "            csv_write.writerow(data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.read_csv(\"../data/jinshin.csv\", header=0, names=[\"date\", \"line\", \"place\", \"injury\", \"url\"])\n",
    "data = []\n",
    "sentences = []\n",
    "for url in tqdm(df[\"url\"]):\n",
    "    d = BeautifulSoup(requests.get(url).text,'html.parser')\n",
    "    a = d.findAll(\"a\",text=re.compile(\"魚拓\"))\n",
    "    if a :\n",
    "        data.append(a[0].get(\"href\"))\n",
    "    else :\n",
    "        data.append(\"\")\n",
    "    sentence = d.findAll(\"p\",class_=\"card-text\")\n",
    "    if sentence:\n",
    "        sentences.append(sentence[0].get_text().replace(\" \",\"\").replace(\"\\n\",\"\").replace(\"　\",\"\"))\n",
    "    else :\n",
    "        sentences.append(\"\")\n",
    "    time.sleep(0.01)\n",
    "# 保存\n",
    "save_data = np.array(data)\n",
    "save_sentences = np.array(sentences)\n",
    "np.save(\"archive_url3\",save_data)\n",
    "np.save(\"news_sentences\", save_sentences)\n",
    "# 付け加えて保存\n",
    "df[\"archive\"] = data\n",
    "df[\"sentence\"] = sentences\n",
    "df.to_csv(\"../data/jinshin_archive.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "url = df[\"url\"][0]\n",
    "d = BeautifulSoup(requests.get(url).text, 'html.parser')\n",
    "\n",
    "gyotaku = d.findAll(\"a\", text =re.compile(\"魚拓\"))[0].get(\"href\")\n",
    "print(gyotaku)\n",
    "print(d.findAll('p',class_=\"card-text\")[0].get_text())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 14897/14897 [1:01:16<00:00,  4.05it/s]\n"
     ]
    }
   ],
   "source": [
    "df = pd.read_csv(\"../data/jinshin_archive.csv\", header=0, names=[\"date\", \"line\", \"place\", \"injury\", \"url\", \"archive\", \"sentence\"])\n",
    "data = []\n",
    "sentences = []\n",
    "for url in tqdm(df[\"url\"]):\n",
    "    d = BeautifulSoup(requests.get(url).text,'html.parser')\n",
    "    sentence = d.findAll(\"p\",class_=\"card-text\")\n",
    "    if sentence:\n",
    "        sentences.append(sentence[0].get_text().replace(\" \",\"\").replace(\"\\n\",\"\").replace(\"　\",\"\"))\n",
    "    else :\n",
    "        sentences.append(\"\")\n",
    "    time.sleep(0.01)\n",
    "# 保存\n",
    "save_sentences = np.array(sentences)\n",
    "np.save(\"news_sentences\", save_sentences)\n",
    "# 付け加えて保存\n",
    "df[\"sentence\"] = sentences\n",
    "df.to_csv(\"../data/jinshin_archive_sentence.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "東京\n"
     ]
    }
   ],
   "source": [
    "with open(\"../data/JR東/東日本旅客鉄道東海道線.geojson\") as f:\n",
    "    df = json.load(f)\n",
    "print(df[\"features\"][0][\"properties\"][\"name\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.read_csv(\"../data/jinshin_archive_sentence.csv\",index_col=0)\n",
    "df.date = df.date.apply(lambda x: datetime.strptime(x, '%Y/%m/%d %H:%M').time())\n",
    "df.sort_values(\"date\", ascending=True, inplace=True)\n",
    "df.date = df.date.apply(lambda x: x.strftime(\"%H:%M\"))\n",
    "a = df[\"date\"].to_numpy()\n",
    "list = {}\n",
    "for i in a:\n",
    "    if i in list:\n",
    "        list[i] += 1\n",
    "    else:\n",
    "        list[i] = 1\n",
    "with open(\"timeonly.json\", \"w\") as f:\n",
    "    jsonhoge = json.dump(list, f, indent=2)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(\"./timeonly.json\",\"r\") as f:\n",
    "    a = json.load(f)\n",
    "    for hour in range(24):\n",
    "        for minute in range(60):\n",
    "            key = str(hour).zfill(2) + \":\" + str(minute).zfill(2)\n",
    "            if  not key in a:\n",
    "                a[key] = 0\n",
    "with open(\"timeonly.json\",\"w\") as f:\n",
    "    json.dump(a,f, indent=2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "section = [0, 10, 20, 30, 40, 50, 60]\n",
    "res = []\n",
    "with open(\"./timeonly.json\", \"r\") as f:\n",
    "    d = json.load(f)\n",
    "    for hour in range(24):\n",
    "        for i in range(len(section)-1):\n",
    "            start = section[i]\n",
    "            end = section[i+1]\n",
    "            dataarray = []\n",
    "            for minute in range(start, end):\n",
    "                key = str(hour).zfill(2) + \":\" + str(minute).zfill(2)\n",
    "                dataarray.append(d[key])\n",
    "            tmp = np.array(dataarray)\n",
    "            c_array = np.percentile(tmp,[0,25,50,75,100])\n",
    "            res.append({\"hour\": hour, \"minute\": section[i], \"min\": c_array[0], \"quarter\":c_array[1], \"median\": c_array[2], \"quarter3\": c_array[3], \"max\": c_array[4]})\n",
    "# print(res)\n",
    "with open(\"jinshin4.json\",\"w\") as f:\n",
    "    json.dump(res,f,indent=2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'IRいしかわ鉄道線': 'IRいしかわ鉄道IRいしかわ鉄道線',\n",
      " 'JRゆめ咲線': '西日本旅客鉄道桜島線',\n",
      " 'JR京都線': '西日本旅客鉄道東海道線',\n",
      " 'JR宝塚線': '西日本旅客鉄道福知山線',\n",
      " 'JR東西線': '西日本旅客鉄道JR東西線',\n",
      " 'JR神戸線': '西日本旅客鉄道東海道線/西日本旅客鉄道山陽線',\n",
      " 'あいの風とやま鉄道線': 'あいの風とやま鉄道あいの風とやま鉄道線',\n",
      " 'あまくさみすみ線': 'NULL',\n",
      " 'いすみ鉄道いすみ線': 'いすみ鉄道いすみ線',\n",
      " 'いわて銀河鉄道線': 'IGRいわて銀河鉄道いわて銀河鉄道線',\n",
      " 'えちぜん鉄道三国芦原線': 'えちぜん鉄道三国芦原線',\n",
      " 'えちぜん鉄道勝山永平寺線': 'えちぜん鉄道勝山永平寺線',\n",
      " 'おおさか東線': '西日本旅客鉄道おおさか東線',\n",
      " 'きのくに線': 'NULL',\n",
      " 'くま川鉄道湯前線': 'くま川鉄道湯前線',\n",
      " 'しなの鉄道しなの鉄道線': 'しなの鉄道しなの鉄道線',\n",
      " 'しなの鉄道北しなの線': 'しなの鉄道北しなの線',\n",
      " 'しなの鉄道線': 'しなの鉄道しなの鉄道線',\n",
      " 'とさでん交通伊野線': 'とさでん交通伊野線',\n",
      " 'とさでん交通後免線': 'とさでん交通後免線',\n",
      " 'とさでん交通桟橋線': 'とさでん交通桟橋線',\n",
      " 'のと鉄道七尾線': 'のと鉄道七尾線',\n",
      " 'ひたちなか海浜鉄道湊線': 'ひたちなか海浜鉄道湊線',\n",
      " 'わたらせ渓谷鐵道わたらせ渓谷線': 'わたらせ渓谷鐵道わたらせ渓谷線',\n",
      " 'アルピコ交通上高地線': 'アルピコ交通上高地線',\n",
      " '一畑電車北松江線': '一畑電車北松江線',\n",
      " '一畑電車大社線': '一畑電車大社線',\n",
      " '七尾線': '西日本旅客鉄道七尾線',\n",
      " '万葉線高岡軌道線': '万葉線高岡軌道線',\n",
      " '三岐鉄道三岐線': '三岐鉄道三岐線',\n",
      " '三岐鉄道北勢線': '三岐鉄道北勢線',\n",
      " '三江線': 'NULL',\n",
      " '三角線': '九州旅客鉄道三角線',\n",
      " '上信電鉄上信線': '上信電鉄上信線',\n",
      " '上毛電気鉄道上毛線': '上毛電気鉄道上毛線',\n",
      " '上田電鉄別所線': '上田交通別所線',\n",
      " '上越新幹線': '東日本旅客鉄道上越新幹線',\n",
      " '上越線': '東日本旅客鉄道上越線',\n",
      " '両毛線': '東日本旅客鉄道両毛線',\n",
      " '中央・総武緩行線': '東日本旅客鉄道中央本線',\n",
      " '中央快速線': '東日本旅客鉄道中央本線',\n",
      " '中央本線_(JR東日本)': '東日本旅客鉄道中央本線',\n",
      " '中央本線_(JR東海)': '東海旅客鉄道中央線',\n",
      " '久大本線': '九州旅客鉄道久大本線',\n",
      " '久留里線': '東日本旅客鉄道久留里線',\n",
      " '九州新幹線': '九州旅客鉄道九州新幹線',\n",
      " '九頭竜線': 'NULL',\n",
      " '予土線': '四国旅客鉄道予土線',\n",
      " '予讃線': '四国旅客鉄道予讃線',\n",
      " '五日市線': '東日本旅客鉄道五日市線',\n",
      " '五能線': '東日本旅客鉄道五能線',\n",
      " '井原鉄道井原線': '井原鉄道井原線',\n",
      " '京急久里浜線': '京浜急行電鉄京急久里浜線',\n",
      " '京急大師線': '京浜急行電鉄京急大師線',\n",
      " '京急本線': '京浜急行電鉄京急本線',\n",
      " '京急空港線': '京浜急行電鉄京急空港線',\n",
      " '京急逗子線': '京浜急行電鉄京急逗子線',\n",
      " '京成千葉線': '京成電鉄京成千葉線',\n",
      " '京成押上線': '京成電鉄京成押上線',\n",
      " '京成本線': '京成電鉄京成本線',\n",
      " '京成金町線': '京成電鉄京成金町線',\n",
      " '京浜東北線': 'NULL',\n",
      " '京王井の頭線': '京王電鉄京王井の頭線',\n",
      " '京王新線': 'NULL',\n",
      " '京王相模原線': '京王電鉄京王相模原線',\n",
      " '京王線': '京王電鉄京王線',\n",
      " '京王高尾線': '京王電鉄京王高尾線',\n",
      " '京福電気鉄道北野線': '京福電気鉄道北野線',\n",
      " '京福電気鉄道嵐山本線': '京福電気鉄道嵐山本線',\n",
      " '京葉線': '東日本旅客鉄道京葉線',\n",
      " '京葉臨海鉄道臨海本線': 'NULL',\n",
      " '京都丹後鉄道宮舞線': 'NULL',\n",
      " '京都丹後鉄道宮豊線': 'NULL',\n",
      " '京都市営地下鉄烏丸線': '京都市交通局烏丸線',\n",
      " '京阪中之島線': 'NULL',\n",
      " '京阪交野線': 'NULL',\n",
      " '京阪京津線': '京阪電気鉄道京阪京津線',\n",
      " '京阪宇治線': '京阪電気鉄道京阪宇治線',\n",
      " '京阪本線': '京阪電気鉄道京阪本線',\n",
      " '京阪石山坂本線': '京阪電気鉄道京阪石山坂本線',\n",
      " '京阪鴨東線': '京阪電気鉄道京阪鴨東線',\n",
      " '仙台市地下鉄南北線': '仙台市交通局南北線',\n",
      " '仙山線': '東日本旅客鉄道仙山線',\n",
      " '仙石線': '東日本旅客鉄道仙石線',\n",
      " '伊予鉄道城北線': '伊予鉄道城北線',\n",
      " '伊予鉄道城南線': '伊予鉄道城南線',\n",
      " '伊予鉄道本町線': '伊予鉄道本町線',\n",
      " '伊予鉄道横河原線': '伊予鉄道横河原線',\n",
      " '伊予鉄道花園線': '伊予鉄道花園線',\n",
      " '伊予鉄道郡中線': '伊予鉄道郡中線',\n",
      " '伊予鉄道高浜線': '伊予鉄道高浜線',\n",
      " '伊勢鉄道伊勢線': '伊勢鉄道伊勢線',\n",
      " '伊東線': '東日本旅客鉄道伊東線',\n",
      " '伊豆急行線': '伊豆急行伊豆急行線',\n",
      " '伊豆箱根鉄道大雄山線': '伊豆箱根鉄道大雄山線',\n",
      " '伊豆箱根鉄道駿豆線': '伊豆箱根鉄道駿豆線',\n",
      " '伊賀鉄道伊賀線': '伊賀鉄道伊賀線',\n",
      " '会津鉄道会津線': '会津鉄道会津線',\n",
      " '伯備線': '西日本旅客鉄道伯備線',\n",
      " '佐世保線': '九州旅客鉄道佐世保線',\n",
      " '信楽高原鐵道信楽線': '信楽高原鐵道信楽線',\n",
      " '信越本線': '東日本旅客鉄道信越本線',\n",
      " '八戸線': '東日本旅客鉄道八戸線',\n",
      " '八高線': '東日本旅客鉄道八高線',\n",
      " '内房線': '東日本旅客鉄道内房線',\n",
      " '函館市電': '函館市企業局交通部本線',\n",
      " '函館本線': '北海道旅客鉄道函館本線',\n",
      " '加古川線': '西日本旅客鉄道加古川線',\n",
      " '北上線': '東日本旅客鉄道北上線',\n",
      " '北大阪急行電鉄南北線': '北大阪急行電鉄南北線',\n",
      " '北条鉄道北条線': '北条鉄道北条線',\n",
      " '北総鉄道北総線': '北総鉄道北総線',\n",
      " '北越急行ほくほく線': '北越急行ほくほく線',\n",
      " '北近畿タンゴ鉄道宮津線': 'WILLER TRAINS宮津線',\n",
      " '北陸新幹線': '西日本旅客鉄道北陸新幹線/東日本旅客鉄道北陸新幹線',\n",
      " '北陸本線': '西日本旅客鉄道北陸本線',\n",
      " '北陸鉄道浅野川線': '北陸鉄道浅野川線',\n",
      " '北陸鉄道石川線': '北陸鉄道石川線',\n",
      " '十和田八幡平四季彩ライン': 'NULL',\n",
      " '千歳線': '北海道旅客鉄道千歳線',\n",
      " '千葉都市モノレール線': '千葉都市モノレール1号線/千葉都市モノレール2号線',\n",
      " '南武線': '東日本旅客鉄道南武線',\n",
      " '南海加太線': '南海電気鉄道南海加太線',\n",
      " '南海本線': '南海電気鉄道南海本線',\n",
      " '南海高野線': '南海電気鉄道南海高野線',\n",
      " '南阿蘇鉄道高森線': '南阿蘇鉄道高森線',\n",
      " '参宮線': '東海旅客鉄道参宮線',\n",
      " '叡山電鉄叡山本線': '叡山電鉄叡山本線',\n",
      " '叡山電鉄鞍馬線': '叡山電鉄鞍馬線',\n",
      " '只見線': '東日本旅客鉄道只見線',\n",
      " '可部線': '西日本旅客鉄道可部線',\n",
      " '吉備線': '西日本旅客鉄道吉備線',\n",
      " '吉都線': '九州旅客鉄道吉都線',\n",
      " '名古屋市営地下鉄名城線': '名古屋市交通局2号線名城線',\n",
      " '名古屋市営地下鉄名港線': '名古屋市交通局名港線',\n",
      " '名古屋市営地下鉄東山線': '名古屋市交通局東山線',\n",
      " '名古屋市営地下鉄桜通線': '名古屋市交通局桜通線',\n",
      " '名古屋市営地下鉄鶴舞線': '名古屋市交通局鶴舞線',\n",
      " '名松線': '東海旅客鉄道名松線',\n",
      " '名鉄三河線': '名古屋鉄道名鉄三河線',\n",
      " '名鉄各務原線': '名古屋鉄道名鉄各務原線',\n",
      " '名鉄名古屋本線': '名古屋鉄道名鉄名古屋本線',\n",
      " '名鉄小牧線': '名古屋鉄道名鉄小牧線',\n",
      " '名鉄尾西線': '名古屋鉄道名鉄尾西線',\n",
      " '名鉄常滑線': '名古屋鉄道名鉄常滑線',\n",
      " '名鉄広見線': '名古屋鉄道名鉄広見線',\n",
      " '名鉄河和線': '名古屋鉄道名鉄河和線',\n",
      " '名鉄津島線': '名古屋鉄道名鉄津島線',\n",
      " '名鉄瀬戸線': '名古屋鉄道名鉄瀬戸線',\n",
      " '名鉄犬山線': '名古屋鉄道名鉄犬山線',\n",
      " '名鉄知多新線': '名古屋鉄道名鉄知多新線',\n",
      " '名鉄竹鼻線': '名古屋鉄道名鉄竹鼻線',\n",
      " '名鉄蒲郡線': '名古屋鉄道名鉄蒲郡線',\n",
      " '名鉄西尾線': '名古屋鉄道名鉄西尾線',\n",
      " '名鉄豊川線': '名古屋鉄道名鉄豊川線',\n",
      " '名鉄豊田線': '名古屋鉄道名鉄豊田線',\n",
      " '吾妻線': '東日本旅客鉄道吾妻線',\n",
      " '呉線': '西日本旅客鉄道呉線',\n",
      " '和歌山線': '西日本旅客鉄道和歌山線',\n",
      " '和歌山電鐵貴志川線': '和歌山電鐵貴志川線',\n",
      " '唐津線': '九州旅客鉄道唐津線',\n",
      " '因美線': '西日本旅客鉄道因美線',\n",
      " '土佐くろしお鉄道中村線': '土佐くろしお鉄道中村線',\n",
      " '土佐くろしお鉄道宿毛線': '土佐くろしお鉄道宿毛線',\n",
      " '土讃線': '四国旅客鉄道土讃線',\n",
      " '城端線': '西日本旅客鉄道城端線',\n",
      " '埼京線': '東日本旅客鉄道埼京線',\n",
      " '埼玉新都市交通伊奈線': '埼玉新都市交通伊奈線',\n",
      " '埼玉高速鉄道線': '埼玉高速鉄道埼玉高速鉄道線',\n",
      " '境線': '西日本旅客鉄道境線',\n",
      " '外房線': '東日本旅客鉄道外房線',\n",
      " '大井川鐵道大井川本線': '大井川鐵道大井川本線',\n",
      " '大和路線': 'NULL',\n",
      " '大村線': '九州旅客鉄道大村線',\n",
      " '大湊線': '東日本旅客鉄道大湊線',\n",
      " '大糸線': '東日本旅客鉄道大糸線/西日本旅客鉄道大糸線',\n",
      " '大糸線_(JR東日本)': '東日本旅客鉄道大糸線',\n",
      " '大糸線_(JR西日本)': '西日本旅客鉄道大糸線',\n",
      " '大船渡線': '東日本旅客鉄道大船渡線',\n",
      " '大阪メトロ中央線': '大阪市高速電気軌道中央線',\n",
      " '大阪メトロ四つ橋線': '大阪市高速電気軌道四つ橋線',\n",
      " '大阪メトロ堺筋線': '大阪市高速電気軌道堺筋線',\n",
      " '大阪メトロ御堂筋線': '大阪市高速電気軌道御堂筋線',\n",
      " '大阪メトロ谷町線': '大阪市高速電気軌道谷町線',\n",
      " '大阪市営地下鉄中央線': '大阪市高速電気軌道中央線',\n",
      " '大阪市営地下鉄千日前線': '大阪市高速電気軌道千日前線',\n",
      " '大阪市営地下鉄四つ橋線': '大阪市高速電気軌道四つ橋線',\n",
      " '大阪市営地下鉄四ツ橋線': '大阪市高速電気軌道四つ橋線',\n",
      " '大阪市営地下鉄堺筋線': '大阪市高速電気軌道谷町線',\n",
      " '大阪市営地下鉄御堂筋線': '大阪市高速電気軌道御堂筋線',\n",
      " '大阪市営地下鉄谷町線': '大阪市高速電気軌道谷町線',\n",
      " '大阪市営地下鉄長堀鶴見緑地線': '大阪市高速電気軌道長堀鶴見緑地線',\n",
      " '大阪環状線': '西日本旅客鉄道大阪環状線',\n",
      " '大阪高速鉄道大阪モノレール線': '大阪モノレール大阪モノレール線',\n",
      " '天竜浜名湖鉄道天竜浜名湖線': '天竜浜名湖鉄道天竜浜名湖線',\n",
      " '太多線': '東海旅客鉄道太多線',\n",
      " '奈良線': '西日本旅客鉄道奈良線',\n",
      " '奥羽本線': '東日本旅客鉄道奥羽本線',\n",
      " '妙高はねうまライン': 'えちごトキめき鉄道妙高はねうまライン',\n",
      " '姫新線': '西日本旅客鉄道姫新線',\n",
      " '学園都市線': 'NULL',\n",
      " '学研都市線': 'NULL',\n",
      " '宇部線': '西日本旅客鉄道宇部線',\n",
      " '宇都宮線': 'NULL',\n",
      " '宇野線': '西日本旅客鉄道宇野線',\n",
      " '宗谷本線': '北海道旅客鉄道宗谷本線',\n",
      " '室蘭本線': '北海道旅客鉄道室蘭本線',\n",
      " '宮崎空港線': '九州旅客鉄道宮崎空港線',\n",
      " '富士急行線': '富士急行大月線/富士急行河口湖線',\n",
      " '富山ライトレール富山港線': '富山地方鉄道富山港線',\n",
      " '富山地方鉄道不二越・上滝線': '富山地方鉄道不二越線',\n",
      " '富山地方鉄道富山市内軌道線': '富山地方鉄道富山都心線',\n",
      " '富山地方鉄道本線': '富山地方鉄道本線',\n",
      " '富山地方鉄道立山線': '富山地方鉄道立山線',\n",
      " '富良野線': '北海道旅客鉄道富良野線',\n",
      " '小浜線': '西日本旅客鉄道小浜線',\n",
      " '小海線': '東日本旅客鉄道小海線',\n",
      " '小湊鉄道線': '小湊鐵道小湊鉄道線',\n",
      " '小田急多摩線': '小田急電鉄小田急多摩線',\n",
      " '小田急小田原線': '小田急電鉄小田急小田原線',\n",
      " '小田急江ノ島線': '小田急電鉄小田急江ノ島線',\n",
      " '小野田線': '西日本旅客鉄道小野田線',\n",
      " '山口線': '西日本旅客鉄道山口線',\n",
      " '山形新幹線': 'NULL',\n",
      " '山形線': 'NULL',\n",
      " '山形鉄道フラワー長井線': '山形鉄道フラワー長井線',\n",
      " '山手線': '東日本旅客鉄道山手線',\n",
      " '山田線': '東日本旅客鉄道山田線',\n",
      " '山陰本線': '西日本旅客鉄道山陰本線',\n",
      " '山陽新幹線': '西日本旅客鉄道山陽新幹線',\n",
      " '山陽本線_(JR西日本)': '西日本旅客鉄道山陽線',\n",
      " '山陽電気鉄道本線': '山陽電気鉄道本線',\n",
      " '山陽電気鉄道網干線': '山陽電気鉄道網干線',\n",
      " '岡山電気軌道東山本線': '岡山電気軌道東山本線',\n",
      " '岡山電気軌道清輝橋線': '岡山電気軌道清輝橋線',\n",
      " '岩徳線': '西日本旅客鉄道岩徳線',\n",
      " '岳南鉄道線': '岳南電車岳南線',\n",
      " '島原鉄道線': '島原鉄道島原鉄道線',\n",
      " '嵯峨野線': '嵯峨野観光鉄道嵯峨野観光線',\n",
      " '嵯峨野観光鉄道嵯峨野観光線': '嵯峨野観光鉄道嵯峨野観光線',\n",
      " '川越線': '東日本旅客鉄道川越線',\n",
      " '左沢線': '東日本旅客鉄道左沢線',\n",
      " '常磐線': '東日本旅客鉄道常磐線',\n",
      " '常磐緩行線': 'NULL',\n",
      " '平成筑豊鉄道伊田線': '平成筑豊鉄道伊田線',\n",
      " '平成筑豊鉄道田川線': '平成筑豊鉄道田川線',\n",
      " '広島電鉄宇品線': '広島電鉄宇品線',\n",
      " '広島電鉄宮島線': '広島電鉄宮島線',\n",
      " '広島電鉄本線': '広島電鉄本線',\n",
      " '広島電鉄横川線': '広島電鉄横川線',\n",
      " '広島電鉄江波線': '広島電鉄江波線',\n",
      " '広島電鉄白島線': '広島電鉄白島線',\n",
      " '弘南鉄道大鰐線': '弘南鉄道大鰐線',\n",
      " '弘南鉄道弘南線': '弘南鉄道弘南線',\n",
      " '弥彦線': '東日本旅客鉄道弥彦線',\n",
      " '後藤寺線': '九州旅客鉄道後藤寺線',\n",
      " '御殿場線': '東海旅客鉄道御殿場線',\n",
      " '徳島線': '四国旅客鉄道徳島線',\n",
      " '愛知環状鉄道線': '愛知環状鉄道愛知環状鉄道線',\n",
      " '成田スカイアクセス線': '京成電鉄京成成田空港線',\n",
      " '成田線': '東日本旅客鉄道成田線',\n",
      " '指宿枕崎線': '九州旅客鉄道指宿枕崎線',\n",
      " '播但線': '西日本旅客鉄道播但線',\n",
      " '新京成電鉄新京成線': '新京成電鉄新京成線',\n",
      " '新日鐵住金八幡製鐵所くろがね線': 'NULL',\n",
      " '新湊線': 'NULL',\n",
      " '新金貨物線': 'NULL',\n",
      " '日光線': '東日本旅客鉄道日光線',\n",
      " '日南線': '九州旅客鉄道日南線',\n",
      " '日田彦山線': '九州旅客鉄道日田彦山線',\n",
      " '日豊本線': '九州旅客鉄道日豊本線',\n",
      " '日高本線': '北海道旅客鉄道日高本線',\n",
      " '明知鉄道明知線': '明知鉄道明知線',\n",
      " '智頭急行智頭線': '智頭急行智頭線',\n",
      " '木次線': '西日本旅客鉄道木次線',\n",
      " '札幌市営地下鉄南北線': '札幌市交通局南北線',\n",
      " '札幌市営地下鉄東西線': '札幌市交通局東西線',\n",
      " '札幌市営地下鉄東豊線': '札幌市交通局東豊線',\n",
      " '札幌市電': 'NULL',\n",
      " '東京メトロ丸ノ内線': '東京地下鉄丸ノ内線',\n",
      " '東京メトロ副都心線': '東京地下鉄副都心線',\n",
      " '東京メトロ千代田線': '東京地下鉄千代田線',\n",
      " '東京メトロ半蔵門線': '東京地下鉄半蔵門線',\n",
      " '東京メトロ日比谷線': '東京地下鉄日比谷線',\n",
      " '東京メトロ有楽町線': '東京地下鉄有楽町線',\n",
      " '東京メトロ東西線': '東京地下鉄東西線',\n",
      " '東京メトロ銀座線': '東京地下鉄銀座線',\n",
      " '東京モノレール羽田空港線': '東京モノレール東京モノレール羽田線',\n",
      " '東京臨海高速鉄道りんかい線': '東京臨海高速鉄道りんかい線',\n",
      " '東北新幹線': '東日本旅客鉄道東北新幹線',\n",
      " '東北本線': '東日本旅客鉄道東北本線',\n",
      " '東北貨物線': 'NULL',\n",
      " '東急こどもの国線': '東急電鉄東急こどもの国線',\n",
      " '東急世田谷線': '東急電鉄東急世田谷線',\n",
      " '東急多摩川線': '東急電鉄東急多摩川線',\n",
      " '東急大井町線': '東急電鉄東急大井町線',\n",
      " '東急東横線': '東急電鉄東急東横線',\n",
      " '東急池上線': '東急電鉄東急池上線',\n",
      " '東急田園都市線': '東急電鉄東急田園都市線',\n",
      " '東急目黒線': '東急電鉄東急目黒線',\n",
      " '東武アーバンパークライン': '東武鉄道東武野田線',\n",
      " '東武スカイツリーライン': '東武鉄道東武伊勢崎線',\n",
      " '東武亀戸線': '東武鉄道東武亀戸線',\n",
      " '東武伊勢崎線': '東武鉄道東武伊勢崎線',\n",
      " '東武佐野線': '東武鉄道東武佐野線',\n",
      " '東武宇都宮線': '東武鉄道東武宇都宮線',\n",
      " '東武小泉線': '東武鉄道東武小泉線',\n",
      " '東武日光線': '東武鉄道東武日光線',\n",
      " '東武東上線': '東武鉄道東武東上本線',\n",
      " '東武桐生線': '東武鉄道東武桐生線',\n",
      " '東武越生線': '東武鉄道東武越生線',\n",
      " '東武野田線': '東武鉄道東武野田線',\n",
      " '東海道新幹線': '東海旅客鉄道東海道新幹線',\n",
      " '東海道線_(JR東日本)': '東日本旅客鉄道東海道線',\n",
      " '東海道線_(JR東海)': '東海旅客鉄道東海道線',\n",
      " '東海道線_(JR西日本)': '西日本旅客鉄道東海道線',\n",
      " '東葉高速鉄道東葉高速線': '東葉高速鉄道東葉高速線',\n",
      " '東金線': '東日本旅客鉄道東金線',\n",
      " '松浦鉄道西九州線': '松浦鉄道西九州線',\n",
      " '根室本線': '北海道旅客鉄道根室本線',\n",
      " '根岸線': '東日本旅客鉄道根岸線',\n",
      " '桜井線': '西日本旅客鉄道桜井線',\n",
      " '梅田貨物線': 'NULL',\n",
      " '横浜市営地下鉄ブルーライン': '横浜市交通局1号線/横浜市交通局3号線',\n",
      " '横浜線': '東日本旅客鉄道横浜線',\n",
      " '横浜高速鉄道みなとみらい線': '横浜高速鉄道みなとみらい21線',\n",
      " '横須賀線': '東日本旅客鉄道横須賀線',\n",
      " '樽見鉄道樽見線': '樽見鉄道樽見線',\n",
      " '武蔵野南線': 'NULL',\n",
      " '武蔵野線': '東日本旅客鉄道武蔵野線',\n",
      " '武豊線': '東海旅客鉄道武豊線',\n",
      " '気仙沼線': '東日本旅客鉄道気仙沼線',\n",
      " '水島臨海鉄道水島本線': '水島臨海鉄道水島本線',\n",
      " '水戸線': '東日本旅客鉄道水戸線',\n",
      " '水郡線': '東日本旅客鉄道水郡線',\n",
      " '水間鉄道水間線': '水間鉄道水間線',\n",
      " '氷見線': '西日本旅客鉄道氷見線',\n",
      " '江ノ島電鉄線': '江ノ島電鉄江ノ島電鉄線',\n",
      " '江差線': 'NULL',\n",
      " '泉北高速鉄道線': '泉北高速鉄道泉北高速鉄道線',\n",
      " '津山線': '西日本旅客鉄道津山線',\n",
      " '津軽海峡線_(JR東日本)': '東日本旅客鉄道津軽線',\n",
      " '津軽線': '東日本旅客鉄道津軽線',\n",
      " '津軽鉄道線': '津軽鉄道津軽鉄道線',\n",
      " '流鉄流山線': '流鉄流山線',\n",
      " '湖西線': '西日本旅客鉄道湖西線',\n",
      " '湘南新宿ライン': 'NULL',\n",
      " '瀬戸大橋線_(JR西日本)': 'NULL',\n",
      " '熊本市電上熊本線': '熊本市交通局熊本市電上熊本線',\n",
      " '熊本市電健軍線': '熊本市交通局熊本市電健軍線',\n",
      " '熊本市電幹線': '熊本市交通局熊本市電幹線',\n",
      " '熊本市電水前寺線': '熊本市交通局熊本市電水前寺線',\n",
      " '熊本電気鉄道菊池線': '熊本電気鉄道菊池線',\n",
      " '熊本電気鉄道藤崎線': '熊本電気鉄道藤崎線',\n",
      " '牟岐線': '四国旅客鉄道牟岐線',\n",
      " '琵琶湖線': 'NULL',\n",
      " '甘木鉄道甘木線': '甘木鉄道甘木線',\n",
      " '田沢湖線': '東日本旅客鉄道田沢湖線',\n",
      " '田端貨物線': 'NULL',\n",
      " '男鹿線': '東日本旅客鉄道男鹿線',\n",
      " '留萌本線': '北海道旅客鉄道留萌本線',\n",
      " '白新線': '東日本旅客鉄道白新線',\n",
      " '相模線': '東日本旅客鉄道相模線',\n",
      " '相鉄いずみ野線': '相模鉄道相鉄いずみ野線',\n",
      " '相鉄本線': '相模鉄道相鉄本線',\n",
      " '真岡鐵道真岡線': '真岡鐵道真岡線',\n",
      " '石勝線': '北海道旅客鉄道石勝線',\n",
      " '石北本線': '北海道旅客鉄道石北本線',\n",
      " '石巻線': '東日本旅客鉄道石巻線',\n",
      " '磐越東線': '東日本旅客鉄道磐越東線',\n",
      " '磐越西線': '東日本旅客鉄道磐越西線',\n",
      " '神奈川臨海鉄道千鳥線': 'NULL',\n",
      " '神戸市営地下鉄西神・山手線': '神戸市交通局山手線/神戸市交通局西神線',\n",
      " '神戸電鉄三田線': '神戸電鉄三田線',\n",
      " '神戸電鉄有馬線': '神戸電鉄有馬線',\n",
      " '神戸電鉄粟生線': '神戸電鉄粟生線',\n",
      " '福井鉄道福武線': '福井鉄道福武線',\n",
      " '福北ゆたか線': 'NULL',\n",
      " '福塩線': '西日本旅客鉄道福塩線',\n",
      " '福岡市地下鉄空港線': '福岡市交通局空港線',\n",
      " '福島交通飯坂線': '福島交通飯坂線',\n",
      " '福島臨海鉄道本線': 'NULL',\n",
      " '福知山線': '西日本旅客鉄道福知山線',\n",
      " '秋田内陸縦貫鉄道秋田内陸線': '秋田内陸縦貫鉄道秋田内陸線',\n",
      " '秋田新幹線': 'NULL',\n",
      " '秋田臨海鉄道線': 'NULL',\n",
      " '秩父鉄道三ヶ尻線': 'NULL',\n",
      " '秩父鉄道秩父本線': '秩父鉄道秩父本線',\n",
      " '筑肥線': '九州旅客鉄道筑肥線',\n",
      " '筑豊本線': '九州旅客鉄道筑豊本線',\n",
      " '筑豊電気鉄道線': '筑豊電気鉄道筑豊電気鉄道線',\n",
      " '箱根登山鉄道鉄道線': '箱根登山鉄道鉄道線',\n",
      " '篠ノ井線': '東日本旅客鉄道篠ノ井線',\n",
      " '篠栗線': '九州旅客鉄道篠栗線',\n",
      " '米坂線': '東日本旅客鉄道米坂線',\n",
      " '紀勢本線_(JR東海)': '東海旅客鉄道紀勢線',\n",
      " '紀勢本線_(JR西日本)': '西日本旅客鉄道紀勢線',\n",
      " '紀州鉄道線': '紀州鉄道紀州鉄道線',\n",
      " '総武快速線': '東日本旅客鉄道総武本線',\n",
      " '総武本線': '東日本旅客鉄道総武本線',\n",
      " '羽越本線': '東日本旅客鉄道羽越本線',\n",
      " '肥薩おれんじ鉄道線': '肥薩おれんじ鉄道肥薩おれんじ鉄道線',\n",
      " '肥薩線': '九州旅客鉄道肥薩線',\n",
      " '能勢電鉄妙見線': '能勢電鉄妙見線',\n",
      " '舞鶴線': '西日本旅客鉄道舞鶴線',\n",
      " '花輪線': '東日本旅客鉄道花輪線',\n",
      " '芸備線': '西日本旅客鉄道芸備線',\n",
      " '若松線': 'NULL',\n",
      " '草津線': '西日本旅客鉄道草津線',\n",
      " '西武国分寺線': '西武鉄道西武国分寺線',\n",
      " '西武多摩川線': '西武鉄道西武多摩川線',\n",
      " '西武多摩湖線': '西武鉄道西武多摩湖線',\n",
      " '西武拝島線': '西武鉄道西武拝島線',\n",
      " '西武新宿線': '西武鉄道西武新宿線',\n",
      " '西武池袋線': '西武鉄道西武池袋線',\n",
      " '西武狭山線': '西武鉄道西武狭山線',\n",
      " '西武秩父線': '西武鉄道西武秩父線',\n",
      " '西武西武園線': '西武鉄道西武西武園線',\n",
      " '西濃鉄道市橋線': 'NULL',\n",
      " '西鉄天神大牟田線': '西日本鉄道西鉄天神大牟田線',\n",
      " '西鉄太宰府線': '西日本鉄道西鉄太宰府線',\n",
      " '西鉄甘木線': '西日本鉄道西鉄甘木線',\n",
      " '西鉄貝塚線': '西日本鉄道西鉄貝塚線',\n",
      " '豊橋鉄道市内線': 'NULL',\n",
      " '豊橋鉄道東田本線': '豊橋鉄道東田本線',\n",
      " '豊橋鉄道渥美線': '豊橋鉄道渥美線',\n",
      " '豊肥本線': '九州旅客鉄道豊肥本線',\n",
      " '赤穂線': '西日本旅客鉄道赤穂線',\n",
      " '越後線': '東日本旅客鉄道越後線',\n",
      " '越美北線': '西日本旅客鉄道越美北線',\n",
      " '身延線': '東海旅客鉄道身延線',\n",
      " '近江鉄道八日市線': '近江鉄道八日市線',\n",
      " '近江鉄道本線': '近江鉄道本線',\n",
      " '近鉄けいはんな線': '近畿日本鉄道近鉄けいはんな線',\n",
      " '近鉄京都線': '近畿日本鉄道近鉄京都線',\n",
      " '近鉄南大阪線': '近畿日本鉄道近鉄南大阪線',\n",
      " '近鉄吉野線': '近畿日本鉄道近鉄吉野線',\n",
      " '近鉄名古屋線': '近畿日本鉄道近鉄名古屋線',\n",
      " '近鉄大阪線': '近畿日本鉄道近鉄大阪線',\n",
      " '近鉄天理線': '近畿日本鉄道近鉄天理線',\n",
      " '近鉄奈良線': '近畿日本鉄道近鉄奈良線',\n",
      " '近鉄山田線': '近畿日本鉄道近鉄山田線',\n",
      " '近鉄御所線': '近畿日本鉄道近鉄御所線',\n",
      " '近鉄志摩線': '近畿日本鉄道近鉄志摩線',\n",
      " '近鉄橿原線': '近畿日本鉄道近鉄橿原線',\n",
      " '近鉄湯の山線': '近畿日本鉄道近鉄湯の山線',\n",
      " '近鉄生駒線': '近畿日本鉄道近鉄生駒線',\n",
      " '近鉄生駒鋼索線': '近畿日本鉄道近鉄生駒鋼索線',\n",
      " '近鉄田原本線': '近畿日本鉄道近鉄田原本線',\n",
      " '近鉄道明寺線': '近畿日本鉄道近鉄道明寺線',\n",
      " '近鉄鈴鹿線': '近畿日本鉄道近鉄鈴鹿線',\n",
      " '近鉄長野線': '近畿日本鉄道近鉄長野線',\n",
      " '近鉄難波線': '近畿日本鉄道近鉄難波線',\n",
      " '近鉄鳥羽線': '近畿日本鉄道近鉄鳥羽線',\n",
      " '遠州鉄道鉄道線': '遠州鉄道鉄道線',\n",
      " '都営地下鉄大江戸線': '東京都交通局大江戸線',\n",
      " '都営地下鉄新宿線': '東京都交通局新宿線',\n",
      " '都営地下鉄浅草線': '東京都交通局浅草線',\n",
      " '都営浅草線': '東京都交通局浅草線',\n",
      " '都電荒川線': '東京都交通局都電荒川線',\n",
      " '釜石線': '東日本旅客鉄道釜石線',\n",
      " '釧網本線': '北海道旅客鉄道釧網本線',\n",
      " '銚子電気鉄道線': '銚子電気鉄道銚子電気鉄道線',\n",
      " '錦川鉄道錦川清流線': '錦川鉄道錦川清流線',\n",
      " '長崎本線': '長崎電気軌道本線',\n",
      " '長崎電気軌道1号系統': '長崎電気軌道大浦支線/長崎電気軌道桜町支線/長崎電気軌道蛍茶屋支線/長崎電気軌道赤迫支線',\n",
      " '長崎電気軌道2号系統': '長崎電気軌道大浦支線/長崎電気軌道桜町支線/長崎電気軌道蛍茶屋支線/長崎電気軌道赤迫支線',\n",
      " '長崎電気軌道3号系統': '長崎電気軌道大浦支線/長崎電気軌道桜町支線/長崎電気軌道蛍茶屋支線/長崎電気軌道赤迫支線',\n",
      " '長崎電気軌道5号系統': '長崎電気軌道大浦支線/長崎電気軌道桜町支線/長崎電気軌道蛍茶屋支線/長崎電気軌道赤迫支線',\n",
      " '長良川鉄道越美南線': '長良川鉄道越美南線',\n",
      " '長野電鉄屋代線': 'NULL',\n",
      " '長野電鉄長野線': '長野電鉄長野線',\n",
      " '関東鉄道常総線': '関東鉄道常総線',\n",
      " '関東鉄道竜ヶ崎線': '関東鉄道竜ヶ崎線',\n",
      " '関西本線_(JR東海)': '東海旅客鉄道関西線',\n",
      " '関西本線_(JR西日本)': '西日本旅客鉄道関西本線',\n",
      " '阪和線': '西日本旅客鉄道阪和線',\n",
      " '阪堺電気軌道上町線': '阪堺電気軌道上町線',\n",
      " '阪堺電気軌道阪堺線': '阪堺電気軌道阪堺線',\n",
      " '阪急京都本線': '阪急電鉄阪急京都本線',\n",
      " '阪急今津線': '阪急電鉄阪急今津線',\n",
      " '阪急千里線': '阪急電鉄阪急千里線',\n",
      " '阪急宝塚本線': '阪急電鉄阪急宝塚本線',\n",
      " '阪急甲陽線': '阪急電鉄阪急甲陽線',\n",
      " '阪急神戸本線': '阪急電鉄阪急神戸本線',\n",
      " '阪急神戸高速線': '阪急電鉄阪急神戸高速線',\n",
      " '阪急箕面線': '阪急電鉄阪急箕面線',\n",
      " '阪神なんば線': '阪神電気鉄道阪神なんば線',\n",
      " '阪神本線': '阪神電気鉄道阪神本線',\n",
      " '阿武隈急行線': '阿武隈急行阿武隈急行線',\n",
      " '陸羽東線': '東日本旅客鉄道陸羽東線',\n",
      " '陸羽西線': '東日本旅客鉄道陸羽西線',\n",
      " '青い森鉄道線': '青い森鉄道青い森鉄道線',\n",
      " '青梅線': '東日本旅客鉄道青梅線',\n",
      " '静岡鉄道静岡清水線': '静岡鉄道静岡清水線',\n",
      " '飯山線': '東日本旅客鉄道飯山線',\n",
      " '飯田線': '東海旅客鉄道飯田線',\n",
      " '養老鉄道養老線': '養老鉄道養老線',\n",
      " '首都圏新都市鉄道つくばエクスプレス': '首都圏新都市鉄道つくばエクスプレス',\n",
      " '香椎線': '九州旅客鉄道香椎線',\n",
      " '高山本線_(JR東海)': '東海旅客鉄道高山線',\n",
      " '高山本線_(JR西日本)': '西日本旅客鉄道高山線',\n",
      " '高崎線': '東日本旅客鉄道高崎線',\n",
      " '高徳線': '四国旅客鉄道高徳線',\n",
      " '高松琴平電気鉄道志度線': '高松琴平電気鉄道志度線',\n",
      " '高松琴平電気鉄道琴平線': '高松琴平電気鉄道琴平線',\n",
      " '高松琴平電気鉄道長尾線': '高松琴平電気鉄道長尾線',\n",
      " '鳴門線': '四国旅客鉄道鳴門線',\n",
      " '鶴見線': '東日本旅客鉄道鶴見線',\n",
      " '鹿児島市電1系統': '鹿児島市交通局鹿児島市電第一期線',\n",
      " '鹿児島市電唐湊線': '鹿児島市交通局鹿児島市電唐湊線',\n",
      " '鹿児島市電第一期線': '鹿児島市交通局鹿児島市電第一期線',\n",
      " '鹿児島市電谷山線': '鹿児島市交通局鹿児島市電谷山線',\n",
      " '鹿児島本線': '鹿児島市交通局鹿児島市電第一期線/鹿児島市交通局鹿児島市電第二期線',\n",
      " '鹿島臨海鉄道大洗鹿島線': '鹿島臨海鉄道大洗鹿島線',\n",
      " '鹿島臨海鉄道鹿島臨港線': '東日本旅客鉄道鹿島線'}\n"
     ]
    }
   ],
   "source": [
    "with open(\"/home/yuto/infovis/pastani/cho/Optimized-Modified-GetOldTweets3-OMGOT/GetOldTweets3-0.0.10/line_dict.pickle\", \"rb\") as p:\n",
    "    a = pickle.load(p)\n",
    "    pprint.pprint(a)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.8.10 64-bit ('3.8.10')",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "1a3477c34db08afe9f47e0f0d996f95fb33b29cd0835c968a43c31a15b10e5bb"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}