data_global.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4aa67a3e",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "766e7282",
   "metadata": {},
   "source": [
    "# 전 세계 주식 데이터 수집하기\n",
    "\n",
    "퀀트 투자의 장점은 데이터만 있다면 동일한 투자 전략을 전 세계 모든 국가에 적용할 수 있다는 점이다. 이번 장에서는 전 세계 종목의 티커 수집 및 주가, 재무제표, 가치지표를 다운로드 하는 방법에 대해 알아보겠다.\n",
    "\n",
    "## 유료 데이터 벤더 이용하기\n",
    "\n",
    "미국 시장의 데이터만 필요할 경우 유료 데이터 벤더를 이용하는 것도 좋은 방법이다. 미국에는 금융 데이터를 API로 제공하는 수많은 업체가 있으며, tiingo의 경우는 월 $10만 지불하면 미국과 중국의 4만여개 종목에 대한 데이터를 API 형태로 받을 수 있다. 이는 상장폐지된 종목을 커버할 뿐만 아니라, API를 이용하므로 크롤링과는 비교할 수 없는 속도로 데이터를 받을 수 있다는 장점이 있다. 이 외에도 Alpha Vantage, Quandl, Polygon 등 수많은 데이터 벤더가 존재한다.\n",
    "\n",
    "```{figure} image/data_global/tiingo.png\n",
    "---\n",
    "scale: 70%\n",
    "name: tiingo\n",
    "---\n",
    "tiingo의 유/무료 서비스 비교\n",
    "```\n",
    "\n",
    "tiingo는 무료 계정도 하루 1,000회까지 API 요청을 할 수 있으며, 파이썬에서 사용할 수 있는 패키지도 있으므로 이를 사용해 데이터를 수집해보도록 하겠다. \n",
    "\n",
    "### 가입 및 API token 받기\n",
    "\n",
    "먼저 https://api.tiingo.com/ 사이트에 접속하여 우측 상단의 [Sign-up]을 클릭해 회원가입을 한다. 그 후 로그인을 한 후 우측 상단에서 본인의 ID를 클릭한 후 [Account]를 선택, 좌측 메뉴의 [API] 부분에서 [Token]을 클릭하면 본인의 API token을 확인할 수 있다.\n",
    "\n",
    "```{figure} image/data_global/token.png\n",
    "---\n",
    "name: token\n",
    "---\n",
    "API token 확인\n",
    "```\n",
    "\n",
    "발급받은 토큰을 PC에 저장할 경우, keyring 패키지를 이용하면 안전하게 저장할 수 있다. 패키지를 이용해 암호나 키 값을 저장하는 법은 다음과 같다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "9e6844c0",
   "metadata": {
    "deletable": false,
    "editable": false,
    "run_control": {
     "frozen": true
    }
   },
   "outputs": [],
   "source": [
    "import keyring\n",
    "\n",
    "keyring.set_password('System', 'User Name', 'Password')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "508c1443",
   "metadata": {},
   "source": [
    "[System]에는 시스템 종류, [User Name]에는 본인의 이름, [Password]에는 발급받은 API Key를 입력한다. 한번 입력된 값은 계속 저장되어 있다. 저장한 키를 불러오는 법은 다음과 같다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3b6426c6",
   "metadata": {
    "deletable": false,
    "editable": false,
    "run_control": {
     "frozen": true
    }
   },
   "outputs": [],
   "source": [
    "api_key = keyring.get_password('System', 'User Name')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a1ea6c86",
   "metadata": {},
   "source": [
    "이제 'Sysyem'에는 'tiingo', 'User Name'에는 본인의 이름, 'Password'에는 위에서 발급받은 API Token을 입력해 토큰을 저장하자."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "1770d696",
   "metadata": {
    "deletable": false,
    "editable": false,
    "run_control": {
     "frozen": true
    }
   },
   "outputs": [],
   "source": [
    "import keyring\n",
    "\n",
    "keyring.set_password('tiingo', 'User Name', 'Your API Token')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a3d48654",
   "metadata": {},
   "source": [
    "### 데이터 다운로드\n",
    "\n",
    "tiingo 패키지를 이용해 데이터를 받아보도록 하겠다. 데이터를 받기위해 API 접속환경을 셋팅한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "f6276041",
   "metadata": {},
   "outputs": [],
   "source": [
    "from tiingo import TiingoClient\n",
    "import pandas as pd\n",
    "import keyring\n",
    "\n",
    "api_key = keyring.get_password('tiingo', 'Henry')\n",
    "config = {}\n",
    "config['session'] = True\n",
    "config['api_key'] = api_key\n",
    "client = TiingoClient(config)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a2737148",
   "metadata": {},
   "source": [
    "API token을 불러온 후, 접속환경에 해당하는 config에 이를 입력한다.\n",
    "\n",
    "먼저 tiingo에서 제공하는 종목은 어떠한 것이 있는지 티커 정보들을 확인해보도록 하자."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "f53cef1e",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ticker</th>\n",
       "      <th>exchange</th>\n",
       "      <th>assetType</th>\n",
       "      <th>priceCurrency</th>\n",
       "      <th>startDate</th>\n",
       "      <th>endDate</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>000001</td>\n",
       "      <td>SHE</td>\n",
       "      <td>Stock</td>\n",
       "      <td>CNY</td>\n",
       "      <td>2007-01-04</td>\n",
       "      <td>2022-08-04</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>000002</td>\n",
       "      <td>SHE</td>\n",
       "      <td>Stock</td>\n",
       "      <td>CNY</td>\n",
       "      <td>2007-01-04</td>\n",
       "      <td>2022-08-04</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>000003</td>\n",
       "      <td>SHE</td>\n",
       "      <td>Stock</td>\n",
       "      <td>CNY</td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>000004</td>\n",
       "      <td>SHE</td>\n",
       "      <td>Stock</td>\n",
       "      <td>CNY</td>\n",
       "      <td>2007-08-31</td>\n",
       "      <td>2022-08-04</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>000005</td>\n",
       "      <td>SHE</td>\n",
       "      <td>Stock</td>\n",
       "      <td>CNY</td>\n",
       "      <td>2007-08-31</td>\n",
       "      <td>2022-08-04</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   ticker exchange assetType priceCurrency   startDate     endDate\n",
       "0  000001      SHE     Stock           CNY  2007-01-04  2022-08-04\n",
       "1  000002      SHE     Stock           CNY  2007-01-04  2022-08-04\n",
       "2  000003      SHE     Stock           CNY                        \n",
       "3  000004      SHE     Stock           CNY  2007-08-31  2022-08-04\n",
       "4  000005      SHE     Stock           CNY  2007-08-31  2022-08-04"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tickers = client.list_stock_tickers()\n",
    "tickers_df = pd.DataFrame.from_records(tickers)\n",
    "\n",
    "tickers_df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "84298071",
   "metadata": {},
   "source": [
    "`list_stock_tickers()` 메서드를 통해 티커 정보를 받아올 수 있다. ticker(티커), exchange(거래소), assetType(주식 종류), priceCurrency(거래 통화), startDate(시작일), endDate(마감일) 정보가 표시된다. 거래소와 통화 별 종목이 몇개가 있는지 확인해보도록 하자."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "0f600f7c",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "exchange   priceCurrency\n",
       "           USD               2462\n",
       "AMEX       USD                 69\n",
       "ASX        USD               2058\n",
       "BATS       USD                  8\n",
       "CSE        USD                 32\n",
       "EXPM       USD               1720\n",
       "LSE        USD                 13\n",
       "NASDAQ     USD              12168\n",
       "NYSE       USD               7669\n",
       "NYSE ARCA  USD                 66\n",
       "NYSE MKT   USD                384\n",
       "NYSE NAT   USD                  4\n",
       "OTCBB      USD                594\n",
       "OTCCE      USD               1163\n",
       "OTCGREY    USD               3313\n",
       "OTCMKTS    USD               1203\n",
       "OTCQB      USD               1366\n",
       "OTCQX      USD                770\n",
       "PINK       USD              14048\n",
       "SHE        CNY               2401\n",
       "           HKD                 53\n",
       "           USD                154\n",
       "SHG        CNY               1807\n",
       "           USD                176\n",
       "Name: ticker, dtype: int64"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tickers_df.groupby(['exchange', 'priceCurrency'])['ticker'].count()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3264c8b8",
   "metadata": {},
   "source": [
    "이 중 마이너 거래소나 장외 거래소의 경우 정보를 받아도 우리나라의 증권사를 통해서는 실제로 거래를 할 수 없을수도 있다. 따라서 실제 거래가 가능한 거래소 데이터만 필터링한 후 해당 종목들을 받는 것이 효율적이다.\n",
    "\n",
    "각 종목의 상세 정보를 확인해보도록 하며, 예로써 애플(AAPL)을 이용한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "70a35b7b",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'ticker': 'AAPL', 'name': 'Apple Inc', 'description': \"Apple Inc. (Apple) designs, manufactures and markets mobile communication and media devices, personal computers, and portable digital music players, and a variety of related software, services, peripherals, networking solutions, and third-party digital content and applications. The Company's products and services include iPhone, iPad, Mac, iPod, Apple TV, a portfolio of consumer and professional software applications, the iOS and OS X operating systems, iCloud, and a variety of accessory, service and support offerings. The Company also delivers digital content and applications through the iTunes Store, App StoreSM, iBookstoreSM, and Mac App Store. The Company distributes its products worldwide through its retail stores, online stores, and direct sales force, as well as through third-party cellular network carriers, wholesalers, retailers, and value-added resellers. In February 2012, the Company acquired app-search engine Chomp.\", 'startDate': '1980-12-12', 'endDate': '2022-08-04', 'exchangeCode': 'NASDAQ'}\n"
     ]
    }
   ],
   "source": [
    "ticker_metadata = client.get_ticker_metadata(\"AAPL\")\n",
    "print(ticker_metadata)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1425ab13",
   "metadata": {},
   "source": [
    "`get_ticker_metadata()` 메서드 내에 티커를 입력하면 티커, 종목명, 사업내역 등 대략적인 정보를 받아올 수 있다.\n",
    "\n",
    "이제 주가를 받아보도록 하자."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "52859c76",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>close</th>\n",
       "      <th>high</th>\n",
       "      <th>low</th>\n",
       "      <th>open</th>\n",
       "      <th>volume</th>\n",
       "      <th>adjClose</th>\n",
       "      <th>adjHigh</th>\n",
       "      <th>adjLow</th>\n",
       "      <th>adjOpen</th>\n",
       "      <th>adjVolume</th>\n",
       "      <th>divCash</th>\n",
       "      <th>splitFactor</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>date</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>2017-08-01 00:00:00+00:00</th>\n",
       "      <td>150.05</td>\n",
       "      <td>150.22</td>\n",
       "      <td>148.4100</td>\n",
       "      <td>149.10</td>\n",
       "      <td>24725526</td>\n",
       "      <td>35.505368</td>\n",
       "      <td>35.545594</td>\n",
       "      <td>35.117306</td>\n",
       "      <td>35.280576</td>\n",
       "      <td>98902104</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2017-08-02 00:00:00+00:00</th>\n",
       "      <td>157.14</td>\n",
       "      <td>159.75</td>\n",
       "      <td>156.1600</td>\n",
       "      <td>159.28</td>\n",
       "      <td>69222793</td>\n",
       "      <td>37.183030</td>\n",
       "      <td>37.800617</td>\n",
       "      <td>36.951138</td>\n",
       "      <td>37.689404</td>\n",
       "      <td>276891172</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2017-08-03 00:00:00+00:00</th>\n",
       "      <td>155.57</td>\n",
       "      <td>157.21</td>\n",
       "      <td>155.0200</td>\n",
       "      <td>157.05</td>\n",
       "      <td>26000738</td>\n",
       "      <td>36.811530</td>\n",
       "      <td>37.199593</td>\n",
       "      <td>36.681388</td>\n",
       "      <td>37.161733</td>\n",
       "      <td>104002952</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2017-08-04 00:00:00+00:00</th>\n",
       "      <td>156.39</td>\n",
       "      <td>157.40</td>\n",
       "      <td>155.6900</td>\n",
       "      <td>156.07</td>\n",
       "      <td>20349532</td>\n",
       "      <td>37.005562</td>\n",
       "      <td>37.244552</td>\n",
       "      <td>36.839925</td>\n",
       "      <td>36.929842</td>\n",
       "      <td>81398128</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2017-08-07 00:00:00+00:00</th>\n",
       "      <td>158.81</td>\n",
       "      <td>158.92</td>\n",
       "      <td>156.6701</td>\n",
       "      <td>157.06</td>\n",
       "      <td>21870321</td>\n",
       "      <td>37.578191</td>\n",
       "      <td>37.604219</td>\n",
       "      <td>37.071840</td>\n",
       "      <td>37.164100</td>\n",
       "      <td>87481284</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                            close    high       low    open    volume  \\\n",
       "date                                                                    \n",
       "2017-08-01 00:00:00+00:00  150.05  150.22  148.4100  149.10  24725526   \n",
       "2017-08-02 00:00:00+00:00  157.14  159.75  156.1600  159.28  69222793   \n",
       "2017-08-03 00:00:00+00:00  155.57  157.21  155.0200  157.05  26000738   \n",
       "2017-08-04 00:00:00+00:00  156.39  157.40  155.6900  156.07  20349532   \n",
       "2017-08-07 00:00:00+00:00  158.81  158.92  156.6701  157.06  21870321   \n",
       "\n",
       "                            adjClose    adjHigh     adjLow    adjOpen  \\\n",
       "date                                                                    \n",
       "2017-08-01 00:00:00+00:00  35.505368  35.545594  35.117306  35.280576   \n",
       "2017-08-02 00:00:00+00:00  37.183030  37.800617  36.951138  37.689404   \n",
       "2017-08-03 00:00:00+00:00  36.811530  37.199593  36.681388  37.161733   \n",
       "2017-08-04 00:00:00+00:00  37.005562  37.244552  36.839925  36.929842   \n",
       "2017-08-07 00:00:00+00:00  37.578191  37.604219  37.071840  37.164100   \n",
       "\n",
       "                           adjVolume  divCash  splitFactor  \n",
       "date                                                        \n",
       "2017-08-01 00:00:00+00:00   98902104      0.0          1.0  \n",
       "2017-08-02 00:00:00+00:00  276891172      0.0          1.0  \n",
       "2017-08-03 00:00:00+00:00  104002952      0.0          1.0  \n",
       "2017-08-04 00:00:00+00:00   81398128      0.0          1.0  \n",
       "2017-08-07 00:00:00+00:00   87481284      0.0          1.0  "
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "historical_prices = client.get_dataframe(\"AAPL\",\n",
    "                                         startDate='2017-08-01',\n",
    "                                         frequency='daily')\n",
    "\n",
    "historical_prices.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dc358d9f",
   "metadata": {},
   "source": [
    "`get_dataframe()` 메서드 내에 티커를 입력하면 close(종가), high(고가), low(저가), open(시가), volumne(거래량) 및 수정주가와 divCash(현금 배당), splitFactor(주식분할 조정계수)까지 데이터를 받을 수 있다.\n",
    "\n",
    "이번에는 일별 가치지표를 받아보도록 하자. (무료 계정의 경우 다우존스 30 지수에 포함되는 종목 정보만 제공한다.)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "58e126d5",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>date</th>\n",
       "      <th>marketCap</th>\n",
       "      <th>enterpriseVal</th>\n",
       "      <th>peRatio</th>\n",
       "      <th>pbRatio</th>\n",
       "      <th>trailingPEG1Y</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2019-08-05T00:00:00.000Z</td>\n",
       "      <td>8.737383e+11</td>\n",
       "      <td>9.316263e+11</td>\n",
       "      <td>16.357022</td>\n",
       "      <td>9.222566</td>\n",
       "      <td>-2.412661</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2019-08-06T00:00:00.000Z</td>\n",
       "      <td>8.902785e+11</td>\n",
       "      <td>9.481665e+11</td>\n",
       "      <td>16.666667</td>\n",
       "      <td>9.397153</td>\n",
       "      <td>-2.458333</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2019-08-07T00:00:00.000Z</td>\n",
       "      <td>8.994976e+11</td>\n",
       "      <td>9.573856e+11</td>\n",
       "      <td>16.839255</td>\n",
       "      <td>9.494463</td>\n",
       "      <td>-2.483790</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2019-08-08T00:00:00.000Z</td>\n",
       "      <td>9.193368e+11</td>\n",
       "      <td>9.772248e+11</td>\n",
       "      <td>17.210660</td>\n",
       "      <td>9.703872</td>\n",
       "      <td>-2.538572</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2019-08-09T00:00:00.000Z</td>\n",
       "      <td>9.083100e+11</td>\n",
       "      <td>9.661980e+11</td>\n",
       "      <td>17.004230</td>\n",
       "      <td>9.587481</td>\n",
       "      <td>-2.508124</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                       date     marketCap  enterpriseVal    peRatio   pbRatio  \\\n",
       "0  2019-08-05T00:00:00.000Z  8.737383e+11   9.316263e+11  16.357022  9.222566   \n",
       "1  2019-08-06T00:00:00.000Z  8.902785e+11   9.481665e+11  16.666667  9.397153   \n",
       "2  2019-08-07T00:00:00.000Z  8.994976e+11   9.573856e+11  16.839255  9.494463   \n",
       "3  2019-08-08T00:00:00.000Z  9.193368e+11   9.772248e+11  17.210660  9.703872   \n",
       "4  2019-08-09T00:00:00.000Z  9.083100e+11   9.661980e+11  17.004230  9.587481   \n",
       "\n",
       "   trailingPEG1Y  \n",
       "0      -2.412661  \n",
       "1      -2.458333  \n",
       "2      -2.483790  \n",
       "3      -2.538572  \n",
       "4      -2.508124  "
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "fundamentals_daily = client.get_fundamentals_daily('AAPL')\n",
    "fundamentals_daily_df = pd.DataFrame.from_records(fundamentals_daily)\n",
    "\n",
    "fundamentals_daily_df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f316b310",
   "metadata": {},
   "source": [
    "`get_fundamentals_daily()` 메서드 내에 티커를 입력하면 일간 시가총액, 기업가치, PER, PBR, PEG 정보가 JSON 형태로 받아지며, `from_records()` 메서드를 통해 데이터프레임 형태로 변경해준다.\n",
    "\n",
    "마지막으로 재무제표를 받아보도록 하자."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "a8eb2e51",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>year</th>\n",
       "      <th>quarter</th>\n",
       "      <th>statementType</th>\n",
       "      <th>dataCode</th>\n",
       "      <th>value</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>date</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>2022-07-29</th>\n",
       "      <td>2022</td>\n",
       "      <td>3</td>\n",
       "      <td>cashFlow</td>\n",
       "      <td>ncff</td>\n",
       "      <td>-27445000000.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2022-07-29</th>\n",
       "      <td>2022</td>\n",
       "      <td>3</td>\n",
       "      <td>balanceSheet</td>\n",
       "      <td>liabilitiesCurrent</td>\n",
       "      <td>129873000000.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2022-07-29</th>\n",
       "      <td>2022</td>\n",
       "      <td>3</td>\n",
       "      <td>balanceSheet</td>\n",
       "      <td>deferredRev</td>\n",
       "      <td>7728000000.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2022-07-29</th>\n",
       "      <td>2022</td>\n",
       "      <td>3</td>\n",
       "      <td>cashFlow</td>\n",
       "      <td>ncfi</td>\n",
       "      <td>4234000000.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2022-07-29</th>\n",
       "      <td>2022</td>\n",
       "      <td>3</td>\n",
       "      <td>incomeStatement</td>\n",
       "      <td>netinc</td>\n",
       "      <td>19442000000.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "0           year quarter    statementType            dataCode           value\n",
       "date                                                                         \n",
       "2022-07-29  2022       3         cashFlow                ncff  -27445000000.0\n",
       "2022-07-29  2022       3     balanceSheet  liabilitiesCurrent  129873000000.0\n",
       "2022-07-29  2022       3     balanceSheet         deferredRev    7728000000.0\n",
       "2022-07-29  2022       3         cashFlow                ncfi    4234000000.0\n",
       "2022-07-29  2022       3  incomeStatement              netinc   19442000000.0"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "fundamentals_stmnts = client.get_fundamentals_statements(\n",
    "    'AAPL', startDate='2019-01-01', asReported=True, fmt='csv')\n",
    "\n",
    "df_fs = pd.DataFrame([x.split(',') for x in fundamentals_stmnts.split('\\n')])\n",
    "df_fs.columns = df_fs.iloc[0]\n",
    "df_fs = df_fs[1:]\n",
    "df_fs.set_index('date', drop=True, inplace=True)\n",
    "df_fs = df_fs[df_fs.index != '']\n",
    "\n",
    "df_fs.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "964818be",
   "metadata": {},
   "source": [
    "1. `get_fundamentals_statements()` 메서드 내에 티커를 입력하면 재무제표의 세부항목을 받을 수 있다. 또한 `fmt`은 포맷 형태를 의미하며, JSON으로 받을 경우 형태가 지나치게 복잡하므로 CSV로 받는 것이 좋다.\n",
    "2. 텍스트 형태로 데이터가 들어오므로, 클렌징을 통해 데이터프레임 형태로 변경한다.\n",
    "3. 첫번째 행을 열 이름으로 지정한 후, 해당 행은 삭제한다.\n",
    "4. 'date' 열을 인덱스로 지정한다.\n",
    "5. 'date'가 비어있는 부분이 있으므로 이를 제거한다.\n",
    "\n",
    "결과를 확인해보면 연간 재무제표와 분기 재무제표의 상세 정보가 다운로드 될 뿐만 아니라 발표 날짜 또한 제공된다. 이처럼 유료 벤더를 이용하면 티커 및 주가, 재무제표, 가치지표를 매우 쉽고 빠르게 받을 수 있다. \n",
    "\n",
    "tiingo의 API 사용법 및 파이썬 패키지 사용법은 아래 페이지에 나와있다.\n",
    "\n",
    "- tiingo API: https://api.tiingo.com/documentation/general/overview\n",
    "- 파이썬 패키지: https://github.com/hydrosquall/tiingo-python\n",
    "\n",
    "## 티커 수집하기\n",
    "\n",
    "이번에는 크롤링을 통해 데이터를 수집하는 방법에 대해 알아보겠다. 우리나라는 한국거래소를 통해 티커를 손쉽게 수집할 수 있지만 해외의 경우는 그렇지 않다. 먼저 우리나라와 달리 국가 별로 거래소가 여러개인 경우도 있으며, 홈페이지에 상장 종목 리스트를 제공하지 않는 경우도 많기 때문이다. \n",
    "\n",
    "다행히 투자자들이 많이 참조하는 사이트인 인베스팅닷컴(https://www.investing.com/)에서는 전 세계 주식 및 각종 금융 데이터를 제공하고 있다. 이 중 스크리닝 기능을 활용하면 각 국가별 티커 리스트를 수집할 수 있다. 먼저 인베스팅닷컴에 접속한 후 [Markets → Stocks → Stock Screener]에 접속한다.\n",
    "\n",
    "```{figure} image/data_global/screen.png\n",
    "---\n",
    "name: screen\n",
    "---\n",
    "인베스팅닷컴의 주식 스크리너\n",
    "```\n",
    "\n",
    "페이지를 접속하면 미국 종목들이 나타나며, URL은 다음과 같다. \n",
    "\n",
    "```\n",
    "https://www.investing.com/stock-screener/?sp=country::5|sector::a|industry::a|equityType::a%3Ceq_market_cap;1\n",
    "```\n",
    "\n",
    "하단에 표로 나타는 정보 중 Symbol이 티커에 해당하며, 이를 통해 티커를 손쉽게 수집할 수 있다. 다음으로 국가를 Japan(일본)으로 선택하고, Equity Type은 ORD(보통주)를 선택하자.\n",
    "\n",
    "```{figure} image/data_global/japan.png\n",
    "---\n",
    "name: japan\n",
    "---\n",
    "일본 국가 선택\n",
    "```\n",
    "\n",
    "하단의 테이블이 일본 종목들로 바뀌며 URL 역시 다음과 같이 바뀐다.\n",
    "\n",
    "```\n",
    "https://www.investing.com/stock-screener/?sp=country::35|sector::a|industry::a|equityType::ORD%3Ceq_market_cap;1\n",
    "```\n",
    "\n",
    "즉 기존 URL 중 국가에 해당하는 'country' 부분이 5에서 35로, 주식 종류에 해당하는 'equityType' 부분이 a에서 ORD로 변경되었다. 해당 페이지는 동적으로 페이지가 바뀌므로 셀레니움을 통해 크롤링을 해야한다. 예제로 미국의 보통주 전종목 정보를 크롤링 해보도록 하자."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "33762cba",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "from selenium import webdriver\n",
    "from selenium.webdriver.chrome.service import Service\n",
    "from webdriver_manager.chrome import ChromeDriverManager\n",
    "from selenium.webdriver.common.by import By\n",
    "from bs4 import BeautifulSoup\n",
    "import math\n",
    "import pandas as pd\n",
    "\n",
    "driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))\n",
    "url = 'https://www.investing.com/stock-screener/?sp=country::5|sector::a|industry::a|equityType::ORD%3Ceq_market_cap;1'\n",
    "driver.get(url)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "232b7d66",
   "metadata": {},
   "source": [
    "1. 먼저 크롬 드라이버를 설정한다.\n",
    "2. 미국 보통주에 해당하는 URL을 입력한다.\n",
    "3. 해당 페이지를 연다.\n",
    "\n",
    "```{figure} image/data_global/selenium_open.png\n",
    "---\n",
    "name: selenium_open\n",
    "---\n",
    "셀레니움을 이용한 스크리너 접속\n",
    "```\n",
    "\n",
    "다음으로 HTML 정보를 가져오도록 한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "da6cd1e2",
   "metadata": {},
   "outputs": [],
   "source": [
    "html = BeautifulSoup(driver.page_source, 'lxml')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a0317beb",
   "metadata": {},
   "source": [
    "HTML 정보에 해당하는 `driver.page_source`를 BeautifulSoup 객체로 만들어준다. 이제 우리가 찾고자 하는 데이터를 하나씩 살펴보도록 한다. 먼저 각 국가별 코드를 살펴보도록 하자. 개발자도구 화면에서 'newBtnDropdown noHover' 클래스 하단의 'li 태그의 'data-value' 속성을 살펴보면 국가별 코드와 국가명이 적혀있다.\n",
    "\n",
    "```{figure} image/data_global/country_ticker.png\n",
    "---\n",
    "name: country_ticker\n",
    "---\n",
    "국가별 코드\n",
    "```\n",
    "\n",
    "이번에는 위젯에서 선택되어 있는 국가명을 확인해보도록 하자. 'newBtnDropdown noHover' 클래스 하단의 'input' 태그의 'value' 속성의 속성명에는 국가명이 적혀 있다. 이를 코드를 통해 찾아보도록 하자.\n",
    "\n",
    "```{figure} image/data_global/country_name.png\n",
    "---\n",
    "name: country_name\n",
    "---\n",
    "국가명 확인\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "b2be54c1",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'United States'"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "html.find(class_='js-search-input inputDropDown')['value']"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "48a42501",
   "metadata": {},
   "source": [
    "이번에는 종목들의 정보가 있는 테이블을 확인해보도록 하자. 클래스 명이 'genTbl openTbl resultsStockScreenerTbl elpTbl' 인 테이블 중 'tbody' 부분에 해당 데이터가 위치하고 있다. 이 정보를 이용해 해당 테이블 데이터를 선택하자.\n",
    "\n",
    "```{figure} image/data_global/screen_table.png\n",
    "---\n",
    "name: screen_table\n",
    "---\n",
    "종목 테이블\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "133e578c",
   "metadata": {},
   "outputs": [],
   "source": [
    "html_table = html.select('table.genTbl.openTbl.resultsStockScreenerTbl.elpTbl')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b3fb04c5",
   "metadata": {
    "deletable": false,
    "editable": false,
    "run_control": {
     "frozen": true
    }
   },
   "outputs": [],
   "source": [
    "print(html_table[0])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bda3673b",
   "metadata": {},
   "source": [
    "```{figure} image/data_global/selenium_1.png\n",
    "---\n",
    "name: selenium_1\n",
    "---\n",
    "```\n",
    "\n",
    "`select` 함수를 이용해 table 태그 중 해당 클래스명을 찾은 후 출력하면, 종목 정보들이 담긴 테이블의 HTML 정보가 출력된다. 이제 이를 데이터프레임 형태로 변환해보도록 하자."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "940385dd",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_table = pd.read_html(html_table[0].prettify())\n",
    "df_table_result = df_table[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4e950d2e",
   "metadata": {},
   "source": [
    "`prettify()` 메서드를 이용해 BeautifulSoup 에서 파싱한 파서 트리를 유니코드 형태로 다시 돌려준 후, `read_html()` 함수를 통해 테이블을 읽어온다. Variable Explorer 창에서 df_table_result 변수를 확인해보자.\n",
    "\n",
    "```{figure} image/data_global/selenium_2.png\n",
    "---\n",
    "name: selenium_2\n",
    "---\n",
    "크롤링 결과 확인\n",
    "```\n",
    "\n",
    "결과를 살펴보면 웹페이지에 있는 내역 외에도 Exchange(거래소), Sector, Industy 등 추가적인 정보를 확인할 수 있다. 이 중 필요한 열만 선택하자."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "06b72f54",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Name</th>\n",
       "      <th>Symbol</th>\n",
       "      <th>Exchange</th>\n",
       "      <th>Sector</th>\n",
       "      <th>Market Cap</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Apple</td>\n",
       "      <td>AAPL</td>\n",
       "      <td>NASDAQ</td>\n",
       "      <td>Information Technology</td>\n",
       "      <td>2.66T</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Microsoft</td>\n",
       "      <td>MSFT</td>\n",
       "      <td>NASDAQ</td>\n",
       "      <td>Information Technology</td>\n",
       "      <td>2.12T</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Alphabet A</td>\n",
       "      <td>GOOGL</td>\n",
       "      <td>NASDAQ</td>\n",
       "      <td>Communication Services</td>\n",
       "      <td>1.55T</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Alphabet C</td>\n",
       "      <td>GOOG</td>\n",
       "      <td>NASDAQ</td>\n",
       "      <td>Communication Services</td>\n",
       "      <td>1.52T</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Amazon.com</td>\n",
       "      <td>AMZN</td>\n",
       "      <td>NASDAQ</td>\n",
       "      <td>Consumer Discretionary</td>\n",
       "      <td>1.45T</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         Name Symbol Exchange                  Sector Market Cap\n",
       "0       Apple   AAPL   NASDAQ  Information Technology      2.66T\n",
       "1   Microsoft   MSFT   NASDAQ  Information Technology      2.12T\n",
       "2  Alphabet A  GOOGL   NASDAQ  Communication Services      1.55T\n",
       "3  Alphabet C   GOOG   NASDAQ  Communication Services      1.52T\n",
       "4  Amazon.com   AMZN   NASDAQ  Consumer Discretionary      1.45T"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_table_select = df_table[0][['Name', 'Symbol', 'Exchange',  'Sector', 'Market Cap']]\n",
    "df_table_select.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e3baf08e",
   "metadata": {},
   "source": [
    "마지막으로 종목 정보가 몇페이지까지 있는지 확인해야 한다. 웹페이지의 'Screener Results' 글자 뒤에는 해당 국가에 총 몇 종목이 있는지 출력된다. 한 페이지에는 총 50 종목이 출력되므로 해당 숫자를 50으로 나눈 후 올림을 하면 총 페이지 수를 계산할 수 있다. 해당 정보는 'js-total-results' 클래스에 위치하고 있으며, 이를 이용해 페이지 수를 계산해보도록 하자.\n",
    "\n",
    "```{figure} image/data_global/country_page.png\n",
    "---\n",
    "name: country_page\n",
    "---\n",
    "종목 수 확인\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "d2c34abc",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "185\n"
     ]
    }
   ],
   "source": [
    "end_num = driver.find_element(By.CLASS_NAME, value = 'js-total-results').text\n",
    "print(math.ceil(int(end_num) / 50))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "38fe6d39",
   "metadata": {},
   "source": [
    "마지막으로 드라이브롤 종료해준다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "e9546688",
   "metadata": {},
   "outputs": [],
   "source": [
    "driver.quit()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "aa24f721",
   "metadata": {},
   "source": [
    "### 전 종목 티커 크롤링\n",
    "\n",
    "위 과정을 통해 국가별 전 종목의 티커 및 관련 정보를 수집하는 방법과, 페이지 수를 계산할 수 있었다. 이제 for문을 이용해 미국의 전 종목 티커를 크롤링해보도록 하겠다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "19c42f32",
   "metadata": {
    "deletable": false,
    "editable": false,
    "run_control": {
     "frozen": true
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "from selenium import webdriver\n",
    "from selenium.webdriver.chrome.service import Service\n",
    "from webdriver_manager.chrome import ChromeDriverManager\n",
    "from selenium.webdriver.common.by import By\n",
    "from selenium.webdriver.support import expected_conditions as EC\n",
    "from selenium.webdriver.support.ui import WebDriverWait\n",
    "from bs4 import BeautifulSoup\n",
    "from datetime import datetime\n",
    "import math\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "from tqdm import tqdm\n",
    "import time\n",
    "\n",
    "driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))\n",
    "nationcode = '5'\n",
    "url = f'''https://investing.com/stock-screener/?sp=country::\n",
    "{nationcode}|sector::a|industry::a|equityType::ORD%3Ceq_market_cap;1'''\n",
    "driver.get(url)\n",
    "\n",
    "WebDriverWait(driver, 10).until(EC.visibility_of_element_located(\n",
    "    (By.XPATH, '//*[@id=\"resultsTable\"]/tbody')))\n",
    "\n",
    "end_num = driver.find_element(By.CLASS_NAME, value='js-total-results').text\n",
    "end_num = math.ceil(int(end_num) / 50)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6d9a5faa",
   "metadata": {},
   "source": [
    "1. 크롬 드라이브를 불러온다.\n",
    "2. 국가 코드는 미국에 해당하는 '5'를 입력한다.\n",
    "3. 먼저 첫페이지에 해당하는 URL을 생성한다.\n",
    "4. 셀레니움으로 해당 페이지를 연다\n",
    "5. 'Screener Results'에 해당하는 부분은 종목이 들어있는 테이블이 로딩된 이후 나타난다. 따라서 `WebDriverWait()` 함수를 통해 해당 테이블이 로딩될 때까지 기다리며, 테이블의 XPATH는 '//*[@id=\"resultsTable\"]/tbody' 이다.\n",
    "6. 종목수에 해당하는 부분을 크롤링한 후, 이를 통해 페이지 수를 계산한다.\n",
    "\n",
    "이제 for문을 통해 모든 페이지의 데이터를 크롤링해보도록 하자."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "38a9958f",
   "metadata": {
    "deletable": false,
    "editable": false,
    "run_control": {
     "frozen": true
    }
   },
   "outputs": [],
   "source": [
    "all_data_df = []\n",
    "\n",
    "for i in tqdm(range(1, end_num + 1)):\n",
    "\n",
    "    url = f'''https://investing.com/stock-screener/?sp=country::\n",
    "        {nationcode}|sector::a|industry::a|equityType::ORD%3Ceq_market_cap;{i}'''\n",
    "    driver.get(url)\n",
    "\n",
    "    try:\n",
    "        WebDriverWait(driver, 10).until(EC.visibility_of_element_located(\n",
    "            (By.XPATH, '//*[@id=\"resultsTable\"]/tbody')))\n",
    "    except:\n",
    "        time.sleep(1)\n",
    "        driver.refresh()\n",
    "        WebDriverWait(driver, 10).until(EC.visibility_of_element_located(\n",
    "            (By.XPATH, '//*[@id=\"resultsTable\"]/tbody')))\n",
    "\n",
    "    html = BeautifulSoup(driver.page_source, 'lxml')\n",
    "\n",
    "    html_table = html.select(\n",
    "        'table.genTbl.openTbl.resultsStockScreenerTbl.elpTbl')\n",
    "    df_table = pd.read_html(html_table[0].prettify())\n",
    "    df_table_select = df_table[0][['Name', 'Symbol',\n",
    "                                   'Exchange',  'Sector', 'Market Cap']]\n",
    "\n",
    "    all_data_df.append(df_table_select)\n",
    "\n",
    "    time.sleep(2)\n",
    "\n",
    "all_data_df_bind = pd.concat(all_data_df, axis=0)\n",
    "\n",
    "data_country = html.find(class_='js-search-input inputDropDown')['value']\n",
    "all_data_df_bind['country'] = data_country\n",
    "all_data_df_bind['date'] = datetime.today().strftime('%Y-%m-%d')\n",
    "all_data_df_bind = all_data_df_bind[~all_data_df_bind['Name'].isnull()]\n",
    "all_data_df_bind = all_data_df_bind[all_data_df_bind['Exchange'].isin(\n",
    "    ['NASDAQ', 'NYSE', 'NYSE Amex'])]\n",
    "all_data_df_bind = all_data_df_bind.drop_duplicates(['Symbol'])\n",
    "all_data_df_bind.reset_index(inplace=True, drop=True)\n",
    "all_data_df_bind = all_data_df_bind.replace({np.nan: None})\n",
    "\n",
    "driver.quit()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5b66ed0a",
   "metadata": {},
   "source": [
    "1. 빈 리스트(all_data_df)를 생성한다.\n",
    "2. for문을 통해 전체 페이지에서 종목명과 티커 등의 정보를 크롤링한다.\n",
    "3. f-string을 통해 각 페이지에 해당하는 URL을 생성한 후 페이지를 연다.\n",
    "4. `WebDriverWait()` 함수를 통해 테이블이 로딩될때 까지 기다린다. 또한 간혹 페이지 오류가 발생할 때가 있으므로, try except문을 이용해 오류 발생 시 1초간 기다린 후 `refresh()`를 통해 새로고침을 하여 다시 테이블이 로딩되길 기다린다.\n",
    "5. HTML 정보를 불러온 후, 테이블에 해당하는 부분을 선택한다.\n",
    "6. 원하는 열만 선택한다.\n",
    "7. `append()` 메서드를 통해 해당 테이블을 리스트에 추가한다.\n",
    "8. 2초가 일시정지를 한다.\n",
    "9. for문이 끝나면 `concat()` 함수를 통해 리스트 내 모든 데이터프레임을 행으로 묶어준다.\n",
    "10. 국가명에 해당하는 부분을 추출한 뒤, 'country' 열에 입력한다.\n",
    "11. 'date' 열에 오늘 날짜를 입력한다.\n",
    "12. 일부 종목의 경우 종목명이 빈칸으로 들어오므로 이를 제거한다.\n",
    "13. 'Exchange' 열에서 거래가 가능한 거래소만 선택한다.\n",
    "14. 일부 종목의 경우 중복된 결과가 들어오기도 하므로 `drop_duplicates()` 메서드를 통해 Symbol이 겹치는 경우 한개만 남겨준다.\n",
    "14. `reset_index()` 메서드를 통해 인덱스를 초기화한다.\n",
    "15. nan을 None으로 변경한다.\n",
    "16. 드라이브롤 종료한다.\n",
    "\n",
    "마지막으로 위 데이터프레임을 SQL에 저장해주도록 한다. 먼저 SQL에서 다음의 쿼리를 통해 테이블(global_ticker)을 만든다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "adc70425",
   "metadata": {
    "deletable": false,
    "editable": false,
    "run_control": {
     "frozen": true
    }
   },
   "outputs": [],
   "source": [
    "use stock_db;\n",
    "\n",
    "create table global_ticker\n",
    "(\n",
    "    Name varchar(50) not null,\n",
    "    Symbol varchar(30),\n",
    "    Exchange varchar(30),\n",
    "    Sector varchar(30),\n",
    "    `Market Cap` varchar(10),\n",
    "    country varchar(20),    \n",
    "    date date,\n",
    "    primary key(Symbol, country, date)\n",
    ");"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0f5d822c",
   "metadata": {},
   "source": [
    "위에서 구한 티커 데이터를 해당 테이블에 저장한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c7d9a720",
   "metadata": {
    "deletable": false,
    "editable": false,
    "run_control": {
     "frozen": true
    }
   },
   "outputs": [],
   "source": [
    "import pymysql\n",
    "\n",
    "con = pymysql.connect(user='root',\n",
    "                      passwd='1234',\n",
    "                      host='127.0.0.1',\n",
    "                      db='stock_db',\n",
    "                      charset='utf8')\n",
    "\n",
    "mycursor = con.cursor()\n",
    "query = \"\"\"\n",
    "    insert into global_ticker (Name, Symbol, Exchange, Sector, `Market Cap`, country, date)\n",
    "    values (%s,%s,%s,%s,%s,%s,%s) as new\n",
    "    on duplicate key update\n",
    "    name=new.name,Exchange=new.Exchange,Sector=new.Sector,\n",
    "    `Market Cap`=new.`Market Cap`; \n",
    "\"\"\"\n",
    "\n",
    "args = all_data_df_bind.values.tolist()\n",
    "\n",
    "mycursor.executemany(query, args)\n",
    "con.commit()\n",
    "\n",
    "con.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4e249199",
   "metadata": {},
   "source": [
    "```{figure} image/data_global/ticker_sql.png\n",
    "---\n",
    "name: ticker_sql\n",
    "---\n",
    "글로벌 티커 테이블\n",
    "```\n",
    "\n",
    "```{note}\n",
    "- nationcode 부분만 변경하면 모든 국가의 티커 리스트 역시 동일한 방법으로 다운로드 받을 수 있다.\n",
    "```\n",
    "\n",
    "## 주가 다운로드\n",
    "\n",
    "야후 파이낸스에서는 전 세계 주가(한국 포함)를 제공하고 있다.\n",
    "\n",
    "```\n",
    "https://finance.yahoo.com/\n",
    "```\n",
    "\n",
    "사이트에서 종목 티커를 검색한 후 [Historical Data] 탭을 선택하면 확인 및 다운로드가 가능하다. 또한 pandas_datareader 패키지의 `DataReader()` 함수를 사용하면 야후 API를 통해 해당 데이터를 매우 손쉽게 다운로드 받을 수도 있다. 예시로써 애플(AAPL)의 주가를 다운로드 받아보도록 하자.\n",
    "\n",
    "```{figure} image/data_global/yahoo_price.png\n",
    "---\n",
    "name: yahoo_price\n",
    "---\n",
    "야후에서 제공하는 주가 데이터\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "e7831c72",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>High</th>\n",
       "      <th>Low</th>\n",
       "      <th>Open</th>\n",
       "      <th>Close</th>\n",
       "      <th>Volume</th>\n",
       "      <th>Adj Close</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Date</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>2017-08-07</th>\n",
       "      <td>39.730000</td>\n",
       "      <td>39.167500</td>\n",
       "      <td>39.264999</td>\n",
       "      <td>39.702499</td>\n",
       "      <td>87481200.0</td>\n",
       "      <td>37.585022</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2017-08-08</th>\n",
       "      <td>40.457500</td>\n",
       "      <td>39.567501</td>\n",
       "      <td>39.650002</td>\n",
       "      <td>40.020000</td>\n",
       "      <td>144823600.0</td>\n",
       "      <td>37.885582</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2017-08-09</th>\n",
       "      <td>40.317501</td>\n",
       "      <td>39.777500</td>\n",
       "      <td>39.814999</td>\n",
       "      <td>40.264999</td>\n",
       "      <td>104526000.0</td>\n",
       "      <td>38.117508</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2017-08-10</th>\n",
       "      <td>40.000000</td>\n",
       "      <td>38.657501</td>\n",
       "      <td>39.974998</td>\n",
       "      <td>38.830002</td>\n",
       "      <td>163217200.0</td>\n",
       "      <td>36.903397</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2017-08-11</th>\n",
       "      <td>39.642502</td>\n",
       "      <td>39.017502</td>\n",
       "      <td>39.150002</td>\n",
       "      <td>39.369999</td>\n",
       "      <td>105028400.0</td>\n",
       "      <td>37.416603</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                 High        Low       Open      Close       Volume  Adj Close\n",
       "Date                                                                          \n",
       "2017-08-07  39.730000  39.167500  39.264999  39.702499   87481200.0  37.585022\n",
       "2017-08-08  40.457500  39.567501  39.650002  40.020000  144823600.0  37.885582\n",
       "2017-08-09  40.317501  39.777500  39.814999  40.264999  104526000.0  38.117508\n",
       "2017-08-10  40.000000  38.657501  39.974998  38.830002  163217200.0  36.903397\n",
       "2017-08-11  39.642502  39.017502  39.150002  39.369999  105028400.0  37.416603"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas_datareader as web\n",
    "\n",
    "price = web.DataReader('AAPL', 'yahoo')\n",
    "price.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "295e7e5d",
   "metadata": {},
   "source": [
    "`DataReader()` 함수 내에 티커와 출처에 해당하는 'yahoo'를 입력하면 주가 정보를 매우 손쉽게 받을 수 있다.\n",
    "\n",
    "반면 미국이 아닌 국가의 경우 단순히 티커만 입력할 경우 데이터를 받을 수 없다. 예를 들어 일본의 '도쿄 일렉트론'은 일본 내에서 티커가 '8035'이며, 야후 파이낸스에서 이를 검색해보자.\n",
    "\n",
    "```{figure} image/data_global/same_ticker.png\n",
    "---\n",
    "name: same_ticker\n",
    "---\n",
    "중복 티커\n",
    "```\n",
    "\n",
    "우리가 원하는 도쿄 일렉트론 뿐만 아니라 홍콩에 상장된 'Janco Holdings Limited'라는 주식 역시 티커가 8035 이다. 이처럼 각기 다른 국가에서 중복된 티커가 사용되는 경우가 종종 발생되므로, 야후 파이낸스 혹은 여러 벤더의 경우 '티커.국가코드' 형태를 통해 이들을 구분한다. 야후 파이낸스에서 일본의 국가코드는 'T' 이다. 이를 이용해 도쿄 일렉트론의 주가를 받는 법은 다음과 같다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "62caf644",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>High</th>\n",
       "      <th>Low</th>\n",
       "      <th>Open</th>\n",
       "      <th>Close</th>\n",
       "      <th>Volume</th>\n",
       "      <th>Adj Close</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Date</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>2017-08-07</th>\n",
       "      <td>15140.0</td>\n",
       "      <td>14925.0</td>\n",
       "      <td>14975.0</td>\n",
       "      <td>15030.0</td>\n",
       "      <td>878700.0</td>\n",
       "      <td>12897.755859</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2017-08-08</th>\n",
       "      <td>15330.0</td>\n",
       "      <td>15065.0</td>\n",
       "      <td>15330.0</td>\n",
       "      <td>15095.0</td>\n",
       "      <td>925600.0</td>\n",
       "      <td>12953.536133</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2017-08-09</th>\n",
       "      <td>14995.0</td>\n",
       "      <td>14715.0</td>\n",
       "      <td>14900.0</td>\n",
       "      <td>14770.0</td>\n",
       "      <td>1586300.0</td>\n",
       "      <td>12674.641602</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2017-08-10</th>\n",
       "      <td>14970.0</td>\n",
       "      <td>14790.0</td>\n",
       "      <td>14915.0</td>\n",
       "      <td>14855.0</td>\n",
       "      <td>1024100.0</td>\n",
       "      <td>12747.582031</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2017-08-11</th>\n",
       "      <td>14855.0</td>\n",
       "      <td>14855.0</td>\n",
       "      <td>14855.0</td>\n",
       "      <td>14855.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>12747.582031</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               High      Low     Open    Close     Volume     Adj Close\n",
       "Date                                                                   \n",
       "2017-08-07  15140.0  14925.0  14975.0  15030.0   878700.0  12897.755859\n",
       "2017-08-08  15330.0  15065.0  15330.0  15095.0   925600.0  12953.536133\n",
       "2017-08-09  14995.0  14715.0  14900.0  14770.0  1586300.0  12674.641602\n",
       "2017-08-10  14970.0  14790.0  14915.0  14855.0  1024100.0  12747.582031\n",
       "2017-08-11  14855.0  14855.0  14855.0  14855.0        0.0  12747.582031"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas_datareader as web\n",
    "\n",
    "price = web.DataReader('8035.T', 'yahoo')\n",
    "price.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d86dc002",
   "metadata": {},
   "source": [
    "```{note}\n",
    "- 미국의 경우는 국가코드가 필요없이 단순히 티커만 입력하면 된다.\n",
    "- 국내 주가 역시 야후 파이낸스를 통해 다운로드 받을 수 있다. 그러나 일부 중소형주의 경우 데이터가 존재하지 않는 문제가 있어 국내 사이트를 이용해 수집하는 것을 권장한다.\n",
    "```\n",
    "\n",
    "### 전 종목 주가 다운로드\n",
    "\n",
    "미국 데이터 역시 국내 전종목 주가를 다운로드 받고 DB에 저장했던것과 동일하게 for문을 이용하면 된다. 먼저 SQL에서 주가 데이터에 해당하는 테이블(global_price)를 만든다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "1b266b0d",
   "metadata": {
    "deletable": false,
    "editable": false,
    "run_control": {
     "frozen": true
    }
   },
   "outputs": [],
   "source": [
    "use stock_db;\n",
    "\n",
    "create table global_price\n",
    "(\n",
    "    Date date,\n",
    "    High double,\n",
    "    Low double,\n",
    "    Open double,\n",
    "    Close double,\n",
    "    Volume double,\n",
    "    `Adj Close` double,\n",
    "    ticker varchar(20),\n",
    "    primary key(Date, ticker)\n",
    ");"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "84633fb0",
   "metadata": {},
   "source": [
    "파이썬에서 아래 코드를 실행하면 for문을 통해 전종목 주가가 DB에 저장된다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ccc4acef",
   "metadata": {
    "deletable": false,
    "editable": false,
    "run_control": {
     "frozen": true
    }
   },
   "outputs": [],
   "source": [
    "# 패키지 불러오기\n",
    "import pymysql\n",
    "from sqlalchemy import create_engine\n",
    "import pandas as pd\n",
    "import pandas_datareader as web\n",
    "import time\n",
    "from tqdm import tqdm\n",
    "\n",
    "# DB 연결\n",
    "engine = create_engine('mysql+pymysql://root:1234@127.0.0.1:3306/stock_db')\n",
    "con = pymysql.connect(user='root',\n",
    "                      passwd='1234',\n",
    "                      host='127.0.0.1',\n",
    "                      db='stock_db',\n",
    "                      charset='utf8')\n",
    "\n",
    "mycursor = con.cursor()\n",
    "\n",
    "# 티커리스트 불러오기\n",
    "ticker_list = pd.read_sql(\"\"\"\n",
    "select * from global_ticker\n",
    "where date = (select max(date) from global_ticker)\n",
    "and country = 'United States';\n",
    "\"\"\", con=engine)\n",
    "\n",
    "# DB 저장 쿼리\n",
    "query = \"\"\"\n",
    "    insert into global_price (Date, High, Low, Open, Close, Volume, `Adj Close`, ticker)\n",
    "    values (%s, %s,%s,%s,%s,%s,%s,%s) as new\n",
    "    on duplicate key update\n",
    "    High = new.High, Low = new.Low, Open = new.Open, Close = new.Close,\n",
    "    Volume = new.Volume, `Adj Close` = new.`Adj Close`;\n",
    "\"\"\"\n",
    "\n",
    "# 오류 발생시 저장할 리스트 생성\n",
    "error_list = []\n",
    "\n",
    "# 전종목 주가 다운로드 및 저장\n",
    "for i in tqdm(range(0, len(ticker_list))):\n",
    "\n",
    "    # 티커 선택\n",
    "    ticker = ticker_list['Symbol'][i]\n",
    "\n",
    "    # 오류 발생 시 이를 무시하고 다음 루프로 진행\n",
    "    try:\n",
    "\n",
    "        # url 생성\n",
    "        price = web.DataReader(ticker, 'yahoo')\n",
    "\n",
    "        # 데이터 클렌징\n",
    "        price = price.reset_index()\n",
    "        price['ticker'] = ticker\n",
    "\n",
    "        # 주가 데이터를 DB에 저장\n",
    "        args = price.values.tolist()\n",
    "        mycursor.executemany(query, args)\n",
    "        con.commit()\n",
    "\n",
    "    except:\n",
    "\n",
    "        # 오류 발생시 error_list에 티커 저장하고 넘어가기\n",
    "        print(ticker)\n",
    "        error_list.append(ticker)\n",
    "\n",
    "    # 타임슬립 적용\n",
    "    time.sleep(2)\n",
    "\n",
    "# DB 연결 종료\n",
    "engine.dispose()\n",
    "con.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "15ac082d",
   "metadata": {},
   "source": [
    "1. DB에 연결한다.\n",
    "2. 기준일이 최대, 즉 최근일 기준 보통주에 해당하며, 미국 종목의 리스트(ticker_list)만 불러온다.\n",
    "3. DB에 저장할 쿼리(query)를 입력한다.\n",
    "4. 페이지 오류, 통신 오류 등 오류가 발생한 티커명을 저장할 리스트(error_list)를 만든다.\n",
    "5. for문을 통해 전종목 주가를 다운로드 받으며, 진행상황을 알기위해 `tqdm()` 함수를 이용한다.\n",
    "6. `DataReader()` 함수를 통해 야후 파이낸스에서 주가를 받은 후 클렌징 처리한다. 그 후 주가 데이터를 DB에 저장한다.\n",
    "7. try except문을 통해 오류가 발생시 'error_list'에 티커를 저장한다.\n",
    "8. 무한 크롤링을 방지하기 위해 한 번의 루프가 끝날 때마다 타임슬립을 적용한다.\n",
    "9. 모든 작업이 끝나면 DB와의 연결을 종료한다.\n",
    "\n",
    "```{figure} image/data_global/sql_price.png\n",
    "---\n",
    "name: sql_price\n",
    "---\n",
    "글로벌 주가 테이블\n",
    "```\n",
    "\n",
    "작업이 종료된 후 'error_list'에는 오류가 발생해 다운로드 받지 못한 종목들이 입력되어 있다. 이는 페이지 오류나 통신 오류 때문일 수도 있으며, 인베스팅닷컴에는 존재하지만 야후 파이낸스에는 존재하지 않는 종목일 수도 있다.\n",
    "\n",
    "```{note}\n",
    "미국이 아닌 타 국가의 경우 티커의 중복 방지를 위해 ticker 열에 국가코드도 함께 입력한 후 DB에 저장하는 것을 추천한다.\n",
    "```\n",
    "\n",
    "## 재무제표 다운로드\n",
    "\n",
    "재무제표 역시 야후 파이낸스에서 구할 수 있으며, [Financials] 탭을 클릭하면 연간 및 분기 기준 재무제표를 제공하고 있다. 해당 데이터를 다운로드 받을 수 있는 여러 패키지가 존재하며, 본 책에서는 그 중에서도 yahoo_fin 패키지를 사용하도록 하겠다. 해당 패키지의 자세한 설명은 아래 사이트에서 확인할 수 있다.\n",
    "\n",
    "```\n",
    "http://theautomatic.net/yahoo_fin-documentation/\n",
    "```\n",
    "\n",
    "```{figure} image/data_global/yahoo_fs.png\n",
    "---\n",
    "name: yahoo_fs\n",
    "---\n",
    "야후에서 제공하는 재무제표 데이터\n",
    "```\n",
    "\n",
    "해당 패키지의 `get_financials()` 함수를 이용하면 손익계산서, 재무상태표, 현금흐름표를 한번에 다운로드 받을 수 있으며, 예시로 애플(AAPL) 종목의 연간 재무제표를 받아보도록 하겠다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "3d9da6ad",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "dict_keys(['yearly_income_statement', 'yearly_balance_sheet', 'yearly_cash_flow'])"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import yahoo_fin.stock_info as si\n",
    "\n",
    "data_y = si.get_financials('AAPL', yearly=True, quarterly=False)\n",
    "data_y.keys()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c81a9e27",
   "metadata": {},
   "source": [
    "인자의 `yearly = True, quarterly = False`는 연간 재무제표를 의미하며, 딕셔너리 형태로 세 종류의 재무제표가 다운로드 되었다. 이를 하나의 데이터프레임으로 합쳐주도록 한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "1db3b48e",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>account</th>\n",
       "      <th>date</th>\n",
       "      <th>value</th>\n",
       "      <th>freq</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>researchDevelopment</td>\n",
       "      <td>2021-09-25</td>\n",
       "      <td>21914000000</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>researchDevelopment</td>\n",
       "      <td>2020-09-26</td>\n",
       "      <td>18752000000</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>researchDevelopment</td>\n",
       "      <td>2019-09-28</td>\n",
       "      <td>16217000000</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>researchDevelopment</td>\n",
       "      <td>2018-09-29</td>\n",
       "      <td>14236000000</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>incomeBeforeTax</td>\n",
       "      <td>2021-09-25</td>\n",
       "      <td>109207000000</td>\n",
       "      <td>y</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               account       date         value freq\n",
       "0  researchDevelopment 2021-09-25   21914000000    y\n",
       "1  researchDevelopment 2020-09-26   18752000000    y\n",
       "2  researchDevelopment 2019-09-28   16217000000    y\n",
       "3  researchDevelopment 2018-09-29   14236000000    y\n",
       "4      incomeBeforeTax 2021-09-25  109207000000    y"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "\n",
    "data_fs_y = pd.concat([v for k, v in data_y.items()])\n",
    "data_fs_y = data_fs_y.stack().reset_index()\n",
    "data_fs_y.columns = ['account', 'date', 'value']\n",
    "data_fs_y['freq'] = 'y'\n",
    "\n",
    "data_fs_y.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0dbd41fc",
   "metadata": {},
   "source": [
    "1. 딕셔너리의 value에 해당하는 부분만을 선택한 후 `concat()` 함수를 통해 데이터프레임 형태로 합쳐준다.\n",
    "2. `stack()` 함수를 통해 데이터를 위에서 아래로 길게 재구조화 해주며, `reset_index()`를 통해 인덱스를 초기화한다.\n",
    "3. 열 이름을 변경한다.\n",
    "4. freq 열에 연간에 해당하는 'y'를 입력한다.\n",
    "\n",
    "이처럼 패키지를 이용하여 미국 재무제표 데이터도 매우 쉽게 다운로드 받을 수 있다. 분기별 재무제표를 받는법도 위와 같으며, 인자만 `yearly=False, quarterly=True`로 변경하면 된다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "6f8b29f6",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>account</th>\n",
       "      <th>date</th>\n",
       "      <th>value</th>\n",
       "      <th>freq</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>researchDevelopment</td>\n",
       "      <td>2022-06-25</td>\n",
       "      <td>6797000000</td>\n",
       "      <td>q</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>researchDevelopment</td>\n",
       "      <td>2022-03-26</td>\n",
       "      <td>6387000000</td>\n",
       "      <td>q</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>researchDevelopment</td>\n",
       "      <td>2021-12-25</td>\n",
       "      <td>6306000000</td>\n",
       "      <td>q</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>researchDevelopment</td>\n",
       "      <td>2021-09-25</td>\n",
       "      <td>5772000000</td>\n",
       "      <td>q</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>incomeBeforeTax</td>\n",
       "      <td>2022-06-25</td>\n",
       "      <td>23066000000</td>\n",
       "      <td>q</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               account       date        value freq\n",
       "0  researchDevelopment 2022-06-25   6797000000    q\n",
       "1  researchDevelopment 2022-03-26   6387000000    q\n",
       "2  researchDevelopment 2021-12-25   6306000000    q\n",
       "3  researchDevelopment 2021-09-25   5772000000    q\n",
       "4      incomeBeforeTax 2022-06-25  23066000000    q"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data_q = si.get_financials('AAPL', yearly=False, quarterly=True)\n",
    "data_fs_q = pd.concat([v for k, v in data_q.items()])\n",
    "data_fs_q = data_fs_q.stack().reset_index()\n",
    "data_fs_q.columns = ['account', 'date', 'value']\n",
    "data_fs_q['freq'] = 'q'\n",
    "\n",
    "data_fs_q.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "44d28a87",
   "metadata": {},
   "source": [
    "### 전 종목 재무제표 다운로드\n",
    "\n",
    "for문을 이용하여 전 종목 재무제표를 다운로드 받도록 하겠다. 먼저 SQL에서 재무제표 데이터에 해당하는 테이블(global_fs)를 만든다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b7fa0541",
   "metadata": {
    "deletable": false,
    "editable": false,
    "run_control": {
     "frozen": true
    }
   },
   "outputs": [],
   "source": [
    "use stock_db;\n",
    "\n",
    "create table global_fs\n",
    "(\n",
    "    account varchar(100),\n",
    "    date date,\n",
    "    value double,\n",
    "    freq varchar(1),\n",
    "    ticker varchar(20),    \n",
    "    primary key(account, date, ticker, freq)\n",
    ");"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3b4a03f0",
   "metadata": {},
   "source": [
    "이제 파이썬에서 아래 코드를 실행하면 for문을 통해 전 종목 재무제표가 DB에 저장된다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b285d2d6",
   "metadata": {
    "deletable": false,
    "editable": false,
    "run_control": {
     "frozen": true
    },
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# 패키지 불러오기\n",
    "from sqlalchemy import create_engine\n",
    "import pymysql\n",
    "import pandas as pd\n",
    "import yahoo_fin.stock_info as si\n",
    "import time\n",
    "from tqdm import tqdm\n",
    "\n",
    "# DB 연결\n",
    "engine = create_engine('mysql+pymysql://root:1234@127.0.0.1:3306/stock_db')\n",
    "con = pymysql.connect(user='root',\n",
    "                      passwd='1234',\n",
    "                      host='127.0.0.1',\n",
    "                      db='stock_db',\n",
    "                      charset='utf8')\n",
    "\n",
    "mycursor = con.cursor()\n",
    "\n",
    "# 티커리스트 불러오기\n",
    "ticker_list = pd.read_sql(\"\"\"\n",
    "select * from global_ticker\n",
    "where date = (select max(date) from global_ticker)\n",
    "and country = 'United States';\n",
    "\"\"\", con=engine)\n",
    "\n",
    "# DB 저장 쿼리\n",
    "query_fs = \"\"\"\n",
    "    insert into global_fs (account, date, value, freq, ticker)\n",
    "    values (%s,%s,%s,%s,%s) as new\n",
    "    on duplicate key update\n",
    "    value = new.value;\n",
    "\"\"\"\n",
    "\n",
    "# 오류 발생시 저장할 리스트 생성\n",
    "error_list = []\n",
    "\n",
    "# 전종목 주가 다운로드 및 저장\n",
    "for i in tqdm(range(0, len(ticker_list))):\n",
    "\n",
    "    # 티커 선택\n",
    "    ticker = ticker_list['Symbol'][i]\n",
    "\n",
    "    # 오류 발생 시 이를 무시하고 다음 루프로 진행\n",
    "    try:\n",
    "\n",
    "        # 재무제표 다운로드\n",
    "        data_y = si.get_financials(ticker, yearly=True, quarterly=False)\n",
    "        data_fs_y = pd.concat([v for k, v in data_y.items()])\n",
    "        data_fs_y = data_fs_y.stack().reset_index()\n",
    "        data_fs_y.columns = ['account', 'date', 'value']\n",
    "        data_fs_y['freq'] = 'y'\n",
    "\n",
    "        data_q = si.get_financials('AAPL', yearly=False, quarterly=True)\n",
    "        data_fs_q = pd.concat([v for k, v in data_q.items()])\n",
    "        data_fs_q = data_fs_q.stack().reset_index()\n",
    "        data_fs_q.columns = ['account', 'date', 'value']\n",
    "        data_fs_q['freq'] = 'q'\n",
    "\n",
    "        data_fs = pd.concat([data_fs_y, data_fs_q], axis=0)\n",
    "        data_fs['ticker'] = ticker\n",
    "\n",
    "        # 주가 데이터를 DB에 저장\n",
    "        args = data_fs.values.tolist()\n",
    "        mycursor.executemany(query_fs, args)\n",
    "        con.commit()\n",
    "\n",
    "    except:\n",
    "\n",
    "        # 오류 발생시 error_list에 티커 저장하고 넘어가기\n",
    "        print(ticker)\n",
    "        error_list.append(ticker)\n",
    "\n",
    "    # 타임슬립 적용\n",
    "    time.sleep(2)\n",
    "\n",
    "# DB 연결 종료\n",
    "engine.dispose()\n",
    "con.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3be3647f",
   "metadata": {},
   "source": [
    "1. DB에 연결한다.\n",
    "2. 기준일이 최대, 즉 최근일 기준 보통주에 해당하며, 미국 종목의 리스트(ticker_list)만 불러온다.\n",
    "3. DB에 저장할 쿼리(query)를 입력한다.\n",
    "4. 페이지 오류, 통신 오류 등 오류가 발생한 티커명을 저장할 리스트(error_list)를 만든다.\n",
    "5. for문을 통해 전종목 재무제표를 다운로드 받으며, 진행상황을 알기위해 tqdm() 함수를 이용한다.\n",
    "6. get_financials() 함수를 이용해 연간 및 분기 재무제표를 받은 후, 두 테이블을 concat() 함수를 통해 행으로 묶어준다.\n",
    "6. 재무제표 데이터를 DB에 저장한다.\n",
    "7. 무한 크롤링을 방지하기 위해 한 번의 루프가 끝날 때마다 타임슬립을 적용한다.\n",
    "8. 모든 작업이 끝나면 DB와의 연결을 종료한다.\n",
    "\n",
    "```{figure} image/data_global/sql_fs.png\n",
    "---\n",
    "name: sql_fs\n",
    "---\n",
    "글로벌 재무제표 테이블\n",
    "```\n",
    "\n",
    "```{note}\n",
    "미국 종목들의 가치지표는 국내 재무제표 데이터를 이용해 가치지표를 계산했던 것과 동일한 방법으로 계산할 수 있으므로, 이는 생략하도록 한다.\n",
    "```"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.13"
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}