igc_to_csv.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "c3a9ce0a",
   "metadata": {},
   "outputs": [],
   "source": [
    "import aerofiles as af # To read track files\n",
    "import glob\n",
    "import operator\n",
    "import pandas as pd\n",
    "import datetime\n",
    "import time\n",
    "from joblib import Parallel, delayed\n",
    "import itertools"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "7a3a78fe",
   "metadata": {},
   "outputs": [],
   "source": [
    " def readSingleTrack(trackfile: str):\n",
    "    reader = af.igc.Reader()\n",
    "    try:\n",
    "        with open(trackfile) as f:\n",
    "            data = reader.read(f)\n",
    "        start, stop = operator.itemgetter(0, -1)(data['fix_records'][1])\n",
    "        # result = {'take off': start, 'landing': stop}\n",
    "        result = [\n",
    "            start['time'], start['lon'], start['lat'],\n",
    "            stop['time'], stop['lon'], stop['lat']\n",
    "        ]\n",
    "    except:\n",
    "        print(f'Could not read file {trackfile}')\n",
    "        result = None\n",
    "    return result"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "6fa67bea",
   "metadata": {},
   "outputs": [],
   "source": [
    "def timing(f):\n",
    "    def wrap(*args, **kwargs):\n",
    "        time1 = time.time()\n",
    "        ret = f(*args, **kwargs)\n",
    "        time2 = time.time()\n",
    "        print('{:s} function took {:.3f} ms'.format(f.__name__, (time2-time1)*1000.0))\n",
    "\n",
    "        return ret\n",
    "    return wrap"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "e35cf30e",
   "metadata": {},
   "outputs": [],
   "source": [
    "@timing\n",
    "def readTracks(path='./data/*.igc', nMax=1000):\n",
    "    inputs = itertools.islice(sorted(glob.glob(path), reverse=True), nMax)\n",
    "    data = []\n",
    "    for track in inputs:\n",
    "        data.append(readSingleTrack(track))\n",
    "    return data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "0faf2b30",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "readTracks function took 8455.912 ms\n"
     ]
    }
   ],
   "source": [
    "data = readTracks(nMax=100)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "2c1fcfce",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Faster parallel version\n",
    "@timing\n",
    "def readTracksParallel(path='./data/*.igc', nMax=1000):\n",
    "    inputs = itertools.islice(sorted(glob.glob(path), reverse=True), nMax)\n",
    "    data = Parallel(n_jobs=-1)(\n",
    "        delayed(readSingleTrack)(track) for track in inputs\n",
    "    )\n",
    "    return data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "6174578c",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "readTracksParallel function took 3657.229 ms\n"
     ]
    }
   ],
   "source": [
    "data = readTracksParallel(nMax=100)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c441a647",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Took ~35 minutes on my old macbook (for 123k tracks)\n",
    "data = readTracksParallel(nMax=None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "c0566d1b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[datetime.time(10, 53, 33),\n",
       "  5.8909,\n",
       "  45.3104,\n",
       "  datetime.time(13, 23, 4),\n",
       "  5.9603166666666665,\n",
       "  45.32515],\n",
       " [datetime.time(9, 47, 47),\n",
       "  6.2721,\n",
       "  45.69846666666667,\n",
       "  datetime.time(13, 59, 18),\n",
       "  6.3162,\n",
       "  45.75485],\n",
       " [datetime.time(16, 53, 46),\n",
       "  1.3244666666666667,\n",
       "  42.22848333333334,\n",
       "  datetime.time(18, 7, 18),\n",
       "  1.3240333333333334,\n",
       "  42.228433333333335],\n",
       " [datetime.time(14, 6, 12),\n",
       "  1.3245,\n",
       "  42.22848333333334,\n",
       "  datetime.time(15, 34, 9),\n",
       "  1.3215166666666667,\n",
       "  42.22265],\n",
       " [datetime.time(16, 30, 25),\n",
       "  1.3244666666666667,\n",
       "  42.22846666666667,\n",
       "  datetime.time(17, 13, 3),\n",
       "  1.3217166666666667,\n",
       "  42.22225],\n",
       " [datetime.time(17, 21, 54),\n",
       "  1.3244666666666667,\n",
       "  42.22846666666667,\n",
       "  datetime.time(17, 53, 37),\n",
       "  1.3215,\n",
       "  42.22293333333333],\n",
       " [datetime.time(15, 50, 18),\n",
       "  1.3245166666666668,\n",
       "  42.22841666666667,\n",
       "  datetime.time(16, 38, 43),\n",
       "  1.3242166666666666,\n",
       "  42.22848333333334],\n",
       " [datetime.time(13, 16, 31),\n",
       "  1.3243833333333335,\n",
       "  42.2284,\n",
       "  datetime.time(13, 56, 29),\n",
       "  1.3265166666666666,\n",
       "  42.22273333333333],\n",
       " [datetime.time(17, 24, 54),\n",
       "  1.3242666666666667,\n",
       "  42.22848333333334,\n",
       "  datetime.time(17, 46, 51),\n",
       "  1.3206,\n",
       "  42.22345],\n",
       " [datetime.time(14, 16, 27),\n",
       "  1.32445,\n",
       "  42.2285,\n",
       "  datetime.time(17, 6, 40),\n",
       "  1.3243166666666666,\n",
       "  42.2285],\n",
       " [datetime.time(16, 27, 56),\n",
       "  1.3245,\n",
       "  42.22845,\n",
       "  datetime.time(16, 50, 38),\n",
       "  1.32215,\n",
       "  42.22248333333334],\n",
       " [datetime.time(14, 17, 25),\n",
       "  1.3243833333333335,\n",
       "  42.22846666666667,\n",
       "  datetime.time(18, 17, 19),\n",
       "  1.3242333333333334,\n",
       "  42.22846666666667],\n",
       " [datetime.time(18, 9, 20),\n",
       "  1.3243333333333334,\n",
       "  42.22848333333334,\n",
       "  datetime.time(18, 45, 7),\n",
       "  1.32125,\n",
       "  42.2226],\n",
       " [datetime.time(17, 55, 48),\n",
       "  1.3201166666666666,\n",
       "  42.232416666666666,\n",
       "  datetime.time(18, 13, 2),\n",
       "  1.3267166666666668,\n",
       "  42.221466666666664],\n",
       " [datetime.time(17, 51, 44),\n",
       "  1.3125166666666668,\n",
       "  42.24183333333333,\n",
       "  datetime.time(17, 52, 29),\n",
       "  1.3138666666666667,\n",
       "  42.24105],\n",
       " [datetime.time(17, 3, 51),\n",
       "  1.32445,\n",
       "  42.2285,\n",
       "  datetime.time(17, 35, 9),\n",
       "  1.3142666666666667,\n",
       "  42.24185],\n",
       " [datetime.time(13, 22, 26),\n",
       "  1.3219666666666667,\n",
       "  42.229083333333335,\n",
       "  datetime.time(16, 11, 21),\n",
       "  1.3244666666666667,\n",
       "  42.22848333333334],\n",
       " [datetime.time(14, 8, 9),\n",
       "  1.3242666666666667,\n",
       "  42.22853333333333,\n",
       "  datetime.time(17, 11, 37),\n",
       "  1.3245,\n",
       "  42.22855],\n",
       " [datetime.time(15, 1, 6),\n",
       "  1.32435,\n",
       "  42.228516666666664,\n",
       "  datetime.time(18, 8, 29),\n",
       "  1.3288833333333334,\n",
       "  42.219166666666666],\n",
       " [datetime.time(15, 36, 11),\n",
       "  1.3244333333333334,\n",
       "  42.22846666666667,\n",
       "  datetime.time(17, 55, 13),\n",
       "  1.3278666666666668,\n",
       "  42.2227],\n",
       " [datetime.time(18, 15, 47),\n",
       "  1.3243833333333335,\n",
       "  42.22848333333334,\n",
       "  datetime.time(18, 45, 26),\n",
       "  1.3244166666666666,\n",
       "  42.22853333333333],\n",
       " [datetime.time(10, 32, 32),\n",
       "  12.740266666666667,\n",
       "  47.329633333333334,\n",
       "  datetime.time(13, 57, 15),\n",
       "  12.645166666666666,\n",
       "  47.28265],\n",
       " [datetime.time(8, 4, 22),\n",
       "  6.883383333333334,\n",
       "  45.90215,\n",
       "  datetime.time(15, 59, 26),\n",
       "  6.8767499999999995,\n",
       "  45.92928333333333],\n",
       " [datetime.time(11, 9, 25),\n",
       "  7.0148166666666665,\n",
       "  47.92615,\n",
       "  datetime.time(16, 41, 23),\n",
       "  6.980766666666667,\n",
       "  47.998983333333335],\n",
       " [datetime.time(9, 44, 39),\n",
       "  6.414933333333333,\n",
       "  45.78523333333333,\n",
       "  datetime.time(15, 17, 38),\n",
       "  6.340816666666667,\n",
       "  45.762483333333336],\n",
       " [datetime.time(9, 10, 53),\n",
       "  6.4765,\n",
       "  45.95825,\n",
       "  datetime.time(11, 36, 55),\n",
       "  6.15765,\n",
       "  45.80205],\n",
       " [datetime.time(13, 5, 45),\n",
       "  6.498766666666667,\n",
       "  46.29371666666667,\n",
       "  datetime.time(14, 47, 36),\n",
       "  6.485016666666667,\n",
       "  46.3192],\n",
       " [datetime.time(12, 26, 31),\n",
       "  2.9654833333333332,\n",
       "  45.77113333333333,\n",
       "  datetime.time(13, 14, 13),\n",
       "  2.9865166666666667,\n",
       "  45.77315],\n",
       " [datetime.time(9, 14, 53),\n",
       "  6.919366666666667,\n",
       "  47.89861666666667,\n",
       "  datetime.time(14, 54, 2),\n",
       "  6.98255,\n",
       "  47.90075],\n",
       " [datetime.time(14, 41, 50),\n",
       "  -0.49871666666666664,\n",
       "  48.99328333333333,\n",
       "  datetime.time(15, 46, 5),\n",
       "  -0.7216,\n",
       "  49.03375],\n",
       " [datetime.time(14, 55, 42),\n",
       "  -0.4985833333333333,\n",
       "  48.993233333333336,\n",
       "  datetime.time(17, 0, 18),\n",
       "  -1.0808,\n",
       "  49.084316666666666],\n",
       " [datetime.time(12, 30, 2),\n",
       "  4.056766666666666,\n",
       "  47.87376666666667,\n",
       "  datetime.time(15, 2, 21),\n",
       "  3.2752333333333334,\n",
       "  48.18163333333333],\n",
       " [datetime.time(8, 43, 35),\n",
       "  6.506683333333333,\n",
       "  45.7468,\n",
       "  datetime.time(10, 2, 46),\n",
       "  6.394566666666667,\n",
       "  45.735683333333334],\n",
       " [datetime.time(10, 14, 48),\n",
       "  6.708083333333334,\n",
       "  48.03853333333333,\n",
       "  datetime.time(11, 52, 43),\n",
       "  6.706283333333333,\n",
       "  48.02158333333333],\n",
       " [datetime.time(8, 27, 1),\n",
       "  6.415033333333334,\n",
       "  45.785383333333336,\n",
       "  datetime.time(14, 33, 41),\n",
       "  6.341316666666667,\n",
       "  45.76263333333333],\n",
       " [datetime.time(14, 38, 12),\n",
       "  -0.49871666666666664,\n",
       "  48.99325,\n",
       "  datetime.time(15, 38, 54),\n",
       "  -0.6556,\n",
       "  49.01865],\n",
       " [datetime.time(9, 36, 58),\n",
       "  6.415166666666667,\n",
       "  45.78508333333333,\n",
       "  datetime.time(15, 11, 45),\n",
       "  6.342066666666667,\n",
       "  45.76291666666667],\n",
       " [datetime.time(8, 33, 28),\n",
       "  6.728133333333333,\n",
       "  46.1903,\n",
       "  datetime.time(14, 57, 9),\n",
       "  6.674433333333333,\n",
       "  46.16316666666667],\n",
       " [datetime.time(10, 49, 15),\n",
       "  6.919083333333333,\n",
       "  47.90015,\n",
       "  datetime.time(15, 1, 40),\n",
       "  6.967966666666666,\n",
       "  48.03568333333333],\n",
       " [datetime.time(8, 8, 14),\n",
       "  6.76335,\n",
       "  45.64821666666667,\n",
       "  datetime.time(18, 13),\n",
       "  6.750916666666667,\n",
       "  45.59003333333333],\n",
       " [datetime.time(9, 37, 43),\n",
       "  6.918466666666666,\n",
       "  47.8986,\n",
       "  datetime.time(12, 4, 56),\n",
       "  6.930466666666667,\n",
       "  48.0036],\n",
       " [datetime.time(9, 5, 23),\n",
       "  6.06665,\n",
       "  44.2492,\n",
       "  datetime.time(13, 30, 54),\n",
       "  5.735883333333334,\n",
       "  44.52446666666667],\n",
       " [datetime.time(8, 1, 9),\n",
       "  6.883733333333334,\n",
       "  45.90261666666667,\n",
       "  datetime.time(13, 2, 21),\n",
       "  6.5632,\n",
       "  45.836416666666665],\n",
       " [datetime.time(8, 42, 18),\n",
       "  6.5067,\n",
       "  45.74673333333333,\n",
       "  datetime.time(9, 44, 20),\n",
       "  6.554633333333333,\n",
       "  45.721],\n",
       " [datetime.time(10, 39, 37),\n",
       "  6.918833333333334,\n",
       "  47.898783333333334,\n",
       "  datetime.time(15, 2, 45),\n",
       "  7.02455,\n",
       "  48.0997],\n",
       " [datetime.time(9, 46, 28),\n",
       "  6.91885,\n",
       "  47.8986,\n",
       "  datetime.time(12, 18, 33),\n",
       "  6.6165666666666665,\n",
       "  48.013416666666664],\n",
       " [datetime.time(11, 36, 23),\n",
       "  6.247016666666667,\n",
       "  45.81426666666667,\n",
       "  datetime.time(14, 20, 37),\n",
       "  6.222666666666667,\n",
       "  45.78158333333333],\n",
       " [datetime.time(10, 9, 47),\n",
       "  6.946733333333333,\n",
       "  48.032833333333336,\n",
       "  datetime.time(15, 55, 53),\n",
       "  6.927883333333334,\n",
       "  48.001733333333334],\n",
       " [datetime.time(9, 48, 14),\n",
       "  6.918633333333333,\n",
       "  47.89845,\n",
       "  datetime.time(12, 56, 58),\n",
       "  6.6355,\n",
       "  48.01298333333333],\n",
       " [datetime.time(8, 56, 37),\n",
       "  6.507116666666667,\n",
       "  45.746833333333335,\n",
       "  datetime.time(13, 36, 9),\n",
       "  6.503816666666666,\n",
       "  45.78443333333333],\n",
       " [datetime.time(11, 30, 12),\n",
       "  3.970066666666667,\n",
       "  45.63218333333333,\n",
       "  datetime.time(12, 35),\n",
       "  3.8074,\n",
       "  45.79331666666667],\n",
       " [datetime.time(7, 58, 48),\n",
       "  6.883683333333334,\n",
       "  45.90233333333333,\n",
       "  datetime.time(15, 28, 5),\n",
       "  6.912983333333333,\n",
       "  45.96505],\n",
       " [datetime.time(9, 16, 42),\n",
       "  6.696983333333334,\n",
       "  46.0505,\n",
       "  datetime.time(15, 7, 13),\n",
       "  6.215183333333333,\n",
       "  45.96403333333333],\n",
       " [datetime.time(9, 7, 50),\n",
       "  6.477283333333333,\n",
       "  45.9584,\n",
       "  datetime.time(11, 22, 51),\n",
       "  6.214033333333333,\n",
       "  45.8482],\n",
       " [datetime.time(9, 48, 22),\n",
       "  6.4149666666666665,\n",
       "  45.785183333333336,\n",
       "  datetime.time(15, 13, 27),\n",
       "  6.3409,\n",
       "  45.76255],\n",
       " [datetime.time(9, 34, 50),\n",
       "  6.9187666666666665,\n",
       "  47.8984,\n",
       "  datetime.time(15, 2, 18),\n",
       "  6.982616666666667,\n",
       "  47.90088333333333],\n",
       " [datetime.time(9, 5, 40),\n",
       "  6.507033333333333,\n",
       "  45.74688333333334,\n",
       "  datetime.time(12, 55, 18),\n",
       "  6.5326,\n",
       "  45.761183333333335],\n",
       " [datetime.time(11, 6, 48),\n",
       "  6.7081,\n",
       "  48.038666666666664,\n",
       "  datetime.time(15, 11, 11),\n",
       "  6.70695,\n",
       "  48.02193333333334],\n",
       " [datetime.time(9, 33, 36),\n",
       "  6.919016666666667,\n",
       "  47.89841666666667,\n",
       "  datetime.time(15, 1, 39),\n",
       "  6.98265,\n",
       "  47.90085],\n",
       " [datetime.time(13, 42, 31),\n",
       "  4.056783333333334,\n",
       "  47.87385,\n",
       "  datetime.time(15, 22, 5),\n",
       "  3.8981833333333333,\n",
       "  47.95335],\n",
       " [datetime.time(9, 15, 5),\n",
       "  6.682,\n",
       "  45.94475,\n",
       "  datetime.time(14, 24, 26),\n",
       "  6.706366666666667,\n",
       "  45.91585],\n",
       " [datetime.time(8, 28, 2),\n",
       "  6.916383333333333,\n",
       "  46.03876666666667,\n",
       "  datetime.time(13, 37, 55),\n",
       "  6.922816666666667,\n",
       "  46.02726666666667],\n",
       " [datetime.time(12, 47, 7),\n",
       "  6.223483333333333,\n",
       "  45.85288333333333,\n",
       "  datetime.time(16, 58, 33),\n",
       "  6.21435,\n",
       "  45.848366666666664],\n",
       " [datetime.time(12, 9, 18),\n",
       "  6.918633333333333,\n",
       "  47.898633333333336,\n",
       "  datetime.time(14, 32, 28),\n",
       "  6.942616666666667,\n",
       "  47.882083333333334],\n",
       " [datetime.time(8, 48, 48),\n",
       "  6.883483333333333,\n",
       "  45.90226666666667,\n",
       "  datetime.time(15, 3, 8),\n",
       "  6.3148,\n",
       "  46.12635],\n",
       " [datetime.time(12, 28, 9),\n",
       "  4.053416666666667,\n",
       "  47.87076666666667,\n",
       "  datetime.time(14, 52, 4),\n",
       "  3.4538333333333333,\n",
       "  48.19401666666667],\n",
       " [datetime.time(13, 41, 7),\n",
       "  4.05685,\n",
       "  47.87388333333333,\n",
       "  datetime.time(15, 31, 32),\n",
       "  3.52515,\n",
       "  48.016083333333334],\n",
       " [datetime.time(8, 0, 22),\n",
       "  6.877283333333334,\n",
       "  45.90461666666667,\n",
       "  datetime.time(14, 51, 37),\n",
       "  6.488333333333333,\n",
       "  45.7396],\n",
       " [datetime.time(11, 16, 4),\n",
       "  5.984116666666667,\n",
       "  47.20845,\n",
       "  datetime.time(14, 53, 47),\n",
       "  5.4881166666666665,\n",
       "  47.4034],\n",
       " [datetime.time(8, 42, 10),\n",
       "  6.507083333333333,\n",
       "  45.74648333333333,\n",
       "  datetime.time(12, 52, 4),\n",
       "  6.58285,\n",
       "  45.83788333333333],\n",
       " [datetime.time(13, 58, 5),\n",
       "  6.918833333333334,\n",
       "  47.89855,\n",
       "  datetime.time(15, 33, 41),\n",
       "  6.917966666666667,\n",
       "  47.89925],\n",
       " [datetime.time(8, 51, 6),\n",
       "  6.58335,\n",
       "  46.014466666666664,\n",
       "  datetime.time(13, 31, 27),\n",
       "  6.6829833333333335,\n",
       "  46.180366666666664],\n",
       " [datetime.time(9, 35, 23),\n",
       "  6.9187666666666665,\n",
       "  47.898633333333336,\n",
       "  datetime.time(15, 17, 39),\n",
       "  6.982583333333333,\n",
       "  47.901],\n",
       " [datetime.time(8, 0, 35),\n",
       "  6.763433333333333,\n",
       "  45.648383333333335,\n",
       "  datetime.time(14, 42, 49),\n",
       "  6.7510666666666665,\n",
       "  45.59063333333334],\n",
       " [datetime.time(8, 42, 9),\n",
       "  6.743566666666666,\n",
       "  45.63735,\n",
       "  datetime.time(16, 28, 52),\n",
       "  6.7633,\n",
       "  45.61045],\n",
       " [datetime.time(8, 38, 20),\n",
       "  6.415066666666666,\n",
       "  45.785266666666665,\n",
       "  datetime.time(13, 56, 18),\n",
       "  6.389466666666666,\n",
       "  45.957316666666664],\n",
       " [datetime.time(8, 46, 3),\n",
       "  6.506683333333333,\n",
       "  45.746833333333335,\n",
       "  datetime.time(12, 20, 16),\n",
       "  6.34155,\n",
       "  45.76275],\n",
       " [datetime.time(11, 9, 11),\n",
       "  7.014833333333334,\n",
       "  47.92616666666667,\n",
       "  datetime.time(15, 5, 23),\n",
       "  6.963933333333333,\n",
       "  48.0339],\n",
       " [datetime.time(11, 36, 6),\n",
       "  5.983866666666667,\n",
       "  47.2084,\n",
       "  datetime.time(14, 34, 20),\n",
       "  5.558,\n",
       "  47.39116666666666],\n",
       " [datetime.time(8, 13, 25),\n",
       "  6.7633833333333335,\n",
       "  45.64841666666667,\n",
       "  datetime.time(12, 31, 18),\n",
       "  6.277333333333333,\n",
       "  45.40356666666667],\n",
       " [datetime.time(8, 55, 25),\n",
       "  6.69665,\n",
       "  46.05043333333333,\n",
       "  datetime.time(14, 21, 45),\n",
       "  6.448816666666667,\n",
       "  46.0645],\n",
       " [datetime.time(13, 34, 10),\n",
       "  4.05685,\n",
       "  47.87385,\n",
       "  datetime.time(15, 14, 59),\n",
       "  3.6946,\n",
       "  48.003616666666666],\n",
       " [datetime.time(10, 19, 7),\n",
       "  6.708183333333333,\n",
       "  48.03856666666667,\n",
       "  datetime.time(13, 22, 22),\n",
       "  6.7065166666666665,\n",
       "  48.02193333333334],\n",
       " [datetime.time(9, 19, 45),\n",
       "  6.231216666666667,\n",
       "  44.680566666666664,\n",
       "  datetime.time(10, 57, 45),\n",
       "  6.2491666666666665,\n",
       "  44.684083333333334],\n",
       " [datetime.time(10, 53, 28),\n",
       "  6.175883333333333,\n",
       "  46.44485,\n",
       "  datetime.time(15, 44, 9),\n",
       "  6.28255,\n",
       "  46.510533333333335],\n",
       " [datetime.time(9, 34, 44),\n",
       "  6.41495,\n",
       "  45.78541666666667,\n",
       "  datetime.time(14, 54, 2),\n",
       "  6.3413,\n",
       "  45.762766666666664],\n",
       " [datetime.time(11, 6, 9),\n",
       "  6.708333333333333,\n",
       "  48.03856666666667,\n",
       "  datetime.time(14, 46, 38),\n",
       "  6.661483333333333,\n",
       "  47.929316666666665],\n",
       " [datetime.time(8, 47, 40),\n",
       "  6.066533333333333,\n",
       "  44.24905,\n",
       "  datetime.time(14, 28, 1),\n",
       "  5.70845,\n",
       "  44.70636666666667],\n",
       " [datetime.time(8, 3, 51),\n",
       "  6.76335,\n",
       "  45.64833333333333,\n",
       "  datetime.time(15, 28, 11),\n",
       "  6.7512,\n",
       "  45.590383333333335],\n",
       " [datetime.time(11, 51, 57),\n",
       "  5.983866666666667,\n",
       "  47.2084,\n",
       "  datetime.time(13, 20, 58),\n",
       "  5.7869,\n",
       "  47.02845],\n",
       " [datetime.time(10, 42, 9),\n",
       "  7.0433,\n",
       "  47.97878333333333,\n",
       "  datetime.time(14, 40, 23),\n",
       "  6.9249833333333335,\n",
       "  47.958816666666664],\n",
       " [datetime.time(12, 24, 54),\n",
       "  6.113683333333333,\n",
       "  45.593383333333335,\n",
       "  datetime.time(14, 37, 39),\n",
       "  6.3003,\n",
       "  45.600233333333335],\n",
       " [datetime.time(8, 21, 28),\n",
       "  6.883733333333334,\n",
       "  45.902366666666666,\n",
       "  datetime.time(16, 23, 41),\n",
       "  6.876316666666667,\n",
       "  45.92958333333333],\n",
       " [datetime.time(11, 32, 51),\n",
       "  6.223033333333333,\n",
       "  45.85325,\n",
       "  datetime.time(14, 6, 1),\n",
       "  6.2139,\n",
       "  45.8481],\n",
       " [datetime.time(8, 57, 1),\n",
       "  6.50695,\n",
       "  45.74675,\n",
       "  datetime.time(11, 11),\n",
       "  6.277783333333334,\n",
       "  45.61448333333333],\n",
       " [datetime.time(8, 9, 6),\n",
       "  6.763433333333333,\n",
       "  45.64828333333333,\n",
       "  datetime.time(16, 33, 56),\n",
       "  6.7524,\n",
       "  45.59193333333333],\n",
       " [datetime.time(8, 32, 43),\n",
       "  6.48325,\n",
       "  45.87916666666667,\n",
       "  datetime.time(13, 57, 15),\n",
       "  6.4663,\n",
       "  45.87206666666667],\n",
       " [datetime.time(11, 9, 1),\n",
       "  7.0148,\n",
       "  47.92608333333333,\n",
       "  datetime.time(15, 2, 17),\n",
       "  6.9851833333333335,\n",
       "  48.056216666666664],\n",
       " [datetime.time(13, 34, 31),\n",
       "  4.05685,\n",
       "  47.87395,\n",
       "  datetime.time(14, 24, 38),\n",
       "  3.8994666666666666,\n",
       "  47.90553333333333],\n",
       " [datetime.time(11, 10, 31),\n",
       "  2.965066666666667,\n",
       "  45.77106666666667,\n",
       "  datetime.time(12, 40, 2),\n",
       "  2.9650333333333334,\n",
       "  45.771233333333335]]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "cc2e0e2f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>start time</th>\n",
       "      <th>start longitude</th>\n",
       "      <th>start latitude</th>\n",
       "      <th>stop time</th>\n",
       "      <th>stop longitude</th>\n",
       "      <th>stop latitude</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>10:53:33</td>\n",
       "      <td>5.890900</td>\n",
       "      <td>45.310400</td>\n",
       "      <td>13:23:04</td>\n",
       "      <td>5.960317</td>\n",
       "      <td>45.325150</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>09:47:47</td>\n",
       "      <td>6.272100</td>\n",
       "      <td>45.698467</td>\n",
       "      <td>13:59:18</td>\n",
       "      <td>6.316200</td>\n",
       "      <td>45.754850</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>16:53:46</td>\n",
       "      <td>1.324467</td>\n",
       "      <td>42.228483</td>\n",
       "      <td>18:07:18</td>\n",
       "      <td>1.324033</td>\n",
       "      <td>42.228433</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>14:06:12</td>\n",
       "      <td>1.324500</td>\n",
       "      <td>42.228483</td>\n",
       "      <td>15:34:09</td>\n",
       "      <td>1.321517</td>\n",
       "      <td>42.222650</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>16:30:25</td>\n",
       "      <td>1.324467</td>\n",
       "      <td>42.228467</td>\n",
       "      <td>17:13:03</td>\n",
       "      <td>1.321717</td>\n",
       "      <td>42.222250</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>95</th>\n",
       "      <td>08:09:06</td>\n",
       "      <td>6.763433</td>\n",
       "      <td>45.648283</td>\n",
       "      <td>16:33:56</td>\n",
       "      <td>6.752400</td>\n",
       "      <td>45.591933</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>96</th>\n",
       "      <td>08:32:43</td>\n",
       "      <td>6.483250</td>\n",
       "      <td>45.879167</td>\n",
       "      <td>13:57:15</td>\n",
       "      <td>6.466300</td>\n",
       "      <td>45.872067</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>97</th>\n",
       "      <td>11:09:01</td>\n",
       "      <td>7.014800</td>\n",
       "      <td>47.926083</td>\n",
       "      <td>15:02:17</td>\n",
       "      <td>6.985183</td>\n",
       "      <td>48.056217</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>98</th>\n",
       "      <td>13:34:31</td>\n",
       "      <td>4.056850</td>\n",
       "      <td>47.873950</td>\n",
       "      <td>14:24:38</td>\n",
       "      <td>3.899467</td>\n",
       "      <td>47.905533</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99</th>\n",
       "      <td>11:10:31</td>\n",
       "      <td>2.965067</td>\n",
       "      <td>45.771067</td>\n",
       "      <td>12:40:02</td>\n",
       "      <td>2.965033</td>\n",
       "      <td>45.771233</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>100 rows × 6 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "   start time  start longitude  start latitude stop time  stop longitude  \\\n",
       "0    10:53:33         5.890900       45.310400  13:23:04        5.960317   \n",
       "1    09:47:47         6.272100       45.698467  13:59:18        6.316200   \n",
       "2    16:53:46         1.324467       42.228483  18:07:18        1.324033   \n",
       "3    14:06:12         1.324500       42.228483  15:34:09        1.321517   \n",
       "4    16:30:25         1.324467       42.228467  17:13:03        1.321717   \n",
       "..        ...              ...             ...       ...             ...   \n",
       "95   08:09:06         6.763433       45.648283  16:33:56        6.752400   \n",
       "96   08:32:43         6.483250       45.879167  13:57:15        6.466300   \n",
       "97   11:09:01         7.014800       47.926083  15:02:17        6.985183   \n",
       "98   13:34:31         4.056850       47.873950  14:24:38        3.899467   \n",
       "99   11:10:31         2.965067       45.771067  12:40:02        2.965033   \n",
       "\n",
       "    stop latitude  \n",
       "0       45.325150  \n",
       "1       45.754850  \n",
       "2       42.228433  \n",
       "3       42.222650  \n",
       "4       42.222250  \n",
       "..            ...  \n",
       "95      45.591933  \n",
       "96      45.872067  \n",
       "97      48.056217  \n",
       "98      47.905533  \n",
       "99      45.771233  \n",
       "\n",
       "[100 rows x 6 columns]"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data = [d for d in data if d is not None]\n",
    "df = pd.DataFrame(data, columns=['start time', 'start longitude', 'start latitude', 'stop time', 'stop longitude', 'stop latitude'])\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "e614ec29",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 100 entries, 0 to 99\n",
      "Data columns (total 6 columns):\n",
      " #   Column           Non-Null Count  Dtype  \n",
      "---  ------           --------------  -----  \n",
      " 0   start time       100 non-null    object \n",
      " 1   start longitude  100 non-null    float64\n",
      " 2   start latitude   100 non-null    float64\n",
      " 3   stop time        100 non-null    object \n",
      " 4   stop longitude   100 non-null    float64\n",
      " 5   stop latitude    100 non-null    float64\n",
      "dtypes: float64(4), object(2)\n",
      "memory usage: 4.8+ KB\n"
     ]
    }
   ],
   "source": [
    "df.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "d394ecd0",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>start longitude</th>\n",
       "      <th>start latitude</th>\n",
       "      <th>stop longitude</th>\n",
       "      <th>stop latitude</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>count</th>\n",
       "      <td>100.000000</td>\n",
       "      <td>100.000000</td>\n",
       "      <td>100.000000</td>\n",
       "      <td>100.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>mean</th>\n",
       "      <td>5.201979</td>\n",
       "      <td>45.798975</td>\n",
       "      <td>5.107323</td>\n",
       "      <td>45.823655</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>std</th>\n",
       "      <td>2.463812</td>\n",
       "      <td>2.026170</td>\n",
       "      <td>2.472279</td>\n",
       "      <td>2.046199</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>min</th>\n",
       "      <td>-0.498717</td>\n",
       "      <td>42.228400</td>\n",
       "      <td>-1.080800</td>\n",
       "      <td>42.219167</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25%</th>\n",
       "      <td>4.032579</td>\n",
       "      <td>45.636058</td>\n",
       "      <td>3.409183</td>\n",
       "      <td>45.590296</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>50%</th>\n",
       "      <td>6.445833</td>\n",
       "      <td>45.866208</td>\n",
       "      <td>6.328508</td>\n",
       "      <td>45.842992</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75%</th>\n",
       "      <td>6.763433</td>\n",
       "      <td>47.873858</td>\n",
       "      <td>6.706625</td>\n",
       "      <td>47.900858</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>max</th>\n",
       "      <td>12.740267</td>\n",
       "      <td>48.993283</td>\n",
       "      <td>12.645167</td>\n",
       "      <td>49.084317</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       start longitude  start latitude  stop longitude  stop latitude\n",
       "count       100.000000      100.000000      100.000000     100.000000\n",
       "mean          5.201979       45.798975        5.107323      45.823655\n",
       "std           2.463812        2.026170        2.472279       2.046199\n",
       "min          -0.498717       42.228400       -1.080800      42.219167\n",
       "25%           4.032579       45.636058        3.409183      45.590296\n",
       "50%           6.445833       45.866208        6.328508      45.842992\n",
       "75%           6.763433       47.873858        6.706625      47.900858\n",
       "max          12.740267       48.993283       12.645167      49.084317"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "332fc91a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>start time</th>\n",
       "      <th>start longitude</th>\n",
       "      <th>start latitude</th>\n",
       "      <th>stop time</th>\n",
       "      <th>stop longitude</th>\n",
       "      <th>stop latitude</th>\n",
       "      <th>duration</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>10:53:33</td>\n",
       "      <td>5.890900</td>\n",
       "      <td>45.310400</td>\n",
       "      <td>13:23:04</td>\n",
       "      <td>5.960317</td>\n",
       "      <td>45.325150</td>\n",
       "      <td>8971.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>09:47:47</td>\n",
       "      <td>6.272100</td>\n",
       "      <td>45.698467</td>\n",
       "      <td>13:59:18</td>\n",
       "      <td>6.316200</td>\n",
       "      <td>45.754850</td>\n",
       "      <td>15091.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>16:53:46</td>\n",
       "      <td>1.324467</td>\n",
       "      <td>42.228483</td>\n",
       "      <td>18:07:18</td>\n",
       "      <td>1.324033</td>\n",
       "      <td>42.228433</td>\n",
       "      <td>4412.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>14:06:12</td>\n",
       "      <td>1.324500</td>\n",
       "      <td>42.228483</td>\n",
       "      <td>15:34:09</td>\n",
       "      <td>1.321517</td>\n",
       "      <td>42.222650</td>\n",
       "      <td>5277.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>16:30:25</td>\n",
       "      <td>1.324467</td>\n",
       "      <td>42.228467</td>\n",
       "      <td>17:13:03</td>\n",
       "      <td>1.321717</td>\n",
       "      <td>42.222250</td>\n",
       "      <td>2558.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>95</th>\n",
       "      <td>08:09:06</td>\n",
       "      <td>6.763433</td>\n",
       "      <td>45.648283</td>\n",
       "      <td>16:33:56</td>\n",
       "      <td>6.752400</td>\n",
       "      <td>45.591933</td>\n",
       "      <td>30290.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>96</th>\n",
       "      <td>08:32:43</td>\n",
       "      <td>6.483250</td>\n",
       "      <td>45.879167</td>\n",
       "      <td>13:57:15</td>\n",
       "      <td>6.466300</td>\n",
       "      <td>45.872067</td>\n",
       "      <td>19472.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>97</th>\n",
       "      <td>11:09:01</td>\n",
       "      <td>7.014800</td>\n",
       "      <td>47.926083</td>\n",
       "      <td>15:02:17</td>\n",
       "      <td>6.985183</td>\n",
       "      <td>48.056217</td>\n",
       "      <td>13996.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>98</th>\n",
       "      <td>13:34:31</td>\n",
       "      <td>4.056850</td>\n",
       "      <td>47.873950</td>\n",
       "      <td>14:24:38</td>\n",
       "      <td>3.899467</td>\n",
       "      <td>47.905533</td>\n",
       "      <td>3007.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>99</th>\n",
       "      <td>11:10:31</td>\n",
       "      <td>2.965067</td>\n",
       "      <td>45.771067</td>\n",
       "      <td>12:40:02</td>\n",
       "      <td>2.965033</td>\n",
       "      <td>45.771233</td>\n",
       "      <td>5371.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>100 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "   start time  start longitude  start latitude stop time  stop longitude  \\\n",
       "0    10:53:33         5.890900       45.310400  13:23:04        5.960317   \n",
       "1    09:47:47         6.272100       45.698467  13:59:18        6.316200   \n",
       "2    16:53:46         1.324467       42.228483  18:07:18        1.324033   \n",
       "3    14:06:12         1.324500       42.228483  15:34:09        1.321517   \n",
       "4    16:30:25         1.324467       42.228467  17:13:03        1.321717   \n",
       "..        ...              ...             ...       ...             ...   \n",
       "95   08:09:06         6.763433       45.648283  16:33:56        6.752400   \n",
       "96   08:32:43         6.483250       45.879167  13:57:15        6.466300   \n",
       "97   11:09:01         7.014800       47.926083  15:02:17        6.985183   \n",
       "98   13:34:31         4.056850       47.873950  14:24:38        3.899467   \n",
       "99   11:10:31         2.965067       45.771067  12:40:02        2.965033   \n",
       "\n",
       "    stop latitude  duration  \n",
       "0       45.325150    8971.0  \n",
       "1       45.754850   15091.0  \n",
       "2       42.228433    4412.0  \n",
       "3       42.222650    5277.0  \n",
       "4       42.222250    2558.0  \n",
       "..            ...       ...  \n",
       "95      45.591933   30290.0  \n",
       "96      45.872067   19472.0  \n",
       "97      48.056217   13996.0  \n",
       "98      47.905533    3007.0  \n",
       "99      45.771233    5371.0  \n",
       "\n",
       "[100 rows x 7 columns]"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def time_between(df, date=datetime.date.today()):\n",
    "    return (datetime.datetime.combine(date.today(), df['stop time']) - datetime.datetime.combine(date.today(), df['start time'])).total_seconds()\n",
    "\n",
    "df['duration'] = df.apply(time_between, axis=1)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "2f27fd68",
   "metadata": {},
   "outputs": [],
   "source": [
    "df.to_csv('data.csv.gz', index=False, compression='gzip')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "0db24a75",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}