example_test.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "\n",
    "# Data Generation\n",
    "np.random.seed(42)\n",
    "x = np.random.rand(100, 1)\n",
    "y = 1 + 2 * x + 0.1 * np.random.randn(100, 1)\n",
    "\n",
    "# Shuffles the indices\n",
    "idx = np.arange(100)\n",
    "np.random.shuffle(idx)\n",
    "\n",
    "# Uses first 80 random indices for train\n",
    "train_idx = idx[:80]\n",
    "# Uses the remaining indices for validation\n",
    "val_idx = idx[80:]\n",
    "\n",
    "# Generates train and validation sets\n",
    "x_train, y_train = x[train_idx], y[train_idx]\n",
    "x_val, y_val = x[val_idx], y[val_idx]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[0.49671415] [-0.1382643]\n",
      "[1.02354094] [1.96896411]\n",
      "[1.02354075] [1.96896447]\n"
     ]
    }
   ],
   "source": [
    "# Initializes parameters \"a\" and \"b\" randomly\n",
    "np.random.seed(42)\n",
    "a = np.random.randn(1)\n",
    "b = np.random.randn(1)\n",
    "\n",
    "print(a, b)\n",
    "\n",
    "# Sets learning rate\n",
    "lr = 1e-1\n",
    "# Defines number of epochs\n",
    "n_epochs = 1000\n",
    "\n",
    "for epoch in range(n_epochs):\n",
    "    # Computes our model's predicted output\n",
    "    yhat = a + b * x_train\n",
    "    \n",
    "    # How wrong is our model? That's the error! \n",
    "    error = (y_train - yhat)\n",
    "    # It is a regression, so it computes mean squared error (MSE)\n",
    "    loss = (error ** 2).mean()\n",
    "    \n",
    "    # Computes gradients for both \"a\" and \"b\" parameters\n",
    "    a_grad = -2 * error.mean()\n",
    "    b_grad = -2 * (x_train * error).mean()\n",
    "    \n",
    "    # Updates parameters using gradients and the learning rate\n",
    "    a = a - lr * a_grad\n",
    "    b = b - lr * b_grad\n",
    "    \n",
    "print(a, b)\n",
    "\n",
    "# Sanity Check: do we get the same results as our gradient descent?\n",
    "from sklearn.linear_model import LinearRegression\n",
    "linr = LinearRegression()\n",
    "linr.fit(x_train, y_train)\n",
    "print(linr.intercept_, linr.coef_[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'numpy.ndarray'> <class 'torch.Tensor'> torch.cuda.FloatTensor\n"
     ]
    }
   ],
   "source": [
    "import torch\n",
    "import torch.optim as optim\n",
    "import torch.nn as nn\n",
    "from torchviz import make_dot\n",
    "\n",
    "device = 'cuda' if torch.cuda.is_available() else 'cpu'\n",
    "\n",
    "# Our data was in Numpy arrays, but we need to transform them into PyTorch's Tensors\n",
    "# and then we send them to the chosen device\n",
    "x_train_tensor = torch.from_numpy(x_train).float().to(device)\n",
    "y_train_tensor = torch.from_numpy(y_train).float().to(device)\n",
    "\n",
    "# Here we can see the difference - notice that .type() is more useful\n",
    "# since it also tells us WHERE the tensor is (device)\n",
    "print(type(x_train), type(x_train_tensor), x_train_tensor.type())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "tensor([2.0012], requires_grad=True) tensor([-1.4841], requires_grad=True)\n",
      "tensor([0.6444], device='cuda:0', grad_fn=<CopyBackwards>) tensor([-0.1317], device='cuda:0', grad_fn=<CopyBackwards>)\n",
      "tensor([0.8764], device='cuda:0', requires_grad=True) tensor([-1.1088], device='cuda:0', requires_grad=True)\n",
      "tensor([0.1940], device='cuda:0', requires_grad=True) tensor([0.1391], device='cuda:0', requires_grad=True)\n"
     ]
    }
   ],
   "source": [
    "# FIRST\n",
    "# Initializes parameters \"a\" and \"b\" randomly, ALMOST as we did in Numpy\n",
    "# since we want to apply gradient descent on these parameters, we need\n",
    "# to set REQUIRES_GRAD = TRUE\n",
    "a = torch.randn(1, requires_grad=True, dtype=torch.float)\n",
    "b = torch.randn(1, requires_grad=True, dtype=torch.float)\n",
    "print(a, b)\n",
    "\n",
    "# SECOND\n",
    "# But what if we want to run it on a GPU? We could just send them to device, right?\n",
    "a = torch.randn(1, requires_grad=True, dtype=torch.float).to(device)\n",
    "b = torch.randn(1, requires_grad=True, dtype=torch.float).to(device)\n",
    "print(a, b)\n",
    "# Sorry, but NO! The to(device) \"shadows\" the gradient...\n",
    "\n",
    "# THIRD\n",
    "# We can either create regular tensors and send them to the device (as we did with our data)\n",
    "a = torch.randn(1, dtype=torch.float).to(device)\n",
    "b = torch.randn(1, dtype=torch.float).to(device)\n",
    "# and THEN set them as requiring gradients...\n",
    "a.requires_grad_()\n",
    "b.requires_grad_()\n",
    "print(a, b)\n",
    "\n",
    "# We can specify the device at the moment of creation - RECOMMENDED!\n",
    "torch.manual_seed(42)\n",
    "a = torch.randn(1, requires_grad=True, dtype=torch.float, device=device)\n",
    "b = torch.randn(1, requires_grad=True, dtype=torch.float, device=device)\n",
    "print(a, b)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "tensor([-3.3881], device='cuda:0')\n",
      "tensor([-1.9439], device='cuda:0')\n",
      "tensor([-2.5268], device='cuda:0')\n",
      "tensor([-1.5005], device='cuda:0')\n",
      "tensor([-1.8796], device='cuda:0')\n",
      "tensor([-1.1666], device='cuda:0')\n",
      "tensor([-1.3935], device='cuda:0')\n",
      "tensor([-0.9151], device='cuda:0')\n",
      "tensor([-1.0283], device='cuda:0')\n",
      "tensor([-0.7254], device='cuda:0')\n",
      "tensor([-0.7541], device='cuda:0')\n",
      "tensor([-0.5822], device='cuda:0')\n",
      "tensor([-0.5483], device='cuda:0')\n",
      "tensor([-0.4741], device='cuda:0')\n",
      "tensor([-0.3938], device='cuda:0')\n",
      "tensor([-0.3922], device='cuda:0')\n",
      "tensor([-0.2780], device='cuda:0')\n",
      "tensor([-0.3301], device='cuda:0')\n",
      "tensor([-0.1912], device='cuda:0')\n",
      "tensor([-0.2829], device='cuda:0')\n",
      "tensor([-0.1262], device='cuda:0')\n",
      "tensor([-0.2469], device='cuda:0')\n",
      "tensor([-0.0777], device='cuda:0')\n",
      "tensor([-0.2193], device='cuda:0')\n",
      "tensor([-0.0414], device='cuda:0')\n",
      "tensor([-0.1981], device='cuda:0')\n",
      "tensor([-0.0144], device='cuda:0')\n",
      "tensor([-0.1816], device='cuda:0')\n",
      "tensor([0.0056], device='cuda:0')\n",
      "tensor([-0.1687], device='cuda:0')\n",
      "tensor([0.0205], device='cuda:0')\n",
      "tensor([-0.1586], device='cuda:0')\n",
      "tensor([0.0313], device='cuda:0')\n",
      "tensor([-0.1505], device='cuda:0')\n",
      "tensor([0.0393], device='cuda:0')\n",
      "tensor([-0.1439], device='cuda:0')\n",
      "tensor([0.0450], device='cuda:0')\n",
      "tensor([-0.1385], device='cuda:0')\n",
      "tensor([0.0491], device='cuda:0')\n",
      "tensor([-0.1339], device='cuda:0')\n",
      "tensor([0.0519], device='cuda:0')\n",
      "tensor([-0.1301], device='cuda:0')\n",
      "tensor([0.0538], device='cuda:0')\n",
      "tensor([-0.1268], device='cuda:0')\n",
      "tensor([0.0551], device='cuda:0')\n",
      "tensor([-0.1238], device='cuda:0')\n",
      "tensor([0.0557], device='cuda:0')\n",
      "tensor([-0.1212], device='cuda:0')\n",
      "tensor([0.0560], device='cuda:0')\n",
      "tensor([-0.1187], device='cuda:0')\n",
      "tensor([0.0561], device='cuda:0')\n",
      "tensor([-0.1165], device='cuda:0')\n",
      "tensor([0.0559], device='cuda:0')\n",
      "tensor([-0.1144], device='cuda:0')\n",
      "tensor([0.0555], device='cuda:0')\n",
      "tensor([-0.1124], device='cuda:0')\n",
      "tensor([0.0550], device='cuda:0')\n",
      "tensor([-0.1106], device='cuda:0')\n",
      "tensor([0.0545], device='cuda:0')\n",
      "tensor([-0.1088], device='cuda:0')\n",
      "tensor([0.0538], device='cuda:0')\n",
      "tensor([-0.1070], device='cuda:0')\n",
      "tensor([0.0532], device='cuda:0')\n",
      "tensor([-0.1053], device='cuda:0')\n",
      "tensor([0.0525], device='cuda:0')\n",
      "tensor([-0.1037], device='cuda:0')\n",
      "tensor([0.0518], device='cuda:0')\n",
      "tensor([-0.1020], device='cuda:0')\n",
      "tensor([0.0511], device='cuda:0')\n",
      "tensor([-0.1005], device='cuda:0')\n",
      "tensor([0.0504], device='cuda:0')\n",
      "tensor([-0.0989], device='cuda:0')\n",
      "tensor([0.0496], device='cuda:0')\n",
      "tensor([-0.0974], device='cuda:0')\n",
      "tensor([0.0489], device='cuda:0')\n",
      "tensor([-0.0959], device='cuda:0')\n",
      "tensor([0.0482], device='cuda:0')\n",
      "tensor([-0.0945], device='cuda:0')\n",
      "tensor([0.0475], device='cuda:0')\n",
      "tensor([-0.0930], device='cuda:0')\n",
      "tensor([0.0468], device='cuda:0')\n",
      "tensor([-0.0916], device='cuda:0')\n",
      "tensor([0.0461], device='cuda:0')\n",
      "tensor([-0.0902], device='cuda:0')\n",
      "tensor([0.0454], device='cuda:0')\n",
      "tensor([-0.0889], device='cuda:0')\n",
      "tensor([0.0447], device='cuda:0')\n",
      "tensor([-0.0875], device='cuda:0')\n",
      "tensor([0.0440], device='cuda:0')\n",
      "tensor([-0.0862], device='cuda:0')\n",
      "tensor([0.0434], device='cuda:0')\n",
      "tensor([-0.0849], device='cuda:0')\n",
      "tensor([0.0427], device='cuda:0')\n",
      "tensor([-0.0836], device='cuda:0')\n",
      "tensor([0.0421], device='cuda:0')\n",
      "tensor([-0.0823], device='cuda:0')\n",
      "tensor([0.0414], device='cuda:0')\n",
      "tensor([-0.0811], device='cuda:0')\n",
      "tensor([0.0408], device='cuda:0')\n",
      "tensor([-0.0799], device='cuda:0')\n",
      "tensor([0.0402], device='cuda:0')\n",
      "tensor([-0.0787], device='cuda:0')\n",
      "tensor([0.0396], device='cuda:0')\n",
      "tensor([-0.0775], device='cuda:0')\n",
      "tensor([0.0390], device='cuda:0')\n",
      "tensor([-0.0763], device='cuda:0')\n",
      "tensor([0.0384], device='cuda:0')\n",
      "tensor([-0.0752], device='cuda:0')\n",
      "tensor([0.0378], device='cuda:0')\n",
      "tensor([-0.0740], device='cuda:0')\n",
      "tensor([0.0373], device='cuda:0')\n",
      "tensor([-0.0729], device='cuda:0')\n",
      "tensor([0.0367], device='cuda:0')\n",
      "tensor([-0.0718], device='cuda:0')\n",
      "tensor([0.0361], device='cuda:0')\n",
      "tensor([-0.0707], device='cuda:0')\n",
      "tensor([0.0356], device='cuda:0')\n",
      "tensor([-0.0696], device='cuda:0')\n",
      "tensor([0.0351], device='cuda:0')\n",
      "tensor([-0.0686], device='cuda:0')\n",
      "tensor([0.0345], device='cuda:0')\n",
      "tensor([-0.0676], device='cuda:0')\n",
      "tensor([0.0340], device='cuda:0')\n",
      "tensor([-0.0665], device='cuda:0')\n",
      "tensor([0.0335], device='cuda:0')\n",
      "tensor([-0.0655], device='cuda:0')\n",
      "tensor([0.0330], device='cuda:0')\n",
      "tensor([-0.0645], device='cuda:0')\n",
      "tensor([0.0325], device='cuda:0')\n",
      "tensor([-0.0636], device='cuda:0')\n",
      "tensor([0.0320], device='cuda:0')\n",
      "tensor([-0.0626], device='cuda:0')\n",
      "tensor([0.0315], device='cuda:0')\n",
      "tensor([-0.0617], device='cuda:0')\n",
      "tensor([0.0310], device='cuda:0')\n",
      "tensor([-0.0607], device='cuda:0')\n",
      "tensor([0.0306], device='cuda:0')\n",
      "tensor([-0.0598], device='cuda:0')\n",
      "tensor([0.0301], device='cuda:0')\n",
      "tensor([-0.0589], device='cuda:0')\n",
      "tensor([0.0297], device='cuda:0')\n",
      "tensor([-0.0580], device='cuda:0')\n",
      "tensor([0.0292], device='cuda:0')\n",
      "tensor([-0.0571], device='cuda:0')\n",
      "tensor([0.0288], device='cuda:0')\n",
      "tensor([-0.0563], device='cuda:0')\n",
      "tensor([0.0283], device='cuda:0')\n",
      "tensor([-0.0554], device='cuda:0')\n",
      "tensor([0.0279], device='cuda:0')\n",
      "tensor([-0.0546], device='cuda:0')\n",
      "tensor([0.0275], device='cuda:0')\n",
      "tensor([-0.0538], device='cuda:0')\n",
      "tensor([0.0271], device='cuda:0')\n",
      "tensor([-0.0530], device='cuda:0')\n",
      "tensor([0.0267], device='cuda:0')\n",
      "tensor([-0.0522], device='cuda:0')\n",
      "tensor([0.0263], device='cuda:0')\n",
      "tensor([-0.0514], device='cuda:0')\n",
      "tensor([0.0259], device='cuda:0')\n",
      "tensor([-0.0506], device='cuda:0')\n",
      "tensor([0.0255], device='cuda:0')\n",
      "tensor([-0.0498], device='cuda:0')\n",
      "tensor([0.0251], device='cuda:0')\n",
      "tensor([-0.0491], device='cuda:0')\n",
      "tensor([0.0247], device='cuda:0')\n",
      "tensor([-0.0483], device='cuda:0')\n",
      "tensor([0.0243], device='cuda:0')\n",
      "tensor([-0.0476], device='cuda:0')\n",
      "tensor([0.0240], device='cuda:0')\n",
      "tensor([-0.0469], device='cuda:0')\n",
      "tensor([0.0236], device='cuda:0')\n",
      "tensor([-0.0462], device='cuda:0')\n",
      "tensor([0.0232], device='cuda:0')\n",
      "tensor([-0.0455], device='cuda:0')\n",
      "tensor([0.0229], device='cuda:0')\n",
      "tensor([-0.0448], device='cuda:0')\n",
      "tensor([0.0225], device='cuda:0')\n",
      "tensor([-0.0441], device='cuda:0')\n",
      "tensor([0.0222], device='cuda:0')\n",
      "tensor([-0.0434], device='cuda:0')\n",
      "tensor([0.0219], device='cuda:0')\n",
      "tensor([-0.0428], device='cuda:0')\n",
      "tensor([0.0215], device='cuda:0')\n",
      "tensor([-0.0421], device='cuda:0')\n",
      "tensor([0.0212], device='cuda:0')\n",
      "tensor([-0.0415], device='cuda:0')\n",
      "tensor([0.0209], device='cuda:0')\n",
      "tensor([-0.0409], device='cuda:0')\n",
      "tensor([0.0206], device='cuda:0')\n",
      "tensor([-0.0403], device='cuda:0')\n",
      "tensor([0.0203], device='cuda:0')\n",
      "tensor([-0.0397], device='cuda:0')\n",
      "tensor([0.0200], device='cuda:0')\n",
      "tensor([-0.0391], device='cuda:0')\n",
      "tensor([0.0197], device='cuda:0')\n",
      "tensor([-0.0385], device='cuda:0')\n",
      "tensor([0.0194], device='cuda:0')\n",
      "tensor([-0.0379], device='cuda:0')\n",
      "tensor([0.0191], device='cuda:0')\n",
      "tensor([-0.0373], device='cuda:0')\n",
      "tensor([0.0188], device='cuda:0')\n",
      "tensor([-0.0367], device='cuda:0')\n",
      "tensor([0.0185], device='cuda:0')\n",
      "tensor([-0.0362], device='cuda:0')\n",
      "tensor([0.0182], device='cuda:0')\n",
      "tensor([-0.0356], device='cuda:0')\n",
      "tensor([0.0179], device='cuda:0')\n",
      "tensor([-0.0351], device='cuda:0')\n",
      "tensor([0.0177], device='cuda:0')\n",
      "tensor([-0.0346], device='cuda:0')\n",
      "tensor([0.0174], device='cuda:0')\n",
      "tensor([-0.0341], device='cuda:0')\n",
      "tensor([0.0171], device='cuda:0')\n",
      "tensor([-0.0335], device='cuda:0')\n",
      "tensor([0.0169], device='cuda:0')\n",
      "tensor([-0.0330], device='cuda:0')\n",
      "tensor([0.0166], device='cuda:0')\n",
      "tensor([-0.0325], device='cuda:0')\n",
      "tensor([0.0164], device='cuda:0')\n",
      "tensor([-0.0320], device='cuda:0')\n",
      "tensor([0.0161], device='cuda:0')\n",
      "tensor([-0.0316], device='cuda:0')\n",
      "tensor([0.0159], device='cuda:0')\n",
      "tensor([-0.0311], device='cuda:0')\n",
      "tensor([0.0156], device='cuda:0')\n",
      "tensor([-0.0306], device='cuda:0')\n",
      "tensor([0.0154], device='cuda:0')\n",
      "tensor([-0.0302], device='cuda:0')\n",
      "tensor([0.0152], device='cuda:0')\n",
      "tensor([-0.0297], device='cuda:0')\n",
      "tensor([0.0149], device='cuda:0')\n",
      "tensor([-0.0292], device='cuda:0')\n",
      "tensor([0.0147], device='cuda:0')\n",
      "tensor([-0.0288], device='cuda:0')\n",
      "tensor([0.0145], device='cuda:0')\n",
      "tensor([-0.0284], device='cuda:0')\n",
      "tensor([0.0143], device='cuda:0')\n",
      "tensor([-0.0279], device='cuda:0')\n",
      "tensor([0.0141], device='cuda:0')\n",
      "tensor([-0.0275], device='cuda:0')\n",
      "tensor([0.0139], device='cuda:0')\n",
      "tensor([-0.0271], device='cuda:0')\n",
      "tensor([0.0136], device='cuda:0')\n",
      "tensor([-0.0267], device='cuda:0')\n",
      "tensor([0.0134], device='cuda:0')\n",
      "tensor([-0.0263], device='cuda:0')\n",
      "tensor([0.0132], device='cuda:0')\n",
      "tensor([-0.0259], device='cuda:0')\n",
      "tensor([0.0130], device='cuda:0')\n",
      "tensor([-0.0255], device='cuda:0')\n",
      "tensor([0.0128], device='cuda:0')\n",
      "tensor([-0.0251], device='cuda:0')\n",
      "tensor([0.0126], device='cuda:0')\n",
      "tensor([-0.0247], device='cuda:0')\n",
      "tensor([0.0125], device='cuda:0')\n",
      "tensor([-0.0244], device='cuda:0')\n",
      "tensor([0.0123], device='cuda:0')\n",
      "tensor([-0.0240], device='cuda:0')\n",
      "tensor([0.0121], device='cuda:0')\n",
      "tensor([-0.0236], device='cuda:0')\n",
      "tensor([0.0119], device='cuda:0')\n",
      "tensor([-0.0233], device='cuda:0')\n",
      "tensor([0.0117], device='cuda:0')\n",
      "tensor([-0.0229], device='cuda:0')\n",
      "tensor([0.0115], device='cuda:0')\n",
      "tensor([-0.0226], device='cuda:0')\n",
      "tensor([0.0114], device='cuda:0')\n",
      "tensor([-0.0222], device='cuda:0')\n",
      "tensor([0.0112], device='cuda:0')\n",
      "tensor([-0.0219], device='cuda:0')\n",
      "tensor([0.0110], device='cuda:0')\n",
      "tensor([-0.0216], device='cuda:0')\n",
      "tensor([0.0109], device='cuda:0')\n",
      "tensor([-0.0212], device='cuda:0')\n",
      "tensor([0.0107], device='cuda:0')\n",
      "tensor([-0.0209], device='cuda:0')\n",
      "tensor([0.0105], device='cuda:0')\n",
      "tensor([-0.0206], device='cuda:0')\n",
      "tensor([0.0104], device='cuda:0')\n",
      "tensor([-0.0203], device='cuda:0')\n",
      "tensor([0.0102], device='cuda:0')\n",
      "tensor([-0.0200], device='cuda:0')\n",
      "tensor([0.0101], device='cuda:0')\n",
      "tensor([-0.0197], device='cuda:0')\n",
      "tensor([0.0099], device='cuda:0')\n",
      "tensor([-0.0194], device='cuda:0')\n",
      "tensor([0.0098], device='cuda:0')\n",
      "tensor([-0.0191], device='cuda:0')\n",
      "tensor([0.0096], device='cuda:0')\n",
      "tensor([-0.0188], device='cuda:0')\n",
      "tensor([0.0095], device='cuda:0')\n",
      "tensor([-0.0185], device='cuda:0')\n",
      "tensor([0.0093], device='cuda:0')\n",
      "tensor([-0.0182], device='cuda:0')\n",
      "tensor([0.0092], device='cuda:0')\n",
      "tensor([-0.0180], device='cuda:0')\n",
      "tensor([0.0090], device='cuda:0')\n",
      "tensor([-0.0177], device='cuda:0')\n",
      "tensor([0.0089], device='cuda:0')\n",
      "tensor([-0.0174], device='cuda:0')\n",
      "tensor([0.0088], device='cuda:0')\n",
      "tensor([-0.0172], device='cuda:0')\n",
      "tensor([0.0086], device='cuda:0')\n",
      "tensor([-0.0169], device='cuda:0')\n",
      "tensor([0.0085], device='cuda:0')\n",
      "tensor([-0.0167], device='cuda:0')\n",
      "tensor([0.0084], device='cuda:0')\n",
      "tensor([-0.0164], device='cuda:0')\n",
      "tensor([0.0083], device='cuda:0')\n",
      "tensor([-0.0162], device='cuda:0')\n",
      "tensor([0.0081], device='cuda:0')\n",
      "tensor([-0.0159], device='cuda:0')\n",
      "tensor([0.0080], device='cuda:0')\n",
      "tensor([-0.0157], device='cuda:0')\n",
      "tensor([0.0079], device='cuda:0')\n",
      "tensor([-0.0154], device='cuda:0')\n",
      "tensor([0.0078], device='cuda:0')\n",
      "tensor([-0.0152], device='cuda:0')\n",
      "tensor([0.0077], device='cuda:0')\n",
      "tensor([-0.0150], device='cuda:0')\n",
      "tensor([0.0075], device='cuda:0')\n",
      "tensor([-0.0147], device='cuda:0')\n",
      "tensor([0.0074], device='cuda:0')\n",
      "tensor([-0.0145], device='cuda:0')\n",
      "tensor([0.0073], device='cuda:0')\n",
      "tensor([-0.0143], device='cuda:0')\n",
      "tensor([0.0072], device='cuda:0')\n",
      "tensor([-0.0141], device='cuda:0')\n",
      "tensor([0.0071], device='cuda:0')\n",
      "tensor([-0.0139], device='cuda:0')\n",
      "tensor([0.0070], device='cuda:0')\n",
      "tensor([-0.0137], device='cuda:0')\n",
      "tensor([0.0069], device='cuda:0')\n",
      "tensor([-0.0135], device='cuda:0')\n",
      "tensor([0.0068], device='cuda:0')\n",
      "tensor([-0.0133], device='cuda:0')\n",
      "tensor([0.0067], device='cuda:0')\n",
      "tensor([-0.0131], device='cuda:0')\n",
      "tensor([0.0066], device='cuda:0')\n",
      "tensor([-0.0129], device='cuda:0')\n",
      "tensor([0.0065], device='cuda:0')\n",
      "tensor([-0.0127], device='cuda:0')\n",
      "tensor([0.0064], device='cuda:0')\n",
      "tensor([-0.0125], device='cuda:0')\n",
      "tensor([0.0063], device='cuda:0')\n",
      "tensor([-0.0123], device='cuda:0')\n",
      "tensor([0.0062], device='cuda:0')\n",
      "tensor([-0.0121], device='cuda:0')\n",
      "tensor([0.0061], device='cuda:0')\n",
      "tensor([-0.0119], device='cuda:0')\n",
      "tensor([0.0060], device='cuda:0')\n",
      "tensor([-0.0117], device='cuda:0')\n",
      "tensor([0.0059], device='cuda:0')\n",
      "tensor([-0.0116], device='cuda:0')\n",
      "tensor([0.0058], device='cuda:0')\n",
      "tensor([-0.0114], device='cuda:0')\n",
      "tensor([0.0057], device='cuda:0')\n",
      "tensor([-0.0112], device='cuda:0')\n",
      "tensor([0.0056], device='cuda:0')\n",
      "tensor([-0.0110], device='cuda:0')\n",
      "tensor([0.0056], device='cuda:0')\n",
      "tensor([-0.0109], device='cuda:0')\n",
      "tensor([0.0055], device='cuda:0')\n",
      "tensor([-0.0107], device='cuda:0')\n",
      "tensor([0.0054], device='cuda:0')\n",
      "tensor([-0.0105], device='cuda:0')\n",
      "tensor([0.0053], device='cuda:0')\n",
      "tensor([-0.0104], device='cuda:0')\n",
      "tensor([0.0052], device='cuda:0')\n",
      "tensor([-0.0102], device='cuda:0')\n",
      "tensor([0.0051], device='cuda:0')\n",
      "tensor([-0.0101], device='cuda:0')\n",
      "tensor([0.0051], device='cuda:0')\n",
      "tensor([-0.0099], device='cuda:0')\n",
      "tensor([0.0050], device='cuda:0')\n",
      "tensor([-0.0098], device='cuda:0')\n",
      "tensor([0.0049], device='cuda:0')\n",
      "tensor([-0.0096], device='cuda:0')\n",
      "tensor([0.0048], device='cuda:0')\n",
      "tensor([-0.0095], device='cuda:0')\n",
      "tensor([0.0048], device='cuda:0')\n",
      "tensor([-0.0093], device='cuda:0')\n",
      "tensor([0.0047], device='cuda:0')\n",
      "tensor([-0.0092], device='cuda:0')\n",
      "tensor([0.0046], device='cuda:0')\n",
      "tensor([-0.0091], device='cuda:0')\n",
      "tensor([0.0046], device='cuda:0')\n",
      "tensor([-0.0089], device='cuda:0')\n",
      "tensor([0.0045], device='cuda:0')\n",
      "tensor([-0.0088], device='cuda:0')\n",
      "tensor([0.0044], device='cuda:0')\n",
      "tensor([-0.0087], device='cuda:0')\n",
      "tensor([0.0044], device='cuda:0')\n",
      "tensor([-0.0085], device='cuda:0')\n",
      "tensor([0.0043], device='cuda:0')\n",
      "tensor([-0.0084], device='cuda:0')\n",
      "tensor([0.0042], device='cuda:0')\n",
      "tensor([-0.0083], device='cuda:0')\n",
      "tensor([0.0042], device='cuda:0')\n",
      "tensor([-0.0081], device='cuda:0')\n",
      "tensor([0.0041], device='cuda:0')\n",
      "tensor([-0.0080], device='cuda:0')\n",
      "tensor([0.0040], device='cuda:0')\n",
      "tensor([-0.0079], device='cuda:0')\n",
      "tensor([0.0040], device='cuda:0')\n",
      "tensor([-0.0078], device='cuda:0')\n",
      "tensor([0.0039], device='cuda:0')\n",
      "tensor([-0.0077], device='cuda:0')\n",
      "tensor([0.0039], device='cuda:0')\n",
      "tensor([-0.0075], device='cuda:0')\n",
      "tensor([0.0038], device='cuda:0')\n",
      "tensor([-0.0074], device='cuda:0')\n",
      "tensor([0.0037], device='cuda:0')\n",
      "tensor([-0.0073], device='cuda:0')\n",
      "tensor([0.0037], device='cuda:0')\n",
      "tensor([-0.0072], device='cuda:0')\n",
      "tensor([0.0036], device='cuda:0')\n",
      "tensor([-0.0071], device='cuda:0')\n",
      "tensor([0.0036], device='cuda:0')\n",
      "tensor([-0.0070], device='cuda:0')\n",
      "tensor([0.0035], device='cuda:0')\n",
      "tensor([-0.0069], device='cuda:0')\n",
      "tensor([0.0035], device='cuda:0')\n",
      "tensor([-0.0068], device='cuda:0')\n",
      "tensor([0.0034], device='cuda:0')\n",
      "tensor([-0.0067], device='cuda:0')\n",
      "tensor([0.0034], device='cuda:0')\n",
      "tensor([-0.0066], device='cuda:0')\n",
      "tensor([0.0033], device='cuda:0')\n",
      "tensor([-0.0065], device='cuda:0')\n",
      "tensor([0.0033], device='cuda:0')\n",
      "tensor([-0.0064], device='cuda:0')\n",
      "tensor([0.0032], device='cuda:0')\n",
      "tensor([-0.0063], device='cuda:0')\n",
      "tensor([0.0032], device='cuda:0')\n",
      "tensor([-0.0062], device='cuda:0')\n",
      "tensor([0.0031], device='cuda:0')\n",
      "tensor([-0.0061], device='cuda:0')\n",
      "tensor([0.0031], device='cuda:0')\n",
      "tensor([-0.0060], device='cuda:0')\n",
      "tensor([0.0030], device='cuda:0')\n",
      "tensor([-0.0059], device='cuda:0')\n",
      "tensor([0.0030], device='cuda:0')\n",
      "tensor([-0.0058], device='cuda:0')\n",
      "tensor([0.0029], device='cuda:0')\n",
      "tensor([-0.0057], device='cuda:0')\n",
      "tensor([0.0029], device='cuda:0')\n",
      "tensor([-0.0057], device='cuda:0')\n",
      "tensor([0.0028], device='cuda:0')\n",
      "tensor([-0.0056], device='cuda:0')\n",
      "tensor([0.0028], device='cuda:0')\n",
      "tensor([-0.0055], device='cuda:0')\n",
      "tensor([0.0028], device='cuda:0')\n",
      "tensor([-0.0054], device='cuda:0')\n",
      "tensor([0.0027], device='cuda:0')\n",
      "tensor([-0.0053], device='cuda:0')\n",
      "tensor([0.0027], device='cuda:0')\n",
      "tensor([-0.0052], device='cuda:0')\n",
      "tensor([0.0026], device='cuda:0')\n",
      "tensor([-0.0052], device='cuda:0')\n",
      "tensor([0.0026], device='cuda:0')\n",
      "tensor([-0.0051], device='cuda:0')\n",
      "tensor([0.0026], device='cuda:0')\n",
      "tensor([-0.0050], device='cuda:0')\n",
      "tensor([0.0025], device='cuda:0')\n",
      "tensor([-0.0049], device='cuda:0')\n",
      "tensor([0.0025], device='cuda:0')\n",
      "tensor([-0.0049], device='cuda:0')\n",
      "tensor([0.0024], device='cuda:0')\n",
      "tensor([-0.0048], device='cuda:0')\n",
      "tensor([0.0024], device='cuda:0')\n",
      "tensor([-0.0047], device='cuda:0')\n",
      "tensor([0.0024], device='cuda:0')\n",
      "tensor([-0.0046], device='cuda:0')\n",
      "tensor([0.0023], device='cuda:0')\n",
      "tensor([-0.0046], device='cuda:0')\n",
      "tensor([0.0023], device='cuda:0')\n",
      "tensor([-0.0045], device='cuda:0')\n",
      "tensor([0.0023], device='cuda:0')\n",
      "tensor([-0.0044], device='cuda:0')\n",
      "tensor([0.0022], device='cuda:0')\n",
      "tensor([-0.0044], device='cuda:0')\n",
      "tensor([0.0022], device='cuda:0')\n",
      "tensor([-0.0043], device='cuda:0')\n",
      "tensor([0.0022], device='cuda:0')\n",
      "tensor([-0.0042], device='cuda:0')\n",
      "tensor([0.0021], device='cuda:0')\n",
      "tensor([-0.0042], device='cuda:0')\n",
      "tensor([0.0021], device='cuda:0')\n",
      "tensor([-0.0041], device='cuda:0')\n",
      "tensor([0.0021], device='cuda:0')\n",
      "tensor([-0.0040], device='cuda:0')\n",
      "tensor([0.0020], device='cuda:0')\n",
      "tensor([-0.0040], device='cuda:0')\n",
      "tensor([0.0020], device='cuda:0')\n",
      "tensor([-0.0039], device='cuda:0')\n",
      "tensor([0.0020], device='cuda:0')\n",
      "tensor([-0.0039], device='cuda:0')\n",
      "tensor([0.0019], device='cuda:0')\n",
      "tensor([-0.0038], device='cuda:0')\n",
      "tensor([0.0019], device='cuda:0')\n",
      "tensor([-0.0037], device='cuda:0')\n",
      "tensor([0.0019], device='cuda:0')\n",
      "tensor([-0.0037], device='cuda:0')\n",
      "tensor([0.0019], device='cuda:0')\n",
      "tensor([-0.0036], device='cuda:0')\n",
      "tensor([0.0018], device='cuda:0')\n",
      "tensor([-0.0036], device='cuda:0')\n",
      "tensor([0.0018], device='cuda:0')\n",
      "tensor([-0.0035], device='cuda:0')\n",
      "tensor([0.0018], device='cuda:0')\n",
      "tensor([-0.0035], device='cuda:0')\n",
      "tensor([0.0017], device='cuda:0')\n",
      "tensor([-0.0034], device='cuda:0')\n",
      "tensor([0.0017], device='cuda:0')\n",
      "tensor([-0.0034], device='cuda:0')\n",
      "tensor([0.0017], device='cuda:0')\n",
      "tensor([-0.0033], device='cuda:0')\n",
      "tensor([0.0017], device='cuda:0')\n",
      "tensor([-0.0033], device='cuda:0')\n",
      "tensor([0.0016], device='cuda:0')\n",
      "tensor([-0.0032], device='cuda:0')\n",
      "tensor([0.0016], device='cuda:0')\n",
      "tensor([-0.0032], device='cuda:0')\n",
      "tensor([0.0016], device='cuda:0')\n",
      "tensor([-0.0031], device='cuda:0')\n",
      "tensor([0.0016], device='cuda:0')\n",
      "tensor([-0.0031], device='cuda:0')\n",
      "tensor([0.0015], device='cuda:0')\n",
      "tensor([-0.0030], device='cuda:0')\n",
      "tensor([0.0015], device='cuda:0')\n",
      "tensor([-0.0030], device='cuda:0')\n",
      "tensor([0.0015], device='cuda:0')\n",
      "tensor([-0.0029], device='cuda:0')\n",
      "tensor([0.0015], device='cuda:0')\n",
      "tensor([-0.0029], device='cuda:0')\n",
      "tensor([0.0015], device='cuda:0')\n",
      "tensor([-0.0028], device='cuda:0')\n",
      "tensor([0.0014], device='cuda:0')\n",
      "tensor([-0.0028], device='cuda:0')\n",
      "tensor([0.0014], device='cuda:0')\n",
      "tensor([-0.0028], device='cuda:0')\n",
      "tensor([0.0014], device='cuda:0')\n",
      "tensor([-0.0027], device='cuda:0')\n",
      "tensor([0.0014], device='cuda:0')\n",
      "tensor([-0.0027], device='cuda:0')\n",
      "tensor([0.0013], device='cuda:0')\n",
      "tensor([-0.0026], device='cuda:0')\n",
      "tensor([0.0013], device='cuda:0')\n",
      "tensor([-0.0026], device='cuda:0')\n",
      "tensor([0.0013], device='cuda:0')\n",
      "tensor([-0.0026], device='cuda:0')\n",
      "tensor([0.0013], device='cuda:0')\n",
      "tensor([-0.0025], device='cuda:0')\n",
      "tensor([0.0013], device='cuda:0')\n",
      "tensor([-0.0025], device='cuda:0')\n",
      "tensor([0.0013], device='cuda:0')\n",
      "tensor([-0.0024], device='cuda:0')\n",
      "tensor([0.0012], device='cuda:0')\n",
      "tensor([-0.0024], device='cuda:0')\n",
      "tensor([0.0012], device='cuda:0')\n",
      "tensor([-0.0024], device='cuda:0')\n",
      "tensor([0.0012], device='cuda:0')\n",
      "tensor([-0.0023], device='cuda:0')\n",
      "tensor([0.0012], device='cuda:0')\n",
      "tensor([-0.0023], device='cuda:0')\n",
      "tensor([0.0012], device='cuda:0')\n",
      "tensor([-0.0023], device='cuda:0')\n",
      "tensor([0.0011], device='cuda:0')\n",
      "tensor([-0.0022], device='cuda:0')\n",
      "tensor([0.0011], device='cuda:0')\n",
      "tensor([-0.0022], device='cuda:0')\n",
      "tensor([0.0011], device='cuda:0')\n",
      "tensor([-0.0022], device='cuda:0')\n",
      "tensor([0.0011], device='cuda:0')\n",
      "tensor([-0.0021], device='cuda:0')\n",
      "tensor([0.0011], device='cuda:0')\n",
      "tensor([-0.0021], device='cuda:0')\n",
      "tensor([0.0011], device='cuda:0')\n",
      "tensor([-0.0021], device='cuda:0')\n",
      "tensor([0.0010], device='cuda:0')\n",
      "tensor([-0.0020], device='cuda:0')\n",
      "tensor([0.0010], device='cuda:0')\n",
      "tensor([-0.0020], device='cuda:0')\n",
      "tensor([0.0010], device='cuda:0')\n",
      "tensor([-0.0020], device='cuda:0')\n",
      "tensor([0.0010], device='cuda:0')\n",
      "tensor([-0.0019], device='cuda:0')\n",
      "tensor([0.0010], device='cuda:0')\n",
      "tensor([-0.0019], device='cuda:0')\n",
      "tensor([0.0010], device='cuda:0')\n",
      "tensor([-0.0019], device='cuda:0')\n",
      "tensor([0.0010], device='cuda:0')\n",
      "tensor([-0.0019], device='cuda:0')\n",
      "tensor([0.0009], device='cuda:0')\n",
      "tensor([-0.0018], device='cuda:0')\n",
      "tensor([0.0009], device='cuda:0')\n",
      "tensor([-0.0018], device='cuda:0')\n",
      "tensor([0.0009], device='cuda:0')\n",
      "tensor([-0.0018], device='cuda:0')\n",
      "tensor([0.0009], device='cuda:0')\n",
      "tensor([-0.0018], device='cuda:0')\n",
      "tensor([0.0009], device='cuda:0')\n",
      "tensor([-0.0017], device='cuda:0')\n",
      "tensor([0.0009], device='cuda:0')\n",
      "tensor([-0.0017], device='cuda:0')\n",
      "tensor([0.0009], device='cuda:0')\n",
      "tensor([-0.0017], device='cuda:0')\n",
      "tensor([0.0008], device='cuda:0')\n",
      "tensor([-0.0016], device='cuda:0')\n",
      "tensor([0.0008], device='cuda:0')\n",
      "tensor([-0.0016], device='cuda:0')\n",
      "tensor([0.0008], device='cuda:0')\n",
      "tensor([-0.0016], device='cuda:0')\n",
      "tensor([0.0008], device='cuda:0')\n",
      "tensor([-0.0016], device='cuda:0')\n",
      "tensor([0.0008], device='cuda:0')\n",
      "tensor([-0.0015], device='cuda:0')\n",
      "tensor([0.0008], device='cuda:0')\n",
      "tensor([-0.0015], device='cuda:0')\n",
      "tensor([0.0008], device='cuda:0')\n",
      "tensor([-0.0015], device='cuda:0')\n",
      "tensor([0.0008], device='cuda:0')\n",
      "tensor([-0.0015], device='cuda:0')\n",
      "tensor([0.0007], device='cuda:0')\n",
      "tensor([-0.0015], device='cuda:0')\n",
      "tensor([0.0007], device='cuda:0')\n",
      "tensor([-0.0014], device='cuda:0')\n",
      "tensor([0.0007], device='cuda:0')\n",
      "tensor([-0.0014], device='cuda:0')\n",
      "tensor([0.0007], device='cuda:0')\n",
      "tensor([-0.0014], device='cuda:0')\n",
      "tensor([0.0007], device='cuda:0')\n",
      "tensor([-0.0014], device='cuda:0')\n",
      "tensor([0.0007], device='cuda:0')\n",
      "tensor([-0.0014], device='cuda:0')\n",
      "tensor([0.0007], device='cuda:0')\n",
      "tensor([-0.0013], device='cuda:0')\n",
      "tensor([0.0007], device='cuda:0')\n",
      "tensor([-0.0013], device='cuda:0')\n",
      "tensor([0.0007], device='cuda:0')\n",
      "tensor([-0.0013], device='cuda:0')\n",
      "tensor([0.0006], device='cuda:0')\n",
      "tensor([-0.0013], device='cuda:0')\n",
      "tensor([0.0006], device='cuda:0')\n",
      "tensor([-0.0013], device='cuda:0')\n",
      "tensor([0.0006], device='cuda:0')\n",
      "tensor([-0.0012], device='cuda:0')\n",
      "tensor([0.0006], device='cuda:0')\n",
      "tensor([-0.0012], device='cuda:0')\n",
      "tensor([0.0006], device='cuda:0')\n",
      "tensor([-0.0012], device='cuda:0')\n",
      "tensor([0.0006], device='cuda:0')\n",
      "tensor([-0.0012], device='cuda:0')\n",
      "tensor([0.0006], device='cuda:0')\n",
      "tensor([-0.0012], device='cuda:0')\n",
      "tensor([0.0006], device='cuda:0')\n",
      "tensor([-0.0011], device='cuda:0')\n",
      "tensor([0.0006], device='cuda:0')\n",
      "tensor([-0.0011], device='cuda:0')\n",
      "tensor([0.0006], device='cuda:0')\n",
      "tensor([-0.0011], device='cuda:0')\n",
      "tensor([0.0006], device='cuda:0')\n",
      "tensor([-0.0011], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0011], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0011], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0010], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0010], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0010], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0010], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0010], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0010], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0010], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0009], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0009], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0009], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0009], device='cuda:0')\n",
      "tensor([0.0005], device='cuda:0')\n",
      "tensor([-0.0009], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0009], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0009], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0008], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0008], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0008], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0008], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0008], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0008], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0008], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0008], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0007], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0007], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0007], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0007], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0007], device='cuda:0')\n",
      "tensor([0.0004], device='cuda:0')\n",
      "tensor([-0.0007], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0007], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0007], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0007], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0007], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0006], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0006], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0006], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0006], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0006], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0006], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0006], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0006], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0006], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0006], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0006], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0003], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0005], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0004], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0002], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0003], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([0.0001], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([9.9956e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([9.8363e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([9.6746e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([9.5335e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([9.3935e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([9.2434e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([9.0968e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([8.9746e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([8.8437e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([8.7133e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([8.5840e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([8.4552e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([8.3250e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([8.2023e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([8.0670e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([7.9434e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([7.8199e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([7.7009e-05], device='cuda:0')\n",
      "tensor([-0.0002], device='cuda:0')\n",
      "tensor([7.5817e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([7.4610e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([7.3466e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([7.2315e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([7.1194e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([7.0065e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([6.9061e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([6.8083e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([6.7089e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([6.6130e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([6.5297e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([6.4231e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([6.3159e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([6.2273e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([6.1347e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([6.0582e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([5.9600e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([5.8705e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([5.7837e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([5.6868e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([5.5869e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([5.5023e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([5.4283e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([5.3387e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([5.2570e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([5.1876e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([5.0930e-05], device='cuda:0')\n",
      "tensor([-0.0001], device='cuda:0')\n",
      "tensor([5.0169e-05], device='cuda:0')\n",
      "tensor([-9.8547e-05], device='cuda:0')\n",
      "tensor([4.9502e-05], device='cuda:0')\n",
      "tensor([-9.7011e-05], device='cuda:0')\n",
      "tensor([4.8589e-05], device='cuda:0')\n",
      "tensor([-9.5634e-05], device='cuda:0')\n",
      "tensor([4.7834e-05], device='cuda:0')\n",
      "tensor([-9.4200e-05], device='cuda:0')\n",
      "tensor([4.7192e-05], device='cuda:0')\n",
      "tensor([-9.2740e-05], device='cuda:0')\n",
      "tensor([4.6455e-05], device='cuda:0')\n",
      "tensor([-9.1340e-05], device='cuda:0')\n",
      "tensor([4.5818e-05], device='cuda:0')\n",
      "tensor([-8.9926e-05], device='cuda:0')\n",
      "tensor([4.5237e-05], device='cuda:0')\n",
      "tensor([-8.8515e-05], device='cuda:0')\n",
      "tensor([4.4490e-05], device='cuda:0')\n",
      "tensor([-8.7216e-05], device='cuda:0')\n",
      "tensor([4.3891e-05], device='cuda:0')\n",
      "tensor([-8.5865e-05], device='cuda:0')\n",
      "tensor([4.3168e-05], device='cuda:0')\n",
      "tensor([-8.4602e-05], device='cuda:0')\n",
      "tensor([4.2574e-05], device='cuda:0')\n",
      "tensor([-8.3295e-05], device='cuda:0')\n",
      "tensor([4.1888e-05], device='cuda:0')\n",
      "tensor([-8.2054e-05], device='cuda:0')\n",
      "tensor([4.1321e-05], device='cuda:0')\n",
      "tensor([-8.0774e-05], device='cuda:0')\n",
      "tensor([4.0635e-05], device='cuda:0')\n",
      "tensor([-7.9584e-05], device='cuda:0')\n",
      "tensor([4.0067e-05], device='cuda:0')\n",
      "tensor([-7.8353e-05], device='cuda:0')\n",
      "tensor([3.9421e-05], device='cuda:0')\n",
      "tensor([-7.7181e-05], device='cuda:0')\n",
      "tensor([3.8869e-05], device='cuda:0')\n",
      "tensor([-7.5986e-05], device='cuda:0')\n",
      "tensor([3.8201e-05], device='cuda:0')\n",
      "tensor([-7.4878e-05], device='cuda:0')\n",
      "tensor([3.7690e-05], device='cuda:0')\n",
      "tensor([-7.3698e-05], device='cuda:0')\n",
      "tensor([3.7032e-05], device='cuda:0')\n",
      "tensor([-7.2627e-05], device='cuda:0')\n",
      "tensor([3.6519e-05], device='cuda:0')\n",
      "tensor([-7.1515e-05], device='cuda:0')\n",
      "tensor([3.5852e-05], device='cuda:0')\n",
      "tensor([-7.0485e-05], device='cuda:0')\n",
      "tensor([3.5357e-05], device='cuda:0')\n",
      "tensor([-6.9396e-05], device='cuda:0')\n",
      "tensor([3.4759e-05], device='cuda:0')\n",
      "tensor([-6.8387e-05], device='cuda:0')\n",
      "tensor([3.4215e-05], device='cuda:0')\n",
      "tensor([-6.7374e-05], device='cuda:0')\n",
      "tensor([3.3793e-05], device='cuda:0')\n",
      "tensor([-6.6286e-05], device='cuda:0')\n",
      "tensor([3.3415e-05], device='cuda:0')\n",
      "tensor([-6.5217e-05], device='cuda:0')\n",
      "tensor([3.2903e-05], device='cuda:0')\n",
      "tensor([-6.4227e-05], device='cuda:0')\n",
      "tensor([3.2310e-05], device='cuda:0')\n",
      "tensor([-6.3300e-05], device='cuda:0')\n",
      "tensor([3.1865e-05], device='cuda:0')\n",
      "tensor([-6.2323e-05], device='cuda:0')\n",
      "tensor([3.1293e-05], device='cuda:0')\n",
      "tensor([-6.1436e-05], device='cuda:0')\n",
      "tensor([3.0906e-05], device='cuda:0')\n",
      "tensor([-6.0462e-05], device='cuda:0')\n",
      "tensor([3.0484e-05], device='cuda:0')\n",
      "tensor([-5.9514e-05], device='cuda:0')\n",
      "tensor([2.9916e-05], device='cuda:0')\n",
      "tensor([-5.8667e-05], device='cuda:0')\n",
      "tensor([2.9469e-05], device='cuda:0')\n",
      "tensor([-5.7781e-05], device='cuda:0')\n",
      "tensor([2.8909e-05], device='cuda:0')\n",
      "tensor([-5.6971e-05], device='cuda:0')\n",
      "tensor([2.8582e-05], device='cuda:0')\n",
      "tensor([-5.6057e-05], device='cuda:0')\n",
      "tensor([2.8132e-05], device='cuda:0')\n",
      "tensor([-5.5226e-05], device='cuda:0')\n",
      "tensor([2.7623e-05], device='cuda:0')\n",
      "tensor([-5.4429e-05], device='cuda:0')\n",
      "tensor([2.7330e-05], device='cuda:0')\n",
      "tensor([-5.3543e-05], device='cuda:0')\n",
      "tensor([2.6908e-05], device='cuda:0')\n",
      "tensor([-5.2735e-05], device='cuda:0')\n",
      "tensor([2.6417e-05], device='cuda:0')\n",
      "tensor([-5.1972e-05], device='cuda:0')\n",
      "tensor([2.6084e-05], device='cuda:0')\n",
      "tensor([-5.1157e-05], device='cuda:0')\n",
      "tensor([2.5687e-05], device='cuda:0')\n",
      "tensor([-5.0378e-05], device='cuda:0')\n",
      "tensor([2.5200e-05], device='cuda:0')\n",
      "tensor([-4.9672e-05], device='cuda:0')\n",
      "tensor([2.4891e-05], device='cuda:0')\n",
      "tensor([-4.8881e-05], device='cuda:0')\n",
      "tensor([2.4524e-05], device='cuda:0')\n",
      "tensor([-4.8139e-05], device='cuda:0')\n",
      "tensor([2.4014e-05], device='cuda:0')\n",
      "tensor([-4.7486e-05], device='cuda:0')\n",
      "tensor([2.3760e-05], device='cuda:0')\n",
      "tensor([-4.6708e-05], device='cuda:0')\n",
      "tensor([2.3380e-05], device='cuda:0')\n",
      "tensor([-4.6015e-05], device='cuda:0')\n",
      "tensor([2.3023e-05], device='cuda:0')\n",
      "tensor([-4.5311e-05], device='cuda:0')\n",
      "tensor([2.2780e-05], device='cuda:0')\n",
      "tensor([-4.4573e-05], device='cuda:0')\n",
      "tensor([2.2422e-05], device='cuda:0')\n",
      "tensor([-4.3913e-05], device='cuda:0')\n",
      "tensor([2.2026e-05], device='cuda:0')\n",
      "tensor([-4.3276e-05], device='cuda:0')\n",
      "tensor([2.1787e-05], device='cuda:0')\n",
      "tensor([-4.2586e-05], device='cuda:0')\n",
      "tensor([2.1523e-05], device='cuda:0')\n",
      "tensor([-4.1913e-05], device='cuda:0')\n",
      "tensor([2.1241e-05], device='cuda:0')\n",
      "tensor([-4.1248e-05], device='cuda:0')\n",
      "tensor([2.0909e-05], device='cuda:0')\n",
      "tensor([-4.0620e-05], device='cuda:0')\n",
      "tensor([2.0402e-05], device='cuda:0')\n",
      "tensor([-4.0107e-05], device='cuda:0')\n",
      "tensor([2.0184e-05], device='cuda:0')\n",
      "tensor([-3.9445e-05], device='cuda:0')\n",
      "tensor([1.9832e-05], device='cuda:0')\n",
      "tensor([-3.8888e-05], device='cuda:0')\n",
      "tensor([1.9510e-05], device='cuda:0')\n",
      "tensor([-3.8284e-05], device='cuda:0')\n",
      "tensor([1.9295e-05], device='cuda:0')\n",
      "tensor([-3.7682e-05], device='cuda:0')\n",
      "tensor([1.9086e-05], device='cuda:0')\n",
      "tensor([-3.7067e-05], device='cuda:0')\n",
      "tensor([1.8766e-05], device='cuda:0')\n",
      "tensor([-3.6524e-05], device='cuda:0')\n",
      "tensor([1.8439e-05], device='cuda:0')\n",
      "tensor([-3.5983e-05], device='cuda:0')\n",
      "tensor([1.8247e-05], device='cuda:0')\n",
      "tensor([-3.5401e-05], device='cuda:0')\n",
      "tensor([1.8055e-05], device='cuda:0')\n",
      "tensor([-3.4827e-05], device='cuda:0')\n",
      "tensor([1.7741e-05], device='cuda:0')\n",
      "tensor([-3.4322e-05], device='cuda:0')\n",
      "tensor([1.7422e-05], device='cuda:0')\n",
      "tensor([-3.3830e-05], device='cuda:0')\n",
      "tensor([1.7026e-05], device='cuda:0')\n",
      "tensor([-3.3389e-05], device='cuda:0')\n",
      "tensor([1.6818e-05], device='cuda:0')\n",
      "tensor([-3.2868e-05], device='cuda:0')\n",
      "tensor([1.6635e-05], device='cuda:0')\n",
      "tensor([-3.2323e-05], device='cuda:0')\n",
      "tensor([1.6343e-05], device='cuda:0')\n",
      "tensor([-3.1858e-05], device='cuda:0')\n",
      "tensor([1.6061e-05], device='cuda:0')\n",
      "tensor([-3.1382e-05], device='cuda:0')\n",
      "tensor([1.5871e-05], device='cuda:0')\n",
      "tensor([-3.0891e-05], device='cuda:0')\n",
      "tensor([1.5704e-05], device='cuda:0')\n",
      "tensor([-3.0394e-05], device='cuda:0')\n",
      "tensor([1.5428e-05], device='cuda:0')\n",
      "tensor([-2.9955e-05], device='cuda:0')\n",
      "tensor([1.5133e-05], device='cuda:0')\n",
      "tensor([-2.9550e-05], device='cuda:0')\n",
      "tensor([1.4863e-05], device='cuda:0')\n",
      "tensor([-2.9112e-05], device='cuda:0')\n",
      "tensor([1.4690e-05], device='cuda:0')\n",
      "tensor([-2.8662e-05], device='cuda:0')\n",
      "tensor([1.4562e-05], device='cuda:0')\n",
      "tensor([-2.8175e-05], device='cuda:0')\n",
      "tensor([1.4402e-05], device='cuda:0')\n",
      "tensor([-2.7720e-05], device='cuda:0')\n",
      "tensor([1.4111e-05], device='cuda:0')\n",
      "tensor([-2.7338e-05], device='cuda:0')\n",
      "tensor([1.3834e-05], device='cuda:0')\n",
      "tensor([-2.6960e-05], device='cuda:0')\n",
      "tensor([1.3559e-05], device='cuda:0')\n",
      "tensor([-2.6578e-05], device='cuda:0')\n",
      "tensor([1.3422e-05], device='cuda:0')\n",
      "tensor([-2.6149e-05], device='cuda:0')\n",
      "tensor([1.3288e-05], device='cuda:0')\n",
      "tensor([-2.5716e-05], device='cuda:0')\n",
      "tensor([1.3147e-05], device='cuda:0')\n",
      "tensor([-2.5298e-05], device='cuda:0')\n",
      "tensor([1.2866e-05], device='cuda:0')\n",
      "tensor([-2.4954e-05], device='cuda:0')\n",
      "tensor([1.2611e-05], device='cuda:0')\n",
      "tensor([-2.4608e-05], device='cuda:0')\n",
      "tensor([1.2333e-05], device='cuda:0')\n",
      "tensor([-2.4277e-05], device='cuda:0')\n",
      "tensor([1.2227e-05], device='cuda:0')\n",
      "tensor([-2.3868e-05], device='cuda:0')\n",
      "tensor([1.2118e-05], device='cuda:0')\n",
      "tensor([-2.3473e-05], device='cuda:0')\n",
      "tensor([1.1960e-05], device='cuda:0')\n",
      "tensor([-2.3111e-05], device='cuda:0')\n",
      "tensor([1.1732e-05], device='cuda:0')\n",
      "tensor([-2.2784e-05], device='cuda:0')\n",
      "tensor([1.1500e-05], device='cuda:0')\n",
      "tensor([-2.2470e-05], device='cuda:0')\n",
      "tensor([1.1255e-05], device='cuda:0')\n",
      "tensor([-2.2158e-05], device='cuda:0')\n",
      "tensor([1.1197e-05], device='cuda:0')\n",
      "tensor([-2.1774e-05], device='cuda:0')\n",
      "tensor([1.1108e-05], device='cuda:0')\n",
      "tensor([-2.1408e-05], device='cuda:0')\n",
      "tensor([1.0944e-05], device='cuda:0')\n",
      "tensor([-2.1092e-05], device='cuda:0')\n",
      "tensor([1.0894e-05], device='cuda:0')\n",
      "tensor([-2.0701e-05], device='cuda:0')\n",
      "tensor([1.0646e-05], device='cuda:0')\n",
      "tensor([-2.0449e-05], device='cuda:0')\n",
      "tensor([1.0426e-05], device='cuda:0')\n",
      "tensor([-2.0162e-05], device='cuda:0')\n",
      "tensor([1.0183e-05], device='cuda:0')\n",
      "tensor([-1.9893e-05], device='cuda:0')\n",
      "tensor([9.9610e-06], device='cuda:0')\n",
      "tensor([-1.9617e-05], device='cuda:0')\n",
      "tensor([9.8436e-06], device='cuda:0')\n",
      "tensor([-1.9318e-05], device='cuda:0')\n",
      "tensor([9.7593e-06], device='cuda:0')\n",
      "tensor([-1.8998e-05], device='cuda:0')\n",
      "tensor([9.6248e-06], device='cuda:0')\n",
      "tensor([-1.8713e-05], device='cuda:0')\n",
      "tensor([9.5335e-06], device='cuda:0')\n",
      "tensor([-1.8394e-05], device='cuda:0')\n",
      "tensor([9.3249e-06], device='cuda:0')\n",
      "tensor([-1.8163e-05], device='cuda:0')\n",
      "tensor([9.1176e-06], device='cuda:0')\n",
      "tensor([-1.7921e-05], device='cuda:0')\n",
      "tensor([8.8513e-06], device='cuda:0')\n",
      "tensor([-1.7729e-05], device='cuda:0')\n",
      "tensor([8.8899e-06], device='cuda:0')\n",
      "tensor([-1.7365e-05], device='cuda:0')\n",
      "tensor([8.9221e-06], device='cuda:0')\n",
      "tensor([-1.7004e-05], device='cuda:0')\n",
      "tensor([8.8266e-06], device='cuda:0')\n",
      "tensor([-1.6739e-05], device='cuda:0')\n",
      "tensor([8.7204e-06], device='cuda:0')\n",
      "tensor([-1.6479e-05], device='cuda:0')\n",
      "tensor([8.6301e-06], device='cuda:0')\n",
      "tensor([-1.6205e-05], device='cuda:0')\n",
      "tensor([8.5412e-06], device='cuda:0')\n",
      "tensor([-1.5935e-05], device='cuda:0')\n",
      "tensor([8.3540e-06], device='cuda:0')\n",
      "tensor([-1.5724e-05], device='cuda:0')\n",
      "tensor([8.1728e-06], device='cuda:0')\n",
      "tensor([-1.5519e-05], device='cuda:0')\n",
      "tensor([7.9498e-06], device='cuda:0')\n",
      "tensor([-1.5337e-05], device='cuda:0')\n",
      "tensor([7.7011e-06], device='cuda:0')\n",
      "tensor([-1.5183e-05], device='cuda:0')\n",
      "tensor([7.7696e-06], device='cuda:0')\n",
      "tensor([-1.4850e-05], device='cuda:0')\n",
      "tensor([7.4347e-06], device='cuda:0')\n",
      "tensor([-1.4742e-05], device='cuda:0')\n",
      "tensor([7.3607e-06], device='cuda:0')\n",
      "tensor([-1.4507e-05], device='cuda:0')\n",
      "tensor([7.2904e-06], device='cuda:0')\n",
      "tensor([-1.4265e-05], device='cuda:0')\n",
      "tensor([7.2028e-06], device='cuda:0')\n",
      "tensor([-1.4039e-05], device='cuda:0')\n",
      "tensor([7.1423e-06], device='cuda:0')\n",
      "tensor([-1.3802e-05], device='cuda:0')\n",
      "tensor([7.0538e-06], device='cuda:0')\n",
      "tensor([-1.3573e-05], device='cuda:0')\n",
      "tensor([6.8587e-06], device='cuda:0')\n",
      "tensor([-1.3419e-05], device='cuda:0')\n",
      "tensor([6.6655e-06], device='cuda:0')\n",
      "tensor([-1.3267e-05], device='cuda:0')\n",
      "tensor([6.4922e-06], device='cuda:0')\n",
      "tensor([-1.3106e-05], device='cuda:0')\n",
      "tensor([6.5039e-06], device='cuda:0')\n",
      "tensor([-1.2854e-05], device='cuda:0')\n",
      "tensor([6.5705e-06], device='cuda:0')\n",
      "tensor([-1.2582e-05], device='cuda:0')\n",
      "tensor([6.3824e-06], device='cuda:0')\n",
      "tensor([-1.2418e-05], device='cuda:0')\n",
      "tensor([6.2967e-06], device='cuda:0')\n",
      "tensor([-1.2238e-05], device='cuda:0')\n",
      "tensor([6.2725e-06], device='cuda:0')\n",
      "tensor([-1.2016e-05], device='cuda:0')\n",
      "tensor([6.1761e-06], device='cuda:0')\n",
      "tensor([-1.1849e-05], device='cuda:0')\n",
      "tensor([6.1439e-06], device='cuda:0')\n",
      "tensor([-1.1634e-05], device='cuda:0')\n",
      "tensor([6.0527e-06], device='cuda:0')\n",
      "tensor([-1.1453e-05], device='cuda:0')\n",
      "tensor([5.9982e-06], device='cuda:0')\n",
      "tensor([-1.1247e-05], device='cuda:0')\n",
      "tensor([5.8026e-06], device='cuda:0')\n",
      "tensor([-1.1143e-05], device='cuda:0')\n",
      "tensor([5.6527e-06], device='cuda:0')\n",
      "tensor([-1.1011e-05], device='cuda:0')\n",
      "tensor([5.4855e-06], device='cuda:0')\n",
      "tensor([-1.0888e-05], device='cuda:0')\n",
      "tensor([5.2811e-06], device='cuda:0')\n",
      "tensor([-1.0778e-05], device='cuda:0')\n",
      "tensor([5.3523e-06], device='cuda:0')\n",
      "tensor([-1.0558e-05], device='cuda:0')\n",
      "tensor([5.4017e-06], device='cuda:0')\n",
      "tensor([-1.0326e-05], device='cuda:0')\n",
      "tensor([5.1912e-06], device='cuda:0')\n",
      "tensor([-1.0234e-05], device='cuda:0')\n",
      "tensor([5.2974e-06], device='cuda:0')\n",
      "tensor([-9.9698e-06], device='cuda:0')\n",
      "tensor([5.2573e-06], device='cuda:0')\n",
      "tensor([-9.8108e-06], device='cuda:0')\n",
      "tensor([5.1735e-06], device='cuda:0')\n",
      "tensor([-9.6809e-06], device='cuda:0')\n",
      "tensor([5.1148e-06], device='cuda:0')\n",
      "tensor([-9.5202e-06], device='cuda:0')\n",
      "tensor([5.0650e-06], device='cuda:0')\n",
      "tensor([-9.3797e-06], device='cuda:0')\n",
      "tensor([4.9826e-06], device='cuda:0')\n",
      "tensor([-9.2407e-06], device='cuda:0')\n",
      "tensor([4.9775e-06], device='cuda:0')\n",
      "tensor([-9.0533e-06], device='cuda:0')\n",
      "tensor([4.9020e-06], device='cuda:0')\n",
      "tensor([-8.9157e-06], device='cuda:0')\n",
      "tensor([4.7684e-06], device='cuda:0')\n",
      "tensor([-8.8162e-06], device='cuda:0')\n",
      "tensor([4.5653e-06], device='cuda:0')\n",
      "tensor([-8.7569e-06], device='cuda:0')\n",
      "tensor([4.4196e-06], device='cuda:0')\n",
      "tensor([-8.6701e-06], device='cuda:0')\n",
      "tensor([4.2468e-06], device='cuda:0')\n",
      "tensor([-8.5948e-06], device='cuda:0')\n",
      "tensor([4.0708e-06], device='cuda:0')\n",
      "tensor([-8.5250e-06], device='cuda:0')\n",
      "tensor([4.1812e-06], device='cuda:0')\n",
      "tensor([-8.3117e-06], device='cuda:0')\n",
      "tensor([3.9991e-06], device='cuda:0')\n",
      "tensor([-8.2400e-06], device='cuda:0')\n",
      "tensor([4.0582e-06], device='cuda:0')\n",
      "tensor([-8.0593e-06], device='cuda:0')\n",
      "tensor([4.1458e-06], device='cuda:0')\n",
      "tensor([-7.8599e-06], device='cuda:0')\n",
      "tensor([4.2217e-06], device='cuda:0')\n",
      "tensor([-7.6693e-06], device='cuda:0')\n",
      "tensor([3.9320e-06], device='cuda:0')\n",
      "tensor([-7.6713e-06], device='cuda:0')\n",
      "tensor([3.9185e-06], device='cuda:0')\n",
      "tensor([-7.5359e-06], device='cuda:0')\n",
      "tensor([3.8478e-06], device='cuda:0')\n",
      "tensor([-7.4474e-06], device='cuda:0')\n",
      "tensor([3.8319e-06], device='cuda:0')\n",
      "tensor([-7.3165e-06], device='cuda:0')\n",
      "tensor([3.7975e-06], device='cuda:0')\n",
      "tensor([-7.1952e-06], device='cuda:0')\n",
      "tensor([3.7551e-06], device='cuda:0')\n",
      "tensor([-7.0798e-06], device='cuda:0')\n",
      "tensor([3.6932e-06], device='cuda:0')\n",
      "tensor([-6.9782e-06], device='cuda:0')\n",
      "tensor([3.6866e-06], device='cuda:0')\n",
      "tensor([-6.8402e-06], device='cuda:0')\n",
      "tensor([3.6387e-06], device='cuda:0')\n",
      "tensor([-6.7421e-06], device='cuda:0')\n",
      "tensor([3.5954e-06], device='cuda:0')\n",
      "tensor([-6.6198e-06], device='cuda:0')\n",
      "tensor([3.5497e-06], device='cuda:0')\n",
      "tensor([-6.5109e-06], device='cuda:0')\n",
      "tensor([3.3774e-06], device='cuda:0')\n",
      "tensor([-6.4840e-06], device='cuda:0')\n",
      "tensor([3.2471e-06], device='cuda:0')\n",
      "tensor([-6.4202e-06], device='cuda:0')\n",
      "tensor([3.0855e-06], device='cuda:0')\n",
      "tensor([-6.3956e-06], device='cuda:0')\n",
      "tensor([2.9425e-06], device='cuda:0')\n",
      "tensor([-6.3473e-06], device='cuda:0')\n",
      "tensor([3.0221e-06], device='cuda:0')\n",
      "tensor([-6.2000e-06], device='cuda:0')\n",
      "tensor([2.8866e-06], device='cuda:0')\n",
      "tensor([-6.1546e-06], device='cuda:0')\n",
      "tensor([2.9677e-06], device='cuda:0')\n",
      "tensor([-5.9927e-06], device='cuda:0')\n",
      "tensor([3.0301e-06], device='cuda:0')\n",
      "tensor([-5.8714e-06], device='cuda:0')\n",
      "tensor([2.9001e-06], device='cuda:0')\n",
      "tensor([-5.8106e-06], device='cuda:0')\n",
      "tensor([2.9565e-06], device='cuda:0')\n",
      "tensor([-5.6766e-06], device='cuda:0')\n",
      "tensor([3.0580e-06], device='cuda:0')\n",
      "tensor([-5.5155e-06], device='cuda:0')\n",
      "tensor([2.9006e-06], device='cuda:0')\n",
      "tensor([-5.4773e-06], device='cuda:0')\n",
      "tensor([2.9970e-06], device='cuda:0')\n",
      "tensor([-5.3159e-06], device='cuda:0')\n",
      "tensor([2.7409e-06], device='cuda:0')\n",
      "tensor([-5.3510e-06], device='cuda:0')\n",
      "tensor([2.7316e-06], device='cuda:0')\n",
      "tensor([-5.2548e-06], device='cuda:0')\n",
      "tensor([2.6627e-06], device='cuda:0')\n",
      "tensor([-5.2089e-06], device='cuda:0')\n",
      "tensor([2.6552e-06], device='cuda:0')\n",
      "tensor([-5.1172e-06], device='cuda:0')\n",
      "tensor([2.6259e-06], device='cuda:0')\n",
      "tensor([-5.0471e-06], device='cuda:0')\n",
      "tensor([2.6161e-06], device='cuda:0')\n",
      "tensor([-4.9580e-06], device='cuda:0')\n",
      "tensor([2.5821e-06], device='cuda:0')\n",
      "tensor([-4.8858e-06], device='cuda:0')\n",
      "tensor([2.5565e-06], device='cuda:0')\n",
      "tensor([-4.8155e-06], device='cuda:0')\n",
      "tensor([2.5011e-06], device='cuda:0')\n",
      "tensor([-4.7556e-06], device='cuda:0')\n",
      "tensor([2.5053e-06], device='cuda:0')\n",
      "tensor([-4.6529e-06], device='cuda:0')\n",
      "tensor([2.4876e-06], device='cuda:0')\n",
      "tensor([-4.5736e-06], device='cuda:0')\n",
      "tensor([2.4019e-06], device='cuda:0')\n",
      "tensor([-4.5378e-06], device='cuda:0')\n",
      "tensor([2.4252e-06], device='cuda:0')\n",
      "tensor([-4.4265e-06], device='cuda:0')\n",
      "tensor([2.3986e-06], device='cuda:0')\n",
      "tensor([-4.3471e-06], device='cuda:0')\n",
      "tensor([2.3651e-06], device='cuda:0')\n",
      "tensor([-4.2728e-06], device='cuda:0')\n",
      "tensor([2.3558e-06], device='cuda:0')\n",
      "tensor([-4.1875e-06], device='cuda:0')\n",
      "tensor([2.3199e-06], device='cuda:0')\n",
      "tensor([-4.1242e-06], device='cuda:0')\n",
      "tensor([2.1812e-06], device='cuda:0')\n",
      "tensor([-4.1171e-06], device='cuda:0')\n",
      "tensor([2.0424e-06], device='cuda:0')\n",
      "tensor([-4.1140e-06], device='cuda:0')\n",
      "tensor([1.9097e-06], device='cuda:0')\n",
      "tensor([-4.1103e-06], device='cuda:0')\n",
      "tensor([1.7472e-06], device='cuda:0')\n",
      "tensor([-4.1240e-06], device='cuda:0')\n",
      "tensor([1.8645e-06], device='cuda:0')\n",
      "tensor([-3.9962e-06], device='cuda:0')\n",
      "tensor([1.7453e-06], device='cuda:0')\n",
      "tensor([-3.9778e-06], device='cuda:0')\n",
      "tensor([1.7872e-06], device='cuda:0')\n",
      "tensor([-3.9107e-06], device='cuda:0')\n",
      "tensor([1.9302e-06], device='cuda:0')\n",
      "tensor([-3.7625e-06], device='cuda:0')\n",
      "tensor([1.7956e-06], device='cuda:0')\n",
      "tensor([-3.7511e-06], device='cuda:0')\n",
      "tensor([1.6289e-06], device='cuda:0')\n",
      "tensor([-3.7815e-06], device='cuda:0')\n",
      "tensor([1.7225e-06], device='cuda:0')\n",
      "tensor([-3.6594e-06], device='cuda:0')\n",
      "tensor([1.8515e-06], device='cuda:0')\n",
      "tensor([-3.5281e-06], device='cuda:0')\n",
      "tensor([1.7001e-06], device='cuda:0')\n",
      "tensor([-3.5380e-06], device='cuda:0')\n",
      "tensor([1.8058e-06], device='cuda:0')\n",
      "tensor([-3.4195e-06], device='cuda:0')\n",
      "tensor([1.6396e-06], device='cuda:0')\n",
      "tensor([-3.4353e-06], device='cuda:0')\n",
      "tensor([1.7467e-06], device='cuda:0')\n",
      "tensor([-3.3187e-06], device='cuda:0')\n",
      "tensor([1.8608e-06], device='cuda:0')\n",
      "tensor([-3.1956e-06], device='cuda:0')\n",
      "tensor([1.7048e-06], device='cuda:0')\n",
      "tensor([-3.2071e-06], device='cuda:0')\n",
      "tensor([1.8179e-06], device='cuda:0')\n",
      "tensor([-3.0807e-06], device='cuda:0')\n",
      "tensor([1.6862e-06], device='cuda:0')\n",
      "tensor([-3.0713e-06], device='cuda:0')\n",
      "tensor([1.7881e-06], device='cuda:0')\n",
      "tensor([-2.9614e-06], device='cuda:0')\n",
      "tensor([1.5316e-06], device='cuda:0')\n",
      "tensor([-3.0362e-06], device='cuda:0')\n",
      "tensor([1.6419e-06], device='cuda:0')\n",
      "tensor([-2.9121e-06], device='cuda:0')\n",
      "tensor([1.6056e-06], device='cuda:0')\n",
      "tensor([-2.8972e-06], device='cuda:0')\n",
      "tensor([1.5730e-06], device='cuda:0')\n",
      "tensor([-2.8723e-06], device='cuda:0')\n",
      "tensor([1.6266e-06], device='cuda:0')\n",
      "tensor([-2.7751e-06], device='cuda:0')\n",
      "tensor([1.6005e-06], device='cuda:0')\n",
      "tensor([-2.7437e-06], device='cuda:0')\n",
      "tensor([1.5683e-06], device='cuda:0')\n",
      "tensor([-2.7182e-06], device='cuda:0')\n",
      "tensor([1.5306e-06], device='cuda:0')\n",
      "tensor([-2.7084e-06], device='cuda:0')\n",
      "tensor([1.5143e-06], device='cuda:0')\n",
      "tensor([-2.6734e-06], device='cuda:0')\n",
      "tensor([1.5344e-06], device='cuda:0')\n",
      "tensor([-2.6140e-06], device='cuda:0')\n",
      "tensor([1.5260e-06], device='cuda:0')\n",
      "tensor([-2.5649e-06], device='cuda:0')\n",
      "tensor([1.5139e-06], device='cuda:0')\n",
      "tensor([-2.5260e-06], device='cuda:0')\n",
      "tensor([1.4794e-06], device='cuda:0')\n",
      "tensor([-2.5074e-06], device='cuda:0')\n",
      "tensor([1.5041e-06], device='cuda:0')\n",
      "tensor([-2.4403e-06], device='cuda:0')\n",
      "tensor([1.4780e-06], device='cuda:0')\n",
      "tensor([-2.4120e-06], device='cuda:0')\n",
      "tensor([1.4734e-06], device='cuda:0')\n",
      "tensor([-2.3652e-06], device='cuda:0')\n",
      "tensor([1.4366e-06], device='cuda:0')\n",
      "tensor([-2.3388e-06], device='cuda:0')\n",
      "tensor([1.4170e-06], device='cuda:0')\n",
      "tensor([-2.3081e-06], device='cuda:0')\n",
      "tensor([1.4068e-06], device='cuda:0')\n",
      "tensor([-2.2665e-06], device='cuda:0')\n",
      "tensor([1.3835e-06], device='cuda:0')\n",
      "tensor([-2.2353e-06], device='cuda:0')\n",
      "tensor([1.3746e-06], device='cuda:0')\n",
      "tensor([-2.1966e-06], device='cuda:0')\n",
      "tensor([1.3583e-06], device='cuda:0')\n",
      "tensor([-2.1588e-06], device='cuda:0')\n",
      "tensor([1.3663e-06], device='cuda:0')\n",
      "tensor([-2.1034e-06], device='cuda:0')\n",
      "tensor([1.3444e-06], device='cuda:0')\n",
      "tensor([-2.0685e-06], device='cuda:0')\n",
      "tensor([1.3267e-06], device='cuda:0')\n",
      "tensor([-2.0347e-06], device='cuda:0')\n",
      "tensor([1.2876e-06], device='cuda:0')\n",
      "tensor([-2.0212e-06], device='cuda:0')\n",
      "tensor([1.3122e-06], device='cuda:0')\n",
      "tensor([-1.9550e-06], device='cuda:0')\n",
      "tensor([1.2782e-06], device='cuda:0')\n",
      "tensor([-1.9288e-06], device='cuda:0')\n",
      "tensor([1.2564e-06], device='cuda:0')\n",
      "tensor([-1.8963e-06], device='cuda:0')\n",
      "tensor([1.2452e-06], device='cuda:0')\n",
      "tensor([-1.8576e-06], device='cuda:0')\n",
      "tensor([1.2191e-06], device='cuda:0')\n",
      "tensor([-1.8271e-06], device='cuda:0')\n",
      "tensor([1.2130e-06], device='cuda:0')\n",
      "tensor([-1.7826e-06], device='cuda:0')\n",
      "tensor([1.1069e-06], device='cuda:0')\n",
      "tensor([-1.8111e-06], device='cuda:0')\n",
      "tensor([1.0990e-06], device='cuda:0')\n",
      "tensor([-1.7625e-06], device='cuda:0')\n",
      "tensor([9.7556e-07], device='cuda:0')\n",
      "tensor([-1.7985e-06], device='cuda:0')\n",
      "tensor([9.7882e-07], device='cuda:0')\n",
      "tensor([-1.7594e-06], device='cuda:0')\n",
      "tensor([8.0466e-07], device='cuda:0')\n",
      "tensor([-1.8210e-06], device='cuda:0')\n",
      "tensor([8.1584e-07], device='cuda:0')\n",
      "tensor([-1.7645e-06], device='cuda:0')\n",
      "tensor([6.8871e-07], device='cuda:0')\n",
      "tensor([-1.8049e-06], device='cuda:0')\n",
      "tensor([6.7148e-07], device='cuda:0')\n",
      "tensor([-1.7703e-06], device='cuda:0')\n",
      "tensor([5.7044e-07], device='cuda:0')\n",
      "tensor([-1.7962e-06], device='cuda:0')\n",
      "tensor([7.9535e-07], device='cuda:0')\n",
      "tensor([-1.6383e-06], device='cuda:0')\n",
      "tensor([6.8545e-07], device='cuda:0')\n",
      "tensor([-1.6617e-06], device='cuda:0')\n",
      "tensor([5.5507e-07], device='cuda:0')\n",
      "tensor([-1.7000e-06], device='cuda:0')\n",
      "tensor([6.3144e-07], device='cuda:0')\n",
      "tensor([-1.6505e-06], device='cuda:0')\n",
      "tensor([5.2433e-07], device='cuda:0')\n",
      "tensor([-1.6758e-06], device='cuda:0')\n",
      "tensor([6.0443e-07], device='cuda:0')\n",
      "tensor([-1.6289e-06], device='cuda:0')\n",
      "tensor([5.0291e-07], device='cuda:0')\n",
      "tensor([-1.6551e-06], device='cuda:0')\n",
      "tensor([5.9884e-07], device='cuda:0')\n",
      "tensor([-1.5885e-06], device='cuda:0')\n",
      "tensor([4.6194e-07], device='cuda:0')\n",
      "tensor([-1.6287e-06], device='cuda:0')\n",
      "tensor([6.1281e-07], device='cuda:0')\n",
      "tensor([-1.5271e-06], device='cuda:0')\n",
      "tensor([4.5495e-07], device='cuda:0')\n",
      "tensor([-1.5791e-06], device='cuda:0')\n",
      "tensor([5.9698e-07], device='cuda:0')\n",
      "tensor([-1.4872e-06], device='cuda:0')\n",
      "tensor([4.4517e-07], device='cuda:0')\n",
      "tensor([-1.5334e-06], device='cuda:0')\n",
      "tensor([5.7835e-07], device='cuda:0')\n",
      "tensor([-1.4502e-06], device='cuda:0')\n",
      "tensor([7.1246e-07], device='cuda:0')\n",
      "tensor([-1.3686e-06], device='cuda:0')\n",
      "tensor([5.7416e-07], device='cuda:0')\n",
      "tensor([-1.4128e-06], device='cuda:0')\n",
      "tensor([6.8732e-07], device='cuda:0')\n",
      "tensor([-1.3302e-06], device='cuda:0')\n",
      "tensor([5.7183e-07], device='cuda:0')\n",
      "tensor([-1.3623e-06], device='cuda:0')\n",
      "tensor([6.6496e-07], device='cuda:0')\n",
      "tensor([-1.3039e-06], device='cuda:0')\n",
      "tensor([5.4156e-07], device='cuda:0')\n",
      "tensor([-1.3335e-06], device='cuda:0')\n",
      "tensor([6.3609e-07], device='cuda:0')\n",
      "tensor([-1.2717e-06], device='cuda:0')\n",
      "tensor([5.1875e-07], device='cuda:0')\n",
      "tensor([-1.2987e-06], device='cuda:0')\n",
      "tensor([6.1933e-07], device='cuda:0')\n",
      "tensor([-1.2359e-06], device='cuda:0')\n",
      "tensor([5.0291e-07], device='cuda:0')\n",
      "tensor([-1.2635e-06], device='cuda:0')\n",
      "tensor([6.1281e-07], device='cuda:0')\n",
      "tensor([-1.1919e-06], device='cuda:0')\n",
      "tensor([4.8801e-07], device='cuda:0')\n",
      "tensor([-1.2334e-06], device='cuda:0')\n",
      "tensor([5.9977e-07], device='cuda:0')\n",
      "tensor([-1.1527e-06], device='cuda:0')\n",
      "tensor([4.8010e-07], device='cuda:0')\n",
      "tensor([-1.1889e-06], device='cuda:0')\n",
      "tensor([6.0117e-07], device='cuda:0')\n",
      "tensor([-1.1039e-06], device='cuda:0')\n",
      "tensor([4.7311e-07], device='cuda:0')\n",
      "tensor([-1.1445e-06], device='cuda:0')\n",
      "tensor([5.8766e-07], device='cuda:0')\n",
      "tensor([-1.0635e-06], device='cuda:0')\n",
      "tensor([6.9430e-07], device='cuda:0')\n",
      "tensor([-1.0040e-06], device='cuda:0')\n",
      "tensor([5.5600e-07], device='cuda:0')\n",
      "tensor([-1.0434e-06], device='cuda:0')\n",
      "tensor([6.6496e-07], device='cuda:0')\n",
      "tensor([-9.7021e-07], device='cuda:0')\n",
      "tensor([5.3365e-07], device='cuda:0')\n",
      "tensor([-1.0058e-06], device='cuda:0')\n",
      "tensor([6.4494e-07], device='cuda:0')\n",
      "tensor([-9.3086e-07], device='cuda:0')\n",
      "tensor([5.2759e-07], device='cuda:0')\n",
      "tensor([-9.6869e-07], device='cuda:0')\n",
      "tensor([6.5519e-07], device='cuda:0')\n",
      "tensor([-8.7474e-07], device='cuda:0')\n",
      "tensor([5.4669e-07], device='cuda:0')\n",
      "tensor([-9.0536e-07], device='cuda:0')\n",
      "tensor([6.3749e-07], device='cuda:0')\n",
      "tensor([-8.4157e-07], device='cuda:0')\n",
      "tensor([5.1083e-07], device='cuda:0')\n",
      "tensor([-8.8313e-07], device='cuda:0')\n",
      "tensor([6.2957e-07], device='cuda:0')\n",
      "tensor([-8.0210e-07], device='cuda:0')\n",
      "tensor([5.2433e-07], device='cuda:0')\n",
      "tensor([-8.2317e-07], device='cuda:0')\n",
      "tensor([6.1933e-07], device='cuda:0')\n",
      "tensor([-7.6508e-07], device='cuda:0')\n",
      "tensor([4.7870e-07], device='cuda:0')\n",
      "tensor([-8.0641e-07], device='cuda:0')\n",
      "tensor([5.8487e-07], device='cuda:0')\n",
      "tensor([-7.2981e-07], device='cuda:0')\n",
      "tensor([7.1432e-07], device='cuda:0')\n",
      "tensor([-6.4203e-07], device='cuda:0')\n",
      "tensor([5.8999e-07], device='cuda:0')\n",
      "tensor([-6.8254e-07], device='cuda:0')\n",
      "tensor([6.7241e-07], device='cuda:0')\n",
      "tensor([-6.2922e-07], device='cuda:0')\n",
      "tensor([5.8161e-07], device='cuda:0')\n",
      "tensor([-6.5134e-07], device='cuda:0')\n",
      "tensor([6.8638e-07], device='cuda:0')\n",
      "tensor([-5.7544e-07], device='cuda:0')\n",
      "tensor([4.5635e-07], device='cuda:0')\n",
      "tensor([-6.8953e-07], device='cuda:0')\n",
      "tensor([5.7742e-07], device='cuda:0')\n",
      "tensor([-6.0338e-07], device='cuda:0')\n",
      "tensor([6.7707e-07], device='cuda:0')\n",
      "tensor([-5.3342e-07], device='cuda:0')\n",
      "tensor([4.4052e-07], device='cuda:0')\n",
      "tensor([-6.4319e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([5.4762e-07], device='cuda:0')\n",
      "tensor([-5.7358e-07], device='cuda:0')\n",
      "tensor([1.0235], device='cuda:0', requires_grad=True) tensor([1.9690], device='cuda:0', requires_grad=True)\n"
     ]
    }
   ],
   "source": [
    "lr = 1e-1\n",
    "n_epochs = 1000\n",
    "\n",
    "torch.manual_seed(42)\n",
    "a = torch.randn(1, requires_grad=True, dtype=torch.float, device=device)\n",
    "b = torch.randn(1, requires_grad=True, dtype=torch.float, device=device)\n",
    "\n",
    "for epoch in range(n_epochs):\n",
    "    yhat = a + b * x_train_tensor\n",
    "    error = y_train_tensor - yhat\n",
    "    loss = (error ** 2).mean()\n",
    "\n",
    "    # No more manual computation of gradients! \n",
    "    # a_grad = -2 * error.mean()\n",
    "    # b_grad = -2 * (x_tensor * error).mean()\n",
    "    \n",
    "    # We just tell PyTorch to work its way BACKWARDS from the specified loss!\n",
    "    loss.backward()\n",
    "    # Let's check the computed gradients...\n",
    "    print(a.grad)\n",
    "    print(b.grad)\n",
    "    \n",
    "    # What about UPDATING the parameters? Not so fast...\n",
    "    \n",
    "    # FIRST ATTEMPT\n",
    "    # AttributeError: 'NoneType' object has no attribute 'zero_'\n",
    "    # a = a - lr * a.grad\n",
    "    # b = b - lr * b.grad\n",
    "    # print(a)\n",
    "\n",
    "    # SECOND ATTEMPT\n",
    "    # RuntimeError: a leaf Variable that requires grad has been used in an in-place operation.\n",
    "    # a -= lr * a.grad\n",
    "    # b -= lr * b.grad        \n",
    "    \n",
    "    # THIRD ATTEMPT\n",
    "    # We need to use NO_GRAD to keep the update out of the gradient computation\n",
    "    # Why is that? It boils down to the DYNAMIC GRAPH that PyTorch uses...\n",
    "    with torch.no_grad():\n",
    "        a -= lr * a.grad\n",
    "        b -= lr * b.grad\n",
    "    \n",
    "    # PyTorch is \"clingy\" to its computed gradients, we need to tell it to let it go...\n",
    "    a.grad.zero_()\n",
    "    b.grad.zero_()\n",
    "    \n",
    "print(a, b)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "torch.manual_seed(42)\n",
    "a = torch.randn(1, requires_grad=True, dtype=torch.float, device=device)\n",
    "b = torch.randn(1, requires_grad=True, dtype=torch.float, device=device)\n",
    "\n",
    "yhat = a + b * x_train_tensor\n",
    "error = y_train_tensor - yhat\n",
    "loss = (error ** 2).mean()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/svg+xml": [
       "<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"no\"?>\n",
       "<!DOCTYPE svg PUBLIC \"-//W3C//DTD SVG 1.1//EN\"\n",
       " \"http://www.w3.org/Graphics/SVG/1.1/DTD/svg11.dtd\">\n",
       "<!-- Generated by graphviz version 2.40.1 (20161225.0304)\n",
       " -->\n",
       "<!-- Title: %3 Pages: 1 -->\n",
       "<svg width=\"172pt\" height=\"171pt\"\n",
       " viewBox=\"0.00 0.00 171.50 171.00\" xmlns=\"http://www.w3.org/2000/svg\" xmlns:xlink=\"http://www.w3.org/1999/xlink\">\n",
       "<g id=\"graph0\" class=\"graph\" transform=\"scale(1 1) rotate(0) translate(4 167)\">\n",
       "<title>%3</title>\n",
       "<polygon fill=\"#ffffff\" stroke=\"transparent\" points=\"-4,4 -4,-167 167.5,-167 167.5,4 -4,4\"/>\n",
       "<!-- 140116959480072 -->\n",
       "<g id=\"node1\" class=\"node\">\n",
       "<title>140116959480072</title>\n",
       "<polygon fill=\"#caff70\" stroke=\"#000000\" points=\"118,-21 26,-21 26,0 118,0 118,-21\"/>\n",
       "<text text-anchor=\"middle\" x=\"72\" y=\"-7.4\" font-family=\"Times,serif\" font-size=\"12.00\" fill=\"#000000\">AddBackward0</text>\n",
       "</g>\n",
       "<!-- 140116959479288 -->\n",
       "<g id=\"node2\" class=\"node\">\n",
       "<title>140116959479288</title>\n",
       "<polygon fill=\"#add8e6\" stroke=\"#000000\" points=\"54,-92 0,-92 0,-57 54,-57 54,-92\"/>\n",
       "<text text-anchor=\"middle\" x=\"27\" y=\"-64.4\" font-family=\"Times,serif\" font-size=\"12.00\" fill=\"#000000\"> (1)</text>\n",
       "</g>\n",
       "<!-- 140116959479288&#45;&gt;140116959480072 -->\n",
       "<g id=\"edge1\" class=\"edge\">\n",
       "<title>140116959479288&#45;&gt;140116959480072</title>\n",
       "<path fill=\"none\" stroke=\"#000000\" d=\"M39.535,-56.6724C45.4798,-48.2176 52.5878,-38.1085 58.6352,-29.5078\"/>\n",
       "<polygon fill=\"#000000\" stroke=\"#000000\" points=\"61.5714,-31.4169 64.4601,-21.2234 55.8452,-27.3906 61.5714,-31.4169\"/>\n",
       "</g>\n",
       "<!-- 140116959479680 -->\n",
       "<g id=\"node3\" class=\"node\">\n",
       "<title>140116959479680</title>\n",
       "<polygon fill=\"#d3d3d3\" stroke=\"#000000\" points=\"163.5,-85 72.5,-85 72.5,-64 163.5,-64 163.5,-85\"/>\n",
       "<text text-anchor=\"middle\" x=\"118\" y=\"-71.4\" font-family=\"Times,serif\" font-size=\"12.00\" fill=\"#000000\">MulBackward0</text>\n",
       "</g>\n",
       "<!-- 140116959479680&#45;&gt;140116959480072 -->\n",
       "<g id=\"edge2\" class=\"edge\">\n",
       "<title>140116959479680&#45;&gt;140116959480072</title>\n",
       "<path fill=\"none\" stroke=\"#000000\" d=\"M110.404,-63.9317C103.7191,-54.6309 93.821,-40.8597 85.7479,-29.6276\"/>\n",
       "<polygon fill=\"#000000\" stroke=\"#000000\" points=\"88.4395,-27.3753 79.761,-21.2979 82.7553,-31.4608 88.4395,-27.3753\"/>\n",
       "</g>\n",
       "<!-- 140116959481528 -->\n",
       "<g id=\"node4\" class=\"node\">\n",
       "<title>140116959481528</title>\n",
       "<polygon fill=\"#add8e6\" stroke=\"#000000\" points=\"145,-163 91,-163 91,-128 145,-128 145,-163\"/>\n",
       "<text text-anchor=\"middle\" x=\"118\" y=\"-135.4\" font-family=\"Times,serif\" font-size=\"12.00\" fill=\"#000000\"> (1)</text>\n",
       "</g>\n",
       "<!-- 140116959481528&#45;&gt;140116959479680 -->\n",
       "<g id=\"edge3\" class=\"edge\">\n",
       "<title>140116959481528&#45;&gt;140116959479680</title>\n",
       "<path fill=\"none\" stroke=\"#000000\" d=\"M118,-127.9494C118,-118.058 118,-105.6435 118,-95.2693\"/>\n",
       "<polygon fill=\"#000000\" stroke=\"#000000\" points=\"121.5001,-95.0288 118,-85.0288 114.5001,-95.0289 121.5001,-95.0288\"/>\n",
       "</g>\n",
       "</g>\n",
       "</svg>\n"
      ],
      "text/plain": [
       "<graphviz.dot.Digraph at 0x7f6fd83767b8>"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "make_dot(yhat)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "tensor([0.1940], device='cuda:0', requires_grad=True) tensor([0.1391], device='cuda:0', requires_grad=True)\n",
      "tensor([1.0235], device='cuda:0', requires_grad=True) tensor([1.9690], device='cuda:0', requires_grad=True)\n"
     ]
    }
   ],
   "source": [
    "torch.manual_seed(42)\n",
    "a = torch.randn(1, requires_grad=True, dtype=torch.float, device=device)\n",
    "b = torch.randn(1, requires_grad=True, dtype=torch.float, device=device)\n",
    "print(a, b)\n",
    "\n",
    "lr = 1e-1\n",
    "n_epochs = 1000\n",
    "\n",
    "# Defines a SGD optimizer to update the parameters\n",
    "optimizer = optim.SGD([a, b], lr=lr)\n",
    "\n",
    "for epoch in range(n_epochs):\n",
    "    yhat = a + b * x_train_tensor\n",
    "    error = y_train_tensor - yhat\n",
    "    loss = (error ** 2).mean()\n",
    "\n",
    "    loss.backward()    \n",
    "    \n",
    "    # No more manual update!\n",
    "    # with torch.no_grad():\n",
    "    #     a -= lr * a.grad\n",
    "    #     b -= lr * b.grad\n",
    "    optimizer.step()\n",
    "    \n",
    "    # No more telling PyTorch to let gradients go!\n",
    "    # a.grad.zero_()\n",
    "    # b.grad.zero_()\n",
    "    optimizer.zero_grad()\n",
    "    \n",
    "print(a, b)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "tensor([0.1940], device='cuda:0', requires_grad=True) tensor([0.1391], device='cuda:0', requires_grad=True)\n",
      "tensor([1.0235], device='cuda:0', requires_grad=True) tensor([1.9690], device='cuda:0', requires_grad=True)\n"
     ]
    }
   ],
   "source": [
    "torch.manual_seed(42)\n",
    "a = torch.randn(1, requires_grad=True, dtype=torch.float, device=device)\n",
    "b = torch.randn(1, requires_grad=True, dtype=torch.float, device=device)\n",
    "print(a, b)\n",
    "\n",
    "lr = 1e-1\n",
    "n_epochs = 1000\n",
    "\n",
    "# Defines a MSE loss function\n",
    "loss_fn = nn.MSELoss(reduction='mean')\n",
    "\n",
    "optimizer = optim.SGD([a, b], lr=lr)\n",
    "\n",
    "for epoch in range(n_epochs):\n",
    "    yhat = a + b * x_train_tensor\n",
    "    \n",
    "    # No more manual loss!\n",
    "    # error = y_tensor - yhat\n",
    "    # loss = (error ** 2).mean()\n",
    "    loss = loss_fn(y_train_tensor, yhat)\n",
    "\n",
    "    loss.backward()    \n",
    "    optimizer.step()\n",
    "    optimizer.zero_grad()\n",
    "    \n",
    "print(a, b)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [],
   "source": [
    "class ManualLinearRegression(nn.Module):\n",
    "    def __init__(self):\n",
    "        super().__init__()\n",
    "        # To make \"a\" and \"b\" real parameters of the model, we need to wrap them with nn.Parameter\n",
    "        self.a = nn.Parameter(torch.randn(1, requires_grad=True, dtype=torch.float))\n",
    "        self.b = nn.Parameter(torch.randn(1, requires_grad=True, dtype=torch.float))\n",
    "        \n",
    "    def forward(self, x):\n",
    "        # Computes the outputs / predictions\n",
    "        return 1#self.a + self.b * x"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "OrderedDict([('a', tensor([0.3367], device='cuda:0')), ('b', tensor([0.1288], device='cuda:0'))])\n"
     ]
    }
   ],
   "source": [
    "torch.manual_seed(42)\n",
    "\n",
    "# Now we can create a model and send it at once to the device\n",
    "model = ManualLinearRegression().to(device)\n",
    "# We can also inspect its parameters using its state_dict\n",
    "print(model.state_dict())\n",
    "\n",
    "#lr = 1e-1\n",
    "#n_epochs = 1000\n",
    "#\n",
    "#loss_fn = nn.MSELoss(reduction='mean')\n",
    "#optimizer = optim.SGD(model.parameters(), lr=lr)\n",
    "#\n",
    "#for epoch in range(n_epochs):\n",
    "#    # What is this?!?\n",
    "#    model.train()\n",
    "#\n",
    "#    # No more manual prediction!\n",
    "#    # yhat = a + b * x_tensor\n",
    "#    yhat = model(x_train_tensor)\n",
    "#    \n",
    "#    loss = loss_fn(y_train_tensor, yhat)\n",
    "#    loss.backward()    \n",
    "#    optimizer.step()\n",
    "#    optimizer.zero_grad()\n",
    "#    \n",
    "#print(model.state_dict())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "OrderedDict([('a', tensor([1.0235], device='cuda:0')), ('b', tensor([1.9690], device='cuda:0'))])\n"
     ]
    }
   ],
   "source": [
    "def make_train_step(model, loss_fn, optimizer):\n",
    "    # Builds function that performs a step in the train loop\n",
    "    def train_step(x, y):\n",
    "        # Sets model to TRAIN mode\n",
    "        model.train()\n",
    "        # Makes predictions\n",
    "        yhat = model(x)\n",
    "        # Computes loss\n",
    "        loss = loss_fn(y, yhat)\n",
    "        # Computes gradients\n",
    "        loss.backward()\n",
    "        # Updates parameters and zeroes gradients\n",
    "        optimizer.step()\n",
    "        optimizer.zero_grad()\n",
    "        # Returns the loss\n",
    "        return loss.item()\n",
    "    \n",
    "    # Returns the function that will be called inside the train loop\n",
    "    return train_step\n",
    "\n",
    "# Creates the train_step function for our model, loss function and optimizer\n",
    "train_step = make_train_step(model, loss_fn, optimizer)\n",
    "losses = []\n",
    "\n",
    "# For each epoch...\n",
    "for epoch in range(n_epochs):\n",
    "    # Performs one train step and returns the corresponding loss\n",
    "    loss = train_step(x_train_tensor, y_train_tensor)\n",
    "    losses.append(loss)\n",
    "    \n",
    "# Checks model's parameters\n",
    "print(model.state_dict())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}