seminars/sem6/main.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "F7NgOJufKtNg"
      },
      "source": [
        "# Дисперсионный анализ"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "40sz4SPXKtNl"
      },
      "source": [
        "## Библиотеки"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "cbHFncPpKtNm"
      },
      "outputs": [],
      "source": [
        "import numpy as np\n",
        "import pandas as pd\n",
        "import matplotlib.pylab as plt\n",
        "\n",
        "import scipy.stats as st\n",
        "import seaborn as sns\n",
        "\n",
        "import statsmodels.api as sm\n",
        "\n",
        "from statsmodels.formula.api import ols\n",
        "\n",
        "from statsmodels.stats.multicomp import pairwise_tukeyhsd\n",
        "from statsmodels.stats.multicomp import MultiComparison\n",
        "\n",
        "from statsmodels.stats.weightstats  import ttest_ind"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "x9rFH7-rKtNo"
      },
      "source": [
        "## Лечение гипертонии\n",
        "**Maxwell S.E., Delaney H.D. Designing Experiments and Analyzing Data: A Model Comparison Perspective. (1990). Глава 8, стр. 325.**"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "2Y-Z2i_yKtNp"
      },
      "source": [
        "72 пациента проходили лечение от гипертонии. Для лечения использовались три вида лекарств, при этом их эффект изучался как при использовании специальной диеты, так и в её отсутствии; кроме того, в половине случаев применялась психотерапия. Данные — артериальное давление пациента по окончании лечения.\n",
        "\n",
        "Требуется сравнить эффективность методов лечения гипертонии."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "4Pq-y4_ZKtNq"
      },
      "source": [
        "### Чтение данных"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "1CRRFfLRKtNq"
      },
      "outputs": [],
      "source": [
        "data = pd.read_csv('https://raw.githubusercontent.com/Intelligent-Systems-Phystech/psad/master/seminars/sem6/data/hyper.txt', delimiter='\\t')\n",
        "data.head()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "Bt7fWoG3KtNr"
      },
      "outputs": [],
      "source": [
        "data.sample(10, random_state=42)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "19Ms6wGJKtNr"
      },
      "outputs": [],
      "source": [
        "data.describe(include='all')"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "dx8AqagZKtNs"
      },
      "source": [
        "### Трехфакторный дисперсионный анализ для пациентов"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "3AFDJbaxKtNs"
      },
      "outputs": [],
      "source": [
        "lm = ols('pressure ~ C(biofeedback) * C(diet) * C(drug)', data=data).fit()\n",
        "table = sm.stats.anova_lm(lm, typ=1)\n",
        "table"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "dwL49cOwKtNt"
      },
      "outputs": [],
      "source": [
        "table[table['PR(>F)'] < 0.05]"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "L9kPPQMjKtNt"
      },
      "source": [
        "#### Построим графики взаимодействий"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "hyStWobcKtNu"
      },
      "source": [
        "$$X_{ijk} = \\mu + \\alpha_i + \\beta_j + \\gamma_{ij} + \\varepsilon_{ijk},$$\n",
        "$$i = 1, ..., K_1,\\ j = 1, ..., K_2,\\ k = 1, ..., n.$$\n",
        "\n",
        "- $\\mu$ -- общее среднее значение признака,\n",
        "- $\\alpha_i$ -- воздействие уровня $i$ фактора $f_1$,\n",
        "- $\\beta_j$ -- воздействие уровня $j$ фактора $f_2$,\n",
        "- $\\gamma_{ij}$ -- дополнительное воздействие комбинации уровней $i$ и $j$ факторов $f_1$ и $f_2$,\n",
        "- $\\varepsilon_{ijk}$ -- случайные независимые одинаково распределенные ошибки"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "v7GnrZ3AKtNv"
      },
      "outputs": [],
      "source": [
        "plt.title('Diet: absent')\n",
        "_ = sns.pointplot(x=\"biofeedback\", y=\"pressure\", data=data.loc[data['diet']=='absent'], hue='drug')\n",
        "plt.show()\n",
        "\n",
        "plt.title('Diet: present')\n",
        "_ = sns.pointplot(x=\"biofeedback\", y=\"pressure\", data=data.loc[data['diet']=='present'], hue='drug')\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "xL9zFr2BKtNv"
      },
      "outputs": [],
      "source": [
        "plt.title('biofeedback: absent')\n",
        "_ = sns.pointplot(x=\"diet\", y=\"pressure\", data=data.loc[data['biofeedback']=='absent'], hue='drug')\n",
        "plt.show()\n",
        "\n",
        "plt.title('biofeedback: present')\n",
        "_ = sns.pointplot(x=\"diet\", y=\"pressure\", data=data.loc[data['biofeedback']=='present'], hue='drug')\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "omC9mnYDKtNw"
      },
      "source": [
        "Тройное взаимодействие значимо, поэтому разделим выборку по одному из признаков."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "-gUWfNYfKtNw"
      },
      "source": [
        "### Двухфакторный дисперсионный анализ для пациентов, проходящих психотерапию"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "z1dePi8WKtNx"
      },
      "outputs": [],
      "source": [
        "lm = ols('pressure ~ C(diet) * C(drug)', data=data.loc[data['biofeedback']=='present']).fit()\n",
        "table = sm.stats.anova_lm(lm)\n",
        "table"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6UX8w-WIKtNx"
      },
      "source": [
        "Есть значимое межфакторное взаимодействие."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "eFl08T-xKtNx"
      },
      "source": [
        "#### Графики"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "gdkriyQOKtNy"
      },
      "outputs": [],
      "source": [
        "_ = sns.pointplot(x=\"diet\", y=\"pressure\", data=data.loc[data['biofeedback']=='present'], hue='drug')\n",
        "plt.show()\n",
        "_ = sns.pointplot(x=\"drug\", y=\"pressure\", data=data.loc[data['biofeedback']=='present'], hue='diet')\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_yihjMjxKtNy"
      },
      "source": [
        "Поэтому снова поделим выборку."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "e5nGQBOxKtNy"
      },
      "source": [
        "### Однофакторный анализ для пациентов, проходящих психотерапию и сидящих на диете:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "UlEohhd_KtNz"
      },
      "outputs": [],
      "source": [
        "_ = sns.boxplot(x='drug', y='pressure', data=data[(data['biofeedback']=='present') & (data['diet']=='present')])\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "xfIY3sgjKtNz"
      },
      "outputs": [],
      "source": [
        "lm =  ols('pressure ~ C(drug)',data=data.loc[(data['biofeedback']=='present') & (data['diet']=='present')]).fit()\n",
        "table = sm.stats.anova_lm(lm)\n",
        "table"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "G1bWfBOZKtN0"
      },
      "source": [
        "Ожидаемый p-value: ```~0.850126```"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "wQn7mQdpKtN0"
      },
      "source": [
        "### Однофакторный анализ для пациентов, проходящих психотерапию и не сидящих на диете:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "ezJKq7rpKtN0"
      },
      "outputs": [],
      "source": [
        "_ = sns.boxplot(x='drug', y='pressure', data=data[(data['biofeedback']=='present') & (data['diet']=='absent')])"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "j8Sf3EAnKtN1"
      },
      "outputs": [],
      "source": [
        "lm =  ols('pressure ~ C(drug)',data=data.loc[(data['biofeedback']=='present') & (data['diet']=='absent')]).fit()\n",
        "table = sm.stats.anova_lm(lm)\n",
        "table"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "CN7rQwkxKtN2"
      },
      "source": [
        "Ожидаемый p-value: ```~0.000269```"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "wtIybVbBKtN3"
      },
      "source": [
        "#### Исследуем различия в воздействии между группами"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "j3W0vbkxKtN4"
      },
      "outputs": [],
      "source": [
        "mc = MultiComparison(data.loc[(data['biofeedback']=='present') & (data['diet']=='absent')]['pressure'],\n",
        "                     data.loc[(data['biofeedback']=='present') & (data['diet']=='absent')]['drug'])\n",
        "result = mc.tukeyhsd()\n",
        "\n",
        "print(result)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Jibh1fBDKtN5"
      },
      "source": [
        "Препарат 1 значимо эффективнее двух других."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "fQQHV1CUKtN7"
      },
      "source": [
        "### Двухфакторный дисперсионный анализ для пациентов, не проходящих психотерапию:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "-MBj5C6xKtN8"
      },
      "outputs": [],
      "source": [
        "lm = ols('pressure ~ C(diet) * C(drug)',data=data[data['biofeedback']=='absent']).fit()\n",
        "table = sm.stats.anova_lm(lm, typ=1)\n",
        "table"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "vBDHe-jkKtN8"
      },
      "source": [
        "Межфакторное взаимодействие незначимо:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "fwvgx-pwKtN9"
      },
      "outputs": [],
      "source": [
        "_ = sns.pointplot(x=\"diet\", y=\"pressure\", data=data[data['biofeedback']=='absent'], hue='drug')\n",
        "plt.show()\n",
        "\n",
        "_ = sns.pointplot(x=\"drug\", y=\"pressure\", data=data[data['biofeedback']=='absent'], hue='diet')\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "pHGUtssLKtN9"
      },
      "source": [
        "#### Исследуем попарные различия в воздействии каждого из лекарств в зависимости от диеты"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "h7F_WYBvKtN-"
      },
      "outputs": [],
      "source": [
        "subset = data[data.diet == 'absent']\n",
        "mc = MultiComparison(subset['pressure'], subset['drug'])\n",
        "result = mc.tukeyhsd()\n",
        "print(result)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "VIwXONGcKtN_"
      },
      "outputs": [],
      "source": [
        "subset = data[data.diet == 'present']\n",
        "mc = MultiComparison(subset['pressure'], subset['drug'])\n",
        "result = mc.tukeyhsd()\n",
        "print(result)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "0iCxILYQKtN_"
      },
      "source": [
        "### Итого:\n",
        "\n",
        "* если пациент не проходит психотерапию, соблюдение диеты приводит к значимому уменьшению давления при приёме любого из трёх препаратов;\n",
        "* эффективность всех трёх препаратов неразличима для пациентов, сидящих на диете и проходящих психотерапию;\n",
        "* для пациентов, проходящих психотерапию и не сидящих на диете, препарат 1 эффективнее в среднем примерно на 20 мм. рт. ст.\n",
        "* Чтобы сделать другие возможные выводы (например, оценить эффекты психотерапии и эффект диеты для тех, кто проходит психотерапию), нужно разбить трёхфакторный анализ по двум другим признакам.\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "dTOqxbnQKtOA"
      },
      "source": [
        "## Рост певцов хора\n",
        "**Cleveland W. S. (1993) Visualizing Data. Summit, New Jersey: Hobart Press.**"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "yqOUQjQ9KtOB"
      },
      "source": [
        "В 1979 году было опрошено 235 членов нью-йоркской ассоциации хорового пения, для каждого из них известен рост и регистр голоса. Меняется ли средний рост вместе с регистром?\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "E60YOI3DKtOB"
      },
      "outputs": [],
      "source": [
        "data =  sm.datasets.get_rdataset('singer', 'lattice').data\n",
        "data.head()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "aZPEkklKKtOB"
      },
      "source": [
        "Переименуем 2 колонку и переведем рост в сантиметры"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "0YPv6iTiKtOB"
      },
      "outputs": [],
      "source": [
        "data.columns = ['height', 'voice']\n",
        "data['height'] *= 2.54"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "wdCnIp2cKtOC"
      },
      "outputs": [],
      "source": [
        "data.describe()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "OL55ZT15KtOC"
      },
      "outputs": [],
      "source": [
        "_ = sns.boxplot(x='height', y='voice', data=data)\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "xu7PeAqdKtOC"
      },
      "source": [
        "### Однофакторный дисперсионный анализ:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "b_aobfzSKtOC"
      },
      "outputs": [],
      "source": [
        "lm = ols('height ~ C(voice)', data=data).fit()\n",
        "table = sm.stats.anova_lm(lm)\n",
        "table"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_kalDLuZKtOD"
      },
      "source": [
        "Ожидаемое p-value ~ `5.6e-40`"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "Jqd8oelqKtOD"
      },
      "outputs": [],
      "source": [
        "data.groupby('voice').mean()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Vckxlq0uKtOD"
      },
      "source": [
        "### Критерий Краскела-Уоллиса о равенстве средних:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "B3IWoJvkKtOD"
      },
      "outputs": [],
      "source": [
        "st.kruskal(*data.groupby('voice').groups.values())"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "vIhUaQOCKtOE"
      },
      "source": [
        "### Критерий Бартлетта о равенстве дисперсий:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "1gsS3tRDKtOE"
      },
      "outputs": [],
      "source": [
        "st.bartlett(*data.groupby('voice').groups.values())"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ERSH4_VZKtOE"
      },
      "source": [
        "### HSD Тьюки:"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "0Fjuo0CyKtOE"
      },
      "source": [
        "#### Существенность различий между группами"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "W46koPz8KtOE"
      },
      "outputs": [],
      "source": [
        "mc = MultiComparison(data['height'], data['voice'])\n",
        "result = mc.tukeyhsd()\n",
        " \n",
        "print(result)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6QfezIY0KtOF"
      },
      "source": [
        "### Итог:\n",
        "\n",
        "- в целом, тип голоса существенно влияет на рост\n",
        "- различия в этом влиянии присутствуют лишь между некоторыми парами голосов"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "r8NqUTDHKtOF"
      },
      "source": [
        "## Влияние витамина C на рост зубов морских свинок\n",
        "**Crampton E. W. (1947) The growth of the odontoblast of the incisor teeth as a criterion of vitamin C intake of the guinea pig. The Journal of Nutrition 33(5): 491–504.**"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "5Yfx2_jgKtOF"
      },
      "source": [
        "В эксперименте изучалось влияние витамина C на рост [одонтобластов](https://en.wikipedia.org/wiki/Odontoblast) морских свинок.\n",
        "\n",
        "Рассматривалось три дозы витамина (0.5, 1 и 2 мг) и два способа его приёма (апельсиновый сок и в чистом виде (== аскорбиновая кислота)). В каждой из 6 групп по уровням двух факторов были произведены измерения для 10 морских свинок."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "XXR-Fy9OKtOG"
      },
      "outputs": [],
      "source": [
        "data = pd.read_csv('https://raw.githubusercontent.com/Intelligent-Systems-Phystech/psad/master/seminars/sem6/data/ToothGrowth.csv', index_col=0)\n",
        "data.head()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "IPmAG7WXKtOG"
      },
      "outputs": [],
      "source": [
        "data.supp.unique()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "SZ34CjD3KtOG"
      },
      "outputs": [],
      "source": [
        "_ = sns.boxplot(x='dose', y='len', data=data)\n",
        "plt.show()\n",
        "\n",
        "_ = sns.boxplot(x='supp', y='len', data=data)\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "9tAdsBYOKtOH"
      },
      "source": [
        "### Двухфакторный дисперсионный анализ"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "tR5npOclKtOH"
      },
      "source": [
        "#### Без учета межфакторного взаимодействия:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "2sWXTbrnKtOI"
      },
      "outputs": [],
      "source": [
        "lm = ols('len ~ C(supp) + C(dose)',data=data).fit()\n",
        "table = sm.stats.anova_lm(lm)\n",
        "table"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "mEr1pMqXKtOI"
      },
      "source": [
        "#### С учетом межфакторного взаимодействия:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "-9hc-B4SKtOI"
      },
      "outputs": [],
      "source": [
        "lm = ols('len ~ C(supp) * C(dose)', data=data).fit()\n",
        "table = sm.stats.anova_lm(lm, typ=1)\n",
        "table"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "i8ocXzNfKtOJ"
      },
      "source": [
        "### Межфакторное взаимодействие:"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "cwL_a2_BKtOJ"
      },
      "source": [
        "$$X_{ijk} = \\mu + \\alpha_i + \\beta_j + \\gamma_{ij} + \\varepsilon_{ijk},$$\n",
        "$$i = 1, ..., K_1,\\ j = 1, ..., K_2,\\ k = 1, ..., n.$$\n",
        "\n",
        "- $\\mu$ -- общее среднее значение признака,\n",
        "- $\\alpha_i$ -- воздействие уровня $i$ фактора $f_1$,\n",
        "- $\\beta_j$ -- воздействие уровня $j$ фактора $f_2$,\n",
        "- $\\gamma_{ij}$ -- дополнительное воздействие комбинации уровней $i$ и $j$ факторов $f_1$ и $f_2$,\n",
        "- $\\varepsilon_{ijk}$ -- случайные независимые одинаково распределенные ошибки"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "G7DcDLJrKtOJ"
      },
      "source": [
        "`sns.pointplot`: \n",
        "- точки -- средние значения исследуемого параметра по каждой из групп (значению категориальной переменной)\n",
        "- 95%-й доверительный интервал"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "JhUdX46YKtOK"
      },
      "outputs": [],
      "source": [
        "_ = sns.pointplot(x=\"dose\", y=\"len\", data=data, hue='supp')\n",
        "plt.show()\n",
        "\n",
        "_ = sns.pointplot(x=\"supp\", y=\"len\", data=data, hue='dose')\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "mLawzrTCKtOK"
      },
      "source": [
        "Взаимодействие между факторами можно наблюдать, когда результат от воздействия одного фактора на зависимую переменную не одинаков при разных значениях другого фактора."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "MjnUHAzoKtOK"
      },
      "source": [
        "### Взаимодействие значимо, поэтому разделим выборку по способу приёма витамина."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "cImzpkesKtOL"
      },
      "outputs": [],
      "source": [
        "OJ = data[data['supp']=='OJ']\n",
        "VC = data[data['supp']=='VC']\n",
        "VC.shape, OJ.shape"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "rj2hvP1CKtOL"
      },
      "source": [
        "#### Для морских свинок, принимающих аскорбиновую кислоту:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "iUUKL1VzKtOM"
      },
      "outputs": [],
      "source": [
        "_ = sns.boxplot(x='dose', y='len', data=VC)\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "sWVnwTRFKtOM"
      },
      "outputs": [],
      "source": [
        "lm = ols('len ~ C(dose)',data=VC).fit()\n",
        "table = sm.stats.anova_lm(lm)\n",
        "table"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "v_CnYLFfKtOM"
      },
      "source": [
        "Для морских свинок, принимающих аскорбиновую кислоту влияние разных уровней фактора дозы неодинаково"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "EeOG29NZKtON"
      },
      "source": [
        "##### Критерий Краскела-Уоллиса о равенстве средних всех групп"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "mT1CAcv9KtON"
      },
      "outputs": [],
      "source": [
        "st.kruskal(*VC.groupby('dose').groups.values())"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "3FZSTtPGKtON"
      },
      "source": [
        "##### Исследуем попарные различия в воздействии на целевой признак между всеми уровнями фактора дозы"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "Vm4IORc3KtON"
      },
      "outputs": [],
      "source": [
        "mc = MultiComparison(VC['len'], VC['dose'])\n",
        "result = mc.tukeyhsd()\n",
        " \n",
        "print(result)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "zCzmyH8dKtON"
      },
      "source": [
        "Значимые различия во влиянии на целевую переменную есть между каждой парой групп"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "lhPiscWEKtOO"
      },
      "source": [
        "#### Для морских свинок, принимающих апельсиновый сок:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "vA4md7JHKtOO"
      },
      "outputs": [],
      "source": [
        "_ = sns.boxplot(x='dose', y='len', data=OJ)\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "kzQ9pqYVKtOP"
      },
      "outputs": [],
      "source": [
        "lm = ols('len ~ C(dose)',data=OJ).fit()\n",
        "table = sm.stats.anova_lm(lm)\n",
        "table"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "LCOOLvqOKtOP"
      },
      "source": [
        "Отвергаем гипотезу о том, что каждый уровень фактора дозы вносит одинаковый вклад в целевую переменную"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "o9Cy2JZEKtOP"
      },
      "source": [
        "##### Исследуем попарные различия в воздействии на целевой признак между всеми уровнями фактора дозы"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "kQ6ctRJxKtOQ"
      },
      "outputs": [],
      "source": [
        "mc = MultiComparison(OJ['len'], OJ['dose'])\n",
        "result = mc.tukeyhsd()\n",
        " \n",
        "print(result)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "tAVP2nB6KtOQ"
      },
      "source": [
        "Значимые отличия в воздействии на целевой признак отсутствуют только между 1 и 2"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "3CHhyVcUKtOQ"
      },
      "outputs": [],
      "source": [
        "_ = sns.pointplot(x=\"dose\", y=\"len\", data=OJ)\n",
        "plt.title('Pointplot for orange juice')\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "UfQk6EwTKtOR"
      },
      "source": [
        "### Итого\n",
        "\n",
        "- для морских свинок, принимающих аскорбиновую кислоту, различия между размером дозы значимы всегда\n",
        "- для морских свинок, принимающих апельсиновый сок, различия между размером дозы в 1 и 2 мг не значимо"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_X2epvDpKtOR"
      },
      "source": [
        "## Марихуана и скорость реакции\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PE0vi6IXKtOR"
      },
      "source": [
        "Изучалось воздействие марихуаны на скорость реакции. \n",
        "В качестве испытуемых\n",
        "были выбраны по 12 человек из каждой категории:\n",
        "* никогда не пробовали марихуану;\n",
        "* иногда употребляют марихуану;\n",
        "* регулярно употребляют марихуану.\n",
        "\n",
        "Испытуемые были разделены на две равные группы; половине из них дали\n",
        "выкурить две сигареты с марихуаной, вторая половина выкурила две обычные\n",
        "сигареты с запахом и вкусом марихуаны. Сразу после этого все испытуемые прошли\n",
        "тест на скорость реакции.\n",
        "Требуется оценить влияние марихуаны на скорость реакции, учитывая фактор\n",
        "предыдущего опыта употребления."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "NdafU83aKtOS"
      },
      "outputs": [],
      "source": [
        "data = pd.read_csv('https://raw.githubusercontent.com/Intelligent-Systems-Phystech/psad/master/seminars/sem6/data/weed.txt', delimiter='\\t')\n",
        "data.head()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "lCNC2hrLKtOU"
      },
      "outputs": [],
      "source": [
        "data.describe()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "ZcEyJC_PKtOU"
      },
      "outputs": [],
      "source": [
        "placebo = data[data['Placebo/Marijuana']==1]\n",
        "placebo.head()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "pO2UbvirKtOV"
      },
      "outputs": [],
      "source": [
        "weed = data[data['Placebo/Marijuana']==2]\n",
        "weed.head()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "uZgM56rhKtOV"
      },
      "source": [
        "Переведем выборку в более адекватное представление: один объект == один человек"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "AAU1PmDyKtOV"
      },
      "outputs": [],
      "source": [
        "new_data = []\n",
        "for i in data.values:\n",
        "    new_data.append({'placebo': i[0]==1, 'time': i[1], 'type':'none'})\n",
        "    new_data.append({'placebo': i[0]==1, 'time': i[2], 'type':'light'})\n",
        "    new_data.append({'placebo': i[0]==1, 'time': i[3], 'type':'moderate'})\n",
        "new_data = pd.DataFrame(new_data)\n",
        "new_data.head()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "--E4_NjJKtOV"
      },
      "outputs": [],
      "source": [
        "len(new_data)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "FwKtp2ReKtOV"
      },
      "source": [
        "### Посмотрим распределение времени реакции"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "1Ng1WRZVKtOW"
      },
      "outputs": [],
      "source": [
        "sns.boxplot(data=new_data[new_data['placebo']==True], x='time', y='type' )\n",
        "_ = plt.title('Placebo')\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "epWhCfKRKtOW"
      },
      "outputs": [],
      "source": [
        "sns.boxplot(data=new_data[new_data['placebo']==False], x='time', y='type' )\n",
        "_ = plt.title('Weed')\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_r4mH9nVKtOW"
      },
      "source": [
        "### Дисперсионный анализ"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "76SOhZORKtOX"
      },
      "source": [
        "#### Двухфакторный анализ (плацебо + тип курильщика)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "nt6B4HQoKtOX"
      },
      "outputs": [],
      "source": [
        "lm = ols('time ~ C(type) + C(placebo) + C(placebo):C(type)',  data=new_data).fit()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "P8c0pAXaKtOX"
      },
      "source": [
        "##### Что произошло?\n",
        "\n",
        "$$X_{ijk} = \\mu + \\alpha_i + \\beta_j + \\gamma_{ij} + \\varepsilon_{ijk},$$\n",
        "$$i = 1, ..., K_1,\\ j = 1, ..., K_2,\\ k = 1, ..., n.$$\n",
        "\n",
        "- $\\mu$ -- общее среднее значение признака,\n",
        "- $\\alpha_i$ -- воздействие уровня $i$ фактора $f_1$,\n",
        "- $\\beta_j$ -- воздействие уровня $j$ фактора $f_2$,\n",
        "- $\\gamma_{ij}$ -- дополнительное воздействие комбинации уровней $i$ и $j$ факторов $f_1$ и $f_2$,\n",
        "- $\\varepsilon_{ijk}$ -- случайные независимые одинаково распределенные ошибки\n",
        "\n",
        "- ```ols``` -- метод наименьших квадратов для задачи регрессии\n",
        "- Внутри используется формула из ```patsy``` ([описание синтаксиса формул patsy](https://patsy.readthedocs.io/en/latest/formulas.html#formulas))\n",
        "\n",
        "Краткий экскурс в формулы ```patsy```.\n",
        "\n",
        "- Формула разделяется на:\n",
        "    - левую часть: ```time``` -- целевой признак\n",
        "    - правую часть: ```C(type) + C(placebo) + C(placebo):C(type)``` -- выражение, состоящее из факторов, чьё воздействие на целевой признак мы исследуем, и некоторых операций\n",
        "- `~` -- разделение левой и правой части\n",
        "- `+` -- берем во внимание только сами признаки, не учитывая их внутренние взаимодействия ($A \\cup B \\backslash A \\cap B$)\n",
        "- `:` -- берем во внимание только внутренние взаимодействия между признаками ($A \\cap B$)\n",
        "- `*` -- берем во внимание как сами признаки, так и их внутренние взаимодействия ($A \\cup B$)\n",
        "- `С(...)` -- категориальный признак"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "G8tZtfQ1KtOY"
      },
      "source": [
        "Можно посмотреть различную информацию о полученной модели"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "vEpBzbmkKtOY"
      },
      "outputs": [],
      "source": [
        "lm.summary()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "bhCWr8wYKtOZ"
      },
      "outputs": [],
      "source": [
        "sm.stats.anova_lm(lm)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "oGr9IQCnKtOZ"
      },
      "outputs": [],
      "source": [
        "lm = ols('time ~ C(placebo)', data=new_data).fit()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "mEv2mBWLKtOZ"
      },
      "outputs": [],
      "source": [
        "sm.stats.anova_lm(lm)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "DHEmMFtVKtOZ"
      },
      "source": [
        "#### Критерий Стьюдента о равенстве матожиданий"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "nd2NgiGUKtOZ"
      },
      "source": [
        "В предположении о равенстве дисперсий"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "KxoQXs4dKtOa"
      },
      "outputs": [],
      "source": [
        "ttest_ind(new_data[new_data['placebo']==True]['time'], new_data[new_data['placebo']==False]['time'], usevar='pooled')"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6OJ2hQc-KtOa"
      },
      "source": [
        "Без предположения"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "ZDITRYd7KtOa"
      },
      "outputs": [],
      "source": [
        "ttest_ind(new_data[new_data['placebo']==True]['time'], new_data[new_data['placebo']==False]['time'], usevar='unequal')"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Utyn-R6nKtOa"
      },
      "source": [
        "Левосторонняя альтернатива"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "gdEnaWzeKtOa"
      },
      "outputs": [],
      "source": [
        "ttest_ind(new_data[new_data['placebo']==True]['time'], new_data[new_data['placebo']==False]['time'], alternative='smaller', usevar='pooled')"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "TAX0ZVO-KtOb"
      },
      "source": [
        "### Итог:\n",
        "\n",
        "- факт того, принимал ли человек раньше марихуану, не влияет на его скорость реакции\n",
        "- при выкуривании марихуаны реакция человека значительно зампедляется"
      ]
    }
  ],
  "metadata": {
    "kernelspec": {
      "display_name": "Python 3",
      "language": "python",
      "name": "python3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.7.3"
    },
    "colab": {
      "name": "main.ipynb",
      "provenance": []
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}