From 57e22202ff37bfeb98644f49f0089f95a566be94 Mon Sep 17 00:00:00 2001 From: Elena Ryumina Date: Tue, 8 Oct 2024 20:45:24 +0300 Subject: [PATCH] Summary --- .../Audio-get_acoustic_features.ipynb | 12 +- .../Audio-get_audio_union_predictions.ipynb | 684 ++++++++--------- .../notebooks/Audio-load_audio_model_hc.ipynb | 59 +- .../notebooks/Audio-load_audio_model_nn.ipynb | 133 ++-- .../Audio-load_audio_models_oceanai.ipynb | 66 +- .../Download-download_file_from_url.ipynb | 10 +- .../notebooks/Text-get_text_features.ipynb | 76 +- .../Text-get_text_union_predictions.ipynb | 724 +++++++++--------- .../notebooks/Text-load_text_model_hc.ipynb | 132 ++-- .../notebooks/Text-load_text_model_nn.ipynb | 122 ++- .../Text-load_text_model_oceanai.ipynb | 60 +- oceanai/modules/lab/video.py | 2 +- 12 files changed, 970 insertions(+), 1110 deletions(-) diff --git a/docs/source/user_guide/notebooks/Audio-get_acoustic_features.ipynb b/docs/source/user_guide/notebooks/Audio-get_acoustic_features.ipynb index 14c74c5..73d03f9 100644 --- a/docs/source/user_guide/notebooks/Audio-get_acoustic_features.ipynb +++ b/docs/source/user_guide/notebooks/Audio-get_acoustic_features.ipynb @@ -60,7 +60,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:35:36] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a5
    Лицензия: BSD License

" + "**[2024-10-08 19:49:08] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a40
    Лицензия: BSD License

" ], "text/plain": [ "" @@ -93,13 +93,13 @@ }, { "cell_type": "code", - "execution_count": 5, + "execution_count": 4, "metadata": {}, "outputs": [ { "data": { "text/markdown": [ - "**[2023-12-10 16:36:06] Извлечение признаков (экспертных и лог мел-спектрограмм) из акустического сигнала ...** " + "**[2024-10-08 19:49:08] Извлечение признаков (экспертных и лог мел-спектрограмм) из акустического сигнала ...** " ], "text/plain": [ "" @@ -111,7 +111,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:36:11] Статистика извлеченных признаков из акустического сигнала:**
    Общее количество сегментов с:
        1. экспертными признаками: 16
        2. лог мел-спектрограммами: 16
    Размерность матрицы экспертных признаков одного сегмента: 196 ✕ 25
    Размерность тензора с лог мел-спектрограммами одного сегмента: 224 ✕ 224 ✕ 3" + "**[2024-10-08 19:49:10] Статистика извлеченных признаков из акустического сигнала:**
    Общее количество сегментов с:
        1. экспертными признаками: 16
        2. лог мел-спектрограммами: 16
    Размерность матрицы экспертных признаков одного сегмента: 196 ✕ 25
    Размерность тензора с лог мел-спектрограммами одного сегмента: 224 ✕ 224 ✕ 3" ], "text/plain": [ "" @@ -123,7 +123,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 5.292 сек. ---**" + "**--- Время выполнения: 2.143 сек. ---**" ], "text/plain": [ "" @@ -167,7 +167,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.9.13" + "version": "3.10.11" } }, "nbformat": 4, diff --git a/docs/source/user_guide/notebooks/Audio-get_audio_union_predictions.ipynb b/docs/source/user_guide/notebooks/Audio-get_audio_union_predictions.ipynb index deb44ef..fd5ed7d 100644 --- a/docs/source/user_guide/notebooks/Audio-get_audio_union_predictions.ipynb +++ b/docs/source/user_guide/notebooks/Audio-get_audio_union_predictions.ipynb @@ -62,7 +62,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:20] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a16
    Лицензия: BSD License

" + "**[2024-10-08 19:50:39] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a40
    Лицензия: BSD License

" ], "text/plain": [ "" @@ -128,130 +128,118 @@ " \n", " \n", " 1\n", - " TensorFlow\n", - " 2.15.0\n", - " \n", - " \n", - " 2\n", - " Keras\n", - " 2.15.0\n", - " \n", - " \n", - " 3\n", " OpenCV\n", - " 4.8.1\n", + " 4.10.0\n", " \n", " \n", - " 4\n", + " 2\n", " MediaPipe\n", - " 0.9.0\n", + " 0.10.14\n", " \n", " \n", - " 5\n", + " 3\n", " NumPy\n", - " 1.26.2\n", + " 1.26.4\n", " \n", " \n", - " 6\n", + " 4\n", " SciPy\n", - " 1.11.4\n", + " 1.14.1\n", " \n", " \n", - " 7\n", + " 5\n", " Pandas\n", - " 2.1.3\n", + " 2.2.3\n", " \n", " \n", - " 8\n", + " 6\n", " Scikit-learn\n", - " 1.3.2\n", + " 1.5.2\n", " \n", " \n", - " 9\n", + " 7\n", " OpenSmile\n", " 2.5.0\n", " \n", " \n", - " 10\n", + " 8\n", " Librosa\n", - " 0.10.1\n", + " 0.10.2.post1\n", " \n", " \n", - " 11\n", + " 9\n", " AudioRead\n", " 3.0.1\n", " \n", " \n", - " 12\n", + " 10\n", " IPython\n", - " 8.18.1\n", - " \n", - " \n", - " 13\n", - " PyMediaInfo\n", - " 6.1.0\n", + " 8.28.0\n", " \n", " \n", - " 14\n", + " 11\n", " Requests\n", - " 2.31.0\n", + " 2.32.3\n", " \n", " \n", - " 15\n", + " 12\n", " JupyterLab\n", - " 4.0.9\n", + " 4.2.5\n", " \n", " \n", - " 16\n", + " 13\n", " LIWC\n", " 0.5.0\n", " \n", " \n", - " 17\n", + " 14\n", " Transformers\n", - " 4.36.0\n", + " 4.45.1\n", " \n", " \n", - " 18\n", + " 15\n", " Sentencepiece\n", - " 0.1.99\n", + " 0.2.0\n", " \n", " \n", - " 19\n", + " 16\n", " Torch\n", - " 2.0.1+cpu\n", + " 2.4.1+cu118\n", " \n", " \n", - " 20\n", + " 17\n", " Torchaudio\n", - " 2.0.2+cpu\n", + " 2.4.1+cu118\n", + " \n", + " \n", + " 18\n", + " Torchvision\n", + " 0.19.1+cu118\n", " \n", " \n", "\n", "" ], "text/plain": [ - " Package Version\n", - "1 TensorFlow 2.15.0\n", - "2 Keras 2.15.0\n", - "3 OpenCV 4.8.1\n", - "4 MediaPipe 0.9.0\n", - "5 NumPy 1.26.2\n", - "6 SciPy 1.11.4\n", - "7 Pandas 2.1.3\n", - "8 Scikit-learn 1.3.2\n", - "9 OpenSmile 2.5.0\n", - "10 Librosa 0.10.1\n", - "11 AudioRead 3.0.1\n", - "12 IPython 8.18.1\n", - "13 PyMediaInfo 6.1.0\n", - "14 Requests 2.31.0\n", - "15 JupyterLab 4.0.9\n", - "16 LIWC 0.5.0\n", - "17 Transformers 4.36.0\n", - "18 Sentencepiece 0.1.99\n", - "19 Torch 2.0.1+cpu\n", - "20 Torchaudio 2.0.2+cpu" + " Package Version\n", + "1 OpenCV 4.10.0\n", + "2 MediaPipe 0.10.14\n", + "3 NumPy 1.26.4\n", + "4 SciPy 1.14.1\n", + "5 Pandas 2.2.3\n", + "6 Scikit-learn 1.5.2\n", + "7 OpenSmile 2.5.0\n", + "8 Librosa 0.10.2.post1\n", + "9 AudioRead 3.0.1\n", + "10 IPython 8.28.0\n", + "11 Requests 2.32.3\n", + "12 JupyterLab 4.2.5\n", + "13 LIWC 0.5.0\n", + "14 Transformers 4.45.1\n", + "15 Sentencepiece 0.2.0\n", + "16 Torch 2.4.1+cu118\n", + "17 Torchaudio 2.4.1+cu118\n", + "18 Torchvision 0.19.1+cu118" ] }, "metadata": {}, @@ -260,7 +248,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.005 сек. ---**" + "**--- Время выполнения: 0.004 сек. ---**" ], "text/plain": [ "" @@ -280,7 +268,7 @@ "source": [ "### Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам\n", "\n", - "> - `_b5.audio_model_hc_` - Нейросетевая модель **tf.keras.Model** для получения оценок по экспертным признакам" + "> - `_b5.audio_model_hc_` - Нейросетевая модель **nn.Module** для получения оценок по экспертным признакам" ] }, { @@ -291,7 +279,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:20] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (аудио модальность) ...** " + "**[2024-10-08 19:50:39] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (аудио модальность) ...** " ], "text/plain": [ "" @@ -303,7 +291,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.335 сек. ---**" + "**--- Время выполнения: 0.002 сек. ---**" ], "text/plain": [ "" @@ -328,7 +316,7 @@ "source": [ "### Загрузка весов нейросетевой модели для получения оценок по экспертным признакам\n", "\n", - "> - `_b5.audio_model_hc_` - Нейросетевая модель **tf.keras.Model** для получения оценок по экспертным признакам" + "> - `_b5.audio_model_hc_` - Нейросетевая модель **nn.Module** для получения оценок по экспертным признакам" ] }, { @@ -339,7 +327,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:21] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (аудио модальность) ...** " + "**[2024-10-08 19:50:39] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (аудио модальность) ...** " ], "text/plain": [ "" @@ -351,7 +339,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:21] Загрузка файла \"weights_2022-05-05_11-27-55.h5\" 100.0% ...** " + "**[2024-10-08 19:50:42] Загрузка файла \"weights_2022-05-05_11-27-55.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -363,7 +351,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.323 сек. ---**" + "**--- Время выполнения: 2.861 сек. ---**" ], "text/plain": [ "" @@ -378,7 +366,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['audio']['fi']['hc']['sberdisk']\n", + "url = _b5.weights_for_big5_['audio']['fi']['hc']['googledisk']\n", "\n", "res_load_audio_model_weights_hc = _b5.load_audio_model_weights_hc(\n", " url = url, # Полный путь к файлу с весами нейросетевой модели\n", @@ -395,7 +383,7 @@ "source": [ "### Формирование нейросетевой архитектуры модели для получения оценок по нейросетевым признакам\n", "\n", - "> - `_b5.audio_model_nn_` - Нейросетевая модель **tf.keras.Model** для получения оценок по нейросетевым признакам" + "> - `_b5.audio_model_nn_` - Нейросетевая модель **nn.Module** для получения оценок по нейросетевым признакам" ] }, { @@ -406,7 +394,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:21] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (аудио модальность) ...** " + "**[2024-10-08 19:50:42] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (аудио модальность) ...** " ], "text/plain": [ "" @@ -418,7 +406,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.212 сек. ---**" + "**--- Время выполнения: 1.052 сек. ---**" ], "text/plain": [ "" @@ -443,7 +431,7 @@ "source": [ "### Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам\n", "\n", - "> - `_b5.audio_model_nn_` - Нейросетевая модель **tf.keras.Model** для получения оценок по нейросетевым признакам" + "> - `_b5.audio_model_nn_` - Нейросетевая модель **nn.Module** для получения оценок по нейросетевым признакам" ] }, { @@ -454,7 +442,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:21] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (аудио модальность) ...** " + "**[2024-10-08 19:50:43] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (аудио модальность) ...** " ], "text/plain": [ "" @@ -466,7 +454,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:22] Загрузка файла \"weights_2022-05-03_07-46-14.h5\"** " + "**[2024-10-08 19:50:50] Загрузка файла \"weights_2022-05-03_07-46-14.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -478,7 +466,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.416 сек. ---**" + "**--- Время выполнения: 7.158 сек. ---**" ], "text/plain": [ "" @@ -493,7 +481,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['audio']['fi']['nn']['sberdisk']\n", + "url = _b5.weights_for_big5_['audio']['fi']['nn']['googledisk']\n", "\n", "res_load_audio_model_weights_nn = _b5.load_audio_model_weights_nn(\n", " url = url, # Полный путь к файлу с весами нейросетевой модели\n", @@ -510,7 +498,7 @@ "source": [ "### Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств\n", "\n", - "> - `_b5.audio_models_b5_` - Нейросетевые модели **tf.keras.Model** для получения результатов оценки персональных качеств" + "> - `_b5.audio_models_b5_` - Нейросетевые модели **nn.Module** для получения результатов оценки персональных качеств" ] }, { @@ -521,7 +509,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:22] Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств (аудио модальность) ...** " + "**[2024-10-08 19:50:50] Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств (аудио модальность) ...** " ], "text/plain": [ "" @@ -533,7 +521,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.067 сек. ---**" + "**--- Время выполнения: 0.001 сек. ---**" ], "text/plain": [ "" @@ -558,7 +546,7 @@ "source": [ "### Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств\n", "\n", - "> - `_b5.audio_models_b5_` - Нейросетевые модели **tf.keras.Model** для получения результатов оценки персональных качеств" + "> - `_b5.audio_models_b5_` - Нейросетевые модели **nn.Module** для получения результатов оценки персональных качеств" ] }, { @@ -569,7 +557,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:22] Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств (аудио модальность) ...** " + "**[2024-10-08 19:50:50] Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств (аудио модальность) ...** " ], "text/plain": [ "" @@ -581,7 +569,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:22] Загрузка файла \"weights_2022-06-15_16-16-20.h5\"** **Открытость опыту**" + "**[2024-10-08 19:50:53] Загрузка файла \"weights_2022-06-15_16-16-20.pth\" 100.0% ...** **Открытость опыту**" ], "text/plain": [ "" @@ -593,7 +581,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:22] Загрузка файла \"weights_2022-06-15_16-21-57.h5\"** **Добросовестность**" + "**[2024-10-08 19:50:55] Загрузка файла \"weights_2022-06-15_16-21-57.pth\" 100.0% ...** **Добросовестность**" ], "text/plain": [ "" @@ -605,7 +593,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:22] Загрузка файла \"weights_2022-06-15_16-26-41.h5\"** **Экстраверсия**" + "**[2024-10-08 19:50:58] Загрузка файла \"weights_2022-06-15_16-26-41.pth\" 100.0% ...** **Экстраверсия**" ], "text/plain": [ "" @@ -617,7 +605,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:22] Загрузка файла \"weights_2022-06-15_16-32-51.h5\"** **Доброжелательность**" + "**[2024-10-08 19:51:00] Загрузка файла \"weights_2022-06-15_16-32-51.pth\" 100.0% ...** **Доброжелательность**" ], "text/plain": [ "" @@ -629,7 +617,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 16:54:22] Загрузка файла \"weights_2022-06-15_16-37-46.h5\"** **Эмоциональная стабильность**" + "**[2024-10-08 19:51:03] Загрузка файла \"weights_2022-06-15_16-37-46.pth\" 100.0% ...** **Эмоциональная стабильность**" ], "text/plain": [ "" @@ -641,7 +629,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.807 сек. ---**" + "**--- Время выполнения: 12.325 сек. ---**" ], "text/plain": [ "" @@ -656,11 +644,11 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url_openness = _b5.weights_for_big5_['audio']['fi']['b5']['openness']['sberdisk']\n", - "url_conscientiousness = _b5.weights_for_big5_['audio']['fi']['b5']['conscientiousness']['sberdisk']\n", - "url_extraversion = _b5.weights_for_big5_['audio']['fi']['b5']['extraversion']['sberdisk']\n", - "url_agreeableness = _b5.weights_for_big5_['audio']['fi']['b5']['agreeableness']['sberdisk']\n", - "url_non_neuroticism = _b5.weights_for_big5_['audio']['fi']['b5']['non_neuroticism']['sberdisk']\n", + "url_openness = _b5.weights_for_big5_['audio']['fi']['b5']['openness']['googledisk']\n", + "url_conscientiousness = _b5.weights_for_big5_['audio']['fi']['b5']['conscientiousness']['googledisk']\n", + "url_extraversion = _b5.weights_for_big5_['audio']['fi']['b5']['extraversion']['googledisk']\n", + "url_agreeableness = _b5.weights_for_big5_['audio']['fi']['b5']['agreeableness']['googledisk']\n", + "url_non_neuroticism = _b5.weights_for_big5_['audio']['fi']['b5']['non_neuroticism']['googledisk']\n", "\n", "res_load_audio_models_weights_b5 = _b5.load_audio_models_weights_b5(\n", " url_openness = url_openness, # Открытость опыту\n", @@ -693,7 +681,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 17:59:22] Получение прогнозов и вычисление точности (аудио модальность) ...**

    2000 из 2000 (100.0%) ... test80_25\\_Q4wOgixh7E.004.mp4 ...

" + "**[2024-10-08 20:28:05] Получение прогнозов и вычисление точности (аудио модальность) ...**

    2000 из 2000 (100.0%) ... test80_25\\_Q4wOgixh7E.004.mp4 ...

" ], "text/plain": [ "" @@ -731,7 +719,7 @@ " Non-Neuroticism\n", " \n", " \n", - " ID\n", + " Person ID\n", " \n", " \n", " \n", @@ -743,344 +731,344 @@ " \n", " \n", " 1\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", + " 13kjwEtSyXc.003.mp4\n", " 0.603529\n", - " 0.556223\n", - " 0.526545\n", - " 0.579621\n", - " 0.547629\n", + " 0.556218\n", + " 0.526543\n", + " 0.579646\n", + " 0.547635\n", " \n", " \n", " 2\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.568246\n", - " 0.465263\n", - " 0.460744\n", - " 0.541769\n", - " 0.511338\n", + " 1Lv72Si4GnY.000.mp4\n", + " 0.568252\n", + " 0.465237\n", + " 0.460755\n", + " 0.541791\n", + " 0.511347\n", " \n", " \n", " 3\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.546209\n", - " 0.603946\n", - " 0.469445\n", - " 0.589493\n", - " 0.545716\n", + " 1uC-2TZqplE.003.mp4\n", + " 0.546181\n", + " 0.603923\n", + " 0.469423\n", + " 0.589499\n", + " 0.545701\n", " \n", " \n", " 4\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.691056\n", - " 0.623856\n", - " 0.628851\n", - " 0.614669\n", - " 0.645813\n", + " 2Z8Xi_DTlpI.000.mp4\n", + " 0.691046\n", + " 0.623833\n", + " 0.628842\n", + " 0.614673\n", + " 0.645805\n", " \n", " \n", " 5\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.690808\n", - " 0.589734\n", - " 0.636104\n", - " 0.606598\n", - " 0.63479\n", + " 3df_Uk9EmwU.002.mp4\n", + " 0.690791\n", + " 0.589742\n", + " 0.636094\n", + " 0.606597\n", + " 0.634776\n", " \n", " \n", " 6\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.65728\n", - " 0.681336\n", - " 0.571412\n", - " 0.596052\n", - " 0.623451\n", + " 3gmc2kLV4Bo.003.mp4\n", + " 0.657285\n", + " 0.68135\n", + " 0.571423\n", + " 0.596065\n", + " 0.623456\n", " \n", " \n", " 7\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.453781\n", + " 3hKgh9AB3tk.003.mp4\n", + " 0.453752\n", " 0.438842\n", - " 0.376464\n", - " 0.520368\n", - " 0.438252\n", + " 0.376457\n", + " 0.520405\n", + " 0.438247\n", " \n", " \n", " 8\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.558594\n", - " 0.598366\n", - " 0.452183\n", - " 0.618858\n", - " 0.571653\n", + " 3S72dDIm1fM.005.mp4\n", + " 0.558587\n", + " 0.598298\n", + " 0.452168\n", + " 0.618857\n", + " 0.571629\n", " \n", " \n", " 9\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.529081\n", - " 0.502482\n", - " 0.426603\n", - " 0.488263\n", - " 0.443719\n", + " 3tPq9fNOXZQ.000.mp4\n", + " 0.529056\n", + " 0.502458\n", + " 0.426567\n", + " 0.488254\n", + " 0.443686\n", " \n", " \n", " 10\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.537279\n", - " 0.508283\n", - " 0.438888\n", - " 0.579794\n", - " 0.512117\n", + " 43tayteIFRk.001.mp4\n", + " 0.537253\n", + " 0.508196\n", + " 0.438884\n", + " 0.579789\n", + " 0.512096\n", " \n", " \n", " 11\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.512779\n", - " 0.447352\n", - " 0.422968\n", - " 0.559107\n", - " 0.491406\n", + " 4RKQGZzPClk.000.mp4\n", + " 0.512775\n", + " 0.447304\n", + " 0.422976\n", + " 0.559119\n", + " 0.49141\n", " \n", " \n", " 12\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.447102\n", - " 0.451113\n", - " 0.364429\n", - " 0.513031\n", - " 0.414412\n", + " 6zm71IHOCZA.005.mp4\n", + " 0.447127\n", + " 0.451081\n", + " 0.36446\n", + " 0.513057\n", + " 0.414437\n", " \n", " \n", " 13\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.368372\n", - " 0.391985\n", - " 0.274865\n", - " 0.42951\n", - " 0.307666\n", + " 7qGYGbIg45c.001.mp4\n", + " 0.36839\n", + " 0.391951\n", + " 0.274883\n", + " 0.42953\n", + " 0.307687\n", " \n", " \n", " 14\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.582539\n", - " 0.432871\n", - " 0.412363\n", - " 0.441974\n", - " 0.462192\n", + " 8YQKwMdiaAE.003.mp4\n", + " 0.582561\n", + " 0.432921\n", + " 0.412405\n", + " 0.44201\n", + " 0.462234\n", " \n", " \n", " 15\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.627705\n", - " 0.801831\n", - " 0.528622\n", - " 0.692623\n", - " 0.691908\n", + " 9Crw2RtrBcY.005.mp4\n", + " 0.627692\n", + " 0.801797\n", + " 0.528606\n", + " 0.692622\n", + " 0.691895\n", " \n", " \n", " 16\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.708798\n", - " 0.654007\n", - " 0.640547\n", - " 0.632052\n", + " 9eNHxfOV2Kg.005.mp4\n", + " 0.708788\n", + " 0.653992\n", + " 0.640535\n", + " 0.632075\n", " 0.669044\n", " \n", " \n", " 17\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.583968\n", - " 0.644164\n", - " 0.50463\n", - " 0.633507\n", - " 0.59208\n", + " 9J-KIPMQmqk.002.mp4\n", + " 0.58397\n", + " 0.644069\n", + " 0.504643\n", + " 0.63351\n", + " 0.59207\n", " \n", " \n", " 18\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.550836\n", - " 0.539624\n", - " 0.468092\n", - " 0.594872\n", - " 0.544016\n", + " 9RfE2-aTvaM.002.mp4\n", + " 0.550824\n", + " 0.539586\n", + " 0.468088\n", + " 0.59486\n", + " 0.543999\n", " \n", " \n", " 19\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.626745\n", - " 0.563271\n", - " 0.556561\n", - " 0.561901\n", - " 0.549236\n", + " 9_6auSk_wkY.002.mp4\n", + " 0.626713\n", + " 0.563235\n", + " 0.556535\n", + " 0.561917\n", + " 0.54922\n", " \n", " \n", " 20\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.593014\n", - " 0.421482\n", - " 0.504798\n", - " 0.534224\n", - " 0.532807\n", + " aaylz9A9K80.000.mp4\n", + " 0.593027\n", + " 0.421477\n", + " 0.50483\n", + " 0.534268\n", + " 0.532835\n", " \n", " \n", " 21\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.545921\n", - " 0.479671\n", - " 0.465769\n", - " 0.571302\n", - " 0.518793\n", + " Af_F0IzHK6o.002.mp4\n", + " 0.545953\n", + " 0.479617\n", + " 0.465817\n", + " 0.57133\n", + " 0.518822\n", " \n", " \n", " 22\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.548432\n", - " 0.480831\n", - " 0.453319\n", - " 0.52774\n", - " 0.47759\n", + " Ah5PEPT4xbo.000.mp4\n", + " 0.548449\n", + " 0.480838\n", + " 0.453347\n", + " 0.527779\n", + " 0.477625\n", " \n", " \n", " 23\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.486083\n", - " 0.467779\n", - " 0.396113\n", - " 0.444633\n", - " 0.399402\n", + " AotbiNsU85A.003.mp4\n", + " 0.486088\n", + " 0.467776\n", + " 0.396133\n", + " 0.444673\n", + " 0.399426\n", " \n", " \n", " 24\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.558323\n", - " 0.537912\n", - " 0.474172\n", - " 0.563599\n", - " 0.52937\n", + " BLc_GvsbI1U.001.mp4\n", + " 0.558279\n", + " 0.537874\n", + " 0.47412\n", + " 0.56359\n", + " 0.529321\n", " \n", " \n", " 25\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.473017\n", - " 0.542138\n", - " 0.370228\n", - " 0.550093\n", - " 0.467068\n", + " bLOSPQ8MAC8.005.mp4\n", + " 0.473006\n", + " 0.542048\n", + " 0.370227\n", + " 0.550082\n", + " 0.467045\n", " \n", " \n", " 26\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.530967\n", - " 0.460241\n", - " 0.410618\n", - " 0.507322\n", - " 0.450027\n", + " bPLhV0PGR50.001.mp4\n", + " 0.530933\n", + " 0.460269\n", + " 0.410569\n", + " 0.507323\n", + " 0.450016\n", " \n", " \n", " 27\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.61807\n", - " 0.506396\n", - " 0.572248\n", - " 0.574811\n", - " 0.563796\n", + " bYXRyimxh7A.001.mp4\n", + " 0.618052\n", + " 0.506387\n", + " 0.572215\n", + " 0.574839\n", + " 0.563787\n", " \n", " \n", " 28\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.64703\n", - " 0.577771\n", - " 0.565869\n", - " 0.575279\n", - " 0.60631\n", + " ch2BcBv4SdQ.003.mp4\n", + " 0.647054\n", + " 0.57776\n", + " 0.565904\n", + " 0.575295\n", + " 0.606337\n", " \n", " \n", " 29\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.571473\n", - " 0.529536\n", - " 0.48662\n", - " 0.535691\n", - " 0.529022\n", + " cpch8WDydcM.004.mp4\n", + " 0.571504\n", + " 0.529554\n", + " 0.486678\n", + " 0.535736\n", + " 0.529069\n", " \n", " \n", " 30\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.655007\n", - " 0.606712\n", - " 0.592804\n", - " 0.570543\n", - " 0.600349\n", + " De4i7-FX9Og.002.mp4\n", + " 0.655017\n", + " 0.606722\n", + " 0.592835\n", + " 0.570564\n", + " 0.60037\n", " \n", " \n", "\n", "" ], "text/plain": [ - " Path Openness \\\n", - "ID \n", - "1 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.603529 \n", - "2 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.568246 \n", - "3 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.546209 \n", - "4 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.691056 \n", - "5 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.690808 \n", - "6 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.65728 \n", - "7 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.453781 \n", - "8 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.558594 \n", - "9 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.529081 \n", - "10 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.537279 \n", - "11 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.512779 \n", - "12 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.447102 \n", - "13 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.368372 \n", - "14 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.582539 \n", - "15 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.627705 \n", - "16 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.708798 \n", - "17 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.583968 \n", - "18 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.550836 \n", - "19 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.626745 \n", - "20 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.593014 \n", - "21 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.545921 \n", - "22 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.548432 \n", - "23 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.486083 \n", - "24 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.558323 \n", - "25 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.473017 \n", - "26 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.530967 \n", - "27 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.61807 \n", - "28 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.64703 \n", - "29 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.571473 \n", - "30 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.655007 \n", + " Path Openness Conscientiousness Extraversion \\\n", + "Person ID \n", + "1 13kjwEtSyXc.003.mp4 0.603529 0.556218 0.526543 \n", + "2 1Lv72Si4GnY.000.mp4 0.568252 0.465237 0.460755 \n", + "3 1uC-2TZqplE.003.mp4 0.546181 0.603923 0.469423 \n", + "4 2Z8Xi_DTlpI.000.mp4 0.691046 0.623833 0.628842 \n", + "5 3df_Uk9EmwU.002.mp4 0.690791 0.589742 0.636094 \n", + "6 3gmc2kLV4Bo.003.mp4 0.657285 0.68135 0.571423 \n", + "7 3hKgh9AB3tk.003.mp4 0.453752 0.438842 0.376457 \n", + "8 3S72dDIm1fM.005.mp4 0.558587 0.598298 0.452168 \n", + "9 3tPq9fNOXZQ.000.mp4 0.529056 0.502458 0.426567 \n", + "10 43tayteIFRk.001.mp4 0.537253 0.508196 0.438884 \n", + "11 4RKQGZzPClk.000.mp4 0.512775 0.447304 0.422976 \n", + "12 6zm71IHOCZA.005.mp4 0.447127 0.451081 0.36446 \n", + "13 7qGYGbIg45c.001.mp4 0.36839 0.391951 0.274883 \n", + "14 8YQKwMdiaAE.003.mp4 0.582561 0.432921 0.412405 \n", + "15 9Crw2RtrBcY.005.mp4 0.627692 0.801797 0.528606 \n", + "16 9eNHxfOV2Kg.005.mp4 0.708788 0.653992 0.640535 \n", + "17 9J-KIPMQmqk.002.mp4 0.58397 0.644069 0.504643 \n", + "18 9RfE2-aTvaM.002.mp4 0.550824 0.539586 0.468088 \n", + "19 9_6auSk_wkY.002.mp4 0.626713 0.563235 0.556535 \n", + "20 aaylz9A9K80.000.mp4 0.593027 0.421477 0.50483 \n", + "21 Af_F0IzHK6o.002.mp4 0.545953 0.479617 0.465817 \n", + "22 Ah5PEPT4xbo.000.mp4 0.548449 0.480838 0.453347 \n", + "23 AotbiNsU85A.003.mp4 0.486088 0.467776 0.396133 \n", + "24 BLc_GvsbI1U.001.mp4 0.558279 0.537874 0.47412 \n", + "25 bLOSPQ8MAC8.005.mp4 0.473006 0.542048 0.370227 \n", + "26 bPLhV0PGR50.001.mp4 0.530933 0.460269 0.410569 \n", + "27 bYXRyimxh7A.001.mp4 0.618052 0.506387 0.572215 \n", + "28 ch2BcBv4SdQ.003.mp4 0.647054 0.57776 0.565904 \n", + "29 cpch8WDydcM.004.mp4 0.571504 0.529554 0.486678 \n", + "30 De4i7-FX9Og.002.mp4 0.655017 0.606722 0.592835 \n", "\n", - " Conscientiousness Extraversion Agreeableness Non-Neuroticism \n", - "ID \n", - "1 0.556223 0.526545 0.579621 0.547629 \n", - "2 0.465263 0.460744 0.541769 0.511338 \n", - "3 0.603946 0.469445 0.589493 0.545716 \n", - "4 0.623856 0.628851 0.614669 0.645813 \n", - "5 0.589734 0.636104 0.606598 0.63479 \n", - "6 0.681336 0.571412 0.596052 0.623451 \n", - "7 0.438842 0.376464 0.520368 0.438252 \n", - "8 0.598366 0.452183 0.618858 0.571653 \n", - "9 0.502482 0.426603 0.488263 0.443719 \n", - "10 0.508283 0.438888 0.579794 0.512117 \n", - "11 0.447352 0.422968 0.559107 0.491406 \n", - "12 0.451113 0.364429 0.513031 0.414412 \n", - "13 0.391985 0.274865 0.42951 0.307666 \n", - "14 0.432871 0.412363 0.441974 0.462192 \n", - "15 0.801831 0.528622 0.692623 0.691908 \n", - "16 0.654007 0.640547 0.632052 0.669044 \n", - "17 0.644164 0.50463 0.633507 0.59208 \n", - "18 0.539624 0.468092 0.594872 0.544016 \n", - "19 0.563271 0.556561 0.561901 0.549236 \n", - "20 0.421482 0.504798 0.534224 0.532807 \n", - "21 0.479671 0.465769 0.571302 0.518793 \n", - "22 0.480831 0.453319 0.52774 0.47759 \n", - "23 0.467779 0.396113 0.444633 0.399402 \n", - "24 0.537912 0.474172 0.563599 0.52937 \n", - "25 0.542138 0.370228 0.550093 0.467068 \n", - "26 0.460241 0.410618 0.507322 0.450027 \n", - "27 0.506396 0.572248 0.574811 0.563796 \n", - "28 0.577771 0.565869 0.575279 0.60631 \n", - "29 0.529536 0.48662 0.535691 0.529022 \n", - "30 0.606712 0.592804 0.570543 0.600349 " + " Agreeableness Non-Neuroticism \n", + "Person ID \n", + "1 0.579646 0.547635 \n", + "2 0.541791 0.511347 \n", + "3 0.589499 0.545701 \n", + "4 0.614673 0.645805 \n", + "5 0.606597 0.634776 \n", + "6 0.596065 0.623456 \n", + "7 0.520405 0.438247 \n", + "8 0.618857 0.571629 \n", + "9 0.488254 0.443686 \n", + "10 0.579789 0.512096 \n", + "11 0.559119 0.49141 \n", + "12 0.513057 0.414437 \n", + "13 0.42953 0.307687 \n", + "14 0.44201 0.462234 \n", + "15 0.692622 0.691895 \n", + "16 0.632075 0.669044 \n", + "17 0.63351 0.59207 \n", + "18 0.59486 0.543999 \n", + "19 0.561917 0.54922 \n", + "20 0.534268 0.532835 \n", + "21 0.57133 0.518822 \n", + "22 0.527779 0.477625 \n", + "23 0.444673 0.399426 \n", + "24 0.56359 0.529321 \n", + "25 0.550082 0.467045 \n", + "26 0.507323 0.450016 \n", + "27 0.574839 0.563787 \n", + "28 0.575295 0.606337 \n", + "29 0.535736 0.529069 \n", + "30 0.570564 0.60037 " ] }, "metadata": {}, @@ -1089,7 +1077,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 17:59:22] Точность по отдельным персональным качествам личности человека ...** " + "**[2024-10-08 20:28:05] Точность по отдельным персональным качествам личности человека ...** " ], "text/plain": [ "" @@ -1177,7 +1165,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 17:59:22] Средняя средних абсолютных ошибок: 0.0926, средняя точность: 0.9074 ...** " + "**[2024-10-08 20:28:05] Средняя средних абсолютных ошибок: 0.0926, средняя точность: 0.9074 ...** " ], "text/plain": [ "" @@ -1201,7 +1189,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 3899.26 сек. ---**" + "**--- Время выполнения: 2221.886 сек. ---**" ], "text/plain": [ "" @@ -1222,7 +1210,7 @@ "_b5.path_to_logs_ = './logs' # Директория для сохранения LOG файлов\n", "\n", "# Полный путь к файлу с верными предсказаниями для подсчета точности\n", - "url_accuracy = _b5.true_traits_['fi']['sberdisk']\n", + "url_accuracy = _b5.true_traits_['fi']['googledisk']\n", "\n", "res_get_audio_union_predictions = _b5.get_audio_union_predictions(\n", " depth = 1, # Глубина иерархии для получения аудио и видеоданных\n", @@ -1256,7 +1244,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.9.13" + "version": "3.10.11" } }, "nbformat": 4, diff --git a/docs/source/user_guide/notebooks/Audio-load_audio_model_hc.ipynb b/docs/source/user_guide/notebooks/Audio-load_audio_model_hc.ipynb index eefc12d..37ac4f2 100644 --- a/docs/source/user_guide/notebooks/Audio-load_audio_model_hc.ipynb +++ b/docs/source/user_guide/notebooks/Audio-load_audio_model_hc.ipynb @@ -8,7 +8,7 @@ "\n", "
\n", "\n", - "> - `_b5.audio_model_hc_` - Нейросетевая модель **tf.keras.Model** для получения признаков / оценок на базе экспертных признаков" + "> - `_b5.audio_model_hc_` - Нейросетевая модель **nn.Module** для получения признаков / оценок на базе экспертных признаков" ] }, { @@ -60,7 +60,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:37:47] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a5
    Лицензия: BSD License

" + "**[2024-10-08 20:29:20] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a40
    Лицензия: BSD License

" ], "text/plain": [ "" @@ -99,7 +99,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:37:50] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (аудио модальность) ...** " + "**[2024-10-08 20:29:20] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (аудио модальность) ...** " ], "text/plain": [ "" @@ -111,7 +111,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 3.03 сек. ---**" + "**--- Время выполнения: 0.003 сек. ---**" ], "text/plain": [ "" @@ -145,7 +145,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:38:05] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (аудио модальность) ...** " + "**[2024-10-08 20:29:20] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (аудио модальность) ...** " ], "text/plain": [ "" @@ -157,7 +157,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:38:05] Загрузка файла \"weights_2022-05-05_11-27-55.h5\" 100.0% ...** " + "**[2024-10-08 20:29:23] Загрузка файла \"weights_2022-05-05_11-27-55.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -169,7 +169,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.458 сек. ---**" + "**--- Время выполнения: 2.868 сек. ---**" ], "text/plain": [ "" @@ -184,7 +184,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['audio']['fi']['hc']['sberdisk']\n", + "url = _b5.weights_for_big5_['audio']['fi']['hc']['googledisk']\n", "\n", "res_load_audio_model_weights_hc = _b5.load_audio_model_weights_hc(\n", " url = url, # Полный путь к файлу с весами нейросетевой модели\n", @@ -208,35 +208,24 @@ "metadata": {}, "outputs": [ { - "name": "stdout", - "output_type": "stream", - "text": [ - "Model: \"model_1\"\n", - "_________________________________________________________________\n", - " Layer (type) Output Shape Param # \n", - "=================================================================\n", - " input_1 (InputLayer) [(None, 196, 25)] 0 \n", - " \n", - " lstm (LSTM) (None, 196, 64) 23040 \n", - " \n", - " dropout (Dropout) (None, 196, 64) 0 \n", - " \n", - " lstm_128_a_hc (LSTM) (None, 128) 98816 \n", - " \n", - " dropout_1 (Dropout) (None, 128) 0 \n", - " \n", - " dense (Dense) (None, 5) 645 \n", - " \n", - "=================================================================\n", - "Total params: 122,501\n", - "Trainable params: 122,501\n", - "Non-trainable params: 0\n", - "_________________________________________________________________\n" - ] + "data": { + "text/plain": [ + "audio_model_hc(\n", + " (lstm1): LSTM(25, 64, batch_first=True)\n", + " (dropout1): Dropout(p=0.2, inplace=False)\n", + " (lstm2): LSTM(64, 128, batch_first=True)\n", + " (dropout2): Dropout(p=0.2, inplace=False)\n", + " (fc): Linear(in_features=128, out_features=5, bias=True)\n", + ")" + ] + }, + "execution_count": 6, + "metadata": {}, + "output_type": "execute_result" } ], "source": [ - "_b5.audio_model_hc_.summary()" + "_b5.audio_model_hc_" ] } ], @@ -256,7 +245,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.9.13" + "version": "3.10.11" } }, "nbformat": 4, diff --git a/docs/source/user_guide/notebooks/Audio-load_audio_model_nn.ipynb b/docs/source/user_guide/notebooks/Audio-load_audio_model_nn.ipynb index 5cf5e7b..5b227bb 100644 --- a/docs/source/user_guide/notebooks/Audio-load_audio_model_nn.ipynb +++ b/docs/source/user_guide/notebooks/Audio-load_audio_model_nn.ipynb @@ -8,7 +8,7 @@ "\n", "
\n", "\n", - "> - `_b5.audio_model_nn_` - Нейросетевая модель **tf.keras.Model** для получения признаков / оценок на базе нейросетевых признаков" + "> - `_b5.audio_model_nn_` - Нейросетевая модель **nn.Module** для получения признаков / оценок на базе нейросетевых признаков" ] }, { @@ -60,7 +60,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:45:19] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a5
    Лицензия: BSD License

" + "**[2024-10-08 20:30:16] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a40
    Лицензия: BSD License

" ], "text/plain": [ "" @@ -99,7 +99,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:45:19] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (аудио модальность) ...** " + "**[2024-10-08 20:30:17] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (аудио модальность) ...** " ], "text/plain": [ "" @@ -111,7 +111,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 1.221 сек. ---**" + "**--- Время выполнения: 1.072 сек. ---**" ], "text/plain": [ "" @@ -145,7 +145,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:45:23] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (аудио модальность) ...** " + "**[2024-10-08 20:30:18] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (аудио модальность) ...** " ], "text/plain": [ "" @@ -157,7 +157,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:45:27] Загрузка файла \"weights_2022-05-03_07-46-14.h5\" 100.0% ...** " + "**[2024-10-08 20:30:22] Загрузка файла \"weights_2022-05-03_07-46-14.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -169,7 +169,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 4.175 сек. ---**" + "**--- Время выполнения: 4.371 сек. ---**" ], "text/plain": [ "" @@ -184,7 +184,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['audio']['fi']['nn']['sberdisk']\n", + "url = _b5.weights_for_big5_['audio']['fi']['nn']['googledisk']\n", "\n", "res_load_audio_model_weights_nn = _b5.load_audio_model_weights_nn(\n", " url = url, # Полный путь к файлу с весами нейросетевой модели\n", @@ -208,71 +208,62 @@ "metadata": {}, "outputs": [ { - "name": "stdout", - "output_type": "stream", - "text": [ - "Model: \"model_1\"\n", - "_________________________________________________________________\n", - " Layer (type) Output Shape Param # \n", - "=================================================================\n", - " input_1 (InputLayer) [(None, 224, 224, 3)] 0 \n", - " \n", - " block1_conv1 (Conv2D) (None, 224, 224, 64) 1792 \n", - " \n", - " block1_conv2 (Conv2D) (None, 224, 224, 64) 36928 \n", - " \n", - " block1_pool (MaxPooling2D) (None, 112, 112, 64) 0 \n", - " \n", - " block2_conv1 (Conv2D) (None, 112, 112, 128) 73856 \n", - " \n", - " block2_conv2 (Conv2D) (None, 112, 112, 128) 147584 \n", - " \n", - " block2_pool (MaxPooling2D) (None, 56, 56, 128) 0 \n", - " \n", - " block3_conv1 (Conv2D) (None, 56, 56, 256) 295168 \n", - " \n", - " block3_conv2 (Conv2D) (None, 56, 56, 256) 590080 \n", - " \n", - " block3_conv3 (Conv2D) (None, 56, 56, 256) 590080 \n", - " \n", - " block3_pool (MaxPooling2D) (None, 28, 28, 256) 0 \n", - " \n", - " block4_conv1 (Conv2D) (None, 28, 28, 512) 1180160 \n", - " \n", - " block4_conv2 (Conv2D) (None, 28, 28, 512) 2359808 \n", - " \n", - " block4_conv3 (Conv2D) (None, 28, 28, 512) 2359808 \n", - " \n", - " block4_pool (MaxPooling2D) (None, 14, 14, 512) 0 \n", - " \n", - " block5_conv1 (Conv2D) (None, 14, 14, 512) 2359808 \n", - " \n", - " block5_conv2 (Conv2D) (None, 14, 14, 512) 2359808 \n", - " \n", - " block5_conv3 (Conv2D) (None, 14, 14, 512) 2359808 \n", - " \n", - " block5_pool (MaxPooling2D) (None, 7, 7, 512) 0 \n", - " \n", - " flatten (Flatten) (None, 25088) 0 \n", - " \n", - " dense (Dense) (None, 512) 12845568 \n", - " \n", - " dropout (Dropout) (None, 512) 0 \n", - " \n", - " dense_256 (Dense) (None, 256) 131328 \n", - " \n", - " dense_1 (Dense) (None, 5) 1285 \n", - " \n", - "=================================================================\n", - "Total params: 27,692,869\n", - "Trainable params: 27,692,869\n", - "Non-trainable params: 0\n", - "_________________________________________________________________\n" - ] + "data": { + "text/plain": [ + "audio_model_nn(\n", + " (vgg): VGG(\n", + " (features): Sequential(\n", + " (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (1): ReLU(inplace=True)\n", + " (2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (3): ReLU(inplace=True)\n", + " (4): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)\n", + " (5): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (6): ReLU(inplace=True)\n", + " (7): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (8): ReLU(inplace=True)\n", + " (9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)\n", + " (10): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (11): ReLU(inplace=True)\n", + " (12): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (13): ReLU(inplace=True)\n", + " (14): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (15): ReLU(inplace=True)\n", + " (16): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)\n", + " (17): Conv2d(256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (18): ReLU(inplace=True)\n", + " (19): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (20): ReLU(inplace=True)\n", + " (21): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (22): ReLU(inplace=True)\n", + " (23): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)\n", + " (24): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (25): ReLU(inplace=True)\n", + " (26): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (27): ReLU(inplace=True)\n", + " (28): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n", + " (29): ReLU(inplace=True)\n", + " (30): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)\n", + " )\n", + " (avgpool): AdaptiveAvgPool2d(output_size=(7, 7))\n", + " (classifier): Identity()\n", + " )\n", + " (flatten): Flatten(start_dim=1, end_dim=-1)\n", + " (fc1): Linear(in_features=25088, out_features=512, bias=True)\n", + " (relu): ReLU()\n", + " (dropout): Dropout(p=0.5, inplace=False)\n", + " (fc2): Linear(in_features=512, out_features=256, bias=True)\n", + " (fc3): Linear(in_features=256, out_features=5, bias=True)\n", + ")" + ] + }, + "execution_count": 6, + "metadata": {}, + "output_type": "execute_result" } ], "source": [ - "_b5.audio_model_nn_.summary()" + "_b5.audio_model_nn_" ] } ], @@ -292,7 +283,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.9.13" + "version": "3.10.11" } }, "nbformat": 4, diff --git a/docs/source/user_guide/notebooks/Audio-load_audio_models_oceanai.ipynb b/docs/source/user_guide/notebooks/Audio-load_audio_models_oceanai.ipynb index fd8c3f7..2b5a836 100644 --- a/docs/source/user_guide/notebooks/Audio-load_audio_models_oceanai.ipynb +++ b/docs/source/user_guide/notebooks/Audio-load_audio_models_oceanai.ipynb @@ -8,7 +8,7 @@ "\n", "
\n", "\n", - "> - `_b5.audio_models_b5_` - Нейросетевые модели **tf.keras.Model** для получения оценок персональных качеств" + "> - `_b5.audio_models_b5_` - Нейросетевые модели **nn.Module** для получения оценок персональных качеств" ] }, { @@ -60,7 +60,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 11:10:51] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a16
    Лицензия: BSD License

" + "**[2024-10-08 20:31:32] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a40
    Лицензия: BSD License

" ], "text/plain": [ "" @@ -99,7 +99,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 11:10:51] Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств (аудио модальность) ...** " + "**[2024-10-08 20:31:32] Формирование нейросетевых архитектур моделей для получения результатов оценки персональных качеств (аудио модальность) ...** " ], "text/plain": [ "" @@ -111,7 +111,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.157 сек. ---**" + "**--- Время выполнения: 0.002 сек. ---**" ], "text/plain": [ "" @@ -145,7 +145,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 11:11:23] Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств (аудио модальность) ...** " + "**[2024-10-08 20:31:32] Загрузка весов нейросетевых моделей для получения результатов оценки персональных качеств (аудио модальность) ...** " ], "text/plain": [ "" @@ -157,7 +157,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 11:11:23] Загрузка файла \"weights_2022-06-15_16-16-20.h5\" 100.0% ...** **Открытость опыту**" + "**[2024-10-08 20:31:34] Загрузка файла \"weights_2022-06-15_16-16-20.pth\" 100.0% ...** **Открытость опыту**" ], "text/plain": [ "" @@ -169,7 +169,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 11:11:23] Загрузка файла \"weights_2022-06-15_16-21-57.h5\" 100.0% ...** **Добросовестность**" + "**[2024-10-08 20:31:36] Загрузка файла \"weights_2022-06-15_16-21-57.pth\" 100.0% ...** **Добросовестность**" ], "text/plain": [ "" @@ -181,7 +181,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 11:11:23] Загрузка файла \"weights_2022-06-15_16-26-41.h5\" 100.0% ...** **Экстраверсия**" + "**[2024-10-08 20:31:39] Загрузка файла \"weights_2022-06-15_16-26-41.pth\" 100.0% ...** **Экстраверсия**" ], "text/plain": [ "" @@ -193,7 +193,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 11:11:23] Загрузка файла \"weights_2022-06-15_16-32-51.h5\" 100.0% ...** **Доброжелательность**" + "**[2024-10-08 20:31:41] Загрузка файла \"weights_2022-06-15_16-32-51.pth\" 100.0% ...** **Доброжелательность**" ], "text/plain": [ "" @@ -205,7 +205,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 11:11:24] Загрузка файла \"weights_2022-06-15_16-37-46.h5\" 100.0% ...** **Эмоциональная стабильность**" + "**[2024-10-08 20:31:43] Загрузка файла \"weights_2022-06-15_16-37-46.pth\" 100.0% ...** **Эмоциональная стабильность**" ], "text/plain": [ "" @@ -217,7 +217,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.907 сек. ---**" + "**--- Время выполнения: 10.692 сек. ---**" ], "text/plain": [ "" @@ -232,11 +232,11 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url_openness = _b5.weights_for_big5_['audio']['fi']['b5']['openness']['sberdisk']\n", - "url_conscientiousness = _b5.weights_for_big5_['audio']['fi']['b5']['conscientiousness']['sberdisk']\n", - "url_extraversion = _b5.weights_for_big5_['audio']['fi']['b5']['extraversion']['sberdisk']\n", - "url_agreeableness = _b5.weights_for_big5_['audio']['fi']['b5']['agreeableness']['sberdisk']\n", - "url_non_neuroticism = _b5.weights_for_big5_['audio']['fi']['b5']['non_neuroticism']['sberdisk']\n", + "url_openness = _b5.weights_for_big5_['audio']['fi']['b5']['openness']['googledisk']\n", + "url_conscientiousness = _b5.weights_for_big5_['audio']['fi']['b5']['conscientiousness']['googledisk']\n", + "url_extraversion = _b5.weights_for_big5_['audio']['fi']['b5']['extraversion']['googledisk']\n", + "url_agreeableness = _b5.weights_for_big5_['audio']['fi']['b5']['agreeableness']['googledisk']\n", + "url_non_neuroticism = _b5.weights_for_big5_['audio']['fi']['b5']['non_neuroticism']['googledisk']\n", "\n", "res_load_audio_models_weights_b5 = _b5.load_audio_models_weights_b5(\n", " url_openness = url_openness, # Открытость опыту\n", @@ -270,29 +270,21 @@ "metadata": {}, "outputs": [ { - "name": "stdout", - "output_type": "stream", - "text": [ - "Model: \"model\"\n", - "_________________________________________________________________\n", - " Layer (type) Output Shape Param # \n", - "=================================================================\n", - " input_1 (InputLayer) [(None, 32)] 0 \n", - " \n", - " dense_1 (Dense) (None, 1) 33 \n", - " \n", - " activ_1 (Activation) (None, 1) 0 \n", - " \n", - "=================================================================\n", - "Total params: 33 (132.00 Byte)\n", - "Trainable params: 33 (132.00 Byte)\n", - "Non-trainable params: 0 (0.00 Byte)\n", - "_________________________________________________________________\n" - ] + "data": { + "text/plain": [ + "audio_model_b5(\n", + " (fc): Linear(in_features=32, out_features=1, bias=True)\n", + " (sigmoid): Sigmoid()\n", + ")" + ] + }, + "execution_count": 6, + "metadata": {}, + "output_type": "execute_result" } ], "source": [ - "_b5.audio_models_b5_['openness'].summary()" + "_b5.audio_models_b5_['openness']" ] } ], @@ -312,7 +304,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.9.13" + "version": "3.10.11" } }, "nbformat": 4, diff --git a/docs/source/user_guide/notebooks/Download-download_file_from_url.ipynb b/docs/source/user_guide/notebooks/Download-download_file_from_url.ipynb index 1a47219..49616ed 100644 --- a/docs/source/user_guide/notebooks/Download-download_file_from_url.ipynb +++ b/docs/source/user_guide/notebooks/Download-download_file_from_url.ipynb @@ -58,7 +58,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:49:03] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a5
    Лицензия: BSD License

" + "**[2024-10-08 19:48:12] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a40
    Лицензия: BSD License

" ], "text/plain": [ "" @@ -97,7 +97,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:49:04] Загрузка файла \"weights_2022-05-05_11-27-55.h5\" 100.0% ...** " + "**[2024-10-08 19:48:15] Загрузка файла \"weights_2023-07-16_18-12-01.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -109,7 +109,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.214 сек. ---**" + "**--- Время выполнения: 2.362 сек. ---**" ], "text/plain": [ "" @@ -125,7 +125,7 @@ "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", "res_download_file_from_url = _b5.download_file_from_url(\n", - " url = 'https://download.sberdisk.ru/download/file/400635799?token=MMRrak8fMsyzxLE&filename=weights_2022-05-05_11-27-55.h5',\n", + " url = 'https://drive.usercontent.google.com/download?id=1dyH4lqajNS7LOwNqcfj3YktxlJrbLSXf&export=download&authuser=2&confirm=t&uuid=f69981d0-9852-4e0e-8d49-91b55dae3da0&at=AN_67v1nGyJJ427XWPLc3ISlZxbx:1727456802847',\n", " force_reload = True,\n", " out = True,\n", " runtime = True,\n", @@ -170,7 +170,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.9.13" + "version": "3.10.11" } }, "nbformat": 4, diff --git a/docs/source/user_guide/notebooks/Text-get_text_features.ipynb b/docs/source/user_guide/notebooks/Text-get_text_features.ipynb index f8334e2..6f99e13 100644 --- a/docs/source/user_guide/notebooks/Text-get_text_features.ipynb +++ b/docs/source/user_guide/notebooks/Text-get_text_features.ipynb @@ -40,17 +40,7 @@ "cell_type": "code", "execution_count": 2, "metadata": {}, - "outputs": [ - { - "name": "stderr", - "output_type": "stream", - "text": [ - "2023-12-03 00:29:47.655916: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations: AVX2 FMA\n", - "To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.\n", - "INFO: Created TensorFlow Lite XNNPACK delegate for CPU.\n" - ] - } - ], + "outputs": [], "source": [ "from oceanai.modules.lab.build import Run" ] @@ -70,7 +60,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:29:57] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a5
    Лицензия: BSD License

" + "**[2024-10-08 19:22:31] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a40
    Лицензия: BSD License

" ], "text/plain": [ "" @@ -83,7 +73,7 @@ "source": [ "_b5 = Run(\n", " lang = 'ru', # Язык\n", - " color_simple = '#FFF', # Цвет обычного текста (шестнадцатеричный код)\n", + " color_simple = '#333', # Цвет обычного текста (шестнадцатеричный код)\n", " color_info = '#1776D2', # Цвет текста содержащего информацию (шестнадцатеричный код)\n", " color_err = '#FF0000', # Цвет текста содержащего ошибку (шестнадцатеричный код)\n", " color_true = '#008001', # Цвет текста содержащего положительную информацию (шестнадцатеричный код)\n", @@ -109,7 +99,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:29:57] Загрузка словаря с экспертными признаками ...** " + "**[2024-10-08 19:22:35] Загрузка словаря с экспертными признаками ...** " ], "text/plain": [ "" @@ -121,7 +111,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:00] Загрузка файла \"LIWC2007.txt\" 100.0% ...** " + "**[2024-10-08 19:22:35] Загрузка файла \"LIWC2007.txt\" 100.0% ...** " ], "text/plain": [ "" @@ -133,7 +123,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 3.073 сек. ---**" + "**--- Время выполнения: 0.187 сек. ---**" ], "text/plain": [ "" @@ -171,7 +161,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:00] Формирование токенизатора и нейросетевой модели машинного перевода ...** " + "**[2024-10-08 19:22:40] Формирование токенизатора и нейросетевой модели машинного перевода ...** " ], "text/plain": [ "" @@ -183,7 +173,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 3.098 сек. ---**" + "**--- Время выполнения: 2.146 сек. ---**" ], "text/plain": [ "" @@ -216,7 +206,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:04] Формирование токенизатора и нейросетевой модели BERT ...** " + "**[2024-10-08 19:22:48] Формирование токенизатора и нейросетевой модели BERT ...** " ], "text/plain": [ "" @@ -228,7 +218,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:07] Загрузка файла \"bert-base-multilingual-cased.zip\"** " + "**[2024-10-08 19:22:48] Загрузка файла \"bert-base-multilingual-cased.zip\"** " ], "text/plain": [ "" @@ -240,7 +230,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:04] Формирование токенизатора и нейросетевой модели BERT ...** " + "**[2024-10-08 19:22:48] Формирование токенизатора и нейросетевой модели BERT ...** " ], "text/plain": [ "" @@ -252,7 +242,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:07] Загрузка файла \"bert-base-multilingual-cased.zip\"** " + "**[2024-10-08 19:22:48] Загрузка файла \"bert-base-multilingual-cased.zip\"** " ], "text/plain": [ "" @@ -264,7 +254,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:07] Разархивирование архива \"bert-base-multilingual-cased.zip\" ...** " + "**[2024-10-08 19:22:48] Разархивирование архива \"bert-base-multilingual-cased.zip\" ...** " ], "text/plain": [ "" @@ -276,7 +266,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 14.752 сек. ---**" + "**--- Время выполнения: 1.942 сек. ---**" ], "text/plain": [ "" @@ -321,7 +311,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:18] Извлечение признаков (экспертных и нейросетевых) из текста ...** " + "**[2024-10-08 19:22:54] Извлечение признаков (экспертных и нейросетевых) из текста ...** " ], "text/plain": [ "" @@ -333,7 +323,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:19] Статистика извлеченных признаков из текста:**
    Размерность матрицы экспертных признаков: 89 ✕ 64
    Размерность матрицы с нейросетевыми признаками: 104 ✕ 768
    Текст:
        during those times i feel sad i feel confused and" + "**[2024-10-08 19:22:55] Статистика извлеченных признаков из текста:**
    Размерность матрицы экспертных признаков: 89 ✕ 64
    Размерность матрицы с нейросетевыми признаками: 104 ✕ 768
    Текст:
        usersdlgithuboceanaidocssourceuser_guidenotebooksglgfb3vfewc004mp4" ], "text/plain": [ "" @@ -345,7 +335,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.343 сек. ---**" + "**--- Время выполнения: 0.211 сек. ---**" ], "text/plain": [ "" @@ -385,7 +375,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:19] Извлечение признаков (экспертных и нейросетевых) из текста ...** " + "**[2024-10-08 19:22:58] Извлечение признаков (экспертных и нейросетевых) из текста ...** " ], "text/plain": [ "" @@ -397,7 +387,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:25] Статистика извлеченных признаков из текста:**
    Размерность матрицы экспертных признаков: 89 ✕ 64
    Размерность матрицы с нейросетевыми признаками: 104 ✕ 768
    Текст:
        during those times i feel sad i feel confused and- the school and introduce them to our administrators and the different faculty that work throughout the school and the library and the gym and so on and then they can get comfortable if theyre in a new school as well" + "**[2024-10-08 19:22:58] Статистика извлеченных признаков из текста:**
    Размерность матрицы экспертных признаков: 89 ✕ 64
    Размерность матрицы с нейросетевыми признаками: 104 ✕ 768
    Текст:
        usersdlgithuboceanaidocssourceuser_guidenotebooksglgfb3vfewc004mp4" ], "text/plain": [ "" @@ -409,7 +399,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 6.398 сек. ---**" + "**--- Время выполнения: 0.188 сек. ---**" ], "text/plain": [ "" @@ -449,7 +439,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:25] Извлечение признаков (экспертных и нейросетевых) из текста ...** " + "**[2024-10-08 19:23:00] Извлечение признаков (экспертных и нейросетевых) из текста ...** " ], "text/plain": [ "" @@ -461,7 +451,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:43] Статистика извлеченных признаков из текста:**
    Размерность матрицы экспертных признаков: 365 ✕ 64
    Размерность матрицы с нейросетевыми признаками: 414 ✕ 768
    Текст:
        на картинке изображены скорее всего друзья которые играют в груз мечом это скорее всего происходит где-то в америке возможно в калифорнии на пляже девушка в топе и в шортах пытается словить мяч также двое парней смотрят одинаково думает как перехватить следующую подачу меча на заднем фоне видны высокие пальмы стоят дома неба голубое песок чистой чётко написки отображаются силой этой людей у парня в дали одеты солнце защитные очки он также в шортах и в майке в близи не видно головы человека он одет в темные шорты и в серую фортболку" + "**[2024-10-08 19:23:00] Статистика извлеченных признаков из текста:**
    Размерность матрицы экспертных признаков: 365 ✕ 64
    Размерность матрицы с нейросетевыми признаками: 414 ✕ 768
    Текст:
        usersdlgithuboceanaidocssourceuser_guidenotebookscenter_42mov" ], "text/plain": [ "" @@ -473,7 +463,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 18.045 сек. ---**" + "**--- Время выполнения: 0.543 сек. ---**" ], "text/plain": [ "" @@ -513,7 +503,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:43] Извлечение признаков (экспертных и нейросетевых) из текста ...** " + "**[2024-10-08 19:23:03] Извлечение признаков (экспертных и нейросетевых) из текста ...** " ], "text/plain": [ "" @@ -525,7 +515,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:52] Статистика извлеченных признаков из текста:**
    Размерность матрицы экспертных признаков: 365 ✕ 64
    Размерность матрицы с нейросетевыми признаками: 414 ✕ 768
    Текст:
        на картинке изображены скорее всего друзья которые играют в игру с мячом\n", + "**[2024-10-08 19:23:04] Статистика извлеченных признаков из текста:**
    Размерность матрицы экспертных признаков: 365 ✕ 64
    Размерность матрицы с нейросетевыми признаками: 414 ✕ 768
    Текст:
        на картинке изображены скорее всего друзья которые играют в игру с мячом\n", "это скорее всего происходит где-то в америке возможно в калифорнии на пляже\n", "девушка в топе и в шортах пытается словить мяч также двое парней смотрят один активно думает\n", "как перехватить следующую подачу мяча на заднем фоне видны высокие пальмы стоят дома\n", @@ -542,7 +532,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 9.227 сек. ---**" + "**--- Время выполнения: 1.267 сек. ---**" ], "text/plain": [ "" @@ -589,7 +579,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:52] Извлечение признаков (экспертных и нейросетевых) из текста ...** " + "**[2024-10-08 19:23:07] Извлечение признаков (экспертных и нейросетевых) из текста ...** " ], "text/plain": [ "" @@ -601,7 +591,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:53] Статистика извлеченных признаков из текста:**
    Размерность матрицы экспертных признаков: 89 ✕ 64
    Размерность матрицы с нейросетевыми признаками: 104 ✕ 768
    Текст:
        today says they to for that but right now i am just watching super girl a new images be catching up\n", + "**[2024-10-08 19:23:07] Статистика извлеченных признаков из текста:**
    Размерность матрицы экспертных признаков: 89 ✕ 64
    Размерность матрицы с нейросетевыми признаками: 104 ✕ 768
    Текст:
        today says they to for that but right now i am just watching super girl a new images be catching up\n", "and some shows a good say you guys" ], "text/plain": [ @@ -614,7 +604,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.247 сек. ---**" + "**--- Время выполнения: 0.02 сек. ---**" ], "text/plain": [ "" @@ -657,7 +647,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:53] Извлечение признаков (экспертных и нейросетевых) из текста ...** " + "**[2024-10-08 19:23:09] Извлечение признаков (экспертных и нейросетевых) из текста ...** " ], "text/plain": [ "" @@ -669,7 +659,7 @@ { "data": { "text/markdown": [ - "**[2023-12-03 00:30:53] Статистика извлеченных признаков из текста:**
    Размерность матрицы экспертных признаков: 89 ✕ 64
    Размерность матрицы с нейросетевыми признаками: 104 ✕ 768
    Текст:
        during those times i feel sad i feel confused and" + "**[2024-10-08 19:23:09] Статистика извлеченных признаков из текста:**
    Размерность матрицы экспертных признаков: 89 ✕ 64
    Размерность матрицы с нейросетевыми признаками: 104 ✕ 768
    Текст:
        usersdlgithuboceanaidocssourceuser_guidenotebooksglgfb3vfewc004txt" ], "text/plain": [ "" @@ -681,7 +671,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.204 сек. ---**" + "**--- Время выполнения: 0.079 сек. ---**" ], "text/plain": [ "" @@ -723,7 +713,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.9.13" + "version": "3.10.11" } }, "nbformat": 4, diff --git a/docs/source/user_guide/notebooks/Text-get_text_union_predictions.ipynb b/docs/source/user_guide/notebooks/Text-get_text_union_predictions.ipynb index a15408b..c9e8c9c 100644 --- a/docs/source/user_guide/notebooks/Text-get_text_union_predictions.ipynb +++ b/docs/source/user_guide/notebooks/Text-get_text_union_predictions.ipynb @@ -62,7 +62,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:43] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a16
    Лицензия: BSD License

" + "**[2024-10-08 19:27:28] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a40
    Лицензия: BSD License

" ], "text/plain": [ "" @@ -128,130 +128,118 @@ " \n", " \n", " 1\n", - " TensorFlow\n", - " 2.15.0\n", - " \n", - " \n", - " 2\n", - " Keras\n", - " 2.15.0\n", - " \n", - " \n", - " 3\n", " OpenCV\n", - " 4.8.1\n", + " 4.10.0\n", " \n", " \n", - " 4\n", + " 2\n", " MediaPipe\n", - " 0.9.0\n", + " 0.10.14\n", " \n", " \n", - " 5\n", + " 3\n", " NumPy\n", - " 1.26.2\n", + " 1.26.4\n", " \n", " \n", - " 6\n", + " 4\n", " SciPy\n", - " 1.11.4\n", + " 1.14.1\n", " \n", " \n", - " 7\n", + " 5\n", " Pandas\n", - " 2.1.3\n", + " 2.2.3\n", " \n", " \n", - " 8\n", + " 6\n", " Scikit-learn\n", - " 1.3.2\n", + " 1.5.2\n", " \n", " \n", - " 9\n", + " 7\n", " OpenSmile\n", " 2.5.0\n", " \n", " \n", - " 10\n", + " 8\n", " Librosa\n", - " 0.10.1\n", + " 0.10.2.post1\n", " \n", " \n", - " 11\n", + " 9\n", " AudioRead\n", " 3.0.1\n", " \n", " \n", - " 12\n", + " 10\n", " IPython\n", - " 8.18.1\n", - " \n", - " \n", - " 13\n", - " PyMediaInfo\n", - " 6.1.0\n", + " 8.28.0\n", " \n", " \n", - " 14\n", + " 11\n", " Requests\n", - " 2.31.0\n", + " 2.32.3\n", " \n", " \n", - " 15\n", + " 12\n", " JupyterLab\n", - " 4.0.9\n", + " 4.2.5\n", " \n", " \n", - " 16\n", + " 13\n", " LIWC\n", " 0.5.0\n", " \n", " \n", - " 17\n", + " 14\n", " Transformers\n", - " 4.36.0\n", + " 4.45.1\n", " \n", " \n", - " 18\n", + " 15\n", " Sentencepiece\n", - " 0.1.99\n", + " 0.2.0\n", " \n", " \n", - " 19\n", + " 16\n", " Torch\n", - " 2.0.1+cpu\n", + " 2.4.1+cu118\n", " \n", " \n", - " 20\n", + " 17\n", " Torchaudio\n", - " 2.0.2+cpu\n", + " 2.4.1+cu118\n", + " \n", + " \n", + " 18\n", + " Torchvision\n", + " 0.19.1+cu118\n", " \n", " \n", "\n", "" ], "text/plain": [ - " Package Version\n", - "1 TensorFlow 2.15.0\n", - "2 Keras 2.15.0\n", - "3 OpenCV 4.8.1\n", - "4 MediaPipe 0.9.0\n", - "5 NumPy 1.26.2\n", - "6 SciPy 1.11.4\n", - "7 Pandas 2.1.3\n", - "8 Scikit-learn 1.3.2\n", - "9 OpenSmile 2.5.0\n", - "10 Librosa 0.10.1\n", - "11 AudioRead 3.0.1\n", - "12 IPython 8.18.1\n", - "13 PyMediaInfo 6.1.0\n", - "14 Requests 2.31.0\n", - "15 JupyterLab 4.0.9\n", - "16 LIWC 0.5.0\n", - "17 Transformers 4.36.0\n", - "18 Sentencepiece 0.1.99\n", - "19 Torch 2.0.1+cpu\n", - "20 Torchaudio 2.0.2+cpu" + " Package Version\n", + "1 OpenCV 4.10.0\n", + "2 MediaPipe 0.10.14\n", + "3 NumPy 1.26.4\n", + "4 SciPy 1.14.1\n", + "5 Pandas 2.2.3\n", + "6 Scikit-learn 1.5.2\n", + "7 OpenSmile 2.5.0\n", + "8 Librosa 0.10.2.post1\n", + "9 AudioRead 3.0.1\n", + "10 IPython 8.28.0\n", + "11 Requests 2.32.3\n", + "12 JupyterLab 4.2.5\n", + "13 LIWC 0.5.0\n", + "14 Transformers 4.45.1\n", + "15 Sentencepiece 0.2.0\n", + "16 Torch 2.4.1+cu118\n", + "17 Torchaudio 2.4.1+cu118\n", + "18 Torchvision 0.19.1+cu118" ] }, "metadata": {}, @@ -260,7 +248,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.006 сек. ---**" + "**--- Время выполнения: 0.004 сек. ---**" ], "text/plain": [ "" @@ -289,7 +277,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:43] Загрузка словаря с экспертными признаками ...** " + "**[2024-10-08 19:27:28] Загрузка словаря с экспертными признаками ...** " ], "text/plain": [ "" @@ -301,7 +289,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:43] Загрузка файла \"LIWC2007.txt\" 100.0% ...** " + "**[2024-10-08 19:27:28] Загрузка файла \"LIWC2007.txt\" 100.0% ...** " ], "text/plain": [ "" @@ -313,7 +301,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.232 сек. ---**" + "**--- Время выполнения: 0.207 сек. ---**" ], "text/plain": [ "" @@ -351,7 +339,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:43] Формирование токенизатора и нейросетевой модели машинного перевода ...** " + "**[2024-10-08 19:27:28] Формирование токенизатора и нейросетевой модели машинного перевода ...** " ], "text/plain": [ "" @@ -363,7 +351,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 1.71 сек. ---**" + "**--- Время выполнения: 2.458 сек. ---**" ], "text/plain": [ "" @@ -396,7 +384,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:45] Формирование токенизатора и нейросетевой модели BERT ...** " + "**[2024-10-08 19:27:30] Формирование токенизатора и нейросетевой модели BERT ...** " ], "text/plain": [ "" @@ -408,7 +396,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:47] Загрузка файла \"bert-base-multilingual-cased.zip\"** " + "**[2024-10-08 19:27:30] Загрузка файла \"bert-base-multilingual-cased.zip\"** " ], "text/plain": [ "" @@ -420,7 +408,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:45] Формирование токенизатора и нейросетевой модели BERT ...** " + "**[2024-10-08 19:27:30] Формирование токенизатора и нейросетевой модели BERT ...** " ], "text/plain": [ "" @@ -432,7 +420,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:47] Загрузка файла \"bert-base-multilingual-cased.zip\"** " + "**[2024-10-08 19:27:30] Загрузка файла \"bert-base-multilingual-cased.zip\"** " ], "text/plain": [ "" @@ -444,7 +432,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:47] Разархивирование архива \"bert-base-multilingual-cased.zip\" ...** " + "**[2024-10-08 19:27:31] Разархивирование архива \"bert-base-multilingual-cased.zip\" ...** " ], "text/plain": [ "" @@ -456,7 +444,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 4.188 сек. ---**" + "**--- Время выполнения: 0.938 сек. ---**" ], "text/plain": [ "" @@ -487,7 +475,7 @@ "\n", "#### Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам\n", "\n", - "> - `_b5.text_model_hc_` - Нейросетевая модель **tf.keras.Model** для получения оценок по экспертным признакам" + "> - `_b5.text_model_hc_` - Нейросетевая модель **nn.Module** для получения оценок по экспертным признакам" ] }, { @@ -498,7 +486,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:49] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (текстовая модальность) ...** " + "**[2024-10-08 19:27:31] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (текстовая модальность) ...** " ], "text/plain": [ "" @@ -510,7 +498,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.647 сек. ---**" + "**--- Время выполнения: 0.002 сек. ---**" ], "text/plain": [ "" @@ -536,7 +524,7 @@ "source": [ "#### Загрузка весов нейросетевой модели для получения оценок по экспертным признакам\n", "\n", - "> - `_b5.text_model_hc_` - Нейросетевая модель **tf.keras.Model** для получения оценок по экспертным признакам" + "> - `_b5.text_model_hc_` - Нейросетевая модель **nn.Module** для получения оценок по экспертным признакам" ] }, { @@ -547,7 +535,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:50] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (текстовая модальность) ...** " + "**[2024-10-08 19:27:31] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (текстовая модальность) ...** " ], "text/plain": [ "" @@ -559,7 +547,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:50] Загрузка файла \"weights_2023-07-15_10-52-15.h5\" 100.0% ...** " + "**[2024-10-08 19:27:34] Загрузка файла \"weights_2023-07-15_10-52-15.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -571,7 +559,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.289 сек. ---**" + "**--- Время выполнения: 2.426 сек. ---**" ], "text/plain": [ "" @@ -586,7 +574,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['text']['fi']['hc']['sberdisk']\n", + "url = _b5.weights_for_big5_['text']['fi']['hc']['googledisk']\n", "\n", "res_load_text_model_weights_hc_fi = _b5.load_text_model_weights_hc(\n", " url = url, # Полный путь к файлу с весами нейросетевой модели\n", @@ -603,7 +591,7 @@ "source": [ "#### Формирование нейросетевой архитектуры модели для получения оценок по нейросетевым признакам\n", "\n", - "> - `_b5.text_model_nn_` - Нейросетевая модель **tf.keras.Model** для получения оценок по нейросетевым признакам" + "> - `_b5.text_model_nn_` - Нейросетевая модель **nn.Module** для получения оценок по нейросетевым признакам" ] }, { @@ -614,7 +602,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:50] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (текстовая модальность) ...** " + "**[2024-10-08 19:27:34] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (текстовая модальность) ...** " ], "text/plain": [ "" @@ -626,7 +614,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.279 сек. ---**" + "**--- Время выполнения: 0.002 сек. ---**" ], "text/plain": [ "" @@ -652,7 +640,7 @@ "source": [ "#### Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам\n", "\n", - "> - `_b5.text_model_nn_` - Нейросетевая модель **tf.keras.Model** для получения оценок по нейросетевым признакам" + "> - `_b5.text_model_nn_` - Нейросетевая модель **nn.Module** для получения оценок по нейросетевым признакам" ] }, { @@ -663,7 +651,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:50] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (текстовая модальность) ...** " + "**[2024-10-08 19:27:34] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (текстовая модальность) ...** " ], "text/plain": [ "" @@ -675,7 +663,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:51] Загрузка файла \"weights_2023-07-03_15-01-08.h5\" 100.0% ...** " + "**[2024-10-08 19:27:37] Загрузка файла \"weights_2023-07-03_15-01-08.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -687,7 +675,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.337 сек. ---**" + "**--- Время выполнения: 2.99 сек. ---**" ], "text/plain": [ "" @@ -702,7 +690,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['text']['fi']['nn']['sberdisk']\n", + "url = _b5.weights_for_big5_['text']['fi']['nn']['googledisk']\n", "\n", "res_load_text_model_weights_nn_fi = _b5.load_text_model_weights_nn(\n", " url = url, # Полный путь к файлу с весами нейросетевой модели\n", @@ -719,7 +707,7 @@ "source": [ "#### Формирование нейросетевой архитектуры модели для получения оценок персональных качеств\n", "\n", - "> - `_b5.text_model_b5_` - Нейросетевая модель **tf.keras.Model** для получения оценок персональных качеств" + "> - `_b5.text_model_b5_` - Нейросетевая модель **nn.Module** для получения оценок персональных качеств" ] }, { @@ -730,7 +718,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:51] Формирование нейросетевой архитектуры модели для получения оценок персональных качеств (текстовая модальность) ...** " + "**[2024-10-08 19:27:37] Формирование нейросетевой архитектуры модели для получения оценок персональных качеств (текстовая модальность) ...** " ], "text/plain": [ "" @@ -742,7 +730,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.015 сек. ---**" + "**--- Время выполнения: 0.001 сек. ---**" ], "text/plain": [ "" @@ -767,7 +755,7 @@ "source": [ "#### Загрузка весов нейросетевой модели для получения оценок персональных качеств\n", "\n", - "> - `_b5.text_model_b5_` - Нейросетевая модель **tf.keras.Model** для получения оценок персональных качеств" + "> - `_b5.text_model_b5_` - Нейросетевая модель **nn.Module** для получения оценок персональных качеств" ] }, { @@ -778,7 +766,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:51] Загрузка весов нейросетевой модели для получения оценок персональных качеств (текстовая модальность) ...** " + "**[2024-10-08 19:27:37] Загрузка весов нейросетевой модели для получения оценок персональных качеств (текстовая модальность) ...** " ], "text/plain": [ "" @@ -790,7 +778,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 18:07:51] Загрузка файла \"ft_fi_2023-12-09_14-25-13.h5\"** " + "**[2024-10-08 19:27:39] Загрузка файла \"ft_fi_2023-12-09_14-25-13.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -802,7 +790,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.163 сек. ---**" + "**--- Время выполнения: 2.512 сек. ---**" ], "text/plain": [ "" @@ -817,7 +805,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['text']['fi']['b5']['sberdisk']\n", + "url = _b5.weights_for_big5_['text']['fi']['b5']['googledisk']\n", "\n", "res_load_text_model_weights_b5 = _b5.load_text_model_weights_b5(\n", " url = url,\n", @@ -846,7 +834,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 19:00:14] Извлечение признаков (экспертных и нейросетевых) из текста ...** " + "**[2024-10-08 19:41:02] Извлечение признаков (экспертных и нейросетевых) из текста ...** " ], "text/plain": [ "" @@ -858,7 +846,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 19:00:15] Получение прогнозов и вычисление точности (текстовая модальность) ...**

    2000 из 2000 (100.0%) ... test80_25\\_Q4wOgixh7E.004.mp4 ...

" + "**[2024-10-08 19:41:02] Получение прогнозов и вычисление точности (текстовая модальность) ...**

    2000 из 2000 (100.0%) ... test80_25\\_Q4wOgixh7E.004.mp4 ...

" ], "text/plain": [ "" @@ -896,7 +884,7 @@ " Non-Neuroticism\n", " \n", " \n", - " ID\n", + " Person ID\n", " \n", " \n", " \n", @@ -908,344 +896,344 @@ " \n", " \n", " 1\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.624434\n", - " 0.588915\n", - " 0.53729\n", - " 0.601771\n", - " 0.587032\n", + " 13kjwEtSyXc.003.mp4\n", + " 0.62425\n", + " 0.588714\n", + " 0.537081\n", + " 0.601578\n", + " 0.586728\n", " \n", " \n", " 2\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.518305\n", - " 0.405696\n", - " 0.440837\n", - " 0.486431\n", - " 0.42919\n", + " 1Lv72Si4GnY.000.mp4\n", + " 0.517981\n", + " 0.405353\n", + " 0.44052\n", + " 0.486153\n", + " 0.428741\n", " \n", " \n", " 3\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.516165\n", - " 0.482939\n", - " 0.419187\n", - " 0.520959\n", - " 0.46346\n", + " 1uC-2TZqplE.003.mp4\n", + " 0.515809\n", + " 0.48258\n", + " 0.418819\n", + " 0.520685\n", + " 0.462983\n", " \n", " \n", " 4\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.653522\n", - " 0.645953\n", - " 0.5613\n", - " 0.63864\n", - " 0.635908\n", + " 2Z8Xi_DTlpI.000.mp4\n", + " 0.653289\n", + " 0.645737\n", + " 0.561041\n", + " 0.638437\n", + " 0.635568\n", " \n", " \n", " 5\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.672823\n", - " 0.563164\n", - " 0.597474\n", - " 0.618239\n", - " 0.627377\n", + " 3df_Uk9EmwU.002.mp4\n", + " 0.67261\n", + " 0.562898\n", + " 0.597237\n", + " 0.618013\n", + " 0.627053\n", " \n", " \n", " 6\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.571563\n", - " 0.49441\n", - " 0.477624\n", - " 0.548336\n", - " 0.509708\n", + " 3gmc2kLV4Bo.003.mp4\n", + " 0.571253\n", + " 0.494058\n", + " 0.477292\n", + " 0.548054\n", + " 0.509251\n", " \n", " \n", " 7\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.579048\n", - " 0.590844\n", - " 0.470888\n", - " 0.580203\n", - " 0.545247\n", + " 3hKgh9AB3tk.003.mp4\n", + " 0.578746\n", + " 0.590573\n", + " 0.470541\n", + " 0.579949\n", + " 0.544828\n", " \n", " \n", " 8\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.547369\n", - " 0.540064\n", - " 0.441378\n", - " 0.55407\n", - " 0.52564\n", + " 3S72dDIm1fM.005.mp4\n", + " 0.547111\n", + " 0.539819\n", + " 0.441105\n", + " 0.55385\n", + " 0.525304\n", " \n", " \n", " 9\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.630611\n", - " 0.546466\n", - " 0.548925\n", - " 0.592785\n", - " 0.576801\n", + " 3tPq9fNOXZQ.000.mp4\n", + " 0.630349\n", + " 0.546183\n", + " 0.548639\n", + " 0.592516\n", + " 0.576403\n", " \n", " \n", " 10\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.643665\n", - " 0.650126\n", - " 0.561841\n", - " 0.63202\n", - " 0.636658\n", + " 43tayteIFRk.001.mp4\n", + " 0.64342\n", + " 0.649916\n", + " 0.561578\n", + " 0.631822\n", + " 0.63633\n", " \n", " \n", " 11\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.610431\n", - " 0.509742\n", - " 0.532337\n", - " 0.563182\n", - " 0.548405\n", + " 4RKQGZzPClk.000.mp4\n", + " 0.610116\n", + " 0.509349\n", + " 0.532012\n", + " 0.562868\n", + " 0.547921\n", " \n", " \n", " 12\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.501841\n", - " 0.438787\n", - " 0.408134\n", - " 0.493867\n", - " 0.433236\n", + " 6zm71IHOCZA.005.mp4\n", + " 0.501362\n", + " 0.438311\n", + " 0.407623\n", + " 0.493455\n", + " 0.43261\n", " \n", " \n", " 13\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.516751\n", - " 0.521908\n", - " 0.412392\n", - " 0.535759\n", - " 0.475492\n", + " 7qGYGbIg45c.001.mp4\n", + " 0.516359\n", + " 0.521557\n", + " 0.411988\n", + " 0.535451\n", + " 0.474974\n", " \n", " \n", " 14\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.625826\n", - " 0.595756\n", - " 0.545166\n", - " 0.608196\n", - " 0.601571\n", + " 8YQKwMdiaAE.003.mp4\n", + " 0.625665\n", + " 0.595616\n", + " 0.545001\n", + " 0.608049\n", + " 0.601337\n", " \n", " \n", " 15\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.506065\n", - " 0.466968\n", - " 0.428299\n", + " 9Crw2RtrBcY.005.mp4\n", + " 0.50607\n", + " 0.466966\n", + " 0.428307\n", " 0.497129\n", - " 0.451425\n", + " 0.451417\n", " \n", " \n", " 16\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.638552\n", - " 0.564402\n", - " 0.561068\n", - " 0.599493\n", - " 0.594701\n", + " 9eNHxfOV2Kg.005.mp4\n", + " 0.638357\n", + " 0.564154\n", + " 0.560847\n", + " 0.599312\n", + " 0.594394\n", " \n", " \n", " 17\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.51764\n", - " 0.588128\n", - " 0.392461\n", - " 0.569938\n", - " 0.512308\n", + " 9J-KIPMQmqk.002.mp4\n", + " 0.517384\n", + " 0.587879\n", + " 0.392157\n", + " 0.569742\n", + " 0.511946\n", " \n", " \n", " 18\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.581101\n", - " 0.516556\n", - " 0.489761\n", - " 0.557651\n", - " 0.521073\n", + " 9RfE2-aTvaM.002.mp4\n", + " 0.58078\n", + " 0.516229\n", + " 0.489437\n", + " 0.557368\n", + " 0.520621\n", " \n", " \n", " 19\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.545621\n", - " 0.467661\n", - " 0.46827\n", - " 0.518607\n", - " 0.478676\n", + " 9_6auSk_wkY.002.mp4\n", + " 0.545213\n", + " 0.467215\n", + " 0.467846\n", + " 0.518254\n", + " 0.478097\n", " \n", " \n", " 20\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.619155\n", - " 0.529129\n", - " 0.535892\n", - " 0.58141\n", - " 0.571938\n", + " aaylz9A9K80.000.mp4\n", + " 0.618926\n", + " 0.528868\n", + " 0.535652\n", + " 0.581195\n", + " 0.571601\n", " \n", " \n", " 21\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.58491\n", - " 0.489063\n", - " 0.500084\n", - " 0.538159\n", - " 0.525135\n", + " Af_F0IzHK6o.002.mp4\n", + " 0.584489\n", + " 0.488611\n", + " 0.499635\n", + " 0.537739\n", + " 0.524559\n", " \n", " \n", " 22\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.504319\n", - " 0.449576\n", - " 0.427531\n", - " 0.488319\n", - " 0.441239\n", + " Ah5PEPT4xbo.000.mp4\n", + " 0.504269\n", + " 0.449509\n", + " 0.427488\n", + " 0.488253\n", + " 0.441146\n", " \n", " \n", " 23\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.587255\n", - " 0.591969\n", - " 0.50329\n", - " 0.578679\n", - " 0.566444\n", + " AotbiNsU85A.003.mp4\n", + " 0.586978\n", + " 0.591703\n", + " 0.503008\n", + " 0.578437\n", + " 0.566063\n", " \n", " \n", " 24\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.6448\n", - " 0.58204\n", - " 0.558367\n", - " 0.61345\n", - " 0.60149\n", + " BLc_GvsbI1U.001.mp4\n", + " 0.644585\n", + " 0.581776\n", + " 0.558128\n", + " 0.613248\n", + " 0.601142\n", " \n", " \n", " 25\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.575514\n", - " 0.517498\n", - " 0.481397\n", - " 0.548056\n", - " 0.514953\n", + " bLOSPQ8MAC8.005.mp4\n", + " 0.575215\n", + " 0.517174\n", + " 0.481076\n", + " 0.547783\n", + " 0.5145\n", " \n", " \n", " 26\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.561977\n", - " 0.594428\n", - " 0.456222\n", - " 0.562595\n", - " 0.536081\n", + " bPLhV0PGR50.001.mp4\n", + " 0.561584\n", + " 0.594121\n", + " 0.455785\n", + " 0.56225\n", + " 0.535579\n", " \n", " \n", " 27\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.522762\n", - " 0.468697\n", - " 0.426084\n", - " 0.510566\n", - " 0.451157\n", + " bYXRyimxh7A.001.mp4\n", + " 0.522395\n", + " 0.468391\n", + " 0.425713\n", + " 0.510265\n", + " 0.450677\n", " \n", " \n", " 28\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.642535\n", - " 0.538425\n", - " 0.564254\n", - " 0.602641\n", - " 0.595872\n", + " ch2BcBv4SdQ.003.mp4\n", + " 0.642372\n", + " 0.538192\n", + " 0.564062\n", + " 0.602477\n", + " 0.595606\n", " \n", " \n", " 29\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.615789\n", - " 0.54139\n", - " 0.522493\n", - " 0.585496\n", - " 0.570682\n", + " cpch8WDydcM.004.mp4\n", + " 0.615539\n", + " 0.541118\n", + " 0.522198\n", + " 0.585264\n", + " 0.57033\n", " \n", " \n", " 30\n", - " E:\\Databases\\FirstImpressionsV2\\test\\test80_01...\n", - " 0.620333\n", - " 0.522955\n", - " 0.543902\n", - " 0.569043\n", - " 0.559107\n", + " De4i7-FX9Og.002.mp4\n", + " 0.620014\n", + " 0.522598\n", + " 0.543595\n", + " 0.568719\n", + " 0.558633\n", " \n", " \n", "\n", "" ], "text/plain": [ - " Path Openness \\\n", - "ID \n", - "1 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.624434 \n", - "2 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.518305 \n", - "3 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.516165 \n", - "4 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.653522 \n", - "5 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.672823 \n", - "6 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.571563 \n", - "7 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.579048 \n", - "8 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.547369 \n", - "9 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.630611 \n", - "10 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.643665 \n", - "11 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.610431 \n", - "12 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.501841 \n", - "13 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.516751 \n", - "14 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.625826 \n", - "15 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.506065 \n", - "16 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.638552 \n", - "17 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.51764 \n", - "18 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.581101 \n", - "19 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.545621 \n", - "20 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.619155 \n", - "21 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.58491 \n", - "22 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.504319 \n", - "23 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.587255 \n", - "24 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.6448 \n", - "25 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.575514 \n", - "26 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.561977 \n", - "27 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.522762 \n", - "28 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.642535 \n", - "29 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.615789 \n", - "30 E:\\Databases\\FirstImpressionsV2\\test\\test80_01... 0.620333 \n", + " Path Openness Conscientiousness Extraversion \\\n", + "Person ID \n", + "1 13kjwEtSyXc.003.mp4 0.62425 0.588714 0.537081 \n", + "2 1Lv72Si4GnY.000.mp4 0.517981 0.405353 0.44052 \n", + "3 1uC-2TZqplE.003.mp4 0.515809 0.48258 0.418819 \n", + "4 2Z8Xi_DTlpI.000.mp4 0.653289 0.645737 0.561041 \n", + "5 3df_Uk9EmwU.002.mp4 0.67261 0.562898 0.597237 \n", + "6 3gmc2kLV4Bo.003.mp4 0.571253 0.494058 0.477292 \n", + "7 3hKgh9AB3tk.003.mp4 0.578746 0.590573 0.470541 \n", + "8 3S72dDIm1fM.005.mp4 0.547111 0.539819 0.441105 \n", + "9 3tPq9fNOXZQ.000.mp4 0.630349 0.546183 0.548639 \n", + "10 43tayteIFRk.001.mp4 0.64342 0.649916 0.561578 \n", + "11 4RKQGZzPClk.000.mp4 0.610116 0.509349 0.532012 \n", + "12 6zm71IHOCZA.005.mp4 0.501362 0.438311 0.407623 \n", + "13 7qGYGbIg45c.001.mp4 0.516359 0.521557 0.411988 \n", + "14 8YQKwMdiaAE.003.mp4 0.625665 0.595616 0.545001 \n", + "15 9Crw2RtrBcY.005.mp4 0.50607 0.466966 0.428307 \n", + "16 9eNHxfOV2Kg.005.mp4 0.638357 0.564154 0.560847 \n", + "17 9J-KIPMQmqk.002.mp4 0.517384 0.587879 0.392157 \n", + "18 9RfE2-aTvaM.002.mp4 0.58078 0.516229 0.489437 \n", + "19 9_6auSk_wkY.002.mp4 0.545213 0.467215 0.467846 \n", + "20 aaylz9A9K80.000.mp4 0.618926 0.528868 0.535652 \n", + "21 Af_F0IzHK6o.002.mp4 0.584489 0.488611 0.499635 \n", + "22 Ah5PEPT4xbo.000.mp4 0.504269 0.449509 0.427488 \n", + "23 AotbiNsU85A.003.mp4 0.586978 0.591703 0.503008 \n", + "24 BLc_GvsbI1U.001.mp4 0.644585 0.581776 0.558128 \n", + "25 bLOSPQ8MAC8.005.mp4 0.575215 0.517174 0.481076 \n", + "26 bPLhV0PGR50.001.mp4 0.561584 0.594121 0.455785 \n", + "27 bYXRyimxh7A.001.mp4 0.522395 0.468391 0.425713 \n", + "28 ch2BcBv4SdQ.003.mp4 0.642372 0.538192 0.564062 \n", + "29 cpch8WDydcM.004.mp4 0.615539 0.541118 0.522198 \n", + "30 De4i7-FX9Og.002.mp4 0.620014 0.522598 0.543595 \n", "\n", - " Conscientiousness Extraversion Agreeableness Non-Neuroticism \n", - "ID \n", - "1 0.588915 0.53729 0.601771 0.587032 \n", - "2 0.405696 0.440837 0.486431 0.42919 \n", - "3 0.482939 0.419187 0.520959 0.46346 \n", - "4 0.645953 0.5613 0.63864 0.635908 \n", - "5 0.563164 0.597474 0.618239 0.627377 \n", - "6 0.49441 0.477624 0.548336 0.509708 \n", - "7 0.590844 0.470888 0.580203 0.545247 \n", - "8 0.540064 0.441378 0.55407 0.52564 \n", - "9 0.546466 0.548925 0.592785 0.576801 \n", - "10 0.650126 0.561841 0.63202 0.636658 \n", - "11 0.509742 0.532337 0.563182 0.548405 \n", - "12 0.438787 0.408134 0.493867 0.433236 \n", - "13 0.521908 0.412392 0.535759 0.475492 \n", - "14 0.595756 0.545166 0.608196 0.601571 \n", - "15 0.466968 0.428299 0.497129 0.451425 \n", - "16 0.564402 0.561068 0.599493 0.594701 \n", - "17 0.588128 0.392461 0.569938 0.512308 \n", - "18 0.516556 0.489761 0.557651 0.521073 \n", - "19 0.467661 0.46827 0.518607 0.478676 \n", - "20 0.529129 0.535892 0.58141 0.571938 \n", - "21 0.489063 0.500084 0.538159 0.525135 \n", - "22 0.449576 0.427531 0.488319 0.441239 \n", - "23 0.591969 0.50329 0.578679 0.566444 \n", - "24 0.58204 0.558367 0.61345 0.60149 \n", - "25 0.517498 0.481397 0.548056 0.514953 \n", - "26 0.594428 0.456222 0.562595 0.536081 \n", - "27 0.468697 0.426084 0.510566 0.451157 \n", - "28 0.538425 0.564254 0.602641 0.595872 \n", - "29 0.54139 0.522493 0.585496 0.570682 \n", - "30 0.522955 0.543902 0.569043 0.559107 " + " Agreeableness Non-Neuroticism \n", + "Person ID \n", + "1 0.601578 0.586728 \n", + "2 0.486153 0.428741 \n", + "3 0.520685 0.462983 \n", + "4 0.638437 0.635568 \n", + "5 0.618013 0.627053 \n", + "6 0.548054 0.509251 \n", + "7 0.579949 0.544828 \n", + "8 0.55385 0.525304 \n", + "9 0.592516 0.576403 \n", + "10 0.631822 0.63633 \n", + "11 0.562868 0.547921 \n", + "12 0.493455 0.43261 \n", + "13 0.535451 0.474974 \n", + "14 0.608049 0.601337 \n", + "15 0.497129 0.451417 \n", + "16 0.599312 0.594394 \n", + "17 0.569742 0.511946 \n", + "18 0.557368 0.520621 \n", + "19 0.518254 0.478097 \n", + "20 0.581195 0.571601 \n", + "21 0.537739 0.524559 \n", + "22 0.488253 0.441146 \n", + "23 0.578437 0.566063 \n", + "24 0.613248 0.601142 \n", + "25 0.547783 0.5145 \n", + "26 0.56225 0.535579 \n", + "27 0.510265 0.450677 \n", + "28 0.602477 0.595606 \n", + "29 0.585264 0.57033 \n", + "30 0.568719 0.558633 " ] }, "metadata": {}, @@ -1254,7 +1242,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 19:00:16] Точность по отдельным персональным качествам личности человека ...** " + "**[2024-10-08 19:41:02] Точность по отдельным персональным качествам личности человека ...** " ], "text/plain": [ "" @@ -1304,21 +1292,21 @@ " \n", " \n", " MAE\n", - " 0.1097\n", - " 0.114\n", + " 0.1096\n", + " 0.1137\n", " 0.115\n", - " 0.1019\n", - " 0.1154\n", - " 0.1112\n", + " 0.102\n", + " 0.1152\n", + " 0.1111\n", " \n", " \n", " Accuracy\n", - " 0.8903\n", - " 0.886\n", + " 0.8904\n", + " 0.8863\n", " 0.885\n", - " 0.8981\n", - " 0.8846\n", - " 0.8888\n", + " 0.898\n", + " 0.8848\n", + " 0.8889\n", " \n", " \n", "\n", @@ -1327,13 +1315,13 @@ "text/plain": [ " Openness Conscientiousness Extraversion Agreeableness \\\n", "Metrics \n", - "MAE 0.1097 0.114 0.115 0.1019 \n", - "Accuracy 0.8903 0.886 0.885 0.8981 \n", + "MAE 0.1096 0.1137 0.115 0.102 \n", + "Accuracy 0.8904 0.8863 0.885 0.898 \n", "\n", " Non-Neuroticism Mean \n", "Metrics \n", - "MAE 0.1154 0.1112 \n", - "Accuracy 0.8846 0.8888 " + "MAE 0.1152 0.1111 \n", + "Accuracy 0.8848 0.8889 " ] }, "metadata": {}, @@ -1342,7 +1330,7 @@ { "data": { "text/markdown": [ - "**[2023-12-14 19:00:16] Средняя средних абсолютных ошибок: 0.1112, средняя точность: 0.8888 ...** " + "**[2024-10-08 19:41:02] Средняя средних абсолютных ошибок: 0.1111, средняя точность: 0.8889 ...** " ], "text/plain": [ "" @@ -1366,7 +1354,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 3131.846 сек. ---**" + "**--- Время выполнения: 802.932 сек. ---**" ], "text/plain": [ "" @@ -1387,7 +1375,7 @@ "_b5.path_to_logs_ = './logs' # Директория для сохранения LOG файлов\n", "\n", "# Полный путь к файлу с верными предсказаниями для подсчета точности\n", - "url_accuracy = _b5.true_traits_['fi']['sberdisk']\n", + "url_accuracy = _b5.true_traits_['fi']['googledisk']\n", "\n", "res_get_text_union_predictions = _b5.get_text_union_predictions(\n", " depth = 1, # Глубина иерархии для получения видеоданных\n", @@ -1420,7 +1408,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.9.13" + "version": "3.10.11" } }, "nbformat": 4, diff --git a/docs/source/user_guide/notebooks/Text-load_text_model_hc.ipynb b/docs/source/user_guide/notebooks/Text-load_text_model_hc.ipynb index 8c0059c..e28cdbc 100644 --- a/docs/source/user_guide/notebooks/Text-load_text_model_hc.ipynb +++ b/docs/source/user_guide/notebooks/Text-load_text_model_hc.ipynb @@ -8,7 +8,7 @@ "\n", "
\n", "\n", - "> - `_b5.text_model_hc_` - Нейросетевая модель **tf.keras.Model** для получения признаков / оценок на базе экспертных признаков" + "> - `_b5.text_model_hc_` - Нейросетевая модель **nn.Module** для получения признаков / оценок на базе экспертных признаков" ] }, { @@ -60,7 +60,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:53:54] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a5
    Лицензия: BSD License

" + "**[2024-10-08 19:43:05] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a40
    Лицензия: BSD License

" ], "text/plain": [ "" @@ -99,7 +99,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:53:55] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (текстовая модальность) ...** " + "**[2024-10-08 19:43:06] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (текстовая модальность) ...** " ], "text/plain": [ "" @@ -111,7 +111,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 1.886 сек. ---**" + "**--- Время выполнения: 0.002 сек. ---**" ], "text/plain": [ "" @@ -146,7 +146,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:54:00] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (текстовая модальность) ...** " + "**[2024-10-08 19:43:06] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (текстовая модальность) ...** " ], "text/plain": [ "" @@ -158,7 +158,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:54:01] Загрузка файла \"weights_2023-07-15_10-52-15.h5\" 100.0% ...** " + "**[2024-10-08 19:43:08] Загрузка файла \"weights_2023-07-15_10-52-15.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -170,7 +170,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.311 сек. ---**" + "**--- Время выполнения: 2.395 сек. ---**" ], "text/plain": [ "" @@ -185,7 +185,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['text']['fi']['hc']['sberdisk']\n", + "url = _b5.weights_for_big5_['text']['fi']['hc']['googledisk']\n", "\n", "res_load_text_model_weights_hc_fi = _b5.load_text_model_weights_hc(\n", " url = url, # Полный путь к файлу с весами нейросетевой модели\n", @@ -209,44 +209,25 @@ "metadata": {}, "outputs": [ { - "name": "stdout", - "output_type": "stream", - "text": [ - "Model: \"model\"\n", - "__________________________________________________________________________________________________\n", - " Layer (type) Output Shape Param # Connected to \n", - "==================================================================================================\n", - " model_hc/input (InputLayer) [(None, 89, 64)] 0 [] \n", - " \n", - " model_hc/bilstm_1 (Bidirection (None, 89, 64) 24832 ['model_hc/input[0][0]'] \n", - " al) \n", - " \n", - " model_hc/dence_2 (Dense) (None, 89, 64) 4160 ['model_hc/input[0][0]'] \n", - " \n", - " model_hc/attention (Attention) (None, 89, 64) 0 ['model_hc/bilstm_1[0][0]', \n", - " 'model_hc/bilstm_1[0][0]'] \n", - " \n", - " model_hc/bilstm_2 (Bidirection (None, 89, 64) 24832 ['model_hc/dence_2[0][0]'] \n", - " al) \n", - " \n", - " add (Add) (None, 89, 64) 0 ['model_hc/bilstm_1[0][0]', \n", - " 'model_hc/attention[0][0]', \n", - " 'model_hc/bilstm_2[0][0]'] \n", - " \n", - " model_hc/add (Addition) (None, 128) 0 ['add[0][0]'] \n", - " \n", - " dense (Dense) (None, 5) 645 ['model_hc/add[0][0]'] \n", - " \n", - "==================================================================================================\n", - "Total params: 54,469\n", - "Trainable params: 54,469\n", - "Non-trainable params: 0\n", - "__________________________________________________________________________________________________\n" - ] + "data": { + "text/plain": [ + "text_model_hc(\n", + " (lstm1): LSTM(64, 32, batch_first=True, bidirectional=True)\n", + " (attention): Attention()\n", + " (lstm2): LSTM(64, 32, batch_first=True, bidirectional=True)\n", + " (dense): Linear(in_features=64, out_features=64, bias=True)\n", + " (addition): Addition()\n", + " (final_dense): Linear(in_features=128, out_features=5, bias=True)\n", + ")" + ] + }, + "execution_count": 6, + "metadata": {}, + "output_type": "execute_result" } ], "source": [ - "_b5.text_model_hc_.summary()" + "_b5.text_model_hc_" ] }, { @@ -264,7 +245,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:54:06] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (текстовая модальность) ...** " + "**[2024-10-08 19:43:08] Формирование нейросетевой архитектуры модели для получения оценок по экспертным признакам (текстовая модальность) ...** " ], "text/plain": [ "" @@ -276,7 +257,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.577 сек. ---**" + "**--- Время выполнения: 0.002 сек. ---**" ], "text/plain": [ "" @@ -311,7 +292,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:54:19] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (текстовая модальность) ...** " + "**[2024-10-08 19:43:08] Загрузка весов нейросетевой модели для получения оценок по экспертным признакам (текстовая модальность) ...** " ], "text/plain": [ "" @@ -323,7 +304,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:54:19] Загрузка файла \"weights_2023-07-15_10-53-38.h5\" 100.0% ...** " + "**[2024-10-08 19:43:10] Загрузка файла \"weights_2023-07-15_10-53-38.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -335,7 +316,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.264 сек. ---**" + "**--- Время выполнения: 2.417 сек. ---**" ], "text/plain": [ "" @@ -350,7 +331,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['text']['mupta']['hc']['sberdisk']\n", + "url = _b5.weights_for_big5_['text']['mupta']['hc']['googledisk']\n", "\n", "res_load_text_model_weights_hc_mupta = _b5.load_text_model_weights_hc(\n", " url = url, # Полный путь к файлу с весами нейросетевой модели\n", @@ -374,44 +355,25 @@ "metadata": {}, "outputs": [ { - "name": "stdout", - "output_type": "stream", - "text": [ - "Model: \"model_1\"\n", - "__________________________________________________________________________________________________\n", - " Layer (type) Output Shape Param # Connected to \n", - "==================================================================================================\n", - " model_hc/input (InputLayer) [(None, 365, 64)] 0 [] \n", - " \n", - " model_hc/bilstm_1 (Bidirection (None, 365, 64) 24832 ['model_hc/input[0][0]'] \n", - " al) \n", - " \n", - " model_hc/dence_2 (Dense) (None, 365, 64) 4160 ['model_hc/input[0][0]'] \n", - " \n", - " model_hc/attention (Attention) (None, 365, 64) 0 ['model_hc/bilstm_1[0][0]', \n", - " 'model_hc/bilstm_1[0][0]'] \n", - " \n", - " model_hc/bilstm_2 (Bidirection (None, 365, 64) 24832 ['model_hc/dence_2[0][0]'] \n", - " al) \n", - " \n", - " add_1 (Add) (None, 365, 64) 0 ['model_hc/bilstm_1[0][0]', \n", - " 'model_hc/attention[0][0]', \n", - " 'model_hc/bilstm_2[0][0]'] \n", - " \n", - " model_hc/add (Addition) (None, 128) 0 ['add_1[0][0]'] \n", - " \n", - " dense_1 (Dense) (None, 5) 645 ['model_hc/add[0][0]'] \n", - " \n", - "==================================================================================================\n", - "Total params: 54,469\n", - "Trainable params: 54,469\n", - "Non-trainable params: 0\n", - "__________________________________________________________________________________________________\n" - ] + "data": { + "text/plain": [ + "text_model_hc(\n", + " (lstm1): LSTM(64, 32, batch_first=True, bidirectional=True)\n", + " (attention): Attention()\n", + " (lstm2): LSTM(64, 32, batch_first=True, bidirectional=True)\n", + " (dense): Linear(in_features=64, out_features=64, bias=True)\n", + " (addition): Addition()\n", + " (final_dense): Linear(in_features=128, out_features=5, bias=True)\n", + ")" + ] + }, + "execution_count": 9, + "metadata": {}, + "output_type": "execute_result" } ], "source": [ - "_b5.text_model_hc_.summary()" + "_b5.text_model_hc_" ] } ], @@ -431,7 +393,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.9.13" + "version": "3.10.11" } }, "nbformat": 4, diff --git a/docs/source/user_guide/notebooks/Text-load_text_model_nn.ipynb b/docs/source/user_guide/notebooks/Text-load_text_model_nn.ipynb index a86cf2a..9e5ae16 100644 --- a/docs/source/user_guide/notebooks/Text-load_text_model_nn.ipynb +++ b/docs/source/user_guide/notebooks/Text-load_text_model_nn.ipynb @@ -8,7 +8,7 @@ "\n", "
\n", "\n", - "> - `_b5.text_model_nn_` - Нейросетевая модель **tf.keras.Model** для признаков / оценок на базе нейросетевых признаков" + "> - `_b5.text_model_nn_` - Нейросетевая модель **nn.Module** для признаков / оценок на базе нейросетевых признаков" ] }, { @@ -60,7 +60,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:55:37] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a5
    Лицензия: BSD License

" + "**[2024-10-08 19:44:44] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a40
    Лицензия: BSD License

" ], "text/plain": [ "" @@ -99,7 +99,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:55:40] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (текстовая модальность) ...** " + "**[2024-10-08 19:44:44] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (текстовая модальность) ...** " ], "text/plain": [ "" @@ -111,7 +111,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 1.03 сек. ---**" + "**--- Время выполнения: 0.004 сек. ---**" ], "text/plain": [ "" @@ -146,7 +146,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:55:45] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (текстовая модальность) ...** " + "**[2024-10-08 19:44:44] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (текстовая модальность) ...** " ], "text/plain": [ "" @@ -158,7 +158,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:55:45] Загрузка файла \"weights_2023-07-03_15-01-08.h5\" 100.0% ...** " + "**[2024-10-08 19:44:46] Загрузка файла \"weights_2023-07-03_15-01-08.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -170,7 +170,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.393 сек. ---**" + "**--- Время выполнения: 2.488 сек. ---**" ], "text/plain": [ "" @@ -185,7 +185,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['text']['fi']['nn']['sberdisk']\n", + "url = _b5.weights_for_big5_['text']['fi']['nn']['googledisk']\n", "\n", "res_load_text_model_weights_nn_fi = _b5.load_text_model_weights_nn(\n", " url = url, # Полный путь к файлу с весами нейросетевой модели\n", @@ -209,39 +209,25 @@ "metadata": {}, "outputs": [ { - "name": "stdout", - "output_type": "stream", - "text": [ - "Model: \"model\"\n", - "__________________________________________________________________________________________________\n", - " Layer (type) Output Shape Param # Connected to \n", - "==================================================================================================\n", - " model_nn/input (InputLayer) [(None, 104, 768)] 0 [] \n", - " \n", - " model_nn/bilstm_1 (Bidirection (None, 104, 64) 205056 ['model_nn/input[0][0]'] \n", - " al) \n", - " \n", - " model_nn/attention (Attention) (None, 104, 64) 0 ['model_nn/bilstm_1[0][0]', \n", - " 'model_nn/bilstm_1[0][0]'] \n", - " \n", - " model_nn/dence_2 (Dense) (None, 104, 128) 8320 ['model_nn/attention[0][0]'] \n", - " \n", - " model_nn/add (Addition) (None, 256) 0 ['model_nn/dence_2[0][0]'] \n", - " \n", - " model_nn/dence_3 (Dense) (None, 128) 32896 ['model_nn/add[0][0]'] \n", - " \n", - " dense (Dense) (None, 5) 645 ['model_nn/dence_3[0][0]'] \n", - " \n", - "==================================================================================================\n", - "Total params: 246,917\n", - "Trainable params: 246,917\n", - "Non-trainable params: 0\n", - "__________________________________________________________________________________________________\n" - ] + "data": { + "text/plain": [ + "text_model_nn(\n", + " (lstm1): LSTM(768, 32, batch_first=True, bidirectional=True)\n", + " (attention): Attention()\n", + " (dense1): Linear(in_features=64, out_features=128, bias=True)\n", + " (addition): Addition()\n", + " (dense2): Linear(in_features=256, out_features=128, bias=True)\n", + " (final_dense): Linear(in_features=128, out_features=5, bias=True)\n", + ")" + ] + }, + "execution_count": 6, + "metadata": {}, + "output_type": "execute_result" } ], "source": [ - "_b5.text_model_nn_.summary()" + "_b5.text_model_nn_" ] }, { @@ -259,7 +245,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:55:49] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (текстовая модальность) ...** " + "**[2024-10-08 19:44:46] Формирование нейросетевой архитектуры для получения оценок по нейросетевым признакам (текстовая модальность) ...** " ], "text/plain": [ "" @@ -271,7 +257,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.264 сек. ---**" + "**--- Время выполнения: 0.002 сек. ---**" ], "text/plain": [ "" @@ -306,7 +292,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:55:51] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (текстовая модальность) ...** " + "**[2024-10-08 19:44:47] Загрузка весов нейросетевой модели для получения оценок по нейросетевым признакам (текстовая модальность) ...** " ], "text/plain": [ "" @@ -318,7 +304,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 16:55:52] Загрузка файла \"weights_2023-07-16_18-12-01.h5\" 100.0% ...** " + "**[2024-10-08 19:44:49] Загрузка файла \"weights_2023-07-16_18-12-01.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -330,7 +316,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.373 сек. ---**" + "**--- Время выполнения: 2.536 сек. ---**" ], "text/plain": [ "" @@ -345,7 +331,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['text']['mupta']['nn']['sberdisk']\n", + "url = _b5.weights_for_big5_['text']['mupta']['nn']['googledisk']\n", "\n", "res_load_text_model_weights_nn_mupta = _b5.load_text_model_weights_nn(\n", " url = url, # Полный путь к файлу с весами нейросетевой модели\n", @@ -369,39 +355,25 @@ "metadata": {}, "outputs": [ { - "name": "stdout", - "output_type": "stream", - "text": [ - "Model: \"model_1\"\n", - "__________________________________________________________________________________________________\n", - " Layer (type) Output Shape Param # Connected to \n", - "==================================================================================================\n", - " model_nn/input (InputLayer) [(None, 414, 768)] 0 [] \n", - " \n", - " model_nn/bilstm_1 (Bidirection (None, 414, 64) 205056 ['model_nn/input[0][0]'] \n", - " al) \n", - " \n", - " model_nn/attention (Attention) (None, 414, 64) 0 ['model_nn/bilstm_1[0][0]', \n", - " 'model_nn/bilstm_1[0][0]'] \n", - " \n", - " model_nn/dence_2 (Dense) (None, 414, 128) 8320 ['model_nn/attention[0][0]'] \n", - " \n", - " model_nn/add (Addition) (None, 256) 0 ['model_nn/dence_2[0][0]'] \n", - " \n", - " model_nn/dence_3 (Dense) (None, 128) 32896 ['model_nn/add[0][0]'] \n", - " \n", - " dense_1 (Dense) (None, 5) 645 ['model_nn/dence_3[0][0]'] \n", - " \n", - "==================================================================================================\n", - "Total params: 246,917\n", - "Trainable params: 246,917\n", - "Non-trainable params: 0\n", - "__________________________________________________________________________________________________\n" - ] + "data": { + "text/plain": [ + "text_model_nn(\n", + " (lstm1): LSTM(768, 32, batch_first=True, bidirectional=True)\n", + " (attention): Attention()\n", + " (dense1): Linear(in_features=64, out_features=128, bias=True)\n", + " (addition): Addition()\n", + " (dense2): Linear(in_features=256, out_features=128, bias=True)\n", + " (final_dense): Linear(in_features=128, out_features=5, bias=True)\n", + ")" + ] + }, + "execution_count": 9, + "metadata": {}, + "output_type": "execute_result" } ], "source": [ - "_b5.text_model_nn_.summary()" + "_b5.text_model_nn_" ] } ], @@ -421,7 +393,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.9.13" + "version": "3.10.11" } }, "nbformat": 4, diff --git a/docs/source/user_guide/notebooks/Text-load_text_model_oceanai.ipynb b/docs/source/user_guide/notebooks/Text-load_text_model_oceanai.ipynb index 2366654..d8c1de4 100644 --- a/docs/source/user_guide/notebooks/Text-load_text_model_oceanai.ipynb +++ b/docs/source/user_guide/notebooks/Text-load_text_model_oceanai.ipynb @@ -8,7 +8,7 @@ "\n", "
\n", "\n", - "> - `_b5.text_model_b5_` - Нейросетевая модель **tf.keras.Model** для получения оценок персональных качеств" + "> - `_b5.text_model_b5_` - Нейросетевая модель **nn.Module** для получения оценок персональных качеств" ] }, { @@ -60,7 +60,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 17:03:46] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a5
    Лицензия: BSD License

" + "**[2024-10-08 19:46:14] OCEANAI - персональные качества личности человека:**
    Авторы:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
        Карпов Алексей [karpov@iias.spb.su]
    Сопровождающие:
        Рюмина Елена [ryumina_ev@mail.ru]
        Рюмин Дмитрий [dl_03.03.1991@mail.ru]
    Версия: 1.0.0a40
    Лицензия: BSD License

" ], "text/plain": [ "" @@ -99,7 +99,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 17:03:46] Формирование нейросетевой архитектуры модели для получения оценок персональных качеств (текстовая модальность) ...** " + "**[2024-10-08 19:46:14] Формирование нейросетевой архитектуры модели для получения оценок персональных качеств (текстовая модальность) ...** " ], "text/plain": [ "" @@ -111,7 +111,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.539 сек. ---**" + "**--- Время выполнения: 0.002 сек. ---**" ], "text/plain": [ "" @@ -152,7 +152,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 17:03:46] Загрузка весов нейросетевой модели для получения оценок персональных качеств (текстовая модальность) ...** " + "**[2024-10-08 19:46:14] Загрузка весов нейросетевой модели для получения оценок персональных качеств (текстовая модальность) ...** " ], "text/plain": [ "" @@ -164,7 +164,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 17:03:47] Загрузка файла \"ft_fi_2023-12-09_14-25-13.h5\"** " + "**[2024-10-08 19:46:16] Загрузка файла \"ft_fi_2023-12-09_14-25-13.pth\"** " ], "text/plain": [ "" @@ -176,7 +176,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.144 сек. ---**" + "**--- Время выполнения: 2.297 сек. ---**" ], "text/plain": [ "" @@ -191,7 +191,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['text']['fi']['b5']['sberdisk']\n", + "url = _b5.weights_for_big5_['text']['fi']['b5']['googledisk']\n", "\n", "res_load_text_model_weights_b5 = _b5.load_text_model_weights_b5(\n", " url = url,\n", @@ -217,7 +217,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 17:03:47] Загрузка весов нейросетевой модели для получения оценок персональных качеств (текстовая модальность) ...** " + "**[2024-10-08 19:46:16] Загрузка весов нейросетевой модели для получения оценок персональных качеств (текстовая модальность) ...** " ], "text/plain": [ "" @@ -229,7 +229,7 @@ { "data": { "text/markdown": [ - "**[2023-12-10 17:03:47] Загрузка файла \"ft_mupta_2023-12-09_14-25-13.h5\"** " + "**[2024-10-08 19:46:19] Загрузка файла \"ft_mupta_2023-12-09_14-25-13.pth\" 100.0% ...** " ], "text/plain": [ "" @@ -241,7 +241,7 @@ { "data": { "text/markdown": [ - "**--- Время выполнения: 0.137 сек. ---**" + "**--- Время выполнения: 2.532 сек. ---**" ], "text/plain": [ "" @@ -256,7 +256,7 @@ "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", "\n", - "url = _b5.weights_for_big5_['text']['mupta']['b5']['sberdisk']\n", + "url = _b5.weights_for_big5_['text']['mupta']['b5']['googledisk']\n", "\n", "res_load_text_model_weights_b5 = _b5.load_text_model_weights_b5(\n", " url = url,\n", @@ -280,32 +280,20 @@ "metadata": {}, "outputs": [ { - "name": "stdout", - "output_type": "stream", - "text": [ - "Model: \"model\"\n", - "__________________________________________________________________________________________________\n", - " Layer (type) Output Shape Param # Connected to \n", - "==================================================================================================\n", - " input_1 (InputLayer) [(None, 5)] 0 [] \n", - " \n", - " input_2 (InputLayer) [(None, 5)] 0 [] \n", - " \n", - " tf.concat (TFOpLambda) (None, 10) 0 ['input_1[0][0]', \n", - " 'input_2[0][0]'] \n", - " \n", - " dense (Dense) (None, 5) 55 ['tf.concat[0][0]'] \n", - " \n", - "==================================================================================================\n", - "Total params: 55\n", - "Trainable params: 55\n", - "Non-trainable params: 0\n", - "__________________________________________________________________________________________________\n" - ] + "data": { + "text/plain": [ + "text_model_b5(\n", + " (dense): Linear(in_features=10, out_features=5, bias=True)\n", + ")" + ] + }, + "execution_count": 7, + "metadata": {}, + "output_type": "execute_result" } ], "source": [ - "_b5.text_model_b5_.summary()" + "_b5.text_model_b5_" ] } ], @@ -325,7 +313,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.9.13" + "version": "3.10.11" } }, "nbformat": 4, diff --git a/oceanai/modules/lab/video.py b/oceanai/modules/lab/video.py index 97a0bfd..b6f7a80 100644 --- a/oceanai/modules/lab/video.py +++ b/oceanai/modules/lab/video.py @@ -1756,7 +1756,7 @@ def alignment_procedure(left_eye: List[int], right_eye: List[int]) -> float: # Коды ошибок нейросетевой модели code_error_pred_deep_fe = -1 - batch_size_limit = 50 + batch_size_limit = 30 try: # Отправка областей с лицами в нейросетевую модель для получения нейросетевых признаков