-
Notifications
You must be signed in to change notification settings - Fork 3
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Merge pull request #51 from ElenaRyumina/main
Summary
- Loading branch information
Showing
7 changed files
with
662 additions
and
999 deletions.
There are no files selected for viewing
718 changes: 353 additions & 365 deletions
718
docs/source/user_guide/notebooks/Video-get_video_union_predictions.ipynb
Large diffs are not rendered by default.
Oops, something went wrong.
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| Original file line number | Diff line number | Diff line change |
|---|---|---|
|
|
@@ -40,15 +40,7 @@ | |
| "cell_type": "code", | ||
| "execution_count": 2, | ||
| "metadata": {}, | ||
| "outputs": [ | ||
| { | ||
| "name": "stderr", | ||
| "output_type": "stream", | ||
| "text": [ | ||
| "INFO: Created TensorFlow Lite XNNPACK delegate for CPU.\n" | ||
| ] | ||
| } | ||
| ], | ||
| "outputs": [], | ||
| "source": [ | ||
| "from oceanai.modules.lab.build import Run" | ||
| ] | ||
|
|
@@ -68,7 +60,7 @@ | |
| { | ||
| "data": { | ||
| "text/markdown": [ | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-03-28 21:50:44</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">OCEANAI - персональные качества личности человека:</span>**<br /><span style=\"color:#333\"> Авторы:</span><br /><span style=\"color:#333\"> Рюмина Елена [<u>[email protected]</u>]</span><br /><span style=\"color:#333\"> Рюмин Дмитрий [<u>[email protected]</u>]</span><br /><span style=\"color:#333\"> Карпов Алексей [<u>[email protected]</u>]</span><br /><span style=\"color:#333\"> Сопровождающие:</span><br /><span style=\"color:#333\"> Рюмина Елена [<u>[email protected]</u>]</span><br /><span style=\"color:#333\"> Рюмин Дмитрий [<u>[email protected]</u>]</span><br /><span style=\"color:#333\"> Версия: <u>1.0.0a22</u></span><br /><span style=\"color:#333\"> Лицензия: <u>BSD License</u></span></p>" | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-10-08 16:23:19</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">OCEANAI - персональные качества личности человека:</span>**<br /><span style=\"color:#333\"> Авторы:</span><br /><span style=\"color:#333\"> Рюмина Елена [<u>[email protected]</u>]</span><br /><span style=\"color:#333\"> Рюмин Дмитрий [<u>[email protected]</u>]</span><br /><span style=\"color:#333\"> Карпов Алексей [<u>[email protected]</u>]</span><br /><span style=\"color:#333\"> Сопровождающие:</span><br /><span style=\"color:#333\"> Рюмина Елена [<u>[email protected]</u>]</span><br /><span style=\"color:#333\"> Рюмин Дмитрий [<u>[email protected]</u>]</span><br /><span style=\"color:#333\"> Версия: <u>1.0.0a40</u></span><br /><span style=\"color:#333\"> Лицензия: <u>BSD License</u></span></p>" | ||
| ], | ||
| "text/plain": [ | ||
| "<IPython.core.display.Markdown object>" | ||
|
|
@@ -107,7 +99,7 @@ | |
| { | ||
| "data": { | ||
| "text/markdown": [ | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-03-28 21:50:46</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Формирование нейросетевой архитектуры для получения нейросетевых признаков (видео модальность) ...</span>** " | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-10-08 16:23:19</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Формирование нейросетевой архитектуры для получения нейросетевых признаков (видео модальность) ...</span>** " | ||
| ], | ||
| "text/plain": [ | ||
| "<IPython.core.display.Markdown object>" | ||
|
|
@@ -119,7 +111,7 @@ | |
| { | ||
| "data": { | ||
| "text/markdown": [ | ||
| "<span style=\"color:#333\">**--- Время выполнения: 1.001 сек. ---**</span>" | ||
| "<span style=\"color:#333\">**--- Время выполнения: 0.105 сек. ---**</span>" | ||
| ], | ||
| "text/plain": [ | ||
| "<IPython.core.display.Markdown object>" | ||
|
|
@@ -153,7 +145,7 @@ | |
| { | ||
| "data": { | ||
| "text/markdown": [ | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-03-28 21:50:50</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Загрузка весов нейросетевой модели для получения нейросетевых признаков (видео модальность) ...</span>** " | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-10-08 16:23:19</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Загрузка весов нейросетевой модели для получения нейросетевых признаков (видео модальность) ...</span>** " | ||
| ], | ||
| "text/plain": [ | ||
| "<IPython.core.display.Markdown object>" | ||
|
|
@@ -165,7 +157,7 @@ | |
| { | ||
| "data": { | ||
| "text/markdown": [ | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-03-28 21:50:56</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Загрузка файла \"<span style=\"color:#1776D2\">weights_2022-11-01_12-27-07.h5</span>\" 100.0% ...</span>** " | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-10-08 16:23:22</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Загрузка файла \"<span style=\"color:#1776D2\">weights_2022-11-01_12-27-07.pth</span>\" 100.0% ...</span>** " | ||
| ], | ||
| "text/plain": [ | ||
| "<IPython.core.display.Markdown object>" | ||
|
|
@@ -177,7 +169,7 @@ | |
| { | ||
| "data": { | ||
| "text/markdown": [ | ||
| "<span style=\"color:#333\">**--- Время выполнения: 6.461 сек. ---**</span>" | ||
| "<span style=\"color:#333\">**--- Время выполнения: 3.994 сек. ---**</span>" | ||
| ], | ||
| "text/plain": [ | ||
| "<IPython.core.display.Markdown object>" | ||
|
|
@@ -192,7 +184,7 @@ | |
| "_b5.path_to_save_ = './models' # Директория для сохранения файла\n", | ||
| "_b5.chunk_size_ = 2000000 # Размер загрузки файла из сети за 1 шаг\n", | ||
| "\n", | ||
| "url = _b5.weights_for_big5_['video']['fi']['fe']['sberdisk']\n", | ||
| "url = _b5.weights_for_big5_['video']['fi']['fe']['googledisk']\n", | ||
| "\n", | ||
| "res_load_video_model_weights_deep_fe = _b5.load_video_model_weights_deep_fe(\n", | ||
| " url = url, # Полный путь к файлу с весами нейросетевой модели\n", | ||
|
|
@@ -218,7 +210,7 @@ | |
| { | ||
| "data": { | ||
| "text/markdown": [ | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-03-28 21:50:58</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Извлечение признаков (экспертных и нейросетевых) из визуального сигнала ...</span>** " | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-10-08 16:23:23</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Извлечение признаков (экспертных и нейросетевых) из визуального сигнала ...</span>** " | ||
| ], | ||
| "text/plain": [ | ||
| "<IPython.core.display.Markdown object>" | ||
|
|
@@ -230,7 +222,7 @@ | |
| { | ||
| "data": { | ||
| "text/markdown": [ | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-03-28 21:51:22</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Статистика извлеченных признаков из визуального сигнала:</span>**<br /><span style=\"color:#333\"> Общее количество сегментов с:</span><br /><span style=\"color:#333\"> 1. экспертными признаками: <u>16</u></span><br /><span style=\"color:#333\"> 2. нейросетевыми признаками: <u>16</u></span><br /><span style=\"color:#333\"> Размерность матрицы экспертных признаков одного сегмента: <u>10</u> ✕ <u>115</u></span><br /><span style=\"color:#333\"> Размерность матрицы с нейросетевыми признаками одного сегмента: <u>10</u> ✕ <u>512</u></span> <br /><span style=\"color:#333\"> Понижение кадровой частоты: с <u>30</u> до <u>5</u></span> " | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-10-08 16:23:24</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Статистика извлеченных признаков из визуального сигнала:</span>**<br /><span style=\"color:#333\"> Общее количество сегментов с:</span><br /><span style=\"color:#333\"> 1. экспертными признаками: <u>16</u></span><br /><span style=\"color:#333\"> 2. нейросетевыми признаками: <u>16</u></span><br /><span style=\"color:#333\"> Размерность матрицы экспертных признаков одного сегмента: <u>10</u> ✕ <u>115</u></span><br /><span style=\"color:#333\"> Размерность матрицы с нейросетевыми признаками одного сегмента: <u>10</u> ✕ <u>512</u></span> <br /><span style=\"color:#333\"> Понижение кадровой частоты: с <u>30</u> до <u>5</u></span> " | ||
| ], | ||
| "text/plain": [ | ||
| "<IPython.core.display.Markdown object>" | ||
|
|
@@ -242,7 +234,7 @@ | |
| { | ||
| "data": { | ||
| "text/markdown": [ | ||
| "<span style=\"color:#333\">**--- Время выполнения: 23.465 сек. ---**</span>" | ||
| "<span style=\"color:#333\">**--- Время выполнения: 1.331 сек. ---**</span>" | ||
| ], | ||
| "text/plain": [ | ||
| "<IPython.core.display.Markdown object>" | ||
|
|
@@ -257,7 +249,7 @@ | |
| "# Путь к видеофайлу\n", | ||
| "path = 'video_FI/test/_plk5k7PBEg.003.mp4'\n", | ||
| "\n", | ||
| "hc_features, nn_features = _b5.get_visual_features(\n", | ||
| "hc_features, nn_features, emo_preds = _b5.get_visual_features(\n", | ||
| " path = path, # Путь к видеофайлу\n", | ||
| " reduction_fps = 5, # Понижение кадровой частоты\n", | ||
| " window = 10, # Размер окна сегмента сигнала (в кадрах)\n", | ||
|
|
@@ -284,7 +276,7 @@ | |
| { | ||
| "data": { | ||
| "text/markdown": [ | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-03-28 21:51:25</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Извлечение признаков (экспертных и нейросетевых) из визуального сигнала ...</span>** " | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-10-08 16:23:24</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Извлечение признаков (экспертных и нейросетевых) из визуального сигнала ...</span>** " | ||
| ], | ||
| "text/plain": [ | ||
| "<IPython.core.display.Markdown object>" | ||
|
|
@@ -296,7 +288,7 @@ | |
| { | ||
| "data": { | ||
| "text/markdown": [ | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-03-28 21:51:43</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Статистика извлеченных признаков из визуального сигнала:</span>**<br /><span style=\"color:#333\"> Общее количество сегментов с:</span><br /><span style=\"color:#333\"> 1. экспертными признаками: <u>16</u></span><br /><span style=\"color:#333\"> 2. нейросетевыми признаками: <u>16</u></span><br /><span style=\"color:#333\"> Размерность матрицы экспертных признаков одного сегмента: <u>10</u> ✕ <u>109</u></span><br /><span style=\"color:#333\"> Размерность матрицы с нейросетевыми признаками одного сегмента: <u>10</u> ✕ <u>512</u></span> <br /><span style=\"color:#333\"> Понижение кадровой частоты: с <u>30</u> до <u>5</u></span> " | ||
| "<span style=\"color:#333\">**[</span><span style=\"color:#1776D2\">2024-10-08 16:23:25</span><span style=\"color:#333\">]</span> <span style=\"color:#333\">Статистика извлеченных признаков из визуального сигнала:</span>**<br /><span style=\"color:#333\"> Общее количество сегментов с:</span><br /><span style=\"color:#333\"> 1. экспертными признаками: <u>16</u></span><br /><span style=\"color:#333\"> 2. нейросетевыми признаками: <u>16</u></span><br /><span style=\"color:#333\"> Размерность матрицы экспертных признаков одного сегмента: <u>10</u> ✕ <u>109</u></span><br /><span style=\"color:#333\"> Размерность матрицы с нейросетевыми признаками одного сегмента: <u>10</u> ✕ <u>512</u></span> <br /><span style=\"color:#333\"> Понижение кадровой частоты: с <u>30</u> до <u>5</u></span> " | ||
| ], | ||
| "text/plain": [ | ||
| "<IPython.core.display.Markdown object>" | ||
|
|
@@ -308,7 +300,7 @@ | |
| { | ||
| "data": { | ||
| "text/markdown": [ | ||
| "<span style=\"color:#333\">**--- Время выполнения: 18.659 сек. ---**</span>" | ||
| "<span style=\"color:#333\">**--- Время выполнения: 1.2 сек. ---**</span>" | ||
| ], | ||
| "text/plain": [ | ||
| "<IPython.core.display.Markdown object>" | ||
|
|
@@ -323,7 +315,7 @@ | |
| "# Путь к видеофайлу\n", | ||
| "path = 'video_FI/test/_plk5k7PBEg.003.mp4'\n", | ||
| "\n", | ||
| "hc_features, nn_features = _b5.get_visual_features(\n", | ||
| "hc_features, nn_features, emo_preds = _b5.get_visual_features(\n", | ||
| " path = path, # Путь к видеофайлу\n", | ||
| " reduction_fps = 5, # Понижение кадровой частоты\n", | ||
| " window = 10, # Размер окна сегмента сигнала (в кадрах)\n", | ||
|
|
@@ -334,13 +326,6 @@ | |
| " run = True # Блокировка выполнения\n", | ||
| ")" | ||
| ] | ||
| }, | ||
| { | ||
| "cell_type": "code", | ||
| "execution_count": null, | ||
| "metadata": {}, | ||
| "outputs": [], | ||
| "source": [] | ||
| } | ||
| ], | ||
| "metadata": { | ||
|
|
@@ -359,7 +344,7 @@ | |
| "name": "python", | ||
| "nbconvert_exporter": "python", | ||
| "pygments_lexer": "ipython3", | ||
| "version": "3.9.13" | ||
| "version": "3.10.11" | ||
| } | ||
| }, | ||
| "nbformat": 4, | ||
|
|
||
Oops, something went wrong.