Skip to content

Latest commit

 

History

History
46 lines (31 loc) · 4.62 KB

README.md

File metadata and controls

46 lines (31 loc) · 4.62 KB

Проектное задание: ETL

Задание спринта

Написать отказоустойчивый перенос данных из Postgres в Elasticsearch

Требования

  • Используйте предложенную cхему индекса💾 movies, в которую должна производиться загрузка фильмов. В конце этого урока вы найдёте пояснения к ней.
  • Ваш код должен корректно вести себя при потере связи с ES или Postgres. Используйте технику backoff, чтобы ваш сервис не мешал восстановлению БД.
  • При перезапуске приложения оно должно продолжить работу с места остановки, а не начинать процесс заново. Здесь вам поможет хранение состояния.
  • ES с загруженными данными успешно проходит Postman-тесты💾. Подробнее об этом способе тестирования мы расскажем в следующем уроке.

Если придумали свой вариант архитектуры, то необходимо вначале показать её наставнику.

И ещё несколько советов:

  • валидируйте конфигурации с помощью pydantic;
  • избегайте дублирования кода и SQL-запросов;
  • используйте аннотации типов;
  • документируйте функции, используя комментарии;
  • для логирования используйте модуль logging из стандартной библиотеки Python;
  • соблюдайте PEP8.

Вам пригодится

  • освежить в памяти базовые элементы SQL-запросов: SELECT и JOIN;
  • локально поднять сервер Elasticsearch, используя Docker;
  • определиться с архитектурой скрипта. Очень помогает нарисовать её на листочке и разбить на основные элементы. Подсказка: такими элементами могут быть загрузка данных из Postgres, преобразование каждой строки фильма в удобный для загрузки формат и подготовка данных для загрузки в Elasticsearch.

Желаем вам удачи в написании ETL! Вы обязательно справитесь 💪

Объяснение схемы данных индекса movies

Это задание будет достаточно сложно выполнить, не имея никакого представления о схеме индекса в Elasticsearch.

Пройдёмся по основным элементам схемы данных:

  • "refresh_interval": "1s" — при сохранении данных обновляет индекс раз в секунду.
  • Блок "analysis" — в нём задаются все настройки для полнотекстового поиска: фильтры и анализаторы. Незаменимая вещь для задачи поиска по тексту.
  • В каждой схеме данных указано "dynamic": "strict" — это позволяет защититься от невалидных данных.
  • Поля actors и writers используют вложенную схему данных — это помогает валидировать вложенные json-объекты.
  • Также присутствуют поля actors_names и writers_names, которые упрощают запросы на поиск. Вам это понадобится в следующих модулях.
  • Поле title содержит внутри себя ещё одно поле — title.raw. Оно нужно, чтобы у Elasticsearch была возможность делать сортировку, так как он не умеет сортировать данные по типу text.

Возможны и другие оптимизации, но для текущей задачи этих настроек будет достаточно.