BigQuery-integrations

Import files (data) from Intercom, FTP(S), SFTP, MySQL, etc. servers into BigQuery.

Общая информация

BigQuery-integrations — содержит набор python-скриптов для автоматизации импорта данных в Google BigQuery с помощью Google Cloud функции.

В текущей версии подготовлены скрипты для автоматизации импорта данных в Google BigQuery из таких источников, как:

• FTP;
• FTPS;
• HTTP(s);
• Intercom;
• MySQL;
• SFTP.

Принцип работы

С помощью HTTP POST запроса вызывается Cloud-функция, которая получает файл с сервера и загружает его в таблицу Google BigQuery. Если таблица уже существует в выбранном датасете, то она будет перезаписана.

Требования

• проект в Google Cloud Platform с активированным биллингом;
• доступ с правами на чтение к аккаунту на сервере, где расположен файл;
• доступ на редактирование (роль Редактор данных BigQuery) и выполнение заданий (роль Пользователь заданий BigQuery) для сервисного аккаунта Cloud-функции в проекте BigQuery, куда будет загружена таблица;
• HTTP-клиент для выполнения POST запросов, вызывающих Cloud-функцию.

Настройка и использование

Настройка включает в себя:

• создание Cloud-функции в Google Cloud Platform;
• предоставление Cloud-функции доступов к серверу (где расположен файл) и к таблице в BigQuery (куда будет записан импортируемый файл);
• вызов Cloud-функции через HTTP-клиент.

Подробная документация находится по ссылкам:

• FTP;
• FTPS;
• HTTP(s);
• Intercom;
• MySQL;
• SFTP.

Вопросы

[email protected]