Загрузка файлов csv и xlsx

Функция загрузки файлов позволяет импортировать в таблицу хранилища данных информацию, подготовленную вручную в Excel или сохранённую в текстовых файлах формата CSV. Для успешной загрузки файлы должны соответствовать следующим требованиям:

Заголовки столбцов не должны содержать управляющие символы, такие как «;», «&» или переход на новую строку.
Данные в таблицах должны быть однородными и отформатированными в соответствии с их типом: текст, число или дата.
В наборах данных недопустимы пустые строки и столбцы.

Мастер загрузки

Откройте сервис в разделе меню «Главное/ Сервис/ Загрузка файла в БД (мастер настройки)»:

Порядок работы:

Для настройки загрузки файлов следуйте шагам мастера.
Переход к следующему шагу возможен только после выполнения всех условий текущего.
При необходимости можно вернуться к предыдущим шагам, изменить введённые настройки и продолжить работу.
Настройку можно прервать в любой момент, но в этом случае изменения не сохранятся.
После завершения настройки можно сохранить параметры и применять их для загрузки файлов с аналогичной структурой.

Шаг 1 «Выберите исходный файл и место назначения данных»

Укажите, требуется ли выгружать данные.
Выберите базу данных-приемник. Загружать файлы в Базу Данных Clickhouse сейчас нет возможности.
Выберите в новую или существующую таблицу должны загрузиться данные.
Если был выбран вариант загрузки в существующую таблицу, укажите таблицу выгрузки (вручную или выбрав из списка).
Выберите тип файла: «XLSX», «XLS», «CSV».
Выберите файл для загрузки.
Когда выбран файл и приемник, становится доступна кнопка «Далее», которая переводит процесс на следующий шаг.

Шаг 2 «Выберите лист»

По умолчанию для загрузки предлагается первый лист в файле, вы можете выбрать другой лист.
После выбора листа возможно просмотреть данные, которые на нем находятся и убедиться, что лист выбран правильно.
Если все верно, переходите на следующий шаг — нажмите на кнопку «Далее».

Шаг 3 «Настройте диапазон загрузки»

Укажите строку заголовка на выбранном листе.
Укажите начало диапазона загрузки.
Укажите окончание диапазона загрузки.
Количество строк предпросмотра на экране ограничено значением 50, так как чем больше строк нужно отобразить, тем дольше будет работать мастер. При необходимости возможно увеличить количество строк предпросмотра вручную.
Галочка «Распространить значение в объединенных ячейках» означает, что при наличии в выбранном диапазоне объединенных ячеек, мастер разделит их и все заполнит текущим значением.
Здесь отображаются строки предпросмотра.
Если все настроено верно, переходите на следующий шаг, нажав на кнопку «Далее».

Шаг 4 «Соответствие исходных данных и таблицы-приемника»

Выберите в области предпросмотра нужный столбец, нажав на его заголовок.
Проверьте правильность предложенного системой названия поля, при необходимости измените его.
Проверьте правильность предложенного системой типа данных, при необходимости измените его.
Если столбец загружать не нужно, то установите переключатель «Импортировать поле» в положение «Нет».
После настройки названий поля и типа данных столбцов, переходите на следующий шаг, нажав на кнопку «Далее».

Шаг 5 «Проверьте структуру новой таблицы»

Проверьте получившуюся структуру перед загрузкой данных, при необходимости возможно поменять названия поля и типа данных.
Если структура данных настроена верно, переходите на следующий шаг, нажав кнопку «Далее».

Шаг 6 «Введите название таблицы и запустите процесс»

Введите название таблицы-приемника.
Галочка «Сохранить ошибки при загрузке строк из файла» включает запись ошибок.
Если все настроено верно, запустите процесс загрузки, нажав на кнопку «Далее».

Настройка загрузки вручную

Перейдите в сервис ручной загрузки через начальную страницу или через меню «Главное/ Сервис/ Загрузка файла в SQL»:

Порядок работы:

На закладке «Основная» выберите файл для загрузки.
Нажмите на кнопку «1. Проанализировать файл». При этом автоматически заполнится табличная часть со списком полей таблицы.
В табличной части при необходимости возможно отредактировать «Наименование», «Тип» и «Длину поля в создаваемой SQL-таблице».
На вкладке «Пред. просмотр» возможно посмотреть, как будет выглядеть таблица.
Заполните параметры на закладке «Все настройки».
- «База данных», «Имя таблицы», «Режим записи в SQL» (см. рисунок выше, 1);
- параметры файла, в зависимости от типа (см. рисунок выше, 2, 4);
- прочие настройки (см. рисунок выше, 3).
Вернитесь на закладку «Основная», нажав на кнопку «Создать таблицу SQL». Если все верно, выведется сообщение о создании таблицы, иначе — описание ошибки.
Нажмите на кнопку «Загрузить данные в SQL» на вкладке «Основная». Данные из файла запишутся в SQL-таблицу.

Особенности использования «ADO-ODBC»

В ETL есть возможность использования «ADO-ODBC» для загрузки данных файлов.

Примечание — для использования «ADO-ODBC» необходимы соответствующие драйвера.

Для источников со способом подключения «ADODB», в правилах выгрузки используется вид правила «Запрос» и формируется обычный SQL-запрос. Из особенностей можно выделить только описание секции FROM в запросе:

для файлов «XLSX» и «XLS» в секции FROM указывается имя листа, из которого получаются данные в формате ИмяЛиста$. Например, для листа «Лист1» секция FROM будет выглядеть как FROM [Лист1$];
для файлов «CSV» в секции FROM указывается имя файла. Например, SELECT * FROM datafile.csv.

При получении данных через «ADO-ODBC», есть возможность использовать Агента ETL:

для Windows — опционально.
для Unix-подобных систем — обязательно.

Для использования Агента ETL выберите его в составе выгрузки на вкладке «Дополнительно»:

Загрузка файлов csv и xlsx - Продукт Modus BI