Как перенести данные из Excel в SQL: от простого кода до автоматизации

Проблема, с которой сталкивается каждый аналитик

Вы скачали отчёт в Excel, отформатировали данные, добавили формулы — и вдруг понимаете, что для дальнейшего анализа их нужно загрузить в SQL-базу. Ручное переписывание сотен строк? Забудьте. Существует как минимум 5 способов автоматизировать этот процесс, и мы разберём каждый с нюансами для разных СУБД.

Главная сложность заключается не в самом импорте, а в соответствии типов данных: даты в Excel часто воспринимаются как числа, текстовые ячейки могут содержать скрытые символы, а числовые значения — неявные форматы. Например, ячейка с значением 1 000,50 ₽ при прямом импорте преобразуется в 1.0, если не учесть региональные настройки.

В этой статье вы найдёте:

• 🔹 3 универсальных метода для любых СУБД (включая бесплатные инструменты)
• 🔹 Специфические решения для MySQL, PostgreSQL и MS SQL Server
• 🔹 Обработку ошибок, когда Excel "портит" данные (пустые ячейки, объединённые строки)
• 🔹 Автоматизацию для регулярных обновлений (через Python или Power Query)

Метод 1: Импорт через SQL Server Management Studio (для MS SQL)

Если вы работаете с Microsoft SQL Server, у вас есть встроенный мастер импорта — самый визуально понятный способ. Он поддерживает форматы .xlsx и .xls, но требует предварительной настройки драйвера.

Шаги для импорта:

1. Откройте SQL Server Management Studio (SSMS) и подключитесь к базе.
2. ПКМ по нужной базе → Tasks → Import Data.
3. В качестве источника выберите Microsoft Excel и укажите путь к файлу.
4. На этапе Select Source Tables выберите лист Excel (по умолчанию берётся первый).
5. Укажите целевую таблицу (можно создать новую автоматически).
6. Настройте сопоставление столбцов и типов данных (особое внимание уделите датам!).

Предупреждение: мастер SSMS часто ошибается с типами данных. Например, столбец с датами в формате ДД.ММ.ГГГГ может быть распознан как текст. Перед импортом проверьте первые 10 строк данных в Excel — они определяют формат для всего столбца.

Удалить объединённые ячейки|Заменить формулы на значения (Ctrl+Shift+V)|Проверить первые 8 строк на корректные данные|Удалить скрытые символы (например, неразрывные пробелы)|Сохранить файл в формате .xlsx (не .xls)-->

Метод 2: Команды LOAD DATA (для MySQL и MariaDB)

Для MySQL и MariaDB оптимальный способ — команда LOAD DATA INFILE. Она работает в 10 раз быстрее, чем поэлементный INSERT, но требует предварительной конвертации Excel в CSV.

Пример команды для загрузки данных из файла data.csv в таблицу sales:

LOAD DATA INFILE '/path/to/data.csv'
INTO TABLE sales
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;  -- пропускаем заголовок

Ключевые параметры:

• 📌 FIELDS TERMINATED BY — разделитель полей (запятая, точка с запятой)
• 📌 ENCLOSED BY — символ-ограничитель для текстовых полей (обычно кавычки)
• 📌 LINES TERMINATED BY — разделитель строк (\n для Unix, \r\n для Windows)
• 📌 IGNORE N ROWS — пропуск заголовков или служебных строк

Ограничение: файл CSV должен находиться на сервере базы данных. Если у вас локальный файл, используйте LOAD DATA LOCAL INFILE (но это требует специальных прав в MySQL).

⚠️ Внимание: При импорте дат в формате ДД/ММ/ГГГГ MySQL может интерпретировать их как ММ/ДД/ГГГГ. Всегда проверяйте первые 10 строк после импорта или используйте функцию STR_TO_DATE() для явного преобразования.

Метод 3: Использование Power Query в Excel (для любого SQL)

Power Query — это встроенный в Excel инструмент ETL (Extract-Transform-Load), который умеет напрямую подключаться к SQL-базам. Обратный процесс — экспорт данных из Excel в SQL — тоже возможен, но требует небольшой подготовки.

Алгоритм действий:

1. Откройте Excel → Данные → Получить данные → Из других источников → Из базы данных SQL Server (или другой коннектор).
2. Подключитесь к целевой базе (потребуются реквизиты доступа).
3. В редакторе Power Query загрузите данные из вашего листа Excel (Домашняя → Из таблицы/диапазона).
4. Преобразуйте данные (удалите пустые строки, исправьте типы) и нажмите Закрыть и загрузить в....
5. Выберите опцию Только создать подключение, затем Загрузить в → Базу данных SQL Server.

Преимущество этого метода — возможность трансформации данных "на лету". Например, вы можете:

• 🔄 Разделить столбец с ФИО на отдельные поля "Фамилия", "Имя", "Отчество"
• 🔄 Заменить текстовые значения на числовые коды (например, "Да"/"Нет" → 1/0)
• 🔄 Объединить несколько файлов Excel перед загрузкой

Метод 4: Python-скрипты для автоматизации (продвинутый уровень)

Если вам нужно регулярно обновлять данные в SQL из Excel, лучше один раз написать скрипт на Python. Библиотеки pandas и sqlalchemy справляются с этой задачей в 3 строки кода.

Пример скрипта для загрузки данных из data.xlsx в таблицу products базы PostgreSQL:

import pandas as pd
from sqlalchemy import create_engine

Чтение Excel
df = pd.read_excel('data.xlsx', sheet_name='Товары')

Подключение к PostgreSQL
engine = create_engine('postgresql://user:password@localhost:5432/mydatabase')

Загрузка в SQL (if_exists='replace' перезапишет таблицу)
df.to_sql('products', engine, if_exists='append', index=False)

pip install pandas sqlalchemy psycopg2-binary  # для PostgreSQL
или
pip install pandas sqlalchemy pymysql        # для MySQL

⚠️ Внимание: При загрузке больших файлов (>50 000 строк) используйте параметр chunksize в pd.read_excel(), чтобы избежать перегрузки памяти. Например: for chunk in pd.read_excel('big_file.xlsx', chunksize=10000): chunk.to_sql(...).

Инструкция для DBeaver (бесплатный вариант):

3. Пустые ячейки и NULL-значения

0 3   * /usr/bin/python3 /path/to/your_script.py