Загрузка Excel-файлов в Python: от простого импорта до обработки больших данных

Работа с данными из Microsoft Excel в Python стала неотъемлемой частью анализа данных, автоматизации отчётов и машинного обучения. По статистике Stack Overflow, вопросы по импорту .xlsx входят в топ-20 самых популярных тегов по Pandas — это говорит о востребованности навыка среди аналитиков, финансовых специалистов и инженеров данных. Однако не все знают, что кроме классического pandas.read_excel() существуют альтернативные методы, оптимизированные под большие файлы или специфические форматы.

Эта статья не просто перечислит способы загрузки, а раскроет критические нюансы работы с кодировками, многолистовыми книгами и файлами весом более 1 ГБ, которые редко упоминают в базовых туториалах. Вы узнаете, как избежать ошибок XLRDError, почему OpenPyXL иногда работает медленнее Pandas, и когда стоит использовать низкоуровневые библиотеки вроде xlrd или pyxlsb для старых форматов .xls. Готовы перейти от "просто загрузить" к профессиональной обработке?

1. Классический метод: Pandas и read_excel()

Библиотека Pandas — стандарт де-факто для работы с табличными данными в Python. Её метод read_excel() поддерживает форматы .xlsx, .xls и даже .ods (через дополнительные движки). Основное преимущество — автоматическое преобразование данных в DataFrame, что упрощает дальнейший анализ.

Базовый синтаксис выглядит так:

import pandas as pd

df = pd.read_excel('отчет_2026.xlsx', sheet_name='Лист1')
print(df.head())

Однако за простотой скрываются подводные камни. Например, read_excel() по умолчанию загружает только первый лист, а для многолистовых книг требуется явно указывать параметр sheet_name. Более того, при работе с файлами свыше 100 МБ Pandas может "подвисать" из-за загрузки всех данных в память.

• 📌 Плюсы: простой синтаксис, интеграция с экосistemой Pandas (фильтрация, группировка, визуализация).
• ⚠️ Минусы: медленная работа с большими файлами, зависимость от внешних движков (openpyxl, xlrd).
• ⚡ Секрет: параметр engine='openpyxl' часто решает проблемы с форматом .xlsx, тогда как engine='xlrd' лучше подходит для устаревших .xls.

2. Работа с большими файлами: chunking и Dask

Когда речь идёт о файлах объёмом 500 МБ+, стандартный read_excel() становится непригодным — он пытается загрузить весь файл в оперативную память, что приводит к сбоям или чрезмерному потреблению ресурсов. Решение — постраничная загрузка (chunking) или использование Dask для ленивых вычислений.

Пример chunking в Pandas:

chunk_iter = pd.read_excel('большой_файл.xlsx', chunksize=10000)
for chunk in chunk_iter:
process(chunk)  # Обработка порции данных

Для ещё более крупных файлов (от 1 ГБ) рекомендуется Dask — библиотека для параллельных вычислений. Она создаёт "ленивый" DataFrame, который грузит данные только при необходимости:

import dask.dataframe as dd

ddf = dd.read_excel('огромный_файл.xlsx')
result = ddf.groupby('column_name').mean().compute()  # Вычисление по требованию

⚠️ Внимание: Chunking работает только с однолистовыми книгами. Для многолистовых файлов придётся загружать каждый лист отдельно или использовать PyXLSb для бинарного чтения.

3. Прямое чтение ячеек: OpenPyXL и xlrd

Если вам нужно не просто загрузить данные, а точно контролировать процесс чтения (например, пропускать пустые строки, обрабатывать формулы или извлекать стили ячеек), стоит использовать специализированные библиотеки вроде OpenPyXL или xlrd. Они предоставляют доступ к низкоуровневым объектам Excel: листам, ячейкам, формулам.

Пример с OpenPyXL:

from openpyxl import load_workbook

wb = load_workbook('данные.xlsx', data_only=True)  # data_only=True игнорирует формулы
sheet = wb['Лист1']

for row in sheet.iter_rows(values_only=True):
print(row)

Ключевые особенности:

• 🔍 OpenPyXL: поддерживает .xlsx, умеет работать с формулами (если data_only=False), но медленнее Pandas.
• 📊 xlrd: быстрее для .xls, но не обновляется с 2020 года (проблемы с новыми .xlsx).
• 🛠️ PyXLSb: единственная библиотека для чтения бинарных .xlsb (используются в финансовых отчётах).

4. Ошибки кодировки и повреждённые файлы

Одна из самых распространённых проблем при загрузке Excel в Python — ошибки кодировки, особенно если файл сохранён в ANSI или содержит кириллицу. Типичные ошибки:

• UnicodeDecodeError: 'utf-8' codec can't decode byte...
• XLRDError: Unsupported format, or corrupt file
• KeyError: "There is no item named..." (при неверном имени листа)

Решения:

1. Явное указание кодировки: pd.read_excel(..., encoding='cp1251') для Windows-1251.
2. Использование chardet: для автоматического определения кодировки.
3. Восстановление файла: открыть в Excel и сохранить как .xlsx (не .xls!).

# Пример с chardet
import chardet

with open('файл.xlsx', 'rb') as f:
result = chardet.detect(f.read(10000))  # Анализ первых 10к байт

df = pd.read_excel('файл.xlsx', encoding=result['encoding'])

from openpyxl import load_workbook

wb = load_workbook('отчет.xlsx', data_only=False)
sheet = wb.active

for row in sheet.iter_rows():
for cell in row:
if cell.data_type == 'f':  # 'f' означает формулу
print(f"Ячейка {cell.coordinate}: формула = {cell.value}")

df = pd.read_excel('данные.xlsx')
df.to_parquet('данные.parquet', engine='pyarrow')  # Сжатие по умолчанию

!pip install gspread oauth2client
import gspread
from oauth2client.service_account import ServiceAccountCredentials

Авторизация
scope = ['https://spreadsheets.google.com/feeds', 'https://www.googleapis.com/auth/drive']
creds = ServiceAccountCredentials.from_json_keyfile_name('credentials.json', scope)
client = gspread.authorize(creds)

Загрузка
sheet = client.open("Название документа").sheet1
data = sheet.get_all_records()
df = pd.DataFrame(data)

url = 'https://example.com/data.xlsx'
df = pd.read_excel(url, engine='openpyxl')

import boto3
import io

s3 = boto3.client('s3', aws_access_key_id='YOUR_KEY', aws_secret_access_key='YOUR_SECRET')
obj = s3.get_object(Bucket='your-bucket', Key='data.xlsx')

df = pd.read_excel(io.BytesIO(obj['Body'].read()))

from openpyxl import load_workbook
wb = load_workbook('file.xlsx')
data = [[cell.value for cell in row] for row in wb.active.iter_rows()]

xl = pd.ExcelFile('file.xlsx')
print(xl.sheet_names)

!pip install msoffcrypto-tool
from msoffcrypto import OfficeFile

file = OfficeFile('protected.xlsx')
file.load_key(password='your_password')
file.save('unprotected.xlsx')

import xlwings as xw

wb = xw.Book('file_with_macros.xlsx')
wb.macro('Module1.MyMacro')()  # Вызов макроса
wb.save('output.xlsx')
wb.close()