Как выгрузить данные из 2ГИС в Excel: официальные и альтернативные методы

Пример простого парсера на Python для сбора названий и адресов организаций:

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

driver = webdriver.Chrome()
driver.get('https://2gis.ru/moscow/search/аптеки')

Пролистываем страницу для загрузки всех элементов
for _ in range(5):
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2)

Собираем данные
items = driver.find_elements(By.CLASS_NAME, '_1nvmeh4')
data = []
for item in items:
name = item.find_element(By.CLASS_NAME, '_t98z6e').text
address = item.find_element(By.CLASS_NAME, '_1h72n5s').text
data.append({'Название': name, 'Адрес': address})

driver.quit()

Сохраняем в Excel
import pandas as pd
pd.DataFrame(data).to_excel('аптеки_москва.xlsx', index=False)

Однако у парсинга есть серьёзные минусы:

• 🛡️ 2ГИС активно борется с ботами: использует CAPTCHA, блокирует IP, меняет структуру HTML.
• ⚖️ Сбор контактов без согласия может нарушать ФЗ-152 "О персональных данных".
• ⏳ Парсинг крупных каталогов (например, всех ресторанов Москвы) может занять часы или дни.

⚠️ Внимание: Если вы используете парсинг для коммерческих целей (например, продажи баз данных), 2ГИС может подать жалобу в Роскомнадзор или инициировать судебный иск за нарушение авторских прав. В 2023 году платформа уже блокировала десятки аккаунтов за массовый сбор контактов.

Альтернативный вариант — покупка готовых баз у партнёров 2ГИС. Некоторые компании легально продают агрегированные данные (например, списки организаций по ОКВЭД) с разрешения платформы. Стоимость таких баз начинается от 5 000 рублей за регион.

Как обработать выгруженные данные в Excel

Даже если вам удалось скачать данные из 2ГИС, их ещё нужно привести в удобный вид. Часто экспортированные файлы содержат лишние столбцы, дубли или некорректные форматы (например, даты в виде строк). Вот как исправить типичные проблемы:

1. Удаление дублей:

Выделите столбец с уникальными идентификаторами (например, "Название" или "Адрес"), затем перейдите в Данные → Удалить дубликаты.

2. Разделение адресов на компоненты:

Если адрес записан в одну ячейку (например, "Москва, ул. Тверская, 10"), используйте функцию ТЕКСТ.ПОСЛЕ() или ТЕКСТ.ДО() (в новых версиях Excel) для извлечения города, улицы и дома.

3. Преобразование JSON в таблицу:

Если вы получили данные через API в формате JSON, используйте Power Query:

1. Перейдите в Данные → Получить данные → Из файла → Из JSON.
2. Выберите нужные поля и нажмите Загрузить в....

4. Геокодирование координат:

Если в файле есть широта и долгота (lat, lon), их можно конвертировать в адрес с помощью Google Maps API или надстройки Excel Geocoding Tool.

Для работы с большими файлами (более 100 000 строк) рекомендуется использовать Power Pivot или перейти на Google Sheets, где есть функция =IMPORTJSON() для прямой загрузки данных из API.

Альтернативные источники данных вместо 2ГИС

Если выгрузка из 2ГИС слишком сложна или запрещена, рассмотрите альтернативные источники:

• 🌍 Google Maps: позволяет экспортировать списки мест через Google My Business API (с ограничениями).
• 📌 Яндекс.Карты: есть инструмент Яндекс.Бизнес с аналитикой и выгрузкой данных.
• 📊 Открытые данные governments: например, портал открытых данных РФ содержит реестры организаций.
• 🔍 Специализированные агрегаторы: Zoon, Flamp, Yell (для некоторых категорий бизнеса).

Преимущество альтернативных платформ:

• 🔓 Меньше ограничений на экспорт (например, Google Maps разрешает скачивать до 10 000 точек в месяц).
• 📤 Часто есть готовые инструменты для выгрузки в CSV/Excel.
• 🌐 Поддержка международных данных (если нужен не только СНГ).

Однако у этих источников есть и минусы:

• 📉 Меньше глубина данных (например, в Google Maps нет информации о графике работы или фотографиях интерьера).
• 💰 Некоторые сервисы (например, Yelp) требуют платной подписки для массового экспорта.
• 🔄 Данные могут обновляться реже, чем в 2ГИС.

Если вам нужны контакты компаний для холодных звонков, лучше использовать легальные базы, такие как:

• 📞 Справочник "Жёлтые страницы" (платно).
• 🏢 РусПрофайл или Контур.Фокус (для юридических лиц).
• 📧 Hunter.io или Snov.io (для поиска email по домену).

Типичные ошибки и как их избежать

При выгрузке данных из 2ГИС пользователи часто сталкиваются с одними и теми же проблемами. Вот самые распространённые ошибки и способы их решения:

1. Превышение лимитов API: Если вы отправляете более 10 000 запросов в день, 2ГИС заблокирует ваш ключ на 24 часа. Чтобы избежать этого, используйте паузы между запросами (time.sleep(0.5)) и распределяйте нагрузку по нескольким ключам.

2. Неправильный формат даты:

В экспортированных файлах даты часто записаны как строки (например, "15.05.2026"). Чтобы преобразовать их в формат даты, используйте:

=ДАТАЗНАЧ(ПОДСТАВИТЬ(A2; "."; "/"))

3. Потеря данных при конвертации в Excel:

Если в JSON-файле есть вложенные объекты, при импорте в Excel они могут отобразиться как "[object Object]". Решение — использовать Power Query для развёртывания вложенных полей.

4. Блокировка при парсинге: 2ГИС определяет ботов по поведению (например, слишком быстрые клики или отсутствие движения мыши). Чтобы обойти защиту:

• Используйте Selenium с эмуляцией человеческого поведения (случайные паузы, прокрутка страницы).
• Меняйте User-Agent и IP-адрес (например, через прокси).

5. Ошибки геокодирования:

Если координаты в файле указаны неверно (например, перепутаны широта и долгота), адреса на карте будут отображаться в океане. Проверяйте формат с помощью функции:

=ЕСЛИ(И(A2>-90; A2<90); "Широта корректна"; "Ошибка в широте")

Юридические аспекты: что можно скачивать, а что нет

Сбор данных из 2ГИС регулируется не только пользовательским соглашением платформы, но и российским законодательством. Вот ключевые моменты, которые нужно учитывать:

1. Персональные данные:

Согласно ФЗ-152, сбор и обработка email, телефонов и ФИО без согласия владельца запрещены. Если вы скачиваете контакты для рассылки спама или холодных звонков, это может квалифицироваться как нарушение закона.

2. Авторские права: 2ГИС считает базу организаций своей интеллектуальной собственностью. Массовый экспорт и перепродажа данных могут стать основанием для иска о нарушении авторских прав (статья 1270 ГК РФ).

3. Пользовательское соглашение:

В правилах 2ГИС чётко указано, что автоматизированный сбор данных запрещён. Нарушителям грозит блокировка аккаунта и IP.

Что разрешено:

• ✅ Выгрузка собственных данных (статистика, отзывы, филиалы).
• ✅ Использование API в рамках установленных лимитов.
• ✅ Ручной сбор информации для личного использования (например, анализ конкурентов).

Что запрещено:

• ❌ Массовый парсинг контактов для коммерческих рассылок.
• ❌ Перепродажа скачанных баз данных.
• ❌ Обход защитных механизмов 2ГИС (например, подмена User-Agent).

Если вам нужны данные для бизнеса, легальные способы:

• 📝 Заключить соглашение с 2ГИС на предоставление аналитики.
• 💼 Купить лицензионную базу у официальных партнёров.
• 📊 Использовать открытые источники (например, данные Росстата или ФНС).

⚠️ Внимание: В 2023 году 2ГИС подала в суд на компанию, которая продавала скачанные через парсинг базы ресторанов. Иск был удовлетворён, а ответчик обязан выплатить компенсацию в размере 1,2 млн рублей за нарушение авторских прав. Аналогичные иски подавались против владельцев сайтов, публикующих контакты организаций без согласия.

FAQ: Ответы на частые вопросы

import requests

url = 'https://upload.2gis.com/images/photo/123456.jpg'
response = requests.get(url)
with open('photo.jpg', 'wb') as f:
f.write(response.content)

function importFrom2GIS() {
var apiKey = 'ВАШ_КЛЮЧ';
var url = 'https://catalog.api.2gis.ru/3.0/items?q=кафе&key=' + apiKey;
var response = UrlFetchApp.fetch(url);
var data = JSON.parse(response.getContentText());
var sheet = SpreadsheetApp.getActiveSpreadsheet().getActiveSheet();

// Записываем данные в таблицу
data.result.items.forEach(function(item, i) {
sheet.getRange(i+1, 1).setValue(item.name);
sheet.getRange(i+1, 2).setValue(item.address_name);
});
}