Как убрать повторяющиеся слова в строках Excel: от простых формул до автоматических макросов

3. Метод 3: Power Query — обработка больших массивов данных

• 📌 Обрабатывать данные без формул (меньше нагрузка на файл).
• 📌 Сохранять шаги очистки для повторного использования.
• 📌 Работать с разными разделителями (пробел, запятая, точка с запятой).

Пошаговая инструкция:

1. Выделите диапазон с данными → Данные → Из таблицы/диапазона (в Excel 2016 — Из таблицы).
2. В редакторе Power Query выделите столбец → Преобразовать → Разделить столбец → По разделителю.
3. Укажите разделитель (пробел) и нажмите ОК. Каждое слово окажется в отдельном столбце.
4. Выделите все столбцы с словами → Преобразовать → Столбец "Удалить дубликаты".
5. Выделите столбцы → Преобразовать → Объединить столбцы (разделитель — пробел).
6. Нажмите Закрыть и загрузить.

📌 Пример: Исходная строка "машина машина красная" → после обработки "машина красная".

Убедитесь, что текст в одном столбце|Проверьте отсутствие ячеек с ошибками (#Н/Д, #ЗНАЧ!)|Сохраните оригинальные данные (создайте копию листа)|Удалите лишние символы (табуляции, неразрывные пробелы)-->

4. Метод 4: VBA-макрос для автоматической очистки

Если вам нужно регулярно очищать дубликаты или обрабатывать сотни тысяч строк, напишите простой макрос. Он будет работать в любой версии Excel (2010–2023).

Код макроса для удаления повторяющихся слов (сохраняет регистр и порядок):

Sub RemoveDuplicateWords()
Dim rng As Range
Dim cell As Range
Dim words() As String
Dim uniqueWords As Object
Dim i As Long
Dim result As String

' Выбираем диапазон (например, столбец A)
Set rng = Selection

' Создаём коллекцию для уникальных слов
Set uniqueWords = CreateObject("Scripting.Dictionary")

For Each cell In rng
If cell.Value <> "" Then
' Разбиваем текст на слова
words = Split(Application.WorksheetFunction.Trim(cell.Value), " ")

' Очищаем коллекцию
uniqueWords.RemoveAll

' Добавляем слова в коллекцию (дубли игнорируются)
For i = LBound(words) To UBound(words)
If words(i) <> "" Then
uniqueWords(words(i)) = 1
End If
Next i

' Собираем уникальные слова обратно в строку
result = Join(uniqueWords.Keys, " ")
cell.Value = result
End If
Next cell
End Sub

Как использовать:

1. Нажмите Alt+F11 → Вставка → Модуль.
2. Вставьте код выше.
3. Вернитесь в Excel, выделите диапазон с данными.
4. Запустите макрос: Alt+F8 → выберите RemoveDuplicateWords → Выполнить.

⚠️ Внимание: Макрос удаляет все дубликаты слов в выделенном диапазоне без возможности отмены. Перед запуском сохраните резервную копию данных или протестируйте на копии листа.

🔹 Модификации макроса:

• Чтобы учитывать регистр, замените uniqueWords(words(i)) на uniqueWords(LCase(words(i))).
• Чтобы сохранять первый дубль (а не последний), измените порядок обработки слов на обратный.

    ' Заменяем все разделители на пробелы
Dim tempStr As String
tempStr = cell.Value
tempStr = Replace(tempStr, ",", " ")
tempStr = Replace(tempStr, ";", " ")
tempStr = Replace(tempStr, ".", " ")
words = Split(Application.WorksheetFunction.Trim(tempStr), " ")

5. Метод 5: Регулярные выражения (для опытных пользователей)

Если вы работаете с сложными шаблонами дубликатов (например, "слово1 слово2 слово1 слово3"), можно использовать регулярные выражения (regex) через VBA. Этот метод требует знаний программирования, но даёт максимальную гибкость.

Пример кода для удаления всех повторяющихся слов (включая несоседние дубли):

Function RemoveAllDuplicates(rng As Range) As String
Dim regex As Object
Dim inputStr As String
Dim outputStr As String
Dim matches As Object
Dim uniqueWords As Object
Dim i As Long

Set regex = CreateObject("VBScript.RegExp")
Set uniqueWords = CreateObject("Scripting.Dictionary")

inputStr = rng.Value

' Настройка regex: ищем все слова (включая кириллицу)
regex.Pattern = "\b[\wа-яА-ЯёЁ]+\b"
regex.Global = True

' Собираем уникальные слова
Set matches = regex.Execute(inputStr)
For i = 0 To matches.Count - 1
uniqueWords(matches(i).Value) = 1
Next i

' Собираем строку обратно
outputStr = Join(uniqueWords.Keys, " ")

RemoveAllDuplicates = outputStr
End Function

Как использовать:

• Вставьте код в модуль VBA (как в методе 4).
• В ячейке используйте формулу: =RemoveAllDuplicates(A1).

🔹 Преимущества regex:

• ✔ Обрабатывает слова на русском и английском.
• ✔ Удаляет дубли независимо от их позиции в строке.
• ✔ Можно доработать для учёта знаков препинания.

⚠️ Внимание: Регулярные выражения в Excel работают медленнее стандартных функций. Не рекомендуется использовать этот метод для обработки более 10 000 строк.

6. Типичные ошибки и как их избежать

При удалении повторяющихся слов пользователи часто сталкиваются с следующими проблемами:

🔹 Дополнительные советы:

• 📌 Перед массовой обработкой протестируйте метод на 10–20 строках.
• 📌 Если важно сохранить знаки препинания, используйте Power Query или VBA.
• 📌 Для больших файлов (>100 000 строк) отдавайте предпочтение Power Query — он работает быстрее формул.

FAQ: Частые вопросы по удалению дублирующихся слов

    ' Меняем порядок на обратный
For i = UBound(words) To LBound(words) Step -1
If words(i) <> "" And Not uniqueWords.Exists(words(i)) Then
uniqueWords.Add words(i), 1
End If
Next i

=TEXTJOIN(" ", TRUE, UNIQUE(SPLIT(A1, " ")))

=TEXTJOIN(" ", TRUE, UNIQUE(ARRAYFORMULA(TRIM(SPLIT(A1, " ")))))

=LAMBDA(text,
LET(
words, TRIM(TEXTSPLIT(text, " ")),
unique_words, UNIQUE(words),
TEXTJOIN(" ", TRUE, unique_words)
)
)(A1)