Дедупликация контактов в CRM
Один и тот же клиент в нескольких карточках — частая история почти любой CRM-базы. Как найти дубли, объединить их без потерь и не допустить новых.
Почти в любой CRM, которой пользуются год-два, один и тот же клиент живёт в нескольких карточках. «Иванов И.И.» и «Иванов Иван Иванович», телефон с +7 и с восьмёркой, почта в разном регистре. Дубли копятся сами, и вред от них вполне ощутимый: два менеджера звонят одному клиенту, история общения размазана по разным карточкам, отчёты по клиентам и повторным продажам врут.
Откуда берутся дубли
- Клиент позвонил с другого номера или написал в мессенджер — система создала новый контакт.
- Менеджер не нашёл клиента поиском (искал по фамилии, а заведено по имени) и создал карточку заново.
- Импорт из таблицы наложился на существующую базу.
- Интеграция с сайтом, ботом или телефонией создаёт контакт на каждую заявку, не проверяя, есть ли он уже.
- Объединили две базы после покупки компании или смены CRM.
Последние два пункта обычно дают больше всего дублей, и их же проще всего предотвратить.
Шаг 1. Нормализация
Прежде чем сравнивать, данные нужно привести к единому виду. Иначе «+7 (900) 123-45-67» и «89001234567» не совпадут, хотя это один номер.
- Телефоны — к формату +7XXXXXXXXXX: убрать пробелы, скобки, дефисы, заменить ведущую 8 на +7.
- Почта — нижний регистр, без пробелов по краям.
- ФИО — убрать лишние пробелы, привести регистр, разделить на фамилию, имя и отчество, если всё лежит в одном поле.
- Компании — для B2B лучший ключ ИНН. Названия «ООО Ромашка», «Ромашка ООО» и «ромашка» сравнивать по тексту ненадёжно.
Пример нормализации телефона на Python:
import re
def norm_phone(raw):
d = re.sub(r'\D', '', raw or '')
if len(d) == 11 and d[0] in '78':
return '+7' + d[1:]
if len(d) == 10:
return '+7' + d
return None # нестандартный номер — на ручную проверку
Шаг 2. Поиск дублей
Сравнение идёт в два прохода.
- Точные совпадения по нормализованному телефону, почте или ИНН. Это самые надёжные дубли.
- Нечёткие совпадения: похожие ФИО при одинаковом городе или компании, одинаковый телефон при разных именах. Для текста используют меры похожести строк, например расстояние Левенштейна. Такие пары почти всегда требуют ручного решения.
Инструменты для этого есть разного уровня. В Битрикс24 и amoCRM есть встроенные средства поиска и контроля дублей: они хорошо находят точные совпадения по телефону и почте, но «Иванов И.» и «Иванов Иван» могут не связать. Есть приложения из маркетплейсов обеих CRM с более гибкими правилами. Для большой базы самый гибкий вариант — скрипт по выгрузке: выгрузить, нормализовать, найти пары, а результат вернуть в CRM.
Шаг 3. Объединение без потерь
Главное правило: не сливать вслепую. Сначала пометить пары как «потенциальные дубли», затем проверить и только потом объединять.
- Сделайте резервную копию или полную выгрузку перед массовым объединением.
- Определите главную карточку. Обычно это та, где больше сделок и истории, или самая старая.
- Перенесите связанные данные: сделки, задачи, звонки, переписку, файлы. Проверьте, что встроенная функция объединения в вашей CRM переносит всё, а не только поля контакта.
- Сохраните альтернативные значения. Второй телефон или почта из дубля не мусор, их стоит записать в дополнительные поля.
- Ведите журнал: какие карточки и когда объединены. Если что-то пойдёт не так, будет понятно, что откатывать.
Если база большая, не пытайтесь вычистить всё за раз. Начните с точных совпадений среди активных клиентов — тех, с кем были сделки или общение за последний год. Это самая ценная часть базы, и здесь дубли мешают сильнее всего. Старые холодные контакты можно разобрать позже или вовсе отправить в архив. Заодно станет видно, какой источник плодит больше всего дублей, и с него стоит начать профилактику.
Шаг 4. Чтобы дубли не копились снова
- Интеграции с сайтом, ботами и телефонией сначала ищут контакт по телефону и почте и обновляют найденный, а создают новый, только если ничего не нашлось.
- Маска ввода телефона в формах и в самой CRM, чтобы номера сразу хранились в одном формате.
- Встроенный контроль дублей при ручном создании контакта: менеджер видит предупреждение «похожий клиент уже есть».
- Регулярная проверка — раз в месяц или квартал прогонять поиск дублей и разбирать находки.
Дедупликацию стоит обязательно делать перед переездом в другую систему, иначе дубли переедут вместе с базой. Об этом подробнее в статье миграция между CRM без потери истории. Настройку интеграций, которые не плодят дубли, делаем в рамках услуги интеграция с amoCRM или Битрикс24.
Если в вашей CRM завелись дубли и непонятно, с чего начать чистку, напишите в Telegram или MAX.