Проектирование баз данных
Schema design, индексы, миграции. Чтобы база масштабировалась и не тормозила через год.
Обновлено
Проектирование баз данных: схема, индексы и миграции, чтобы база не тормозила при росте данных. Срок — 14+ календарных дней. Стоимость считаем после короткого брифа.
Что входит
- Анализ текущей или новой схемы
- Нормализация и денормализация по делу
- Индексы и query plan-анализ
- Партиционирование под рост
- Стратегия миграций и rollback
База данных — та часть системы, ошибки в которой проявляются не сразу. На старте всё летает, потому что записей мало. Через год каталог вырос, заказов стало в десятки раз больше, и страницы, которые открывались мгновенно, начинают думать по несколько секунд. Отчёты ставят сервер на колени, а любое изменение структуры превращается в рискованную операцию с остановкой сайта. Исправлять это потом дороже, чем заложить правильно сразу.
Мы проектируем схему для новых проектов и разбираем существующие базы, которые начали тормозить. Если проект маленький и рост не ожидается, сложное проектирование не нужно: хватит аккуратной схемы и пары индексов, и мы так и скажем, не раздувая работу.
Кому подходит
- Командам, которые начинают веб-сервис, CRM или маркетплейс и хотят заложить структуру данных на годы вперёд.
- Проектам, где сайт или приложение стали медленными, а хостинг уже несколько раз меняли на более мощный без результата.
- Системам, в которых структуру данных меняли много раз по ходу, и теперь никто не понимает, где какие данные.
- Компаниям, которым предстоит перенос данных из старой системы в новую.
Что делаем
- Анализ. Для новой системы разбираем предметную область: какие сущности, как связаны, какие запросы будут самыми частыми. Для существующей — смотрим схему, объёмы, журнал медленных запросов и нагрузку.
- Схема. Нормализуем там, где важна целостность данных, и осознанно денормализуем там, где скорость чтения важнее: например, храним посчитанные итоги для каталога или отчётов. Каждое такое решение фиксируем, чтобы через год было понятно, зачем оно.
- Индексы и планы запросов. Разбираем реальные запросы через план выполнения: где идёт полный перебор таблицы, где индекс есть, но не используется, где индексов слишком много и они тормозят запись.
- Партиционирование. Большие таблицы, которые растут со временем (заказы, события, логи), делим на части по дате или другому признаку. Запросы по свежим данным остаются быстрыми, а старые данные проще архивировать.
- Стратегия миграций. Изменения структуры оформляем версионированными миграциями с планом отката. Для работающих систем разбиваем опасные изменения на шаги, чтобы не останавливать сервис.
- Документация. Схема с описанием таблиц и связей, список принятых решений и рекомендации по росту.
Практические детали
Чаще всего тормоза вызывает не сама база, а то, как к ней обращается код. Классика: страница списка делает отдельный запрос для каждой строки, и сто товаров — это сто запросов. Или фильтр по полю, на котором нет индекса. Поэтому мы смотрим не только на схему, но и на запросы, которые реально выполняются, а результат показываем на цифрах «до и после» на ваших данных.
Второе — миграции на живой базе. Добавить колонку или индекс в таблицу с миллионами строк — это не мгновенная операция, и неосторожная миграция может заблокировать таблицу на минуты, а сайт в это время будет недоступен. Такие изменения делаем поэтапно: сначала добавляем новое рядом со старым, переносим данные, переключаем код и только потом удаляем старое. На каждом шаге есть путь назад.
Третье — бэкапы. Любые серьёзные изменения структуры начинаются с проверенной резервной копии, и проверенной значит восстановленной хотя бы раз, а не просто созданной. Если резервного копирования нет, начинаем с него.
Проектирование базы часто идёт в паре с разработкой самой системы: веб-приложения или внутренней админки. А чтобы видеть деградацию раньше пользователей, пригодится настройка мониторинга с отслеживанием медленных запросов.
Сроки и стоимость
Срок — от 14 календарных дней. Стоимость считаем после короткого аудита: зависит от того, новая это система или существующая, числа таблиц и сложности связей, объёма данных, требований к работе без остановки и того, нужно ли переписывать запросы в коде приложения.
Пример из практики
Например, для интернет-магазина, где карточка товара и каталог с фильтрами со временем стали открываться всё медленнее, а переезд на более мощный сервер помог ненадолго. При разборе обычно выясняется, что фильтры работают по полям без индексов, а история заказов хранится в одной большой таблице вместе с черновиками и брошенными корзинами. Правка индексов, разделение таблицы и переписывание нескольких самых тяжёлых запросов дают больше, чем очередное увеличение тарифа хостинга.
Что нужно от вас
- Доступ к копии базы или дамп структуры, если работаем с существующей системой.
- Описание задачи и ожидаемого роста для нового проекта.
- Контакт разработчика, который знает код приложения.