Миграция данных ИС
Виды миграций
- Полная “большой взрыв”
- Разовая и остановка работы в источнике
- Частичная итеративно
- Параллельная работа источника и целевой ИС
- Разделение по признаку сущности (только новые сущности)
Подходы к миграции
- Импорт заранее в НС
- Импорт по запросу Агрегата
- в НС нет данных Агрегата, идет проверка в монолит на наличие и импорт из монолита сначала, затем изменения Агрегата в НС
- Импорт в НС после переключения всех ИС потребителей
- Синхронизация Команд в Монолит отключена
- Чтение из Монолита отключено
- Команды в Монолит DBLink отключены
Миграция зависит от:
- UC БП
- ИС
- Сущности (данные, справочники, настройки, ПФ, вложения, доступы)
- Объем миграции/глубина миграции данных
- Автоматическая/Ручная
- Тип миграции
- Периодичность
- Сущности (данные, справочники, настройки, ПФ, вложения, доступы)
- ИС
- Глубина миграции
- БП, Отчетность, политики по историчности хранения данных
Процесс миграции
Стратегия Большой взрыв
- Источники данных (ИС)
- Проектирование ШБД
- ETL \ ELT
- Extract из источников как есть
- Трансформация под целевую ИС
- маппинг данных по целевым шаблонам данных
- качество входных данных, обязательность полей
- взаимосвязи между сущностями
- целостность данных, уникальность ИД
- правила трансформации
- Load в целевую ИС
- Порядок загрузки по сущностям
- Процесс очистки мигрированных данных в целевой ИС при не успешных миграциях
- Восстановление отключенных индексов в ПРОДе, дополнительных преобразований после завершения процедуры миграции
- Проверка итеративно
- Сверка бизнесом, отчеты для сверки агреггированные
- Дозагрузка данных за предыдущий интервал
- Оценка объемов данных и целевой скорости миграции
Стратегия Итеративно
Оценка трудоемкости миграции
- По UC, БП, Сущностям, Полям, Связи сущностей
Технологии
- MSSQL 2 PGSQL
- Commercial
- Free
- Миграция данных AWS Database Migration Service (DMS)
- CDC Debezium используя Снимки (snapshots)