Программа для интеграции различных источников данных с ядром обработки данных

Назначение - Обеспечение интерфейса интеграции, позволяющего наполнять целевую БД  данными, полученными из различных источников на основании критериев выборки.

Область применения - Любая сфера бизнеса, где необходимо для наполнения БД получать данные из внешних систем (например, автомобильный дилер: получение данных по клиентам, автомобилям, маркам, моделям, модификациям, прайс-листам, запчастям и сервисным работам из внешней базы данных импортера с контролем целостности и релевантности).

Используемый алгоритм - Алгоритм разработан автором. В качестве алгорима обработки данных выступает логика разбиения синхронизируемых запросов на очередь и обработка этой очереди как в синхронном, так и асинхронном режимах, в зависимости от настройки пользователя. Для уменьшения нагрузки на программно-аппаратную часть реализована клиент-серверная архитекутура с основной обработкой очереди в системном сервисе, связь с которым клиентская часть поддерживает за счет очереди сообщений. Для уменьшения нагрузки на стандартные методы доставки сообщений в ОС  Windows  в очереди сообщений передаются только информация о состоянии сервиса интеграции (запущен или остановлен), времена начала и окончания синхронизации каждого из синхронизируемых запросов. Выборка релевантных записей для ускорения получения результатов строится на анализе последней даты изменения записи, получаемой из системной таблицы баз данных. Контроль целостности строится на рассчете контрольной суммы, отвечающей за содержимой таблицы. В случае, если синхронизируемый запрос получает данные не из реляционной базы данных, а из файла типа  XML,  релевантность записи определяется системными битами релевантности файла на жестком диске, что позволяет обрабатывать только актуальные записи на диске. Программное решение позволяет производить и настраивать через пользовательский интерфейс интеграцию с различными источниками данных, в качестве которых могут выступать как традиционные базы данных, так и файлы XML  типа. Задание синхронизации может выполняться как по расписанияю, так и по запросу. Запросы на получение данных могут редактироваться во встроенном редакторе запросов, изменения в котором применяются сразу же, без необходимости перезапуска процесса интеграции.

Функциональные возможности - На данный момент отсутствуют какие-либо ограничения на объем обрабатываемых данных. В процессе тестовых испытаний и опытной эксплуатации проводилась успешная интеграция и обработка данных суммарным объемом 898000 строк. Общая загрузка системы не превышала 10%  в пиковые периоды обработки данных. 

Более подробное описание функционала и методики работы - в прикрепленном файле.

Инструментальные средства создания - Microsoft Visual Studio 2012, EntityFramework, Microsoft Visual C++