Как подключить БД

Q Виды БД

A В зависимости от содержания БД (выбросы, концентрации, заболеваемости и т.д.) и от создавшего БД ведомства (федеральное, региональное, местное) БД могут иметь разные форматы. Ниже перечислены основные разновидности форматов, для которых отлаживалась программа.

Варианты организации баз данных

Набор независимых "плоских" таблиц	Реляционная БД: связанные таблицы
В ряде случаев создается специальный файл с перечнем источников выбросов, химических веществ или станций метеорологических измерений. К нему подцепляется как "slave" файл с характеристиками выбросов или с временным рядом измеренных концентраций химических веществ. При этом источник выброса, вещество и/или станция измерения кодируется номером в специальной колонке. В других случаях реляционная взаимосвязь не используется и название источника выброса, химического вещества или станции измерения вносится напрямую в соответствующую колонку плоской таблицы.
Содержание: регистр случаев	Содержание: средние значения
На уровне города или района существуют две основные БД типа регистра случаев: результаты ежедневных измерений метеорологических параметров и загрязнения воздуха, а также регистр обращений в лечебные учреждения. В первом случае каждая строка записи содержит численное значение измеряемого параметра. Во втором случае содержание каждой записи имеет характер логической переменной ("да - нет"), указывающей на сам факт обращения. Из-за этой разницы при построении агрегированных характеристик в первом случае получается средняя концентрация за период времени и т.п., а во втором случае - среднее число обращений за единицу времени. На региональном и федеральном уровне, как правило, имеются только БД средних значений: среднемесячные или среднегодовые концентрации, средняя обращаемость в разбивке по группам заболеваний и т.д. Эти БД, естественно, менее информативны, чем регистры случаев, так как не позволяют изучать острые отклики на кратковременные интенсивные загрязнения и не позволяют определять экспозиции в связи с отсутствием индивидуальной информации об обратившихся.
Названия координатных интервалов (например, веществ) - в заголовках столбцов таблицы	Названия координатных интервалов (например, веществ) - в клетках таблицы
В ряде случаев для каждого загрязняющего вещества отводится своя колонка в таблице измерений. При этом код вещества находится в заголовке колонки, и каждое измерение набора концентраций представляет собой одну запись в БД. В других случаях, все концентрации записываются в одной колонке, и вводится дополнительная колонка, содержащая код вещества. В этом случае каждому измерению концентрации во временном ряду соответствует целый набор записей БД по числу веществ. Те же варианты существуют для БД выбросов: одному источнику может соответствовать одна запись или несколько записей по числу веществ.
Все данные записаны в таблицу в явном виде как одно число	Некоторые данные должны вычисляться по нескольким числам, например возраст - по дате рождения и обращения
В большинстве случаев записанные в БД числа напрямую импортируются в кубы данных. Исключение представляет БД обращений в медицинские учреждения, где не всегда возраст обратившегося указывается в явном виде, и тогда он должен вычисляться по дате рождения и дате обращения. Модельные алгоритмы для расчета распространения выброса и риска производят вычисления на основе целого набора чисел из БД, при этом используются как основные БД (например, данные о выбросах), так и вспомогательные (например, данные метеорологических измерений).
Год и территория записаны внутри таблиц в колонках "Время" и "Место"	Год и территория закодированы в названии файла таблицы. Для каждого места / времени - свой файл
Корректное заполнение БД требует наличие отдельных колонок для даты и времени измерения, а также для территориальной единицы (метеостанция, поликлиника и т.д.), к которой относится запись. К сожалению, таких "корректных" БД меньшинство, а по большей части данные о месте или времени закодированы в названии файла БД, например moscow1200.dbf - Москва, декабрь 2000 года. В других случаях такие "кодовые имена" даются строкам или колонкам таблицы, куда данные записываются, подобно тому, как описано здесь. Естественно, в этих случаях невозможно прочитать БД и правильно распределить данные по времени и территории, не задав конкретный способ расшифровки подобных обозначений. Это делается при подключении БД к программе
Кодировка всех значений в таблице числовая	Кодировка некоторых значений (например, румба ветра или пола) - буквенная
Как правило, основное содержимое БД - числа. "Качественные" признаки, такие как название территории, пол больного и др. тоже часто кодируются индексами с использованием реляционной связи с таблицей индексов. Однако те же самые переменные могут быть записаны в БД, как числом, так и кодовым буквенным обозначением. Например, пол: 1/2 или М/Ж, направление ветра: числом в градусах или кодом румба (СВ, З и т.д.). При использовании "говорящих" кодов, как правило, таблица числовых индексов для них не создается. В этих случаях необходимо при подключении БД к программе задать количественную расшифровку таких обозначений.
Кодировка времени стандартная (например, 1/11/00)	Кодировка времени нестандартная
Корректная запись даты и времени в БД должна следовать европейской системе обозначений (31.12.2000) или американской системе обозначений (12/31/2000), причем в соответствии с тем, какая система используется на компьютере, где работает программа. К сожалению, на практике время записывается по-разному: без указания года, с разнесением даты и месяца по разным колонкам, с использованием буквенных обозначений месяца, с использованием дефиса и др. разделителей и т. д. Поэтому, как правило, при подключении БД необходима предварительная настройка способа подключения даты и времени.
Формат данных внутренний для поддерживающей их базы данных	Формат данных экспортный или универсальный (например, dbf)
Программа работает только с универсальным экспортным форматом БД (*.dbf), а также с БД типа Paradox (*.db). В то же время, многие БД ведутся во внутреннем формате, поддерживающих их систем (Access и т.д.). С такими БД программа не умеет работать напрямую: их надо предварительно экспортировать в формат DBF, причем полностью, т.е. с сохранением реляционных отношений, если они имеются.
Кодировка русского текста в таблицах - для DOS	Кодировка русского текста в таблицах - для Windows
Программа читает БД, сформированные как под DOS, так и под Windows, если в них корректно указана кодировка русскоязычных текстов. В ряде случаев это бывает сделано некорректно, например, русскоязычный текст внутри БД имеет кодировку DOS, а для колонки, в которой он находится, указана кодировка Windows. В этом случае программа может показывать нечитабельные символы, и необходимо переформатировать БД (например, средствами Borland DataBase Desktop), приведя ее к корректному виду.

Модуль программы, отвечающий за подключение БД, позволяет точно указать вид формата БД в соответствии с приведенными выше пунктами. Результирующее определение формата вместе с другими параметрами чтения БД записывается в файл Local.Ini, который служит основой для правильной интерпретации БД.
[Верх]

1. Пользователь должен задать описание структуры соотношения названий файлов, блоков и координат (см.).
2. Для каждого блока задается:

• Формат координаты и ее уникальность, а также тип записи в БД (регистр случаев/статические данные).
• Последовательно определяются циклы выполнения расчета по каждой координате (какой цикл: простой перебор, или SQL-запрос, или поиск по ключу БД, или поиск с помощью перебора данных в БД).
• Если нужна работа с БД или SQL-запрос, то см. пример.

1. Интервалы отражают все значения переменных, присутствующих в БД. Например, если в данной БД нет заболевания "Астма", то не будет интервала с таким именем по переменной "Диагноз".
2. Интервалы задаются соответственно решаемой задаче, а под них уже подбираются БД, которые могут снабдить их данными. Например, можно включить интервал "Астма", даже если в текущей БД его нет, в расчете на то, что этот диагноз может присутствовать в БД по другой территории или периоду времени.

1. Отсутствие или неправильное название модели БД. Проявляется в виде соответствующего сообщения. Как исправить: привести в соответствие название модели подключения в файле Local.ini и в дереве координатных интервалов (по координате "Территория") блока, куда подключена БД.
   
   Модель может быть недоступна, если файл Local.ini не находится в каталоге программы.
2. Не найдена БД, описанная в модели. Проявляется в виде соответствующего сообщения ("Невозможно выполнить запрос"). Как правило, это происходит при переносе БД в директорию, отличную от прописанной в Local.ini. Как исправить: поменять директорию вручную в файле Local.ini.
3. Программа не находит в БД данных, соответствующих дереву координат блока. Это наиболее частая ошибка. При этом в строке состояний индикатора чтения из БД подразделы "Всего" или "Принято" остаются неизменными. Куб данных, в который производится чтение, заполнен символами "Нет данных". Это может происходить по следующим причинам.
   • Названия полей БД не соответствуют названиям полей, указанным в модели.
   • Содержимое записей в БД (названия территорий и т.п.) не соответствуют названиям интервалов в координатном дереве блоков.
   • Несоответствие кодировки языка в БД кодировке названий координатных интервалов.
   • Несоответствие формата даты и времени в БД, формату даты и времени, заданному в модели подключения, или несоответствие текстовой формы записи даты и времени названиям интервалов координаты "Время".
   • Неправильный порядок координат в SQL-запросе (задается при подключении БД). Возникает, когда в SQL-запрос включаются координаты, цикл перебора которых лежит ниже, чем SQL-запрос, таким образом, к моменту SQL-запроса их значение не определено. Как устранить: перенести SQL-запрос ниже цикла указанной координаты. (Или еще раз задать модель заново, или вручную в файле Local.ini поменять нумерацию циклов).
   • Названиям координатных интервалов, соответствующих названиям полей БД, ошибочно поставлено в соответствие содержание записи в этих полях. (см.)

Как выбрать из данных исходные данные для работы

Q Как построить дерево интервалов и как установить соответствие между интервалами и кодами БД

A Здесь мы рассматриваем построение координатного дерева "под задачу" [см. выше]. Для этого используется специальный модуль. В зависимости от блока, из которого он вызывается, в нем доступны те или иные координаты. По умолчанию, по каждой координате есть два интервала "Весь набор", первый из которых - формальный (то есть ему ничего не соответствует в кубе данных), а второй - реальный. Рекомендуется заменить второй из них на максимальный группирующий интервал, выбранный соответственно задаче: охватываемый период времени, охватываемая территория, "Все загрязнители", "Все источники" и т.д. Для временной и пространственной координаты имеет смысл задать группировку типа "среднего значения", для координат "Источник" и "Загрязнитель" - группировку типа "Суммирование". В зависимости от способа расчета полного риска, в блоке риска используются и более сложные способы агрегации риска по загрязнителям.

Внутрь группирующего интервала следует вставить интервалы, соответствующие данным из БД (см. здесь). Они будут заполняться при чтении из БД, а агрегация будет происходить при передаче данных из входного в выходной куб (перетаскивание мышью).

В каждом блоке - своя специфика задания координатных интервалов. В блоке выбросов обычно нет данных по временной динамике, поэтому задается единственный интервал с кодовым названием "Всегда". Программа интерпретирует такие данные как применимые к любому моменту времени. Обычно для выбросов также нет разбиения по территориям, отличного от разбиения по источникам выброса, поэтому координата "Территория" также задается кодовым словом "Везде". Однако можно и сгруппировать источники по территориям, например заводы - по районам города. Это имеет смысл только для расчета суммарного выброса по территориям. На расчет распространения выбросов и модельных концентраций это не влияет: туда входят только координаты источников.

Для сопоставимости данных по выбросам и концентрациям или по концентрациям и рискам, они должны содержать одни и те же интервалы времени. Соответствие по территориям не обязательно, так как оно устанавливается в ходе расчета по модели распространения выброса или по модели формирования экспозиции.

Для сокращения объемов кубов данных, в блоке выбросов параметры источников размещены вдоль той же координаты, что и загрязнители. В блоке концентраций метеопараметры размещены также вдоль загрязнителей.

В блоке риска входной куб данных не подсоединен к БД, так как БД по риску не существует. Он используется как хранилище стандартных коэффициентов экспозиции. Поэтому ни модифицировать его координатные интервалы, ни пытаться считать в него данные не следует. Интервалы выходного же куба данных можно свободно устанавливать в зависимости от задачи, но, применяя их, не следует обновлять координатные интервалы входного куба.
[Верх]

1. Неправильная строка названия координатного интервала, например территории. Эта ошибка относительно безобидна. Она приводит только к несоответствию строки БД координатному интервалу куба данных, так что указанный интервал оказывается пустым - "Нет данных". Эту ошибку удобно обнаруживать просмотром временного ряда данных в таблице (пробелы в данных хорошо заметны внутри сплошного ряда чисел) или в графике (пробелы выглядят как "провалы" в графике). Для коррекции этой ошибки необходимы средства работы с исходной БД внутри поддерживающей эту БД системы. Программа такие возможности не предоставляет, так как берет БД в готовом виде. Коррекцией же куба данных в программе эта ошибка не исправляется.
2. Неправильное числовое значение координатного интервала (времени, возраста и т.д.). Эта ошибка приводит к тому, что соответствующая строка БД дает вклад в "чужой" координатный интервал. Обнаружить такую ошибку очень сложно. Наиболее подходящее средство ее обнаружения в программе - просмотр исходной БД соответствующим модулем. Как правило, в БД записи упорядочены, например по времени. И запись, значение которой не соответствует расположению, может быть ошибочной (например, в начале БД "11/1/2000" вместо "1/1/2000"). Эта ошибка, как и предыдущая, исправляется только системой поддержки БД.
3. Частая ошибка - пропуск или добавление лишнего разряда в значении измеренных величин, например концентрация 0,1 вместо 0,01. Такие ошибки достаточно легко обнаруживаются просмотром временного ряда, как сказано выше. Они выглядят как "выскакивающие значения". Удобно просматривать эти значения графиком в режиме ран жировки. Тогда они выглядят как пики в начале ранжированного ряда значений. Найдя их, следует вернуться к табличному просмотру и вручную исправить значение в кубе данных, если понятно, каким было правильное значение. После исправления желательно опять вернуться в график и проверить, что исправленное значение разумно ложится во временной ряд.
   
   

   Предупреждение: таким способом можно подавить реальные пики концентраций и т.п., которые представляют наибольший интерес для анализа. Гарантированного способа отличить значимые пики от ошибок БД нет. Методы различения базируются на том, что ошибки, как правило, однократные, а реальные пики, как правило, сопровождаются шлейфом повышенных значений в развертке по одной из координат: времени, территории и др. Подробнее о выявлении таких кластеров повышенных значений см. анализ с помощью графиков.

   
   
   Если ошибки ввода значений - другого типа, то есть меньше, чем на разряд, то их обнаружить крайне трудно.
4. В ряде БД встречается типичная ошибка: замена отсутствующих измерений на нулевые значения. Например, в выходные дни, когда не производятся измерения концентраций, заносится нулевая концентрация. Это может очень сильно исказить средние значения и сделать невозможным осмысленный статистический анализ. Вручную неудобно изменять все такие значения на признак "Нет данных", так как их много. Поэтому в программе предусмотрена автоматическая замена нулей на "Нет данных" в модуле табличного просмотра и исключение нулей из анализа в модуле графика. Разумеется, при этом подавляются и реальные нулевые измерения, если они есть.