tev
Обзор "Рынок ИТ: Итоги 2006" подготовлен При поддержке
CNewsAnalytics Kraftway

Пример решения: Автоматизация Всероссийской сельскохозяйственной переписи 2006

С 1 по 25 июля 2006 года в России была проведена Всероссийская сельскохозяйственная перепись (ВСХП) — мероприятие, имеющее государственное значение для развития сельского хозяйства России, в работе которого приняло участие более 200 тыс. человек, и охватившее 100 млн. россиян. Автоматизацию обработки материалов и получения результатов переписи обеспечила компания «Крок».

О Федеральной службе государственной статистики

Федеральная служба государственной статистики (Росстат) — головная организация, ведущая учет состояния макроэкономических показателей страны, происходящих социально-демографических процессов, уровня занятости населения, других параметров. На сегодняшний день в 89 территориальных органах государственной статистики и 2,2 тыс. районных отделах статистики трудятся около 25 тыс. сотрудников. Результаты деятельности Федеральной службы государственной статистики признаны надежными на международном уровне.

Цели и задачи проекта

Всероссийская сельскохозяйственная перепись — это масштабное обследование аграрного сектора страны. Целью проекта стало создание и сопровождение автоматизированной системы обработки материалов переписи и подготовки ее результатов. Проект охватил 68 региональных центров обработки данных, созданных на базе территориальных органов Росстата по всей стране. Открытый тендер на создание и поддержку комплексной автоматизированной системы выиграла компания «Крок».

Решение

В основе решения лежит технология, разработанная и применявшаяся «Крок» во время Всероссийской переписи населения 2002 года. При этом требовалось учесть специфику данного проекта — существенно большие объемы информации и более сложную предметную область — сведения о земле, инфраструктуре, технических средствах и производственных постройках, поголовье скота, посевах, садах и т.д.

Созданная «Крок» система автоматизировала весь технологический цикл проведения Сельхозпереписи: от считывания информации с машиночитаемых бланков до сохранения результатов в базе данных и формирования итоговых таблиц. В рамках проекта «Крок» поставил территориальным органам госстатистики необходимую технику, провел обучение персонала. В течение всего периода обработки информации служба технической поддержки компании осуществляла поддержку пользователей в режиме «24 часа, 7 дней в неделю, без праздников и выходных».

Основные этапы

Подготовка переписных бланков — важный этап подготовки к переписи. В основу спроектированных специалистами «Крок» и ГМЦ Росстата  машиночитаемых бланков переписи легли опросники, разработанные сотрудниками Росстата и Министерства сельского хозяйства.

4 формы с приложениями включили наборы бланков для различных сельхозпроизводителей (садоводческих, огороднических, животноводческих некоммерческих объединений граждан, фермерских хозяйств и индивидуальных предпринимателей). Отдельная форма бланков была разработана для районов Крайнего Севера. Общее число опросных листов составило 50 видов двухстраничных бланков.

При разработке учитывались не только технические требования, но и человеческий фактор. Подготовленные к опросным листам комментарии облегчили подготовку специалистов и помогли переписчикам в ходе переписи. В бланках предусмотрена возможность внесения исправлений — каждый бланк содержит поле с образцами написания цифр, а также примером того, каким образом можно вносить исправления. Соблюдение единого шаблона при исправлениях позволило при обработке не тратить время на их распознавание оператором вручную — все помарки автоматически распознавались программным обеспечением.

Аппаратное оснащение. В рамках проекта было поставлено 136 серверов HP — по два на каждый региональный центр обработки данных, оборудование Nortel для построения сетевой инфраструктуры региональных центров и ГМЦ Росстата, около 400 рабочих станций, высокоскоростные сканеры ДС300, принтеры. Всего в ходе переписи было использовано около 2500 рабочих станций. В ГМЦ Росстата был развернут комплекс для обработки всех данных, полученных из региональных центров — так называемый федеральный уровень АС ВСХП, включивший в свой состав 15 мощных серверов.

Для обработки переписных бланков в региональных центрах Росстата использовалась технология, основанная на применении системы массового ввода и обработки машиночитаемых документов. Аппаратно-программный комплекс, состоящий из высокоскоростного сканера ДС300 и уникальной системы оптического распознавания рукописных символов «СВОД», позволяет менее чем за 10 минут осуществлять сканирование, распознавание и первичный контроль пачки из 600 двухсторонних бланков. Следующий этап формального и логического контроля, заключающийся в проверке данных, исправлении ошибок переписчиков и нестыковок в данных на переписном листе — более тщательный и потому более длительный - на обработку той же пачки затрачивалось до нескольких часов. 

Высокопроизводительный сканер ДС300, позволяющий обрабатывать до 150 двусторонних документов в минуту (до 300 изображений), разработан и производится в России. Половина сканеров ДС300 была закуплена специально для АС ВСХП. Оставшаяся часть — это прошедшие заводскую профилактику сканеры, использовавшиеся в ходе обработки материалов Всероссийской переписи населения 2002 года. Использование уже существующего оборудования снизило совокупную стоимость создания системы, тем более что в ходе автоматизации Переписи 2002 года изначально закладывалась возможность дальнейшего использования сканеров.

Все оборудование собиралось, настраивалось и тестировалось сотрудниками «Крок». К примеру, каждый сервер прошел полный цикл автоматизированных проверок, разработанных HP для тестирования собственного оборудования, а комплект базового оборудования для каждого региона прошел комплексное тестирование перед отгрузкой. Это важный этап, обеспечивший быстрое развертывание системы и повысивший вероятность бесперебойной работы системы в дальнейшем.

Компоненты решения

Программное обеспечение базового комплекта оборудования:

  • операционные системы семейства Windows Svr 2003 и Windows XP;
  • СУБД SQL Server 2000 и SQL Server 2005;
  • антивирусное ПО Trend Micro;
  • ПО резервного копирования Backup Exec;
  • прикладное программное обеспечение АС ВСХП.

Аппаратное обеспечение базового комплекта оборудования:

  • сканеры ДС300;
  • оборудование HP:
    • 141 32-битный сервер;
    • 3 64-битных сервера;
    • принтеры;
    • ИБП;
  • 8-Терабайтная система хранения среднего уровня EMC;
  • дисковый массив HP на 12 Тб;
  • рабочие станции;
  • коммутаторы Nortel.

Результат и перспективы

Сельхозперепись охватила 47,5 тыс. крупных, средних и малых сельскохозяйственных предприятий и организаций, 249,9 тыс. крестьянских и фермерских хозяйств, 31,4 тыс. индивидуальных предпринимателей, 80,2 тыс. некоммерческих объединений и 17 843,1 тыс.  личных подсобных хозяйств.

В ходе ВСХП-2006 было обработано 225 млн переписных листов (для сравнения  во время ВПН-2002 обработано 160  млн. бланков). Объем базы данных в итоге превысил сотни гигабайт.

Собранные в региональных центрах данные переданы для дальнейшей обработки в ГМЦ Росстата. Это федеральный уровень АС ВСХП, на котором, с помощью специально разработанного «Крок» программного обеспечения, система позволяет обрабатывать и анализировать собранную информацию.

Планируется, что в апреле 2007 года будут подготовлены сокращенные предварительные итоги сельскохозяйственной переписи: 28 наиболее представительных таблиц в двух с половиной тысячах территориальных разрезах, а к концу года — полные предварительные итоги: 750 таблиц за каждый субъект Российской федерации, в двух с половиной тысячах территориальных разрезах.

Окончательные итоги переписи будут представлены к концу 2008 года в многотомном издании в твердом переплете с приложением в виде компакт-диска с записью всех таблиц в электронном виде.

В задачу специалистов «Крок» на этих этапах входит оказание технической поддержки пользователей, сопровождение развернутой ИТ-инфраструктуры на региональном и федеральном уровнях, доработка программного обеспечения АС ВСХП по запросам Росстата. Центральная служба поддержки «Крок» будет обслуживать ГМЦ Росстата и региональные центры по обработке данных ВСХП до завершения всех работ по переписи в 2008 году.

Константин Лайкам, заместитель руководителя Росстата:

«Сельхозперепись успешно завершена. Наряду с сотрудниками Росстата, специалисты «Крок» внесли значительный вклад в подготовку, проведение и дальнейший ход работ по переписи. Они принимали и продолжают принимать активное участие в реализации проекта, оперативно решают все возникающие задачи. Сама методология сбора информации и технология ее обработки, как и требовалось, обеспечила полную конфиденциальность полученных сведений и высокую надежность, слаженность всех компонентов системы, которая, несмотря на всю ее сложность, максимально удобна в работе».

Вернуться на главную страницу обзора

Версия для печати

Опубликовано в 2007 г.

Техноблог | Форумы | ТВ | Архив
Toolbar | КПК-версия | Подписка на новости  | RSS