Для решения задач обработки образов и видео потоков используют два направления [1-5]:
- Изучение естественных способностей к распознаванию у человека или других организмов.
- Разработка математических моделей распознавания и технических устройств на их основе, изучение опыта их работы.
Рассмотрим более подробно использование технических устройств и средств для обработки видеопотоков в рамках операционной системы Microsoft Windows.
OpenCV — библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом. Реализована на C/C++, так же разрабатывается для Python, Ruby, Matlab, Lua и других языков. Может свободно использоваться в академических и коммерческих целях — распространяется в условиях лицензии BSD.
OpenCV предоставляет широкий ряд инструментальных средств для обработки и распознавания графических изображений, реализующих существующие методы распознавания образов, представленных в работах [1-5]. Но в тоже время библиотека не реализует нейросетевые методы распознавания, представленные в работах [6-10]. Библиотека совместима с Intel Image Processing Library (IPL), которая осуществляет операции низкого уровня в цифровых образах. Несмотря на такие примитивы, как например, бинаризация, фильтрация, OpenCV — по большей части высокоуровневая библиотека.
Средства библиотеки предусматривают использование графических файлов большинства используемых форматов (JPEG, GIF, PNG, BMP, RAW), видео файлов, а также подключение внешних устройств — web камер. В библиотеке также предусмотрена реализация собственного GUI.
Однако стандартных средств интеграции не всегда достаточно для решения прикладных задач. Визуальные элементы OpenCV не способны реализовать удобный и гибкий пользовательский интерфейс, а использование web камер для решения задач, связанных с анализом видео, накладывает существенные ограничения, поэтому они практически не используются.
Для разработки полноценных приложений компьютерного анализа видеоинформации с использованием возможностей библиотеки OpenCV, необходима реализация взаимодействия с дополнительными инструментами.
Алгоритм взаимодействия большинства IP устройств можно условно представить структурной схемой, приведенной на рисунке 1.
На первом этапе подключения к внешнему IP устройству, устанавливается соединение с командным протоколом. Через него происходит обмен общей настроечной информацией: устройство сообщает запрашиваемому клиенту свою модель, серийный номер; передает начальные установки. В случае неудачной синхронизации, которая может произойти по ряду причин (несоответствие протоколов, превышение числа подключенных клиентов), клиенту отсылается отчет о произошедших ошибках и соединение закрывается. В случае успешной инициализации, происходит настройка IP устройства и получение данных.
Большинство устройств вывода видеоинформации поддерживают стандартные алгоритмы ее кодирования, MPEG, H.264 и Motion JPEG. Основной задачей при подключении IP камеры является поддержка команд протокола устройств. На сегодняшний день на рынке видеонаблюдения представлен широкий выбор IP видеоустройств различных фирм производителей. Среди мировых брендов можно выделить такие фирмы как: Vivotek, Axis, Dlink, Bosch. В связи со сложностью интеграции IP устройств различных производителей, ведется работа по стандартизации командного протокола. Одним из таких решений стал стандарт ONVIF.
Подключение камеры с помощью механизма DirectShow.
Фирмы производители камер предоставляют SDK для подключения собственных устройств, в состав которого входит DirectShow SDK. Он состоит из набора фильтров, позволяющих реализовать захват и декодирование видео потока. Модель, предусмотренная DirectShow, позволяет реализовать анализ видео данных двумя способами:
- Алгоритм анализа видео потока реализовывается в виде фильтра, и подключается в цепочку фильтров.
- Видео данные передаются во внешнюю программу, где и происходит их анализ.
Для реализации возможности анализа видеопотока и реализации Transform фильтра в автором предлагается использование среды MATLAB, предоставляющей широкий инструментарий для обработки видео потоков.