Центр компетенции по вопросам технологического зрения роботов

Техническое зрение роботов

Проведенные исследования показывают, что одной из основных проблем создания робототехнических комплексов различного назначения является создание эффективной системы технического зрения. Проблема заключается в том, что функционирование робототехнического комплекса происходит в трехмерной среде, параметры освещенности которой меняются в значительных пределах, что существенно влияет на изменение условий соотношения сигнал/шум.

Эффективное функционирование робототехнического комплекса в трехмерной среде требует установки на борту стереоскопической системы технического зрения (ССТЗ), которая должна состоять, по меньшей мере, из двух видеокамер, разнесенных по горизонтали на некоторую стерео базу и синхронизированных по кадровой развертке.

Учитывая работу технического зрения робота в различных режимах, должна быть предусмотрена система позиционирования полей зрения, обеспечивающая механический поворот стереопары вверх/вниз, влево/вправо, с учетом изменения угла конвергенции, что абсолютно необходимо для удержания истинного положения крайней правой кромки дороги, для движения, например, по узкому мосту, а также при встречном разъезде. Управление полями зрения должно осуществляться с учетом наклонов РТК ВН вверх-вниз, возникающих в процессе движения по пересеченной местности.

Ввиду значительной изменчивости освещенности внешней среды и необходимости согласования динамического диапазона видеокамер, стереосистема должна быть снабжена объективами со встроенной диафрагмой, функционирование которой должно быть устойчиво к вибрациям и ударам. Управление диафрагмами должно осуществляться таким образом, чтобы формируемые изображения стереопары были по интенсивности близки между собой и отвечали определённому критерию (гистограммы изображений должны быть центрированы и носить одно – двухмодовый характер).

С учетом оценки потока видеоинформации и невозможности её передачи в реальном масштабе времени оператору по каналам связи (с учетом имеющихся задержек в канале), на борту робототехнического комплекса должна производиться предварительная обработка видеоинформации, завершающаяся фрагментацией. На основе фрагментированной видеоинформации должна решаться задача восстановления трехмерной сцены по двум плоским стереоскопическим изображениям в реальном масштабе времени с обновлением  в 1/25 секунды.

Сформированная трехмерная сцена должна быть масштабируемой,  привязанной к цифровой карте местности, имеющейся на борту и пригодной для решения задач обнаружения, классификации и сопровождения объектов заданных классов инвариантно к повороту, сдвигу и масштабу.

Поток обновления трехмерной сцены должен быть существенно меньше исходного потока видеоданных (не менее, чем в 1000 раз).

           В таблице приведены основные ошибки, разработчиков роботов различного назначения.


Наименование характеристики Почему так нельзя делать  
1 Использование одной видеокамеры для дистанционного управления наземным роботом Используя проекцию трехмерной сцены на плоскость, нельзя добиться от оператора высокой точности управления из-за низкой точности оценки расстояния до объекта  
2 Использование аналоговой камеры и аналогового канала передачи данных оператору Не позволяет обеспечить надежность управления из-за замирания канала связи и из-за его низкой помехозащищенности  
3 Использование объектива с диафрагмой ИРИС Не позволяет получать качественные изображения в условиях вибрации и ударов при движении робота по пересеченной местности  
4 Использование матричных фотоприёмных устройств, эксплуатирующих принцип временного накопления зарядов

Матричные фотоприёмные устройства, эксплуатирующие принцип временного накопления зарядов, малопригодны для создания систем технического зрения роботов.

В условиях низкого соотношения сигнал/шум, а также при движении робота, в разных кадрах ощущается  нехватка или избыток времени накопления, что легко можно увидеть на гистограммах изображений 
 
5 Современные тенденции создания матричных фотоприёмников ведут к увеличению разрешающей способности за счет увеличения количества элементов разрешения, что при сохранении или уменьшении общей площади матрицы ведет к снижению эффективной площади чувствительных элементов Уменьшение площади чувствительных элементов ведет к сужению его области применения (может использоваться только при высоком уровне освещенности сцены)  
6 Дистанционное управление роботом с пульта, что делает его обычным манипулятором с дистанционным управлением К роботу предъявляются иные требования, предполагающие использование искусственного интеллекта