Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
Предисловие редакторов перевода
Сочетания слов «техническое зрение», «машинное зрение», «зрение роботов» все чаще встречаются на страницах специальных и популярных журналов и книг. Только за последнее время на русском языке вышли по меньшей мере четыре книги [1—4], целиком посвященные вопросам, непосредственно относящимся к машинному зрению. Продолжающаяся микроминиатюризация информационной техники позволяет создавать малогабаритные матричные фотоприемники с достаточно высокой разрешающей способностью и специализированные процессы для обработки видеоинформации. Заметные успехи наблюдаются и при разработке теории и алгоритмов решения задач зрения роботов. Созданы экспериментальные системы, в которых успешно решаются задачи обеспечения действий робота с помощью устройств машинног о зрения при выполнении работ в ограниченном круге ситуаций.
В то же время проблема построения полноценной системы машинного зрения, способной надежно и в нужном темпе работать в реальном пространстве (пусть при несколько адаптированных условиях), остается пока нерешенной, и на ней сконцентрированы в настоящее время усилия ряда коллективов и отдельных исследователей в разных странах. Эта проблема чрезвычайно сложна и многопланова. Она включает в себя технические, алгоритмические, математические, физические и даже психологические аспекты, а также большое количество отдельных задач и подходов к их решению в рамках каждого из этих аспектов. Этим объясняется тот факт, что при наличии значительного объема литературы по вопросам машинного зрения в имеющихся книгах мало тематических пересечений.
В ряду подобных книг особое место занимает предлагаемая книга. Ее главная специфика может быть выражена словами «математические задачи зрения роботов», поскольку каждому специалисту в области машинного зрения бросаются в глаза очевидные математические пристрастия автора, вплоть до того, что ряд разделов книги (не г оворя уже о приложении) имеет чисто математический характер. Основное внимание уделено задачам, которые допускают точные математические формулировки и строгие (по возможности изящные) решения, не остающиеся в высоких сферах абстрактной математики, а доведенные до конкретного вычислительного алгоритма. Автор убедительно показывает, какой
широкий диапазон математической техники, от комбинаторной и дифференциальной геометрии до вариационного исчисления и математической статистики, находит применение в алгоритмах машинного зрения. Строгая постановка части задач извлекается из детального анализа физических процессов образования полутонового изображения рассматриваемой сцены, проведенного с присущей автору тщательностью. Это направление исследований, как и развитие методов определения пространственного положения поверхности по распределению на ней полутонов, выделилось во многом благодаря работам самого Хорна.
Можно сказать, что в предлагаемой книге изложена накопленная к настоящему времени та часть арсенала средств машинного зрения, которую можно преподавать студентам соответствующих специальностей без опасений, что она устареет к моменту окончания ими вуза. Сама книга написана на основе такого курса лекций и написана с большим педагогическим мастерством. Большое число поясняющих иллюстраций, частые экскурсы в недостаточно популярные в технических вузах разделы математики делают книгу ценным пособием для перво- начального восполнения пробелов в математическом образовании для многих специалистов. Особую методическую ценность придают ей многочисленные упражнения, сопровождающие каждую главу. По своему назначению и сложности эти упражнения очень разнообразны - от ггростьгх контрольных вопросов для проверки усвоения изложенного материала до небольших тем для самостоятельггого разбора и исследования. В уггражнения внесены также доказательства некоторых утверждений из основного текста, а иногда и развитие его проблематики. Все это делает эту часть книги очень полезной как для обучения, так и для преподавания.
Хотя книга не может служить энциклопедией в области машинного зрения роботов, изложенный в ней материал можно рассматривать как необходимый в настоящее время для специалиста в данной области. Учитывая к тому же тщательность отбора этого материала, высокую квалификацию автора, перечисленные выше достоинства изложения, можно полагать, что она будет полезна и как учебник для начинающих, и как справочник для специалистов. Хотелось бы также надеяться, что издание данной книги внесет свой вклад в повышение общей математической культуры исследований в области машинного зреггия и искусственного интеллекта в целом.
Перевод книги выполнили А. Ю. Каргашин (предисловие, благодарности, гл. 1 -8, 16, приложения), Е. Ю. Зуева (гл. 9-13, 17) и И. М. Бродская (гл. 14, 15, 18).
Ю. А. Садов Е. И. Кугушев
Литература
Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. — М.: Радио и связь, 1987.
Техническое зрение роботов./Под ред. А. Пью.— М.: Машиностроение, 1987.
Андреев В. П., Белов Д. А., Вайнштейн Г. Г., Москвина Е. А. Эксперименты с машинным зрением,— М.: Наука, 1987.
Камынин С. С. Машинное видение. — М.: ИПМ им. М. В. Келдыша АН СССР, 1988.
Предисловие
Машинное зрение — молодая и быстро развивающаяся область знаний, о которой увлекательно писать, но трудно определить, на каком материале остановиться, поскольку новые результаты появляются очень часто. Эта книга — результат переработки базового курса 6.801 «Машинное зрение», который я читал в Массачусетском технологическом институте (МТИ) в течение 10 лет. Первый вариант книги использовался в течение 5 лет. Упражнения в основном представляют собой домашние задания и экзаменационные вопросы. Курс полуфакультативный, поскольку студенты могли выбрать и какой-либо другой курс, относящийся к области искусственного интеллекта. Большинство студентов, посещавших курс, делали это на первом году своего обучения. Некоторые главы книги использовались также при чтении ускоренного однонедельного летнего курса по робототехнике для сотрудников других университетов и специалистов в области промышленности.
Десять лет назад допускалось объединение в одном термине понятий «движение роботов» и «машинное зрение». Однако знания в обеих областях накапливались столь стремительно, что в настоящее время их необходимо рассматривать раздельно. В частности, вторая половина первоначального курса была дополнена Томасом Лозано-Пересом и оформилась в курс 6.802 «Движение роботов». В действительности даже ныне принятый термин оказывается слишком малоемким, чтобы отразить все интересные аспекты, касающиеся машинного зрения.
Интенсивное развитие этой области сделало возможным сократить обзор менее значимых вопросов. Что касается второстепенных тем, то их выбор в некоторой степени есть дело вкуса, и эта книга отражает мои личные симпатии. Иначе и не может быть, поскольку более подробное изложение наработанного в области машинного зрения заняло бы гораздо больше места и не уложилось бы в ясное и последовательное изложение темы. Материал, которой не опирался на солидную теоретическую базу, был опущен.
Аналогично в книгу не вошли подходы, имеющие право на существование благодаря поддержке новейшего математического аппарата, но не ведущие к практически полезным методам извлечения информации из изображений. Вместо этого книга содержит материал, который может оказаться полезным инженерам, использующим методы машин-
ного зрения применительно к «реальной жизни». Например, главы, посвященные обработке бинарных изображений, помогают понять и объяснить, как улучшить многие доступные в настоящее время серийные устройства. По материалу, относящемуся к стереофотометрии и расширенному сферическому образу, можно судить о том, к чему может привести очередной скачок во внедрении результатов исследований в этих областях.
Конкретные подходы и алгоритмы не всегда приводятся во всех деталях. Хорошая реализация зависит от конкретных характеристик доступных вычислительных систем, и их рассмотрение увело бы в сторону от основной темы книги. Кроме того, я считаю, что, прежде чем думать о реализации, необходимо решить основную задачу, связанную с машинным зрением. В большинстве случаев реализация сводится к более или менее непосредственному применению классических методов численного анализа. Тем не менее детали, касающиеся эффективной как программной, так и аппаратной реализации, включены, например, в главы, посвященные обработке бинарных изображений.
Буквально с самого начала курс привлек внимание аспирантов, которые чувствовали потребность ознакомиться с новой областью. Для удовлетворения их более изощренных математических запросов в него был включен соответствующий материал, который необходимо исключить из курсов, предназначенных для разношерстной аудитории, поскольку трудно одновременно закладывать математический фундамент и сообщать всю необходимую информацию. Такое исключение не должно вызывать затруднений, поскольку ряд тем можно излагать по существу независимо от остальных. Отметим, кстати, что основная часть используемого математического аппарата приводится в приложении к книге.
Несмотря на то что некоторые главы естественным образом объединяются в пары (3 и 4, 6 и 7, 10 и 11, 12 и 17, 16 и 18), на самом деле они слабо связаны друг с другом. Студенты с недостаточным знанием теории линейных систем могут пропустить разделы по обработке изображений (тл. 6, 7 и, возможно, 9). Аналогично без ущерба для понимания можно также опустить главы, посвященные меняющимся во времени изображениям (гл. 12 и 17). Ряд глав содержит менее изученный материал по сравнению с другими главами. Поэтому если исключить и его, то основной курс составят гл. 1—4, 10, 11, 16 и 18. Здесь уже не должно быть проблемы связать эти главы единой тематической линией.
Эта книга предназначена для глубокого понимания вопросов, которые, по моему мнению, достаточно хорошо изучены. Это означает, что некоторые темы рассматриваются менее подробно, а другие, которые, на мой взгляд, слишком специальны, вообще не рассматриваются. В связи с этим настоящую книгу можно считать дополнением к книге Дэна Бел- ларда и Христофора Брауна [7], освещающей большое количество вопросов, но с меньшей глубиной. Вместе с тем во втором издании моно-
графии Азриэля Розенфельда и Авинаша Кака [92] элементарные понятия изложены более детально.
Существует тесная связь между обсуждаемым в книге материалом и изучением биологических зрительных систем. На этом я меньше заостряю внимание, используя в качестве извиняющего обстоятельства существование выдающейся работы на эту тему (ныне покойного) Дэвида Марра [75]. По той же причине я уделил несколько меньше внимания вопросам выделения краев, стереозрения по особенностям и некоторым задачам интерпретации изменяющихся во времени изображений. В книгах Эрика Гримсона [48], Элин Хилдрет [59] и Шимона Ульмана [104] эти вопросы рассматриваются гораздо более подробно, чем я могу себе здесь позволить. То же самое можно сказать о классификации образов благодаря существованию уже ставшей классической монографии Ричарда Дуда и Питера Харта [28]. Однако я не был абсолютно последовательным в своем отборе и включил две существенные главы по обработке изображений несмотря на тот факт, что энциклопедическая работа Уильяма Прэтта [87] исчерпывающим образом охватывает тему. Причина заключается в том, что этот материал важен для понимания шагов предпроцессорной обработки, используемых в последующих главах.
Многие из моих студентов на первых порах удивлялись тому, что в такой области требуется нетривиальный математический аппарат. До некоторой степени это связано с тем, что они были знакомы с простыми эвристическими методами, позволявшими получать весьма поразительные результаты. Значительная часть таких методов была разработана на ранней стадии развития машинного зрения, что привело к ложному оптимизму об ожидаемых темпах продвижения в этой области. Позже существенная ограниченность этих специальных подходов стала очевидна. Ныне уже ясно, что как изучение естественного языка требует знаний лингвистики, так и изучение машинного зрения — понимания процесса формирования изображения. Еще совсем недавно подобный вз1ляд не пользовался популярностью.
Если говорить более серьезно, машинное зрение часто рассматривается просто как совокупность средств анализа визуальной информации для системы с «искусственным интеллектом». В самом деле, в системах искусственного интеллекта (ИИ) оно занимает относительно скромное место ввиду значительной его математической сложности. Неверно рассматривать машинное зрение и систему управления роботом просто как «вход-выход» системы ИИ. Проблемы, связанные со зрением, манипулированием и локомоцией, интересны сами по себе, но достаточно трудны, и необходимые для их решения средства нетривиальны.
Работу системы, нормально функционирующей в определенной обстановке, можно частично понять путем анализа физики ее взаимодействия со средой. Применительно к зрению это означает, что, если вы хотите получить информацию о среде на основе изображений, вам
необходимо понять, как они формируются. Моделирование физического взаимодействия, естественно, приводит к описанию этого взаимодействия с помощью уравнений. Уравнения в свою очередь подсказывают алгоритмы получения по изображениям сведений о трехмерном мире. Это моя главная идея. Может показаться удивительным, но лишь немногие студенты с удовольствием применяют усвоенные ими в абстрактной форме математические методы к реальным задачам. Материал настоящей книги побуждает их попрактиковаться в изучаемых методах и, возможно, изучить новые понятия, с которыми они бы иначе не встретились.
В первой части книги основное внимание уделяется предварительной обработке изображений, т. е. как по изображениям получить простое символическое описание. Способы применения этих описаний при пространственных рассуждениях и планирующих действиях менее развиты и преимущественно основываются на методиках, отличных от соответствующих подходов предварительной обработки изображений. Последние пять глав посвящены методам, которые имеют дело с простыми символическими описаниями, непосредственно полученными на основе изображений. Подробности того, как система машинного зрения включается в состав робототехнического комплекса, обсуждаются в заключительной главе, в которой описывается система для взятия деталей из навала.
Значительная часть труда, затраченного на написание этой книги, ушла на составление упражнений. Они служат нескольким целям: некоторые позволяют читателю лучше усвоить идеи, излагаемые в главе; некоторые развивают идеи в глубину, при этом, возможно, привлекаются более утонченные средства; наконец, некоторые служат введением в новые области исследования. Обычно упражнения к данной главе приводятся именно в таком порядке. Об особенно сложных из них читатель предупреждается заранее.
В последнее время наметилась тенденция применения более компактной формы записи. Так, например, раньше в работах векторы нормалей к поверхности или векторы скоростей оптического потока указывались своими компонентами. Теперь стремятся использовать непосредственно векторную запись. Так, для описания ориентации поверхности вместо градиентного простанства сейчас применяют гауссову сферу. В основном тексте книг и я использовал покомпонентную запись, которую первоначально воспринимать проще. Зато в некоторых упражнениях я попытался продемонстрировать способы решения задач с привлечением более компактной формы записи.
Основная часть включенного в эту книгу материала публиковалась ранее, но здесь она представлена в более последовательном изложении с использованием единых обозначений. Добавлен также ряд новых, ранее не публиковавшихся методов. Поскольку область быстро изменяется, кое-что из представленного здесь может буквально за несколько
лет устареть или по крайней мере утратить былой интерес. И наоборот, кое-что из опущенного мною со временем может образовать фундамент для получения новых увлекательных результатов. Однако это не является серьезным недостатком книги, поскольку моя стратегическая линия направлена на развитие подходов, прочно зарекомендовавших себя в машинном зрении, а не специальных методов, разработанных для решения своей конкретной задачи.
Когда у нас будет система машинного зрения «общего назначения»? Во всяком случае, не в ближайший обозримый отрезок времени — вот мой ответ. Это не означает, что машинное зрение — просто интеллектуальная игрушка, не имеющая практического выхода. Напротив, в последнее время достигнут значительный прогресс в двух направлениях: д) концентрации усилий на конкретных аспектах машинного зрения, например на стереозрении и б) концентрации усилий на конкретных применениях, например на распознавании деталей для автоматической сборки. Настоящая зрительная система общего назначения должна охватывать весь спектр аспектов машинного зрения и его приложений ко всем задачам, решение которых основывается на использовании зрительной информации. Кроме все1 о проче! о, она должна включать знания о физическом мире и уметь с ними обращаться.
ь; к. п. Хорн
Благодарности
Студенты курса «Машинное зрение» при МТИ заслуживают всяческих похвал за помощь в подборе и проверке материала. Мои ассистенты-преподаватели внесли свой вклад в постановку многих задач. Роберт Сьёберг также предоставил мне тщательно подготовленные заметки по нескольким темам, которые я, к сожалению, не смог включить в книгу из-за нехватки времени. Множество полезных замечаний по первым наброскам рукописи сделали Роберт Сьёберг, Энди Маултон, Эрик Баер, Майкл Реннерт и Язек Мисковски.
Несколько глав основано на работах, которые я написал в соавторстве. Мне хотелось бы поблагодарить Майкла Брукса за его вклад в обсуждение проблемы восстановления формы по распределению полутонов (гл. И), Брайана Шанка за помощь при разработке методов анализа оптического потока (гл. 12), Энну Брасс за ее вклад в исследование проблемы пассивной навигации (гл. 17) и Капуши Икеуши за его серьезное отношение к реализации системы разборки навала (гл. 18).
Кристофер Браун, Герберт Фриман, Эрик Гримсон, Рамеш Джейн, Алан Макворт и Лотар Россол оказали помощь своими замечаниями по ранним вариантам текста. Майкл Брэди, Майкл Брукс, Майкл Реннерт и Элин Хилдрет просмотрели последние варианты книги и предложили много полезного. Майкл Реннерт внес вклад в проблему классификации образов (гл. 14). Внимательное прочтение книги Борисом Катцем и Ларри Коэном помогло устранить наиболее вопиющие лингвистические недостатки. К несчастью, в процессе подготовки я не устоял перед желанием переписать значительную часть материала и тем самым, без сомнения, вновь внес множество ошибок и ляпсусов.
Факультет электротехники и информатики предоставил мне шестимесячный отпуск для написания первоначального варианта. Кэрол Робертс напечатал этот первоначальный текст. Блайт Хип вычертил большинство рисунков. Филлис Роджерс помог подготовить библиографию. Майкл Геннерт пришел на помощь при окончазельной подготовке текста в виде, пригодном для офсетной печати. Иллюстрация на передней обложке воспроизведена с любезного разрешения художника Хейджим Сорэйяма.
Марвин Минский направил меня по пути изучения машинного зрения, предложив в качестве темы диссертации восстановление формы
по распределению яркости на изображении. Патрик Уинстон по,одерживал мой подход к проблеме машинного зрения с самого начала, еще тогда, когда он был малопопулярен. Марвин ответствен за создание, а Патрик — за выживание и расширение Лаборатории искусственного интеллекта при Массачусетском технологическом институте, в которой работы по машинному зрению процветают вот уже 20 лет.
Многие из изложенных здесь идей возникли в результате исследований, которые финансировались Управлением перспективных исследований и разработок министерства обороны США (DARPA) и Бюро национальных исследований (ONR).
1\ Введение
I
В этой главе мы расскажем о том, что представляет собой система машинного зрения и для решения каких задач она предназначена. Мы также рассмотрим связь машинного зрения с другими областями, в которых разрабатываются методы обработки изображений или их символического описания. Наконец, мы введем то конкретное понятие машинного зрения, которое используется в этой книге, и дадим краткий обзор содержания последующих глав.
Машинное зрение
Зрение является самым мощным из наших органов чувств. Оно снабжает нас поразительно большим объемом информации о том, что нас окружает, и дает возможность свободно взаимодействовать с внешним миром, причем все это без непосредственного физического контакта. Благодаря ему мы узнаем расположение объектов, идентифицируем их, соотносим их друг с другом и потому ощущаем значительное неудобство. если лишены этого чувства. Поэтому неудивительно, что, как только цифровые вычислительные машины оказались достаточно доступными, начали предприниматься попытки наделить их способностью «видеть».
В то же время зрение является самым сложным из органов чувств. Накопленные нами знания о том, как функционируют биологические зрительные системы, до сих пор фрагментарны и ограничены в основном теми этапами переработки информации, которые следуют непосредственно за поступлением сигналов от сенсоров. Что мы действительно знаем, гак это то, что биологические зрительные системы сложны. Поэтому не является неожиданным тот факт, что многие попытки наделить машины способностью «видеть» окончились неудачей. Тем не менее удалось достичь значительного прогресса, и сейчас можно найти зрительные системы, которые включены в состав машинных комплексов и успешно функционируют в условиях изменяющейся окружающей среды.
Значительный прогресс был достигнут в промышленных применениях, где окружающую среду можно контролировать, а задание, стоящее перед системой машинного зрения, четко обозначено. Типичным примером может служить зрительная система, предназначенная для
)
Рис. 1.1. Наличие системы машинного зрения придает манипулятору существенно больше гибкости и позволяет ему работать в условиях, когда положения и ориентации деталей могут изменяться.
В некоторых случаях подходящими для этой цели оказываются npocibie бинарные системы обработки изображений.
управления рукой робота при захвате деталей с ленты конвейера (рис. 1.1).
Не столь значителен успех в тех областях, где компьютеры использовались для извлечения плохо определенной информации из изображений, которые нелегко интерпретировать даже человеку. Особенно это относится к изображениям, полученным с помощью средств, отличных от обычных оптических приборов, работающих в видимом диапазоне спектра. Типичной задачей подобного рода является интерпретация рентгеновских снимков человеческого легкого.
Как это всегда бывает при изучении какой-либо сложной области, некоторые первоначальные идеи постепенно отмирали, а их место со временем занимали новые. Все это, несмотря на случающиеся порой неизбежные разочарования, составляет часть увлекательнейшего процесса поиска решения. Некоторые, например, считают, что понимать подробности процесса формирования изображения необязательно. Другие слишком увлекаются специальными вычислительными методами довольно узкого круга применения. Несомненно, что часть изложенных здесь идей также будет в свое время пересмотрена или отбро-
ше^а. Слишком уж быстро развивается область, чтобы такого не произошло.
В настоящий момент мы не можем создать «универсальную» зрительную систему. Вместо этого мы обратим внимание либо на системы, выполняющие какое-либо конкретное задание в контролируемой окружающей среде, либо на отдельные модули, которые со временем могут стать частью системы общего назначения. Естественно, нам нельзя также забывать о практических соображениях, связанных со скоростью обработки и стоимостью системы. Ввиду огромного объема данных и характера требуемых вычислений часто трудно достичь удовлетворительного компромисса между этими факторами.
Задачи, решаемые системой машинного зрения
Рис. 1.2. Цель работы системы машинного зрения заключается в получении символического описания того, что изображено.В дальнейшем это описание можно использовать для контроля взаимодействия робота с окружающей средой. В некотором смысле задачу зрительной системы можно рассматривать как обращение процесса формирования изображения.Рис. 1.2. Цель работы системы машинного зрения заключается в получении символического описания того, что изображено.В дальнейшем это описание можно использовать для контроля взаимодействия робота с окружающей средой. В некотором смысле задачу зрительной системы можно рассматривать как обращение процесса формирования изображения.Система машинного зрения анализирует изображения и выдает описание того, что изображено (рис. 1.2). Эти описания должны содержать те характеристики изображенных объектов, которые нужны для выполнения некоторого определенного задания. Тем самым мы рассматриваем систему машинного зрения как часть более общей системы, взаимодействующей с окружающей средой. Ее можно считать элементом контура обратной связи, относящегося к восприятию, в то время как другие элементы предназначены для принятия и исполнения решений.
Рис. 1.2. Цель работы системы машинного зрения заключается в получении символического описания того, что изображено.
В дальнейшем это описание можно использовать для контроля взаимодействия робота с окружающей средой. В некотором смысле задачу зрительной системы можно рассматривать как обращение процесса формирования изображения.
Рис. 1.2. Цель работы системы машинного зрения заключается в получении символического описания того, что изображено.
В дальнейшем это описание можно использовать для контроля взаимодействия робота с окружающей средой. В некотором смысле задачу зрительной системы можно рассматривать как обращение процесса формирования изображения.
Входом системы машинного зрения служит одно или несколько изображений, а выходом — описание, которое должно удовлетворять двум условиям:
оно должно быть как-то связано с тем, что изображено;
оно должно содержать исчерпывающую информацию, необходимую для выполнения некоторого конкретного задания. Первое условие обеспечивает определенную зависимость описания от визуального входа, а второе — что полученная информация небесполезна.
Описание объекта неоднозначно: мы можем представить себе множество уровней детализации и точек зрения. Невозможно исчерпывающим образом описать объект. К счастью, концентрируясь на том задании, для которого предназначено описание, мы можем избежать потенциально возникающего логического противоречия, т. е. мы не нуждаемся просто в каком-то описании, а только в таком, которое даст возможность произвести соответствующее действие.
Простой пример поможет лучше уяснить сказанное. Рассмотрим снова задачу захвата деталей с ленты конвейера. Ориентация и положение деталей на конвейере могут быть случайными. Допустим, имеется несколько различных типов деталей, причем установочные позиции для каждого типа деталей различны. Изображения объектов попадают в зрительную систему по мере того, как объекты проходят под камерой, расположенной над лентой конвейера. В этом- случае описания, которые должна выдавать система, просты. Необходимо лишь определить положение, ориентацию и тип каждого объекта. Описание может состоять всего лишь из нескольких чисел. В других задачах может потребоваться лораздо более подробное символическое описание.
Случается, что обратная связь замыкается не через машину, а через человека, и тогда полученное описание предъявляется ему для интерпретации. Приведенные выше требования должны соблюдаться и здесь, хотя разобраться в том, насколько успешно система справилась с поставленной перед ней зрительной задачей, в этом случае труднее.
Связь с другими областями
Машинное зрение тесно соприкасается с тремя областями (рис. 1.3): обработкой изображений, классификацией образов и анализом сцен.
Обработка изображений в основном касается получения новых изображений по уже имеющимся. Большинство применяемых здесь методов заимствовано из теории линейных систем. На новом изображении можно подавить шум, устранить размывание или подчеркнуть границы. Окончательный результат представляет собой изображение, которое, как правило, предназначено для интерпретации человеком. Как мы увидим далее, некоторые методы обработки изображений оказываются полезными для понимания ограничений, существующих
Риц. 1.3. Три изначальные парадигмы машинного зрения. ,
Изображение/на входе1Изображение/на входе1Изображениена выходеИзображениена выходеВходное описаниеВходное описаниеВыходное описаниеВыходное описаниеКаждая из них находит свое применение, однако пи одна из них не является основной при решении проблемы получения символических описаний но изображениям.
Изображение
/
на входе
1
Изображение
/
на входе
1
Изображениена выходе
Изображениена выходе
Входное описание
Входное описание
Выходное описание
Выходное описание
в системах формирования изображений, и для создания модулей предварительной обработки в системах машинного зрения.
Основной задачей классификации образов является отнесение «образа» к тому или иному классу, причем образ обычно представляется в виде набора чисел, соответствующих измеренным характеристикам объекта (высоте, ширине). Хо гя на вход классификатора подается не изображение, сами методы классификации образов оказываются иногда полезными и для анализа изображений, получаемых с помощью зрительной системы. Распознать объект — это значит отнести его к одному из известных классов. Однако нужно подчеркнуть, что распознавание — это лишь одна из многих задач, стоящих перед зрительной системой. Исследователи, занимавшиеся распознаванием, разработали много простых методов получения характеристик по изображениям. Однако
Рис. 1.4. В анализе сцен символическое описание низкого уровня (контурные рисунки) используется для составления описания высокого уровня.
Последнее может содержать информацию о пространственных отношениях между объектами, об их форме и тождественности.
в этих методах изображения обычно рассматриваются как двумерные распределения яркости, а объекты не могут занимать произвольное положение.
В анализе сцен рассматривается задача перехода от простых описаний, полученных непосредственно по изображениям, к более сложным, представленным в форме, которая более приспособлена для выполнения определенного задания. Классической иллюстрацией этого служит интерпретация контурных рисунков (рис. 1.4). Здесь описание изображения совокупности многогранников дается в виде множества прямолинейных отрезков. Прежде чем его использовать, необходимо определить, какие области, ограниченные этими отрезками, относятся к одним и тем же объектам. Также желательно знать, как объекты расположены друг относительно друга. Подобным образом из простого описания можно получить сложное символическое описание изображения. Обратите внимание на то, что здесь мы опять-таки отталкиваемся не от самого изображения и, следовательно, оставляем в стороне главную тему машинного зрения: получение символического описания по одному или нескольким изображениям.
Обзор дальнейшего
Получение описаний по изображениям для удобства часто можно разбить на два этапа. На первом этапе формируется набросок: детальное, но неупорядоченное описание. На последующих этапах формируются более экономные, структурированные описания, приспособленные для принятия решений. Обработка на первом этапе в дальнейшем будет называться анализом изображения, в то время как последующая обработка — анализом сцены. Это разделение достаточно произвольно: единственным доводом в его пользу служит тот факт, что анализ изображения начинается с самого изображения, в то время как анализ сцены - с наброска. Первые тринадцать глав книги посвящены анализу изображений (который также будем называть предварительной обработкой изображений), в то время как остальные пять глав — анализу сцен.
Для разработки методов машинного зрения необходимо некоторое
понимание того, как формируются данные, подвергаемые обработке. Поэтому в гл. 2 мы начинаем с обсуждения вопросов формирования и ввода изображения. В ней также рассматривается шум измерений и вводится понятие свертки.
Простейшими для анализа являются изображения, позволяющие легко отделить «объект» от «фона». Именно такие бинарные изображения будут изучены в первую очередь (рис. 1.5). Некоторые производственные задачи можно решить методами, в которых используются подобные изображения, но при этом часто требуется четко контролировать освещение. Существует довольно полная теория того, что можно и чего нельзя достичь с помощью бинарных изображений. Этого нельзя сказать в отношении более общего случая полутоновых изображений. Известно, например, что методы обработки бинарных изображений применимы, если только возможные изменения положения объекта ограничены поворотами в плоскости, параллельной плоскости изображения. Обработке бинарных изображений посвящены гл. 3 и 4.
Значительная часть методов анализа изображений предназначена для обработки не столько всего изображения, сколько областей, относящихся к отдельным объектам. Поскольку на изображение, как правило, попадает большое число поверхностей окружающих предметов, то прежде, чем использовать упомянутые методы, изображение необходимо разбить на области, соответствующие различным объектам. Сегментация изображения обсуждается в гл. 5.
В гл. 6 и 7 мы рассматриваем преобразование одних полутоновых изображений в другие с помощью линейных операторов. Обычно смысл подобных манипуляций состоит в том, чтобы уменьшить влияние помех, сузить динамический диапазон изображения или подчеркнуть некоторый его аспект. Зато на последующих этапах работы зрительной системы изображение становится более доступным для анализа. Подобные методы фильтрации часто применяются в системах выделения краев объектов в качестве шагов предварительной обработки.
Рис. 1.5. Бинарные изображения содержат лишь два уровня яркости (черный и белый).
Хотя сфера их применения ограничена. они представляют интерес ввиду простоты обработки.
Рис. 1.6. Чтобы уметь по изображениям восстанавливать информацию о мире, необходимо понимать процесс формирования изображения.
В некоторых случаях для опенки свойств, присущих изображаемым поверхностям, можно попробовать обрапнь этот процесс.
Выделение краев, представляющее собой как бы дополнение к сегментации изображения, обсуждается в гл. 8. Представляющие интерес особенности сцены (|раница. по которой один объект загораживает другой) часто приводят к разрывам в функции яркости или в ее градиенте. Методы выделения краев позволяют локализовать подобные участки изображения. Именно с этого места мы начинаем подчеркивать ту идею, что одной из важных сторон машинного зрения является оценка свойств изображаемых поверхностей. В гл. 9 мы обращаемся к задаче опенки отражательных и цветовых характеристик поверхности, которая оказывается удивительно трудной.
Наконец, мы вплотную подходим к центральной проблеме машинного зрения: получение описания сцены на основе одного или нескольких изображений. Одна из точек зрения, которой придерживаются некоторые исследователи, состоит в том, что назначение системы машинного зрения заключается в обращении операции проектирования, на основе которой формируется изображение. Это не совсем верно, поскольку
нам нужно получить символическое описание сиены, а не восстановить картину реального мира. Все же сделанное замечание заставляет нас серьезно отнестись к изучению процесса формирования изображения (рис. 1.6). Главной темой становится вопрос о том, как свет отражается от поверхности. Видимая яркость поверхности зависит от трех факторов: микроструктуры поверхности, распределения падающего света, ориентации поверхности по отношению к наблюдателю и источникам света.
На рис. 1.7 приведены изображения двух сферических поверхностей, одна из которых покрыта краской, обладающей матовой или рассеивающей отражательной способностью, а другая — металлическая, обеспечивающая зеркальное отражение. Во втором случае мы видим реальную картину окружающего сферу мира. Ясно, что микроструктура поверхности сильно влияет на распределение яркости изображения.
На рис. 1.8 представлено три вида площади Вилла-Мария в Монреале. Все три вида получены из одного и того же окна гостиницы, но при разных уровнях освещенности. И в этом случае мы легко распознаем, что на них изображены одни и те же объекты, но в то же время видим огромную разницу в яркости изображений в зависимости от освещения прямым солнечным светом или в условиях облачности.
В гл. 10 и И мы обсудим подобные вопросы и приложим накопленный запас знаний для восстановления формы поверхности по одному
Рис. 1.7. Наблюдаемое изображение объекта очень сильно зависит оз огража- тельных свойств его поверхности.
Абсолютно матовая и абсолютно зеркальная поверхности представляют собой два крайних случая.
Рис. 1.8. Наблюдаемое изображение сиены во многом зависит от условий освещенности.
Чтобы по изображениям восстановить информацию о мире, необходимо понять, как формы поверхностей, их отражательные свойства и распределение источников света определяют яркостные образы на изображении.
или нескольким изображениям. В этих же главах приводятся различные способы представления формы поверхности. При разработке методов восстановления формы поверхности мы часто рассматриваем поверхность в виде совокупности небольших участков, каждый из которых можно считать плоским. Если плоский участок освещается светом точечного источника, то отражение от него определяется тремя углами (рис. 1.9).
Тот же систематический подход, основанный на анализе яркости изображения, проводится в гл. 12 и 13 для восстановления информации по изображениям, изменяющимся во времени и полученным с помощью камер, расположенных в различных точках пространства. На основе методов, развитых в этих двух главах, можно восстановить форму поверхности, движение объекта и другую информацию. Соотношения между различными системами координат, связанных с наблюдателем или с объектом, выводятся по мере обсуждения фотограмметрии в гл. 13, которое ведется параллельно с анализом проблемы бинокулярного стереозрения. Для управления механическим манипулятором с помощью системы машинного зрения измерения, получаемые в системе координат камеры, должны быть преобразованы в систему
Рис. 1.9. Характеристики отражения света точечного источника участком поверхности объекта.
i, е. g — углы падения, излучения и фазы cooiветелвенно: N — нормаль; S, К — направления на источник света и на наблюдателя соотвеютвенно.
координат руки робота. Этот вопрос также естественно вписывается в тему упомянутой главы.
Начиная с этого момента мы переходим от анализа изображений к анализу сцен. В гл. 14 вводятся методы классификации объектов, основанные на измерении их характеристик. Для определения взаимного пространственного положения объектов в гл. 15 изучаются контурные рисунки, полученные по изображениям многогранников.
Очень важен вопрос о том, как представлять полученную зрительную информацию. В гл. 16 мы подробно разберем расширенный сферический образ - метод представления формы поверхности, который полезен при распознавании и позволяет нам определить положение объекта в пространстве. Для восстановления движения камеры можно использовать последовательность изображений. При этом одновременно восстанавливаются и формы изображаемых поверхностей. Это составляет содержание гл. 17. Читатель может удивиться, почему эта глава не следует сразу после главы, посвященной оптическому потоку. Причина в том, что она не относится к анализу изображений и потому логически принадлежит части книги, посвященной анализу сцен. В заключительной гл. 18 многие из развитых в книге понятий объединяются для разработки интегральной системы глаз — рука. Задача манипулятора заключается в последовательном изъятии объектов из навала. Зрительная система дает информацию об ориентации объектов и их взаимном пространственном расположении. В этой главе мы встретимся с рядом новых вопросов, таких, как представление вращений в трехмерном пространстве, и обсудим некоторые проблемы, возникающие при создании системы реального времени.
На протяжении всей книги мы начинаем с рассмотрения элементарных понятий и прочно зарекомендовавших себя методов, потом переходим к более сложным вопросам и вплотную приближаемся к менее ясным темам, составляющим предмет текущих исследований. В прошлом машинное зрение могло показаться набором подобранных эвристик и специальных приемов. Чтобы сцементировать материал книги, мы будем придерживаться следующей точки зрения: машинное зрение должно быть основано на доскональном понимании процесса формирования изображения. Такой упор направит нас на разработку математических моделей процесса анализа изображения, а алгоритмы описания изображенной сцены уже могут основываться на этих математических моделях.
Подход, базирующийся на анализе процесса формирования изображения, конечно, не является единственно возможным в машинном зрении. Вместо этого можно начать с изучения существующих биологических систем. Тогда искусственные системы должны основываться на детальном знании соответствующих естественных систем. Иногда мы будем обсуждать альтернативные подходы к изучаемым проблемам
Рис. 1.10. Разбиение на два этапа символического описания сцены по одному или нескольким изображениям.
На первом этапе руководствуются в основном пониманием процесса формирования изображения, на втором — требованиями соответствующей прикладной области.
машинного зрения, однако, чтобы избежать путаницы, слишком увлекаться этим не будем.
Переход от изображения к наброску, как оказывается, зависит в основном от того, что представлено на изображении и какую информацию из него можно извлечь непосредственно (рис. 1.10). С другой стороны, переход от грубого наброска к полному символическому описанию вызывается в основном необходимостью представить информацию в виде, удобном для использования в соответствующей прикладной области.
Комментарии к литературе
Каждая глава будет снабжена разделом, содержащим указания на литературу для более глубокого изучения вопроса, дальнейшего пояснения введенных в ней понятий и ознакомления с последними результатами в области. Сначала будет приведен список монографий с полным указанием авторов и названий, затем — список ссылок на журнальные статьи, труды конференций и местные издания университетов и научно- исследовательских лабораторий, но уже без столь подробных атрибутов.
В настоящее время имеется огромное число книг по машинному зрению. Среди них книга [7] замечательна по широте охваченного в ней материала. Следует также отметить книги [51, 92] и небольшую по объему, но содержательную книгу [81]. В недавно вышедшем издании [70] машинное видение рассматривается с биологической точки зрения, причем внимание акцентируется на его приложении к биомедицинским проблемам.
Многие книги посвящены вопросам, относящимся к обработке изображений, среди них такие как [6, 42], а также две монографии, в которых рассматривается обработка изображений, полученных с помощью разнесенных в пространстве камер [17, 45]. Первые "несколько глав книги [92] также представляют собой отличное введение в эту область. Классическим произведением по обработке изображений до сих пор еще остается энциклопедическая монография Прэтта [87].
К одному из ранних значительных изданий в рассматриваемой области относится книга Дуда и Харта [28], содержащая существенно больше материала по классификации образов, чем обычно требуется рядовому читателю. В книге Уинстона [113] содержится глава по машинному зрению, в которой подчеркивается связь этой области с искусственным интеллектом.
В течение последних 10 лет появилось несколько сборников, составленных под редакцией того или иного крупного ученого и содержащих вклад нескольких исследователей в рассматриваемой области. Первой появившейся в печати книгой такого рода была книга [112] под редакцией Уинстона. Затем вышли в свет книги под редакцией Розенфельда [91], а также под редакцией Хансона и Райзмана [55]. Несколько работ по машинному зрению можно найти во втором томе издания [114], выпущенного под редакцией Уинстона и Брауна. Еще один значительный сборник [102] был опубликован в 1980 г. Наконец, недавно вышла отличная подборка работ под редакцией Ульмана и Ричардса [105].
Иногда в книгу объединялись работы, представленные на ряде конференций. Редактором одной из таких книг, опубликованной в 1979 г., был Гарднер [36]. Приложения машинного зрения в робототехнике можно найти в работах [25, 89]. Книга [101] содержит работы, представленные на совещании, организованном фирмой IBM. Заметки к курсу под руководством Фужера опубликованы в работе [32].
Поскольку многие из ключевых статей по теме оказались труднодоступны, было опубликовано несколько сборников, в частности, издательства IEEE Press [2, 5, 9].
Издательство журнала Computer (IEEE Computer Society — Общество информатики ИИЭР) в августе 1977 г. выпустило специальный номер по обработке изображений, в мае 1979 г. — выпуск трудов ИИЭР по распознаванию образов и обработке изображений, а в мае 1980 г. — особый выпуск по машинному восприятию для промышленных приложений. Специальный выпуск (том 17) журнала Artificial Intelligence был опубликован в виде книги под редакцией Брэди [13]. Институт инженеров по электронике и связи Японии в апреле 1985 г. выпустил специальный номер (том J68-D. № 4) по работам в области машинного зрения, проводимым в Японии (на японском языке).
В данной книге мало говорится о биологических зрительных системах. Они предоставляют нам, с одной стороны, дополнительные доказательства существования, а с другой — оптические иллюзии. Эти удивительные эффекты могут со временем оказаться теми ключиками, с помощью которых мы сможем открыть тайны биологических зрительных систем. Численные модели функционирования таких систем начинают постепенно создаваться, и это во многом благодаря пионерской работе одного человека: Дэвида Марра. Его подход запечатлен в классическом труде [75].
Человеческое зрение, конечно, всегда было предметом неослабеваю-
щего внимания, и по этому вопросу имеется обширная литература. Здесь будут упомянуты лишь некоторые книги. В работах [46, 47] Грегори дал популярное введение в предмет. Три работы Гибсона [38 — 40] заслуживают упоминания за содержащийся в них свежий взгляд на проблему. Интересны также монографии [20, 50]. Большое влияние, особенно в области бинокулярного стереозрения, оказала работа [63]. В совсем недавно вышедшей и удивительно проиллюстрированной книге [34] Фрисби удалось продемонстрировать взаимовлияние исследований по машинному зрению и по изучению биологических зрительных систем. Иную точку зрения можно найти в работе [90].
Двадцать лет назад статей по машинному зрению было совсем немного, и они были сильно разбросаны. С тех пор несколько журналов стали отдавать предпочтение публикациям результатов исследований в этой области. Так, журналу Computer Graphics and Image Processing, который публикуется издательством Academic Press, пришлось изменить свое название на Computer Vision, Graphics and Image Processing (CVGIP), как только он стал обычным местом поступления на отзыв работ по рассматриваемому направлению. Не так давно вновь образовавшаяся группа особого интереса Института инженеров по электротехнике и радиоэлектронике (ИИЭР) начала публикацию журнала Transactions on Pattern Analysis and Machine Intelligence (PAMI). Другие журналы, такие, как Artificial Intelligence (North-Holland) и Robotics Research (MIT Rress), также содержат статьи по машинному зрению. Имеется несколько журналов, посвященных сопутствующим тематикам, например классификации образов.
Некоторые результаты исследований первоначально докладывались на заседаниях «Рабочей группы по пониманию изображений», которая финансировалась Управлением перспективных исследований и разработок министерства обороны (DARPA). Труды этих заседаний опубликованы издательством Science Applications Incorporated, McLean, Virginia и доступны через информационно-технический центр обороны (DTIC) в Александрии, шт. Вирджиния. Многие из указанных работ позднее были представлены к публикации — возможно, в несколько измененном и расширенном виде — в одном из упомянутых выше журналов.
Общество информатики ИИЭР организует ежегодные конференции по машинному зрению и распознаванию образов (CVPR) и публикует их труды. Кроме того, интерес представляют труды проводимой раз в два года Международной объединенной конференции по искусственному интеллекту (IJCAI) и национальных конференций, проводимых Американской ассоциацией по искусственному интеллекту (AAAI), как правило, в промежутке между упомянутыми годами.
Прекрасные ежегодные обзоры Розенфельда [396 — 407, 409] представляют особую ценность и дают возможность указать читателю на источник практически полной информации в рассматриваемой области.
Совсем недавний обзор охватывает 1252 работы! Опубликовано много анализов состояния области или каких-то определенных ее направлений. Один из самых ранних обзоров по обработке изображений относится к 1971 г. [265]. Оказавшая заметное влияние работа Бэрроу и Тененбаума [138], хотя и не является в полном смысле обзором, открывает преобладающий в настоящее время взгляд на машинное зрение как на предме г. основным содержанием которого служит процесс восстановления информации об изображенных поверхностях. Особенно рекомендуется обратить внимание на недавно вышедшие обзоры [139, 328, 408]. Еще одной не оставшейся незамеченной работой является статья Бинфорда [146].
Как только были преодолены трудности, связанные с предварительной обработкой изображений, важную роль стали играть вопросы представления информации и моделирования как самих объектов, гак и отношений между ними. Эти вопросы мы затронем в последних главах настоящей книги. Для получения дополнительной информации обратитесь, например, к работам [147, 161].
Существует много работ по применению машинного зрения для решения проблем производства (хотя некоторые разработки, наиболее себя окупившие, по-видимому, не были опубликованы в, открытой печати). Несколько статей на эгу тему можно найти в работе [14]. Обзор на тему «Автоматизация визуальной инспекции» представили Чин [173] и Чин с Харлоу [174].
Диагностика печатных плат, как с набивкой компонентами, так и без нее, представляет собой задачу большой важности, поскольку число проверяемых плат огромно, а для человека такая работа не из самых приятных, и, кроме гого, это не та деятельность, в которой он может заметно преуспеть. Примеры разработок в этой области можно найти в работах [182, 183, 197, 230]. Производство интегральных схем также испытывает потребность в методах диагностики. Маски являются простыми черно-белыми изображениями, и автоматизировать их проверку не составило слишком большого труда. Другое дело — диагностика корпусов интегральных схем; по этому поводу см. работу [264].
Машинное зрение было использовано при автоматизации процесса трассировки. Примеры этого в области полупроводникового производства можно найти в работах [12 5, 249, 29 3]. Управление промышленными роботами часто строится на основе полученной визуально информации о положении и ориентации деталей. В большинстве подобных систем используются методы обработки бинарных изображений, хотя встречаются и более сложные системы. Примеры содержатся в работах [214, 258, 484]. Эти методы не получают широкого распространения, если пользователь вынужден программировать каждую новую задачу на стандартном языке программирования. Был предпринят ряд попыток предоставить инструментальные средства, специально рассчитанные на применение зрительных устройств [307].
Работы по применению методов машинного зрения к векторизации рисунков упоминаются в конце гл. 4; ссылки на литературу по распознаванию символов можно найти в конце гл. 14.
Упражнения
Объясните, в каком смысле классификацию образов, обработку изображений и анализ сцен можно рассматривать в качестве «изначальных парадигм» машинного зрения. Каков вклад методов каждой из этих дисциплин в предмет машинного зрения? В чем отличие проблем, возникающих в машинном зрении, от тех, на которые эти методы рассчитаны?
2. Формирование и ввод изображения
В этой главе мы изучим вопрос формирования изображения и способ его ввода в вычислительную машину. Знание процесса формирования изображения является необходимым условием глубокого понимания методов восстановления информации по изображениям. Анализируя процесс проектирования трехмерного пространства на двумерную плоскость изображения, мы выделим два ключевых вопроса, касающихся формирования изображения:
чем определяется положение образа какой-либо точки на изображении;
чем определяется яркость какой-либо поверхности на изображении. Ответы на эти два вопроса требуют знания механизмов отображения наблюдаемой сцены на плоскость изображения и происходящих при этом процессов излучения. Эти темы будут рассмотрены применительно к простым оптическим системам, составленным из линз.
Решающим фактором при изучении формирования изображений служит своеобразие наблюдаемого нами мира. Он обладает особыми свойствами, наличие которых позволяет восстанавливать информацию о трехмерных сценах на основе одного или нескольких двумерных изображений. Мы обсудим этот вопрос и укажем ситуации, в которых такая специфика отсутствует и в которых, следовательно, извлечь информацию из изображений гораздо труднее.
Будут также рассмотрены принципы работы типичных зрительных устройств и способы получения и обработки информации для различных частей спектра. После беглого ознакомления с вопросами цветового зрения глава заканчивается обсуждением проблемы шума и напоминанием некоторых понятий из теории вероятностей и статистики. Тут самый подходящий момент ввести одномерную свертку — математический прием, который в дальнейшем будет употребляться в виде, обобщенном на двумерный случай. Читатели, знакомые с указанными понятиями, могут пропустить соответствующие разделы без ущерба для дальнейшего понимания. Глава завершается обоснованием необходимости квантования функции яркости и разбиения плоскости изображения на дискретные элементы.
Два аспекта формирования изображения
Прежде чем анализировать изображение, необходимо понять, как оно формируется. Изображение представляет собой двумерную картину распределения яркости. Вопрос о том, как в оптической зрительной системе возникает эта картина, лучше всего изучать, разбив его на две части: сначала необходимо найти соответствие между точками сцены и точками изображения, а затем выяснить, от чего зависит яркость в каждой конкретной точке изображения.
Центральная проекция
Представим себе камеру с точечным отверстием, расположенную на фиксированном расстоянии от плоскости изображения (рис. 2.1). Предположим, что камера устроена так, что только свет, проходящий через отверстие, может достичь плоскости изображения. Поскольку свет распространяется прямолинейно, каждой точке изображения отвечает направление, определяемое лучом, идущим из этой точки через отверстие. В результате возникает хорошо знакомая центральная (перспективная) проекция.
Рис. 2.1. Камера с точечным отверстием, которая дает изображение, являющееся центральной проекцией.
Удобно пользоваться системой координат, в которой плоскость хг параллельна плоскости изображения, а начало координат совпадает с точечным отверстием О. Ось z направлена вдоль оптической оси.
2 Заказ 1963
В этом упрощенном случае определим оптическую ось как перпендикуляр, опущенный из отверстия на плоскость изображения. Теперь мы можем ввести удобную декартову систему координат с началом в точечном отверстии и осью з, совпадающей с оптической осью и направленной в сторону изображения. При таком выборе направления оси точки, находящиеся перед камерой, имеют отрицательную л-координату. Несмотря на этот недостаток, будем придерживаться принятого соглашения, поскольку благодаря ему мы располагаем удобной правой системой координат (с осью х, направленной вправо, а осью у — вверх).
Нам нужно определить положение образа Р' некоторой точки Р находящегося перед камерой объекта (рис. 2.1). Будем считать, что никакой другой объект не пересекает луч, идущий из точки Р в точку О. Пусть г — (х, у, с)7 — вектор, соединяющий О с Р, a г' = (х\ у', f')T — вектор, соединяющий О с F. (Как указано в приложении, векторы будут обозначаться прямыми полужирными буквами. Обычно мы будем иметь дело с векторами-столбцами, и поэтому при их эквивалентной записи в виде векторов-строк должны применять операцию транспонирования, обозначаемую верхним индексом 7.)
Здесь/' — расстояние от плоскости изображения до отверстия, а /и у' — координаты точки Р' на этой плоскости. Два вектора г и Г коллинеарны и отличаются только (отрицательным) скалярным множителем. Если луч, соединяющий точки Р и F, составляет угол а с оптической осью, то длина вектора г определяется выражением
г — —z sec а = — (г • z) sec а,
где z — единичный вектор вдоль оптической оси. (Не забывайте, что величина z отрицательна для точки, расположенной перед камерой.)
Длина г' составляет r f sec а, и поэтому (1//) г' = l/(rz) г. Это выражение можно представить в виде компонент x'(f = xjz, y'[f = = yfz. Иногда для упрощения уравнений проекции координаты изображения нормализуют, разделив х' и у' на /'.
Ортогональная проекция
Рассмотрим процесс формирования изображения плоскости, которая параллельна плоскости изображения и задается уравнением z = z(). В этом случае можно определить коэффициент (поперечного) увеличения т как отношение расстояния между двумя точками на плоскости изображения к расстоянию между соответствующими точками на изображаемой плоскости. Рассмотрим малый отрезок (8х, 5^, О)7 на плоскости и соответствующий ему малый интервал (8х\ 8/, 0)г на изображении. Тогда
Z m = 132±ЖГ =
' - •|/W + (8у)2 ~го’«
Рис. 2.2. Возможность аппроксимации центральной проекции ортогональной проекцией, когда глубина сцены мала по сравнению со средним расстоянием от камеры.
При ортогональной проекции лучи от точек сцены распространяются параллельно направлению проекции до пересечения с плоскостью изображения.
где -z0 — расстояние от плоскости до отверстия. Коэффициент увеличения один и тот же для всех точек плоскости. (Заметьте, что m < 1, за исключением изображений, получаемых с помощью микроскопа.)
Изображение небольшого объекта, расположенного на среднем расстоянии — z0, увеличивается в т раз при условии, что изменение z-коор- динаты точек его видимой поверхности невелико по сравнению с величиной — z0. Плошадь изображения объекта пропорциональна т2. Коэффициент увеличения объектов, расположенных на различных расстояниях от зрительной системы, будет, естественно, различным. Пусть глубина сцепы — это разброс расстояний от видимых поверхностей до камеры. Значение коэффициента увеличения приблизительно постоянно, когда глубина наблюдаемой сцены мала по сравнению со средним расстоянием от видимых поверхностей до камеры. В этом случае мы можем упростить уравнения проекции следующим образом:
д-' = — тх, у' = —т г,
где т— f![ — z^y a — zQ —среднее значение величины — z. Часто для удобства скалярный множитель т полагают равным 1 или — 1. Тогда уравнения еще более упрощаются и принимают вид х' = д, у — у.
Эту ортогональную (параллельную) проекцию (рис. 2.2) можно моделировать лучами, распространяющимися параллельно ошпческой оси (а не проходящими через начало координат). Разница между центральной и ортогональной проекциями незначительна, если расстояние до сцены во много раз больше по сравнению с разбросом расстояний между объектами на сцене.
Углом поля зрения зрительной системы является угол раствора конуса всевозможных лучей, направленных к объектам наблюдаемой сцены. Естественно, этот конус имеет те же самые форму и размер, что и конус, образованный прямыми, соединяющими центр проектирования с границей плоскости изображения (экрана). «Нормальные» линзы характеризуются углом поля зрения величиной приблизительно 25 — 40°. К телескопическим (длиннофокусным) линзам относятся такие линзы, которые обладают фокусным расстоянием, большим по сравнению с размерами изображения, и поэтому малым углом поля зрения. Наоборот, широкоугольные (короткофокусные) линзы обладают фокусным расстоянием, меньшим по сравнению с размерами изображения, и поэтому широким полем зрения. Приближенно можно считать, что эффекты перспективы существенны при использовании широкоугольных линз, в то время как изображения, получаемые с помощью телескопических линз, приблизительно аппроксимируются ортогональной проекцией. В упражнении 2.11 демонстрируется ограниченность такой классификации.
Яркость
К более сложному и интересному вопросу процесса формирования изображения относятся факторы, определяющие яркость каждой конкретной его точки. Яркость — это неформальный термин, употребляемый для обозначения по крайней мере двух различных понятий: яркости изображения и яркости сцены. При рассмотрении изображения яркость связана с потоком энергии, падающим на плоскость изображения; его величина может измеряться несколькими способами. Здесь вместо неформального понятия яркость изображения мы введем термин освещенность изображения. Освещенность - это мощность (световой) энергии, падающей на поверхность, отнесенная к единице площади (Вт-м 2 — ватт на квадратный метр) (рис. 2.3, а). На рисунке £ обозначает освещенность, а 6Р - мощность потока энергии, падающего на бесконечно малый участок поверхности площадью ЪА. Например, почернение пленки в фото- или киноаппарате — есть результат действия освещенности. (Как будет показано позже, величина яркости изображения зависит также от спектральной чувствительности измерительного прибора.) В каждой конкретной точке изображения освещенность будет зависеть от количества света, попадающего в нее из соответствующей точки объ-
а б
Рис. 2.3. V а — освещенность, являющаяся мощностью энергии, падающей на единицу площади поверхности Е=ЬР^А; б — энергетическая яркость, являющаяся мощностью энергии, излучаемой единицей поверхности и заключенной внутри конуса направлений, имеющего единичный телесный угол L = У pj^Abto. Термин яркость неформально относят к обоим понятиям.
екта (эта точка находится путем прослеживания луча, выходящего из точки изображения и идущего через зрачок оптической системы до пересечения с поверхностью объекта).
При рассмотрении сцены яркость связана с потоком энергии, излучаемым поверхностью. Разные точки на объектах, расположенных перед зрительной системой, будут иметь различную яркость, зависящую от их освещенности и способности отражать свет. Для замены неформального понятия яркость сцены мы введем термин энергетическая яркость поверхности. Она равна мощности энергии, излучаемой единицей площади поверхности внутри единичного телесного угла (Вт-м^-ср-1 — ватт на квадратный метр на стерадиан) (рис. 23,5). На рисунке L обозначает энергетическую яркость, а Ъ2Р — мощность энергии, излучаемой бесконечно малым участком поверхности площади ЪА внутри бесконечно малого телесного угла 8со. Кажущаяся сложность определения яркости поверхности проистекает из того, что множество возможных направлений излучения света поверхностью образует полусферу, и потому величина яркости оказывается ненулевой лишь при рассмотрении конечного телесного угла этих направлений. В общем случае яркость поверхности будет изменяться в зависимости от направления, под которым наблюдается объект. Вопросы фотометрии мы обсудим детально позже, когда будет введено понятие карты отражательной способности.
Яркость участков поверхности объекта нас интересует постольку, поскольку мы измеряем освещенность изображения, которая, как будет показано позже, пропорциональна яркости сцены. Коэффициент пропор-
циональности зависит от свойств оптической системы. Чтобы собрать на экране конечное количество света, необходимо иметь апертуру конечных размеров. Рассмотренное в предыдущем разделе точечное отверстие должно иметь ненулевой диаметр. Поэтому изученная выше упрощенная схема проектирования отныне становится неприемлема, поскольку точка сцены изображается теперь в виде небольшого кружка. Последнее вытекает из рассмотрения лучей, проходящих через круглую апертуру, которые образуют конус с вершиной в точке объекта.
Мы не можем сделать апертуру слишком малой и по другой причине. Ввиду волновой природы света на ее краях возникает явление дифракции, и свет «растекается» по всему изображению. По мере уменьшения диаметра апертуры все более значительная часть проходящего света отклоняется от первоначального направления.
Линзы
Чтобы избежать проблем, связанных с малостью диаметра отверстия камеры, рассмотрим возможность использования линз в системе формирования изображений. Идеальная линза обеспечивает тот же самый тип проекции, что н точечное отверстие, но в то же время собирает конечное количество света (рис. 2.4). Чем больше линза, тем больший телесный угол она охватывает (если смотреть со стороны объекта), и соответственно тем больше отраженного (или излученного) объектом света она собирает. Луч, проходящий через центр линзы, не отклоняется. В хорошо сфокусированной системе другие лучи отклоняются так,
Рис. 2.4, Использование линзы вместо идеального точечного отверстия для получения ненулевой освещенности в плоскости изображения.
Идеальная линза формирует изображение, которое подчиняется тем же уравнениям проекций, что и сформированное точечным отверстием, однако при этом она собирает свет с участка конечной площади. Хорошо сфокусированные изображения объектов получаются лишь при определенном расстоянии до них.
чтобы достичь той же самой точки изображения, что и центральный луч.
Идеальная линза обладает тем недостатком, что она фокусирует только свет, излучаемый точками, находящимися на расстоянии — z, которое определяется известным уравнением линзы 1/z' + l/(-z) = = 1//, где z' — расстояние от плоскости экрана до линзы, а / — фокусное расстояние (рис. 2.4). Точки, находящиеся на других расстояниях, изображаются в виде небольших кругов. В этом можно убедиться, если рассмотреть конус проходящих через линзу световых лучей с вершиной в точке, в которой они точно сфокусированы. Размер кружка нерезкости можно определить следующим образом: точка на расстоянии — z изображается точкой-на расстоянии z' от линзы, причем 1/z' - 1/z = 1//, и поэтому •
-2-1 - (ТТп (777Г12 - 4 ; 1 ’
Если плоскость экрана расположить так, чтобы получались точно сфокусированные изображения объектов, находящихся на расстоянии — z, то точки, находящиеся на расстоянии — z, приведут к появлению кружков нерезкости диаметром (d/z^ | z' — z* |, где d — диаметр линзы. Глубиной резкости называется диапазон расстояний, на которых объекты фокусируются «достаточно хорошо» в том смысле, что диаметр кружка нерезкости меньше разрешающей способности зрительного устройства. Конечно, глубина резкости зависит от воспринимающей аппаратуры, однако в любом случае ясно, что чем шире апертура линзы, тем меньше глубина резкости. Ясно также, что при использовании широкой апертуры ошибки фокусировки становятся более значительными.
Пониманию свойств оптических систем, составленных из нескольких линз, могут помочь простые правила трассировки лучей. Как уже упоминалось, луч, проходящий через центр линзы, не отклоняется. Лучи, поступающие в линзу параллельно оптической оси, сходятся в точке, находящейся на оптической оси на фокусном расстоянии. Это вытекает из определения фокусного расстояния как расстояния, на котором фокусируется изображение бесконечно удаленного объекта. И наоборот, лучи, исходящие из точки оптической оси, находящейся на расстоянии, равном фокусному, отклоняются и становятся параллельными оптической оси по другую сторону линзы. Это следует из свойства обратимости распространения лучей. На границе двух сред с различными показателями преломления образуются одни и те же углы отражения и преломления независимо от направления распространения света.
Простая линза вытачивается из стеклянной заготовки и полируется так, чтобы обе ее поверхности приобрели сферическую форму. Оптическая ось представляет собой прямую, проходящую через центры двух сфер. Любая простая линза будет обладать рядом дефектов или аберраций. Поэтому часто комбинируют несколько простых линз, тшатель-
Рис. 2.5. Идеальная толстая линза, представляющая собой приемлемую модель большинства реальных линз.
Она обеспечивает получение такой же центральной проекции, что и идеальная тонкая линза, за исключением дополнительного сдвига вдоль оптической оси, вызванного толщиной линзы t. Ее можно описать с использованием таких понятий, как главные плоскости и главные точки, являющиеся точками пересечения главных плоскостей с оптической осью.
но выравнивая их оптические оси, чтобы получить составную линзу с лучшими характеристиками.
Удобной моделью такой системы линз является толстая линза (рис. 2.5). Для такой линзы можно определить две главные плоскости, перпендикулярные оптической оси, и две главные точки, в которых эти плоскости пересекают оптическую ось. Луч, проходящий через переднюю главную точку, выходит через заднюю главную точку, не изменяя своего направления. Это свойство определяет тот тип проекции, который реализуется линзой. Расстояние между двумя главными точками называется толщиной линзы. Тонкая линза — это такая линза, у которой две главные точки можно рассматривать как совпадающие.
Даже теоретически невозможно изготовить идеальную линзу. Проекция никогда не будет точно такой, как проекция идеального точечного отверстия. Еще важнее то, что невозможно достичь точной фокусировки всех лучей. Возникают различного вида аберрации. В хорошо разработанных линзах эти дефекты сводятся к минимуму, однако при увеличении апертуры линзы добиться этого становится все труднее. Таким образом, существует компромисс между способностью линзы собирать свет (светосилой) и качеством изображения.
Дефект, представляющий для нас в данном случае особый интерес, называется виньетированием. Вообразите себе несколько круговых диафрагм различного диаметра, установленных одна за другой так, что
их центры лежат на одной прямой (рис. 2,6). Если смотреть вдоль этой прямой, то взор будет ограничивать диафрагма с минимальным диаметром. Если перемещаться в сторону от линии, то сильнее ограничивать взор начнут другие диафрагмы, пока, наконец, вообще ничего не будет видно. В простых линзах все лучи, попавшие на переднюю поверхность, так или иначе фокусируются на изображении. В составных линзах некоторые лучи, прошедшие первую линзу, могут частично задерживаться второй линзой и т. д. Результат зависит от наклона падающего луча к оптической оси и его расстояния от передней главной точки. Таким образом, способность линзы собирать свет оказывается слабее для точек изображения, не принадлежащих оптической оси, чем для точек, принадлежащих оптической оси. Чувствительность уменьшается с расстоянием от центра изображения.
Другое важное свойство заключается в том, что величина аберрации линзы возрастает как степень угла между падающим лучом и оптической осью. Аберрации классифицируются по их порядку, т. е. показателю степени, который фигурирует в этой зависимости. Точки на оптической оси можно хорошо сфокусировать, в то время как угловые точки изображения будут смазаны. Из-за этого пригодной оказывается только ограниченная часть плоскости изображения. Кроме того, величина аберрации увеличивается как степень расстояния от точки падения луча на переднюю поверхность линзы до оптической оси. Поэтому качество линзы можно улучшить, если использовать только ее центральную часть.
Одна из причин установки диафрагм в оптической системе как раз
Рис. 2.6. Виньетирование, представляющее собой уменьшение собирательной силы линзы с увеличением наклона лучей относительно оптической оси.
Это явление вызвано апертурами системы лииз, которые загораживают часть пучка света по мере его прохождения через систему. Виньетирование приводит к гладкому, но иногда довольно значительному спаду чувствительности при приближении к краям области изображения.
и заключается в том, чтобы улучшить качество изображения тогда, когда нет необходимости полностью использовать собирательную силу линзы. Как уже отмечалось, установка диафрагмы обеспечивает то, что лучи, падающие под большим углом к оптической оси, не пройдут через периферийную зону ни одной из линз. Это повышает качество изображения по краям, однако одновременно значительно усиливает виньетирование. Как правило, при использовании линз это не имеет большого значения, поскольку люди удивительно невосприимчивы к постепенному изменению яркости изображения, однако это важно в системах машинного видения, поскольку в них по измерениям яркости изображения (освещенности) определяется яркость сцены (энергетическая яркость поверхности). ., ,и
Видимый мир
Как можно восстановить информацию о трехмерном мире, имея в своем распоряжении всего лишь двумерное изображение? Может показаться, что такая информация неполна, даже если имеется несколько изображений. Тем не менее живые существа благодаря зрительной информации легко ориентируются в окружающей обстановке. Загадка разрешается, если принять во внимание особую природу мира, обычно окружающего нас. Мы погружены в однородную прозрачную среду, а объекты, на которые мы смотрим, обычно светонепроницаемы. Лучи света не преломляются и не поглощаются средой, и потому мы можем проследить путь луча от точки на изображении через линзовую систему до тех пор, пока он не достигнет какой-либо поверхности. Яркость точки на изображении зависит исключительно от яркости соответствующего участка поверхности. Поверхности — это не что иное, как двумерные многообразия, и их форму можно представить в виде функции расстояния z(x', у') от поверхности до точки изображения с координатами х' и у'.
Это совсем не похоже на случай, который возникает при просвечивании части пространства, занимаемого светопоглощающим материалом переменной плотности. Здесь можно определить плотность материала р(х, у, z) как функцию координат х, у и z. Одно или несколько изображений служат достаточными ограничениями для восстановления информации о поверхности, а не об объеме. Теоретически требуется бесконечное число изображений для решения проблемы томографии, т. е. определения плотности светопоглощающего материала.
Условия однородности и прозрачности среды выполняются не всегда точно. Отдаленные горы меняются в цвете и контрасте, а в пустынях возникают миражи. Анализ изображений, основанный на предположении о том, что лежащие в его основе условия непременно выполняются, при их нарушении может привести к ошибкам, поэтому в таких случаях как живые, так и технические зрительные системы
будут введены в заблуждение. Таким образом можно объяснить некоторые оптические иллюзии. Это не означает, что мы должны отвергнуть указанные вспомогательные условия, ибо без них решение проблемы восстановления информации о трехмерном мире по изображениям стало бы неопределенным.
Наш видимый мир в самом деле весьма специфичен. Представьте живое существо, погруженное в среду с различными концентрациями пигментов, рассеянных в желеобразном веществе. Было бы невозможно с одного взгляда найти трехмерные распределения этих веществ, поглощающих свет. Просто не хватило бы информации. Подобно этому, рентгеновские снимки оказались бы бесполезными, не будь сильного контраста между такими материалами, как кость и ткань. В противном случае пришлось бы делать томографическую реконструкцию по огромному числу снимков. Как знать, быть может, оно и к лучшему, что мы не обладаем сверхчеловеческой способностью видеть в рентгеновских лучах!
Вообще говоря, мы ограничим наше внимание изображениями, получаемыми с помощью обычной оптической аппаратуры. Например, мы будем избегать микроскопических изображений с высоким уве.чичением, на которых многие вещества выглядят прозрачными или по крайней мере полупрозрачными. То же относится и к снимкам, полученным с большого расстояния, на которых часто видны эффекты поглощения и преломления света в атмосфере. Любопытно, что, работая в других модальностях, иногда можно получить именно те изображения, которые нас интересуют. Примерами служат сканирующий электронный микроскоп (СЭМ) и РЛС с синтетической апертурой (РСА): эти устройства дают простые для интерпретации изображения. Поэтому имеется определенная уверенность, что их можно анализировать обсуждаемыми здесь методами.
Ввиду важности идентификации поверхностей объектов неплохо было бы создать систему машинного видения, способную восстанавливать формы поверхностей по одному или нескольким изображениям. Действительно, как мы увидим в гл. 10, в которой речь пойдет о восстановлении формы по распределению теней, некоторого успеха в этом направлении удалось достичь. Детальное знание процесса формирования изображения позволяет извлечь из изображений количественную информацию. Рассчитанную форму поверхности можно использовать при распознавании, инспекции или планироващ.ш движения механического манипулятора. .
Ввод изображения
Работа почти всех устройств получения изображений основана на эффекте образования электронно-дырочных пар при бомбардировке фотонами подходящего материала. Это основной процесс как в зрении жи-
Рис. 2.7. Фотоны, бомбардирующие подходящую поверхность, генерируют носители заряда, которые собираются и измеряются для определения освещенности.
я - в случае вакуумного устройства электроны освобождаются из фотокатода (С) и притягиваются к положительному аноду (Д); о-в случае полупроводникового устройства электронно-дырочные пары отделяются с помощью создаваемого в нем поля и направляются во внешний контур.
вотных, так и в фотографии. Устройства отличаются методом измерения потока заряженных частиц. В некоторых из них для вырывания электронов из поверхности, внутри которой они освобождаются, используются электрическое поле и вакуум (рис. 2.7, а). В других электроны протекают сквозь обедненный слой (d) и — р-полупроводника (рис. 2.7,6).
Не все падающие фотоны порождают электронно-дырочные пары. Некоторые проходят чувствительный слой насквозь, некоторые отражаются, другие по различным причинам теряют свою энергию. Более того, не все освобожденные электроны попадают в измерительную цепь. Отношение числа освобожденных электронов к числу падающих фотонов называется квантовым выходом и обозначается через q(Xy Квантовый выход зависит от энергии падающих фотонов и, следовательно, от их длины волны X. Он также зависит от типа материала и метода, используемого для сбора освобожденных электронов. Старые вакуумные приборы, как правило, имеют поверхностный слой с относительно низким квантовым выходом, в то время как полупроводниковые устройства для некоторых длин волн близки к идеальным. Фото- или кинопленки обычно обладают низким квантовым выходом.
Восприятие цвета
Чувствительность устройства меняется в зависимости от длины волны падающего света. Фотоны с малой энергией имеют тенденцию просто проходить сквозь материал, в то время как фотоны с очень большой энергией могут задерживаться еще до достижения чувствительного слоя. Каждый материал имеет свою характеристику зависимости квантового выхода от длины волны.
Для малого интервала длин волн 5Х обозначим через Ь(к)бк поток фотонов с длиной волны, равной или большей X, но меньшей X + §Х. Тогда число освобожденных электронов определяется интегралом -
— GO
Если мы используем устройства с различными фоточувствительными материалами, то из-за их различной чувствительности получим разные изображения. Это может помочь при распознавании поверхностей, имеющих сходные полутоновые изображения, полученные с помощью одного устройства, но дающие различные полутоновые изображения при использовании другого. Иной путь достижения того же эффекта заключается в использовании одного и того же чувствительного материала, но помещением перед камерой фильтров, которые обладают селективным поглощением различных частей спектра. Если спектральный коэффициент пропускания Его фильтра составляет/г{Х), то результирующий квантовый выход комбинации данного прибора с фильтром — /ДХ)^(Х).
Сколько различных фильтров необходимо использовать? Чем больше изображений получено с помощью большего числа фильтров, тем выше способность распознавания материалов. Однако измерения коррелируют, поскольку большинство поверхностей обладает гладкой зависимостью отражательной способности от длины волны. Выгода от использования большого числа фильтров обычно невелика.
Человеческое зрение в дневное время основано на трех типах чувствительных рецепторов, называемых колбочками. Каждый из этих типов колбочек имеет особую спектральную чувствительность: одни максимально чувствительны в области длинных волн, другие — в области средних волн, третьи — в области коротких волн видимого диапазона приблизительно 400-700 нм. Кривые спектральной чувствительности заметно перекрываются. В системах машинного видения также часто употребляются изображения трех типов, полученных через красный, зеленый и синий фильтры. Однако следует отметить, что результаты имеют мало общего с цветовым восприятием человека, если только их кривые спектральной чувствительности не окажутся линейными комбинациями кривых спектральной чувствительности человека, о чем будет сказано ниже.
Рис. 2.8. Трехстимульные кривые, позволяющие предсказать, какие спектральные распределения окажутся неразличимыми.
Заданное спектральное распределение последовательно умножается на каждую из функций х(Х), у(2) и с(Л), и результаты интегрируются. Таким путем мы получаем цветовые координаты X, Y и Z, которыми можно охарактеризовать спектральное распределение. Распределения, приводящие к одинаковым цветовым координатам, оказываются неразличимыми при последовательном сравнении.
Одним из свойств зрительной системы восприятия с малым числом чувствительных элементов, различных по своих спектральным характеристикам, является то, что разные спектральные распределения на входе могут дать один и тот же результат на выходе. Объясняется это тем, что измеряются не сами спектральные характеристики, а интегралы от их произведения со спектральной чувствительностью того или иного типа датчиков. Конечно, то же самое относится и к биологическим системам. Цвета, которые кажутся человеку неразличимыми, называются метамерическими. Ценную информацию о спектральной чувствительности человека можно получить на основе систематического изучения явления метамеризма. Результаты большого числа экспериментов по сопоставлению цветов многими испытуемыми были усреднены и использованы для расчета так называемых спектральных трехстимульных величин или стандартных кривых наблюдения. Они были опубликованы Международной комиссией по освещению (МКО) и приведены на рис. 2.8. Заданное спектральное распределение обрабатывается следующим образом. Оно по очереди умножается на каждую
из трех функций ?<(/.). у(Х) и z(X). Произведения интегрируются по всему видимому диапазону длин волн. Три результата X, Y и Z называются координатами цветности. Два спектральных распределения с совпадающими значениями этих трех величин оказываются неразличимыми, если они при контроле поставлены рядом. (Между прочим, обсуждаемые здесь спектральные распределения выражаются в единицах энергии, отнесенной к единичному интервалу длины волны, а не потока фотонов.)
Однако реальные кривые спектральной чувствительности всех трех типов колбочек подобным способом определить нельзя. Остается некоторая неопределенность. Известно, что трехстимульные кривые являются результатом фиксированных линейных преобразований этих кривых спектральной чувствительности. Однако коэффициенты преобразований точно неизвестны.
В упражнении 2.14 мы покажем, что система машинного видения с теми же характеристиками смешения цветов, что и человеческое цветовое зрение, должна иметь кривые спектральной чувствительности в виде линейных преобразований кривых спектральной чувствительности колбочек человека. Из этого в свою очередь вытекает, что кривые чувствительности системы должны быть линейными комбинациями стандартных кривых наблюдения. К сожалению, в прошлом при разработке систем восприятия цвета указанное положение редко принималось во внимание. (Необходимо отметить, что мы не имеем здесь в виду проблему восприятия цвета; нам желательно лишь иметь машину, которая не различает те же цвета, что и стандартный наблюдатель.)
Случайность и шум
Трудно точно измерить яркость изображения. В этом разделе мы рассмотрим искажения изображения, вызванные шумом. Для этого нам придется ввести понятие случайной величины и плотности распределения вероятности. Пользуясь благоприятным моментом, мы введем также понятие свертки для одномерного случая. В дальнейшем оно нам встретится снова, но уже применительно к двумерным изображениям. Читатель, знакомый с указанными понятиями, может данный раздел пропустить.
На результаты измерений влияют флуктуации в измеряемом сигнале. При повторном измерении результаты могут оказаться несколько другими. Обычно они располагаются около «истинного» значения. Мы можем говорить о вероятности попадания результата измерения в определенный интервал. Грубо говоря, она соответствует пределу отношения числа измерений, попадающих в этот интервал, к общему числу испытаний при стремлении последнего к бесконечности. (Такое определение не совсем корректно, поскольку каждая конкрет-
; ЛV); ЛV)
; ЛV)
; ЛV)
Рис. 2.9.
а — гистограмма, показывающая, какое число отсчетов попадает в каждый интервал измерений из принятой последовательности интервалов. По мере возрастания плотности отсчетов эти интервалы можно сделать все меньше и меньше при условии сохранения точности каждого из индивидуальных измерений; б — переход гистограммы (в пределе) в непрерывную функцию, называемую плотностью распределения вероятности.
ная серия испытаний может приводить к результатам, которые не стремятся к ожидаемому пределу. В то же время маловероятно и то, что они будут слишком далеки от него. В действительности вероятность получения предела, отличного от требуемого, равна нулю.)
Теперь мы можем определить плотность распределения вероятности, обозначаемую через р(х\ Вероятность того, что случайная величина будет больше или равна х, но меньше х + Зх, стремится к р(х)5х при стремлении §х к нулю. (Здесь имеется трудность, заключающаяся в том, что для фиксированного числа испытаний число результатов, попавших в интервал, будет стремиться к нулю при стремлении интервала к нулю. Ее можно обойти путем рассмотрения функции распределения вероятности, введенной ниже.) Плотность распределения можно приближенно найти на основе гистограммы, полученной на основе конечного числа испытаний (рис. 2.9). Из нашего определения следуют два важных свойства для любой плотности распределения вероятности р(х):
+ со
р(х) О для всех хи f p(x)dx = 1.
Часто плотность распределения вероятности имеет ярко выраженный пик вблизи «истинного» или «ожидаемого» значения. Соответственно мы можем определить среднее как центр площади ц этого пика согласно соотношению
ос ос,ц J р (х) dx = j хр (х) dx.
- со- со- СО
- со
- со
Поскольку интеграл функции р(х) от минус до плюс бесконечности равен единице, то
ц = J xp^dx.- ос- '
Интеграл справа называется первым моментом функции р(х\
Далее, чтобы оценить ширину всплеска плотности распределения вероятности р(х\ берется второй момент относительно среднего, называемый дисперсией:
а2 = J (х — ц)2р(х)^х.
- СО#.
Квадратный корень из дисперсии, называемый стандартным отклонением, является удобной мерой ширины распределения.
Другое полезное понятие — функция распределения вероятностир^= f p^dt,’-ос
указывающая на вероятность того, что случайная величина примет значение, меньшее или равное х. Плотность распределения является просто производной от функции распределения вероятности. Необходимо отметить, что
lim Р(х) = 1.X —* СТ
Один из методов увеличения точности состоит в усреднении нескольких измерений в надежде, что их «шумовые» составляющие окажутся независимыми и будут иметь тенденцию к взаимной компенсации. Для понимания работы этого метода необходимо умение вычислять плотность распределения суммы нескольких случайных величин.
Пусть х — сумма двух независимых случайных величин Xj и х2, а рДхД и Р2(х2)~ их плотности распределения вероятности. Как найти р(х), плотность распределения вероятности х = X! + х2? Мы знаем, что при данной величине х2 для того, чтобы величина х лежала в пределах между х и х + бх, величина Xj должна лежать в пределах между х — х2 и х + 5х — х2 (рис. 2.10). Вероятность этого события равна Pi(x — х2)бх. Величина х2 может принимать спектр значений, а вероятность того, что она попадет в интервал между х2 и х2 + бх2, равна просто Р2(х2)5х2. Для нахождения вероятности того, что величина х лежит в интервале между х и х + 5х, мы должны проинтегрировать произведение этих вероятностей по всем значениям х2. Таким образом,
р(х)5х = J pi (х — х2)бхр2 (х2)бх2 или
Рис. 2.10. Плотность распределения вероятности суммы двух независимых случайных величин есть свертка плотностей распределения вероятности упомянутых двух величин.
Это можно показать интегрированием произведения индивидуальных плотностей вероятности внутри узкой полосы, заключенной между прямыми Х, 4- ,Y? = X и Aj + Y2 = = y 4- 8л\
₽W = J Pl U - t)p2(t)dt.
- ОС
: * Точно так же можно показать, что’ ‘м
со
Р^ = j p2l\ - Ofhmdt.
. '- ОС
где роли Xi и х2 поменялись местами. Это соответствует двум способам интегрирования вероятностей внутри узкой диагональной полосы (рис. 2.10). В обоих случаях мы говорим о свертке двух распределений р, и р2, записываемой в виде
Р = Pi ®р2-
Только что было показано, что операция свертки коммутативна.
В упражнении 2.16 будет показано, чго среднее суммы нескольких
случайных величин равно сумме средних и что дисперсия суммы равна сумме дисперсий. Поэтому если вычислить среднее N независимых
измерений
каждое из которых имеет среднее ц и стандартное отклонение а, то среднее результата также равно ц, в то время как стандартное отклонение равно g^ , поскольку дисперсия суммы равна Ng2. Тем самым мы получаем более точный результат в том смысле, что он меньше
подвержен «шуму». Однако относительная точность улучшается лишь как квадратный корень из числа измерений.
Большое практическое значение имеет нормальное, или гауссово, распределение вероятности
|/2тг ст
со средним ц и стандартным отклонением с. Во многих измерительных процессах шум достаточно хорошо можно моделировать с помощью подобного распределения.
До сих пор мы имели дело со случайными величинами, которые принимали значения из непрерывного диапазона. Аналогичные методы применяются и в том случае, когда допустимые значения берутся из дискретного множества. Рассмотрим число освобождаемых электронов при бомбардировке фотонами соответствующего материала в течение фиксированного отрезка времени. Каждое такое событие независимо от остальных. Можно показать, что вероятность освобождения точно п электронов за интервал времени Т составляет
при некотором значении т. Это — распределение Пуассона. Среднее число электронов, освобождаемых за время Г, вычисляется следующим образом:
л— 1и= 1л— 1и= 1и = 1м = ои = 1м = оУ пе т — = те т У —.
л— 1и= 1
л— 1и= 1
и = 1м = о
и = 1м = о
Но
//следовательно среднее просто равно т. В упражнении 2.18 доказывается, что дисперсия также равна т. Поэтому стандартное отклонение равно ^т , и, следовательно, отношение стандартного отклонения к среднему равно 1д/пГ. Чем дольше мы ждем, тем точнее становятся результаты измерений, поскольку при этом учитывается все большее число электронов. Однако снова отношение «сигнал — шум» улучшается лишь как квадратный корень из среднего числа зарегистрированных электронов.
/
/
Для получения достоверных результатов необходимо зарегистриро-
вать большое число электронов. Можно показать, что распределение Пуассона со средним т при больших значениях т практически совпадает с гауссовым распределением со средним т и дисперсией т. Обычно с гауссовым распределением работать удобнее. В любом случае для получения стандартного отклонения, составляющего одну тысячную часть от среднего значения, необходимо подождать настолько долго, чтобы суметь зарегистрировать миллион электронов. Все же это совсем небольшой заряд, поскольку заряд одного электрона составляет е = 1,602192... х 10"19 Кл.
Даже миллион электронов имеют заряд лишь около 160 фКл (фемтокулонов). (Приставка фемто обозначает множитель, равный 10"15.) Ввиду подверженности измерительного процесса помехам измерить столь малый заряд не так просто.
Число электронов, освобождаемых с площади 5Л за время 5г, составляет
N = bAdt f b^q^dX, ■ — ОС1
где q(K) — квантовый выход, а Ь(Х) — освещенность, выражаемая числом фотонов, отнесенных к единице площади. Для получения приемлемого результата электроны необходимо собрать с конечной площади изображения за конечный отрезок времени. Таким образом, существует компромисс между (пространственно-временной) разрешающей способностью и точностью.
Измерение числа электронов, освобождаемых с малой площадки за фиксированный интервал времени, приводит к результату, который пропорционален освещенности (при заданном спектральном распределении падающих фотонов). Чтобы измерения можно было считать в цифровую ЭВМ, они квантуются. Квантование выполняется аналого- цифровым преобразователем (АЦП). Результат называется полутоновым уровнем. Поскольку трудно измерить освещенность с большой точностью, для представления уровней освещенности разумно использовать небольшой набор градаций. Часто используется диапазон 0—255, требующий лишь 8 бит для представления любого уровня.
Дискретизация изображения f
Поскольку в ЭВМ можно передать лишь конечное число измерений, необходима также пространственная дискретизация. Обычно измерения проводятся в узлах квадратного растра или решетки. Затем изображение представляется в виде прямоугольного массива целых чисел. Для получения достаточной степени детализации необходимо много измерений. Например, телевизионные экраны можно разбить на 450 строк по 560 элементов изображения, которые иногда называют пикселами.
Рис. 2.11. Покрытие плоскости тремя типами правильных многоугольников: треугольниками (о), квадратами (б) и шестиугольниками (в).
Разбиение изображения может основываться на любом из этих покрытий. Величина яркости, соответствующая элементу на полутоновом изображении, является квантованным значением измеренной энергии, попадающей на соответствующий участок изображения.
Каждое число представляет собой освещенность, усредненную по небольшой площадке. Как было сказано выше, мы не можем осуществить измерение в точке, поскольку световой поток пропорционален площади воспринимающей поверхности. На первый взгляд это может показаться недостатком, однако на самом деле оборачивается преимуществом. Причина заключается в том, что для представления непрерывного распределения яркости мы пытаемся использовать дискретный набор чисел; теорема отсчетов утверждает, что такое представление может оказаться успешным только тогда, когда непрерывное распределение достаточно гладкое, т. е. когда оно не содержит высокочастотных составляющих. Один из способов сгладить распределение яркости — посмотреть на изображение сквозь фильтр, который усредняет его по малым площадкам.
Каков оптимальный размер упомянутых площадок? Оказывается, неплохих результатов удается добиться, если размеры площадок приблизительно равны промежуткам между их центрами. Это удачное обстоятельство, поскольку оно позволяет нам компактно заполнить плоскость изображения светочувствительными элементами. Таким образом, ни один фотон не пропадает даром, ни одна площадка не перекрывается.
У нас имеется некоторая свобода выбора в разбиении плоскости изображения на участки. До сих пор мы подразумевали квадратные площадки на квадратной решетке. С тем же успехом элементы изображения могли бы быть прямоугольными, что привело бы к различию в разрешающей способности в горизонтальном и вертикальном направлениях. Однако возможны также и другие способы разбиения. Допустим, что мы хотим покрыть плоскость правильными многоугольниками. Они не должны перекрывать друг друга и в то же
время должны заполнять всю плоскость. В упражнении 2.21 мы покажем, что существуют лишь три таких покрытия, основанные на использовании треугольников, квадратов и шестиугольников (рис. 2.11).
Легко видеть, что разбиение на квадраты реализуется простым проведением замеров через равные промежутки вдоль линий, равномерно расположенных на изображении. Разбиение на шестиугольники почти столь же просто для реализации, если сместить все нечетные линии относительно четных на половину длины интервала разбиения. В телевизионной развертке все нечетные строки считываются после четных из-за взаимовлияния полей, и, следовательно, подобная схема особенно проста для реализации. Шестиугольники на треугольной решетке создают определенные преимущества, о чем будет сказано ниже.
Комментарии к литературе
Существует много известных руководств по основам оптики, включая работы [11, 27, 69], а также классическое руководство [95]. Об устройстве и аберрациях линз написано в книге [67]. В справочнике [82] рассматриваются основные принципы работы большого числа разнообразных датчиков. Книга [8] включает некоторую информацию о применении приборов с зарядовой связью при разработке оптических датчиков.
Нет недостатка и в книгах по теории вероятностей и статистике. Одна из них - работа [26].
Цветовое зрение здесь детально не обсуждалось, однако в гл. 9, в которой речь пойдет об определении освещенности, мы снова вернемся к этой теме. Для общего ознакомления с вопросами сопоставления цветов и трехстимульными величинами см. первые главы книги [62].
Некоторые аспекты воспроизведения цветов, включая вопрос о том, каковы основные требования к системе зрительного восприятия, рассмотрены в работе [254]. Дальнейшие ссылки на литературу по цветовому зрению можно найти в конце гл. 9.
Прямые линии в трехмерном пространстве проектируются в прямые линии на двумерном изображении. Проекции параллельных прямых пересекаются в точке схода. Это та точка, в которой прямая, проходящая через центр проекции и параллельная заданным прямым, пересекает плоскость изображения. В случае прямоугольных объектов исследование прямых на изображениях и их пересечений позволяет восстановить значительную долю информации. См., например, работу [135].
Если среда между нами и наблюдаемой сценой не является абсолютно прозрачной, то интерпретировать изображения становится намного сложнее. См., например, работу [429]. Задача определения плотности материала по измерениям эффекта затухания энергии лучей представляет собой предмет томографии [56].
Упражнения
Какую форму имеет изображение сферы? Какова форма изображения кругового диска? Рассмотрите центральную проекцию и предположите, что диск лежит в плоскости, которую можно наклонить к плоскости изображения.
Покажите, что изображением эллипса, лежащего в плоскости, которая необязательно параллельна плоскости изображения, также является эллипс. Покажите, что изображением пространственной прямой является прямая. Проекцию считайте центральной. Опишите картину распределения яркости на изображении многогранника с однородными (по свойствам отражения) гранями.
Пусть изображение создается камерой, находящейся в некоторой фиксированной среде. Теперь представьте себе, что та же камера переносится в аналогичную среду, но при этом все размеры и все расстояния между объектами удваиваются. Сравните новое изображение с тем, которое было получено в исходной среде. Проекцию считайте центральной.
Пусть изображение создается камерой, находящейся в некоторой фиксированной среде. Теперь представьте себе, что та же камера переносится в аналогичную среду, но при этом отражательная способность всех предметов уменьшается вдвое, а падающий свет во столько же раз усиливается. Сравните новое изображение с исходным. Указание: пренебрегите рефлексами, т. е. освещением одной части сцены светом, отраженным от других частей.
Покажите, что в правильно сфокусированной оптической системе расстояние /' от линзы до плоскости изображения равно (1 + m)f, где / — фокусное расстояние, ат — коэффициент увеличения. Это расстояние называют эффективным фокусным расстоянием. Покажите, что расстояние между плоскостью изображения и объектом равно (т + 2 + 1/m^f. На каком расстоянии от линзы должен быть расположен объект, чтобы коэффициент увеличения был равен единице?
Чему равно фокусное расстояние сложной линзы, состоящей из двух расположенных друг против друга тонких линз с фокусными расстояниями j\ и /2 соответственно? Указание: объясните, почему объект, расположенный на расстоянии /t по одну сторону сложной линзы, сфокусируется на расстоянии/2 по другую ее сторону.
/-число линзы есть отношение фокусного расстояния к диаметру линзы, /-число данной линзы (с фиксированным фокусным расстоянием) можно увеличить путем установки диафрагмы, которая экранирует часть света и тем самым как бы уменьшает диаметр линзы. Докажите, что яркость изображения обратно пропорциональна квадрату /-числа. Указание: определите, какое количество света задерживается апертурой.
При использовании оптической зрительной системы (камеры) для
Рис. 2.12. Определение фокусного расстояния и положения главных осей по некоторому числу измерений.
Объект, расположенный в плоскости с одной стороны линзы на расстоянии х от произвольно выбранной точки, правильно фокусируется в плоскости с другой стороны линзы, расположенной на расстоянии у от точки отсчета. Две главные плоскости лежат на расстояниях а и b по обе стороны от этой точки.
получения метрической информации об окружающем мире важно точно знать параметры линзы, включая фокусное расстояние и положение главных плоскостей. Допустим, предмет, лежащий в плоскости, находящейся на расстоянии х по одну сторону линзы, лучше всего фокусируется на плоскости, расположенной на расстоянии у по другую ее сторону (рис. 2.12). Расстояния х и у отсчитываются от произвольной, но фиксированной точки внутри линзы. Сколько подобных пар измерений требуется для определения фокусного расстояния и положения главных плоскостей? (На практике, естественно, потребуется произвести большее чем минимальное число измерений и применить подходящим образом приспособленную процедуру типа метода наименьших квадратов. Метод наименьших квадратов описывается в приложении.)
Предположим, что произвольно выбранная точка отсчета лежит между двумя главными плоскостями и что а и b — расстояния от главных плоскостей до этой точки (рис. 2.12). Заметьте, что, согласно данному ранее определению а -У Ь, есть толщина линзы. Покажите, что
(ab + bf + fa} - [х, U' + Ь} + у, Ц" + а)] + х^ = О,
где Xj и yf — измерения, полученные в z-м эксперименте. Предположите способ нахождения неизвестных на основе подобного рода нелинейных уравнений. Существует ли явная форма решения для величин /, а, Ы
Здесь мы исследуем частный случай задачи, поставленной в предыдущем упражнении. Опишите метод определения фокусного расстояния и положения главных плоскостей линзы по следующим трем измерениям: а) по положению плоскости, на которой отчетливо фокусируется предмет, находящийся на бесконечном расстоянии по одну сторону линзы; б) по положению плоскости, на которой отчетливо фокусируется предмет, находящийся на бесконечном расстоянии по другую сторону линзы; в) по положению двух плоскостей, расположенных по разные стороны линзы так, что изображение одной плоскости на другой имеет коэффициент увеличения, равный единице. 2.10. Здесь мы изучим вопрос о том, что происходит, когда плоскость изображения слегка наклонена. Покажите, что в камере с точечным отверстием наклон плоскости изображения приводит всего лишь к изменению точки пересечения оптической оси с ней и изменению расстояния от центра проекции до той же плоскости. Что происходит с камерой, в которой используется линза? Указание; отличается ли камера с (идеальной) линзой от камеры с точечным отверстием с точки зрения способа построения изображения?
Как бы вы экспериментально определили положение точки пересечения оптической оси с плоскостью изображения? Указание; найти точное положение этой точки довольно трудно.
Утверждалось, что эффекты перспективы имеют значение при использовании широкоугольных линз, в то время как механизм получения изображения в телескопических линзах можно аппроксимировать ортогональной проекцией. Покажите, что это грубые правила, годные лишь для объяснения «на пальцах».
Прямые линии в трехмерном пространстве проецируются в виде прямых линий на плоскости изображения. Проекции параллельных линий пересекаются в точке схода. Где на изображении будет лежать точка схода заданного семейства параллельных линий? При каком условии точка схода семейства параллельных линий лежит в бесконечности?
В случае прямоугольного объекта исследование прямых на изображении и их пересечений позволяет восстановить значительную долю информации. Края прямоугольного параллелепипеда принадлежат трем пучкам параллельных прямых и, следовательно, определяют три точки схода. В техническом черчении говорят об одно-, двух- и трехточечной перспективах. Эти термины относят к случаям, когда в бесконечности лежат соответственно две, одна или ни одной из трех точек схода. Каково взаимное расположение ребер прямоугольного параллелепипеда и плоскости изображения в каждом из этих случаев?
Как правило, оптические системы имеют почти точную симметрию относительно поворотов вокруг оптической оси. Поэтому искажения в плоскости изображения преимущественно радиальны. При очень высоких требованиях к точности для определения радиальных искажений линзу
можно калибровать. Обычно экспериментальные данные хорошо аппроксимируются полиномом вида
Аг' = к, (Г) + к3 (г')3 + к5 (г')5 + ....
Здесь г' = ]/(х')2 + (у')2 — расстояние от точки на изображении до точки пересечения оптической оси с плоскостью изображения. Объясните, почему в этом полиноме отсутствуют члены с четными степенями г'. 2.14. Допустим, что система воприятия цвета обладает тремя типами датчиков и что спектральная чувствительность каждого типа представляет собой сумму функций спектральной чувствительности колбочек человека, взятых с различными весами. Покажите, что в таких датчиках метамерические цвета будут приводить к идентичным сигналам.
Теперь покажите, что система восприятия цвета будет обладать этим свойством только в том случае, когда спектральная чувствительность каждого из трех типов ее датчиков есть линейная комбинация функций спектральной чувствительности колбочек человека. Предупреждение: вторая часть задачи намного сложнее первой.
Докажите, что дисперсию можно вычислить по формуле
ст2 = J x2p(x)dx — ц2.
Здесь мы рассмотрим среднее и стандартное отклонение суммы двух случайных величин.
Докажите, что среднее суммы х = Xj + х2 двух независимых случайных величин Xj и х2 равно сумме средних (ij + ц2.
Докажите, что дисперсия суммы х = х3 + х2 двух независимых случайных величин Xj и х2 равна сумме их дисперсий а2 + сг2.
Предположим, что плотность распределения вероятности случайной величины имеет вид
J (1/2иф если | х | ^ w;
Р [О, если | х | >
Каково распределение среднего двух независимых величин с подобным распределением?
Здесь мы рассмотрим некоторые свойства распределений Гаусса и Пуассона.
Докажите, что среднее и дисперсия гауссова распределения
равны цис2 соответственно.
Докажите, что как средняя величина, так и дисперсия распределения Пуассона
Рп = « "Рп = « "т" и!т" и!
Рп = « "
Рп = « "
т" и!
т" и!
равны т.
Рассмотрим взвешенную сумму независимых случайных величин
IV
1 = 1
где xt имеют среднее т и стандартное отклонение ст. Будем считать, что сумма весов равна единице. Каковы среднее и стандартное отклонение взвешенной суммы? Какой выбор весов минимизирует дисперсию при фиксированном N?
Телевизионный кадр сканирует за 1/30 с. Все нечетные строки считываются вслед за четными строками. Допустим, что имеется около 450 интересующих нас строк, каждая из которых подразделена на 560 элементов. С какой частотой должно производиться преобразование аналогового сигнала в цифровой? (Пренебречь временем перехода от строки к строке и от изображения к изображению.)
Докажите, что существуют лишь три правильных многоугольника, с помощью которых можно покрыть плоскость, а именно: а) равносторонний треугольник; б) квадрат и в) равносторонний шестиугольник. (Под словом покрыть мы подразумеваем покрытие без промежутков и перекрытий.)
Бинарные изображения:
геометрические характеристики
В этой главе мы исследуем черно-белые (бинарные) изображения. Их легче получать, хранить и обрабатывать, чем изображения, в которых имеется много уровней яркости. Однако, поскольку в бинарных изображениях кодируется информация лишь о силуэте объекта, область их применения ограничена. В дальнейшем будут сформулированы условия, необходимые для успешного использования методов обработки бинарных изображений. Здесь же внимание акцентируется на таких простых геометрических характеристиках изображений, как площадь объекта, его положение и ориентация. Подобные величины могут использоваться, например, в процессе управления механическим манипулятором при его работе с деталями. Другие аспекты, касающиеся бинарных изображений, например методы итеративной модификации, обсуждаются в следующей главе.
Поскольку изображения содержат большой объем информации, важную роль начинают играть вопросы ее представления. Мы покажем, что интересующие нас геометрические характеристики можно извлечь из проекций бинарных изображений. Проекции гораздо легче хранить и обрабатывать. В большей части данной главы речь пойдет преимущественно о непрерывных бинарных изображениях, характеристическая функция которых равна нулю или единице в каждой точке плоскости изображения. Это упрощает анализ; однако при использовании ЭВМ изображение необходимо разбить на дискретные элементы. Глава заканчивается обсуждением дискретных бинарных изображений и путей уменьшения затрат на передачу, хранение и обработку данных посредством учета пространственных взаимосвязей между элементами.
Бинарные изображения
Начнем со случая, когда в поле зрения находи гея единственный объект, а все остальное считается «фоном». Ес ш объект оказывается заметно темнее (или светлее), чем фон, то ла ко определить характеристическую функцию Ь(х,у), которая равна нулю для всех точек изображения, соответствующих фону, и единице для точек на объекте
Рис. 3.1. Бинарное изображение, определяемое характеристической функцией Ь^х, у), которая принимает значение «нуль» или «единица».
Часто бинарное изображение получают пороговым разделением обычного изображения. К нему также можно прийти путем порогового разделения расстояния на «изображении», полученном на основе измерений расстояния.
(рис. 3.1). Такую функцию, принимающую два значения и называемую бинарным изображением, можно получить пороговым разделением полутонового изображения. Операция порогового разделения заключается в том, что характеристическая функция полагается равной нулю в точках, где яркость больше некоторого порогового значения, и единице, где она не превосходит его (или наоборот).
Иногда бывает удобно компоненты изображения, а также отверстия в них рассматривать как множества точек. Это позволяет комбинировать изображения с помощью теоретико-множественных операций, например объединение и пересечение. В других случаях удобно поточечно использовать булевы операции, подобные логическому и (а) и логическому или (v). На самом деле это лишь два различных способа описания одних и тех же действий над изображениями.
Поскольку количество информации, содержащееся в бинарном изображении, на порядок меньше, чем в совпадающем с ним по размерам полутоновом изображении, бинарное изображение легче обрабатывать, хранить и пересылать. Естественно, определенная часть информации при переходе к бинарным изображениям теряется, и, кроме того, сужается круг методов обработки таких изображений. В настоящее время существует достаточно полная теория того, что можно и чего нельзя делать с бинарными изображениями, чего, к сожалению, нельзя сказать о полутоновых изображениях.
Прежде всего мы можем вычислить различные геометрические характеристики изображения, например размер и положение объекта. Если в поле зрения находится более одного объекта, то можно определить топологические характеристики имеющейся совокупности объектов: например, разность между числом объектов и числом отверстий. Нетрудно также пометить отдельные объекты и вычислить геометрические характеристики для каждого из них в отдельности. Наконец, перед дальнейшей обработкой изображение можно упростить, постепенно модифицируя его итеративным образом.
Обработка бинарных изображений хорошо понятна, и ее нетрудно приспособить под быструю аппаратную реализацию, но при этом нужно помнить об ограничениях. Мы уже упоминали о необходимости высокой степени контраста между объектом и фоном. Кроме того, интересующий нас образ должен быть существенно двумерным. Ведь все, чем мы располагаем, — лишь очертания или силуэт объекта. По такой информации трудно судить о его форме или пространственном положении.
Характеристическая функция b (х, у) определена в каждой точке изображения. Такое изображение будем называть непрерывным. Позже мы рассмотрим дискретные бинарные изображения, получаемые путем подходящего разбиения поля изображения на элементы.
Простые геометрические характеристики
Допустим снова, что в поле зрения находится лишь один объект. Если известна характеристическая функция Ь(х, у), то площадь объекта вычисляется следующим образом:
Л = ff 6(х, ^dxdy,
где интегрирование осуществляется по всему изображению I. При наличии более одного объекта эта формула дает возможность определить их суммарную площадь.
Площадь и положение
Как определить положение объекта на изображении? Поскольку объект, как правило, состоит не из одной единственной точки, мы должны четко определить смысл термина «положение». Обычно в качестве характерной точки объекта выбирают его геометрический центр (рис. 3.2). Геометрический центр — это центр масс однородной фигуры той же формы. В свою очередь центр масс определяется точкой, в которой можно сконцентрировать всю массу объекта без изменения его первого момента относительно любой оси. В двумерном случае первый момент относительно оси х рассчитывается по формуле
И ,ь <х’ у)dx dy = П/^ <х’ у) dx dy^
Рис. 3.2. Положение области на бинарном изображении, которое можно определить ее геометрическим центром.
Последний представляет собой центр масс тонкого листа материала той же формы.
а относительно оси у — по формуле
уП76(х- V^xdy = ff7yb(x, >Wdy,
где (х, у) — координаты геометрического центра. Интегралы в левой части приведенных соотношений — не что иное, как площадь А, о которой речь шла выше. Чтобы найти величины х и у, необходимо предположить, что величина А не равна нулю. Заметим попутно, что величина А представляет собой момент нулевого порядка функции Ь(х, у).
Ориентация
Мы также хотим определить, как расположен объект в поле зрения, т. е. его ориентацию. Сделать это несколько сложнее. Допустим, что объект немного вытянут вдоль некоторой оси; тогда ее ориентацию можно принять за ориентацию объекта (рис. 3.3). (При этом остается двузначность в выборе направления на оси, см. упражнение 3.7.) Как точно определить ось, вдоль которой вытянут объект? Обычно выбирают ось минимального второго момента. Она представляет собой двумерный аналог оси наименьшей инерции. Нам необходимо найти прямую, для которой интеграл от квадратов расстояний до точек объекта минимален; этот интеграл имеет вид
Е = ЭД r2b(x, y^dxdy,где г — расстояние вдоль перпендикуляра от точки с координатами(х, у) до искомой прямой.
Рис. 3.3. Ориентация области на изображении, определяемая направлением оси наименьшей инерции.
Она представляет собой ось, относительно которой момент инерции тонкого листа материала той же формы минимален.
Положение прямой на плоскости задается двумя параметрами. Удобной парой параметров служат расстояние р от начала координат до прямой и угол 9 между прямой и осью х, измеренный против часовой стрелки (рис. 3.4). Мы выбрали эти параметры потому, что при сдвигах и поворотах системы координат они меняются непрерывно. Кроме того, не возникает проблем, когда прямая параллельна или почти параллельна одной из координатных осей.
С помощью этих параметров уравнение прямой записывается в виде х sin 6 — у cos 6 + р = 0, причем сразу отметим, что прямая пересекает ось х в точке с абсциссой — р/sinO, а ось у —в точке с ординатой + p/cos0. Ближайшая к началу координат точка прямой имеет координаты (—psinO, +pcos9). Параметрические уравнения для точек прямой
v *v *Рис. 3.4. Два удобных параметра для идентификации заданной на х плоскости прямой (это угол наклона 0 по отношению к оси х и расстояние р вдоль перпендикуляра от начала координат до прямой).
v *
v *
Рис. 3.5. Расстояние вдоль перпендикуляра ОТ ТОЧКИ (х, у) до прямой легко определяется как только найдена ближайшая к ней точка прямой (х„, у0).
можно представить следующим образом: х0 = — psin0 + scos9 и у о = + Р cos 9 4- s sin 6, где s — расстояние вдоль прямой, отсчитываемое от ближайшей к началу координат точки.
Чтобы можно было вычислить расстояние г от каждой данной точки объекта с координатами (х, у), нам нужно найти ближайшую к ней точку на прямой (х0, у0) (рис. 3.5). Тогда г2 = (х — х0)2 4- (у — у0)2. Подставляя сюда значения х0 и у0 из параметрических уравнений, получим г2 = (х2 Т у2) Т р2 4- 2p(xsin 0 — у cos 9) — 2s (х cos 6 4- у sin 6) 4- s2. Дифференцирование по s и приравнивание результата нулю дают выражение s = xcos0 4- ysin0. Это выражение в свою очередь необходимо подставить в параметрические уравнения для х0 и у0. Из них мы сможем найти разности х — х0 = + sin 6 (х sin 6 — у cos 6 + р), у — у0 = — cos 9 (х sin 9 — у cos 6 -у р) и, следовательно, г2 = (xsinO — — у cos 9 4- р)2. Сравнивая этот результат с уравнением прямой, видим, что прямая есть геометрическое место точек, для которых г =0! Более того, становится очевидным преимущество выбранного нами способа параметризации прямой: расстояние до прямой мы получаем непосредственно.
Теперь перейдем к минимизации интеграла
Е — J^(x sin 9 — у cos 9 4- ^2b (х, y^dx dy.
Дифференцирование по p и приравнивание результата нулю приводят к уравнению А (х sin 9 — у cos 9 + р) = 0, где (х, у) — определенные выше координаты геометрического центра. Таким образом, ось минимального второго момента проходит через геометрический центр. Это наводит на мысль о замене переменных х' = х — х и у' = у — у, после чего будем иметь xsin9 — у cos 9 4- р = х' sin 9 — у'cos 9 и, следовательно, Е = a sin2 9 — & sin 9 cos 9 4- с cos2 9, где а, b и с — вторые моменты, вычисляемые по формулам
а = И,, (*')2Ж y)dx'dy', - b - ^y^x'VUnx. yvIV dy. c = ^АуТЦх, y)dx'dy.
1
Теперь можно переписать выражение для £ в виде £ = — (а + с) —
—2 <ti — с)cos 26 —^b sin 29. Дифференцируя по 0 и приравнивая результат нулю, получаем tg 29 = b/ta — с), если только b ф 0 или афс. Следовательно,
sin 29 = + — -= и cos 29 = +
]Д2 + (а - с)2]/б^+ Ui~i?
Из двух полученных решений то, которому отвечают знаки плюс в выражениях для sin 29 и cos 29, дает требуемый минимум Е. И наоборот, решение с отрицательными знаками соответствует максимальному значению Е. (Это можно показать, исследовав вторую производную от Е по 9). Если Ь = 0 и а = с, то оказывается, что Е не зависит от 9. В этом случае объект слишком симметричен, чтобы описанным способом можно было определить его ось. Отношение наименьшего значения £ к наибольшему характеризует в некоторой степени, насколько «округлым» является объект. Это отношение равно нулю для прямой и единице для окружности.
Иной путь решения проблемы состоит в попытке найти угол поворота 9, при котором матрица вторых моментов размера 2x2 имеет диагональный вид. В упражнении 3.5 мы покажем, что проведенные выше выкладки эквивалентны нахождению собственных чисел и собственных векторов матрицы вторых моментов, имеющей вид
а Ь/2\Ь/2 с /"
Проекции
Для вычисления положения и ориентации объекта достаточно знать первые и вторые моменты. (При этом остается двузначность в выборе направления на оси, см. упражнение 3.7.) Чтобы найти их значения, нет необходимости в исходном изображении: достаточно знать его проекции. Указанный факт представляет интерес, поскольку проекции описываются более компактно и приводят к гораздо более быстрым алгоритмам.
Рассмотрим прямую, проходящую через начало координат и наклоненную к оси х под углом 9 (рис. 3.6). Проведем новую прямую, пересекающую первую под прямым углом в точке, находящейся на расстоянии t от начала координат. Обозначим расстояние вдоль новой прямой через s. Интеграл от функции Ь(х, у) вдоль новой прямой дает одно значение проекции. Иными словами,
ре (г) = J b U cos 9 — s sin 9, t sin 9 + s cos 9) ds.
L
Рис. 3.6. Проекция области изображения на прямую, составляющую с осью х угол 6.
Ее можно найти путем интегрирования вдоль прямых, подобных той, которая обозначена буквой L.
Интегрирование осуществляется по части прямой L, лежащей внутри изображения. Например, вертикальная проекция (0 = 0) описывается вы
ражением
г(х) = f b(x,y)dy,L
а горизонтальная проекция (9 = л/2) — выражением Л (у) = J Ь (х, у) dx.
L
Далее, поскольку
А = И, Ж y)dxdy,
имеем
А = J v (х) dx = J h (у) dy.
Более важно, что
хА = JJ xb(x, y^dxdy = fxv(x)dx и; ;,р
у Л = П,уЬ(х, y)dxdy = ^yh^dy.
Таким образом, первые моменты проекций равны первым моментам исходного изображения.
Чтобы найти ориентацию, нам нужны также и вторые моменты. Два из них также легко вычисляются с помощью проекций
ДО x2b(x, y}dxdy = {х2р(х)г7х иf^y^fx, y^dxdy = ^y2h^dy.
Рис. 3.7. Горизонтальная h^yV диагональная d(f) и вертикальная v(.x) проекции, содержащие всю необходимую информацию для вычисления моментов нулевого, первого и второго порядков области изображения.Эти моменты в свою очередь дают исчерпывающую информацию, которая требуется для определения положения и ориентации области.Рис. 3.7. Горизонтальная h^yV диагональная d(f) и вертикальная v(.x) проекции, содержащие всю необходимую информацию для вычисления моментов нулевого, первого и второго порядков области изображения.Эти моменты в свою очередь дают исчерпывающую информацию, которая требуется для определения положения и ориентации области.
Рис. 3.7. Горизонтальная h^yV диагональная d(f) и вертикальная v(.x) проекции, содержащие всю необходимую информацию для вычисления моментов нулевого, первого и второго порядков области изображения.
Эти моменты в свою очередь дают исчерпывающую информацию, которая требуется для определения положения и ориентации области.
Рис. 3.7. Горизонтальная h^yV диагональная d(f) и вертикальная v(.x) проекции, содержащие всю необходимую информацию для вычисления моментов нулевого, первого и второго порядков области изображения.
Эти моменты в свою очередь дают исчерпывающую информацию, которая требуется для определения положения и ориентации области.
Однако интеграл от произведения ху через введенные выше проекции вычислить невозможно. Мы можем добавить диагональную проекцию (0 = л/4):
Теперь нетрудно убедиться в том, что
Следовательно,
xyb(x, y)dxdy =
Таким образом, все интегралы, необходимые для вычисления положения и ориентации области на бинарном изображении, можно получить, используя горизонтальную, диагональную и вертикальную проекции (рис. 3.7).
То, Что было сейчас изложено, интересно сравнить с методами восстановления в томографии. В ней рассматриваются интегралы от поглощающей способности материала образца. Проблема состоит в восстановлении плотности распределения вещества. В методах рентгенов-
ской томографии образец представляют в виде стопки срезов, причем каждый срез соответствует отдельной двумерной задаче. Получаемые проекции аналогичны тем, о которых шла речь выше. Можно показать, что распределение поглощающего материала определяется при наличии известных проекций для всех направлений и при условии, что плотность отлична от нуля только в ограниченной области пространства.
Какое отношение имеет восстановление в томографии к изучаемой здесь проблеме? Основное различие состоит в том, что в нашем случае функция, от которой берутся интегралы вдоль прямых, может принимать значения только «нуль» и «единица». Другое отличие в том, что мы не пользуемся всем необходимым объемом информации, а лишь тем, который достаточен для определения геометрического центра и оси минимальной инерции. В вопросах восстановления бинарных изображений по проекциям существует несколько интересных нерешенных задач. Допустим, например, что на изображении имеется непустая выпуклая область. Сколько проекций требуется для полного восстановления границы этой области? Далее, существуют ли некруглые объекты, обладающие тождественными с окружностью горизонтальными и вертикальными проекциями?
Дискретные бинарные изображения
До сих пор мы рассматривали непрерывные бинарные изображения, определенные во всех точках плоскости. Должно быть очевидным, что при переходе к дискретным изображениям интегралы становятся суммами (рис. 3.8), Например, площадь вычисляется (в единицах площади элемента изображения) в виде суммы
л т ;„■
Л = I Z Ьу,е=Ij= 1
где bij — значение бинарного изображения в точке, находящейся в нй строке и j-м столбце. Здесь мы полагали, что поле изображения разбито на квадратную решетку с т столбцами и п строками.
Часто изображение просматривается строка за строкой в той же самой последовательности, в какой телевизионный луч бежит по экрану (если не учитывать того, что четные строки считываются вслед за нечетными). Как только считано значение очередного элемента изображения, проверяем равенство Ь^ = 1. Если оно выполняется, добавляем 1, z, j, z2, ij и j2 к накапливаемым значениям площади, первых моментов и вторых моментов. По окончании цикла сканирования с помощью этих значений легко найти площадь, положение и ориентацию.
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Рис. 3.8. Дискретное бинарное изображение, состоящее из отдельных элементов, каждый из которых принимает значение «нуль» или «единица».
зом, все четные цепочки будут соответствовать единицам на изображении.) Пусть т, — количество цепочек в Ей строке. Как использовать коды с переменной длиной для быстрого вычисления требуемых геометрических характеристик? Ясно, что площадь — просто сумма кодов цепочек, соответствующих единицам на изображении
„ т,- 2
Л = Ё Z ri- 2k*
i = 1 k = 1
Необходимо отметить, что суммирование распространяется лишь на четные цепочки. Несколько труднее вычислить геометрический центр. Прежде всего следующим образом определяется горизонтальная проекция (рис. 3.9):
= £ ri. 2k-k= 1
Отсюда нетрудно найти вертикальное положение геометрического цент-
Ai = £ ih,.
i = 1
01110111100011000110 0 0 010 0 0 0Рис. 3.9. Горизонтальная проекция, которая сопоставляет каждой строке количество элементов изображения, принимающих значение «единица».Эту проекцию легко найти из изображения, кодированного кодом переменной длины. Достаточно просуммировать в каждом ряду коды с четными номерами. ■ ■ м.Рис. 3.9. Горизонтальная проекция, которая сопоставляет каждой строке количество элементов изображения, принимающих значение «единица».Эту проекцию легко найти из изображения, кодированного кодом переменной длины. Достаточно просуммировать в каждом ряду коды с четными номерами. ■ ■ м.
0111
0111
10001
10001
10 0 0 0
10 0 0 0
Рис. 3.9. Горизонтальная проекция, которая сопоставляет каждой строке количество элементов изображения, принимающих значение «единица».
Эту проекцию легко найти из изображения, кодированного кодом переменной длины. Достаточно просуммировать в каждом ряду коды с четными номерами. ■ ■ м.
Рис. 3.9. Горизонтальная проекция, которая сопоставляет каждой строке количество элементов изображения, принимающих значение «единица».
Эту проекцию легко найти из изображения, кодированного кодом переменной длины. Достаточно просуммировать в каждом ряду коды с четными номерами. ■ ■ м.
Кодирование с переменной длиной кодовой последовательности
Существует несколько способов кодирования, позволяющих еще больше сжать информацию о бинарных изображениях. Одним из широко распространенных является кодирование с переменной длиной кодовой последовательности. Этот метод основан на том, что вдоль любой просматриваемой в данный момент строки обычно обнаруживаются длинные цепочки нулей и единиц. Поэтому вместо передачи отдельных битов информации мы можем посылать длины подобных цепочек. Код с переменной длиной для строки изображения есть просто [1, 4, 3, 2, 4].
есть просто [1, 4, 3, 2, 4].
Для обозначения начала каждой строки нужно ввести специальный признак. Кроме того, принимается соглашение относительно того, с чего начинается строка (с нуля или единицы). Если строка начинается с противоположного символа, то первым символом кода устанавливается нуль.
Условимся, что rlk представляет собой k-ю цепочку в i-й строке и что первая цепочка в каждой строке есть цепочка нулей. (Таким обра-
значение этой проекции получается суммированием всех значений элементов изображения, расположенных в одном столбце. Поэтому непосредственное вычисление вертикальной проекции с помощью имеющихся в нашем распоряжении кодов затруднено.
Теперь рассмотрим первые разности значений вертикальной проекции
г, = Vy — Vy-i, причем г, = г,.
Их, очевидно, можно получить на основе информации, содержащейся не в самом изображении, а в первых горизонтальных разностях изображения:
bij = bi.J-biJ_v
Первая разность Б^ имеет перед самим изображением Ьи то преимущество, что она отлична от нуля только в начале каждой цепочки. Она равна +1 там, где значение элемента изображения меняется с О на 1, и — 1 там, где оно изменяется с 1 на 0 (рис. 3.10). Мы можем локализовать эти места, вычислив суммарные коды rik:
гtk = 1 + Е Vibi= 1
или рекурсивно ri>0 = 1 и ri-j+1 = rLj + г;у. После этого для получения первой разности вертикальной проекции Vj необходимо найти разность между числом суммарных кодов rik, равных j, с нечетным к и числом суммарных кодов rik, равных /, с четным к 1|.
Из полученных первых разностей сама вертикальная проекция определяется простым суммированием
Е1= 1
или рекурсивно г0 = 0 и rj+! = Vy + Гу+1. Пример расчетов приведен 1М рис. 3.10. Зная вертикальную проекцию, нетрудно найти горизонтальное положение j геометрического центра
j= I
В упражнении 3.8 показывается, что диагональную проекцию можно получить путем, аналогичным тому, который мы использовали для получения вертикальной проекции.
11 Более точно: рассматриваются только значения г,у, для которых j > 0 и r(j < I, где I — длина строки (т. е. первое и последнее значения игнорируются). — Прим, перев.
Рис. 3.10. Первые разности вертикальной проекции, вычисляемые с помощью проекции первых разностей для строк изображения.
Сама вертикальная проекция находится затем суммированием результата слева направо.
Комментарии к литературе
Другой подход к обработке бинарных изображений описан в книге [92]. Книга [100] содержит сведения о некоторых недавних работах в области обработки бинарных изображений. Для знакомства с реализацией некоторых из рассмотренных здесь алгоритмов просмотрите главу в книге [115], посвященную обработке бинарных изображений. Много интересных бинарных изображений, полученных художниками, можно найти в книге [44].
Кодирование с переменной длиной кодовой последовательности основывается на избыточности лишь в одном измерении. В целях уменьшения затрат на передачу и хранение данных было предпринято несколько попыток использовать пространственную взаимосвязь между элементами изображения в обоих измерениях. Быть может, наиболее удачной среди схем такого рода является схема, разработанная фирмой IBM и описанная в отчете [346]. Дальнейшие библиографические комментарии, относящиеся к обработке бинарных изображений, см. в конце гл. 4. .
Симон Кахен из Bell Labs решил одну из задач, сформулированных в конце разд. 3.3. Он доказал, что не существует некруглой фигуры, имеющей тождественные с окружностью горизонтальную и вертикальную проекции.
Упражнения
Экстремальные значения момента инерции можно записать в виде £ = (я + с)/2 ± (1/2)0^+ (а — с)2, где й, b и с определены в этой главе. Покажите, что £ > 0. Когда £ = 0?
Перепишите выражение для второго момента относительно оси, наклоненной под углом 6,£ = (1/2)(й + с) — (1/2)(й — c)cos20—
— (1/2) Ь sin 20, в виде £ = (й + с)/2 + |/b2 — (й — с)2 cos 2(0 — <р). Что представляет собой угол <р?
Пусть й, b и с — интегралы, определенные в данной главе.
Представьте а, b и с в виде интегралов по переменным х и у вместо х' и у'.*
С помощью выражений для sin 20 и cos 20 найдите выражения для sin 0 и cos0.
Иногда удобно заменить фигуру более простой, но имеющей те же самые нулевой, первый и второй моменты. Рассмотрим область, границей которой является эллипс с полуосями а (вдоль оси х) и Р (вдоль оси у). Уравнение эллипса (х/а)2 4- (у/Р)2 = 1. Покажите, что наименьший и наибольший вторые моменты такой области относительно оси, проходящей через начало координат, равны (л/4)оф3 и (л/4) pot3 соответственно. Далее, как было показано, второй момент произвольной области относительно прямой, наклоненной под углом 0, представляется в виде Е = a sin2 0 — b sin 0 cos 0 + с cos2 0. Вычислите наибольшую и наименьшую полуоси эквивалентного эллипса, т. е. такого, который имеет тот же самый второй момент относительно любой прямой, проходящей через начало координат.
Вектор v, обладающий тем свойством, что Mv = Xv для некоторого X, называется собственным вектором матрицы М. Постоянный множитель X представляет собой соответствующее собственное значение.
Покажите, что симметрическая матрица размера 2x2
а Ь/2\1
Ь/2 с /
имеет два действительных собственных значения (я + с)/2 + ±■(1/2)]/^+ (а — с)2. Указание: система однородных линейных урав- ; нений имеет ненулевое решение только тогда, когда определитель матрицы ее коэффициентов равен нулю.,, , , л ,
Покажите, что соответствующие собственные векторы определяются выражениями
(|/|/(« - с)2 4- Ь2 - (с - а), + у'^а - с)2 + Ь2 - (а - с))т
и (|/|/(« - с)2 + Ь2 - (а - с), - ]/|/(а - с)2 + b2 - (с - a)f. у
Покажите, что собственные векторы ортогональны и имеют одинаковую длину, равную
^р^я - с)2 + Ь2.
Сопоставьте эти результаты с проблемой определения оси минимальной инерции.
Придумайте способ вычисления интеграла
JJ xyb(x, y)dx dy,
исходя из горизонтальной и вертикальной проекций, а также проекции ре(0 под углом 9, где
pe (t) = f 6 (tcos 9 — s sin 9, t sin 9 + s cos 9) ds.
Какое ограничение необходимо наложить на 9?
Ось минимальной инерции однозначно определяет прямую, пересекающую объект. Однако методы, предложенные до сих пор, не предписывают ориентации этой прямой. В некоторых приложениях подобная двузначность в выборе ориентации оказывается существенной. Для получения необходимой дополнительной информации целесообразно произвести дополнительные измерения. В этом плане, например, может помочь знание расположения точки контура изображения, наиболее удаленной от геометрического центра.
Можно также рассмотреть моменты более высокого порядка. Сколько требуется проекций для вычисления моментов всех порядков вплоть до третьего? Какие проекции целесообразно добавить к уже имеющимся: горизонтальной (-»), вертикальной (Д и диагональной с северо-запада на юго-восток (X)?
Укажите конкретный метод вычисления диагональных проекций с северо-запада на юго-восток (X) и с северо-востока на юго-запад (Z) на основе кодов с переменной длиной.
Если строка изображения очень длинная, то на каждый элемент ее кода приходится резервировать довольно много разрядов (для 4096 элементов изображения требуются 12-разрядные числа). Если цепочки в основном короткие, то это слишком дорого. Разработайте схему пересылки более коротких кодов.
Может ли результат кодирования с переменной длиной кодовой последовательности быть менее компактным по сравнению с
самим изображением? Если да, предложите методы предварительной обработки, снимающие потенциальную проблему.
Предполагая изображение фиксированным, оцените, как увеличивается объем информации при удвоении числа строк и столбцов на экране. Рассмотрите оба способа кодирования: непосредственный бинарный код и кодирование с переменной длиной кодовой последовательности.
Допустим, у нас имеется следующая таблица кодов г№:
Найдите суммарные коды rik. Из них определите первые разности вертикальной проекции 5,. Покажите, что сама вертикальная проекция и, имеет вид
В этой главе мы предполагали, что бинарное изображение представлено в виде матрицы, состоящей из нулей и единиц. С тем же успехом можно использовать описания границ областей, составляющих изображение. Любую такую границу можно аппроксимировать, например, многоугольником. Докажите, что площадь области R при таком способе представления вычисляется следующим образом:
Л = + £ .X dy = — £ у dx,
где интегралы берутся вдоль границы <R при обходе области R против часовой стрелки. Выпишите аналогичные интегралы для первого и второго моментов, которые необходимы для расчета геометрического центра и оси минимальной инерции. Указание: переход от интегралов по области к интегралам по контуру осуществляется на основе интегральной теоремы Гаусса1*.
11 Обычно эту теорему в приведенном здесь виде называют теоремой или формулой Грина, — Прим. ред.
Бинарные изображения: топологические характеристики
В этой главе рассматриваются случаи, когда в доле зрения оказывается более одного объекта, а также разрабатываются более сложные методы восстановления информации по бинарным изображениям. Для этого необходимо тщательно определить, что мы понимаем под связностью двух элементов изображения. Мы изучим этот вопрос для различных способов разбиения плоскости изображения и разработаем средства, позволяющие помечать различные компоненты изображения при последовательном его просмотре.
Изображения содержат большой объем информации. Один из путей ее обработки за приемлемое время состоит в широком использовании распараллеливания процессов. Существуют два изящных класса методов параллельной обработки бинарных изображений (локальные методы и методы итеративной модификации), которые исследуются в данной главе. Для понимания того, какие величины можно вычислить в результате их применения, вводится свойство аддитивности.
Приведенные здесь методы могут найти применение в задачах визуальной инспекции, обнаружения и распознавания объектов.
Сложные объекты
Иногда в поле зрения попадает более одного объекта (рис. 4.1). В этом случае вычисление площади, геометрического центра и ориентации приведет к значениям, «усредненным» по всем компонентам бинарного изображения. Как правило, это не то, что требуется. Желательно как-то пометить отдельные компоненты изображения и вычислить значения площади, первых и вторых моментов для каждой компоненты в отдельности.
Разметка компонент
Будем считать две точки изображения связанными, если существует путь между ними, вдоль которого характеристическая функция постоянна. Так, на рис. 4.1 точка А связана с точкой В, но не связана с точкой С. Связная компонента бинарного изображения есть максимальное множество связанных точек, т. е. множество, состоя-
Рис. 4.1. Изображение, состоящее из нескольких областей, для каждой из которых необходимо проводить расчет положения и ориентации.
Элементы изображения необходимо пометить таким образом, чтобы принадлежащие одной области были отличимы от остальных. Для этого нам необходимо решить, какие точки принадлежат одной и той же области. На рисунке точка А считается связанной с точкой В, поскольку мы можем найти непрерывную кривую, целиком лежащую в затененной области и соединяющую указанные точки. Ясно, что точка А не связана с точкой С, так как в этом случае подобной кривой найти нельзя.
щее из всех тех точек, между любыми двумя из которых существует связывающий их путь. На рисунке изображены четыре связные компоненты и четыре отверстия (кроме фона).
Один из способов разметки объектов на дискретном бинарном изображении состоит в выборе произвольной точки, в которой b;j = 1, и приписывании метки этой точке и ее соседям. На следующем шаге помечаются соседи этих соседей (кроме уже помеченных) и т. д. По завершении этой рекурсивной процедуры одна компонента будет полностью помечена, и процесс можно будет продолжить, выбрав новую начальную точку. Чтобы ее отыскать, достаточно каким-либо систематическим образом перемещаться по изображению до тех пор, пока не встретится первая еще непомеченная точка, в которой b^ = 1. Когда на этом этапе не останется ни одного такого элемента, все объекты изображения окажутся размеченными.
Ясно, что «фон» также можно разбить на связные компоненты, поскольку объекты могут иметь отверстия. Их можно пометить с помощью той же процедуры, но при этом необходимо обращать внимание не на единицы, а на нули.
Связность
? Теперь пора аккуратно рассмотреть смысл термина сосед. Если ., мы имеем дело с квадратным растром, то, по-видимому, соседями следует считать четыре элемента изображения, касающиеся сторон дан-
ного элемента. Но как быть с теми, которые касаются его в углах? Существуют две возможности:
четырехсвязность: соседями считаются только элементы, примыкающие к сторонам;
восьмисвязность: элементы, касающиеся в углах, также считают
ся соседями.
Указанные возможности приведены
на следующих диаграммах:на следующих диаграммах:Оказывается, ни одна из этихОказывается, ни одна из этихсхем не является полностью удов
на следующих диаграммах:
на следующих диаграммах:
Оказывается, ни одна из этих
Оказывается, ни одна из этих
убедиться, если вспомнить, что фонубедиться, если вспомнить, что фонРис. 4.2. Простая замкнутая кривая, разбивающая плоскость на две связке области..Рис. 4.2. Простая замкнутая кривая, разбивающая плоскость на две связке области..летворительной. В этом можно убедиться, если ваюмншь, чю тип также можно разбить на несколько связных компонент. Здесь нам хотелось бы применить наши интуитивные представления о связности областей на непрерывном бинарном изображении. Так, например, простая замкнутая кривая должна разделять изображение на две связные области (рис. 4.2). Это так называемая теорема Жордана о кривой.
убедиться, если вспомнить, что фон
убедиться, если вспомнить, что фон
Рис. 4.2. Простая замкнутая кривая, разбивающая плоскость на две связке области..
Рис. 4.2. Простая замкнутая кривая, разбивающая плоскость на две связке области..
Теперь рассмотрим простое изобраяо^и^ содержащее четыре элемента со значением «единица», которые. примыкают кцентральНому элементу со значением «нуль»: *
0
1
0
1
0
1
0
1
0
Это — крест с выброшенным центром. Если принять соглашение о четырехсвязности, то на изображении окажутся четыре различные компоненты (Ols О2, Оэ и о4у.
В1
01
В1
О2
В^
Оз
Вт
04
В1
Они, естественно, не образуют замкнутой кривой, хотя центральный элемент, относящийся к фону, и не связан с остальным фоном. Несмотря на отсутствие какой-либо замкнутой кривой, у нас образовались две фоновые области! Если принять соглашение о восьмисвязности, то, наоборот, четыре элемента растра станут образовывать замкнутую кривую, и в то же время центральный элемент окажется связан
ным с остальным фоном:
в
О
в
О
в
О
в
О
в
Итак, мы получили замкнутую кривую и только одну связную компоненту фона!
Одно из решений возникшей проблемы состоит в выборе четырехсвязности для объекта и восьмисвязности для фона (или наоборот). Подобная асимметрия в трактовке объекта и фона часто нежелательна, и ее можно избежать путем введения другого типа асимметрии. Будем считать соседями четыре элемента изображения, примыкающие к данному по сторонам, а также два из четырех элементов, касающихся в углах:
Для обеспечения симметричности отношения связности два угловых элемента должны находиться на одной и той же диагонали: если элемент А — сосед элемента В, то элемент В должен быть соседом элемента А. В дальнейшем мы будем пользоваться первым из двух возможных вариантов, приведенных выше, считая соседями элементы в направлениях N, Е, SE, S, W и NW ф, ->,\ , j,, xj- С помощью шестисвязности как объект, так и фон можно трактовать единообразно без каких-либо дальнейших неувязок. Для изображений на квадратном растре мы примем именно такое соглашение.
На гексагональном растре рассуждения проще. Все шесть элементов растра, касающиеся данного центрального элемента, являются соседями, так что неопределенности не возникает. Наши предыдущие действия можно рассматривать как простой перекос квадратной решетки и превращение ее в гексагональную. Чтобы в этом убедиться, зафиксируем произвольный элемент и сдвинем ряд, находящийся над ним, на половину ширины элемента вправо, а ряд, находящийся под ним,— на ту же величину влево:
Теперь выбранный элемент касается шести других, и они в точности такие, которые мы выбрали при определении шестисвязности.
Последовательный алгоритм разметки
Теперь мы подготовлены к описанию алгоритма разметки, который лучше приспособлен к последовательному сканированию изображения и не нуждается в рекурсивных вызовах. Допустим, что сканирование ведется строка за строкой, сверху вниз и слева направо (рис. 4.3). Тогда при обработке элемента А мы знаем, что левый элемент В, так же как и верхний С, уже помечен. Далее, элемент D, расположенный над В, считается связанным с Л и потому также должен быть принят во внимание.
Для простоты предположим на время, что мы размечаем лишь компоненты объекта. Тогда если А содержит нуль, то можно идти дальше. Если А содержит единицу, a D уже помечен, то достаточно просто скопировать эту метку и продолжить работу. То же самое необходимо сделать, если помечен один из элементов В или С. Если же ни В, ни С не помечены, то мы должны выбрать новую метку для А. Тем самым здесь мы впервые вводим в рассмотрение новую
Рис. 4.3. Решения, принимаемые при разметке.
Они основываются на метках, уже присвоенных четырем элементам изображения, попавшим в окно, которое перемещается по изображению и последовательно сканирует его.
компоненту. Оставшаяся возможность: как В, так и С имеют метки. Проблем не возникает, когда эти метки одинаковые; но поскольку по нашей схеме они не являются соседями, их метки могут быть различными. В этом случае мы как раз обнаружили, что две различные метки использовались для различных частей одной компоненты изображения (рис. 4.4). Они соединяются через точку А. В этот момент необходимо указать, что две метки эквивалентны, и использовать одну из них для А. Такова цена, которую приходится платить за последовательный характер алгоритма.
Рис. 4.4. Последовательная разметка.
Может так случиться, что две области, считавшиеся ранее различными, на самом деле оказываются связанными. Необходимо указать на эквивалентность соответствующих меток. (Воспроизводится с разрешения из работы [115].)
В конце просмотра данные, относящиеся ко всем частям с эквивалентными метками, необходимо объединить. Если же мы лишь накапливаем суммы для расчета нулевого, первого и второго моментов, можно избежать и этого шага. Достаточно сложить суммы, до сих пор относившиеся к двум различным компонентам, и продолжать накопления в этих объединенных суммах.
Если мы хотим обозначить области едиными метками, необходимо сделать второй просмотр изображения, присваивая каждой области метку — представителя того класса эквивалентности, которому принадлежит ее исходная метка.
Локальные вычисления и итеративная модификация
До сих пор основное внимание уделялось последовательной обработке информации, содержащейся в бинарном изображении. Чтобы повысить скорость обработки и использовать возможности больших интегральных схем (БИС), необходимо также рассмотреть, какие результаты можно получить с помощью параллельно выполняемых локальных операций. Под локальной мы понимаем то, что на вход каждой такой операции поступает информация лишь с небольшого участка изображения.
Имеются два типа вычислений, выполнимых таким образом. Мы можем скомбинировать (сложить) результаты всех локальных операций и завершить тем самым работу в один шаг (рис. 4.5) или создать
Рис. 4.5. Методы локальных вычислений.
Комбинируются выходы отдельных вычислительных ячеек, каждая из которых соединена с несколькими элементами изображения, лежащими вблизи нее.
новое изображение на основе этих результатов. Последний метод будет рассмотрен в следующем разделе.
Локальные вычисления
Рассмотрим очень простой случай. Каждый из локальных операторов обращается к одному элементу изображения и выдает его значение. После сложения всех таких выходов в качестве результата получим суммарную площадь объектов, находящихся в поле зрения. Таким образом, параллельный способ вычисления площади требует всего одного шага (проблему суммирования всех нулей и единиц мы здесь не рассматриваем).
Какие другие характеристики представимы в виде суммы результатов локальных операций? Например, периметр: достаточно просто подсчитать количество участков на изображении, где рядом с нулями стоят единицы. Имеются два типа локальных операторов (рис. 4.6):
Рис. 4.6. Возможность использования операции ИСКЛЮЧАЮЩЕЕ ИЛИ к двум соседним элементам изображения для выделения участков, находящихся на границе областей.Рис. 4.6. Возможность использования операции ИСКЛЮЧАЮЩЕЕ ИЛИ к двум соседним элементам изображения для выделения участков, находящихся на границе областей.
Рис. 4.6. Возможность использования операции ИСКЛЮЧАЮЩЕЕ ИЛИ к двум соседним элементам изображения для выделения участков, находящихся на границе областей.
Рис. 4.6. Возможность использования операции ИСКЛЮЧАЮЩЕЕ ИЛИ к двум соседним элементам изображения для выделения участков, находящихся на границе областей.
операторы одного типа просматривают два соседних элемента, расположенных в одной строке, а операторы другого типа - два соседних элемента, расположенных в одном столбце. В обоих случаях результат есть ИСКЛЮЧАЮЩЕЕ ИЛИ (а ® Ь) двух значений на входе. Сумма всех получаемых выходов представляет собой оценку периметра.
О1О1Каждый из двух типов операторов реагирует на два типа шаблонных ситуаций. Здесь показаны два случая, включающие горизонтальный и вертикальный детекторы.
О
1
О
1
0
1
Вычисленный периметр представляет собой лишь приблизительную оценку, поскольку, как правило, дискретное бинарное изображение
Бинарные изображения: топологические характеристики 85 строится на основе непрерывного, и при этом границы объектов становятся более изрезанными. Например, оценка длины диагональной прямой в |/2 раз больше «истинной»:
О
0 F
О 1
Усреднение по всем углам наклона дает среднее значение коэффициента, показывающего, во сколько раз увеличено полученное значение. Оно составляет 4/л = 1,273.... Разделив на это число, можно улучшить оценку периметра.
Кроме площади и периметра с помощью локальных методов можно вычислить число Эйлера, которое определяется как разность между количеством объектов и количеством отверстий. Например, число Эйлера заглавной буквы «В» равно —1, поскольку она представляет собой один объект с двумя отверстиями (рис. 4.7). Число Эйлера буквы «I» равно 2, а буквы «п» равно 1 и т. д. Может показаться странным, что число Эйлера рассчитывается с помощью суммирования результатов локальных операций. Например, ни числа объектов, ни числа отверстий таким путем рассчитать нельзя. А их разность, т. е. число Эйлера, можно!
Рис. 4.7. Число Эйлера как разность между числом объектов и числом отверстий. Для этого бинарного изображения число Эйлера равно 4, поскольку на нем 7 объектов и 3 отверстия.
Свойство аддитивности
Мы можем комбинировать бинарные изображения различными путями. Можно осуществить операцию ИЛИ. В результате мы объединим два изображения в одно. Можно осуществить операцию И. В этом случае мы получим пересечение объектов. Нас интересует, как различные характеристики получаемых подобными способами изображений соотносятся с характеристиками исходных изображений. Одна из причин такого интереса связана с надеждой разбить изображение на большое число частей, одновременно обработать все эти части и затем объединить результаты.
Если обозначить исходные изображения через X и У (рис. 4.8), то логические операции ИЛИ (v) и И (л) над X и У обозначаются соответственно X [J У и X Q У. Площади удовлетворяют соотношению А (X) + Л(У) = 4(Х^У) + Л(Хр|У), поскольку сумма площадей X и У равна площади их объединения плюс площадь тех частей, где они перекрываются. О любой числовой характеристике бинарного изображения, удовлетворяющей этому условию, говорят, что она обладает
Рис. 4.8. Бинарные изображения, рассматриваемые как множества.Мы можем скомбинировать два бинарных изображения, объединяя или пересекая их как множества. Площадь объединения X |J Y двух изображений плюс площадь их пересечения X Q Y равна сумме площадей исходных изображений X и Y.Рис. 4.8. Бинарные изображения, рассматриваемые как множества.Мы можем скомбинировать два бинарных изображения, объединяя или пересекая их как множества. Площадь объединения X |J Y двух изображений плюс площадь их пересечения X Q Y равна сумме площадей исходных изображений X и Y.XUYXUY
Рис. 4.8. Бинарные изображения, рассматриваемые как множества.
Мы можем скомбинировать два бинарных изображения, объединяя или пересекая их как множества. Площадь объединения X |J Y двух изображений плюс площадь их пересечения X Q Y равна сумме площадей исходных изображений X и Y.
Рис. 4.8. Бинарные изображения, рассматриваемые как множества.
Мы можем скомбинировать два бинарных изображения, объединяя или пересекая их как множества. Площадь объединения X |J Y двух изображений плюс площадь их пересечения X Q Y равна сумме площадей исходных изображений X и Y.
XUY
XUY
II Д1
Рис. 4.9. Возможность разбиения изображения на полосы, каждую из которых анализировать просто.
Для величин, удовлетворяющих свойству аддитивности, значение для всего изображения можно вычислить, исходя из значений для каждой полосы. При этом расчеты допускают пошаговую реализацию: на каждом шаге добавляется лишь одна полоса.
свойством аддитивности. Периметр также удовлетворяет этому свойству, так как сумма периметров объектов X и У равна сумме периметров их объединения и пересечения. Оказывается, что число Эйлера также обладает этим свойством. Именно поэтому все три указанные характеристики представимы в виде суммы результатов локальных операций. Свойство аддитивности позволяет нам разбить изображение на небольшие части и получить окончательный ответ путем суммирования результатов операций, выполненных над этими частями. Продемонстрируем эту процедуру на примере числа Эйлера.
Рассмотрим непрерывное бинарное изображение. Выберем направление на нем и назовем его направлением смещения (рис. 4.9). Теперь разобьем изображение на полосы прямыми, ортогональными этому направлению. Любую характеристику, удовлетворяющую свойству аддитивности, можно вычислить пошагово путем добавления на каждом шаге приращения, соответствующего очередной полосе. Если текущую полосу обозначить через Д/, а уже пройденную часть изображения — через I, то из свойства аддитивности получим для числа Эйлера ЕЦ IJ Д/) — Е(7) = Е^М) — Е(7 Q Д7). Теперь обратимся к вопросу, который мы еще не задавали: какова должна быть ширина полос? Полосы, для которых Е(Д7) = E(Z Q Д/), интереса не представляют. Нам важны «особенные» места, в которых Е (Д7) / Е (7 Q Д/). В случае числа Эйлера они находятся там, где полоса Д/ содержит начало нового
Рис. 4.10. Выпуклости (X) и вогнутости (И) в направлении смещения как существенные части областей изображения при вычислении числа Эйлера.
объекта или конец отверстия. Такие части изображения мы будем называть выпуклостями и вогнутостями в направлении смещения соответственно (рис. 4.10). В первом случае число Эйлера изменяется на величину ДЕ = Е(М) — E(I Q ДУ) = 1 — 0 = +1, во втором — на величину ДЕ = Е(Д1) — ЕЦ Q ДУ) = 1 — 2 = — 1. (Обратите внимание, что У и ДУ лишь касаются друг друга, и, следовательно, их пересечение будет состоять из отрезков прямых.) Число Эйлера — это просто разность между числом X выпуклостей и числом V вогнутостей в направлении смещения.
Заманчиво использовать аналогию между этой разностью и той, которая фигурирует в определении числа Эйлера. Но число объектов В необязательно равно числу X, а число отверстий Н — числу V.
Рис. 4.11. Число Эйлера как разность между числами выпуклостей и вогнутостей в направлении смещения.Однако это не означает, что они должны совпадать с количеством объектов и отверстий, как иллюстрирует данный пример.Рис. 4.11. Число Эйлера как разность между числами выпуклостей и вогнутостей в направлении смещения.Однако это не означает, что они должны совпадать с количеством объектов и отверстий, как иллюстрирует данный пример.
Рис. 4.11. Число Эйлера как разность между числами выпуклостей и вогнутостей в направлении смещения.
Однако это не означает, что они должны совпадать с количеством объектов и отверстий, как иллюстрирует данный пример.
Рис. 4.11. Число Эйлера как разность между числами выпуклостей и вогнутостей в направлении смещения.
Однако это не означает, что они должны совпадать с количеством объектов и отверстий, как иллюстрирует данный пример.
Это легко увидеть на примере объекта, сильно изрезанного в направлении смещения (рис. 4.11). Как X, так и V велики (причем X = V + 1), в то время как В = 1 и Н = 0. Иначе и не может быть, поскольку В и Н по отдельности не удовлетворяют свойству аддитивности и, значит, невычислимы путем суммирования результатов локальных операций.
Наконец, мы должны найти аналогичный метод, который применим к дискретным изображениям. Допустим, что смещение выбрано в направлении с NW на SE (\). Тогда необходимо сосчитать число следующих ситуаций:
0
1
1
1
Например, если изображение состоит из квадрата с квадратным отверстием, то X = 1 и V — 1, так что Е = X — V = 0, как оно и должно быть (рис. 4.12). При выборе другого направления смещения берутся иные маски, однако, естественно, число Эйлера не изменяется (хотя сами значения X и V могут изменяться).
Рис. 4.12. Число Эйлера для данной квадратной области с квадратным отвер-/ стием равно нулю (в направлении смещения имеются одна выпуклость и одна вогнутость).Рис. 4.12. Число Эйлера для данной квадратной области с квадратным отвер-/ стием равно нулю (в направлении смещения имеются одна выпуклость и одна вогнутость).
Рис. 4.12. Число Эйлера для данной квадратной области с квадратным отвер-/ стием равно нулю (в направлении смещения имеются одна выпуклость и одна вогнутость).
Рис. 4.12. Число Эйлера для данной квадратной области с квадратным отвер-/ стием равно нулю (в направлении смещения имеются одна выпуклость и одна вогнутость).
Итеративная модификация
Вместо сложения результатов локальных операций из них можно образовать новое изображение (рис. 4.13). Значение каждого элемента нового изображения определяется как результат локальной операции над соответствующим элементом исходного изображения. Полученное бинарное изображение можно снова подвергнуть обработке в следующем цикле вычислений. Этот процесс, называемый итеративной модификацией, весьма полезен, поскольку позволяет постепенно перевести трудное для обработки изображение в такое, которое поддается ранее описанным методам.
Интересные для нас изменения происходят лишь на границах между объектами и фоном. Это объясняется тем, что все элементы внутри объекта обрабатываются одинаково; то же относится и к элементам внутри компоненты фона. Поэтому новое изображение обычно будет отличаться от старого лишь на границах. Это в свою очередь говорит об ограниченных возможностях одного шага вычислений. Более заманчиво итеративно продолжить процесс, подав на вход следующего шага новое изображение. Итерации можно продолжить либо фиксированное число раз, либо до тех пор, пока будут присутствовать изменения.
Такой способ позволяет, например, оставить от объекта лишь один остов и тем самым избавиться от его границы. Остов — это то, что остается от фигуры после отбрасывания максимально возможного числа элементов, при котором еще не изменяется ее связность. Важно не уничтожить оставшиеся элементы остова. Чтобы разобраться в этом вопросе, необходимо проследить за изменениями числа Эйлера при изменении содержимого одного элемента. Операции, не меняющие числа Эйлера, называются консервативными.
Рис. 4.13. Построение нового бинарного изображения на основе большого числа вычислительных элементов, каждый из которых связан с небольшим числом соседних элементов изображения.
11Рис. 4.14. Замена нулевого значения элемента, окруженного нулями, на единицу.Возникает новый объект, и тем самым число Эйлера увеличивается на единицу.Рис. 4.14. Замена нулевого значения элемента, окруженного нулями, на единицу.Возникает новый объект, и тем самым число Эйлера увеличивается на единицу.
1
1
Рис. 4.14. Замена нулевого значения элемента, окруженного нулями, на единицу.
Возникает новый объект, и тем самым число Эйлера увеличивается на единицу.
Рис. 4.14. Замена нулевого значения элемента, окруженного нулями, на единицу.
Возникает новый объект, и тем самым число Эйлера увеличивается на единицу.
К счастью, число Эйлера удовлетворяет свойству аддитивности; поэтому его изменение зависит лишь от соседей конкретного элемента. Если поменять нулевое значение элемента с нулевыми соседями на единицу (рис. 4.14), то независимо от значений остальных элементов число Эйлера увеличится на единицу. Аналогично если все соседи (кроме одного) — нули или единицы, то число Эйлера остается неизменным при инвертировании значения в центральном элементе; в этом случае мы просто расширяем объект или сокращаем отверстие.
Согласно нашей схеме, любой элемент изображения имеет шесть соседей. Каждый из них может принимать значение «нуль» или «единица». Следовательно, существует 26 = 64 возможных вариантов окружения. Для каждого из вариантов можно вычислить дифференциал
Рис. 4.15. Дифференциал Эйлера для каждого из пяти возможных вариантов окружения.Его можно получить, определяя изменение числа Эйлера при замене в центральном элементе нуля на единицу.Рис. 4.15. Дифференциал Эйлера для каждого из пяти возможных вариантов окружения.Его можно получить, определяя изменение числа Эйлера при замене в центральном элементе нуля на единицу.
Рис. 4.15. Дифференциал Эйлера для каждого из пяти возможных вариантов окружения.
Его можно получить, определяя изменение числа Эйлера при замене в центральном элементе нуля на единицу.
Рис. 4.15. Дифференциал Эйлера для каждого из пяти возможных вариантов окружения.
Его можно получить, определяя изменение числа Эйлера при замене в центральном элементе нуля на единицу.
числа Эйлера Е*, т. е. изменение числа Эйлера при замене в центральном элементе нуля на единицу. [В случае противоположной замены в центральном элементе (единицы на нуль) число Эйлера изменится на — Е*.] Нас особенно интересуют такие случаи, когда Е* = 0, поскольку мы можем произвольно варьировать изображение, не меняя числа Эйлера. Существует пять принципиально различных случаев (рис. 4.15):
Е* = +1, если все соседи — нули, возникает новый объект;
Е* = + 1, если все соседи — единицы заполняется отверстие;
Е* = 0, если шесть соседей, рассматриваемые в виде циклической последовательности, можно разбить на одну последовательную группу нулей и одну последовательную группу единиц;
Е* = — 1, если имеются две группы единиц, чередующиеся с двумя группами нулей: здесь объединяются два объекта или перегораживается отверстие;
Е* = — 2, если три единицы чередуются с тремя нулями.
Этим исчерпываются все возможности, поскольку соседних элементов только шесть. В зависимости от дифференциала Эйлера обозначим указанные случаи символами ^+1, No, N_t и N_2-
Остается еще одна трудность. Если мы будем обрабатывать все элементы изображения параллельно, то в итоге невольно можем изменить число Эйлера. Объясняется это тем, что мы можем испортить содержимое соседей какого-либо элемента изображения и тем самым исказить для него значение дифференциала Эйлера. Например, оба примыкающих друг к другу элемента со значением «единица», окруженные нулевым фоном, имеют дифференциал Эйлера, равный нулю:
0
0
0
0
—►
0
0
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
0
0
0
В результате параллельной обработки окажется, что мы избавились от них обоих!
Если бы обработка велась последовательно, проблемы не возникло бы, так как после инвертирования значения первого элемента дифференциал второго стал бы равен единице и мы бы его не трогали. Однако нам, естественно, не хочется прибегать к последовательным операциям. Выход заключается в подразделении изображения на перемежающиеся поля. Тогда соседние элементы оказываются принадлежащими различным полям, а последние обрабатываются друг за другом. Наименьшее число полей, позволяющее осуществить это, равно трем. На квадратном растре мы можем перенумеровать элементы произвольно выбранной строки повторяющейся тройкой чисел 1, 2, 3, 1, 2, 3,....
Строка под ней нумеруется аналогично, только начинается с числа 2, а следующая строка — с числа 3:
Согласно принятому нами определению соседства, никакие два соседа не имеют одной и той же метки. Описанная схема возникла из очевидного способа раскрашивания гексагональной решетки тремя цветами.
Она решает проблему взаимного влияния изменений в соседних элементах при параллельной обработке. Все же для описания алгоритма итеративной модификации изображения мы нуждаемся в более четких обозначениях. Во-первых, обозначим через S подмножество введенного выше множества стандартных случаев маркировки соседей. Положим величину а^ равной единице, если случай маркировки соседей элемента изображения с координатами 11J^ принадлежит S. Через bij обозначим значение самого элемента. Для каждого элемента, подразделенного на поля изображения, мы вычисляем его новое бинарное значение, которое является результатом работы итеративного алгоритма модификации над этим элементом. Нам остается указать способ вычисления нового значения с^ на основе величин а^ и Ьи.
Здесь а, b и с — булевы переменные, они могут принимать значения лишь «нуль» и «единица». Вычисление с на основе а и b эквивалентно заданию булевой функции двух переменных. Всего имеется 24 = 16 таких функций, приведенных ниже:
ab
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
00
0
0
0
0
0
0
0
0
1
1
1
1
1
1
1
1
01
0
0
0
0
1
1
1
1
0
0
0
0
1
1
1
1
10
0
0
1
1
0
0
1
1
0
0
1
1
0
0
1
1
11
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1
Здесь каждый столбец представляет одну из булевых функций, а каждая строка — одну из возможных комбинаций значений для двух нхо- дов а и Ь. Значение, находящееся на пересечении произвольно выбранных строки и столбца, есть выход соответствующей булевой функции для указанного слева входа. Функции можно пронумеровать, как показано на верхней строке.
Некоторые из этих функций не представляют большого интереса. Номер 0, например, всегда выдает нуль, а номер 15 — единицу. Четыре других (с номерами 3, 5, 10 и 12) воспроизводят значения а, b и их дополнения 6, а. Более интересны логическое И (л — номер 1) и логическое ИЛИ (v — номер 7). Их записывают также в виде а-b и а + b соответственно. Эти операции обладают важным свойством монотонности. Применение первой может привести лишь к удалению единиц из изображения, поскольку а-Ь^Ь, тогда как применение второй — к удалению нулей, поскольку а + b ^ Ь. Следовательно, итеративные действия на основе этих функций обязательно завершатся, потому что наступит момент, когда либо изменения в изображении прекратятся, либо все поле заполнится нулями или единицами соответственно. Некоторые из оставшихся булевых операций, такие, как а-b и а + Ь, представляют мало интереса из-за того, что тот же самый эффект достигается операциями а ■ b и а + b над дополнением к S. Поэтому у нас остается лишь ИСКЛЮЧАЮЩЕЕ ИЛИ (номер 6), обозначаемое а ® Ь. Эта операция не монотонна. В результате из шестнадцати функций потенциально пригодны лишь четыре:
Cij = d^ отмечает части изображения с указанными случаями маркировки соседей;
ctj = dij-b^ приводит к срезанию краев объектов;
Cij = dij + b^ приводит к наращиванию объектов;
C(j = dij ® bij, порождает волны, распространяющиеся по изображению.
Операция d малоинтересна, так как имеет смысл лишь для единственного шага и потому не может служить основой итеративного процесса. Кроме того, образы, которые можно обнаружить в малой окрестности, не очень интересны. Операция г, называемая onepdifueii pdc- npocmpdHeHUH, не нашла применения. Наконец, нетрудно заметить, что действие операции в равносильно применению операции б к фону. Это эквивалентно построению дополнения к изображению и множеству S, поскольку, согласно закону де Моргана, d + b = й -Б. Таким образом, мы можем сосредоточить свое внимание на операции одного вида, называемой npapeжuвdнueм или стягг^нием. При S = No она приводит к выделению остова изображения с сохранением значения числа Эйлера, поскольку No — множество случаев с нулевым дифференциалом Эйлера. В результате односвязная простая компонента превратится в точку, объект с отверстием — в кольцо и т. д. Изменив множество S, можно
остановить процесс преобразований еще до того, как простой односвязный объект превратится в точку. Этим путем мы сохраним больше информации о его первоначальной форме.
Наращивание или увеличение объектов достигается прореживанием (стягиванием) фона. Процесс построения остова превращает все компоненты изображения в тонкие контуры, ширина которых почти всюду равна одному элементу. Результат похож на ветвь дерева, причем каждый элемент связан с двумя соседями, за исключением концов каждой ветви и точек их соединения. Просмотр ветвей легко осуществить простым последовательным алгоритмом. Благодаря построению остова изображение переводится в форму, более доступную для описания его как совокупности составляющих его компонент.
Необходимо подчеркнуть, что на протяжении каждого конкретного щага вычислений значения подавляющего числа элементов остаются неизменными. Поэтому в действительности глубокого распараллеливания не происходит. Неудивительно в связи с этим, что для типичного бинарного изображения последовательная обработка границ может оказаться ничуть не менее эффективной.
Комментарии к литературе *
Много ссылок на литературу по обработке бинарных изображений было приведено в конце предыдущей главы. Попытки обобщить изложенные здесь идеи на трехмерный случай могут привести к успеху при изучении различных способов заполнения пространства. Об этом рассказано в работах [33, 85]. Попытку применения идеи итеративной модификации к полутоновым изображениям можно найти в монографии [96].
Одной из первых работ на тему обработки бинарных изображений была статья [356]. Многое из изложенного в этой главе берет начало в имевшей широкий резонанс статье [215]. Преимущества гексагонального покрытия рассмотрены в работе [213], а более доступное изложение — в работе [388]. Проблеме связности посвящена работа [395]. В свое время большой интерес возник к параллельным операциям над изображениями, особенно в связи с методом итеративной модификации. Вот некоторые из содержательных работ на эту тему: [122, 123, 195, 298, 310, 375, 376, 434]. Стоит также отметить работу [188], посвященную алгоритмам прореживания для различного типа разбиений.
В настоящее время имеется большой объем информации в виде карт, диаграмм и инженерных чертежей. Чтобы сделать эту информацию доступной современным средствам обработки, таким, как системы автоматизированного проектирования (САПР), ее нужно представить в компактной символической форме. Прежде всего рисунок должен быть преобразован в множество линейных отрезков. Этот процесс называется векторизацией изображения. Его неотъемлемой частью обычно
являются алгоритмы прореживания. В работе [445] описывается система векторизации, разработанная фирмой Broomal Industries. О других исследованиях по этой теме см. работу [212].
Промышленные методы диагностики простых изображений, таких, как изображения печатных плат, дали толчок развитию локальных параллельных методов определения размеров объектов и расстояний между ними. Некоторые из них описаны в работах [182, 183].
В томографии при достаточной контрастности в поглощающей способности между различными материалами просвечиваемого объекта имеется возможность построить его трехмерное бинарное изображение. Распространения описанных здесь методов на обработку трехмерных бинарных изображений предложены в работах [228, 237, 316, 459].
Упражнения
Предположим, что ни один из объектов не касается границы поля изображения. Покажите, что периметр можно вычислить с помощью операторов определения истинности выражения а ■ Ь, где а и b — значения двух соседних элементов. Указание: покажите, что можно обойтись без операторов, определяющих значение выражения а -Ь.
Покажите, что оценка длины окружности по приведенному в главе простому алгоритму завышена в 4/л раза. Указание: найдите оценку длины участка монотонной кривой от точки (х„ у$) до точки (Ху, уД как функцию начальных и конечных значений х и у.
Допустим, что минимальный прямоугольник, включающий в себя выпуклую кривую, имеет ширину W и высоту Н. Какова оценка длины этой кривой, получаемая с помощью изложенных в этой главе методов? Какая выпуклая кривая, соответствующая тому же самому прямоугольнику, обладает минимальной длиной? В этом наихудшем варианте определите отношение оцененной длины кривой к ее фактической длине.
Оценки площади и периметра можно получить и по полутоновым изображениям при условии, что задан порог, определяющий границу областей. Эти оценки будут существенно лучше оценок, полученных после перехода к бинарному изображению по указанному порогу. Для простоты рассмотрим гексагональную решетку. Групповой многоугольник — это совокупность ячеек, сходящихся в одной и той же вершине. В случае гексагональной решетки он состоит из трех соседних ячеек.
Мы можем аппроксимировать функцию яркости, порождающую изображение, кусочно-линейной функцией. Такую аппроксимацию можно представить себе в виде поверхности, составленной из треугольных граней: по одной на каждую группу ячеек. Вершины граней расположены непосредственно над центрами соответствующих ячеек, причем- на «высоте», равной уровню яркости в них.
Установленную величину порога обозначим через t, а уровни яркости в вершинах А, В и С произвольно выбранной грани — через а, b и с соответственно. В каких условиях участок границы области проходит через эту грань?
Если участок границы проходит через грань, то, переупорядочивая вершины, можно добиться того, чтобы порог t лежал между а и b и между а и с. Таким образом, этот участок представляет собой отрезок прямой, соединяющей точку на стороне АВ с точкой на стороне АС. Найдите положение этих двух точек.
Теперь вычислите длину соединяющего их отрезка. Результат — это вклад в оценку всего периметра, вносимый одной группой элементов. Вычислите также площадь участка грани, в котором яркость больше пороговой. Будьте внимательны и отдельно рассмотрите случаи, когда два из трех уровней а, b и с лежат ниже и выше порога.
Покажите, что полосы, содержащие как выпуклости, так и вогнутости в направлении, противоположном смещению, не влияют на значение числа Эйлера при его вычислении рассмотренным в разд. 4.2.2 методом, т. е. докажите, что в обоих случаях Д£ =1 — 1=0.
Смещение, выбранное в этой главе для вычисления X и V, проходило в направлении с NW на SE (X). Рассмотрим теперь другое направление с SW на NE (/). Покажите, что эталонные маски вида
0100010011011101
0
1
0
0
0
1
0
0
1
1
0
1
1
1
0
1
не будут работать, если использовать введенное нами определение шестисвязности. Укажите правильные эталонные маски для направления с SW на NE (/).
Какого размера должна быть таблица решений для вычисления результатов по элементу и его соседям в области размером 3x3? 4.8. Описанное в данной главе естественным образом обобщается на трехмерный случай. Такое обобщение имеет особенно большое значение, например, при обработке томографических данных. В этом случае каждый элемент содержит нуль или единицу в зависимости от занимаемой части пространства интересующим нас объектом. Как и следует ожидать, сложным вопросом является выбор соседей конкретного элемента. Например, в случае кубической решетки в качестве соседей можно рассматривать:
6 элементов, примыкающих по граням;
6 элементов, примыкающих по граням, и 12 элементов, примыкающих по ребрам;
6 элементов, примыкающих по граням, 12 элементов, примыкающих по ребрам, и 8 элементов, примыкающих по вершинам.
Рис. 4.16.
а — усеченный октаэдр - единственный полуправильный многогранник, которым можно заполнить пространство; б — ромбододекаэдр — единственный из многогранников, двойственных архимедовым, который может заполнить собой все пространство. (Рисунки воспроизведены с разрешения из работы [85].)
Выбор любого из вариантов приводит к трудностям, сходным с теми, которые были описаны нами для случая разбиения плоскости на квадраты. К сожалению, куб является единственным правильным многогранником, которым можно заполнить все пространство без наложений и пропусков.
Единственный полуправильный многогранник, который можно использовать для этой же цели, — усеченный октаэдр. У него 14 граней, и он касается других элементов только по граням (рис. 4.16, а).
Для такого способа разбиения разработайте схему разметки всех элементов, соседних по отношению к данному.
Разработайте локальный метод, позволяющий вычислять объем, площадь поверхности и число Эйлера в трехмерном случае. Предупреждение: здесь необходимо немного потрудиться.
Каким преобразованием кубическая решетка переводится в состояние, в котором связность между ее ячейками становится такой же, как и в решетке, составленной из усеченных октаэдров? Указание: примените метод, аналогичный используемому для преобразования квадратной решетки, чтобы получить связность, эквивалентную связности на гексагональной решетке.
Теперь мы исчерпали возможности заполнения пространства правильными и полуправильными многогранниками. Следующими наиболее интересными с этой точки зрения телами представляются многогранники, двойственные архимедовым. Лишь одним из них можно заполнить пространство нужным нам образом: ромбододекаэдром (рис. 4.16,6).
Трудно ли определить соседей на такой решетке?
6) Повторите упражнения а —в для решетки, построенной из ромбических додекаэдров.
е) Каковы сравнительные достоинства каждого из трех изученных нами способов заполнения пространства?
Мы продемонстрировали способ подразделения дискретного изображения на минимально возможное число полей, таких, что соседние элементы всегда принадлежат разным полям. При обработке, зависящей от большого числа соседей, возникает необходимость в использовании большого числа полей.
я) Разбейте изображение на четыре регулярных поля.
Разбейте изображение на семь регулярных полей.
Покажите, что операция распространения обратима. В каком порядке должны обрабатываться поля? Может ли завершиться процедура распространения ?
Можно ли один шаг прореживания полностью скомпенсировать одним шагом наращивания? А наоборот?
С точностью до поворотов на гексагональной решетке су-
Покажите, что дифференциал числа Эйлера распределяется между ними следующим образом:,
для N_2 {8}, дифференциал равен -2;
для N_t {9, 10, 11, 12, 13, 14}, дифференциал равен — 1; сеч
для No {2, 3, 4, 5, 6}, дифференциал равен 0;
для N + 1 {1, 7}, дифференциал равен +1.
Для каждого варианта окружения определите число эквивалентных ему с точностью до поворотов, но геометрически различных расположений нулей и единиц. Указание', суммарное число должно равняться 64.
Схема итеративной модификации единственным образом определяется;
множеством S вариантов окружения (для которых ау = 1);
булевой функцией Ца, Ь) [где су = Ца^, by)];с
числом итераций п;j. ■
числом полей /, на которые разделено изображение.,,
Исследуйте следующие итерационные схемы:
S={ },Ца,Ь) = 0_, п = 1, f = 1;
$={ },Ца,b) = b, п = 1, / = 1;
S={7},Ца,b) = ab, n=\,f=\;
S={1, 7}, Ца, b) = ab, п = 1, f = 1;/
S={1},Ца,b\ = ah. п= 1, / = 1;
S={1}, Ца, b^ = ab, и = 1, f=l;
7)S={2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14}, Ца, b) = abi, и = 1, / = 1;
S = {4},Ца,b^= ab,п=1,/ =1;
S = {2},Ца,ty= ab,п=\,f =1;Н
S = {3, 4}, Ца,b) = ab,п=со, / = 3;*
S = {1, 2, 3}, Ца, b) = ab, п = со, / = 1;
S = {5, 6, 7}, Ца, b) = а + ab, п = со, / = 3;
S = {2, 3, 4, 5, 6}, Ца, b} = ab, п = со, J' = 3;.я.
5 = {1, 7, 8, 9, 10, 11, 12, 13, 14}, Ца, b) = ab, п = соЦ = 3;
S = {4, 5, 6, 7}, Ца, b) = а + ab, п = со, f = 3.
Сопоставьте каждой из этих схем то из приведенных ниже описаний, которое наилучшим образом характеризует результат ее действия:
строит дополнение ко всему изображению;
стягивает каждую простую область в один элемент изображения;
заполняет все простые отверстия и наращивает односвязные области так, что они становятся выпуклыми;
заполняет все элементы нулями;
оставляет лишь изолированные элементы со значением «единица»;
- е) уничтожает все отростки (т. е. тонкие линии);
срезает границы областей, оставляя их внутренние части;
переводит в нулевое состояние (чистит) все изолированные элементы со значением «единица»;
маркирует углы, смывая все остальное;
заполняет небольшие полости;
стягивает изображение к его остову до тех пор, пока толщина всех линий не станет равной одному элементу;
м) стирает внутренние части областей, оставляя только границы;
и) оставляет только концы линий;
о) распознает заглавную букву «В».
о^дкол ■№
i9u г-s 1
;МЛуЧч: pios >!.
rp ,1.
'АуЛ'.®
v , sfra-q
КЧ, sa
■ОАтИтКЧ '
■<Kv
4'
яД
; (qn У#'»
■ г>:' '-a tv Г- ' '«
vcp'‘s'*--’
1S5 • 4 rth
3'/ A#
■ TV- <4
. ,v- I , ■. ■, ;Ч< Г it ' .‘fU’;'. .
s:w‘K'4
, -V..г,*< ' '
/ 4' 7^’
ДГа ISi.tvitW Sa. '
4
.'tvis№!
Многие алгоритмы машинного видения рассчитаны на применение к изображению какой-либо одной поверхности. Если изображение поверхности не заполняет всего поля зрения, то внимание необходимо сосредоточить на той области, которая соответствует этой поверхности. В данной главе мы изучим методы сегментации изображений на области, которые должны представлять собой изображения различных поверхностей. Для этого мы прежде всего обратимся к гистограммам полутоновых уровней и попытаемся использовать проявляющуюся на изображениях пространственную взаимосвязь объектов. Задача выделения различных областей изображения упрощается, если имеется возможность получить интересующие нас изображения в разных областях спектра. Иными словами, информация о цвете помогает делу.
Мы отличаем методы, основанные на подразделении имеющихся областей, от методов, комбинирующих эти области. Во многих случаях только после выделения существенной информации об изображенных объектах можно достаточно надежно произвести сегментацию. К сожалению, большинство методов извлечения подобной информации, как правило, требует, чтобы изображение уже было сегментировано. Мы кратко затронем эту проблему.
Методы порогового разделения
Чтобы получить бинарное изображение из полутонового, необходимо установить пороговое значение (рис. 5.1). Элементы изображения, в которых уровень яркости выше порогового, в соответствующих позициях бинарного изображения дают единицы, а элементы, в которых уровень ниже, — нули (или наоборот). Как выбрать это пороговое значение? По-видимому, нам нужно придумать метод автоматического выбора порога, учитывающий как изменения освещенности, так и особенности изображенной поверхности. Один из путей состоит в анализе распределения полутоновых уровней независимо от их положения на изображении.
В случае непрерывного изображения мы можем определить плотность распределения яркости р^х). При малых ох величина
Рис. 5.1. Бинарное изображение, легко формируемое путем разделения по порогу значений яркости фона и объекта.
Приведенный рисунок может убедить нас в том, что даже простые силуэты способны нести в себе больший объем информации о трехмерных объектах. Удачный выбор художником точки наблюдения и наше знание об изображенном предмете благоприятствуют такому впечаглекню. Силуэты незнакомых объектов, представленные со случайно выбранных точек наблюдения, как правило, интерпретировать довольно трудно. (Воспроизведено из работы [441.)
р(.х)5х — доля той части изображения, в которой яркость больше или равна х, но меньше х + 5х. Интегрирование дает интегральную функцию распределения яркости Т(х). Для заданного значения х величина Р (х) — доля той части изображения, в которой яркость меньше или равна х:
Р(х) = \pmdi.о■
В дискретном случае мы можем построить (дифференциальную) гистограмму распределения полутонов, которая дает число элементов изображения, имеющих заданный уровень яркости. Интегральная гистрограм- ма распределения полутонов получается из нее последовательным суммированием. WW . »" ; v -I" ,г««,у• -'-«Ч-•
Построение гистограммы
Представьте себе идеальный случай, когда объект и фон обладают равномерной яркостью. В этом случае порог выбрать очень легко, если только значения яркости объекта и фона различны. Можно взять любую величину, заключенную между этими значениями, например их среднее арифметическое.
равномерным освещением. В силу этих и др, ожидать наличия разброса в уровнях яркости для фона.равномерным освещением. В силу этих и др, ожидать наличия разброса в уровнях яркости для фона.В действительности элементы изображения (пикселы), соответствующие объекту, не будут иметь точно один и тот же уровень яркости (рис. 5.2). Это обусловлено рядом факторов, в частности наличием шума. Определение уровня яркости включает измерение относительно небольшого числа электронов, освобождаемых падающими фотонами, что приводит к некоторым флуктуациям в измеряемых токах. Большой шум вносит усилитель тока. Этот шум проявляется в размывании функции распределения вероятности; точнее: плотность распределения вероятности, которую бы мы получили при отсутствии шума, свертывается с плотностью распределения аддитивного шума. Кроме того, датчики в различных точках обычно реагируют по-разному, а объекты не обладают в точности постоянной отражательной способностью или
равномерным освещением. В силу этих и др, ожидать наличия разброса в уровнях яркости для фона.
равномерным освещением. В силу этих и др, ожидать наличия разброса в уровнях яркости для фона.
как для объекта, так икак для объекта, так ии других причин мы должны
как для объекта, так и
как для объекта, так и
Если нам повезет, то этот разброс окажется настолько малым, что все равно'будет существовать пороговое значение, разделяющее две группы уровней. Его можно найти, если построить гистограмму уровней.
На гистограмме можно увидеть два всплеска, грубо соответствующих объекту и фону, и впадину между ними (рис. 5.2). В идеале между всплесками будет полный провал, но если даже две группы уровней несколько перекрываются, за пороговое значение можно принять минимальный уровень, соответствующий минимуму гистограммы. Это позволит произвести бинаризацию изображения лишь с незначительным числом ошибок.
Если «сигнал» (разность между уровнями яркости объекта и фона) ненамного превосходит «шум» (разброс в распределении уровней яркости), то подобным образом успеха, конечно, добиться нельзя. В этом случае может помочь усреднение значений соседних элементов. Это снизит шум пропорционально квадратному корню из числа усредненных элементов. На уровень сигнала такая процедура не повлияет, но пространственное разрешение ухудшится.
До сих пор мы предполагали, что каждое значение гистограммы отвечает одному уровню яркости. Можно построить более грубую гистограмму, объединяя соседние уровни. При построении гистограммы всегда возникает трудная дилемма: какова должна быть ширина интервалов? Каждому интервалу соответствует число элементов изображения, уровень яркости которых лежит между его нижней и верхней границами. Если интервалы слишком широки, разрешающая способность в определении уровней низкая (в предельном случае имеется один интервал и нулевая разрешающая способность). Если же интервалы слишком узки, то в каждый из них попадет очень мало значений и гистограмма окажется сильно изрезанной (в пределе почти все интервалы, кроме некоторых, не содержат ни одного измерения). В этом последнем случае трудно локализовать положение минимума. Естественно, что подобный эффект выражен слабее, когда объект занимает значительную площадь. Гистограмму часто приходится сглаживать, объединяя соседние интервалы, но это ухудшает разрешающую способность.
Имеет место и другая трудность, связанная с элементами изображения, расположенными на границе объекта (рис. 5.3). Такие элементы будут иметь промежуточные значения уровней, что приведет к смазыванию и слиянию краев двух всплесков. Степень проявления эффекта зависит от доли элементов изображения, попадающих на границы. В свою очередь эта доля обратно пропорциональна квадратному корню из отношения площади объекта к площади одного элемента изображения. Таким образом, проблема не столь остра при высокой разрешающей способности изображения объекта. И наоборот, она усугубляется при применении метода усреднения, предложенного выше для увеличения отношения сигнал — шум.
Другая проблема возникает, когда площадь части изображения, занимаемой объектом, много больше или много меньше площади фона. При этом меньший всплеск на гистограмме может оказаться подавлен-
10101010101010101010101010101313101010101010101010101010101010101010101030301818272730301010101010101919282830303030303016 <2516 <25101030303030303030303030303030303030303030303030"23"2329293030303030303030303030303030303030303030
10
10
10
10
10
10
10
10
10
10
10
10
10
10
13
13
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
30
30
18
18
27
27
30
30
10
10
10
10
10
10
19
19
28
28
30
30
30
30
30
30
16 <25
16 <25
10
10
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
"23
"23
29
29
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
30
Рис. 5.3. Элементы изображения, пересекающие границу между двумя областями. Они будут иметь промежуточные уровни яркости относительно уровней яркости этих областей.
ным краем основного всплеска. Минимального значения, соответствующего порогу, может не оказаться. Необходимо также помнить, что гистограмма будет «зашумленной» из-за того, что число имеющихся отсчетов конечно. Поэтому, если даже распределение яркости, лежащее в основе изображения, представляет собой гладкую функцию с ярко выраженными максимумами, нельзя ожидать того же самого по отношению к гистограмме уровней.
Если известна доля площади, занимаемой объектом, то возможна простая модификация нашего метода. Прежде всего построим интегральную гистограмму суммированием значений дифференциальной гистограммы. Как упоминалось выше, интегральная гистограмма для каждого значения яркости дает число элементов изображения с тем же или меньшим значением яркости. Положим пороговое значение таким, чтобы число элементов изображения, имеющих пороговую или меньшую яркость, составляло заданную долю от всего числа элементов. Заметьте, что теперь уже мы не можем воспользоваться вычисленным значением площади бинарного изображения, поскольку мы ее задали при определении порога!
Некоторые из наиболее четких бинарных изображений получают вообще не из обычных оптических снимков. Так, мы можем измерить расстояние от некоторой заданной плоскости до точек на поверхности объекта. Бинарное изображение получается пороговым разделением этой «карты дальностей». Таким путем можно определить силуэт объекта, лежащего на столе или ленте конвейера. ...
Сам принцип измерения расстояния может быть оптическим (рис. 5.4). На рисунке два источника с цилиндрическими линзами испускают полоски света, которые пересекаются по прямой, лежащей на поверхности конвейерной ленты. Камера над лентой сориентирована так, что эта прямая воспринимается рядом последовательно расположенных фотодатчиков (фотолинейкой). Если объект отсутствует, то все фотодатчики освещаются одинаково ярко. Если часть объекта загораживает падающий свет, то соответствующая область фотолинейки оказывается затененной. Движение конвейера приводит к тому, что объект проходит под фотолинейкой, порождая второе измерение изображения. Ширина полоски света и характеристики оптических приборов подобраны так, что неизбежные малые вертикальные смещения ленты конвейера не приводят к существенной потере света, воспринимаемого датчиками. Ввиду этого устройство способно определять, находится ли высота объекта в пределах данного интервала.
Чтобы уменьшить число «призраков», возникающих благодаря затенению ленты конвейера частью объекта, еще не достигшей прямой, на которую сфокусирована фотолинейка, добавлены еще два источника света (однако проблему представляют глубокие отверстия, которые не будут обнаруживаться устройством).
Рис. 5.4. Возможность получения бинарною изображения путем порогового разделения карты дальностей, которая в свою очередь строится с помощью своего рода структурной подсветки.
На этом рисунке, например, поверхность освещается полоской света. Фотолинейка расположена вертикально над прямой, по которой полоса пересекает поверхность ленты конвейера. Когда на ней находится объект, то он загораживает свет и тот не достигает поверхности. Фотолинейка воспримет свет только в том случае, когда он достигнет поверхности. Чтобы получить полное изображение, необходимо пропустить весь объект через светочувствительную область воспринимающего устройства. , .
Пространственная взаимосвязь
На типичных изображениях уровни яркости соседних элементов не являются независимыми. Например, можно заранее предсказать, что изображение многогранного объекта содержит области с практически постоянной яркостью. Аналогично яркость изображений объектов с гладкой поверхностью изменяется постепенно. Мы воспользуемся такой пространственной взаимосвязью несколькими способами.
При сегментации изображения обязательно найдется несколько неправильно классифицированных элементов (в основном благодаря шуму). Если отношение сигнал — шум мало, почти все эти ошибки будут изолированы, за исключением элементов, расположенных вблизи границы объекта. Такой эффект называется крапчатым шумом (рис. 5.5). После разделения по порогу подобные ошибки нетрудно устранить, если учесть, что соседние элементы будут иметь Противоположное значение.
Однако можно попытаться на первом же этапе избежать возникновения такого сорта ошибок путем исследования уровней яркости соседних элементов до порогового разделения. Если уровень яркости какого-то элемента изображения выше максимального уровня его соседей, то, вероятно, он ^ыл подвержен воздействию шума. Это — «выброс». Его необходимо заменить максимальным уровнем яркости
0
0
0
0
0
0
0
0
1
1
0
0
1
0
0
0
1
1
1
1
0
0
0
0
0
1
1
1
1
1
0
1
0
0
0
1
1
0
1
1
0
0
0
1
1
1
1
1
1
1
0
0
1
1
1
0
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Рис. 5Л Последи мого пр областей
Крап ие СВЯЗе И полуь
чатый иы с не ении б
шум, возник< точностями из унарного изобр
1ЮЩИЙ иерений >ажения
в результате яркости и пос Шум особенн
нале» гояиств о знач
кения
ом поре стелен
ллибоь
га, исп зблизи
ользуе- границ
соседних элементов. Аналогичную «фильтрующую» операцию можно применить, если уровень яркости элемента ниже минимального уровня его соседей. Заметьте, что после такой операции полутона элементов изображения, находящихся на границе между объектом и фоном, останутся без изменения.
Снижения шума можно достигнуть и с помощью других фильтрующих операций. Мы уже упоминали операцию усреднения по значениям соседних элементов. Она приводит к сглаживанию особенностей и потому уменьшает пространственное разрешение. В результате усложняются проблемы, встречающиеся на границах. Другая возможность заключается в замене каждого значения уровня не средним, а медианным значением соседних элементов. (Числа элементов множества, лежащих ниже и выше медианы, равны.)
Как и в первой схеме, такая операция не изменяет значений элементов на границе. Однако вычислить медиану сложнее, чем максимальное или среднее значение.
Каждый из описанных методов позволяет уменьшить количество элементов изображения, которые в дальнейшем будут неправильно классифицированы в процессе бинаризации. Однако они не гарантируют получения абсолютно надежных результатов. Случайный шум может привести к появлению неожиданного уровня яркости не только в отдельном, но и в нескольких соседних элементах. При этом малая вероятность возникновения значительной ошибки в одном элементе умножается на малые вероятности значительных ошибок в соседних. Поэтому вероятность того, что среднее значение или медиана содержат ошибку, сравнимую с ошибкой отдельного элемента, относительно мала.
Здесь мы пользуемся пространственной взаимосвязью между элементами. В тех простых случаях, к которым мы обращались до сих пор, предполагалось, что яркость объекта приблизительно одинакова, в результате чего соседние элементы имеют близкие по значению уровни. В таких условиях вводятся ограничения, вытекающие из предположения о том, что именно представлено на изображении. В дальнейшем мы вновь вернемся к этому подходу.
Сегментация изображений
Изображение желательно разбить на области, каждая из которых соответствовала бы поверхности отдельного объекта наблюдаемой сцены. Последующую обработку можно осуществить независимо над каждой областью изображения. До сих пор мы рассматривали весьма простой случай, когда объекты и фон обладают равномерной яркостью. Теперь мы распространим эти методы на случаи, в которых каждый объект имеет яркость, отличную от яркостей других объектов.
Если нам известен средний уровень яркости каждого объекта, то
нетрудно выбрать пороговые значения, заключенные между этими уровнями, что позволит нам классифицировать любой элемент изображения. Однако сразу же возникают новые проблемы. Предположим, что область А примыкает к области С. Как было показано выше, уровни яркости на их общей границе будут лежать между уровнями, относящимися к этим областям. Если в другом месте изображения расположена область 5, уровень яркости которой лежит между уровнями яркости областей А и С, то часть точек границы будет классифицирована неправильно, как относящаяся к В. Этого можно избежать, если прибегнуть не к полутоновым, а к иным характеристикам изображения. Например, интересующие нас точки скорее всего образуют не широкую область в виде пятна, а изрезанную полосу с зазубренными краями. Если мы предположим, что все области обладают некоторой минимальной шириной, то нетрудно заменить ошибочно присвоенные метки. Можно также использовать тот факт, что эти неверно классифицированные точки примыкают к обеим областям и Л, и С.
Иногда требуемые пороговые уровни определяют путем анализа гистограммы. Однако часто гистограмма оказывается слишком изрезанной, поскольку лишь незначительное число точек непосредственно образуют каждый отдельный всплеск и, кроме того, эти всплески перекрываются значительно сильнее, чем в случае одного объекта и однородного фона.
Упоминавшиеся ранее проблемы шума здесь еще более серьезны. Если имеется несколько областей, то минимальная разница между их уровнями не может быть очень большой. Она должна быть малой по отношению к общему диапазону изменения уровней. Если N — общий диапазон, a R — число областей, то минимальная разность уровней должна быть меньшей или равной N/(R — 1). В итоге вероятность неправильной классификации заметно возрастает. Данную проблему можно несколько смягчить, если учесть пространственную взаимосвязь объектов.
Использование цвета
Другой способ улучшить классификацию состоит в использовании информации о цвете. Если даже в результате измерений с помощью единственного оптического устройства окажется, что поверхности имеют одинаковую яркость, они все же могут отличаться по цвету. Один из путей использования этого обстоятельства состоит в квантовании (по уровням яркости) нескольких изображений, полученных с помощью датчиков с различными функциями спектральной чувствительности. Этого можно достичь размещением перед объективом цветных светофильтров. Как указывалось в гл. 2, такие фильтры избирательно поглощают определенные части спектра и тем самым изменяют собственную чувствительность датчика к свету различных длин
волн. Обычно формируются три подобных изображения (через красный, зеленый и синий фильтры). Здесь детальное поведение кривых спектральной чувствительности этих фильтров значения не имеет.
Уровни яркости трех зарегистрированных изображений удобно объединить в один вектор, приписываемый соответствующему пикселу. Каждая компонента вектора представляет собой уровень яркости изображения в этом пикселе, полученный с помощью одного из фильтров. Отдельной области отвечает одна или множество точек в соответствующем векторном пространстве. В упражнении 5.7 мы покажем, что расстояния между подобными множествами в «-мерном цветовом пространстве по крайней мере не меньше минимальной разницы между уровнями яркости на черно-белом изображении.
Разбить цветовое пространство на части, отвечающие различным областям, не просто. При обсуждении темы, относящейся к классификации образов, мы отметим некоторые методы, позволяющие осуществить это. Один из них состоит в измерении расстояния от представительного или среднего вектора, отнесенного к каждой области. Неизвестный вектор можно затем приписать тому классу, который соответствует ближайшему вектору — представителю. Это равнозначно разбиению пространства плоскостями, которые перпендикулярны отрезкам между векторами — представителями и делят эти отрезки пополам.
Наращивание и разбиение областей
Допустим, что тем или иным методом мы произвели детальную, но грубую сегментацию изображения. Например, просто объединили в группы соседние элементы с одинаковыми уровнями яркости. Дальнейшее улучшение сегментации достигается слиянием соседних областей с близкими уровнями. «Близость» может означать, что уровни отличаются меньше некоторой пороговой величины. При проверке на близость могут также учитываться геометрические факторы, например отношение длины общей границы к суммарной длине границ двух областей.
Более сложная проверка основана на оценке среднего уровня яркости и его вариаций внутри каждой области. С помощью стандартных методов, заимствованных из статистики, нетрудно определить, какова вероятность того, что разные области случайно имеют близкие уровни ■ яркости. Если вероятность мала, то мы объединяем такие области. Слияние — это монотонная операция, которая обязательно завершится. Конечно, при этом возможен и такой исход, что все изображение будет отождествлено с одной областью!
Иногда подобный процесс слияния приводит к объединению областей с близкими уровнями, которые объединять не следовало бы. Ошибки такого рода можно выявить по геометрическим соображениям. Например, если на границе имеются два ярко выраженных
Рис. 5.6. Границы областей, которыеРис. 5.6. Границы областей, которыеиногда можно определить из контекста.иногда можно определить из контекста.
Рис. 5.6. Границы областей, которые
Рис. 5.6. Границы областей, которые
иногда можно определить из контекста.
иногда можно определить из контекста.
выреза, идущих приблизительно с противоположных сторон, то весьма вероятно, что разграничительную линию необходимо провести между их концами (рис. 5.6). Оценка среднего и разброса значений полутонов для выделенных областей может подтвердить правильность этого предположения. Подобные методы применяются в основном для разбиения, а не наращивания областей. В частности, их можно использовать для выделения границ между областями с различными уровнями яркости. Более детально проблема обнаружения границ будет рассмотрена позже.
Одна из проблем, связанных с рассмотренными методами сегментации, состоит в том, что те предположения, на которых они основываются, в реальных случаях часто не соблюдаются. Хотя отражательная способность многих поверхностей и в самом деле одинакова, их изображения совершенно не обязаны сохранять это свойство. Как мы увидим позднее, на яркость изображения влияют многие факторы. Поэтому элементы изображения, отвечающие точкам поверхности различных объектов, могут иметь одинаковые уровни яркости. Только в особых случаях может оказаться целесообразным представление об изображении как о совокупности однородных но яркости областей.
Часто гораздо плодотворнее отложить сегментацию до тех пор, пока не станет известна дополнительная информация, например приблизительная форма поверхности объекта. Одна из трудностей, возникшая при построении оценочных схем для сегментации изображения, заключается в отсутствии четкой постановки самой задачи. Что такое «правильная» сегментация? Ответ на этот вопрос зависит от того, каким образом вы предполагаете использовать результат.
Комментарии к литературе
Одной из ранних работ по сегментации изображений является работа [157]. В работе [126] исследовалось решение задачи сегментации на основе текстурных признаков. Также следует упомянуть работы [223, 231, 447]. Обзоры по проблеме сегментации изображений даны в работах [224, 289, 410]. Метод сегментации, основанный на многомерных гистограммах, был предложен в работе [372]. В более позднем исследовании [383] разработан алгоритм наращивания области с использованием фасеточной модели яркости изображения, предложенной Хэрэликом.
Схема измерения расстояния с помощью двух полосок света, описанная в данной главе, разработана научно-исследовательской лабораторией фирмы General Motors и является частью системы CONSIGHT для взятия деталей с ленточного конвейера. Эта система описана в работе [243]; некоторые из ее применений в производстве приведены в работе [467].
Совершенно другой подход к проблемам сегментации изображений и обнаружения линий связан с использованием стохастических моделей получения изображения. Он намечен в статье [227]. Недавние исследования по этому вопросу можно найти в работах [148, 178, 210, 229, 336]. В следующей главе мы обсудим различные модели изображений.
Упражнения •
Как площадь изображения объекта зависит от выбора порога при бинаризации? Как изменяется ошибка в оценке площади изображения с изменением отношения площадей объекта и пикселя? Влияет ли изменение порога сильнее на площадь продолговатого или округлого объекта?
Покажите, как с помощью операций наращивания и прореживания можно избавиться от крапчатого шума.
Известно, что некоторое изображение состоит из двух классов пикселей. Допустим, что Nb — число пикселей, относящихся к фону с плотностью распределения уровней яркости рь^х\ а ^0 — число пикселей, относящихся к объекту с плотностью распределения уровней яркости р0(х). Мы хотим произвести сегментацию этого изображения, используя такую величину порога, которая минимизировала бы «цену» ошибочной классификации. Пусть Сь — цена неверной классификации пикселя, относящегося к фону, а Со — цена противоположной ошибки. Какой порог Т минимизирует суммарную цену? Всегда ли имеется единственное решение?
Здесь мы продолжим разбор предыдущего упражнения. Предположим, что плотности распределения яркостей подчиняются нормаль-
ному закону. Пусть яркость Nb пиксел, относящихся к фону, представляет собой гауссову случайную величину со средним ць и дисперсией аь. Аналогично яркость No пиксел, относящихся к объекту, характеризуется средним ц0 и дисперсией о^. Какое значение порога Т минимизирует общее число ошибочно классифицированных пикселов, если имеет место соотношение
Чему равно 7, если Nb = No и пь = со?
Рассмотрим следующую итерационную схему определения подходящей величины порога. Начиная с произвольного значения, лежащего внутри диапазона изменения яркости, вычислим средние яркости частей, лежащих выше и ниже порога. За новую величину порога возьмем среднее арифметическое этих двух значений. Исследуйте сходимость такого метода. Является ли решение единственным? Что если брать взвешенное среднее указанных значений с весами, пропорциональными интегралам от соответствующих частей функции распределения яркости? 5.6. Пусть Р(х) — вероятность того, что уровень яркости произвольно выбранного элемента изображения меньше х. Какова вероятность того, что максимум уровней яркости в окне размером 3 х 3 с центром в заданном элементе меньше х? Какова вероятность, что уровень яркости центрального элемента больше, чем у остальных восьми?
Рассмотрим два вектора цветов: х = (хь ,х„)ги у = (ь,у„)т. Соответствующие полутона образуются путем взвешенного суммирования их компонент
Е WiXi И Е WiVi’ Где Е Wi = L1 = 1 i=1 f =1
Покажите, что расстояние между векторами х и у по крайней мере не меньше разности между полутонами.
Рассмотрим фильтрацию на основе вычисления медианы в окне размером 3x3. Центральному элементу окна присваивается новое значение, равное медиане 9 значений полутонов, входящих в окно. Определите вероятности того, что медиана окажется больше х, если вероятность того, что каждое значение полутона больше х, равна 0,1 (Р = 0,1).
Рассмотрим фильтрацию на основе осреднения значений в окне размером 3x3. Новое значение в центре находится усреднением 9 значений полутонов, входящих в окно. Определите вероятность того, что среднее будет больше х, если вероятность того, что каждое значение полутона больше х, равна 0,15.
Вместо яркости сегментацию можно произвести на основе «текстуры». Чтобы сделать это, необходимо каждому пикселю сопоставить величину текстуры. Обычно вычисление величины текстуры для данного
пикселя основывается на рассмотрении соседних с ним элементов изображения. Так, в качестве простой оценки подобного рода мы можем использовать стандартное отклонение яркости соседних пикселей
где N — число пикселей, а {х,-} — множество значений яркости в них. Другой часто применяемой оценкой является разброс, определяемый в виде разности между максимальным и минимальным значениями яркости соседних элементов. Коротко поясните преимущества и недостатки каждого из этих двух способов. При этом вам может показаться целесообразным учесть такие факторы, как разрешающая способность, чувствительность к шуму, размер окна и сложность вычислений.
Обработка непрерывных изображений f
Часто удобно каким-либо образом преобразовать изображение в такое, которое легче поддается дальнейшему манипулированию. Обработка изображений включает в себя поиск методов, позволяющих осуществить подобные преобразования. Большинство рассмотренных до сих пор методов являются линейными: инвариантными по отношению к сдвигу, т. е. пространственно-инвариантными. Методы, обладающие такими свойствами, позволяют применить мощный аналитический аппарат. В этой главе мы покажем, что линейные пространственно-инвариантные системы можно характеризовать сверткой, т. е. операцией, одномерный случай которой был введен нами при рассмотрении плотности распределения вероятности двух случайных величин.
Мы также продемонстрируем пользу от введения понятия пространственной частоты и преобразований между пространственными и частотными областями. Как оптические, так и цифровые системы обработки изображений можно охарактеризовать в пространственной области функцией рассеяния точки (импульсной переходной функцией), а в частотной области — передаточной функцией. Обсуждаемые в этой главе математические приемы будут применены к анализу дифференциальных операторов, используемых при выделении краев объектов, а также методов оптимальной фильтрации, используемых при подавлении шума.
Большинство обсуждаемых здесь методов представляет собой обобщение на случай двумерных линейных систем соответствующего аппарата, относящегося к одномерным сигналам, однако мы не будем предполагать знакомство читателя с этим аппаратом. В настоящей главе рассматривается непрерывный, а в следующей главе — дискретный случаи.
Линейные пространственно-инвариантные системы /
Изображение можно рассматривать как двумерный сигнал. Основываясь на такой точке зрения, можно разработать соответствующий подход к обработке изображений. Рассмотрим расфокусированную зри-
Рис. 6.1. Расфокусированное изображение g (х, у), рассматриваемое как идеально® изображение Дх, у), подвергнутое преобразованию.Рис. 6.1. Расфокусированное изображение g (х, у), рассматриваемое как идеально® изображение Дх, у), подвергнутое преобразованию.
Рис. 6.1. Расфокусированное изображение g (х, у), рассматриваемое как идеально® изображение Дх, у), подвергнутое преобразованию.
Рис. 6.1. Расфокусированное изображение g (х, у), рассматриваемое как идеально® изображение Дх, у), подвергнутое преобразованию.
тельную систему (рис. 6.1). Изображение д^х, у), полученное с помощью такой системы, можно считать преобразованным вариантом идеального изображения /(х, у), которое было бы получено с помощью правильно сфокусированной системы. Если освещение изменится так, что яркость идеального изображения удвоится, то яркость расфокусированного изображения также удвоится. Далее, если несколько сместить зрительную систему так, что идеальное изображение слегка сместится в плоскости изображения, то расфокусированное изображение сместится подобным же образом. Поэтому говорят, что переход от идеального изображения к расфокусированному является линейной пространственноинвариантной операцией. В действительности и более сложные оптические зрительные системы, как правило, также линейны и пространственно-инвариантны. Теперь эти понятия будут определены точнее.
Рассмотрим двумерную систему, которая при входных сигналах /1(^У) и /2(х, у) дзет выходные сигналы дДх, у) и д2(х, у) соответственно :
of/, + //2of/, + //2Система называется линейной, если для любых чисел аир при входном сигнале а/\ (х, у) + р/2 (х, у) на ее выходе генерируется сигнал «91 (х, у)+ РбДх, у):
of/, + //2
of/, + //2
^1 *Р9г
Большинство реальных систем ограничены по величине отклика и потому не могут быть строго линейными. Более того, яркость (световая энергия, отнесенная к единице площади) не может быть отрицательной. Поэтому входной сигнал (изображение) ограничен неотрицательными значениями, хотя значения промежуточных результатов наших вычислений могут быть произвольными.
Теперь рассмотрим систему, которая по заданному входу /(х, у) дает на выходе д^х, у):
З^.У^
Система называется пространственно-инвариантной, если для произвольных а и b реакция системы на смещенный входной сигнал / (х — а, у — Ь) представляет собой смещенный выходной сигнал д \х — а, у — by.
f(x-a,y-b)f(x-a,y-b)* 9(з:-а,у-Ь)
f(x-a,y-b)
f(x-a,y-b)
На практике изображения ограничены по площади, так что пространственная инвариантность справедлива только для ограниченных . сдвигов. Кроме того, аберрации в оптических зрительных системах зависят от расстояния до оптической оси; следовательно, такие системы лишь приблизительно пространственно-инвариантны.
Методы анализа линейных пространственно-инвариантных систем играют важную роль для понимания свойств систем формирования изображений. Недостатки последних часто можно рассматривать как результат наличия линейной пространственно-инвариантной системы, которая преобразует идеальное изображение в реально наблюдаемое. Для нас более важно изучение линейных пространственно-инвариантных систем, которое приводит к полезным для обработки изображений алгоритмам, основанным либо на оптических, либо на численных методах.
Простым примером линейной пространственно-инвариантной системы служит система, которая выдает производную входного сигнала по х или у. Линейность такой системы вытекает из правил дифферен- , цирования произведения произвольной функции на постоянную величину и суммы двух функций. Также легко доказать и пространственную инвариантность. Алгоритмы вычисления производных находят применение на этапе предварительной обработки в системах выделения краев.
Мы начинаем с изучения непрерывных изображений, чтобы заложить фундамент для построения дискретных операторов. Линейные^ пространственно-инвариантные системы обработки изображений яв-^ ляются обобщением на случай двух измерений одномерных линейных
пространственно-инвариантных систем, например простых пассивных электрических цепей. Неудивительно поэтому, что подавляющую часть представленных здесь результатов можно получить путем простого обобщения способов доказательства аналогичных утверждений, относящихся к одномерному случаю. Для простоты (где это возможно) мы будем представлять функции двух переменных в виде произведения двух функций от одной переменной. Это позволит двумерные интегралы разложить на произведение двух одномерных интегралов.
При анализе одномерных систем в качестве входных и выходных сигналов обычно фигурируют временные функции. Выходной сигнал такой системы никогда не может опережать входной сигнал. Это накладывает жесткое ограничение на системы обработки одномерных сигналов: они должны быть каузальными. Физически реализуемы только те системы, которые удовлетворяют этому условию. При синтезе двумерных систем подобной проблемы не возникает.
Поскольку мы привлекаем мощные методы обработки сигналов в одномерных системах, необходимо отметить и недостатки такого подхода. Условия линейности и пространственной инвариантности являются весьма жесткими и значительно сужают наши возможности работы с изображением. Все же трудно добиться какого-либо прогресса без руководящей теории.
Свертка и функция рассеяния точки
Рассмотрим систему, реакция которой на заданный входной сигнал / (.х, у) имеет вид
СО со 1 - со — со
При этом говорят, что д — свертка функций / и h. Легко показать, что такая система линейна, поскольку ее реакция на сигнал а/^х, у)+ + Р/г (У У) представляет собой сигнал «^(х, у) + Р^2(У у)- Здесь, как и ранее, gv (х, у) - реакция на сигнал /1 (х, у), а д2 (х, у) - на сигнал /2 (у у). Результат вытекает из правил интегрирования произведения функции на постоянную величину и суммы двух функций. Также нетрудно убедиться в пространственной инвариантности системы: если на вход подать сигнал /(х — а, у — Ь), то на выходе получим д (х — а, у — by Таким образом, система, реакцию которой можно описать операцией свертки, является линейной и пространственно-инвариантной. Скоро мы покажем и обратное, что любая линейная пространственно-инвариантная система описывается некоторой операцией свертки. Свертка обычно обозначается символом ®. Поэтому запись приведенной выше формулы можно сократить: д = f ®h.
Было бы желательно связать функцию h^x, у) с некоторым наблю-
даемым свойством системы. Всегда ли можно для произвольной функции h(x, у) найти входной сигнал / (х, у), который приводил бы на выходе к функции h^x, у)? Более точно, всегда ли можно найти функцию /(х, у), такую, что
ОС' со
Цх,у) = f f^x-?„y-^h^,^d^d^— GO — СО
Беглый анализ подсказывает, что если это соотношение справедливо для произвольной функции /т(х, у), то необходимо, чтобы функция /(х, у) равнялась нулю во всех точках, кроме начала координат и «бесконечности» в начале координат. «Функция», о которой идет речь, называется единичным импульсом или дельта-функцией Дирака и обозначается 5 (х, у).
Грубо говоря, функция 5(х, у) равна нулю всюду, кроме начала координат, в котором она «бесконечна». Интеграл от 6(х, у) по любой области, включающей начало координат, равен единице. (Если функцию двух переменных х и у рассматривать как поверхность, то этот интеграл равен объему, ограниченному этой поверхностью.) Импульс 5 (х, у) не является функцией в классическом смысле (т. е. не определяется своими значениями для каждой пары аргументов). Это - обобщенная функция, которую можно рассматривать как «предел» при £ -> 0 последовательности квадратных импульсов размером 2s по осям х и у и высотой l/(4s2). Об этом подробнее будет сказано позже, а сейчас мы лишь укажем на фильтрующее свойство
j j 5 (х, у) h (х, у) dx dy - h (0, 0), - ос - ос
на основе которого можно определить импульс. Из этого свойства следует, что
ОС СО
У f f 5(х - у - П)^6, n)^<h = h(x, у), ' :— СО — ОС
в чем можно убедиться простой заменой переменных. Сравнивая с нашим исходным уравнением для выхода системы, убеждаемся, что h(x, у) - реакция системы на вход, представленный единичным импульсом.
Рассматриваемая в виде изображения функция 6(х, у) представляет собой черный фон везде, кроме начала координат. Поэтому функция h(x, у) говорит нам о том, как система смазывает или рассеивает светящуюся точку. В двумерном случае ее называют функцией рассеяния точки (или импульсной переходной функцией). Она является реакцией системы на единичный импульс и, следовательно, аналогична хорошо знакомой реакции на единичный импульс одномерной системы.
Теперь нам нужно показать, что выход любой линейной пространственно-инвариантной системы образуется путем свертки входного
Рис. 6.2. Непрерывная функция, рассматриваемая как предел кусочно-постоянной функции.
В свою очередь каждый участок постоянства можно заменить импульсом, площадь которого пропорциональна высоте участка. Это приводит к разложению функции на импульсы.
сигнала. Функцию рассеяния точки можно определить, подав на вход контрольный сигнал 6(х, у). Считая реакцию на единичный импульс известной, входной сигнал / (х, у) удобно представить в виде бесконечного числа смещенных отмасштабированных единичных импульсов к (^, р) 6 (х — ^, у — р). Простое геометрическое построение поможет представить, как это можно осуществить. Разобьем плоскость ху на квадраты со стороной £. Над каждым таким элементарным квадратом построим импульс высотой, равной среднему значению функции / (х, у) в этом квадрате. На рис. 6.2 показано сечение такого двумерного множества квадратных импульсов. Функция /(х, у) аппроксимируется кусочно-постоянной функцией, которая представляет собой сумму всех таких импульсов.
Можно сделать еще один шаг и заменить каждый прямоугольный импульс точечным импульсом, расположенным в центре элементарного квадрата. Объем пространства под импульсом можно приравнять объему прямоугольного импульса, т. е. интегралу от функции / (х, у) по элементарному квадрату. Если функция /(х, у) непрерывна, а величина £ достаточно мала, то этот интеграл можно приближенно представить в виде произведения значения /(х, у) в центре квадрата на его площадь. Требуемый результат достигается в пределе, если мы устремим £ -> 0.
Точно такое же разложение функции / (х, у) на совокупность импульсов можно получить, если принять во внимание фильтрующее свойство единичного импульса. В любом случае мы приходим к выражению
СО ПС
Лм) = f f Ж nW - - п)Жп-
Имея разложение функции на совокупность импульсов, можно опреде-
лить суммарный выход д(х, у) на заданный вход/(х, у) путем сложения реакций системы на смещенные отмасштабированные импульсы. Это следует из линейности рассматриваемой системы.
Реакцией на импульс кВ (х — Е,, у — г)) является произведение kh(x — ^, у — г|), поскольку система пространственно-инвариантна. Отсюда, поскольку к — это просто функция / (^, г|), имеем
■9<^ У)= I J /fen)/^(x-^y-r))^^n•
Этo можно записать в виде h®f. Ниже доказывается коммутативность (итерации свертки, т. е. h ® / = f ® h, и следовательно,
" " у(х, у)= f f У(Х - 5, у- ^h^, ^d^d^.
Линейную пространственно-инвариантную систему всегда можно описать подходящей функцией рассеяния точки h (х, у). С помощью этой функции мы можем вычислить реакцию д (х, у) на любой заданный входной сигнал f (х, у). Функция рассеяния точки является исчерпывающей характеристикой линейной пространственно-инвариантной системы. Таким образом, мы показали, что линейная пространственно-инвариантная система осуществляет операцию свертки.
Теперь докажем коммутативность свертки, т. е. что b ® а = а ® Ь. Пусть с = а ® b или
с(х, у) = J 3 «(x-^y-^b^^d^dvt.
Положим х — ^ = а и у — г) = Р, тогда
с(х,у) = J j а(а, ^)b(x — а, у — ^)dadp.
Поскольку аир — произвольные немые переменные, мы можем заменить их переменными ^ и Т|, не изменив значения интеграла. Тогда получим
с(х, у)= f f b(x - ^, у - Г|)«К, nW4
что и означает Ь®а. Свертка также ассоциативна, а именно: (а ® Ь) ® с = а ® (Ь ® с). Это позволяет нам рассматривать последовательность (каскад) двух систем с функциями рассеяния точки h^x, у) И Мх, у):
Если / (х, у) — входной сигнал, то на выходе первой системы получим f®hi. Этот новый сигнал подается на вход второй системы, в результате чего на ее выходе получаем (/ ® hi) ® h2. Это можно записать в виде / ® (hj ®/12), что совпадает с выходом, который мы имеем у системы с функцией рассеяния точки ht®h2'.
1.Д* ОТ !Г < 1
Передаточная функциян*
Свертку представить гораздо труднее, чем результат произведения двух функций. Поскольку при переходе от пространственной к частотной области свертка преобразуется в произведение, то в случае линейных пространственно-инвариантных систем переход к частотной области выглядит привлекательным. Однако, прежде чем развивать эти идеи, мы должны понять, что такое частота применительно к двумерным системам.
В случае одномерных линейных пространственно-инвариантных систем легко убедиться в том, что функция еш‘ — собственная функция оператора свертки. Собственной функцией системы называется функция, которая воспроизводится системой, возможно, с изменением амплитуды:
e£ute£ut^(w)ez<at
e£ut
e£ut
Здесь А (оз) представляет собой (возможно, комплексный) множитель, на который умножается входной сигнал. Таким образом, если на вход линейной пространственно-инвариантной системы подать сигнал в виде экспоненциальной комплекснозначной функции, то на выходе получим аналогичный по форме сигнал, умноженный на некоторый коэффициент и сдвинутый по фазе. Величина и называется частотой собственной функции. На практике употребляются действительные синусоидальные сигналы, например cos rot и sin rot, соответствующие действительной и мнимой частям функции е™'. Естественно, связь между двумя подобными представлениями имеет вид е™’ = cos юг + / sin юД Комплексная форма записи используется при выводе результатов, так как при этом выражения принимают более компактный вид и отпадает необходимость рассматривать косинусы и синусы отдельно.
В двумерной линейной пространственно-инвариантной системе входной сигнал f (х, у) = е + ,(“х + 1’г) приводит к появлению на выходе сигнала
д(х, у)= f f e4uu-y + vty-^h^ п)^(/т|,
или
ОС СО
Подынтегральное выражение в правой части зависит лишь от и и т, следовательно, выходной сигнал ^(х, у) — это просто умноженный на некоторый масштабный множитель и, возможно, сдвинутый по фазе входной сигнал /(х, у). Таким образом, е + Цих + уу) - собственная функция свертки в двумерной системе
Заметьте, что теперь частота содержит две компоненты и и v. О плоскости ии мы будем говорить как о частотной области в противоположность плоскости ху, которая представляет собой пространственную область.
Волнам в пространстве двух измерений соответствуют действительные синусоидальные гармоники cos (t/х + ту) и sin (их + ту). Максимумы и минимумы функции cos (их + ту) лежат на параллельных равноудаленных гребнях вдоль прямых их + су = кк, где к — целое число (рис. 6.3). Если провести сечение рассматриваемой поверхности под
.^:Д Мj! . .। ft Ш ’ i
Рис. 6.3. Комплекснозначные экспоненциальные собственные функции двумерной линейной пространственно-инвариантной системы.
Их действительные составляю
щие представляют собой волны с выделенным направлением, вдоль которого они постоянны. Сечения, подобные выбранному вдоль линии А — А, являются синусоидальными. ?
прямым углом к этим прямым, т. е. в направлении (и, г), то
получим синусоидальные гармоники с длиной волны ^ = 2k/)/V + i^.
В чистом виде подобные гармоники в зрительной системе возникнуть не могут, поскольку яркость не бывает отрицательной. Обязательно произойдет смещение на некоторую постоянную величину.
Если положить
Н(и, v) = f f е ^^-^^h^^d^d^
то в том специальном случае, рассматриваемом до сих пор, будем иметь д (х, у) = Н (п, г) / (х, у), — это видно из приведенного ранее интеграла. Таким образом, функция Н(и, г) характеризует реакцию системы на синусоидальные сигналы, точно так же как функция h(x, у) —на импульсные сигналы. Для каждого значения частоты эта функция позволяет определить амплитуду и фазу реакции системы. В случае двумерной системы ее называют передаточной функцией. Она представляет собой частотную реакцию двумерной системы на гармонический сигнал и, следовательно, аналогична известной частотной реакции одномерной системы на гармонический сигнал. (Следует иметь в виду, что функция Н(и, v) не обязана быть действительной.)
Точно так же, как о качестве звукового усилителя можно судить по его частотной характеристике, о качестве линз камеры можно, например, судить, сопоставляя графики их передаточных функций.
Преобразование Фурье и фильтрация
Входной сигнал / (х, у) можно рассматривать как сумму бесконечного числа синусоидальных гармоник (как ранее мы представили его в виде суммы бесконечного числа импульсов). Это является еще одним удобным способом разложения входного сигнала, поскольку при заданной передаточной функции Н(и, v) нам известна реакция системы на каждую компоненту разложения. Если функцию J (х, у) представить в виде
Ж У) = , '4ТГЖ У) = , '4ТГF (и, v)e + i(ux + ^dudv,F (и, v)e + i(ux + ^dudv,1 №■1 №■81Х.У>-^81Х.У>-^ОО/•ОО/•j Я(и, ^Flu/eV^"1"^'^j Я(и, ^Flu/eV^"1"^'^
Ж У) = , '
4ТГ
Ж У) = , '
4ТГ
F (и, v)e + i(ux + ^dudv,
F (и, v)e + i(ux + ^dudv,
1 №■
1 №■
81Х.У>-^
81Х.У>-^
ОО
/•
ОО
/•
j Я(и, ^Flu/eV^"1"^'^
j Я(и, ^Flu/eV^"1"^'^
(Множитель 1/4л2 добавлен сюда для согласования с формулой,прнво*
димой ниже.) Единственная проблема состоит в том, что разложение на гармонические сигналы совсем не так тривиально, как разложение на импульсы. Как найти функцию F(u, г), если дана /(х, у)? Как будет показано позже, ответ будет следующим:
СО ОС
F(h, v) = f f f (x, y)e"^ux+uy)dxdy,
если этот интеграл существует. В справедливости приведенного соотношения можно убедиться, произведя замену переменных
СО СО,
£(и, 0 = f / /(«, p^-'^ + ^tWp ,
и подставив выражение для /(х, у):
a
□с
/•
ас оо
Г р рп
1
4л2
/(a, Р)
elVuVx-<i>*^-№ дидт
da dp.
со — а.
1— J J_
— ос —ОС
Внутренний интеграл не сходится. С помощью так называемых множителей сходимости мы позже покажем, что его можно считать равным 4л28(х — ос, у — Р). Поэтому имеем
со со
так чтотак что' ■ J f Р)8(х - а, у - P)<WP = /(х, у),
так что
так что
11г- ;j■<> ■'■ХУ
1
1
4л24л2F(u, v)e+i(ux^y)dudv^f^y).
4л2
4л2
Функция F (и, v) называется преобразованием Фурье функции / (х, у). Подобным же образом мы можем определить преобразование Фурье G(u, v) для выходного сигнала д(х, у). Так что окончательно G(u, v) = Щи, v^F(u,r\ что проще, чем выражение
у(х, у) = J J /(x-s,y-n)^6, П)^^П- - ;
Таким образом, операцию свертки мы заменили операцией умножения!
Мы еще раз видим, что передаточная функция Н (и, v) характеризует то, как система ослабляет или усиливает каждую компоненту F (и, v) входного сигнала. Поэтому линейная пространственно-инвариантная система действует как фильтр, который селективно ослабляет или усиливает различные части спектра имеющихся частот. Она также может
изменить их фазу, но это все, на что она способна. Отсюда нетрудно прийти к выводу о том, что, ограничивая себя линейными пространственно-инвариантными системами, мы значительно сужаем границы достижимого, но одновременно это позволяет нам получить много полезных результатов, поскольку математический аппарат оказывается доступным.
Обратите внимание на небольшую асимметрию в прямом:
- Г(м, v) = f J /(х, y)e"^x+vy4xdy
и обратном:
F (и, v)e+i(ux + vy)dudvF (и, v)e+i(ux + vy)dudv
F (и, v)e+i(ux + vy)dudv
F (и, v)e+i(ux + vy)dudv
преобразованиях Фурье. Постоянные множители здесь разделены так, чтобы соответствовать принятой в других книгах форме записи. То, что преобразования почти симметричны, позволяет свойства, применимые к прямому преобразованию, переносить на обратное преобразование. Однако необходимо иметь в виду, что в общем случае F (и, г) — комплексная функция, тогда как /(х, у) — действительная. Заметьте также, что Н^и, v) — преобразование Фурье функции h^x, уу
Не для всех функций можно найти преобразование Фурье. Функции из некоторых простых классов равны интегралам Фурье от их преобразований Фурье. Однако трудно точно описать, какие функции допускают преобразование Фурье, а какие — нет.
Другого типа трудность связана с тем, что интегралы берутся по всей плоскости ху, тогда как зрительные устройства дают практически пригодные изображения только на ограниченной части плоскости изображения. Более того, в компьютерах используется только дискретное по пространству представление этих изображений. Более детально эти два вопроса будут рассмотрены в следующей главе.
Преобразование Фурье для операции свертки
Пусть с = а®Ь; тогда преобразование Фурье С (и, г) функции с(х, у) имеет вид
J f J f «(* - 5, У - П)&Й, П)^П е '(их + 'пdxdy
ИЛИ
f f J J a^x-^y-^e-'^^dxdy b^, ^d^dW
Таким образом,
СО СО
С (и, г) = j j А (н, Ае~Ци^г'иЬ (jL v^l^dvt = А(и^ — СО — со
Операция свертки в пространственной области становится операцией умножения в частотной области. В этом заключается основной довод в пользу введения сложного аппарата пространственных частот. Коммутативность и ассоциативность свертки непосредственно вытекают из соответствующих свойств умножения.
Используя почти-симметрию между прямым и обратным преобразованиями, нетрудно показать, что Фурье-преобразование произведения двух функций d = ab имеет вид D(u, v) = (1/4л2) А (и, v)®B(u, г). Вывод этого выражения аналогичен используемому выше.
Далее, рассмотрим свертку с = а® b в точке (х, у) = (0, 0):
со со
с(0, 0)= f J а( —^, — г>)г>(^, г|)<7^<7г).
— СО — со
Применяя обратное преобразование к функции С(п, г), мы также ПОЛу- чаемс
Поскольку С (и, г) = А (и, v)B(u, г), тоОС00ОС«(-§, -П)^К, П)^^П = —уе/VJ■ ■ -—ОО~ ОС—соПоскольку С (и, г) = А (и, v)B(u, г), тоОС00ОС«(-§, -П)^К, П)^^П = —уе/VJ■ ■ -—ОО~ ОС—соЕсли повторить предыдущие рассуждения для фузрдии вместо этого получимЕсли повторить предыдущие рассуждения для фузрдии вместо этого получима£-т$,а£-т$,
Поскольку С (и, г) = А (и, v)B(u, г), то
ОС00ОС
«(-§, -П)^К, П)^^П = —у
е/VJ
■ ■ -—ОО~ ОС—со
Поскольку С (и, г) = А (и, v)B(u, г), то
ОС00ОС
«(-§, -П)^К, П)^^П = —у
е/VJ
■ ■ -—ОО~ ОС—со
Если повторить предыдущие рассуждения для фузрдии вместо этого получим
Если повторить предыдущие рассуждения для фузрдии вместо этого получим
а£-т$,
а£-т$,
«К, ^b^, T^dr^ = -А«К, ^b^, T^dr^ = -АА* (и, и) В (и, t^dudtА* (и, и) В (и, t^dudt
«К, ^b^, T^dr^ = -А
«К, ^b^, T^dr^ = -А
А* (и, и) В (и, t^dudt
А* (и, и) В (и, t^dudt
— 00 “ 00
поскольку преобразование Фурье функции а( — х, —у) есть А*(и, г), т. е. комплексно-сопряженная функция к А (и, и). Считая функцию п(х, у) действительной, в частности, видим, что
сосоа2 К, П)^^П = Атсосоа2 К, П)^^П = Ат| А (и, г)|2 dudv.| А (и, г)|2 dudv.
сосо
а2 К, П)^^П = Ат
сосо
а2 К, П)^^П = Ат
| А (и, г)|2 dudv.
| А (и, г)|2 dudv.
—со -СО—со -СО-со —СО
—со -СО
—со -СО
Здесь |Л(гЛ г)12 = Я*(н, г)Л(щ г). Этот результат, устанавливающий равенство энергий в пространственной и частотной областях, известен как теорема Рэлея. Ее дискретный аналог — теорема Парсеваля.
единичные импульсыединичные импульсыОбобщенные функции и
единичные импульсы
единичные импульсы
Единичный импульс 5 (х, у) не является функцией в традиционном смысле слова, поскольку ее нельзя определить заданием ее значений для всех х и у. Тем не менее если рассматривать 5(х, у) как предел последовательности функций, то он допускает согласующуюся с традиционным представлением интерпретацию. Нам нужна функция, которая так зависит - от параметра, что при его стремлении к некоторому пределу ее свойства приближаются к тем, на основе которых определяется единичный импульс. Говорят, что такая последовательность определяет обобщенную функцию. Пример поможет прояснить эту идею.
Рассмотрим последовательность квадратных импульсов единичного объема:
. „I 1Д4е2) для I X | ^ £ и I I
[ О ДЛЯ I X I > 8 или I у | > 8.
Сечения трех функций этой последовательности имеют вид
Ясно, что
. J J 8е(х, y)dxdy = 1,; ■ v.
f . — ОО - X
и далее, если / (х, у) ведет себя достаточно хорошо, то
Е
limе->0limе->0Дх, у)/(х, y^dxdy = lim ^-Дх, у)/(х, y^dxdy = lim ^-/(х, y^dxdy./(х, y^dxdy.
lim
е->0
lim
е->0
Дх, у)/(х, y^dxdy = lim ^-
Дх, у)/(х, y^dxdy = lim ^-
/(х, y^dxdy.
/(х, y^dxdy.
— £
Как легко видеть, разлагая функцию/(х, у) в ряд Тейлора в точке (0,0), последнее выражение равно просто / (0, 0). Кроме того, lim 8е (х, у) = 0 (е 0) для всех (х, у) # (0, 0). Таким образом, можно считать, что последовательность функций {5е(х, у)} определяет единичный импульс. При вычислении интеграла, содержащего функцию 5(х, у), мы можем заменить ее на 8е(х, у), а затем в конечном результате перейти к пределу при 8-> 0. г .
5 Заказ 1963
Из приведенного вида последовательности 8Е(х, у) мы заключаем, что 8 (х, у) можно представить в виде произведения двух одномерных единичных импульсов 8(х, у) = 8(х)8(у), где одномерный импульс определяется следующим филътруюгцим свойством;
f / (х) 5 (х) t/x = / (0)
для любой функции /(х).
Интеграл от одномерного единичного импульса представляет собой единичную ступенчатую функцию
( 1 при х > 0;
J b(t)dt = и(х\ где и(х) = х 1/2 при х = 0;
I 0 при х < 0.
И наоборот, единичный импульс можно рассматривать как производную единичной ступенчатой функции. Это легко усмотреть, если единичную функцию представить в виде предела последовательности [иЕ(х)}, где
(1при х > +е;
»£(х) х 1/2 [1 + (х/Е)] при | X I е;
I0прих<-£.
Откуда ясво, чтоЬ
? ;_ Г 1/2е при | х ( ^е;
dx Ме (0 при | х | > е.
Следует подчеркнуть, что одну и ту же обобщенную функцию можно определить различными последовательностями. Например, можно рассмотреть последовательность функций Гаусса
8а(х, у) = (1/2тю2) е 2 °2 при с-> 0.
Функции этой последовательности охватывают единичный объем, а Мх, У) стремится к нулю для всех точек (х, у) # (0, 0) при с -> 0. Перед последовательностью 8£(х, у) последовательность 8а(х, у) имеет то преимущество, что она всюду дифференцируема.
Чему равно преобразование Фурье единичного импульса? С одной стороны, мы имеем
со со
j / 8(х, у)е~Цих + Уу)dxdy = 1,
- ОО — со
в чем легко убедиться, подставляя в е 1^их+^ значения х —0 и у = 0
на основе фильтрующего свойства единичного импульса. Мы можем так-
же исходить из данногоже исходить из данноговыше определения:выше определения:ееlim f£ —* О \lim f£ —* О \££<ых + vy) jx jy или<ых + vy) jx jy илиГ 1Jim т-е-»е2еГ 1Jim т-е-»е2е— £— £. , 1e"iuxdx —28- Е. , 1e"iuxdx —28- Е,,. Sin U8 SHI 128е > dy, т. е. пт= 1£ —* О иг 128,,. Sin U8 SHI 128е > dy, т. е. пт= 1£ —* О иг 128
же исходить из данного
же исходить из данного
выше определения:
выше определения:
е
е
lim f
£ —* О \
lim f
£ —* О \
£
£
<ых + vy) jx jy или
<ых + vy) jx jy или
Г 1
Jim т-е-»е2е
Г 1
Jim т-е-»е2е
— £
— £
. , 1e"iuxdx —
28
- Е
. , 1e"iuxdx —
28
- Е
,,. Sin U8 SHI 128
е > dy, т. е. пт= 1
£ —* О иг 128
,,. Sin U8 SHI 128
е > dy, т. е. пт= 1
£ —* О иг 128
Отсюда следует, что система, функция рассеяния точки которой представляет собой единичный импульс, является тождественной, так как она не изменяет входного сигнала. Все частоты проходят сквозь нее с единичным коэффициентом усиления, и никакого сдвига по фазе не происходит, поскольку передаточная функция Н (и, г) равна единице, т. е. выходной сигнал тождествен входному.
Множители сходимости и единичный импульс
Интеграл
J f e^^dudv— СО — со
не сходится. Причина в том, что колебания в подынтегральном выражении не затухают с увеличением и и v. Один из способов приписать осмысленное значение интегралу, несмотря на указанную трудность, состоит в умножении подынтегральной функции на множитель сходимости, который уменьшит ее значения для больших и и и (рис. 6.4). Множитель сходимости должен зависеть от параметра, причем
5*5*Рис. 6,4.Отсутствие сходимости у интеграла от синусоиды (сплошная линия). Однако если подынтегральное выражение умножить на гауссову функцию (штриховая линия), то мы получим функцию, которую можно проинтегрировать. Исходный интеграл можно рассматривать как предел интеграла с множителем сходимости, становящимся все более и более плоским. . . , .Рис. 6,4.Отсутствие сходимости у интеграла от синусоиды (сплошная линия). Однако если подынтегральное выражение умножить на гауссову функцию (штриховая линия), то мы получим функцию, которую можно проинтегрировать. Исходный интеграл можно рассматривать как предел интеграла с множителем сходимости, становящимся все более и более плоским. . . , .
5*
5*
Рис. 6,4.
Отсутствие сходимости у интеграла от синусоиды (сплошная линия). Однако если подынтегральное выражение умножить на гауссову функцию (штриховая линия), то мы получим функцию, которую можно проинтегрировать. Исходный интеграл можно рассматривать как предел интеграла с множителем сходимости, становящимся все более и более плоским. . . , .
Рис. 6,4.
Отсутствие сходимости у интеграла от синусоиды (сплошная линия). Однако если подынтегральное выражение умножить на гауссову функцию (штриховая линия), то мы получим функцию, которую можно проинтегрировать. Исходный интеграл можно рассматривать как предел интеграла с множителем сходимости, становящимся все более и более плоским. . . , .
таким образом, чтобы новый интеграл приближался к исходному при стремлении параметра к некоторому определенному пределу. Значение, приписываемое исходному интегралу, полагается равным пределу значений модифицированного интеграла при стремлении параметра к упомянутому пределу. Сформулированный метод станет ясен, если мы применим понятие множителя сходимости к интегралу, приведенному выше.
В этом случае удобным множителем сходимости является функция Гаусса
сп(и, и) = е 2 °2 ,
где су — параметр, который будет изменяться. Заметим, что для любой конечной точки (и, г) Птсп(и, г) = 1 при су->оо. Интеграл, который необходимо вычислить, имеет вид
со со 1_ U2 + г2;
f $ е 2 °2 e^ + ^dudv или
— СО — СО
7 -^У + ^77 -^flCV^irbЛ
J е 2 Vа /du J е 2 а / dv.
— со—со
Теперь
со L f—Y’/ сгг;1' '', '
J е 2 cos(ua)du = у2кое 2,
— оо\Д .
в то время как «г
ОС"
f е 2sin(иа)du = О,
- СО
поскольку sin (на) — нечетная функция от и. Поэтому весь интеграл равен
Он стремится к нулю при су->оо, если только а2 + Ь2 ^ 0. Однако при а = b = 0 результат не стремится к конечному пределу при су -> оо. Следовательно, интеграл
со со f f ei(ua + vb>dudv
— СО — СО
должен быть пропорционален единичному импульсу 8 (я, Ь). Но чему равен коэффициент пропорциональности? Поскольку
СО 00
J J 5 (a, b)dadb = 1,
— со - со
мы можем определить этот коэффициент, если вычислим
со оо-1_^ + Ь2)п2, - ■
lim j J 2яп e 2 dadb.- v
Двойной интеграл можно представить в виде произведения двух простых интегралов и получить выражение
СО _±а2а2СО „±62а2
2тш2 ] е 2 da ] е 2 db = 4я2. — со-со',,/
Произведение не зависит от су, и окончательно мы имеем
j j еЦиа+гЬ^ dudv = 4к26(а. by, Т
—” СО
Этот результат мы уже использовали во время обсуждения преобраз# вания Фурье.
Частные производные и свертка
Для выделения краев на изображениях мы используем дифференцирование, и поэтому интересно будет узнать, как связаны преобразования Фурье исходного и дифференцированного изображений. Иными словами, если F (и, г) — преобразование Фурье для функции / (х, у), то
и Sf/dy? Рас-Р XPtи Sf/dy? Рас-Р XPtСО ОС^e-^^dxdy илиСО ОС^e-^^dxdy иликаковы преобразования Фурье для операторов df/dx смотрим преобразование
и Sf/dy? Рас-
Р XPt
и Sf/dy? Рас-
Р XPt
СО ОС
^e-^^dxdy или
СО ОС
^e-^^dxdy или
^e~iuxdx e'^dy.
OX
Внутренний интеграл берется интегрированием по частям 'ш-л ^^'
^e"iuxdx=\JVx, yV^A-^*^^e"iuxdx=\JVx, yV^A-^*^СОСО
^e"iuxdx=\JVx, yV^A-^*^
^e"iuxdx=\JVx, yV^A-^*^
/(х, yViuxdx.
Однако следующий шаг мы можем предпринять только тогда, когда /(х, у) —► 0 при х~>±оо. В этом случае преобразование Фурье имеет вид
J (ш) J f (х, y)e"i,“x + t’y|dxdy = iuF(и, v).
Если/(х, у) не стремится к нулю на бесконечности, интеграл не сходится, но при этом мы можем прибегнуть к множителям сходимости и получить тот же результат. Подобным же способом легко показать, что преобразование Фурье для оператора Sf/ёу равно ivF (и, v). Отсюда заключаем, что дифференцирование выделяет высокочастотные компоненты и подавляет низкочастотные. В частности, любой постоянный фон или составляющая с нулевой частотой полностью теряется.
Лапласиан функции/(х, у) определяется как V2/ = o^fjdx1 А-б^ёу1. Следовательно, преобразование Фурье лапласиана равняется — (и2 + + v2)F(k, г). Выражение — (и2 + г2) можно рассматривать как передаточную функцию оператора V2 в смысле, который станет ясен в дальнейшем. Обратим внимание на круговую симметрию этой передаточной функции: она зависит только от (и2 + г2), а не по отдельности от и и г. Это наводит на мысль о том, что и сам оператор Лапласа обладает круговой симметрией.
Может показаться странным совпадением, что дифференцированию в пространственной области соответствует умножение в частотной области, поскольку раньше мы уже наблюдали подобное же соответствие между сверткой и умножением. Такое совпадение становится менее удивительным, если представить результат дифференцирования как реакцию линейной пространственно-инвариантной системы! Возможно ли, что дифференцирование эквивалентно свертке с некоторой особенной функцией? (Эта функция должна быть действительно особенной, поскольку ввиду локального характера операции дифференцирования она должна равняться нулю всюду, кроме начала координат.) Изучим этот вопрос более подробно.
Передаточной функцией Н (и, v), соответствующей первой частной производной по х, является iu. Используя обратное преобразование Фурье к ш, мы можем найти функцию рассеяния точки, соответствующую первой частной производной
-^2" J J iue + l(ux + vy)dudu.
Этот интеграл не сходится. Его можно было бы вз^т^^^С^дез^ШЦНО множителя сходимости, однако проще заметить, что
«о * ,
j j е+ц"х+и^ dude = 4тг8(х, у). / .
Следовательно, интеграл равен (5/дх) 8 (х, у), поскольку умножению преобразования Фурье на iu соответствует дифференцирование по х. Поскольку 8(х, у)— необычная функция, то нельзя ожидать, что ее производная окажется функцией в классическом смысле. Однако ее можно найти с помощью последовательности функций, например таких:
Ч-8„(х, у) =2 "2 .
сх2кс
Равнозначный способ ее определения — в виде предела последовательности
§х,Е (х, у) = -^£ [8 (х + е, у) - 8 (х - Е, у)].
Здесь мы имеем два близко расположенных импульса противоположной полярности. Результат, называемый дуплетом, будет обозначаться 8х(х, у). Это определение аналогично обычному способу определения частной производной как предела приращения функции
№ ума
2 Б так что
^/(х, у) ® 8ХЕ(х, у) = /(х, у) ® 8х(х, у) = ^.
Обобщенную функцию, соответствующую лапласиану, можно представить в виде предела следующей последовательности, получаемой, например, дифференцированием 8„(х, у) (рис. 6.5, а):
/ Y2 V2 — Гт2 \ 1х2 + У
Рис. 6.5. Действие оператора Лапласа, рассматриваемое как предел последовательности операций свертки с функциями, обладающими круговой симметрией по отношению к началу координат.
а — Лапласиан гауссовой функции дает пример подобных функций с непрерывными производными; б — вместо этого мы можем использовать кусочно-постоянную функцию.
Эта функция обладает круговой симметрией. В центре симметрии имеется впадина глубиной 1/(2тга4) и радиусом о, по краям которой расположено кольцеобразное возвышение с максимальной высотой е"3/2/(лст4) и радиусом ]/Зо. Такая форма графика функции наводит на мысль о другой последовательности (рис. 6.5,6):
Г - 2/(ле4) при 0 х2 + у2 е2;
А (х, у) = Л + 2/(Зле4) при £2 < х2 + у2 4с2;
I 0 при 4е2 < х2 + у2.
В дальнейшем при работе с дискретными аналогами этих непрерывных операторов она нам пригодится.
Круговая симметрия и изотропные операторы
Лапласиан представляет собой линейную комбинацию частных производных наименьшего порядка, обладающую круговой симметрией. Это означает, что результаты применения лапласиана к повернутому изображению и повернутого лапласиана к исходному изображению совпадают. И наоборот, если мы повернем изображение, применим оператор Лапласа и повернем получившееся изображение назад, то получим тот же результат, что и при простом применении лапласиана.
Другим оператором второго порядка с круговой симметрией является квадратичная вариация (62/6х2)2 + 2 (г2/8х 8уЦ62/8у 6х) + ^62/8у2у. Однако этот оператор нелинеен. Если мы допустим нелинейность, то дифференциальным оператором с круговой симметрией наименьшего порядка будет квадрат градиента (6/Эх)2 + (d/Sy)2. Как мы увидим в гл. 8, лапласиан, квадрат градиента, квадратичная вариация окажутся полезными при выделении краев на изображении.
Операторы, обладающие круговой симметрией, привлекательны тем, что результат их применения к изображению не зависит от ориентации последнего. Кроме того, функцию, обладающую круговой симметрией, можно описать простым плоским профилем, а не поверхностью. Наконец, как сейчас будет показано, преобразование Фурье такой функции вычисляется с помощью однократного, а не двойного интегрирования.
Введем полярные кординаты как в пространственной, так и частотной областях (рис. 6.6): х = г cos ф, у = г sin ф и и = р cos а, г = р sin а, так что их + vy = гр cos (ф — а). Теперь если /(х, у)=/(г), то преобразование Фурье
"i5 F (и, г) = j J /(х, y')e-itux + u),'dxdy
примет вид " ‘ "
Рис. 6.6. Удобство введения полярных координат как в пространственной, так и в частотной областях при работе с функциями, обладающими круговой симметрией.. ..Рис. 6.6. Удобство введения полярных координат как в пространственной, так и в частотной областях при работе с функциями, обладающими круговой симметрией.. ..
Рис. 6.6. Удобство введения полярных координат как в пространственной, так и в частотной областях при работе с функциями, обладающими круговой симметрией.. ..
Рис. 6.6. Удобство введения полярных координат как в пространственной, так и в частотной областях при работе с функциями, обладающими круговой симметрией.. ..
Л(р) =JP;7(r)C~'^
•~Л О
(Величина г в подынтегральном выражении — это просто определитель якобиана преобразования от декартовых координат к полярным.) Если поменять порядок интегрирования, то после очевидной замены переменных внутренний интеграл примет вид
J е"‘грС05ф(/ф = 2 J cos (гр cos ф) г/ф = 2л70(гр),
где Jo (х) — функция Бесселя нулевого порядка. Следовательно, если F (и, г) = F (р), то
Ё(Р) = 2к J г/(г) J0(rp)dr.О
Аналогична можно показать, что
.,.>,0/(Г)= ^ j pF(p),tf0(rp)M^-
о
Две последние формулы определяют преобразование Ганкеля. (Причина их асимметричности кроется в асимметричности нашего определения преобразований Фурье.)
Мы видим, что преобразование Фурье функции с круговой симметрией также обладает круговой симметрией. Кроме того, оно является действительной функцией, откуда следует, что сдвиг по фазе равен нулю.
Свертка с такой функцией позволяет удалить все частоты выше определенного порога, т. е. система, обладающая подобной функцией рассеяния точки, действует как низкочастотный фильтр.
Этими выводами мы воспользуемся при анализе некоторых простых дефектов зрительной системы. В качестве примера рассмотрим импульсную функцию системы, которая действует как фильтр нижних частот с частотой среза В, т. е.
Л при р ^ В;
'#(р) =
^0 при р > В.
Производя обратное преобразование, получим
Пусть z = гр, тогда
оо
о
о
I порядка.I порядка.имеет макимеет мак
I порядка.
I порядка.
имеет мак
имеет мак
Далее Щйг)гЗх (2) ^zJQ (2), где Jx (2) - функция Бесселя Поэтому
Можно доказать, что lim J, (2)72= 1/2 (2 -> оо). Поэтому А (г)
симум в начале координат, а затем плавно убывает до нуля при 2 = = 3,83171... (рис. 6.7). Потом она становится отрицательной и в дальнейшем осциллирует около нуля со все убывающей амплитудой. Асимпто-
тически снижение амплитуды описывается функцией z 3/2. Функция jx ^fz для двумерных систем играет ту же роль, что и функция sin(z)/z для одномерных.
Между прочим, должно быть ясно, что фильтр со слишком крутым срезом приведет к возникновению колебаний или «кольцевых» эффектов в пространственной области (иногда называемых явлениями Гиббса). Во многих случаях предпочтительнее фильтр с более плавным понижением, поскольку он меньше подвержен воздействию указанных явлений. Например, гауссов фильтр имеет очень плавный срез, который захватывает заметный интервал частот. Он не порождает никаких ложных изменений в отфильтрованном изображении.
Размывание, расфокусировка и скоростной смаз
В обычной зрительной системе оказывается, что лучи, которые в идеальных условиях должны были бы фокусироваться в одной точке, в действительности немного расходятся. Такое «размывание» изображения может принимать различные формы, однако иногда его можно смоделировать гауссовой функцией рассеяния точки, нормированной на единичный объем:
2 "
Поскольку эта функция зависит от х2 + у2, а не по отдельности от х или у, она обладает круговой симметрией. Преобразование Фурье для нее можно вычислить с помощью формулы Ганкеля.
Однако заметим, что функция Гаусса распадается на произведение двух функций от х и от у. Поэтому другой подход может оказаться менее трудным:
Первый интеграл в правой ласти равен
е 2^; е^Чу*
Г1 ;. ■ А
— СО
Рис. 6.8. Эквивалентность расфокусировки изображения и его свертки с функцией, обладающей круговой симметрией.
График последней ограничивает единичный объем и напоминает цилиндрическую коробочку.
Поэтому в итоге получаем, как и должно быть функцию с круговой симметрией:*
Н (и, v) = е
Мы видим, что низкие частоты проходят непогашенными, в то время как высокие частоты уменьшаются по амплитуде, это особенно заметно у частот выше примерно 1/о. Но ст — характерный размер исходной функции рассеяния точки, следовательно, чем больше величина размывания, тем ниже подавляемые частоты. Это пример обратной зависимости между изменениями масштабов в пространственной и частотной областях. В самом деле, если г — характерный радиус пятна в пространственной области, ар — его размер после преобразования, то гр — величина постоянная.
Один из способов размывания изображения заключается в его расфокусировке (рис. 6.1). В этом случае функция рассеяния точки представляет собой небольшую цилиндрическую коробочку, в чем можно убедиться, если рассмотреть конус лучей, проходящих через линзу, с вершиной в фокусе. (Эта точка не принадлежит плоскости изображения, а находится несколько впереди или сзади от нее.) Плоскость изображения пересекает этот конус по окружности. Внутри нее яркость постоянна (рис. 6.8), и, следовательно, мы имеем
г1/(лА2) при х2 + у2 R2; h(x,y) = \
(О при х2 + у2 > R2.
Здесь R = 1/2 (dlf')e, где d — диаметр линзы; f — расстояние от линзы до точки точной фокусировки, а е — смещение плоскости изображения. Мы можем применить преобразование Ганкеля и получить формулу
—2Й(Р)=^—2Й(Р)=^R
—2
Й(Р)=^
—2
Й(Р)=^
rjo (rp) dr = 2 21AE2L
’ (Rp) ’
О
в которой используется упоминавшееся ранее соотношение (d/dz) zJ х (z) = — zjo (z). При этом снова низкие частоты проходят свободно, а верхние срезаются по амплитуде, причем некоторые вообще не пропускаются. Другие инвертируются, поскольку функция Jv (z) колеблется около нуля. На частотах, для которых Jv (Rp) < 0, как мы видим, светлые участки расфокусированного изображения совпадают с темными участками идеального изображения и наоборот. Компоненты изображения с частотами, для которых Jv(Rp) = 0, гасятся полностью. Такие компоненты невозможно восстановить по расфокусированному изображению. Как упоминалось выше, первый нуль функции Jx (z) появляется при z = 3,83171.... Мы снова наблюдаем обратную зависимость между пространственной и частотной областями, поскольку теперь мы имеем z = Rp, т. е., чем больше радиус расфокусировки R, тем меньше частота р, при которой Jv (Rp) = 0.
Другой тип ухудшения изображения обусловлен движением. При этом может двигаться как зрительная система, так и наблюдаемые объекты. В обоих случаях точка на изображении смазывается, превращаясь в черточку. Допустим для удобства, что движение происходит вдоль оси х, а длина черточки равна 2/. Тогда функцию рассеяния точки можно представить в виде произведения hx (х, у) = [и (х + /) — и (х — /)] 8 (у)/2/, где, как и ранее, и (z) — единичная ступенчатая функция. Здесь функция рассеяния точки не обладает круговой симметрией. Ее преобразование Фурье можно найти следующим образом:
Н(и, y) = J -^у [ы(х +/) - м(/- х)] <?”,ux<7x J 8(у) e^'^dy,
или
Н (и, г) = ^у У e~'“xdx,
так что Н (и, г) = sin (ul)jul.
Вывод легко распространяется на движение в произвольном направлении. И вновь нижние частоты пбчти не затрагиваются, тогда как высокие гасятся. Сигналы на некоторых частотах инвертируются, а те, для которых ul = кк, где к — целое число, полностью подавляются. Те сигналы, у которых гребень волны параллелен направлению движения, естественно, остаются без изменения.
Восстановление и улучшение изображений
Чтобы устранить эффекты размывания изображения, мы можем пропустить его через систему с передаточной функцией Н' (и, г), которая
сс/1' (х, у) ® й (х, у) =/1' (х, у) ® й (х, у) =является обратной к передаточной функции Н (u, v) системы, вызывающей размывание, т. е. И (u, v)H'(u, г) = 1. Другими словами, нам нужна система с такой импульсной функцией h'(х, у), свертка которой функцией h (х, у) дает единичный импульс, т. е. = 8(х, у):
с
с
/1' (х, у) ® й (х, у) =
/1' (х, у) ® й (х, у) =
П^.У)П^.У)Цх^—K^tf)Цх^—K^tf)f(i,y)f(i,y)
П^.У)
П^.У)
Цх^
—
K^tf)
Цх^
—
K^tf)
f(i,y)
f(i,y)
Каскад двух таких систем есть тождественная система.
Сразу возникает проблема, вызванная тем, что мы не можем восстановить частоты, которые были полностью подавлены и для которых Н (и, v) = 0. Другая проблема возникает при попытке вычисления обратного преобразования Фурье функции Н' (и, v), чтобы получить функцию И' (х, у). Как правило, требуемый интеграл не будет сходиться, хотя мы и могли бы получить результат введением множителя сходимости. Однако при этом результат не будет функцией в классическом понимании..
Самой серьезной проблемой является шум. Измерения реального изображения неточны, и возникающие погрешности мы можем, как правило, смоделировать аддитивным шумом. Шум в одной точке изображения обычно не зависит и, следовательно, не коррелирует с щумом во всех других точках. Как можно показать, отсюда следует, что шум имеет плоский спектр: энергия шума, соответствующая любому
Рис. 6.9. Восстанавливающая система с передаточной функцией Н'^и, у), которая устраняет искажения, возникающие на выходе исходной системы с переда- - точной функцией Н^и. у).
Функция Н' (и, у) обратно пропорциональна Н^и, у). На практике для ограничения усиления шума в восстанавливающей системе вводят верхний предел коэффициента усиления.
заданному участку частотной области, имеет то же значение, что и для любого другого участка той же площади.
К сожалению, шум, о котором здесь идет речь, возникает после размывания. В результате сильно подавляемые частоты начинают смешиваться с шумом, и когда мы их пытаемся восстановить путем усиления, то усиливаем и шум. Это основная трудность, возникающая при восстановлении изображения, и ее причина состоит в том, что независимо от частоты мы не можем отличить полезный сигнал от
шума.
Приведем один эвристический подход к восстановлению изображений. Мы можем создать систему, передаточная функция которой приближенно совпадает с обратной величиной передаточной функции системы, вызывающей размывание. Однако мы установим верхний предел усиления. Например, | Н' (и, и) | = min (1/| Н (и, и) |, Л), где А — максимальный коэффициент усиления. Можно придумать и нечто более оригинальное вроде функции Н' (и, v) = Н (и, г)/[Н (и, и)2 + В2], где 1/(2В) — максимальный коэффициент усиления при условии, что функция Н (и, г) действительна (рис. 6.9).
Корреляция и энергетический спектр
При обработке изображений иногда бывает полезно сопоставлять (коррелировать) их друг с другом. Таким путем мы, например, можем сказать, насколько похожи две яркостные картинки (рис. 6.10). Взаимная корреляция функций а (х, у) и b (х, у) определяется в виде
а * b = J J а (^ — х, г) — у) b (^, ц) d^ dr).
Этот интеграл мы будем обозначать через <роЬ (х, у). Обратите внимание, что это определение похоже на определение свертки. Единственное
Рис. 6.10. Возможность использования корреляции при сравнении двух похожих изображений а(х. у) и Ь(,х, у).
Ее можно также использовать при определении положения фрагмента изображения, содержащего известный образ.,,... v
отличие заключается в аргументах первой функции подынтегрального выражения. Здесь д(^, г|) перед умножением на b(ts Г|) npocfro сдвигается. Кроме того, в свертке аргументы первой функции меняет знак:
a®b= J J а(х - ^, у - n)fefe т])^^.— ос — ОС
Если Ь(х, у) = а(х, у), то результат называется автокорреляцией. Автокорреляция функции симметрична, т. е. фйй( — х, -у) = фйд(х, у). Можно показать, что автокорреляция любой функции имеет максимум при (х, у) = (0, 0), так что для всех (х, у) фйй(0, 0) фйй(х, у). Если Цх, у) отличается от а(х, у) только сдвигом, т. е. Ь(х, у) = а(х - х0, у - у0), то аналогичный максимум возникает в точке, соответствующей величине сдвига, а именно фйЬ(х0, Уо)^фаь(*> У) для всех (х, у). Заметьте, что возможны и другие максимумы, особенно если функция а (х, у) периодическая. Тем не менее если Ь(х, у) мало отличается от сдвинутой функции а (х, у), то величину сдвига можно оценить путем нахождения максимума фаЬ.
Часто информативными оказываются преобразования Фурье взаимных корреляций и автокорреляций. По причинам, которые сейчас станут ясны, их называют энергетическими спектрами и обозначают через Фдь(и, г) и Фйй(к, г) соответственно. Если преобразованием Фурье функции а(х, у) является функция А (и, г), то Фйй(и, v) = | А (и, г) | 2 = = Л*(п, г) А (и, г), где А* (а, г) — комплексно-сопряженная к А (и, г) функция. Отсюда видно, что функция Фйй всегда действительна [свойство, которое можно также вывести из симметрии фДЙ и того факта, что преобразование Фурье функции а(-х, -у) есть А* (и, г)]. В любом случае для малых Ви и 5г величина ФДЙ(ц, и^ВиВи представляет собой энергию, заключенную в прямоугольной области частотного диапазона, ограниченной значениями и, и + Ви и г, г + 5г. Этим и объясняется происхождение термина энергетический спектр.
Даже если интеграл Фурье для функции а(х, у) не сходится, ее энергетический спектр может существовать. Необходимо также отметить, что по А (и, г) посредством обратного преобразования Фурье функция ц(х, у) восстанавливается однозначно, в то время как подобная функция, соответствующая заданному спектру Фйа (и, и), не единственна. Бесконечно много функций обладают одной и той же автокорреляцией и, следовательно, одним и тем же энергетическим спектром. Он не меняется, например, при сдвиге изображения, поскольку при этом изменяется лишь фаза в преобразовании Фурье. Если объект можно распознать по энергетическому спектру изображения, то его можно распознать независимо от его положения на изображении. В связи с этим одно время возлагали большую надежду на то, что методы Фурье- преобразований сыграют значительную роль в решении задач распозна-
вания. К сожалению, такие методы оказываются пригодными лишь тогда, когда на изображении имеется только один объект и при этом он не поворачивается и не меняется в размерах. Более того, как мы видели, энергетический спектр различных объектов может быть одинаковым.
Случайный шум предоставляет другую интересную иллюстрацию. Фурье-преобразование изображения, на котором каждая точка подвержена случайному шуму с нулевым средним и стандартным отклонением а, представляет собой подобное же зашумленное изображение со, средним шума, равным нулю, и стандартным отклонением 2kg. Среднее значение энергетического спектра бесконечного числа таких зашумленных изображений стремится на всех частотах к постоянному значению. (2тсо)2.
Оптимальная фильтрация и подавление шума
Данный раздел, относящийся к оптимальной фильтрации, требует некоторого терпения при прослеживании нетривиальных математических выкладок. Нетерпеливый читатель при первом чтении может его пропустить без серьезного ущерба для дальнейшего понимания. Однако позже имеет смысл к нему вернуться, поскольку это первое место в книге, где вводятся приемы вариационного исчисления.
Допустим, мы имеем сумму полезного сигнала ^(х, у) и шума и (х, у). Наша задача — как можно точнее восстановить сигнал b (х, у). Мерой того, насколько хорошо нам это удалось сделать, будет интеграл от квадрата разности между выходным о (х, у) и искомым d (х, у) сигналами (рис. 6.11). Обычно d(x, у) — это просто Ь(х, у). Мы выбрали минимизацию интеграла от квадрата ошибки, поскольку при такой постановке задача поддается аналитическому решению. (Именно это обстоятельство, естественно, является реальной причиной популярности метода наименьших квадратов и его аналогов.)
Нам нужно минимизировать квадрат ошибки мэ
Е= f J [о(х, у) — d(x, y)]2t/x</y.^ И V 4'
Рис. 6.11, Оптимальный фильтр, представляющий собой фильтр, который минимизирует разиость между выходным о(х. у) и требуемым d(x, у) сигиалами. При этом шум п^х, у) добавляется к входному сшналу Ь^х, у) линейной пространственно- инвариангной системы с функцией рассеяния точки h^x, у).
Если фильтрация будет осуществляться линейной системой, то мы можем охарактеризовать ее функцией рассеяния точки h(x, у). На вход системы поступает сигнал i (х, у) = b (х, у) + п (х, у), а с выхода мы снимаем сигнал о (х, у) = i (х, у) ® h (х, у). Таким образом,
ос со
Е = f J [о2 (х, у) - 2о (х, у) d (х, у) + d2 (х, у)] dx dy. — со — СО
Поскольку о2 = (/ ® К)2, ТО<I .
ОС 00
о2 (X, У) = f f i (х - у - n) h (^, n) ^ dri х — со — со!
ос ос
xff z (х — ос, у р) /z (ос, р) с/ас/р, '-— х — х._)
и, следовательно,
ос ос
I I о2 (х, y)dxdy =.
— ас —00
■ ■■>ос ас ос ос
V = j j f J фц(^ - Ot, Г) - Р)й& n)h(°t, P)d^dridadp,
-ос - x — ос — ос
Где фп (х, у) — автокорреляция г (х, у). Более того,
о (х, у) d (х, у) = J f i(x-^, У-Г|)М^ П)Дх, у)^(7г|,— ас —ас
и поэтому
J J о(х, y^d^x, y)dxdy= ] J tp^, n)M^ ’М'Ч — ос — ас— х — х
где ф^(х, у) — взаимная корреляция функции /(х, у) и d(x, у). Наконец, последний член имеет вид
1(?ас ос
f f d2(x, у) dx dy = <pdd (0, 0),— ас — oo
где (pdd (x, у) — автокорреляция d (x, у). Теперь мы можем переписать выражение для минимизируемой ошибки в виде
00 ос ОС 00
Е= J f f J фД^ - ot, т] - P)h(^, т])Ма, P)^n^dP ~ — оо —СО — ОС — ОС
-2j f <рм(^, п)^^ П)^^П + ф<м(0, 0).
тт— X — 00
т
т
Это выражение нужно минимизировать путем выбора импульсной функции h(x, у). Такая задача относится к вариационному исчислению. (Б^лее подробно вариационное исчисление рассматривается в приложении.) Мы будем ее решать с помощью основного метода этого раздела математики. В типичной вариационной задаче отыскивается такое значение параметра, которое приводит к стационарному значению заданной функции. В нашем случае вместо этого необходимо найти функцию, которая дает стационарное значение заданного функционала. Функционал — это выражение, зависящее от функции, как, например, приведенная выше величина Е зависит от h^ ц).
Допустим, что функция h (х, у) обеспечивает минимальное значение Е, и пусть 5й (х, у) — произвольная функция, используемая для изменения й(х, у). Тогда независимо от выбора 5й(х, у) функция h^x, у) + e5h (х, у) приведет к значению функционала, которое не может быть меньше Е. Пусть это значение равно Е + ЬЕ. Если мы действительно имеем минимум, то для всех ЪН (х, у) lim 5/5е(Е + 5Е) = 0 (при 8 -> 0). Если бы это было не так, то мы могли бы уменьшить Е, добавив к h (х, у) вариацию 5/2 (х, у), умноженную на малую скалярную величину, и тем самым вошли бы в противоречие с предположением об оптимальности й(х, у). Далее
lim^-(£ + 5£)="
ОО ОО ОО ОО
= 2 J J J J <p(i(^-a, г) ~ P)^fe T])S/i(a, P)^^n^««iP-^— со — со — 00 — 00.-Г
”'~2j f фм^, n)5h(^, n)^^,
или-со - со'
lim (Е 4-5Е) = ‘
е^0 СЕ.•У
со оосо оо.,
= -2 J J [<pwfe n)~ f J Ф»Й~«, П -Р)ЛМ P)dotdp] х .
— ОС — ОС— 00 — 00"'
О'Я^сх x5/i(^, v^d^dvv
Поскольку это выражение должно равняться а$лЮ для произвольной функции 5й(^, ц), то выражение в квадратных, скобках должно быть нулем, откуда-
ОО ОО■
фД^, П) = f I о,-, (2 -?. n-P)^^ P)dot</p,
— ОО — ОО .V*: V
т. е., как это ни удивительно, <pw = фп- ® И. Это простое уравнение Otitic
сительно функции h(x, у) можно решить, используя преобразование Фурье Ф1а = НФи, где Ф^ и Ф^ — энергетические спектры. Таким образом, чтобы в рамках принятых допущений построить систему, восстанавливающую изображение, достаточно знать эти спектры. Одна и та же система будет оптимальной не для одного, а целого класса изображений. (Иначе она, естественно, и не представляла бы особого интереса.)
В качестве примера рассмотрим систему, подавляющую шум, т. е. такую систему, на вход которой поступает сумма изображения Ь(х, у) и шума л(х, у), а на выходе формируется сигнал о(х, у), ближайший (в смысле метода наименьших квадратов) к исходному изображению Ь^х, у\ Здесь d^x, у) = Ь^х, у) и / (х, у) = Ь(х, у) + и(х, у). Следовательно, Ф^ = Фы> + Ф«ь и, как легко убедиться, вспомнив определения Фи и Ф/(/, Ф« = Фьь + Фьп + Ф«ь + Фпп. Теперь допустим, что шум не коррелирует с полезным сигналом, т. е. ФЬи = ФпЬ = 0. Тогда Н = Фм/Фй = Фьь/(Фьь + + Фпи) = 1/(1 + Фп„/Фьь). Отсюда ясно, как работает оптимальный фильтр. В тех частях спектра, где отношение сигнал — шум Фьь/Фпп велико, усиление почти равно единице; в частях, где превалирует шум, коэффициент усиления очень мал и равен приблизительно Фьь/Ф„„, т. е. просто отношению полезного сигнала к шуму.
Теперь рассмотрим случай, когда перед сложением с шумом сигнал Ь(х, у) пропускается сквозь систему с функцией рассеяния точки h(x, у). Результат i = b ® h + и необходимо пропустить через систему с функцией рассеяния точки к' (х, у). Необходимо, чтобы выходной сигнал о = i ® К был как можно ближе к исходному изображению Ь(х, у) (в смысле метода наименьших квадратов). Здесь d (х, у) = Ь (х, у), поэтому Ф^ = = НФЬЬ + ФпЬ и Ф„ = Н2ФЬЬ + Н (Ф„ь + ФЬп) + Фп„. Предполагая, что шум не коррелирует с полезным сигналом, получаем Н' = Ф^/Ф^ = = НФЬЬ/(Н2ФЬЬ + Фпп). Если в некоторой части спектра отношение сигнал — шум велико, то Н' 1 /Н, тогда как в области, где Фип > | Н 12фьь, коэффициент усиления ограничен величиной, приблизительно равной Н(Фьь/Фппу Обратите внимание на совпадение этого результата с ранее полученным эвристически.
Наконец, может оказаться поучительным рассмотреть оптимальный фильтр для восстановления не исходного изображения, а уже прошедшего определенную обработку. Допустим, нам нужно оценить по методу наименьших квадратов сигнал d(x, у) = Ь(х, у) ® р(х, у), где р^х, у) - функция рассеяния точки обрабатывающего фильтра. Тогда cpfd = i * d = = i * (b ®p) = (f * b)® p = ^ib®p, т. e. Ф^ = Ф^Р, где P(u, г) - преобразование Фурье функции р (х, у). Таким образом, /Г = Ф^/Ф^ = ^(Фсь/Ф^Р* Оптимальный фильтр представляет собой просто каскад оптимального фильтра, восстанавливающего изображение ^(х, у), и обрабатывающего фильтра Р (u, v). Ничего другого и не требуется.
Здесь необходимо указать на то, что в нашем случае построение оптимального фильтра намного проще, чем в одномерном случае.
Дело в том, что в одномерной системе импульсный отклик должен быть однонаправленным, так как он не может опережать входной сигнал. Ограничения во временной области не так просто выразить через ограничения в частотной области. Например, ограничение /(т) = 0 при t < О трудно выразить через функцию F (го), представляющую собой преобразование Фурье функции/(t). К счастью, в случае изображений подобной проблемы не существует, поскольку носитель функции рассеяния точки может распространяться от начала координат по всем направлениям. Носителем функции называется множество точек, в которых эта функция не равна нулю.
Модели изображений
Чтобы использовать методы оптимальной фильтрации, нам необходимо оценить энергетические спектры обрабатываемых изображений. Изучение спектров нескольких «типичных» изображений быстро убедит вас в том, что основная часть энергии приходится на низкие частоты. Полезно знать о таком затухании энергии с ростом частоты, поскольку это помогает отделить требуемый сигнал от шума, имеющего плоский спектр. Наблюдаемое уменьшение энергии с ростом частоты частично обусловлено тем фактом, что многие объекты или их части непроницаемы и обладают почти равномерной яркостью. Соответствующие участки изображения отделяются перепадами яркости вдоль тех краев, где объекты загораживают друг друга.
Подробное обсуждение моделей изображения выходит за рамки настоящей книги, однако основную идею можно уловить, рассматривая простой прямоугольный участок:
Ж У) =Ж У) =ri при | х | ^ W и
Ж У) =
Ж У) =
10 при | х | > W или | у | > Н.
Преобразование Фурье такой функции имеет вид
F (и, v) = WH sin (иЩ sin (vH)/(uWvH). Сдвиг участка приводит к изменению лишь фазы, а не амплитуды преобразования. Не обращая внимания на колебания, мы видим, что преобразование затухает как Y/(iw\ Таким образом, в зависимости от выбора направления в частотной области, затухание будет пропорционально либо 1/р, либо 1/р2, где р — расстояние от начала координат.
Другой полезной составной частью модели изображения мог бы стать круговой участок
1 при г ^ R;
/и =/и =10 при г > R.10 при г > R.
/и =
/и =
10 при г > R.
10 при г > R.
В этом случае преобразование описывается функцией F(p) = 2R2JX (p-R)/
(рА). При больших значениях аргумента функция JY (z) изменяется по закону ^/(kz) sin (z — тс/4), поэтому если пренебречь колебаниями, то F^ с ростом р убывает как 1/р3/2.
Энергетические спектры моделей изображений, содержащих многоугольные или круговые участки, как правило, затухают пропорционально некоторой степени частоты. На высоких частотах реальные изображения затухают еще сильнее, что обусловлено ограничением разрешающей способности системы. Например, в телескопах существует абсолютная верхняя граница частоты (определяемая отношением диаметра апертуры к длине световой волны), выше которой волны вообще не пропускаются. Микроскопам свойственно аналогичное абсолютное ограничение, определяемое числовой апертурой объектива и длиной световой волны.
Другое приложение того обстоятельства, что основная часть энергии изображений приходится на низкие частоты, можно найти в сфере воспроизведения изображений. Способы воспроизведения изображений, например полутоновая печать, фоторепродукция и телевидение, имеют ограниченный динамический диапазон, т. е. с их помощью можно воспроизвести лишь ограниченный диапазон уровней яркости. Если говорить о качестве воспроизведения, то нас прежде всего интересует отношение самого яркого уровня к самому темному. При воспроизведении изображений важна различимость небольших перепадов яркости. Даже значительные перепады яркости между соседними областями могут оказаться незаметными, если сами области очень ярки. Важна относительная величина перепада, т. е. отношение разности яркостей к меньшей из них. Именно поэтому динамический диапазон измеряется отношением самого яркого уровня к самому темному, а не их разностью.
Динамический диапазон цветных диапозитивов может достигать более ста к одному, тогда как газетной печати — обычно не более десяти к одному. Естественные изображения, как правило, имеют большие динамические диапазоны. При их воспроизведении часто приходится идти на компромисс. Обычно если мы пытаемся поддерживать неизменными средние значения яркости, то самые яркие и самые темные участки будут воспроизведены неточно. Чтобы из-за насыщения не утратить деталей на сильно освещенных и затененных участках, динамический диапазон необходимо сжать.
Подобное сжатие можно осуществить с помощью показательной функции. Если яркость репродукции описывается функцией Ь' (х, у), а оригинала — функцией Ь(х, у), то Ь' (х, у) = [Ь(х, у)]7, где 0 < у < 1. Так репродукция в общем оказывается приемлемой, хотя легкоразличимые перепады яркости на оригинале будут незаметны на репродукции.
Другой подход состоит в использовании того обстоятельства, что изображения, как правило, содержат обширные низкочастотные участки. Фильтр, подавляющий низкие частоты, можно построить путем вычитания из изображения его сглаженной копии. В большинстве случаев
такой фильтр будет сужать динамический диапазон. Примером служит фильтр с функцией рассеяния точки
к
h (х, у) = S (х, у) - -—г е 2
2К<5
при 0 < к < 1. Его передаточная функция имеет вид.
Можно применять и другие сглаживающие функции. Фотографический метод достижения подобного эффекта называется мягким маскированием. Здесь из оригинала частично «вычитается» расфокусированное изображение. Заметьте, что в этом случае резкие края воспроизводятся с полным контрастом. Однако мы должны осторожно использовать этот процесс, поскольку значения яркости смещаются от своего нормального уровня, в результате чего на изображениях объектов могут возникнуть ложные изменения. Как мы увидим позже, значения яркости используются, например, при восстановлении формы поверхности.
Комментарии к литературе
Классическим руководством по обработке изображений, является книга Прэтта [87]. Первые несколько глав книги [92] также служат отличным введением в предмет. В монографиях [84, 98] приведено удачное изложение основной части вопросов, относящихся к анализу двумерных систем, причем они рассматриваются как прямое обобщение одномерного случая. Теория преобразований Фурье, на основе которой проводится этот анализ, дана в стандартном руководстве [12]. Увлекательный рассказ об обобщенных функциях можно найти в работе Лайт- хилла [71], Более подробное изложение этого вопроса приводится в книге Гельфанда и Шилова [37]. Множители сходимости являются непосредственным предметом изучения нескольких руководств, одним из которых является работа [79].
Основополагающие идеи по оптимальной фильтрации восходят к Винеру. В работе [Ш] он использует удивительно симметричное определение преобразования Фурье. Оптимальный фильтр строится с помощью методов вариационного исчисления, которое лучше всего можно изучать по тому 1 книги Куранта и Гильберта [21]. Модели изображений рассматриваются в работе [3].
Обработка изображений представляет собой сравнительно старую область исследований, полностью изученную уже более 10 лет назад. Обзор ранних работ по этой теме приведен в [265]. Обработка изображений традиционно использовалась для улучшения их качества, о чем и идет речь в работе [418].
Под текстурой понимается детальная структура изображения, которая слишком тонка для воспроизведения и достаточно груба для обнаружения заметных флуктуаций уровней яркости соседних элементов изображения. (Заметьте, что у термина «текстура» имеются и другие смысловые значения.) Текстура может быть периодической, почти периодической или случайной. Чтобы классифицировать текстуру, были предприняты попытки ввести ее количественные оценки. Другое направление усилий относится к сегментации изображений на области с различной текстурой [126, 196]. Здесь нашли свое применение методы анализа полутоновых гистограмм совместных значений яркостей. Другой подход основан на появлении выбросов в частотной области. В работе [120] изучается, какое отношение мозаичные модели изображений имеют к понятию текстуры. Дальнейшие ссылки на литературу по обработке изображений будут даны в конце гл. 7.
Упражнения
Найдите такую зависимость к (с), чтобы семейство функций
_ L х2 +д2_5а(х, у) = к^е 2 q2
при с->0 определяло единичный импульс 5 (х, у).
6Д. Рассмотрим семейство функций
| а, если г < 5;
U (У у) = ) ^ если 5 < Г 25;
V 0, если 25 < г,
где г = j/x2 + у2. При каких значениях а и b это семейство определяет обобщенную функцию, соответствующую лапласиану? Иными словами, когда предел свертки L6 (х, у) и данной функции / (х, у) совпадает с V2/(x, у)? Указание: вам может помочь использование указанной операции к тестовой функции (х2 + у2)/4, лапласиан которой равен единице.
Покажите, что, если/(х, у) можно представить в виде произведения функций, зависящих от х и от у, то преобразование Фурье F (и, г) также можно представить в виде произведения двух функций, зависящих от и и от 1).
Покажите, что если / (х, у) 0 для произвольных х и у, то F(0, 0)^|F(u, г) | для любых и и v. Когда F (0, 0) = F (и, г)?
Обычно функция рассеяния точки сглаживающего оператора имеет максимум в начале координат (х, у) = (0, 0), всюду положительна и затухает при стремлении х и у к бесконечности. Ее удобно представлять в виде распределения массы. Не нарушая общности, будем считать, что центр масс такого распределения находится в начале координат. Нам необходимо оценить, насколько «разбросана» масса. Радиусом инерции
распределенной массы называется расстояние от ее центра масс до точки, в которую необходимо поместить такую же массу, чтобы ее момент инерции оказался таким же, как и у исходного распределения. (Момент инерции материальной точки равен произведению ее массы на квадрат расстояния до начала координат.)
Общая масса М распределения h(x, у) описывается формулой
М — J J h (х, у) dx dy,
— X - X
тогда как радиус инерции R — формулой
J f r2h(x, y)dxdy = R2 J J h(x, y)dxdy = MR2^
— X — ОС— X — cc
где г2 = x2 + у2.
1/(тгУ2) при г ^ V;1/(тгУ2) при г ^ V;М*, У) =L0М*, У) =L0при г > Ипри г > ИНайдите радиус инерции кругового участка
1/(тгУ2) при г ^ V;
1/(тгУ2) при г ^ V;
М*, У) =
L0
М*, У) =
L0
при г > И
при г > И
Найдите .радиус инерции функции Гаусса
Обратите внимание на то, что оба распределения а) и б) имеют «единичную массу>> и что переход к полярным координатам может упростить вычисление требуемых интегралов.
Покажите, что масса свертки двух гладких функций равна произведению масс этих функций. Покажите также, что при свертке двух гладких функций квадрат радиуса инерции становится равным сумме квадратов исходных радиусов, т. е. если / = д ® б, то R) = R2 + R^, где Rb Rg, Rh - радиусы инерции /, д и h соответственно.
Когда сглаживающая функция, обладающая круговой симметрией, много раз свертывается сама с собой, то она становится неотличимой от функции Гаусса. Допустим, что функция Ьу(х, у) свертывается сама с собой и раз. Каково значение параметра с аппроксимирующей ее функции Гаусса?
Докажите, что а * (б ® с) = (а * Ь) ® с, где * — корреляция, а ® — свертка.
Передаточная функция оптического телескопа имеет вид А ^и, г) = = Р (и, г) ® Р (и, г), где Р (и, v) — низкочастотный фильтр с круговой симметрией:
_ . ч fl при и2 + V2 со2; Р (и,<
(О при и2 + v2 > со2.
где со — некоторая величина, зависящая от длины волны света и размера оптических элементов, собирающих свет.
я) Найдите А (и, г). Указание: каково перекрытие двух дисков одинакового диаметра, когда их центры не совпадают?
Чему равна соответствующая функция рассеяния точки? Указание: какой операции в пространственной области соответствует умножение в частотной области?
Рассмотрим систему, которая размывает изображения в соответствии с импульсной переходной функцией Гаусса со стандартным отклонением с. Допустим, что энергетический спектр шума интенсивности N2 является плоским и, кроме того, энергетический спектр сигнала интенсивности S2 также является плоским, причем S2 > N2. (Шум накладывается на изображение после размывания.)
.Придумайте передаточную функцию оптимального фильтра для устранения эффектов размывания изображения.
Каков отклик системы на низкочастотный сигнал?
Какая частота усиливается больше всех?
Чему равен максимальный коэффициент усиления?
Непосредственное измерение функции рассеяния точки вызывает затруднения. Вместо этого обычно берут резкое изображение границы, разделяющей две области различной яркости. Таким способом мы получаем функцию рассеяния края.
Как по реакции системы е (х) на край с единичным перепадом яркости получить функцию рассеяния прямой Цх\ которая представляет собой отклик системы на линейный импульс?
Покажите, что / (х) связана с импульсной функцией К (г) формулой
XX/и = 2/и = 2h (г) dr.h (г) dr.
X
X
/и = 2
/и = 2
h (г) dr.
h (г) dr.
Эта формула определяет преобразование Абеля. В нашем случае 7(х) — преобразование Абеля функции К (г). Считайте, что импульсная функция обладает круговой симметрией.
Докажите, что преобразование Абеля удовлетворяет соотношениям
J I (х) dx = 2к f h (г) г dr и 7 (0) — 2 J h (г) dr.
-ос0О
Как бы вы восстановили функцию рассеяния точки по найденной функции рассеяния прямой? Покажите, что
где Г (х) — производная I (х) по х. Это — обратное преобразование Абеля. 6.10. Функция/(х, у) с круговой симметрией зависит только от радиуса г и не зависит от полярного угла 9, где г = ]/х2 + у1 и 6 = arctg (у/х). Докажите, что функция Гаусса — единственная функция с круговой симметрией, которую можно представить в виде произведения функций от х и от у, т. е. /(х, у) = д (х) h (у). Указание: сначала докажите, что функция / (х, у) обладает круговой симметрией тогда и только тогда, когда (1/х)д//дх = (1/у)д/Ду. После этого вам будет легко доказать, что существует некоторая константа с, такая, что dgidx — схд^ и dh/dy = = суЦу\
Обработка дискретных изображений
В предыдущей главе мы изучали линейные пространственно-инвариантные системы в непрерывной двумерной области. На практике мы имеем дело с изображениями, которые имеют ограниченные размеры и в то же время отсчитываются в дискретном наборе точек. Поэтому методы, разработанные до сих пор, необходимо приспособить, расширить и модифицировать так, чтобы их можно было применить и в такой области. Возникает также и несколько новых моментов, требующих аккуратного рассмотрения.
Теорема отсчетов говорит о том, при каких условиях по дискретному набору значений можно точно восстановить непрерывное изображение. Мы также узнаем, что происходит, когда условия ее применимости не выполняются. Все это имеет прямое отношение к разработке зрительных систем.
Методы, требующие перехода к частотной области, стали популярными частично благодаря алгоритмам быстрого вычисления дискретного преобразования Фурье. Однако нужно соблюдать осторожность, - поскольку эти методы предполагают наличие периодического сигнала. Мы обсудим, как можно удовлетворить этому требованию и к чему приводит его нарушение.
Ограничение размеров изображения
На практике изображения всегда имеют конечные размеры. Рассмотрим прямоугольное изображение шириной W и высотой Н. Теперь нет необходимости брать интегралы в преобразовании Фурье в бесконечных пределах:
Н/2 W/2
F(u^ = J J Ж y)e~i(ux + vy)dxdy.
— H/2—W/2
Любопытно, что для восстановления функции/(х, у) нам необязательно знать F (и, v) на всех частотах. Знание того, что / (х, у) = 0 при | х | > Wj! v и | у | > Н/2, представляет собой жесткое ограничение. Иными словами, функция, отличная от нуля только в ограниченной области плоскости ; изображения, содержит гораздо меньше информации, чем функция, не обладающая этим свойством. 'м
Чтобы в этом убедиться, представим, что плоскость экрана покрыта копиями заданного изображения. Иными словами, мы расширяем наше изображение до периодической в обоих направлениях функции
//(.X, у)//(.X, у)J^x - ZcVK У - 1ЩJ^x - ZcVK У - 1Щпри | х | ^ Wj2 и | у | ^ Н/2;при | х | > W/2 или | у | > Н,^при | х | ^ Wj2 и | у | ^ Н/2;при | х | > W/2 или | у | > Н,^
//(.X, у)
//(.X, у)
J^x - ZcVK У - 1Щ
J^x - ZcVK У - 1Щ
при | х | ^ Wj2 и | у | ^ Н/2;
при | х | > W/2 или | у | > Н,^
при | х | ^ Wj2 и | у | ^ Н/2;
при | х | > W/2 или | у | > Н,^
Здесь [х] — наибольшее целое число, не превосходящее х. Преобразование Фурье такого размноженного изображения имеет вид
F (и, г) = J J /(х, у) е"'(ux + ру) dx dy =
со ОС= Е Ек = — aj 1= — ос -ос ОС= I Есо ОС= Е Ек = — aj 1= — ос -ос ОС= I ЕН/2W/2
со ОС
= Е Ек = — aj 1= — ос -
ос ОС
= I Е
со ОС
= Е Ек = — aj 1= — ос -
ос ОС
= I Е
J J f^ y^e-^u^-kWHvtv-iH^dx
-Н/2 -W/2' . ■.1:/. V ^Ч .;-
iukWeidH р (и
С помощью подходящим образом подобранных множителеЙСХОД|1- мости в упр. 7.1 доказывается, что"
£ etkx — 2п £ 5 (х — 2тс/с).
к= — оск— — ос ■. кvу
Следовательно,,
F (и, t>) = 4л2 £ f 5(мЖ-2^)5(t,H-2n/)F(u, и) =¥
к = — эо 1= - OL
откуда мы видим, что F (и, v) равна нулю всюду, кроме дискретного набора частот (п, и) = [(2тс/И/) к, 12к(ЩГ\- Таким образом, чтобы найти /(х, у), нам достаточно знать F (и, г) в этих точках. Однако функция /(х, у) получается из/(х, у) простым отсечением участка, для которого | х | < W/2 и | у | < Н/2. Поэтому, чтобы восстановить /(х, у), нам достаточно знать лишь Fkl = F ^(2tc/W) к, (2п/Н) /] для всех к и I. Это — счетное множество чисел. , ,
Обратите внимание на то, что преобразование периодической функции оказывается дискретным. Обратное преобразование можно представить в виде ряда, поскольку
GOGO
F (и, v) е***^ dx dy =Fkl e”
k = — co 1= — go
Другой способ убедиться в этом — рассматривать функцию / (х, у) как функцию, получающуюся обрезанием некоторой функции } (х, у), для которой /(х, у) = /(х, у) внутри окна. Иными словами, /(х, у) = = / (х, y)w(x, у), где функция выделения окна w(x, у) определяется / следующим образом:
( 0 при | х | > W/2 или | у | > Н/2.
Преобразование Фурье/(х, у) — обычная свертка преобразования фурм / (х, у) с преобразованием Фурье w (х, у). Последнее имеет вид
sin(u^/2) sin(vH/2)
W н
uW/2 vH/2j
Таким образом, фурье-образ /(х, у) представляет собой сильно сглаженный фурье-образ / (х, у). Позже мы увидим, что подобную отфильт- ( рованную функцию можно полностью задать подходящим образом выбранными отсчетами. Значения функции в точках, отличных от точек отсчета, легко находятся путем интерполяции между отсчетами.
Пространственная дискретизация изображения
Если изображение дискретизовано, его яркость известна только в дискретном множестве точек. Можно считать, что изображение пред» ставляет собой дискретную решетку импульсов
00 со
/ (х, у) = wh У £ fH 8 (х — kw, у- lh), к = — ос 1= - со
где w и h — горизонтальный и вертикальный шаги решетки соответственно. Теперь преобразование Фурье принимает вид
ос ососос
F^u,v) = wh J JXЕ /к1^(х — kw, у — lh)e"tb,x + u)Mxdy —
— ос - ock=—ocZ= — ос
= wh f f J^g-Hukw + vlh^, ..
к = - co / = — x
Это — периодическая функция. По и период равен величине 2k/w, а по г — величине 2к/к. Таким образом, дискретная функция преобразуется в периодическую. Последнее означает, что мы можем отбросить ту часть F (и, г), для которой | и | > к/w или | г | > к/h. Для восстановления функции / (х, у) она нам не нужна.
Интересно найти обратное преобразование функции, которая в указанной области совпадает с F (и, г), а всюду вне ее равна нулю:
F (и, v) при | и | .0 при | и |F (и, v) при | и | .0 при | и |< к/w и | г | ^ к/К;< к/w и | г | ^ к/К;> к/w или | v | > к/К.> к/w или | v | > к/К.
F (и, v) при | и | .0 при | и |
F (и, v) при | и | .0 при | и |
< к/w и | г | ^ к/К;
< к/w и | г | ^ к/К;
> к/w или | v | > к/К.
> к/w или | v | > к/К.
Обратное преобразование имеет вид
л/w
F(u, ^e+^ux*^<lxdy.
— л/h— л/h- л/w- л/w
— л/h
— л/h
- л/w
- л/w
Эта функция определена для всех х и у, но особый для нас интерес представляют ее значения в точках решетки (х, у) = (kw, //1). Мы можем преобразовать ее к виду
л/h л/w со сол/h л/w со со- л/h — л/w к = — ос I = — ос- л/h — л/w к = — ос I = — осn/wn/wwh 4к2wh 4к2к = — ос I = — ос — п/h — л/wк = — ос I = — ос — п/h — л/wДу =Ду =
л/h л/w со со
л/h л/w со со
- л/h — л/w к = — ос I = — ос
- л/h — л/w к = — ос I = — ос
n/w
n/w
wh 4к2
wh 4к2
к = — ос I = — ос — п/h — л/w
к = — ос I = — ос — п/h — л/w
Ду =
Ду =
sin [ro(x/w — k)] k(x/w — k)sin [ro(x/w — k)] k(x/w — k)
sin [ro(x/w — k)] k(x/w — k)
sin [ro(x/w — k)] k(x/w — k)
sin [тс ^y/K — /)]7t(y//i - /)
При (x, y) = (kw, IK) получаем fkl. Между точками решетки/(x, у) интер-
полируется с помощью ядра преобразования, равного произведению двух членов вида sin (х)/х и sin (у)/у.
Иной подход состоит в рассмотрении функции, получаемой умно- , жением / (х, у) на пространственно-дискретизирующую функцию
ос, ОС
д (х, у) = wh ££ 5 (х — kw, у — /7т).
к = — ОС' 1= - X;У .И
Преобразование Фурье результата равно произведению 1/(4л?) на свертку фурье-образов/(х, у) с д^х, у). Последний равен/
4к2 Z Z Ми — 2кк/\с, v — 2к1/й\
, 1к = — х I— — ос
так что преобразование Фурье произведения / (х, у) на д (х, у) является дискретизованным фурье-образом F [и, v) функции /(х, у), а именно
Z Z F(2uk/w, 2к1(К)В^и — 2кк/^, и — 2к1/И\
k = — X; 1= — X
Теорема отсчетов
Из сказанного выше видно, что функция с ограниченным частотным спектром полностью определяется отсчетами в узлах регулярной решетки. Этот результат известен как теорема отсчетов. Если F (и, г) = 0 при | и | > к/w или | г | > к/h, /го /(х, у) можно восстановить по набору , значений / (tew, th), где к, / пробегают все целые числа. На самом деле мы даже располагаем явной интерполяционной формулой, не содержащей преобразования Фурье,
sin Е71 Ww - М] sin [л (y//l -/)]
w 1’1 _-■-■^ .л л^-о' •
‘к = - сс I = - сс-
v Этот результат имеет большое значение, поскольку он оправдывает пространственную дискретизацию изображения. В случае достаточно гладкой функции, точнее функции, частотный спектр которой ограничен, никакая информация при этом не теряется. Если встречаются лишь частоты, не превосходящие В, то интервал между отсчетами может достигать величины 5 = к/В. Другими словами, интервал между отсчетами должен быть меньше Х/2, где X — длина волны, соответствующая максимальной присутствующей в спектре частоте. Если 5 — интервал между отсчетами, то результат можно сформулировать в терминах ’j частоты Найквиста к/В. Чтобы верно восстановить сигнал по отсчетам, он должен содержать частоты, не превосходящие частоты Найквиста.
Из теоремы отсчетов становятся ясными те опасности, которые
подстерегают нас при применении обсуждаемого* метода к функциям, не удовлетворяющим указанному ограничению. Информация теряется, и исходную функцию восстановить нельзя. Конкретно происходит следующее: при дискретизации высокие частоты становятся неотличимыми от частот, лежащих в допустимом диапазоне. Это выглядит так, будто эти частоты «загоняются назад» под отметку В. Иначе это называется эффектом наложения, поскольку гармоника с частотой го > В порождает те же отсчеты, что и гармоника с частотой 2В — го.
Становятся также понятными преимущества дискретизации изоб
ражения с помощью датчиков, имеющих конечную площадь светочувствительной поверхности. Если чувствительный элемент обладает функцией отклика г(х, у), то еще до дискретизации изображение существенно размывается из-за свертки с г(х, у). Это эквивалентно умножению фурье-образов изображения и функции г(х, у). Эффект подобной сглаживающей операции будет состоять в подавлении высоких частот.
Например, предположим, что на прямоугольной решетке плотно упакованы прямоугольные датчики шириной w и высотой h, т. е.
: -, ч fl при | х | < w/2 и I у| ^ h/2;
У) = \
(О при | х | > w/2 или | у | > h/2.
Тогдаг
R (и, v) = whR (и, v) = whsin (i/w/2)uw/2sin (i/w/2)uw/2sin (r/i/2)v h/2sin (r/i/2)v h/2
R (и, v) = wh
R (и, v) = wh
sin (i/w/2)uw/2
sin (i/w/2)uw/2
sin (r/i/2)v h/2
sin (r/i/2)v h/2
Эта передаточная функция обращается в нуль при и = + (2k/w) и г = + (27t/h), что вдвое превосходит максимальную частоту, допустимую теоремой отсчетов. Хотя такой фильтр пропускает некоторые высокие частоты, он по крайней мере подавляет значительную их часть. Чтобы улучшить эффект, необходимо, чтобы соседние элементы перекрыва
лись, а чувствительность каждого элемента спадала по направлению к его краю. Другой способ достижения желаемого эффекта — включить в зрительную систему устройство, вызывающее размывание изображения, которое действовало бы как хороший низкочастотный фильтр. Тогда импульсная функция всей системы равна свертке импульсной функции оптического тракта с функцией отклика г (х, у) чувствительного элемента.
В идеальном случае расстояние между элементами должно согласовываться с разрешающей способностью оптического тракта. Если элементы расположить слишком далеко друг от друга, то условия теоремы отсчетов окажутся нарушенными. В то же время слишком плотная упаковка весьма дорога, поскольку лишние элементы не собирают никакой новой информации. Как оказалось, в зрительной системе человека сочетание между разрешающей способностью и шагом упаковки рецепторов подобрано весьма разумно — по крайней мере при средней величине раскрытия зрачка.
Конечно, после дискретизации фильтрация уже ни к чему хорошему
не приведет, поскольку ущерб уже причинен. Можно, конечно, подавить высокие частоты, лежащие в определенном диапазоне, однако значительная их часть в результате дискретизации уже оказалась смещенной в нижний диапазон частот. Восстановить потерянное невозможно.
[/"(^ »12^^ =^2“[/"(^ »12^^ =^2“Функции с ограниченным спектром являются «гладкими», поскольку их производные высокого порядка ограничены по амплитуде. Например, преобразованием Фурье функции /"(х, у) = б2 Лех1 + ЛЛ^1 является функция F" ^и, г) = — (и2 + г2) F(u, и). Поэтому если F ^и, г) = О при | и | > В или | и | > В, то | F" (м, г) | < IB11 F (п, г) |. Энергия сигналов / (х, у) и /" (х, у) дается формулами
[/"(^ »12^^ =^2“
[/"(^ »12^^ =^2“
| F" (и, и) |2 du dv.
Поэтому Р" ^ 2В4Р. Это накладывает ограничение на скорость изменения функции /(х, у).
До сих пор мы предполагали, что отсчеты на изображении берутся в точках, находящихся в узлах прямоугольной решетки. Оказывается, другие схемы расположения отсчетов обладают определенными преимуществами. Например, мы можем использовать шестиугольные элементы изображения, лежащие на треугольной решетке. Если спектр изображения ограничен условием р < В, то при таком разбиении потребуется меньшее число отсчетов. Указанный срез по частоте, обладающий круговой симметрией, выглядит здесь более естественным, чем срез в виде прямоугольника, хорошо согласующийся с прямоугольным способом разбиения. Разница между двумя разбиениями возникает из-за различия между участками частотной области, которые можно восстановить без искажения. Для квадратного разбиения этот участок имеет форму квадрата. Чтобы в квадрат можно было вписать круг радиусом р < R, его стороны должны иметь длину 2р. В случае гексагонального разбиения указанный участок имеет форму шестиугольника. Чтобы подобный же круг можно было вписать в шестиугольник, достаточно, чтобы размер максимального поперечного сечения был равен 4/]/Зр.
Дискретное преобразование Фурье
ПреоЬразование Фурье дискретного изображения является периодическим. Если это изображение рассматривать как часть продолженного до бесконечности периодического изображения, то его преобразование
М - 1 N - 17 кт_ ЬАFmn = I Е ТА 711V М + n),.к-0 1-0М - 1 N - 17 кт_ ЬАFmn = I Е ТА 711V М + n),.к-0 1-0к-О 1=0к-О 1=0Фурье оказывается также дискретным. Таким образом, как изображение, так и его фурье-образ периодичны и дискретны. Оба полностью определяются конечным набором значений. Если изображение задается значениями fkl функции /(х, у) в точках (kw, Пт), к = = 0, l,...,Af—1, /—0, 1,..., А—1, то прямое преобразование Фурье можно записать в виде.
М - 1 N - 17 кт_ ЬА
Fmn = I Е ТА 711V М + n),.
к-0 1-0
М - 1 N - 17 кт_ ЬА
Fmn = I Е ТА 711V М + n),.
к-0 1-0
к-О 1=0
к-О 1=0
а обратное — в виде
Здесь мы снова имеем почти симметричные определения прямого и обратного преобразований. По поводу существования преобразований никаких вопросов не возникает, поскольку они представляют собой конечные суммы конечных величин.
Заметьте, что рассматриваемое преобразование относится к изображению, которое периодично в двух направлениях. При несовпадении значений яркости на левом и правом краях изображения функция яркости в месте стыка соседних экземпляров изображения будет иметь разрыв. Даже если само изображение очень гладкое, подобный разрыв приведет к появлению в фурье-образе некоторых высокочастотных составляющих. Существует несколько путей борьбы с этим нежелательным явлением. Один из них состоит в зеркальном переворачивании копий изображения относительно боковых сторон перед их подстыковкой слева и справа. Аналогичную процедуру можно применить к верхней и нижней границам перед размножением изображения вверх и вниз. В окончательном периодическом в обоих направлениях изображении функция яркости непрерывна, однако ее нечетные производные на линиях стыковки все-таки имеют разрывы. Ложные спектральные компоненты все же появятся, однако они оказываются по крайней мере меньше тех, которые вызываются разрывами в самой функции яркости.
Результирующая функция является периодической, хотя ее период в два раза больше первоначального, когда мы просто дублировали изображение, не переворачивая его. В то же время она четна как по х, так и по у, ввиду чего в преобразовании могут появиться только косинусные компоненты. Полученное таким образом дискретное преобразование, называемое косинусным преобразованием, изучается ниже, в упр. 7.6.
Иной способ уменьшения эффектов, связанных с возможными разрывами на границах изображения, заключается в его модуляции путем умножения на функцию, обращающуюся в нуль на границе. При
этом соседние экземпляры изображения окажутся автоматически согласованными. Сама модулирующая функция должна быть настолько гладкой, чтобы не вносить искажения в результат. Такую функцию часто называют функцией выделения окна, поскольку она как бы даст нам возможность взглянуть на потенциально неограниченное изображение сквозь окно с изменяемой степенью прозрачности.
Пример простой функции выделения окна:
Ранее мы убедились в том, что как свертке в пространственной области отвечает умножение в частотной области, так умножению в пространственной области отвечает свертка в частотной области. Следовательно, преобразование Фурье промодулированного изображения равно умноженной на 4л2 свертке фурье-образа исходного изображения с фурье- образом функции выделения окна. Тем самым фурье-образ исходного изображения несколько смазывается в результате применения операции выделения окна. Для приведенной выше функции выделения окна преобразование Фурье имеет вид
Каждое значение фурье-образа представляет собой взвешенную сумму соседних значений, находящихся в рамке размера 3x3. Вес центральной ячейки составляет 1/4, четырех ячеек, примыкающих по сторонам,— 1/8, а четырех угловых ячеек — 1/16. Такую схему свертки можно представить следующей маской:
Маской называется набор используемых для вычисления свертки весовых коэффициентов, расположенных таким образом, чтобы отражать пространственные отношения между элементами, к которым они применяются.
Одна из причин того внимания, которое мы уделяем дискретному преобразованию Фурье, вызвана тем, что известен эффективный алгоритм его реализации. Прямой алгоритм, при котором каждое значение Ki вычисляется отдельно, требует MN умножений для нахождения каждого из MN результатов, так что всего необходимо M2N2 умножений.
Быстрое преобразование Фурье (БПФ) требует для вычисления всех значений всего лишь 4MNlog2MN умножений за счет более эффективного использования промежуточных результатов. Поэтому оказывается целесообразным вычислять свертку путем выполнения преобразования Фурье, умножения и обратного преобразования. Несмотря на это, многие современные аппаратные решения в параллельных устройствах направлены на поддержку прямых методов вычисления свертки.
Теперь обратимся к шуму на изображениях. Дискретное преобразование Фурье изображения, которое является обычным шумом, будет, конечно, зависеть от конкретных значений яркости каждого элемента изображения (пиксела). Можно ли о нем сказать нечто более общее? Нас интересуют возможные значения каждого преобразованного числа. Имеем
М - I N - I / кт ln\ _ :
к-о /=0
Здесь каждое из fkl — случайная величина, независимая от остальных. Допустим, что fkl могут принимать комплексные значения. Тогда
/ кт In \
также случайная величина, имеющая случайную фазу, если фаза fkl случайна. Поэтому каждое значение Fmn получается суммированием MN независимых случайных величин.
Теперь, если еще предположить, что /к! распределены нормально с нулевым средним и стандартным отклонением о, то Fmns как нетрудно заключить, также имеют среднее значение, равное нулю. Стандартное отклонение будет равно VMN су, поскольку стандартное отклонение суммы MN величин в yMN раз превышает стандартное отклонение каждой отдельной величины. Далее можно показать, что результирующие величины независимы. Следовательно, преобразование обладает свойствами, которые идентичны свойствам исходного изображения (с точностью до скалярного множителя), а именно: преобразование — это совокупность независимых случайных величин с нулевым средним и стандартным отклонением ф^М/Усу.
Круговая свертка
Интерес к дискретному преобразованию Фурье во многом объясняется тем, что свертку можно вычислить путем перемножения фурье- образов. Однако необходимо отдавать себе отчет о проблемах, возникающих на краях окна и на границах области определения фильтрующей функции. В обоих случаях предполагается периодическое про-
должение. Из-за этого результат на левом краю изображения будет некоторым образом зависеть от того, что происходит на его правом краю.
Это может иметь нежелательные последствия. Выход заключается в том, чтобы расширить изображение полосой, состоящей из нулей. Ширина полосы должна быть такой же, как и ширина носителя фильтра, , т. е. области, внутри которой импульсная функция фильтра отлична от нуля. Носитель многих фильтров не является ограниченным, и их приходится искусственно обрезать. Это делается с помощью функции Гаусса, одной из часто нами упоминавшихся.
Добавление полосы, нулей имеет свои недостатки, поскольку оно окажет влияние на конечный результат вблизи границы. В этом нет ничего удивительного, если попробовать представить себе заданное изображение как часть неизвестного, более широкого изображения. Нам придется предугадывать, каким образом его нужно расширить. Часть изображения, которая при этом затрагивается, представляет собой граничную полосу шириной, равной носителю фильтра. Заслуживающей доверия оказывается только область, окруженная этой полосой. Если именно она и используется, то, конечно, добавление полосы нулей к внешней части исходного изображения ничего не меняет.
Таким образом, мы рассмотрели, как зрительные системы можно охарактеризовать функцией рассеяния точки или передаточной функцией. Искажения подобных систем можно оценить с помощью анализа итоговой функции рассеяния точки. Теорема отсчетов позволяет нам разумно подбирать чувствительные элементы, соответствующие конкретным системам формирования изображения. Методы оптимальной фильтрации дают возможность разработать системы для выделения интересующих нас сигналов при наличии шума. Методы, основанные на операции свертки, окажутся также полезными при выделении краев на изображениях.
Некоторые полезные правила
Некоторые из полученных нами результатов можно свести в небольшую таблицу:
Пространственная область
Частотная область
Периодическая Симметричная Сумма двух функций Свертка двух функций Регулярная сетка отсчетов
Дискретная
Действительная
Сумма двух фурье-образов!
Произведение двух фурье-образов Периодические копии фурье-обра- за
Таблица справедлива в обоих направлениях. Например, преобразование Фурье периодической функции дискретно, а функция, фурье-образ которой дискретен, периодична. Более того, столбцы можно поменять местами, т. е., в частности, фурье-образ дискретной функции - периодическая функция, а функция с периодическим образом дискретна. Имеется и много других подобных полезных соотношений.
Если мы уменьшаем масштаб в одной области, то во столько же раз увеличиваем его в другой, так что произведение соответствующих единиц измерения остается неизменным. Например, произведение ширины гауссова распределения в пространственной области на ширину его преобразования Фурье в частотной области естьj
величина постоянная.!
Функция имеет конечный носитель, если она отлична от нуля в огра-j
ниченной области. Доказано, что носитель преобразования Фурьеi
функции с конечным носителем не может быть конечным.
Комментарии к литературе
Значительная часть основных источников информации по обработке изображений была указана в конце предыдущей главы. Хэмминг первым предложил методы быстрого вычисления преобразования Фурье в работе [53]. Однако так случилось, что его метод остался неза-■
меченным и был открыт заново гораздо позднее, о чем он коротко упоминает в другой своей книге [54]. Он рассматривал сравнительно короткие векторы, поскольку интересовался расчетами, которые можно произвести вручную. Как обобщить его методику на векторы произвольной длины, другим могло показаться неясным. В работе [10] дан обзор всего, что известно о быстрых алгоритмах выполнения дискретного преобразования Фурье и связанных с этим вопросов.
В теореме отсчетов формулируются условия, при которых набор дискретных отсчетов содержит достаточно информации для полногоj
восстановления непрерывного изображения. В работе [342] показы- вается преимущество гексагональных разбиений плоскости изображения!
для представления двумерных сигналов. Задача восстановления непре-j
рывного изображения требует привлечения методов интерполяции иj
свертки. Дискретное изображение можно представить более подробноI
или, наоборот, сократить путем взятия отсчетов яркости по интерполи-।
рованной версии исходного изображения. Один из подходов к этому приведен в работе [263], в работе [119] рассматривается дискрет-!
ное косинусное преобразование, а в работе [172] — способы его;
быстрого вычисления.
Одной из главных областей приложения результатов теории обработки изображений являлось восстановление изображений. Это направление до сих пор остается актуальным, как можно видеть из недавно опубликованной статьи [390].~
Упражнения
Покажите, что
f Г^=2л £ 5(х —2як). к = - сск - - ос
Указание: для вычисления этой суммы подходящим множителем сходимости служит функция Гаусса.
Дискретная двумерная система характеризуется функцией рассеяния точки {/|у}. Выход {ду} вычисляется по входу {/у} согласно правилу
Т ~ Z S fi-k,j-lhk,l-
к=-х 1=-оо
Вычислите передаточную функцию. Является ли передаточная функция дискретной? Является ли она периодической?
Как и в предыдущем упражнении, дискретная двумерная система выполняет свертку. Допустим теперь, что вход {^} — это просто шум, т. е. что каждая из /у представляет собой независимую случайную величину с нулевым средним и дисперсией о2.
Чему равно среднее и стандартное отклонение выхода gV?
Найдите функцию рассеяния точки, удовлетворяющую условию
к = - ОС I = - СО
которая минимизирует шум на выходе. Указание: для учета ограничения вам, быть может, придется использовать множитель Лагранжа (см. приложение).
Найдите функцию рассеяния точки, удовлетворяющую условию
£ I (/c2 + /2)/iw = l, '5'
к = -ос 1= -оо-v’‘ . *'
которая минимизирует шум на выходе. Предупреждение: эта часть задачи значительно сложнее остальных.
Рассмотрим дискретную аппроксимацию лапласиана, определяемую сверткой со следующей маской весов:
v£h^бе2
if - - Л:;, .-Л.
1
4
1
4
-20
4
1
4
1
где £ — шаг между элементами изображения. Представьте эту вычислительную схему в виде суммы девяти импульсных функций. Найдите преобразование Фурье и убедитесь в том, что вблизи начала координат при в -> 0 фурье-образ стремится к — (к2 + г2).
Рассмотрим дискретную аппроксимацию лапласиана, о которой шла речь в предыдущем упражнении. Применим приведенную там схему свертки к ряду Тейлора функции яркости, взятому вокруг центральной точки. Покажите, что результат не зависит от постоянного и линейного членов ряда. Покажите, что вычисления приводят к интуитивно очевидной комбинации членов второго порядка. Найдите также члены наименьшего порядка, определяющие погрешность.
Допустим, что изображение /(х, у) занимает область 0 ^ х ^ W, О ^ у ^ Н. Чтобы избежать разрывов на границах, расширим его с помощью зеркального отражения. ^Например, при И^ х < 2И7"(х, у) = = /(2И/ — х, у), а при Н < у < 2Н/(х, у) = /(х, 2Н — у).
Покажите, что в направлении оси х расширенное изображение . имеет период 2W, а в направлении оси у — период 2Н. Покажите также, что расширенное изображение является четной функцией как по х, так и по у.
Покажите, что его можно представить в виде косинусного ряда х \ / у \
Сы cos I — кк \ cos I
к=0 1 = 0 - -‘
Докажите, что при i + 0 и j ^ 0 коэффициенты ряда находятся
+ h +wо 0+ h +wо 0по формуле
+ h +w
о 0
+ h +w
о 0
„/ х . \ V . \ , ,
СцСцf(x, у) cost — m cos I — kj ]dxdy.
Сц
Сц
Напишите соответствующие выражения для случаев, когда i = 0 или j = 0.
Как можно модифицировать описанный выше метод для работы с изображением, расположенным в области — W/2 ^ х ^ W(2, -Н/2^у <Н/2?
Существует ли такой способ копирования шестиугольной области, который гарантировал бы сохранение непрерывности функции яркости вдоль границ изображения?
Докажите, что по крайней мере формально операция, обратная свертке с функцией Гаусса
12ка212ка2
1
2ка2
1
2ка2
записывается в виде
Указание: разложите е2"" в ряд Тейлора.
Предположим, что первые я из написанных выше членов должны быть использованы для частичной компенсации размывания, возникающего при свертке с функцией Гаусса. Пусть /(х, у) — размытое, а д (х, у) — частично исправленное изображения. Покажите, что д (х, у) можно определить согласно следующей итеративной схеме:
g°=/,gk+1 Lп — к у 1 у
Сглаживание изображения можно осуществить с помощью простого усредняющего фильтра размером 2x2. Его функцию рассеяния точки можно записать в виде
/, _ J V4 ПРИ 1 = 0, 1, j = 0, 1;
I 0 в других случаях.
Рассмотрим функцию'
/ф = J1ПРИ 1 = ~ °, 7 = ~ 1, 0;
(even (| i + 1/21 - 1/2) even ([/ + 1/21 - 1/2) в других случаях,
где
, ,( +1, если z четно;
even (z) = <
I — 1, если z нечетно.
Докажите, что свертка с функцией h'tj представляет собой операцию, обратную свертке с /iy. [Заметьте, что h-, представляет собой попеременное (как на шахматной доске) чередование +1 и — 1, за исключением областей, примыкающих к осям координат.]
Рассмотрите трудности, с которыми бы мы столкнулись при попытке практического применения этого результата. Предложите подходящую функцию выделения окна, которая позволила бы для больших ; и j ослабить действие обратной свертки. Как свертка отфильтрованного изображения с произведением этой функции выделения окна на фильтр Ну отличалась бы от свертки с «точной» обратной функцией? 7.9. Здесь мы установим полезное соответствие между степенными рядами и дискретными функциями рассеяния точки. Мы также укажем способ аппроксимации непрерывного гауссова фильтра дискретным фильтром. Рассмотрим два полинома: /(х) и д (х).
Найдите, как множество коэффициентов произведения /(х) у (х) можно получить с помощью дискретной свертки коэффициентов каждого из полиномов /(х) и д(х). Обобщите ваш метод на случай членов с отрицательными степенями х.
Этот результат можно обобщить и на двумерный случай, а именно: коэффициенты степенного ряда/(х, у) д (х, у) можно получить путем двумерной дискретной свертки коэффициентов рядов /(х, у) и д (х, у). Ассоциативность и коммутативность умножения рядов, очевидно, вытекают из соответствующих свойств дискретной свертки. Теперь рассмотрим конкретный пример.
Определите, каким образом свертку с фильтром, заданным маской весов
-1 | 2 | 1 |/
121
можно получить повторным применением свертки с фильтром, заданным такой маской:
1
1
1
1
Какова будет маска получающейся схемы, если использовать свертку с данной маской размера 2x2 более одного раза?
Покажите, что передаточную функцию фильтра, выполняющего дискретную свертку, можно получить заменой в соответствующем степенном ряде х на e'luw и у на e-wh, где w и /1 — горизонтальный и вертикальный шаги растра соответственно.
Каково преобразование Фурье фильтра, выполняющего свертку и отвечающего полиному 1 + х + у + ху?
Особый интерес представляет полином, получающийся при раскрытии выражения
(1 + х)п = _ + I х + _ х2 ++. х"х",
\0/ \1/\2/\п — 1/ ун/
где биномиальные коэффициенты имеют вид
/п\ п!
угу(м — к)! г'■;
Допустим, что мы п раз производим свертку фильтра из задачи г) с самим собой, чтобы в результате получить двумерное
биномиальное распределение с общим членом вида ^к^^У^^ ПРИ 0 < х ^ и, 0 < у ^ п. Покажите, что величина модуля передаточной функции равна
4" cos" ( ' uw | cos" ( 4vh |.
\2 / \2 /
Каким образом можно избавиться от множителя 4”? Как сделать так, чтобы передаточная функция была действительной по крайней мере для нечетных п?
Биномиальное распределение порядка п аппроксимирует функцию Гаусса со средним (и — 1)/2 и дисперсией 2”-1. Величина амплитуды этой функции порядка 2"-1. Передаточная функция также аппроксимирует функцию Гаусса. Найдите амплитуду, среднее и дисперсию функции Гаусса, которая аппроксимируется функцией
4" cos" ( 4- uw) cos" 11 vh |.
\2 / V /
Указание: найдите несколько первых членов разложения сравниваемых функций и сопоставьте их коэффициенты.
Приведенный выше анализ применим в том случае, когда нам нужно аппроксимировать функцию Гаусса конечным дискретным фильтром. Такой подход предпочтительнее, чем просто отсечение непрерывной функции Гаусса после того, как она станет достаточно «малой». Последнее из-за наличия среза приводит к возникновению высокочастотных компонент.
Допустим, что кроме отсчетов самой функции яркости берутся также отсчеты ее первых частных производных. Покажите, что в случае изображения с ограниченным спектром здесь для полного восстановления информации понадобится меньшее число отсчетов, чем при измерении только одной яркости. Приведите способ восстановления информации по таким отсчетам. Предупреждение: это непростая задача.
Как бы вы стали интерполировать функцию с ограниченным спектром по ее отсчетам на гексагональной решетке? Чему равно обратное преобразование Фурье функции, которая равна единице внутри шестиугольного участка частотной области и нулю во всех остальных точках?
8. Края и их обнаружение
В этой главе мы рассматриваем задачу выделения и локализации краев (границ). Края — это такие кривые на изображении, вдоль которых происходит резкое изменение яркости или ее производных по пространственным переменным. Нас более всего интересуют такие изменения яркости, которые отражают важные особенности изображаемой поверхности. К ним относятся места, где ориентация поверхности меняется скачкообразно, либо один объект загораживает другой, либо ложится граница отброшенной тени, либо отсутствует непрерывность в отражательных свойствах поверхности. В любом случае мы надеемся локализовать места разрывов яркости или ее производных, чтобы узнать нечто о вызвавших их свойствах изображенного объекта. В этой главе рассматривается применение дифференциальных операторов для выделения тех особенностей изображения, которые помогают локализовать участки, где можно обнаружить фрагмент края. Сначала рассматривается случай непрерывного изображения, а затем результаты применяются к дискретному случаю.
Вполне естественно, что зашумленность измерений яркости ограничивает нашу возможность выделить информацию о краях. Мы обнаруживаем противоречие между чувствительностью и точностью и приходим к выводу, что короткие края должны обладать большей контрастностью, чем длинные, чтобы их можно было распознать. Выделение краев можно рассматривать как дополнение к сегментации изображения, поскольку края можно использовать для разбиения изображений на области, соответствующие различным поверхностям.
Края на изображениях
Интуитивно краем обычно является граница между двумя областями, каждая из которых имеет приблизительно равномерную яркость. Часто края на изображениях возникают как результат наличия силуэтных линий объектов. В этом случае две упомянутые области являются изображениями двух разных поверхностей. Края также возникают из-за отсутствия непрерывности в ориентации поверхности и разрывов в ее отражательных свойствах. Если мы возьмем сечение функции яркости вдоль прямой, расположенной под прямым углом
к краю, то, как правило, обнаружим скачок в ее значениях. На практике перепад не будет резким ввиду размывания и ограничений, вносимых зрительным устройством. Кроме того, иногда яркостные перепады вдоль краев лучше моделируются в виде скачков в первых производных яркости, нежели в самой яркости.
Ниже мы воспользуемся простой моделью для получения некоторого представления об операторах, которые могли бы усилить (обострить) края на изображении, увеличивая перепады яркости в их окрестности. Изображения с обостренными краями необходимо подвергнуть дальнейшей обработке для выделения линий и кривых. До сих пор наибольшие усилия концентрировались именно на задаче обострения краев и меньше — на обнаружении и локализации их фрагментов, однако недавно положение дел изменилось. Меньше всего внимания уделялось работе над объединением фрагментов краев в более крупные единицы, т. е. в линии и кривые на изображении.
Дифференциальные операторы
Простейшей моделью края на изображении является прямая, разделяющая две контрастные области (рис. 8.1). Нам понадобится единичная ступенчатая функция и (z), определяемая в виде
•Г1 при z> 0; .
’‘и (z) = \ 1/2 при z = 0;'
.I 0 при z < 0,
имея в виду, что дна является интегралом от одномерного единичного импульса:
и (z) = | 5 (f) dt.'
Предположим, что край располагается вдоль прямой х sin 9 — у cos 9 + + р = 9. Тогда яркость изображения можно записать в виде
Рис. 8.1. Идеальный край в виде прямой, ной яркости.Рис. 8.1. Идеальный край в виде прямой, ной яркости.разделяющей две "области постОЩчразделяющей две "области постОЩч
Рис. 8.1. Идеальный край в виде прямой, ной яркости.
Рис. 8.1. Идеальный край в виде прямой, ной яркости.
разделяющей две "области постОЩч
разделяющей две "области постОЩч
£(х, у) = В, + (В2 — Bj)u(xsin9 — у cos 9 + р).
Частные производные описываются уравнениями
SE'
_- = + sin 9 (В2- В,)5 (х sin 9— уcos 9 + р),:
5Е
= — cos9(B2 — B1)5(xsin9 — у cos 9 + р).
Эти дифференциальные операторы являются направленными, поскольку результат их действия зависит от ориентации края. Вектор (дЕ/дх, дЕ/ёу} называется градиентом яркости. Градиент яркости представляет собой вектор, не зависящий от выбора системы координат, в том смысле, что он сохраняет свою величину и ориентацию по отношению к лежащему в основе образу, когда этот образ поворачивается или сдвигается.
Рассмотрим теперь квадрат градиента
(б£/6х)2 + (й£/5у)2 = [(В2 — В,) 5 (х sin 9 — у cos 9 + р)]2.
Этот оператор, не являясь линейным, обладает круговой симметрией и действует на края одинаково при любом их угловом расположении.
Производная единичного импульса называется единичным дуплетом и обозначается 6'. Используя это обозначение, получаем
52£
—sin2 9 (В2 - BJ 5'(х sin 9 - у cos9 + р),
52£.
-—-—= — sin 9 cos 9 (В2 — ВЛ 5' (х sin 9 — у cos 9 + р), ёх оу ■
ё2Е
,2= cos2 9 (В2 — BJ 8'(х sin 9— у cos 9 + р)...j
Лапласиан изображения £(х, у).
82Е ё2Е' - г ' =':
—-2- + -—у- = (В2 - В^ 5' (х sin 9 - у cos 9 + р) ёх су-
является величиной, которая также обладает круговой симметрией. Наконец, квадратичная вариация......
/ ё2Е У/ ё2Е V ё2Е \ р2Е\2 _47
\8х2/\ ёх ёу у \ ёу ёх / \ ёу2 J
= [(В2 — Bj) 5' (х sin 9 — у cos 9 + р)]2
так же, как это и можно было ожидать, обладает круговой сим-
метрией. В случае нашей идеализированной модели края квадратичная вариация оказывается равной квадрату лапласиана. Обратите внимание, что среди трех рассмотренных операторов только лапласиан имеет тот же знак, что и перепад яркости при переходе через край. Это позволяет по изображению с обостренными краями определить, которая из разделяемых краем сторон более ярка. Таким образом, лапласиан — это единственный из трех операторов, по которому вообще возможно восстановление исходного изображения по изображению с обостренными краями. Кроме того, лишь он один из трех является линейным.
Дискретные аппроксимации
Рассмотрим группу элементов изображения размером 2x2:
Ег,3-Н
Дг + 1 j + 1
Ei^j
Д+1 д'
Производные в центральной точке этой группы можно оценить следующим образом:
2^[№+i. j+i “ ^i. j+i) + (Д+i, j ~ Д.ДЬ
л г 1
2Г^' + 1’-,+ 1 ~ Д+rj) + (Д.Н1 ~ Д.,)]’
где в — расстояние между центрами соседних элементов. Каждая оценка представляет собой среднее двух конечно-разностных приближений.
Конечно-разностная аппроксимация производной всегда относится к определенной точке. Так, обычная конечно-разностная формула дает оценку, которая является несмещенной по отношению к точке, расположенной посередине между точками отсчета оцениваемой функции. Формулы, приведенные выше для оценки частных производных, выбраны именно такими потому, что они не смещены относительно одной и той же точки, а именно относительно общей угловой вершины в центре четырех рассматриваемых элементов изображения (пикселов). Теперь квадрат градиента можно аппроксимировать следующим образом:
{ дЕ\2 / дЕ\2 1
;\ Т^Г ) + "Л? ~+1 ~+ (Д. J+1 ~ Д+1 j)2] ’
Если выполнить эти простые вычисления для всего изображения, то мы получим большие значения в тех местах, где яркость изменяется быстро. В областях постоянной яркости выход равен нулю. (Если присутствует шум, то выход отличен от нуля, но достаточно мал.) Результаты такой обработки можно занести в новый массив изображения, в котором края уже будут значительно усилены.
По квадрату градиента ничего нельзя сказать о направлении края. Эта информация содержится в самом градиенте, который указывает на направление наиболее быстрого увеличения яркости. Край ортогонален градиенту, поскольку f cF FF\T
= (sin 9, - cos9)7(62 - BJSfxsinO - у cos 9 + p),
\ ox J
откуда следует, что дЕ/дх пропорциональна функции sin 9, а дЕ/ду — функции —cos 9. Градиент будет указывать на направление, ортогональное линии края, даже в том случае, если перепад яркости при переходе через край окажется достаточно плавным, например, благодаря размыванию. Естественно, дискретная аппроксимация градиента может давать не столь уж аккуратные оценки направления линии края, поскольку те элементы изображения, через которые проходит край,
Для оценки величины лапласиана в центральном пикселе используем
следующие аппроксимации:
^^2 ~ £2^^j + Ei+i-j),
^^(^1-2£,7 + £^+1),
поэтому Т '
С2Едх2С2Едх2з2е£у2з2е£у2
С2Е
дх2
С2Е
дх2
з2е
£у2
з2е
£у2
Здесь значение в центральном пикселе вычитается из среднего арифметического его соседей. Ясно, что в областях постоянной яркости результат равен нулю. Это верно даже для тех участков, где яркость изменяется линейно.
Подобные дискретные аппроксимации дифференциальных операторов используются при решении дифференциальных уравнений в частных производных, конечно-разностными методами. Вспомните сказанное ранее о вычислительных трафаретах (масках). Коэффициент, на который умножается значение, называется весом. Набор весов, расположение которых указывает на тс элементы изображения, к которым они применяются, называется маской или вычислительным трафаретом. В нашем случае маска имеет вид
где член слева представляет собой множитель, относящийся ко всем весам. Вспомните, что применение лапласиана эквивалентно свертке с обобщенной функцией, определенной последовательностью функций, имеющих впадину в центре, окруженную кольцеобразным (положительным) возвышением. Приведенная выше дискретная аппроксимация должна была напомнить вам о функциях этой последовательности.
На квадратной решетке трудно найти маску, которая аппроксимирует лапласиан и является симметричной. Ранее, когда мы пытались подыскать подходящее определение связности для бинарных изображений, нам пришлось принять решение о том, какие соседи заданного пиксела считаются связанными с ним. Здесь мы снова сталкиваемся
с вопросом, надо ли включать только элементы, примыкающие по сторонам, или угловые элементы. На гексагональной решетке подобная проблема нс возникает, причем все шесть соседей входят с одинаковыми весами (рис. 8.2).
Один из возможных путей дальнейшего продвижения состоит в рассмотрении системы координат, повернутой на угол 45° относительно системы координат ху. Если мы обозначим оси новой системы через х' и у', то сможем использовать аппроксимацию
02Е8 (х')202Е8 (х')2в2еа (у')2в2еа (у')2^(£i+1.j+1 -2Е^ + Е,^(£i+1.j+1 -2Е^ + Е,, j-1)., j-1).(^i-l.j+l2Е[ j + Ei+ ! j_ J ,(^i-l.j+l2Е[ j + Ei+ ! j_ J ,> V> V
02Е
8 (х')2
02Е
8 (х')2
в2еа (у')2
в2еа (у')2
^(£i+1.j+1 -2Е^ + Е,
^(£i+1.j+1 -2Е^ + Е,
, j-1).
, j-1).
(^i-l.j+l2Е[ j + Ei+ ! j_ J ,
(^i-l.j+l2Е[ j + Ei+ ! j_ J ,
> V
> V
Рис. 8.2. На гексагональной решетке отличная аппроксимация оператора Лапласа получается вычитанием значения в центральной ячейке из среднего арифметического значений в окружающих ее шести ячейках. Результат умножается на константу, зависящую от шага решетки £.
поэтому
Соответствующая маска имеет вид
Ясно, что линейные комбинации двух приведенных выше масок также дают оценки членов, составляющих лапласиан. Популярная комбинация, которая, как мы покажем в упр. 8.8, дает особенно точную оценку лапласиана, принимает форму
Она получается сложением первой из приведенных ранее масок, взятой с коэффициентом 2/3, со второй маской, взятой с коэффициентом 1/3. В упражнении мы покажем, что этот оператор можно записать в виде V2 + (е2/12) V2 (V2) + е, где V2 — лапласиан, а е содержит производные
шестого и более высоких порядков, умноженные на £4 и более высокие степени е. Наконец, чтобы получить дискретную аппроксимацию квадратичной вариации, нам нужна смешанная производная д2Е/дх^у. Ниже приводится подходящая для ее вычисления маска:
- 1
4б2
-1
Теперь должно быть ясно, как вычислить квадратичную вариацию
&4. Локальные операторы и шум
На практике введенные выше локальные операторы непосредственно не применяются в основном из-за того, что на результат их действия серьезно влияет зашумленность изображения. Шум, будучи независимым в различных элементах изображения, имеет плоский спектр. Как мы убедились при обсуждении вопросов обработки изображений, простые дифференциальные операторы значительно усиливают его высокочастотные компоненты. Края с низким контрастом просто теряются в таком шуме.
Я'= -р2Я'= -р21 + ^nnl^bb1 + ^nnl^bbМы можем использовать методы оптимальной фильтрации, изученные в гл. 6. Из сказанного там следует, что оптимальный фильтр для получения лапласиана изображения, например, может иметь следующий вид:
Я'= -р2
Я'= -р2
1 + ^nnl^bb
1 + ^nnl^bb
Чтобы оценить энергетический спектр Фьь, необходимо сделать некоторые предположения. Если изображение имеет плоский энергетический спектр, то что-либо сделать довольно трудно. Однако как указывалось в гл. 6, изображения, как правило, имеют спектр, который резко падает с увеличением частоты. Так, фурье-образ единичной ступенчатой функции, представленной на изображении, убывает пропорционально обратному значению частоты. Можно ожидать, что изображения, на которых области равномерной яркости разделены резкими краями, обладают аналогичными свойствами.
Допустим, что Фьь = S2/p2, а Фпп = N2. Тогда Н' = - p2S2/(S2 + p2N2y На малых частотах оптимальный фильтр ведет себя как лапласиан, но при этом он не так существенно усиливает высокие частоты. Верхняя граница усиления -S2/N2 равна (с точностью до знака) отношению сигнал — шум.
Оптимальный фильтр можно разложить на два. Первый восстанавливает изображение наилучшим образом (в смысле метода наименьших квадратов). Это осуществляется путем умножения преобразования на S2/(S2 + р2Л'2). Второй фильтр преобразует результат, полученный с помощью первого фильтра, в требуемый отклик. В рассматриваемом здесь случае это достигается применением лапласиана, т. е. умножением на — р2. Ясно, что изображение, содержащее мало информации на частотах выше некоторой частоты, сначала проходит низкочастотную фильтрацию в оптимальном фильтре. Если энергетический спектр на некоторой частоте имеет колоколообразный вид (максимум), то оптимальный фильтр будет иметь аналогичную форму вблизи этой частоты. Поскольку свертка ассоциативна, мы вправе применить этот фильтр и к дифференциальному оператору. Оптимальное приближение лапласиана представляет собой оператор с ненулевым пространственным носителем, так как оно получается применением лапласиана к оптимальному для данного изображения фильтру. Это означает, что оно нелокально. На практике область, внутри которой такой оператор существенно отличен от нуля, может быть весьма большой.
Если наша цель заключается в получении наилучшей оценки градиента изображения, то мы находим градиент исходного изображения, пропущенного через оптимальный фильтр. Это равнозначно взятию производных по х и у от функции рассеяния точки оптимального фильтра и непосредственному их использованию при свертке с обрабатываемым изображением.
Например, если оптимальный фильтр обрабатываемого изображения £(х, у) представляет собой функцию Гаусса
то функции рассеййия точки оптимальных фильтров для восстановлен, ния Ех и Еу соответственно имеют вид
X - 1 х"2 + V2 ст2 ’ h^=-^e 2 а2 ■
В отличие от рассмотренных выше локальных операторов эти операторы обладают значительно более протяженным носителем. В результате действие шума ослабляется, в то время как сигнал (разность
Рис. 8.3. Простой оператор выделения края, обеспечйвающий нахождение разности между суммами уровней яркости, взятыми по двум прилегающим участкам довольно большой площади.Рис. 8.3. Простой оператор выделения края, обеспечйвающий нахождение разности между суммами уровней яркости, взятыми по двум прилегающим участкам довольно большой площади.
Рис. 8.3. Простой оператор выделения края, обеспечйвающий нахождение разности между суммами уровней яркости, взятыми по двум прилегающим участкам довольно большой площади.
Рис. 8.3. Простой оператор выделения края, обеспечйвающий нахождение разности между суммами уровней яркости, взятыми по двум прилегающим участкам довольно большой площади.
-I -I -I
-I -I -1
-I -I
в яркости двух прилегающих областей) остается на том же уровне.
Рис. 8.4. Предельный размер носителя оператора выделения края обусловлен расстоянием между особенностями изображения.Если размер слишком велик, то в область носителя будут попадать посторонние детали. В некоторых местах, например вблизи узловых точек изображения сцены, составленной из многогранников, носитель любой конечной площади будет приводить к включению нежелательных участков.Рис. 8.4. Предельный размер носителя оператора выделения края обусловлен расстоянием между особенностями изображения.Если размер слишком велик, то в область носителя будут попадать посторонние детали. В некоторых местах, например вблизи узловых точек изображения сцены, составленной из многогранников, носитель любой конечной площади будет приводить к включению нежелательных участков.Отталкиваясь от этих интуитивных соображений, мы можем продвинуться вперед и предложить простой метод оценки разности в яркости поперек края (рис. 8.3). Допустим, что мы берем разность между средним арифметическим значений яркости по N пикселам с каждой стороны края. Среднее результата и есть разность в яркости.
Рис. 8.4. Предельный размер носителя оператора выделения края обусловлен расстоянием между особенностями изображения.
Если размер слишком велик, то в область носителя будут попадать посторонние детали. В некоторых местах, например вблизи узловых точек изображения сцены, составленной из многогранников, носитель любой конечной площади будет приводить к включению нежелательных участков.
Рис. 8.4. Предельный размер носителя оператора выделения края обусловлен расстоянием между особенностями изображения.
Если размер слишком велик, то в область носителя будут попадать посторонние детали. В некоторых местах, например вблизи узловых точек изображения сцены, составленной из многогранников, носитель любой конечной площади будет приводить к включению нежелательных участков.
В то же время стандартное отклонение шумовой составляющей результата равно cr/[//V/2, где ст — стандартное отклонение в каждом измерении. Таким образом, чем больше участки с каждой стороны края, тем меньше шум будет влиять на результат.
Однако если брать чересчур большие участки, то могут оказаться затронутыми другие области изображения (рис. 8.4). Тогда результаты обработки окажутся ошибочными в любом случае, кроме случая наличия на изображении лишь одного края.
Выделение и локализация края
Если сигнал, полученный в результате усиления краев, существенно превышает шум, мы можем сделать вывод о том, принадлежит ли определенная точка краю или нет. Такое решение не является абсолютно надежным, так как добавляемый шум в данной точке может оказаться значительным. Все, что мы можем сделать, — это уменьшить вероятность подобного события, выбирая порог таким образом, чтобы число ошибочно отнесенных к краю точек лежало в допустимых пределах.
Если порог слишком высок, слабовыраженные края будут пропущены. Таким образом, существует противоречие между двумя видами ошибок. Увеличивая размер участков, по которым производится усреднение, или (что одно и то же) уменьшая частоту, выше которой подавляются частотные компоненты изображения, мы можем снизить влияние шума и упростить выделение слабовыраженных краев. Однако тут же мы сталкиваемся с противоположной проблемой, вызванной тем, что с увеличением участков в них могут попасть другие края. Тем самым мы видим, что для распознавания коротких краев необходимо, чтобы они были более контрастны.
Изображение с обостренными краями будет иметь большие значения яркости не только в тех пикселах, которые непосредственно расположены на крае, но и в некоторых соседних. Этот эффект особенно ярко проявляется в тех случаях, когда в целях уменьшения шума изображение предварительно сглаживается. Отсюда возникает проблема локализации краев. Если бы не шум, мы могли бы надеяться обнаружить максимальные значения яркости непосредственно на крае. Эти экстремальные значения могли бы затем использоваться для подавления соседних больших значений.
При использовании в качестве оператора квадрата градиента на обработанном изображении каждому краю будет соответствовать гребень с высотой, пропорциональной квадрату перепада яркости. В случае операторов Лапласа или квадратичной вариации возникнут два параллельных гребня по каждую сторону от края. При использовании лапласиана эти гребни будут иметь противоположные знаки и край будет проходить там, где происходит смена знака.
Заключение и примеры
Рано или поздно будет необходимо выяснить физическую причину возникновения края. Что в трехмерной сцене вызвало изменения в функции яркости, обнаруженные детектором края? До настоящего времени на эту проблему обращали мало внимания.
Основную часть последних достижений в задаче выделения краев можно отнести на счет попыток построения оптимальных операторов выделения края и более детального изучения противоречия между выделением и локализацией. Многое, конечно, зависит от выбора критерия оптимальности и базовой модели изображения. Выше отмечалась ограниченность простейшей модели края как идеальной ступенчатой функции, на которую наложен шум, и упоминались более реалистичные альтернативы.
Одна из проблем, связанных с разработкой методов выделения краев, состоит в том, что предположения, на которых они основаны, часто неприложимы в реальных случаях. Хотя многие поверхности на самом деле обладают постоянной отражательной способностью, неверно, что их изображения будут иметь равномерную яркость. Как мы увидим позже, яркость зависит от многих факторов. И обратно, эле-
Рис. 8.5. Фотография простой кончин ; р^нии. настроенной из детских игрушечных блоков.
Рис. 8.6. Участки краев, выделенные простым детектором края.
менты изображения, соответствующие точкам поверхности различных объектов, могут иметь одинаковые полутоновые уровни. Только в особых случаях изображение можно с пользой рассматривать как совокупность областей постоянной яркости.
Одна из трудностей при разработке вычислительных схем для выделения краев заключается в недостаточно ясной формулировке самого задания. Как нам узнать, был ли край «пропущен» или где-то появился «ложный» край? Ответ на этот вопрос зависит от того, как мы собираемся использовать результат.
Для иллюстрации некоторых из изложенных выше мыслей здесь приводятся результаты, полученные с помощью одной из первых программ выделения краев. На рис. 8.5 показана простая конфигурация, построенная из нескольких детских игрушечных блоков. Рис. 8.6 демонстрирует результат работы детектора края с этим изображением. Даже в таком простом случае найденные участки краев неточны, и их необходимо тщательно обработать, если мы хотим с их помощью начисто нарисовать линии, представляющие края изображенных объектов.
Комментарии к литературе
Марр сильно повлиял на изложенную выше точку зрения по проблеме предварительной обработки изображений. Его идеи можно найти
в книге [75]. Другие работы, в которых подходы к выделению краев обсуждаются с близких позиций, — это книги Гримсона [48] и Хилдрет [59].
Выделение краев было одной из наиболее бурно развивающихся областей в машинном зрении. В классической работе Робертса [394] показано, как выделять края на фотографиях многогранников, отцифро- ванных с помощью барабанного графопостроителя с преобразователем. Благодаря высокому качеству входного сигнала и придуманной им хитроумной схеме постпроцессорной обработки, Робертсу удалось получить удовлетворительные результаты на основе оператора, который имел чрезвычайно малый носитель. Это могло направить других по неправильному пути поиска операторов с малыми носителями. Бинфорд [146] осознал, что в случае зашумленного изображения для получения достаточно резкой линии края необходимо рассматривать большие области. Эта идея была принята не сразу, но когда это случилось, стали искать «оптимальный» оператор выделения края с большим носителем.
Не все методы выделения и локализации краев основываются на изложенном в настоящей главе подходе, использующем понятие свертки. Дуда и Харт [28] рассматривают преобразование Хоха, т. е. отображение искомой линии в параметрическое пространство. О недостатках преобразования Хоха говорится в работе [165]. Результаты, полученные с помощью простых схем выделения краев, оставляют желать лучшего. Это приводит к мысли о необходимости привлечения дополнительных знаний. Так, в работах [216, 217] введены предположения о том, как статистически распределены характеристики изображения, а в работе [427] направление обработки на те участки, где обнаружение границ наиболее вероятно, достигалось благодаря использованию априорных знаний о сцене. Хюккель [266, 267] разработал схему восполнения типа наименьших квадратов, основанную на разложении заданной в области функции яркости на ортогональные функции. Одно из достоинств его подхода состоит в том, что носитель при этом должен быть довольно большим. В работе [362] представлен более простой вариант метода Хюккеля. Позднее Хэрэлик [231] предложил использовать кусочно-линейную аппроксимацию поверхности, образуемой функцией яркости.
За применением оператора первой производной должен следовать поиск экстремальных значений результата. Необходимо также уметь подавлять выбросы в окрестности локального максимума. Частично из-за этого более популярными стали операторы вторых производных, поскольку при их использовании край проходит там, где выход равен нулю. Далее линейные операторы первых производных зависят от направления. Поэтому второе преимущество операторов вторых производных обусловлено тем, что им можно придать форму, при которой они обладают круговой симметрией. Для выделения краев были
предложены операторы Лапласа и различные дискретные аппроксимации. Так, Хорном в работе [246] показано, что лапласиан является линейным оператором наименьшего порядка, который сохраняет информацию, требуемую для восстановления изображения. Позже он использовал лапласиан для вычисления освещенности [247]. В работе [347] получена оптимальная оценка лапласиана для носителя большой площади.
Оператор Гаусса широко использовался для выполнения сглаживающих операций по нескольким причинам. Одна из них связана с тем, что это - единственный оператор с круговой симметрией, являющийся произведением двух одномерных операторов. Это было установлено Хорном [246]. Другой причиной служило хорошо известное свойство, что для него минимально произведение размеров в пространственной и частотной областях. Пример его применения (а точнее, разности между двумя пространственно разнесенными операторами Гаусса) в задаче выделения краев можно найти в работах [322, 323]. Некоторые свойства операторов с круговой симметрией рассмотрены в работе [154]. При обсуждении проблемы освещенности Блейком [149] использовано понятие независящих от выбора системы координат векторов.
Первоначально в качестве оператора выделения края Марр предложил оператор, зависящий от направлений [326]. Позже он утверждал, что оптимальным является оператор с круговой симметрией. Контуры, вдоль которых на обработанном изображении происходит смена знака, называются линиями нулевого уровня. Новая теория выделения краев, основанная на обнаружении линий нулевого уровня на изображении, являющемся результатом применения оператора четного (по производным) порядка, изложена в работе Марра и Хилдрет [329], а также в работе Хилдрет [238]. Они взяли оператор Лапласа и так скомбинировали его со сглаживающим фильтром, построенным на основе функции Гаусса, что в итоге получился оператор выделения края с круговой симметрией. В идеале линии нулевого уровня отфильтрованного изображения представляют собой замкнутые контуры. Этот новый изящный метод обнаружения краев явился естественным откликом на потребность сочетания методов сегментации областей и выделения контуров. К сожалению, значительная доля периметра линии нулевого уровня состоит из участков, не имеющих отношения к важным деталям изображения.
В работе [412], возможно впервые, предложена обработка изображения одновременно на различных уровнях разрешения. Последующие результаты приведены в работе [413]. Марр и Хилдрет [238, 239, 329] разработали модуль предварительной обработки изображения с использованием линий нулевого уровня на выходе оператора, который представляет собой оператор Лапласа, примененный к четырем функциям Гаусса различной ширины. Это направление продолжает оставаться активной областью исследований, что подтверждает недавно
вышедшая статья [234]. Уиткин [473, 474] обнаружил ряд интересных свойств диаграмм, прослеживающих линии нулевого уровня при непрерывном изменении масштаба. До сих пор они в основном использовались в одномерных задачах. В работе [488] показано, что фильтр на основе функции Гаусса является единственным фильтром, который не вносит в выходной сигнал ложных линий нулевого уровня.
Еще недавно уделялось больше внимания вопросам точности и чувствительности к шуму вышеупомянутых операторов усиления края, что отражено, например, в работе [143]. В упражнениях к данной главе указывается, что в этом отношении операторы по направлению могут обладать преимуществами. Хэрэлик [232] рассмотрел возможность использования второй производной по направлению градиента яркости. Этот нелинейный оператор ранее уже употреблялся для маркировки краев [92], но столь подробно не изучался.
Кэнни [170] разработал одномерный оператор, обеспечивающий оптимальное соответствие между локализацией и выделением. Оператор минимизирует сумму двух критериев, а именно: вероятности пропустить край или обнаружить край там, где его на самом деле нет, и расстояние между выделенным и истинным краями. Первый критерий одновременно приводит к уменьшению вероятности повторного обнаружения / одного и того же края. Кэнни ограничил поиск решения множеством линейных пространственно-инвариантных операторов. Он подтвердил вывод о существовании компромисса между отношением сигнал — шум и локализацией и показал, что оптимальный оператор можно представить в виде суммы четырех комплексных экспонент. Результат содержит произвольный скалярный множитель, что позволяет J получать операторы с носителями различных размеров.
Поскольку край обладает значительным пространственным протя- • жением, его можно локализовать с точностью, существенно превы- . шающей ширину отдельного элемента изображения. Получение разрешения, превышающего размер одного пиксела, представляло интерес как в машинном, так и биологическом зрении, о чем можно судить, например, по работам [198, 201, 444]. Точность выделения краев также можно повысить путем их прослеживания на последовательности изображений, полученных в разные моменты времени, о чем и идет речь в работе [236].
Иные аспекты проблемы выделения краев рассмотрены в работах [205, 223, 282, 362 — 364, 370, 371, 391, 476]. Среди обзоров по методам выделения краев и дальнейшим путям их усовершенствования нельзя * не упомянуть работы [158, 184, 231].
Совсем другой подход к проблеме выделения краев основан на стохастических моделях изображения. Примером может служить работа [180] по адаптивному обнаружению границ. Более ранние исследования по этой теме опубликованы в работах [227, 485]. К проблеме выделения краев относится также задача обнаружения линий. В работе
] описывается система для векторизации, т. е. получения символи- - ческого описания по штриховым рисункам.
Упражнения
В упражнениях рассматриваются две основные темы: свойства функции Гаусса и оператора Лапласа и их применение для выделения краев. Для решения ряда задач вам могут понадобиться следующие
е-р^2 dz =е-р^2 dz =при р > Опри р > ОООООооZ^e-pz-L2(2р)'Z^e-pz-L2(2р)'— при р > 0 и л ^ О— при р > 0 и л ^ ООО1и *z2n+le-/,^z= ___1и *z2n+le-/,^z= ___при р > 0 и п ^ О,при р > 0 и п ^ О,интегралы:
е-р^2 dz =
е-р^2 dz =
при р > О
при р > О
ОО
ОО
о
о
Z^e-pz-L
2(2р)'
Z^e-pz-L
2(2р)'
— при р > 0 и л ^ О
— при р > 0 и л ^ О
О
О
1и *
z2n+le-/,^z= ___
1и *
z2n+le-/,^z= ___
при р > 0 и п ^ О,
при р > 0 и п ^ О,
где (2л)!! — 2 - 4 - 6... (2л), (2л 4- 1)!! = 1 • 3 - 5... (2и 4- 1).
Почему мы не привели маску для дискретной аппроксимации квадратичной вариации?
Покажите, что постоянный множитель простой дискретной аппроксимации оператора Лапласа на гексагональной решетке должен равняться 2/(Зе2) (рис. 8.2).
Один из способов выделения краев состоит в поиске экстремумов на изображении с обостренными краями, полученном применением оператора первой производной к сглаженному исходному изображению. Иной подход состоит в нахождении нулей на изображении, подвергнутом обработке оператором вторых производных. Линии нулевого уровня — это те места на выходном изображении, где происходит смена знака. (Более точно: в точке, принадлежащей линии нулевого уровня, функция равна нулю, а в любой сколь угодно малой ее окрестности можно найти точку, в которой функция положительна, и точку, в которой функция отрицательна.)
Лапласиан — это дифференциальный оператор второго порядка, обладающий круговой симметрией. Однако его недостатком является ухудшение отношения сигнал — шум. Вместо него было предложено использовать вторую производную яркости в направлении ее градиента.
Выпишите компоненты единичного вектора в направлении гра-
диента яркости. Найдите синус и косинус угла 0 между этим вектором и осью х. Указание: в зависимости от подхода к задаче вам могут понадобиться тождества 1 + tg2 0 = sec2 0 и sin2 0 + cos2 0=1.
Что такое первая производная Е' по направлению градиента яркости? Как она зависит от величины градиента?
Выразите вторую производную яркости по направлению Е" через первые и вторые частные производные по х и у.
Является ли линейным этот дифференциальный оператор второго порядка по направлению?
Э) Обладает ли он круговой симметрией?
с) Какова Е" в точках, где градиент яркости равен нулю?
Понятие шума на непрерывном изображении далеко не тривиально. Тем не менее оно полезно при анализе непрерывных аналогов операторов, которые служат, например, для выделения краев. Удобно работать с гармониками шума и(х, у), которые имеют нулевое среднее, т. е. с такими гармониками, что для любой области R изображения
/’ Пик y)dxdy = 0.
Мы предположим также, что значения гармоники шума в различных точках изображения можно рассматривать как независимые случайные переменные и что «мощность» шума на одном участке изображения равна «мощности» на любом другом участке. Допустим далее, что автокорреляция гармоники п (х, у) по области R описывается в среднем формулой,
фЦх, у) = П"Й - х, п - у)п^, ^d^dr\ = AN2b(x, у), R
где А — площадь области R. Обратите внимание на линейную зависимость интеграла от площади области. Такое предположение разумно, поскольку мы желаем, чтобы результат, вычисленный для одной части области, был независим от результата, вычисленного для другой части, так что при сложении этих двух независимых переменных их дисперсии будут складываться.
Величина У2 характеризует «мощность» шума, приходящуюся на единицу площади (плотность энергии). Заметьте, что на самом деле энергия, приходящаяся на единицу площади, бесконечна, поскольку мы имеем дело с «сигналом» с абсолютно плоским спектром (т. е. шумом с бесконечным диапазоном длин волн). Только ограничивая диапазон частот, мы получаем конечную величину плотности энергии. Один из способов сделать это — пропустить шум через сглаживающий фильтр.
а^ Нас интересует величина плотности энергии шума после прохождения его через фильтр с заданной функцией рассеяния точки
h (х, у). Среднее значение интеграла от квадрата отфильтрованного шума описывается формулой
JJ о2 (х, у) dx dy,R
где о (х, j^= п(х, у) ® h (х, у). Покажите, что интеграл от квадрата результата свертки имеет вид
AN1 J J h2(x, y)dxdy.
— CO — 00
Заметьте, что шум на выходе теперь уже больше не является некоррелированным, но это не влияет на величину интеграла от квадрата гармоники.
Допустим, что изображение пропускается через сглаживающий фильтр с гауссовой функцией рассеяния точки
1 у2 + -г29^ = 2^6 2 °2
Чему равна плотность энергии шума на выходе? Как она зависит от су? Рассмотрите предельный случай, когда су -> 0.
В этом упражнении мы сравним результаты работы трех операторов обострения краев. Во всех случаях мы сначала проведем свертку изображения с функцией Гаусса, чтобы сгладить его и тем самым снизить воздействие шума. Затем мы используем дифференциальный оператор для усиления высокочастотных компонент. Первый оператор является оператором первой производной по направлению, второй — оператором второй производной по направлению, третий — оператором Лапласа, обладающим круговой симметрией. Мы рассмотрим результат действия оператора на ступенчатый край (сигнал) и на случайный шум. Оценкой результата применения оператора в каждом случае будет служить отношение максимального сигнала к среднеквадратичному значению шума.
Пусть
Функцией Гаусса G, обладающей круговой симметрией, будет произведение GxGy или, если положить
<'х<5 (г).G;=1(S ( v|.
]/2лсу]/2лсу
просто свертка G'x ® G'y. Заметьте также, что дифференцирование свертки функции Гаусса с изображением приводит к тому же результату, что и свертка изображения с производной функции Гаусса. Это происходит потому, что дифференцирование — это линейная пространственноинвариантная операция, поэтому она коммутирует со сверткой.
Три вышеупомянутых оператора можно определить их функциями рассеяния точки следующим образом: Oi=(c/5x)G, О2 — (52/Sx2) G, О3 = V2G. Нашим контрольным изображением будет единичный ступенчатый край, проходящий через начало координат £ (х, у) — и (х), который мы также можем представить в виде
£(х, ri = J 6 bids,
.г- 6
где § — единичная импульсная функция.
Определите результат применения каждого из операторов к контрольному изображению. Тщательно продумайте свои действия. Указание; вспомните, что дифференцирование и интегрирование можно представить в виде свертки с подходящей обобщенной функцией. Работу можно несколько сократить, заметив, что часть операций коммутирует друг с другом. Может быть на этом этапе вам не понадобится находить явные выражения для функций рассеяния точки сравниваемых операторов.
Определите в каждом случае максимум и минимум обработанного изображения. Два из рассматриваемых изображений должны иметь одинаковые экстремумы.
Если (как и в предыдущем упражнении) шум характеризуется интегралом
Л П^ - х, Т] - у)п(^ ri)d^dri = А№8(х, у),,
R1
то его плотность на обработанном изображении, как можно показать, должна равняться
N2 J J О2(х, y)dxdy,— со ~ х
где О (х, у) — функция рассеяния точки используемого оператора.
Для каждого из трех операторов вычислите дисперсию шума. В каждом случае найдите отношение максимального сигнала к среднеквадратичному значению шума. Здесь под среднеквадратичным значением шума подразумевается квадратный корень из дисперсии. Какой из операторов оказывается лучше при фиксированном «размере» о? Какой хуже?
Отношение сигнала к шуму зависит от «размера» о оператора.
Насколько больше должен быть носитель третьего оператора по сравнению с носителем первого, чтобы отношение сигнал — шум на выходе было одинаковым?
Линия нулевого уровня результата применения лапласиана функции Гаусса к изображению идеального единичного ступенчатого края проходит в точности по центру края. Здесь мы рассмотрим, что происходит при искривлении края. Рассмотрим изображение объекта идеально круглой формы:
Цх, у) =Цх, у) =1 при х2 + у2 R2;
Цх, у) =
Цх, у) =
О при х2 + у2 > R2.
Линии нулевого уровня (если только они существуют) результата свертки этого изображения с упомянутым выше оператором в силу круговой симметрии обоих операторов, участвующих в свертке, образуют окружности. Выясните, имеется ли среди них окружность радиуса R. Если нет, то существует ли линия нулевого уровня, близкая к такой окружности? Возникают ли ложные линии других радиусов? Указание: найти свертку функции Гаусса с кругом довольно трудно, поэтому воспользуйтесь тем, что линейные операции можно использовать в произвольном порядке.
Операторы усиления краев выбираются из требования хорошей работы в случае единичного ступенчатого прямолинейного края, расположенного в области носителя. На результат использования таких операторов оказывают воздействие другие детали изображения, попадающие в область, где весовые коэффициенты свертки оператора не равны нулю. В частности, ожидаемый результат не наблюдается вблизи угла на полутоновом изображении. Пусть мы имеем изображение угла, определенное следующим образом:
fl, если 0 сх;
Е (х, У) = S
(О в противоположном случае,
где 0 — полярный угол, связанный с х и у соотношениями х = = г cos О, у = г sin О при некотором г. Найдите свертку изображения угла при сх = л/2 с функцией Гаусса. Примените к результату оператор Лапласа и определите линии нулевого уровня полученного изображения. (Вычислить свертку для произвольных сх трудно, поэтому проведите расчеты только для особого значения сх = л/2.)
С помощью разложения в ряд Тейлора покажите, что операторы,
7 Заказ 19637 Заказ 1963
7 Заказ 1963
7 Заказ 1963
имеют вид.
р2 / 24^4 \- ■
V2" 4। Ч- О (С4),
12 у сх4 су* )
\L
V ТТЛ 3 4 + "^22 22 4 ) + ^ (^ )’
12уах4 сх2су2 су*)
v2 + —V2(V2) + O(s4),-
соответственно, где V2 — оператор Лапласа.
Покажите, что изображение края, полученное с помощью расфокусированной зрительной системы, при | х | < R имеет следующее изме
нение яркости:
11
— -Iarcsin
2л:
В качестве исходного изображения возьмите единичный ступенчатый край, расположенный вертикально в точке х = 0, и предположите, что кружок нерезкости имеет радиус 7?. Не забудьте, что интеграл от функции, описывающей размытие, должен быть равен 1, поскольку энергия не поглощается и не создается, а лишь перераспределяется. Указание: функция рассеяния края равна интегралу от функции рассеяния линии.
Покажите, что максимальный угол наклона функции рассеяния края в 4/л раз превышает отношение величины перепада яркости к ширине полосы, в которой он происходит.
Операторы, обладающие круговой симметрией, используются потому, что результат их действия — скалярная функция, независящая от выбора системы координат. Мы рассмотрели несколько подобных
операторов, включая квадрат градиента, квадратичную вариацию и лапласиан. Также полезным оказывается понятие контравариантного (не зависягцего от выбора системы координат) вектора. Величина такого вектора не зависит от выбора системы координат, а направление, в котором он указывает, фиксировано по отношению к заданной поверхности. Градиент яркости представляет собой пример контравариантного вектора.
а) Предположим, что задано следующее преобразование от координат (х, у) к координатам (х', У):
есть ортогональная матрица поворота, так что с2 + з2 = 1. Покажите, что
/ г \/ F \
-[ ^ ]= RI 'х I
\eJ \eJ'r
б) Докажите, что (£x, £y)7 - контравариантный вектор. Определите связанный с ним скаляр, обладающий круговой симметрией. '
в) Теперь покажите, что
— произведение Кронекера матрицы поворота R с самой^^^^-Я^^ ^ г) Выведите, что вектор.удно-ы
ПМЕ~ - Е^2 + 4Ех, + <Ехх - Е^,
VV^xx - Ev/ + 4£xv - (£хх - £уу)]т
не зависит от выбора системы координат. Определите связанный с ним скаляр, обладающий круговой симметрией.
Комбинируя эти контравариантные векторы первого и второго порядков, получите два скаляра, обладающих круговой симметрией. Указание: Возьмите их скалярное произведение, а чтобы получить второй скаляр, поверните один из векторов на угол 90°.
Докажите, что, если (а, Ь)ти (с, d)T — два контравариантных вектора, то (а2 - Ь2) (с2 - d2) + 4abcd и (а2 + с2) (Ь2 4- d2) - два скаляра, обладающих круговой симметрией.
Отсюда выведите, что
(£^ - £у2) (£хх - £уу) - 4£х£у£ху и (£2 - £у2) £ху + ЕХЕ, {Ехх - £уу)
— скаляры, обладающие круговой симметрией.
В ряде случаев нас интересует обнаружение не краев, а линий. Например, представляет большой интерес перевод инженерных чертежей в символическую форму для их последующей обработки в системах автоматизированного проектирования (САПР). Здесь «линии» — это одномерные кривые пониженной яркости. Поэтому вместо поиска
7*
экстремума первой производной или линии нулевого уровня второй производной мы должны найти экстремум самой функции яркости или линии нулевого уровня ее первых производных.
Объясните, почему детектор, проверяющий условия Ех = 0 и Еу = 0, будет работать неудовлетворительно. Указание1, рассмотрите, что будет происходить, когда минимум яркости вдоль кривой непостоянен.
Представим себе £ (х, у) в виде поверхности в трехмерном пространстве. Покажите, что направление наиболее крутого наклона поверхности в текущей точке дается единичным вектором
а величина наклона в этом направлении равна ^Ех 4- Еу.
Найдите единичные векторы двух направлений, в которых экстре- / мума достигает вторая производная по направлению. Покажите, что эти направления взаимно ортогональны и что экстремальные значения второй производной по ним равны 1/2 [(£хх + Еуу) + ±1/(Ё^Геу>,)2 + 4£ху)]. Указание: в упражнении 3.5 гл. 3 мы нашли собственные значения и собственные векторы симметрической матрицы размером 2x2.
Объясните, почему можно считать, что центр искомой линии лежит там, где направление наибыстрейшего изменения параллельно направлению, вдоль которого вторая производная минимальна. I,
Придумайте нелинейный оператор, который будет обнаруживать выполнение этого условия.
Какие трудности возникнут при использовании этого оператора к участкам, где яркость постоянна или линейно зависит от х и у? Предло- . жите пути их преодоления.
Некоторые методы выделения фрат ментов краев основываются не на применении свертки, а на подходе, связанном с восполнением поверхности. Допустим, мы желаем обнаружить идеальный ступенчатый край, который наилучшим образом соответствует распределению яркости в области R. Пусть этот край представляет собой перепад } между областью А яркости а и областью В яркости Ь. В приведенных ниже рассуждениях будут использованы среднее значение яркости т = ^а 4- Ь)/2 и разность с = b — а. Яркость идеального изображения можно представить следующей функцией: Р(х, у) = т 4- с [и(г) — 1/2], где t = —х sin 0 4- у cos 0 — р — расстояние вдоль перпендикуляра от текущей точки до края, а
{
О при t < 0; л
1/2 при t = 0;! w№
1 При t > 0: -СДТ
— единичная ступенчатая функция. Имеет смысл ввести также меру расстояния вдоль края s = х cos 0 4- у sin 0.
Рассогласование, которое мы попытаемся минимизировать подходящим выбором величин т, с и расположением края, равно
J =[Е(х, у) - Р)х, yjp dxdy,
R
где £ (х, у) — вышеупомянутая яркость изображения.
Покажите, что среднее значение яркости вдоль края должно равняться т, т. е.
f£(x,y)^s = m/,"
где / — длина той части L края, которая лежит в R.w
Покажите, что первый момент яркости относительно центра Д вычисленный вдоль края, должен быть равен нулю, т. е.
jE(x, у) (.s - So) ds = 0,
где s0 — значение s, соответствующее центру L.
Предположим, что площади областей А и В равны Аа и Аь соответственно, в то время как средние яркости указанных областей — Еа и Еь. Докажите, что
АаЕа + АЬЕЬ = (Ла + Аь) т + (Ао — Аь) (с/2),АаЕа - АЬЕЬ = (Лй - Аь) т + (Ла + Аь) (с/2).
Наконец, убедитесь в том, что m = (£а + Еь)/2, а с = Еа - Еь.
Светлота и цвет
Чтобы распознать объект или измерить некоторые его свойства, необходимо восстановить по изображению его форму и отражательную способность. В этой главе мы обнаружим, что получение информации об отражательной способности поверхности по наблюдаемой яркости изображения является нетривиальной задачей. Так происходит потому, что яркость изображения зависит от многих факторов, например освещенности объекта, а не только от отражательных свойств поверхности. Если мы можем оценить отражательные свойства поверхности по изображениям, полученным при помощи тщательно по- 4 добранных фильтров, то мы можем определить также и цвет поверхности.
Мы здесь решаем эту задачу для специального случая изображений Мондриана. Это дает нам хорошую возможность использовать аппарат, развитый в предыдущих главах, в частности методы анализа линейных, пространственно-инвариантных систем и некоторые операторы, предложенные для выделения края. Итеративная схема, которую мы здесь выведем, имеет большое сходство со схемами, которые мы будем обсуждать в гл. И и 12 при восстановлении формы по полутонам и анализе изображений, меняющихся во времени. Мы рассмотрим также некоторые физические модели, которые помогут нам понять суть этих вычислений, и обсудим, как можно подключить параллельный компьютер для выполнения этих вычислений с высокой скоростью.
Отражательные свойства поверхности
и эксперименты Лэнда
Одним из свойств, особенно важных при распознавании, является отражательная способность поверхности объекта. Яркость точки на изображении пропорциональна отражательной способности соответствующей точки объекта. С другой стороны, она пропорциональна количеству света, падающего на объект. Вообще говоря, яркость изображения может зависеть еще и от других факторов, например ориентации рассматриваемой площадки поверхности. Таким образом, по яркости изображения нельзя непосредственно определить отражательные свойства поверхности.
Эдвин Лэнд привлек внимание к этим проблемам серией простых экспериментов. В одном из них он расположил листы серой бумаги в нескольких местах комнаты. Каждый лист был тщательно подобран, чтобы его отражательная способность соответствовала занимаемому им месту. Относительно темные листы были помещены в более ярко освещенные части комнаты, а более светлые — в места, куда попадало меньше прямых лучей. Лэнд использовал фотометр, чтобы убедиться, что количество света, получаемое наблюдателем от каждого листа, было одним и тем же. Таким образом, лист почти черной бумаги в одной части комнаты отражал столько же света, сколько белый лист в другой. Несмотря на это, наблюдатель без труда различал отражательную способность разных листов бумаги.
Множество величин отражательной способности, измеренных в нескольких различных спектральных полосах, очень полезны при распознавании. Мы можем попытаться определить «цвет» поверхности с помощью изображений, полученных через несколько фильтров. Мы еще встретимся с рассмотренной выше задачей, так как спектральное распределение энергии падающего света влияет на яркость изображения. Если мы сможем найти способ определения отражательной способности по яркости одного изображения, то мы сможем проделать это для набора изображений, полученных при различных значениях спектральной чувствительности. Таким образом, проблема определения цвета в принципе решается, если мы сможем определить отражательную способность по единственному изображению.
В другом эксперименте Лэнда сцена, составленная из цветных объектов, освещалась цветными источниками с сильным пространственным градиентом. (Сильные пространственные изменения освещения можно получить, например, расположением источника света рядом с объектами, однако в стороне от них; в этом случае объекты, расположенные вблизи источника, освещаются намного сильнее, чем удаленные.) Используя два источника (один с более сильным излучением в длинноволновом конце спектра, другой — в середине спектра), Лэнд создал обстановку, когда падающий свет очень существенно изменялся по интенсивности и цвету при переходе от одной части сцены к другой. С помощью фотометра он выравнивал яркости пространственно-распределенных поверхностей сцены в разных спектральных полосах. Однако эти поверхности не выглядели одинаковыми. Наблюдатели были способны различать цвет поверхности почти так же хорошо, как при более естественных условиях освещения.
Это показывает, что можно восстановить информацию об отражательной способности поверхности по измерениям яркости изображения. Лэнд развил схему, позволяющую осуществлять это в одномерном случае. Данная схема, названная им ретинексной, хорошо работает для некоторых простых сцен, которые мы сейчас и изучим.
Мондрианы
Рассмотрим простой случай, когда ориентация поверхности не играет роли, т. е. сцену, составленную из некоторого набора площадок с постоянной отражательной способностью (рис. 9.1). Такую искусственную сцену Лэнд назвал .мондрнано.и. (Пит Корнелис Мондриан был голландским художником начала века, создавшим многочисленные картины, состоящие из более или менее однородных по цвету перекрывающихся площадок.)
В простом рассматриваемом здесь случае яркость сцены пропорциональна произведению освещенности, порождаемой падающим на объект потоком света, на отражательную способность поверхности. Освещенность изображения в свою очередь пропорциональна яркости сцены. Мы можем написать Ь' (х, у) = г' (х, у) е (х, у), где Ь'(х, у) — яркость в точке изображения (х, у); г' (х, у) — отражательная способность, а с' (х, у) — освещение изображения в точке мондриана, соответствующей точке изображения (х, у). (Здесь мы используем переменные со штрихами, чтобы потом иметь возможность использовать их без штрихов для обозначения логарифмов этих величин, которые используются чаще.) Наша задача заключается в разделении двух различных вкладов в пространственные изменения яркости изображения.
Восстановление светлоты
Как мы можем восстановить г' (х, у) и е' (х, у), если дано только их произведение? Очевидно, это невозможно без дальнейших предположений. Для мондриана функция г’ (х, у) постоянна внутри площадки и имеет выраженные разрывы на краях между площадками. Относи-
Рис. 9.1. Мондриан — это изображение, состоящее из площадок постоянного цвета.
Неравномерное освещение приводит к изображению, на котором яркость площадок непостоянна.
тельно функции е' (х, у) мы можем, наоборот, предположить, что она изменяется гладко, так как, хотя яркость падающего света может изменяться от точки к точке, эти изменения не слишком резки. Исключением была бы резкая тень, отбрасываемая объектом, освещенным точечным источником.
Если бы мы взяли преобразование Фурье функции е' (х, у), энергия оказалась бы сосредоточенной главным образом в области низких частот, в то время как острые края г' (х, у) говорят о том, что в преобразовании Фурье этой функции присутствуют и высокочастотные компоненты. Это наводит на мысль о фильтрации изображения для удаления высокочастотных компонент. Другая возможность, связанная с этими же обстоятельствами, заключается в том, чтобы попытаться подчеркнуть края на изображении. Как мы видели, это делается с помощью частных производных.
Наш план заключается в получении промежуточного результата, когда вклад одной компоненты яркости изображения по сравнению с другой увеличивается, поэтому мы можем удалить более слабую компоненту. Разумеется, нам понадобится восстановить из результата оставшуюся компоненту. Это означает, что мы должны обратить первую операцию подчеркивания края. Сами собой напрашиваются линейные пространственно-инвариантные операторы, поскольку мы знаем, как найти обратные к ним.
Края с любыми ориентациями должны рассматриваться одинаково, поэтому требуются операторы, инвариантные к вращению. Линейная комбинация частных производных самого низкого порядка, обладающая вращательной симметрией, представляет собой лапласиан V2 = 82/8х2 + с2/8у2. Чтобы облегчить разделение вклада освещенности и отражательной способности, мы вначале берем логарифм от яркости изображения, превращая тем самым произведение в сумму, т. е. Ь(х, у) = г(х, у) + е(х, у), где b = log Ь', е = loge', а г = log г'. (К счастью, как г', так и е' положительны.) Тогда имеем d = V2b = V2r + V2e. Теперь V2e будет иметь конечные значения, так как е изменяется гладко. Действительно, если е изменяется линейно по х и у, то V2e = О (то же самое верно для любой гармонической функции, так как она является решением уравнения Лапласа).
С другой стороны, величина V2r, хотя и равна нулю почти всюду, но «бесконечна» на краях между площадками. При дифференцировании каждая ступенька порождает двойной край, который можно представить себе как дуплет, т. е. два пространственно-близких импульсных края, имеющих противоположные знаки. На темной стороне существует большой положительный импульс, а на яркой — такой же отрицательный. Амплитуда этого дуплета при переходе через край пропорциональна разности логарифмов отражательной способности г (х, у).
Теперь мы можем использовать нелинейный «пороговый» оператор, который отбрасывает все конечные значения, сохраняя только дуплеты.
Рис. 9.2. Последовательность шагов обработки при восстановлении светлоты в одномерном случае.
Процесс начинается с дифференцирования для подчеркивания сигнала у края. Затем пороговый оператор удаляет медленные флуктуации, обусловленные неравномерностью освещения. Обратной операцией в данном случае является простое интегрирование. Восстановленная светлота является оценкой отражательной способности поверхности.
Если Т — оператор, то f = Т(V2r + V2c) = V2r. Теперь, уничтожив влияние е, мы должны восстановить г.
На рис. 9.2 видим последовательность сигналов в одномерном случае, когда вместо взятия лапласиана используется дифференцирование и г можно восстановить простым интегрированием сигнала t на выходе порогового оператора. Это ретинексная схема Лэнда.
Однако, как мы увидим, восстановить г полностью нельзя. Вследствие этого имеет смысл не называть конечный результат этого вычисления отражательной способностью, а выбрать вместо него термин светлота. Светлота — это полученная по изображению отражательная способность. (В некоторых крайних случаях, которые будут описаны ниже, она может очень существенно отличаться от истинной отражательной способности.) Логарифм светлоты будем обозначать через Цх, у\
Решение обратной задачи
Нам необходимо решить уравнение в частных производных (52/дх2 + б2/су2)1(х, у) = t(x, у), которое называется уравнением Пуассона. Это уравнение часто возникает при анализе физических проблем.
Мы можем достичь некоторого понимания этой задачи, вводя физическую модель. Рассмотрим сопротивление в виде плоской полоски, через которую пропускается ток. Потенциал в этой области удовлетворяет уравнению Пуассона, если плотность заряда в точке (х, у) равна t(x, у). Обычно такая задача формулируется с соответствующими граничными условиями. Таких граничных условий в нашем случае нет; мы должны рассматривать область как бесконечно протяженную.
Один из способов решения эллиптического дифференциального уравнения в частных производных состоит в нахождении для него функции Грина д(х, у; £, р). Решение дается в виде интеграла
i(x, ^ = ^t(G лШ у; £, п)^^- R
Функция Грина для конкретной задачи зависит от границы области R. Если граница бесконечно удалена, все точки рассматриваются как равноправные, и интегрирование удобно сводится к свертке
I Су у) = f f t fe n) д (х - у - п) ^ ^л-
Теперь мы должны найти функцию Грина для уравнения Пуассона.
Заметим, что I — 1®д* Используя преобразование Фурье, имеем L = TG, где Ц Т и G — Фурье-преобразования /, t и д соответственно. Вспомним, что взятие лапласиана функции можно представить себе как свертку данной функции со специально обобщенной функцией, преобразование которой равно — р2. Поэтому t — V2/ после применения преобразования Фурье превращается в Т = — р2Г. Тогда, очевидно, G = — 1/р2, и для нахождения функции рассеяния точки д(х, у) мы должны найти обратное преобразование G(u,v\
со
J Р
О"
где Jo, как и раньше, функция Бесселя нулевого порядка. Интеграл для д(г) не сходится. В частности, он обращается в бесконечность при г — 0. С помощью соответствующих множителей сходимости можно показать, что он равен д(г) = (1/2к)1о§(г) 4-с, за исключением г = 0. Здесь с — произвольная константа. Мы покажем в упражнении 9.1, что ^Jcx1 + 62/6y2)log(x2 + у2) = 4л5(х, у). Этого результата можно достичь с помощью методов, развитых при обсуждении обобщенных функций.
Нормализация светлоты
Мы восстанавливаем логарифм светлоты /(х, у) путем свертки результата применения «порогового» оператора с функцией д(х, у). Однако отражательную способность нельзя восстановить полностью. Мы знаем, например, что лапласиан удаляет компоненту нулевой частоты, так как он соответствует умножению на — р2 в частотной области. Таким образом, постоянное слагаемое восстановить нельзя. Постоянное слагаемое в /(х, у) соответствует постоянному множителю в Г(^У), следовательно, мы можем восстановить отражательную способность только с точностью до масштабного множителя. Например, можно получить то
же изображение, уменьшив везде вдвое отражательную способность и удвоив освещенность.
Часто мы имеем дело только с матовыми поверхностями, которые не проявляют свойств зеркального или глянцевого отражения. В этом случае существует верхний предел отражательной способности, реализующийся для поверхности, которая отражает все падающие лучи, ничего не поглощая. Припишем такой идеальной матовой поверхности значение отражательной способности, равное единице. Все значения отражательной способности для других матовых поверхностей должны быть меньше или равны единице, или, что эквивалентно, г(х, у)^0» Если существует такой «белый» объект, то постоянный множитель можно восстановить. Вычисленные значения величины Цх, у) нормируются с помощью аддитивной константы таким образом, чтобы максимальное ее значение равнялось нулю, что соответствует отражательной способности, равной единице. Если белой площадки нс окажется, все остальные величины будут иметь ошибочный масштаб.
Суммируем этот процесс. Мы берем лапласиан логарифма яркости изображения, результат отсекаем по порогу, затем берем обратное преобразование с помощью свертки с соответствующей функцией Грина (рис. 9.3). Нормализация выполняется путем добавления аддитивной константы, так чтобы максимум равнялся нулю. И наконец, мы вычисляем светлоту по ее известному логарифму.
Заметим, что если мы получили значение отражательной способности, можно также вычислить освещенность, поскольку е(х, у) = = Ь(х, у) - г(х, у).
Рис. 9.3. Расчет светлоты в двумерном случае, состоящий из нескольких шагов. Промежуточные результаты являются двумерными функциями, подобными изображению. Вначале оператор Лапласа применяется к логарифму яркости изображения для подчеркивания краев. Результат обрабатывается пороговым оператором для удаления гладких флуктуаций, обусловленных пространственными вариациями распределения падающего света. Наконец, вычисляется логарифм светлоты путем свертки результата с соответствующей функцией Грина. , . . ,
Выбор порога
Мы могли бы почувствовать некоторую неуверенность при использовании порогового оператора, который отделяет бесконечную компоненту от конечной. Практически все изображения имеют конечное разрешение, так что края соответствуют быстрому, но не ступенчатому изменению яркости. Поэтому использование лапласиана порождает большие, но не бесконечные значения по обе стороны края. Мы используем конечную величину порога как компромисс между нечувствительностью к слабо заметным краям и чувствительностью к отклонениям фона. В этом случае вычисление отражательной способности перестает быть точным; оно будет несколько искажено флуктуациями яркости вдоль площадок.
Как вычислить эту последовательность сложных прямых и обратных преобразований? Не могли бы мы применить одномерный метод к яркости изображения вдоль кривых на изображении? Т. е. не могли бы мы двигаться вдоль кривой, пренебрегая непрерывными изменениями и следя за отношением яркостей при переходе через края, когда оно будет встречаться? Тогда нормализованную отражательную способность можно вычислить приравниванием наибольшей из найденных величин единице и определением остальных величин с помощью умножения всех отношений между соответствующими площадками. Однако это не лучший способ использования всей информации на изображении при наличии шума. Влияние шума минимизируется с помощью процесса, учитывающего всю информацию вдоль края, а не только отношение яркостей в одной точке. Кроме того, на вычисление величины отражательной способности может влиять шум в некоторой спектральной окрестности. Как мы уже говорили, мало что можно сделать, если только спектральные характеристики шума существенно не отличаются от спектральных характеристик сигнала.
Вычисление светлоты в дискретном случае н
Чтобы использовать эти идеи к вычислению отраж^Ййдао! спо собности по яркости изображения, рассмотрим дискретные изображении. Лапласиан можно оценить с помощью маски
1
1
4
1
1
■' -а.* М К1 'Л-
6?
4
-20
4
А ЭДГЦ д ЦцЦ Ц j
1
4
1
ЦЦГЦ ^ЦдЦ'ЦЦдЙ^ цд.-дД/
Рис. 9.4. Улучшение отделения медленных флуктуаций светлоты от быстрых изменений отражательной способности поверхности за счет уменьшения размера элементов изображения.
Однако не имеет смысла этот размер делать мельче допустимого собственной разрешающей способностью зрительной системы. Как здесь показано, дискретность е — 2 вдвое увеличивает различие компонент изображения по сравнению с е — 4. С другой стороны, выбрав е = 1, мы мало выиграем.
или чего-либо подобного. Применение его к дискретизированному изображению даст результаты, похожие на описанные выше, за исключением того, что величины около краев будут конечными.
Один из оставшихся вопросов — это насколько частыми должны быть точки отсчета на изображении. Пусть £ — расстояние между центрами элементов изображения. Гладкие флуктуации фона приводят к результатам, более или менее независимым от s. Однако возле края результат будет меняться как 1/е2, поскольку перепад яркости является конечным, а веса в маске изменяются как 1/е2. Отсюда следует, что, чем мельче участки, на которое разбито изображение, тем лучше полученные результаты, т. е. отношение сигнал — шум.
Однако реальные изображения имеют конечное разрешение, поэтому наступит такой момент, когда маска целиком будет попадать в гладкий переход на размытом крае. Дальнейшее уменьшение величины е не улучшит результата вблизи края (рис. 9.4). Таким образом, наилучшие результаты получаются, когда разбиение соответствует разрешению изображения. Это согласуется с нашим более ранним анализом дискретизации изображения. С другой стороны, заметим, что наш оператор хорошо работает при вычислении лапласиана для гладко изменяющихся изображений, но занижает его значение вблизи края, пока разбиение не становится достаточно мелким для разрешения края.
Следующая задача заключается в построении оператора, который отменял бы усиление края, вводимое путем применения указанной выше маски. Мы могли бы сделать свертку промежуточного результата с дискретной аппроксимацией функции (1/2л) log|/x2 + у2. Однако должно
быть ясно, что дискретная аппроксимация оператора, обратного лапласиану, не будет точным обращением дискретной аппроксимации лапласиана. Нам необходимо найти дискретную функцию, которая порождает единичный импульс, будучи подвергнутой свертке с данной маской, т. е. такую функцию /, что <7 ® / = 5. Эту свертку можно раскрыть в виде — 20/,•,j + 4(/i+1.j + /,'.v+i + .Л-1.1 + /ij+i) + + (/+i,l+i + /-1.1+1 + /-i,;-i + / + i,j-ij = 0 для (/,/) / (0,0) и ~2O/oo + 4(/li0 + /о, i + /-i,o. + /o,i) + (/i.i + /-i.i + /-i,i + +/и-J = бе2. Это система линейных уравнений с неизвестными {/у}. Существует одно уравнение для каждой неизвестной. К сожалению, неизвестных бесконечное число и обычные методы непосредственно неприменимы.
Мы можем аппроксимировать ответ, взяв конечные размеры изображения, и следовательно, конечный носитель для дискретного обращения. Для получения разумной точности, мы могли бы взять большой размер изображения, и в этом случае подходящими были бы итеративные методы, такие, как метод Гаусса — Зейделя. Это равнозначно разрешению каждого из приведенных выше уравнений относительно главного члена/”/1 = (/('+i,v + Л; + 1 + Л-i./ + /"i-i)/5 + (f'/ij+i + + /"-1.1+1 + /"-1.1-1 + /"+i.y-i)/20 для (;,/) + (0, 0), где верхний индекс означает номер итерации. Для (/, у) = (0, 0) из правой части этой итеративной формулы вычитается константа, равная (3/10) £2. Начальные значения можно найти с использованием непрерывного решения в качестве приближения.
Промежуточный результат применения порогового оператора к изображению с усиленными краями подвергается свертке с этой дискретной аппроксимацией для получения окончательного результата. Промежуточный результат необходимо распространить до бесконечности, т. е. дополнить нулями. Заметим, что первоначальное изображение дополнять нулями нельзя, так как это приведет к появлению ложных краев на границе изображения.
Альтернативой для поиска обращения дискретной аппроксимации лапласиана является прямое решение уравнений — 20ria + 4(ri +,j + + A.y+l + A-l.l + ri.y-l) + ('"i+l.l+l + ri-l.j+l + ri-!. j-1 + + G + i.j-i) = бЛщ, где {t;j} — промежуточный результат, прошедший пороговый оператор. Опять предлагается итеративный метод r"j1 = = (’""+1.1 + г?,1+1 + ri-i.j + г?,;-1)/5 + (^+1,1+1 + г?-1,1+1 + + г?_!,!_!+r^j-j^O — (3/10) £2ti-;-. Как и раньше, необходимо быть аккуратными на границе изображения.
Физическая модель
Физическая интерпретация заложена в самой форме этих уравнений. Мы видим, что уравнения, которые мы пытаемся решить, требуют, чтобы разность между значением в точке и взвешенным средним
значением в соседних точках равнялась некоторому специальному входу.
Взвешенное среднее легко вычисляется при помощи сети сопротивлений (рис. 9.5). Рассмотрим п сопротивлений с величиной Re; каждое соединено одним концом с источником напряжения К,. Если сопротивления соединить вместе другими концами, получим напряжение
Z ^/R;
г= ——.
1 = 1
Это легко показать, заметив, что ток в z-м сопротивлении равен (И, — V)Rt и что по закону Кирхгофа токи должны уничтожать друг друга в общем узле. Теперь представим, что к этому общему узлу подводится ток I. Напряжение возрастает на величину
I
>' £ i/Ri
i = 1
что можно увидеть, повторив предыдущее вычисление для случая, когда сумма токов в узле увеличена до — I.
Теперь рассмотрим прямоугольную цепь сопротивлений (рис. 9.6), в которой каждый узел связан со своими непосредственными соседями по строке или столбцу через сопротивление R и со своими четырьмя диагональными соседями через сопротивление 4R. Ток подводится к каждому узлу пропорционально значению после применения порогового оператора. Конкретно ток для узла (z,;) равен (15/2R) е2г(7. Потен-
Рис. 9.6. Простая цепь сопротивлений, позволяющая вычислить обратное преобразование при восстановлении светлоты.
циалы в узлах удовлетворяют уравнениям, приведенным выше, и таким образом дают желаемый результат. И снова необходима аккуратность на граница^.
Заметим, что этот метод решения неявных уравнений также хорошо применим, если мы изменим весовые коэффициенты. Существует много других методов для параллельного решения этих уравнений. В одном методе используется операционный усилитель — прибор, который суммирует постоянное число входных величин в цепи обратной связи, напоминающих итерации Гаусса — Зейдел я (рис. 9.7). В любом случае мы должны определить, сходятся итерации или нет.
Теперь мы разработали метод для приближенного вычисления отражательной способности набора частично перекрывающихся площадок. Повторяя это вычисление для изображений, полученных с использованием нескольких фильтров, мы можем приписать каждой площадке «цвет». В этом случае нам даже не обязательно иметь для нормализации белый образец. Для каждого фильтра мы требуем только, чтобы по меньшей мере одна из поверхностей отражала все падающие лучи внутри полосы пропускания этого фильтра. Максимально отражающие поверхности могут быть различными для различных фильтров.
Метод, представленный здесь, не будет работать, если отражательная способность поверхности объекта меняется гладко при переходе от одного места к другому, поскольку такие медленные изменения подав-
Рис. 9.7. Возможность вычисления светлоты с помощью цепи операционных усилителей, расположенных слоями.
Здесь показана цепь для решения одномерной задачи. Эта цепь используется в упражнении 9.4 для построения сети, удобной для перехода к двумерному случаю.
ляются пороговым оператором. С подобной проблемой мы сталкиваемся в случае криволинейных тел, так как они порождают полутоновые изображения, о чем пойдет речь в следующей главе. Такие изображения мы здесь не рассматриваем. Метод нормализации тоже может потерпеть неудачу, если один из образцов — источник света, так какой может быть ярче белой поверхности. По аналогичным причинам зеркально отражающая поверхность может разрушить нормализацию.
Что мы действительно показали — это то, что при извлечении полезной информации из изображения мы непосредственно не используем необработанных измерений яркости. Используются лишь приближенные значения свойств, например отражательной способности изображаемых объектов. Одна из трудностей, с которой мы столкнулись, заключается в том, что слишком много факторов действуют на изображении совместно. Часто необходимо выдвигать дополнительные предположения, если мы хотим продвинуться в расшифровке этой голово- ломки.
Комментарии к литературе
Люди давно задумывались над цветовым зрением. Некоторые результаты этих размышлений на протяжении последних нескольких веков собраны Мак-Адамом в книге «Источники науки о цвете» [74]. Работа [106] также полезна для знакомства с историей предмета. Представляют большой интерес работы [30, 34].
Имеется много работ, в которых рассматриваются дифференциальные уравнения в частных производных, в том числе «Дифференциальные уравнения в частных производных: Теория и методы» Кэрри и Пирсона [16], второй том «Методов математической физики» Куранта и Гильберта [22], книги [61] и [77].
Лэнд первым поразил мир своими экспериментами по цветовому зрению в 1959 г. Его теория сетчатки (ретинекса) была опубликована в 1964 г. В работе [306] она развивается в теорию светлоты. В работе [341] сравниваются визуальные реакции человека и ранняя версия теории вычисления светлоты. Интерес к этой проблеме Лэнд сохранил до последнего времени [305].
Хорн [247] обобщил теорию ретинекса Лэнда на двумерный случай и представил несколько аналогичных моделей и параллельных архитектур для выполнения вычислений. Частично идея основывалась на более раннем использовании лапласиана в схеме разметки краев Хорна [246]. Марр [325] связал одну из предложенных архитектур со структурой взаимосвязи слоев в сетчатке приматов. (Сейчас представляется очевидным, что светлота вычисляется в зрительных отделах коры.) В работе [149] существенно улучшается метод Хорна за счет изменения места использования порогового оператора.
Представляет большой интерес, как именно выполняются параллельные вычисления большого объема, впервые предложенные для вычисления светлоты. (Другой подход к параллельным вычислениям в зрении содержится в работе [131]. Для знакомства с программированием на современных вычислительных машинах см. работу [175].) В работе [381] некоторые из этих идей связываются с регуляризацией и предлагаются аналоговые модели вычисления. Традиционные методы итеративного решения эллиптических уравнений в частных производных страдают плохой сходимостью. В настоящее время были развиты методы многоуровневого построения решения, и оказалось, что они сильно упрощают задачу. В работах [448 — 450] эги методы используются применительно к нескольким алгоритмам машинного зрения, в том числе к вычислению светлоты.
Было бы безнадежной задачей пытаться охватить всю литературу по цветовому зрению. Мы упоминаем здесь лишь некоторые примеры. Читатель изящной работы [303] может вынести впечатление, что видеть цвет невозможно! Работа [315] дает сведения по анатомии и физиологии цветовой системы в зрительной коре приматов.
Упражнения
Положим г2 = х2 + у2 и V2 = д2/сх2 + с2/оу2.
Покажите, что V2iogr2=0, за исключением г = 0.
Рассмотрим теперь V2 log (г2 + ст2). Какую обобщенную функцию определяет это семейство функций при стремлении о к нулю? Указание: может помочь перевод интеграла в результирующей функции в полярные координаты.
Исходя из известного интеграла
г log—т=- J0(rz)^r ==Г(1 - eQZ^ для z # 0, г
J \ aVa2 + г2 /zх 1
,о
объясните, почему целесообразно рассматривать — 2л/р2 как фурье- преобразование от log г, где р2 = и2 + г2, а г2 = х2 + у2.
На рис. 9.8 изображены контуры областей, внутри которых яркость изображения меняется гладко, а также отметки измерений, проведенных в каждом случае по обе стороны от края, где наблюдается быстрое изменение яркости. Предполагая, что максимальная отражательная способность равна единице, определите отражательные способности площадок, создающих области изображения. Какова минимальная отражательная способность? Являются ли данные непротиворечивыми?
Покажите, как обобщить цепь на рис. 9.7 на двумерный случай, так чтобы ее можно было использовать для вычисления светлоты по
Рис. 9.8. Пример мондриана с попарными измерениями яркости.
Каждая пара характеризует значения яркости на противоположных сторонах края.
изображению. Указание; сначала постройте набор параллельных слоев, каждый из которых содержит такую цепь. Затем добавьте второй набор параллельных слоев, повернутых на 60°, и третий, повернутый на 120°.
На конечные суммирующие усилители поступают входные сигналы от шести окружающих элементов. Покажите, что их выходные сигналы необходимо разделить на 6, а не на 2, как в одномерном случае.
Карта отражательной способности.
Стереофотометрия
Теперь мы готовы более подробно рассмотреть, как распределение яркости на изображении зависит от формы изображаемого предмета. В этой главе мы рассмотрим использование стереофотометрического метода для восстановления ориентации фрагмента поверхности по некоторому числу изображений, полученных в различных условиях освещенности. В следующей главе мы рассмотрим более трудную задачу восстановления формы поверхности по единственному изображению. Стереофотометрический метод прост в употреблении, однако требует контроля подсветки. Ориентация фрагмента поверхности, соответствующего данному элементу изображения, определяется с помощью несложной таблицы, построенной с использованием калибровочного объекта известной формы. Ориентации фрагментов поверхности удобно представлять в виде игольчатой диаграммы.
Чтобы понять, как работают эти методы, необходимы некоторые представления о фотометрии. Мы должны более точно определить термин «яркость» и изучить, как освещенность плоскости изображения зависит от яркости сцены. Полная зависимость отражательной способности от формы поверхности и геометрии падающих и испускаемых лучей задается двухлучевой функцией отражательной способности (ДФОС). На основе этой функции и распределения источников света можно построить карту отражательной способности. Она удобна тем, что дает явное соотношение между ориентацией поверхности и яркостью, которое имеет решающее значение при восстановлении ориентации поверхности по измерениям яркости. На практике карту отражательной способности можно составить экспериментально, используя для калибровки объект известной формы, а не вычислять ее теоретически по функции отражательной способности. Читатель, мало интересующийся фотометрией, может пропустить первые несколько разделов и перейти , непосредственно к рассмотрению карты отражательной способности.
В конце главы выводится уравнение освещенности изображения, которому предстоит сыграть большую роль в следующей главе.
ЮЛ. Яркость изображения
Изображение трехмерного объекта зависит от его формы, отражающих свойств его поверхности и распределения источников света. На
Рис. 10.1. Вид поверхности, существенно зависящий от условий освещения.
Необходимо понять, как образх ются изображения, если мы хотим восстанавливать информацию о поверхности по одному или нескольким изображениям. Здесь показаны три изображения поверхнос г и Марса, полученные спускаемым аппаратом Viking I. Изображения IPL PIC ID 77/03/06/134059. 77/02/09/172643 и 77/02/05/042935 любезно предоставлены National Space Science Data Center (Гринбелт, шт. Мериленд).
рис. 10.1 показаны три изображения поверхности Марса. Они были получены при помощи камеры, находящейся в фиксированном положении. Различия в этих снимках обусловлены различием в условиях освещения. Хотя очевидно, что изображалась одна и та же поверхность, сами яркостные картинки сильно отличаются при переходе от одного снимка к другому. Например, некоторые контуры, контрастные на одном изображении, невидимы на другом. Этот пример показывает,
насколько существенны положение и распределение источников света при определении яркости.
Изображение трехмерного объекта также зависит от его положения относительно камеры и от его ориентации в пространстве. В случае тела вращения ориентация определяется двумя параметрами, так как ее можно задать направлением оси вращения. На рис. 10.2 показано, как силуэт катушки меняется в зависимости от ее ориентации. Еще важнее отметить, как меняется распределение яркости внутри контура, особенно когда блестящая поверхность отражает свет непосредственно к наблюдателю. Эти изменения становятся еще существеннее при рассмотрении трехмерного объекта общего вида, ориентация которого определяется тремя параметрами. Очевидно, что методы обработки бинарного изображения, рассмотренные выше, непригодны для учета таких эффектов.
Нам нужно понять, как формируется изображение, чтобы затем обратить задачу и восстановить информацию о собственных свойствах объекта, например о форме и отражательной способности. Однако, чтобы понять, как определяется яркость в отдельной точке, необходимо обратиться к фотометрии.
Рис. 10.2. Вид объекта, существенно зависящий от ею ориентации в пространстве относительно наблюдателя.
Меняются не только общие очертания, но и яркость внутри контура.
Рис. 10,3. Телесный угол, стягиваемый маленькой площадкой.
Он прямо пропорционален ее площади А и косинусу угла наклона 0 и ображо пропорционален квадрату расстояния R от начала координат.
Фотометрия
Количество света, падающего на поверхность, называется освещен- костью поверхности, представляющей собой мощность падающего света на единицу площади (ватт на квадратный метр, Вт-м”2). Количество света, излучаемого поверхностью, называется ее яркостью, представляющей собой мощность на единицу площади и на единицу телесного угла (ватт на квадратный метр и на стерадиан, Вт м"2 -ср^1), испускаемую поверхностью. Сложность последнего понятия вызвана тем, что поверхность может излучать внутри целой полусферы, причем поток энергии может быть различным в различных направлениях.
Телесный угол некоторого конуса направлений определяется как площадь, вырезаемая этим конусом на единичной сфере. Например, полусфера имеет телесный угол, равный 2л. Маленькая плоская площадка площадью А на расстоянии R от начала координат (рис. 10.3) определяет телесный угол Q = (A cos9)/R2, где 9 — угол между нормалью к поверхности и прямой, соединяющей площадку с началом координат.
Яркость изображения определяется количеством энергии, получаемой системой формирования изображения на единицу кажущейся площади. Единица площади, упоминающаяся здесь и в определении яркости поверхности, относится к площади проекции, т. е. площади поверхности, умноженной на косинус угла между нормалью к поверхности и направлением на поверхность.
Формирование изображения
Теперь найдем отношение между яркостью точки на поверхности объекта (яркостью сцены) и освещенностью соответствующей точки на изображении (освещенностью изображения). Рассмотрим линзу диаметром d на расстоянии / от плоскости изображения (рис. 10.4). Пусть площадка поверхности объекта имеет площадь SO, а соответствующая
Рис. 10.4. Связь освещенности изображения с яркостью поверхности (I).
Для понимания этого необходимо определить размер области изображения, соответствующей площадке на поверхности.
площадка изображения — площадь 57. Предположим, что луч, направленный от площадки объекта к центру линзы, образует угол а с оптической осью, а угол между этим лучом и нормалью к площадке равен 9. Площадка находится на расстоянии — z от линзы вдоль оптической оси. (Знак минус появляется из-за того, что ось z в нашей системе координат направлена к плоскости изображения.)
Отношение площадей площадок объекта и изображения определяется расстояниями от этих площадок до линзы и масштабными сокращениями, связанными с ориентацией. Лучи, проходящие через центр линзы, не преломляются. В результате этого телесный угол, образованный лучами, проведенными от площадки поверхности объекта, равен телесному углу, образованному лучами от изображения этой площадки. Кажущаяся площадь изображения, видимая из центра линзы, составляет 5/cos а, а расстояние от этой площадки до центра линзы //cos а. Таким образом, эта площадка стягивает телесный угол (57 cos a)/(//cos а)2. Аналогично телесный угол площадки объекта, видимой из центра линзы, равен (5Ocos9)/(z/cosa)2. Приравнивая эти телесные углы, получим 5(9/57 = (cos oc/cos 9) (z//)2. Теперь мы должны определить, какое коли- * чество света, излученного поверхностью, проходит через линзу (рис. 10.5). Телесный угол, образуемый линзой, наблюдаемой с площадки поверхности объекта, описывается формулой
_ к d2 cos а к (dV 3 Q— cos
4 (z/cosa) 4 \ z у
Таким образом, мощность светового потока, испускаемого этой площадкой и проходящего через линзу, определяется выражением
5Р — LSOQcosO — tiL&O (d/z)2 (cos3 a cos 6)/4, где L — яркость поверхности в направлении к линзе. Эта мощность собирается на изображении (если пренебречь потерями в линзе). Поскольку никакие другие лучи не попадаю! на эту площадку изображения, имеем
г 5Р t ЬО к (dY3
г— cos a cos 9,о/ 51 4 \ z )
где Е — освещенность рассматриваемой площадки изображения. Заменяя 50/51, в итоге получим
Е --7-^ cos4 а.
4 V/
Таким образом, освещенность плоскости изображения пропорциональна яркости сцены. Это основное соотношение, которым мы будем пользоваться при восстановлении информации об объектах по их изображениям.
Коэффициент пропорциональности в этой формуле содержит квадрат относительного отверстия d/f, а также множитель, убывающий как четвертая степень косинуса угла, образованного лучом, который направлен от точки изображения к центру линзы, и оптической осью. Это падение чувствительности не очень существенно, когда изображение располагается в пределах узкого угла, как в случае с телескопическими объективами. Более того, в типичных оптических системах диафрагмы, расположенные вдоль оптической оси, отсекают часть света для наклонных лучей. Этот эффект виньетирования, обсуждавшийся в гл. 2, часто приводит к более резкому падению яркости, чем множитель cos4 а. Последовательно расположенные диафрагмы обычно вводят для минимизации искажений, которые в противном случае будут увели-
Рис. 10.5. Связь освещенности изображения с яркостью поверхности (II).
Для понимания этого необходимо определить часть света, излученного поверхностью, которая достигает линзы. Она зависит от телесного угла, опирающегося на линзу, если смотреть на нее со стороны излучающей поверхности.
чиваться пропорционально некоторой степени угла отклонения от оптической оси а. В любом случае зависимость чувствительности от угла отклонения от оси для данной оптической системы известна и ее можно учесть.
Подведем итоги: важно то, что измеряемая величина, т. е. освещенность плоскости изображения Е, пропорциональна интересующей нас неизвестной, а именно яркости сцены L Другими словами, мы определили яркость сцены так, чтобы она соответствовала интуитивному понятию яркости, которая в конечном счете связана с освещенностью плоскости изображения.
Двухлучевая функция отражательной способности
Чем определяется яркость сцены? Она зависит от величины света, падающего на поверхность, от доли отражаемых падающих лучей, а также от геометрических условий отражения света, как ясно показывает пример зеркала. То есть яркость поверхности в общем случае зависит от направления, под которым она наблюдается, и от направления, в котором она освещается.
Мы можем описать эти направления в локальной системе координат на поверхности объекта (рис. 10.6). Рассмотрим нормаль п к поверхности и произвольную линию на ней. Направления можно описать с помощью углов 0 между лучом и нормалью и ф между ортогональной проекцией луча на поверхность и линией на поверхности.
Эти углы называются полярным и азимутальным соответственно. Они позволяют нам определить направления (96 ф() и (9е, фе), под которыми свет падает на поверхность и излучается к наблюдателю (рис. 10.7).
Теперь мы можем определить двухлучевую функцию отражательной способности (ДФОС), которая показывает, насколько яркой кажется поверхность при заданных направлениях наблюдения и освещения. Пусть
Рис. 10.6. Возможность определения направления падающего и излучаемого световых лучей в локальной системе координат с помощью полярного 0 и азимутального ф Углов-
Рис. 10.7. Двухлучевая функция отражательной способности, определяемая отношением яркости площадки поверхности, видимой в направлении (0е, фе), к освещенности, полученной в результате освещения из направления (0/, ф;).
количество света, падающего на поверхность по направлению (0z, фф — освещенность поверхности, - будет б£(0„ фД Пусть яркость поверхности, наблюдаемая в направлении (0е, фе), будет 3£(0е, фе). ДФОС — это просто отношение яркости поверхности к ее освещенности:
,,n п'5Цее фе)
Ф(> ес, Фе)§£(9. ^.)
В этой главе мы будем изучать конкретные примеры ДФОС для некоторых идеализированных поверхностей.
Функция четырех переменных слишком громоздка для непосредственного использования при изучении соотношения между освещенностью изображения и формой поверхности. К счастью, для многих поверхностей их яркость не меняется при повороте поверхности вокруг нормали. В этом случае ДФОС зависит не от фе и ф^ по отдельности, а от их разности фе — фЛ Это, в частности, верно для матовых и зеркально отражающих поверхностей, но не верно для поверхностей с ориентированной микроструктурой, например для минерала, называемого тигровый глаз, или радужных перьев некоторых птиц.
Имеется одно интересное ограничение на вид ДФОС. Если две поверхности находятся в тепловом равновесии, то излучение, приходящее на одну поверхность от другой, должно уравновешиваться излучением в обратном направлении. Если бы этого не было, то одна поверхность нагревалась бы, а другая остывала и равновесие нарушилось бы. Это противоречило бы второму закону термодинамики. Легко показать, что отсюда следует условие взаимности Гельмгольца для ДФОС
•«и.•«и.f (9/, Фм 9е, фе) f (9е, фе, 9;, фД
•«и.
•«и.
Протяженные источники света
До сих пор мы рассматривали случай, когда весь свет приходит по одному направлению. В реальном случае могут существовать несколько точечных или даже протяженных источников, как например, небо. В случае протяженного источника, чтобы получить ненулевое излучение поверхности, мы должны рассматривать ненулевой телесный угол. Рассмотрим бесконечно малую площадку неба размером 50, по полярному и 5ф, по азимутальному углам (рис. 10.8). Эта площадка задает телесный угол 5со = sin О.-бО^ф,. Если мы положим, что мощность излучения, приходящего по направлению (0Ь ф;) на единицу телесного угла, равняется £(0Ь фД, то мощность, идущая от рассматриваемой площадки, будет равняться выражению Ефь ф;) sin 6,56;5фь а полная освещенность поверхности — выражению
£0 = J J Е(0Ь ф^пОгСОзО^О^ф,, -л 0
где cos0,- вводится для учета масштабного сокращения площади поверхности при наблюдении в направлении (0Ь фД
Для получения яркости поверхности объекта необходимо проинтегрировать произведение ДФОС и освещенности по полусфере возможных направлений падения света. Таким образом,
л л/2
Ц9е, ipe) = f f /(О,-, ф;; 0е, <ре)Е(0„ q>i)sin0<cos0fde.dip,.
О
Множитель cos0t снова вводится для учета масштабных сокращений, связанных с ориентацией. Результат является функцией от двух переменных, 0С и фе, определяющих направление луча на наблюдателя.
Рис. 10.8. Протяженный источник света.
В этом случае мы должны интегрировать произведение ДФОС и яркости источника по всем направлениям луча?
Рис. 10.9. Зеркальная поверхность, отражающая весь падающий свет в направлении, которое лежит в той же плоскости, что и падающий луч и нормаль к поверхности. Углы отражения 0е (между отраженным лучом и нормалью) и падения 6Z (между падающим лучом и нормалью) равны.
Отражательные свойства поверхности
Идеальной ламбертовой поверхностью называется такая поверхность, кажущаяся яркость которой одинакова при любых направлениях наблюдения и которая отражает все падающие лучи, ничего не поглощая. Из этого определения следует, что ДФОС /(0ь фд 0е,фе) для такой поверхности должна быть константой. Чтобы определить ее, проинтегрируем яркость поверхности объекта по всем направлениям и приравняем полученную таким образом полную яркость полной освещенности:
п п/2
J J/Ecos0jsin0ecos0ed0e^e = EcosO, - л О
ИЛИ
2
2л/ J sin0ecos0ed0e = 1.
Используя соотношение 2 sin 0 cos 0 = sin 20, получим л/ = 1. Итак, для идеальной ламбертовой поверхности/(0Ь фд 0е, фе) = 1/л. Заметим, что, поскольку ДФОС постоянна для ламбертовой поверхности, мы можем вычислить яркость Lno освещенности Ео, т. е. L= E^l^. Этот простой метод, конечно, нельзя применить к поверхности с другими отражательными свойствами.
Другим крайним случаем отражательных свойств поверхности является идеальная зеркальная поверхность, отражающая весь свет, пришедший из направления (0;, ф;), в направлении (0,, ф; + л) (рис. 10.9). В этом случае ДФОС пропорциональна произведению двух импульсных функций 5 (0е — 0() и 5 (фе — ф,- — л). Однако чему равен коэффициент пропорциональности /с? Еще раз интегрируем по всем направлениям излучения для вычисления полной яркости поверхности и приравниваем ее полной освещенности
л л/2
J J /<5(0С — 0Д 5 (фе — ср,- — Л)5ш0есо8 0^0е<^фе = 1
-Л о
или к sin 6, cos 0, = 1. Таким образом, в этом случае
/(6,-, ф,; 0е, фе) =/(6,-, ф,; 0е, фе) =Ж - 0,)5(фе - Ф/ - К)sin О,- cos 0,
/(6,-, ф,; 0е, фе) =
/(6,-, ф,; 0е, фе) =
Мы непосредственно можем использовать этот результат для определения яркости зеркально отражающей поверхности, освещенной протяженным источником
л л/2л л/2L(0e, Фе) =L(0e, Фе) =5(0е — 0,)5(фе — ф; — и)sin 0;cos0(-5(0е — 0,)5(фе — ф; — и)sin 0;cos0(-Е (6;, ф J sin 0^ cos 6,- d^i dt^ =Е (6;, ф J sin 0^ cos 6,- d^i dt^ =
л л/2
л л/2
L(0e, Фе) =
L(0e, Фе) =
5(0е — 0,)5(фе — ф; — и)sin 0;cos0(-
5(0е — 0,)5(фе — ф; — и)sin 0;cos0(-
Е (6;, ф J sin 0^ cos 6,- d^i dt^ =
Е (6;, ф J sin 0^ cos 6,- d^i dt^ =
-л О
= Е (9е, фе - я).
Яркость точно равна яркости отраженного участка источника. Смысл этого результата в том, что мы видим зеркальное изображение протяженного источника. Это простое соотношение с очевидностью нарушается для поверхностей с другими отражательными свойствами.
ДФОС можно определить экспериментально, освещая плоский образец интересующего нас материала лампой, установленной на гониометре, и измеряя его яркость с помощью сенсора, установленного на другом гониометре. (Гониометр имеет две оси вращения, поэтому установленный на нем прибор можно точно выставить по направлению.) Экспериментальное определение ДФОС очень утомительно, так как определяется зависимость от четырех переменных. К счастью, обычно значимыми являются только три из них: 06 0е и (фе — фД
Другой способ получения ДФОС заключается в построении модели отражения света от поверхности и в нахождении соответствующих отражательных свойств аналитически или численным моделированием. Эта операция была проделана для некоторых простых моделей микроструктур поверхности. При введении подходящих аппроксимаций часто можно получить замкнутое решение. Здесь мы не будем дальше развивать эту тему.
Яркость поверхности
Какова будет яркость ламбертовой поверхности, если ее осветить точечным источником с интенсивностью Е? Точечный источник, расположенный в направлении (0$, ф5), имеет яркость Е (0Ь ф;) = ЕБ (0,- — — 0s)8 (ф( — ф$)/(51п 0s), где sin 0S — нормировочный множитель, введенный5 для того, чтобы интеграл от этого выражения равнялся Е. Другими* словами, должно выполняться
я я/2
J J Е (Оь q>;) sin 0, d^t d(pi = Е.
-л О
Используя известную ДФОС для ламбертовой поверхности, легко показать, что в этом случае11 L = (E cos 0;)/л для 0; ^ 0. Это известный закон косинуса, или закон Ламберта отражения от матовой поверхности. (Заметим, что зависимость от косинуса угла падения вытекает
непосредственно из зависимости освещенности от этого параметра и
может трактоваться как изменение кажущейся площади поверхности при наблюдении со стороны источника.) Поверхности, покрытые тонко
измельченным прозрачным материалом, например сульфатом бария или гарбонатом магния, лучше всего удовлетворяют закону Ламберта. Этот закон является разумным приближением для многих других мате-
риалов, таких, как бумага, снег и матовая краска.
Теперь рассмотрим ту же поверхность под «небом» с однородной яркостью Е. Здесь
л л г
— sin 0; cos 0^0/^ = Е.
J к
- л- ло
- л
- л
Яркость маленькой площадки совпадает с яркостью источника!
Это наводит на интересный мысленный эксперимент. Если мы изготовим сосуд произвольной формы с внутренней поверхностью из ламбертова материала, а затем осветим его через небольшое отверстие, то все части поверхности будут иметь одинаковую яркость. Заглянув через другое небольшое отверстие, мы не сможем определить форму внутренней поверхности, так как любая ее часть будет выглядеть одинаково яркой. По той же причине при пасмурном небе заснеженное поле имеет низкий контраст и его восприятие затруднено. Это явление называется белой мглой. Сам по себе факт, что поверхность белая, не является, конечно, решающим, так как при освещении точечным источником форму такой поверхности легко восстановить. Вспомним, что зеркальная поверхность под однородным протяженным источником тоже имеет одинаковую с источником яркость. Поэтому для получения этого эффекта не обязательно требуется ламбертово отражение.
Более сложный случай, хотя, возможно, более реальный, — это полусферическое небо над маленькой площадкой ламбертовой поверхности. Мы покажем в упражнении 10.3, что полная яркость в этом случае составляет Е(1 + cosot)/2 = Ecos2(a/2), где а — отклонение нормали к по-
11 В приведенной формуле обозначение 0, соответствует обозначениям, принятым в гл. 10 в целом. В данном разделе этот угол следовало бы обозначить через 05. — Прим. ред.
8 Заказ 1963
верхности от вертикали. В данном случае изменения яркости, вызванные изменениями ориентации поверхности, меньше, чем они были бы в случае единственного точечного источника.
Ориентация поверхности
Функция ДФОС имеет фундаментальное значение при изучении отражения от поверхности. Однако это не совсем то, что нужно, при изучении формирования изображения. Прежде всего, чтобы свести воедино распределение источников света, мы должны проинтегрировать ДФОС по всем возможным направлениям падения света. Это дает нам функцию, зависящую только от двух параметров. Мы можем связать эти два параметра с ориентацией, очень важной характеристикой изображаемой поверхности. Однако чтобы успешно проделать это, необходимо отказаться от локальной координатной системы, используемой при определении ДФОС, и использовать вместо нее систему координат, связанную с наблюдателем.
Для начала составим разумное представление об ориентации поверхности. В каждой точке гладкая поверхность имеет касательную плоскость. Ориентацию этой плоскости можно принять за ориентацию поверхности в этой точке. Нормаль к поверхности, т. е. единичный вектор, перпендикулярный касательной плоскости, удобно использовать для определения ориентации этой плоскости. Вектор нормали определяется двумя параметрами, так как его три компоненты связаны одним ограничением, а именно: равенством единице суммы квадратов компонент.
Рассуждая иначе, мы можем мысленно поместить начало вектора нормали в центр единичной сферы, называемой гауссовой сферой. Конец вектора касается сферы в некоторой точке, характеризующей ориентацию поверхности. Положение точки на сфере определяется двумя параметрами, скажем полярным углом и азимутом или широтой и долготой.
Мы должны зафиксировать систему координат, по отношению к которой проводятся эти измерения. Удобно выбрать эту систему так, чтобы одна из ее осей была направлена вдоль оптической оси системы, формирующей изображение. Мы можем поместить начало координат в центр линзы, а две оси будут параллельны плоскости изображения. Чтобы оси составляли правую тройку, направим ось z на изображение.
Теперь фрагмент поверхности можно описать ее перпендикулярным расстоянием — z от плоскости линзы (или некоторой параллельной ей условной плоскости). Это расстояние будет зависеть от бокового смещения (х, у) (рис. 10.10). Следующее, что нам хотелось бы сделать,— это выписать нормаль к поверхности в зависимости от z и частных производных Z ПО X и у.
Рис. 10.10. Описание поверхности с помощью перпендикулярного расстояния — 2(х, у) до нее от некоторой условной плоскости, параллельной плоскости изображения.Рис. 10.10. Описание поверхности с помощью перпендикулярного расстояния — 2(х, у) до нее от некоторой условной плоскости, параллельной плоскости изображения.Нормаль к поверхности перпендикулярна всем линиям на касательной плоскости. Следовательно, ее можно найти в виде векторного произведения любых двух (непараллельных) прямых на касательной плоскости (рис. 10.11). Предположим, мы берем небольшое приращение бх в направлении х из данной точки (х, у). Изменение z можно найти с помощью разложения в ряд Тейлора в виде 5z = (6z/dx)5x + е, где е содержит члены более высоких порядков. Для первых частных производных z по х и у используем обозначения р и q соответственно. Таким образом, р — это наклон поверхности в направлении х, a q — в направлении у. Связь р и q с ориентацией фрагмента поверхности представлена на рис. 10.12. Если взять малое приращение расстояния бх в направлении х, то высота изменится на р5х. Аналогично малое приращение бу приведет к изменению высоты на qby.
Рис. 10.10. Описание поверхности с помощью перпендикулярного расстояния — 2(х, у) до нее от некоторой условной плоскости, параллельной плоскости изображения.
Рис. 10.10. Описание поверхности с помощью перпендикулярного расстояния — 2(х, у) до нее от некоторой условной плоскости, параллельной плоскости изображения.
Первое из этих приращений мы можем записать в векторной форме
Рис. 10.11. Параметризация ориентации поверхности первыми частными производными р и q высоты иоверхност и z.
8*
Рис. 10.12. Параллельность нормали векторному произведению двух любых различных касательных.
как (5.x, 0, р5х)т. Таким образом, прямая, параллельная вектору гЛ = (1, 0, р)т, лежит в касательной плоскости в точке (х, у). Аналогично прямая, параллельная вектору гу — (0, 1, q)T, также лежит в касательной плоскости. Нормаль к поверхности можно найти, вычислив векторное произведение этих двух прямых. Нам остается решить, хотим ли мы направить нормаль к наблюдателю или от него. Направляя нормаль к наблюдателю, получим п = гЛ х гу = ( — р, — q, 1)г. Вектор (р, q) довольно удачно назван градиентом поверхности, поскольку его компоненты р и q характеризуют наклон поверхности в направлениях х и у соответственно.
Единичный вектор нормали к поверхности описывается выражением
n (-р, — q, 1)тп = -——.
|П| y'l+p2 + q2
Мы можем непосредственно вычислить угол 6е между нормалью к поверхности и направлением на линзу при условии, что для рассматриваемой точки расстояние до оптической оси мало по сравнению с расстоянием до координатной плоскости. В этом случае единичный вектор в направлении от объекта к линзе имеет вид (0,0, I)7, так что cos 6е = 1/|/ 1 + р2 + д2, что можно получить, вычислив скалярное произведение двух единичных векторов.
Как определить положение источников света? Полагая источники удаленными от объекта на расстояние, большее по сравнению с характерным размером объекта, можно определить направление на каждый источник постоянным вектором. Существует ориентация поверхности, соответствующая этому вектору, т. е. поверхность, ориентированная перпендикулярно лучам, приходящим от источника. Если нормаль к этой поверхности имеет координаты ( —ps, — qs, 1)т, то градиент (ps, gs) можно использовать для определения направления на источник (если он расположен по ту же сторону объекта, что и наблюдатель). Далее мы будем предполагать, что наблюдатель и источники света расположены достаточно далеко от изображаемых объектов.
Карта отражательной способности
Она обеспечивает явную связь между ориентацией поверхности и ее яркостью. В ней содержится информация об отражательных свойствах поверхности и распределении источников света. Данное наглядное средство используется для разработки методов восстановления формы поверхности по изображению.
Рассмотрим источник с яркостью Е, освещающий ламбертову поверхность. Яркость сцены составляет L = (Ecos9,-)/n для 9, ^ 0, где 9, — уюл между нормалью к поверхности и направлением на источник. Вычислив скалярное произведение соответствующих единичных векторов, получим
п1 + psp + qsq
COS 9, = —"=:—-=■■.
Р 1 + р2 + q2]/1 + р2 + q$
Это дает нам хорошее представление о том, как яркость зависит от ориентации поверхности. Этот результат называется картой отражательной способности и обозначается через R(p, q). Она зависит от свойств материала поверхности объекта и распределения источников света. (Заметим, чго яркость не может быть отрицательной, поэтому мы должны, строго говоря, наложить ограничение 0^9^ п/2. За пределами этого отрезка яркость полагается равной нулю.)
Освещенность плоскости изображения пропорциональна некоторым константам, таким, как квадрат относительного отверстия и фиксированная яркость источника. По этой причине карта отражательной способности обычно нормализуется каким-либо способом, например так, чтобы ее максимум равнялся единице. Для ламбертовой поверхности, освещенной единственным удаленным источником, имеем
„, .^ + psp + qsq
R (р, q) =
\Л + р2 + q2 /1 + р; + q2
Таким образом, с точностью до постоянного масштабного множителя карта отражательной способности дает зависимость яркости сцены от ориентации поверхности.
Часто бывает удобно изображать поверхность R(p, q) в виде функции градиента (р, q). Плоскость pq называется пространством градиентов, и каждая точка этого пространства соответствует некоторой ориентации поверхности. Начало координат, например, соответствует семейству плоскостей, перпендикулярных лучу зрения. Линии уровня в градиентном пространстве можно использовать для изображения карты отражательной способности (рис. 10.13). В случае ламбертовой поверхности линии постоянной яркости являются семейством конических сечений в плоскости pq, так как из R(p, q) = с следует (1 + psp + qsq)2 =
Рис. 10.13. Карта отражательной способности как зависимость яркости от ориентации поверхности.
Здесь она представлена в виде линий уровня в градиентном пространстве. В случае ламбертовой поверхности, освещаемой точечным источником, линии уровня оказываются семейством конических сечений. Максимум R(p. q) имеет место в точке (р, q) = (ps, q%\ находящейся внутри семейства конических сечений, в то время как R(p, q) — 0 на прямой в левой части карты.
= с2(1 + р2 + 92)(1 + р2 + 9s). Как будет показано в упражнении 10.11, максимум R (р, q) достигается при (р, 9) = (psqs).
В качестве другого примера рассмотрим поверхность, излучающую во всех направлениях равномерно. (Физически это маловероятно, однако
Рис. 10.14. Случай материала лунных морей.
Карту отражательной способности можно хорошо аппроксимировать функцией линейной комбинации компонент градиента. Контуры постоянной яркости представляют собой параллельные прямые в градиентном пространстве.
позже мы рассмотрим более реальную модификацию.) Такая поверхность кажется ярче при наклонном направлении луча зрения, так как та же мощность приходит с меньшей кажущейся площади поверхности. Она явно отличается от ламбертовой поверхности. Яркость в этом случае обратно пропорциональна косинусу угла, под которым происходит излучение. Принимая во внимание кажущееся сокращение площади при наблюдении от источника, находим, что яркость пропорциональна cosOf/cosO^ Так как cos0e = 1/[/1 + р2 + q2, имеем
КМ-
Vt+ri+Ч* . : .
В этом случае линиями уровня яркости являются параллельные прямые (P2£l_19^’ так как из К-^$ = с следует, что 1 + psp + qsq = = с]/1 + р2 + q2. Эти прямые ортогональны направлению (psq$).
Оказывается, не существует реальной поверхности, яркость которой пропорциональна cos 0,/cos0е, так как можно показать, что при этом нарушается условие обратимости Гельмгольца. Однако квадратный корень из этого выражения подчиняется условию обратимости Гельмгольца, как было показано Миннартом. Здесь нас интересует форма контуров в градиентном пространстве, а ими являются прямые линии для любой функции от cos 0,/cos 0е, включая, разумеется, ее квадратный корень. Как ни удивительно, материал лунных морей имеет отражательные свойства, которые можно довольно хорошо моделировать некоторой функцией от cos0,/cos0е.
В качестве последнего примера рассмотрим глянцевую поверхность. Свет, отраженный от многослойной поверхности, имеет две компоненты, одна из которых обусловлена отражением от поверхности на границе между воздухом и материалом, а другая возникает благодаря внутреннему рассеянию света, проникшего внутрь слоя. Если внешняя поверхность идеально гладкая, то первая компонента зеркальна. Вторая компонента будет диффузной, или матовой. Если поверхность не идеально гладкая, зеркальная компонента может размазываться, так что точечный источник порождает на карте отражательной способности не идеальный импульс, а просто высокий пик. Это называется глянцевым отражением.
Поглощение частицами в поверхностном слое изменяет яркость матовой компоненты, тогда как яркость глянцевой компоненты зависит прежде всего от коэффициента преломления материала, в котором находятся эти частицы. В результате спектральные составы глянцевой компоненты и падакУщего света обычно очень близки, тогда как диффузная «компонента сильно зависит от избирательного поглощения в поверхностном слое.
Ориентация поверхности, максимизирующая диффузное отражение, обычно такая, что нормаль к поверхности указывает на источник
Рис. 10.15. Наличие у многих реальных поверхностей диффузной и глянцевой компоненты отражения.
Глянцевая компонента возникает при отражении на границе между воздухом и материалом, а диффузная компонента обусловлена частью света, который проник на некоторое расстояние вглубь поверхности, испытал там рассеяние и отражение, а затем вышел снова на поверхность. Карта отражательной способности такого материала, освещенного точечным источником, может иметь два пика, соответствующие ориентациям поверхности, которые максимизируют каждый из двух различных типов отражения.
света. С другой стороны, ориентация поверхности, максимизирующая глянцевую компоненту, обычно такая, что нормаль расположена посередине между направлениями на источник и на наблюдателя. Соответственно карта отражательной способности может иметь два максимума (рис. 10.15). Обычно глобальный максимум совпадает с максимумом глянцевого отражения.
Полутона на изображении
Как яркостная картина, фиксируемая на изображении, зависит от формы объекта? Рассмотрим для примера многогранник. В идеальном случае изображение многогранника будет состоять из многоугольных областей однородной яркости, поскольку во всех точках некоторой грани многогранника ориентация поверхности одна и та же. Яркость области изображения зависит от ориентации соответствующей грани многогранника. Теперь рассмотрим объект с гладкой криволинейной поверхностью. Изображение такого объекта будет иметь пространствен-
ные изменения яркости, обусловленные тем, что площадки поверхности с разными ориентациями имеют различную яркость. Эти изменения яркости называются полутонами. К сожалению, они зависят не только от формы объектов. Существенны также отражательные свойства поверхности и распределение источников света.
Карта отражательной способности включает в себя зависимость яркости от ориентации поверхности. В данной точке изображения мы измеряем освещенность Е(х, у). Она пропорциональна яркости соответствующей точки изображаемой поверхности, определяемой из уравнения проектирования. Если градиент поверхности в этой точке равен (р, q), то яркость равна R^p, q). Если мы нормализуем эту функцию так, чтобы коэффициент пропорциональности равнялся единице, то получим Е(х, у) = R(p, q). Это уравнение освещенности изображения является фундаментальным для методов восстановления формы поверхности, рассматриваемых в этой и следующих главах. В качестве иллюстрации полутоновых явлений рассмотрим сферу с ламбертовой поверхностью, освещенную точечным источником, который находится рядом с наблюдателем (рис. 10.16). В этом случае 0е = 0f и (ps, q^ = (0, 0), поэтому R^p, q) = 1/[/1 4- р2 4- q2. Если сфера находится на оптической оси, мы можем выписать уравнение ее поверхности в виде z = = z0 4- У?2 — (х2 -у у2) для х2 4- у2 г2, где г — радиус, а — z0 — расстояние от центра сферы до линзы. Таким образом, р = — x/(z — z0) и q = — y/iz — z0), поэтому l/[/l 4- p2 4- q2 = (z — z^/r. В конечном итоге имеем
Рис. 10.16. Круговая симметрия карты отражательной способности, когда источник расположен в направлении наблюдения.
В случае ламбертовой сферы мы получим гладкое спадание яркости к границе круга, изображающего сферу. Этот эффект возникновения полутонов позволяет нам оценить форму объекта.
E(x,y) = R(p,q) = /1 -.
Яркость гладко спадает от максимума в центре изображения сферы к нулю по краям. Именно это изменение яркости позволяет нам заключить, что это изображение круглого, возможно сферического, объекта.
Если сфера имеет поверхность с другими отражательными свойствами, она даст другое изображение. Например, если взять
R(p. ql = 2±M±M_
]/ 1 + Ps + Qs
и (f’s- q$) = (0, 0), мы можем получить на изображении диск однородной яркости. Мы можем увидеть это также из того, что яркость в этом случае является функцией от -cos9,/cos9С и 9е = 6;. Таким образом, такая сфера, освещенная из положения, близкого к положению наблюдателя, кажется плоской, если он предполагает, что объекты вокруг него имеют поверхности с отражательными свойствами, близкими к ламбертовым. Именно поэтому полная луна кажется плоской, с нарисованными пятнами. Пятна — это изменения яркости, обусловленные разницей в отражательной способности поверхности. Часто отражательные свойства можно выразить как произведение двух сомножителей: геометрического, выражающего зависимость отражения света от угла, и коэффициента, выражающего долю падающего света, отраженного поверхностью. Этот коэффициент называется альбедо. Ниже мы обсудим методы для восстановления по изображению как формы, так и альбедо.
Полутоновая графика
Карта отражательной способности R (р, q) удобна при графическом изображении формы. Для вычисления уровня яркости в точке изображения данной поверхности z (х, у) мы находим точку пересечения соответствующего луча, идущего от наблюдателя, с этой поверхностью. Затем находим градиент (р, q) в этой точке и используем R(p, q) для определения соответствующей яркости.
Средства отображения могут дать изображения ограниченного числа уровней яркости, и человек тоже может различить сравнительно небольшое число градаций яркости. Следовательно, нет необходимости знать R (р, q) с очень высокой точностью. Это дает возможность использовать для оценки R(p, q) таблицу, построенную для дискретных значений р и q (рис. 10.17). При этом несложно вычислить яркость любой точки изображения. Эту информацию можно расположить в постоянной вспомогательной памяти между буфером изображения и дисплеем. Буфер изображения — это память, обычно используемая для запоминания уровней яркости изображения. В рассматриваемом здесь методе она вместо этого заполняется значениями ориентации поверх-
,58.71.81.8691.98.99.53.70.79.85.88 ,.97.98.43.51.70.80.83.87.90.32.42.51.71.80.84.85.18.29.41.5070.78.80.08.13.28.40.50.66.67.01.06.11.26.39.49.51,58.71.81.8691.98.99.53.70.79.85.88 ,.97.98.43.51.70.80.83.87.90.32.42.51.71.80.84.85.18.29.41.5070.78.80.08.13.28.40.50.66.67.01.06.11.26.39.49.51+ 35
,58
.71
.81
.86
91
.98
.99
.53
.70
.79
.85
.88 ,
.97
.98
.43
.51
.70
.80
.83
.87
.90
.32
.42
.51
.71
.80
.84
.85
.18
.29
.41
.50
70
.78
.80
.08
.13
.28
.40
.50
.66
.67
.01
.06
.11
.26
.39
.49
.51
,58
.71
.81
.86
91
.98
.99
.53
.70
.79
.85
.88 ,
.97
.98
.43
.51
.70
.80
.83
.87
.90
.32
.42
.51
.71
.80
.84
.85
.18
.29
.41
.50
70
.78
.80
.08
.13
.28
.40
.50
.66
.67
.01
.06
.11
.26
.39
.49
.51
+ 25
+ 15
+ 05 q -05 - 15
25
35
- 35 - 25 - 15 -05 +.05 +.15 +.25 +35
Р
Рис. 10.17. Построение полутоновых изображений, кодированных по карте отражательной способности, представленной в виде дискретной таблицы.
Рис. 10.18. Блочная диаграмма, полученная на основе карты рельефа поверхности горного района Земли.
Цифровая модель земной поверхности любезно предоставлена Куртом Брасселом.
Рис. 10.19. Полутоновые изображения поверхности, представленной на предыдущем рисунке.
Здесь мы смотрим сверху вниз на эту поверхность. На левом рисунке предполагается, что свет приходит снизу справа, что соответствует утреннему освещению точек земной поверхносги к северу от экватора. На правом рисунке предполагается, что свет приходит снизу слева, что соотвегствует условиям освещения во второй по ювине дня.
ности. Toi да изменения в отражательных свойствах поверхности и перемещения источников света не требуют ничего более сложного, чем изменения в таблице.
Блочная диаграмма, полученная из цифровой модели земной поверхности в юго-западной части Швейцарии, показана на рис. 10.18. Блочная диаграмма — это наклонная проекция набора профилей, полученных сечением поверхности семейством параллельных вертикальных плоскостей, идущих с запада на восток. На рис. 10.19 представлены в ортогональной проекции два вида той же самой поверхности, полученные с помощью описанных выше методов при двух различных предположениях об условиях освещения.
Стереофотометрия
Карта отражательной способности чрезвычайно полезна для компьютерной графики, когда изображение строится по описанию формы объекта. Однако мы хотели бы продвинуться в друюм направлении: по данному изображению мы хотим восстанавливать форму. Карта отражательной способности R(p, q) однозначно определяет зависимость яркости от ориентации поверхности заданной величинами р, q. Обрат-
ная зависимость не однозначна. Бесконечное число ориентаций поверхности может дать одну и ту же яркость. Линии уровня R(p, q) определяют на карте отражательной способности множество таких ориентаций.
Ориентацию поверхности обычно можно определить однозначно для некоторых особых точек, например тех, в которых яркость имеет максимум. Для ламбертовой поверхности, например, R(p, g) = 1 только тогда, когда (р, q) = (ps, qs). Однако в общем случае соответствие между яркостью и ориентацией поверхности не может быть однозначным, так как яркость зависит от одной переменной, а ориентация — от двух.
Для локального восстановления ориентации поверхности мы должны привлечь дополнительную информацию. Для определения двух неизвестных, р и q. нам необходимы два уравнения. Два изображения, полученные при разном освещении, буЛут описываться двумя уравнениями для каждой точки изображения Ry^p, q) = Е} и R2(p, q) = Е2 (рис. 10.20). Если эти уравнения линейны и независимы, для р и q будет существовать единственное решение.
Предположим, например, что R, (р, q) = р'Й + р, р + q, q^vx и R2(p, q) = Й1 + P2P + q2qMT2s где п = ^Ч + р? + д? и r2 = рЧ + р2 + gf Тогда
Рис. 10.20. Иллюстрация счереофотометрического метода, когда из одной и той же точки наблюдения берется более чем одно изображение в разных условиях освещения.
В общем случае яркость площадки поверхности будет различной при двух различных условиях освещения.
Рис. 10.21. Случай ламбертовой поверхности, освещаемой последовательно двумя разными точечными источниками.
Существует не более двух ориентаций поверхности, порождающих данную пару значений яркости. Они находятся на пересечении соответствующих линий уровня двух карт отражательной способности, наложенных друг на друга.
„ . (Е1Г1 - l)q2-(Е^- l)qi = (Е^2-1)Р1-(Е?Г1-1)р2
PyQ2 - 31Р2 ’ Р^2~Ч1Р2
при условии, что pv/q^ p2/q2- Таким образом, единственное решение для ориентации поверхности можно получить в любой точке при наличии двух изображений, полученных при различных условиях освещения. Это является иллюстрацией стереофотометрического метода.
Между прочим, условие pjqr p2/q2 препятствует использованию этого подхода к изображениям лунных морей, полученных с Земли с помощью телескопов, поскольку плоскости движения Луны вокруг Земли и Земли вокруг Солнца почти совпадают. Все положения источника света, соответствующие различным фазам Луны, располагаются на прямой, проходящей в градиентном пространстве через начало координат. Вид приведенных выше уравнений указывает на то, что ошибка определения градиента (р, q), вызванная ошибкой измерения яркостей (Еь Е2), обратно пропорциональна разности ptq2 - qip2. Для улучшения результата два направления на источник должны быть далеки в градиентном пространстве. Если уравнения нелинейны, может оказаться, что решения нет или оно не единственно (рис. 10.21). Предположим, например, что
/1 + р + q2 /1 + pi + 9i
Я 2 (Р, 9) =Я 2 (Р, 9) =1 + P2P + 929
Я 2 (Р, 9) =
Я 2 (Р, 9) =
]/1 + р2 + q2 ]/1 + Рг + 92
В упражнении 10.13 мы покажем, что здесь могут быть два, одно или ни одного решения в зависимости от конкретных значений R^ и R2. (В вырожденных случаях, например при (рь q^ = (р2, 92), может быть даже бесконечное число решений.)
Часто бывает удобнее использовать не два, а три разных условия освещения. В некоторых случаях уравнения при этом становятся линейными. Важнее то, что это может улучшить точность и увеличить диапазон ориентаций, при которых можно получить решение. Наконец, как будет показано в следующем разделе, третье изображение дает возможность восстановить еще один параметр (альбедо).
Восстановление альбедо
Часто поверхность бывает неоднородной с точки зрения отражательных свойств. В самом простом случае яркость может оказаться произведением коэффициента отражения (альбедо) и некоторой функции, зависящей только от ориентации. Здесь мы предполагаем, что альбедо — это число, лежащее между нулем и единицей, и показывающее, какое количество света отражает поверхность по отношению к некоторой идеальной поверхности с той же геометрической зависимостью в ДФОС. Предположим, например, что матовая поверхность ведет себя как ламбертова поверхность с той разницей, что она «серая», т. е. отражает не весь падающий свет. Ее яркость равна pcos0t, где р — альбедо, которое может изменяться от точки к точке. Для восстановления альбедо и градиента (р, q) нам нужны три уравнения, которые мы можем получить из трех измерений изображения.
Как и раньше, мы можем выписать решение непосредственно через компоненты нормального вектора, а можно использовать и более компактную запись. Если мы введем единичные векторы в направлениях трех положений источника s, = ( —р,, — q^ I)7/]/1 + р2 + q2 для z = 1, 2, 3, то Ei = p(Si-n) для z = 1, 2, 3, где п = ( — р, — q, 1)7|/1 + р2 + q2 является единичной нормалью к поверхности. Таким образом, имеем три уравнения Ev — pf^-n), Е2 = Р(«2 й)„ Е3 = p(s3.n) для единичного вектора п и альбедо р. Мы можем объединить эти уравнения и получить Е ~ pSn, где строки матрицы S — направления на источники света sb s2 и s3, а компоненты вектора Е — это три измерения яркости. Тогда pn = S-1E, если матрица S невырожденна. Мы покажем
в упражнении 10,16, что на самом деле pn= [ЕД^ х §3) + £2(83 х Si) + + Е3 (^ х s2)]/[sis2s3], где [МгУ = ^ -(s2 х s3) — смешанное произведение. Следовательно, направление нормали к поверхности является произведением константы на линейную комбинацию трех векторов, каждый из которых перпендикулярен двум из трех направлений на источник. Каждый из этих векторов умножается на яркость, наблюдаемую при использовании третьего источника. Для восстановления альбедо необходимо найти длину результирующего вектора. В данном случае вычисление прямое, и можно гарантировать единственность результата.
Таблицы ориентации поверхности *
^г.-
Карта отражательной способности обычно определяется экспериментально, и в этом случае нет возможности получить явное аналитическое решение стереофотометрической задачи. Более того, даже когда можно найти решение в явном виде, оно обычно включает большой объем вычислений. Эту трудность можно попытаться преодолеть с помощью индексированных таблиц измерений яркости (рис. 10.22). Они быстро обеспечивают результаты и адекватную точность, если известно, что яркость можно измерить с ограниченной точностью.
Таблицу можно построить по карте отражательной способности, заданной в виде явной формулы, или заполнить экспериментально. Берется изображение калибровочного объекта известной формы, например сферы. Яркости, полученные в конкретной точке в разных условиях
Рис. 10.22. Стереофотометрический метод, представляющий собой быстрый и грубый метод восстановления формы поверхности.
Вычисления можно закодировать в виде таблицы, построенной для дискретных значений измерения яркости.j; ч
освещения, используются для определения входа в таблицу. Данные об ориентации поверхности вычисляются по известной форме объекта и помещаются в соответствующее место таблицы. Возникающие в таблице пробелы, когда калибровочный объект не имеет точки с соответствующей ориентацией, можно заполнить, используя интерполяцию.
Когда используются методы стереофотометрии, то каждому элементу изображения приписывается оценка ориентации поверхности. В результате получается игольчатая диаграмма. Ее можно представить графически как изображение поверхности, покрытой регулярной решеткой коротких векторов-нормалей. Каждая «игла» представляет собой проекцию вектора нормали к той площадке поверхности, которая соответствует данному элементу изображения (пикселю). Направление иглы на изображении совпадает с направлением наискорейшего спуска поверхности, а ее длина пропорциональна синусу угла между нормалью и направлением на наблюдателя. Игольчатая диаграмма является представлением формы поверхности, и с ее помощью можно распознать объект и определить его ориентацию в пространстве. Пример игольчатой диаграммы приводится в гл. 18, в которой рассматривается разбор деталей из навала. В этом случае игольчатые диаграммы используются для получения информации, позволяющей определить положение в пространстве объекта известной формы.
Существуют, конечно, и другие способы представления формы поверхности, например карта дальности. Из нее легко получить игольчатую диаграмму, для этого нужно взять первые разности для определения градиента, однако обратная задача переопределена и требует метода наименьших квадратов. Мы отложим рассмотрение этой задачи на конец следующей главы, так как прежде нужно ознакомиться с вариационным исчислением.
Комментарии к литературе г, Xd;.,
В работе [78] рассматриваются вопросы фотометрии и методы вычисления оптического потока. Частично она основана на более ранней книге Муна «Научные основы светотехники» [76], которая имеет дело главным образом с потоками света для освещения сооружений. Гауссова сфера и стереографическая проекция описаны в работе [57]. Ду Кармо также рассматривает сферическое гауссово отображение и гауссову кривизну в книге «Дифференциальная геометрия кривых поверхностей» [24]. Шейфер использует градиентное пространство для анализа теней и затеняющих контуров в работе [97].
Фотометрические термины менялись с годами и стандартизовались относительно недавно. Проблемы были, в частности, с понятием «отражательная способность». К счастью, в Национальном бюро стандартов разрешили эту неоднозначность [366].
Хорн [250] ввел карту отражательной способности и продемонстри-
ровал некоторые ее приложения к машинному зрению. Позже авторы работы [260] связали карту отражательной способности с двухлучевой функцией отражательной способности, введенной в работе [366]. Попытки автоматизировать синтез полутонового изображения имеют длинную историю (см., например, работу [155]). Хорн [252] объяснил эти попытки в унифицированных понятиях, с помощью карты отражательной способности. Хорн и Бахман [256] регистрировали изображения, полученные со спутников с помощью цифровых моделей рельефа, используя подобные приемы. Большая таблица для хранения дискретной карты отражательной способности была описана в работах [141, 430]. Методы, развитые в компьютерной графике для изображения формы с учетом полутонов, часто основываются на эвристическом подходе. Однако в нескольких случаях были развиты более близкие к реальности физические модели структуры поверхности (см., например, работу [460]). Более точные модели отражения можно найти в ссылках к следующей главе.
Стереофотометрический метод был развит Вудхэмом [479, 481] и анализировался в работе [262]. Сильвер [428] развил способы применения основного метода к поверхностям, отражательные свойства которых зависят от нескольких параметров, а Икехи [274] рассмотрел протяженные источники света и поверхности с зеркальным или глянцевым отражением. После этого метод использовался и анализировался в других работах (см., например, работы [179, 258, 392]).
Использование игольчатых диаграмм для описания топографии поверхности докладывалось Хорном в 1979 г. Применение фотометрического стереометода для разбора навала описано в гл. 18.
Упражнения
ЮЛ. В этой главе мы определили косинусы углов излучения 6е и падения 0„ исходя из компонент градиента р и q. Для точного вычисления угла мы должны знать и его косинус, и синус. Покажите, что
«р2 + ^2 о - Р^2 + (^ - qs? + kqsp - рд?
$6 V l+p2 + q2’' /(l+p2 + ?2)(l+pf + ^) '
Обсудим некоторые парадоксы, касающиеся яркости изображения и сцены.
Почему освещенность плоскости изображения не зависит от расстояния до поверхности? В конце концов, если линзу удалить от поверхности на двойное расстояние, через нее пройдет вчетверо меньше света от данной площадки поверхности.
Покажите, что яркости изображения поверхности в идеальном зеркале и поверхности равны и не зависят от формы зеркала.
Рис. 10.23. Площадка поверхности, наклоненная к горизонту, принимает излучение лишь части полусферического неба.Рис. 10.23. Площадка поверхности, наклоненная к горизонту, принимает излучение лишь части полусферического неба.
Рис. 10.23. Площадка поверхности, наклоненная к горизонту, принимает излучение лишь части полусферического неба.
Рис. 10.23. Площадка поверхности, наклоненная к горизонту, принимает излучение лишь части полусферического неба.
Термин сила света. часто неправильно употребляемый, означает мощность, испускаемую источником света в единичном телесном угле (ватт на стерадиан, Вт-ср”1). Покажите, что сила света изображения точечного источника, образованного выпуклым зеркалом, меньше силы света самого источника. Как сила света изображения меняется с кривизной?
Примирите кажущееся противоречие между утверждениями пп. б) и в).
Рассмотрим полусферический небосвод над маленькой наклоненной площадкой поверхности (рис. 10.23). Предположим, что нормаль к поверхности образует угол а < л/2 относительно зенита. Половина полусферы над поверхностью не затенена и порождает компоненту яркости, равную Е/2, как было показано раньше для ламбертовой поверхности. Вторая половина содержит темный сектор (излучение которого не попадает на площадку). Видима лишь часть от зенита до полярного угла 9'.
Покажите, что sin 9' sin ex cos ф = cos 9' cos ex, рассмотрев соответствующий сферический треугольник. Докажите, что tg (л/2 — 9') = = tgacosф. Указание: см. в приложении формулы сферической тригонометрии.
Вклад освещающей части полусферы равняется
л/2 О'
* Г£
,—sin 9 cos 9 б/9б/ф..
.-л/2 О',■
Покажжте, жо•
п/2л/2';
лЕ С 1
Sin29'^Q = ^—~77Уф,т
2л J 1 + tg acos2 фт' "7
- л/2-л/2;v‘'
Указание: jsin 9 cos9t/9 = (1/2)sin2 9.
Покажите, что доля излучения от рассматриваемой части небосклона равна (при а = tg а)
п/2
1
J 14-й cos ф
-п/2
£
Докажите, что полная яркость удовлетворяет уравнению — (1 4- cos it)
Определите карту отражательной способности для зеркальной поверхности, освещаемой точечным источником. Другими словами, найдите яркость по соответствующей ДФОС и распределению источников. Указание: это может показаться несколько сложным, поскольку подынтегральное выражение содержит произведение двух 8-функций, однако с этим можно справиться, используя свойства единичного импульса.
ДФОС для поверхности Миннарта описывается выражением /(9Ь ф,; 9е, фе) = (к 4- 1) (cos 9, cos 9е)к1/2л, где 0 < к С 1. Коллимированный (узконаправленный) точечный источник в направлении (9хфх) с интенсивностью £0 задается формулой £,(9f, ф,) = £О5(9,. — 9х)8(ф, — — ф^/sin 9Х. Покажите, что яркость поверхности определяется формулой Lr = £0 (к 4- 1) cosfc+1 9е cosfc 9,/2л, если — л/2 9,- л/2. Для каких величин к яркость не зависит от направления наблюдения?
Гномоническую проекцию можно использовать для отображения гауссовой сферы с центром в начале координат на плоскость, касательную к северному полюсу. Проектирование осуществляется с помощью прямых, проведенных из начала координат через точки на сфере до пересечения с плоскостью z = 1. Точка п на гауссовой сфере будет отображаться в точку n/(n-z) на плоскости. Эта плоскость является известным нам градиентным пространством.
й) Стереографическая проекция дает другой способ отображения гауссовой сферы на плоскость. В этом случае прямая проводится из южного полюса сферы через точку на сфере до пересечения с плоскостью z — 1. Какая точка плоскости z = 1 соответствует точке п гауссовой сферы? Указание: при наглядном представлении этого отношения помощь может оказать рис. 11.9.
Какой контур на сфере соответствует границе видимости объекта? Во что отобразится этот контур при стереографической проекции? Предположите, что направление от сцены к наблюдателю параллельно оси сферы «север — юг». Указание: на границе видимости направление наблюдения касательно к поверхности.
Карту отражательной способности можно параметризовать раз-
Рис. 10.24. Карта отражательной способности, изображенная на гауссовой сфере. а — линии постоянной яркости особенно просты для ламбертовой поверхности, освещенной точечным источником; б — это облегчает доказательство того, что в этом случае существует не больше двух решений для стереофотометрической задачи с двумя источниками.
личными способами. В этой главе мы изучали применение градиента (р, q) как средства определения ориентации поверхности. Для этой цели в некоторых случаях больше подходит гауссова сфера. Каждая точка на гауссовой сфере соответствует определенному направлению от центра сферы к этой точке. Ориентацию площадки поверхности можно определить приписыванием этого направления ее нормали. Таким образом, данную ориентацию поверхности можно связать с некоторой конкретной точкой гауссовой сферы. Карта отражательной способности — это просто способ связать яркость с ориентацией.
а^ Каковы линии постоянной яркости на гауссовой сфере в случае ламбертовой поверхности, освещаемой точечным источником? Указание: см. рис. 10.24, а
Покажите, что существует не более двух ориентаций поверхности, дающих данную пару величин яркости в том случае, когда стерео- фотометрический метод используется применительно к ламбертовой поверхности. Предположите, что используются два разных источника света. Указание: см. рис. 10.24,6.
Идеально зеркальная поверхность, освещаемая единственным точечным источником, порождает простую карту отражательной способности. На гауссовой сфере ее можно представить импульсом, лежащим посредине между направлениями на источник и на наблюдателя.
Теперь рассмотрите глянцевую поверхность, микроструктуру которой можно промоделировать с помощью случайных отклонений ориентации поверхности от локального среднего положения. Предположим, что существует предел угла отклонения нормали от локальной средней нормали. Опишите карту отражательной способности этой поверхности на гауссовой сфере.
Рассмотрите затем идеально зеркальную поверхность, освещаемую круговым симметричным источником. Предположим, что этот источник имеет ограниченный диаметр. Какова в этом случае карта отражательной способности? Указание: ответ не такой, как в предыдущем пункте, но есть аналогия.
Сравните эти две карты отражательной способности. Как вы могли бы различить эти два случая практически?
Покажите, что в случае ламбертового отражения средняя яркость области R поверхности равна скалярному произведению средней нормали к поверхности п и единичного вектора s в направлении на источник света. Здесь
An = jj ndA,
RТ
где А — площадь области изображения. Что случится, если часть области затеняет сама себя? Что это говорит нам о проблеме восстановления формы по полутонам? Указание: обратите внимание, что п — обычно не единичный вектор.
Предположим, мы промоделировали микроструктуру поверхности, используя неровности поверхности, слишком мелкие, чтобы быть различимыми. Предположим, что при рассмотрении в соответствующем (мелком) масштабе эта неровная поверхность отражает как ламбертова поверхность. Будет ли эта поверхность, рассматриваемая в масштабе, где неровности неразличимы, вести себя так же, как ламбертова? Рассмотрите отдельно два предельных случая, когда падающие лучи и направление на наблюдателя близки к касательной к поверхности. 10.10. Покажите, что в случае ламбертова отражения протяженный источник можно заменить эквивалентным точечным источником, положение и яркость которого определяются интегрированием яркости протяженного источника по единичной сфере направлений падения луча,
Es = jj E(s) sdS,s
где E(s) —яркость источника в направлении s. Что это говорит нам о задаче восстановления формы по полутонам?
Примените эту идею к примеру с полусферическим небом. Покажите, что эквивалентный источник света отклонен на угол а/2 от зенита и что его яркость пропорциональна cos(а/2). Указание: некоторая часть протяженного источника света не видна с площадки поверхности.
Ламбертова поверхность, освещаемая точечным источником, имеет карту отражательной способности вида
, Vх+ р + 4 и + р2 + q2 , ,
где источник света лежит в направлении ( — ps, — qs, l)r.
Какая величина градиента (р, q) максимизирует это выражение? Является ли ваш максимум глобальным? Единственным?
Для каких величин градиента R (р, q) = 0? Каков соответствующий контур в градиентном пространстве?
Предположим, что поверхность имеет отражательную способность ]/cos 6,/cos 6е или А(п) = |/(H-f)/(n- v), где ri — единичная нормаль к поверхности, s — направление на источник света, v — направление на наблюдателя. Мы измеряем яркость в конкретной точке поверхности при двух условиях освещения. Яркость Ej получается с помощью источника sb а яркость Е2 — с помощью источника s2. Покажите, что ri-(Efv — sj = 0 и n (E2v — s2) = 0. Сделайте вывод, что нормаль п параллельна вектору п = + [Е? (s2 х v) — Е2 (^ х v) 4- (sx х s2)]. Знак выбирается так, что n z>0. Указание-, вы можете проверить результат, взяв скалярное произведение с векторами sb s2 и v.
Идеальная ламбертова поверхность приводит к освещенности изображения
Е =1 + /^ + gsg
|/i + р2 + q2 Vх + р* + q2
если точечный источник помещен в направлении ( — ps, — qs, 1)т. Единственное измерение ограничивает градиент поверхности коническим сечением (гипербола, парабола или эллипс) в пространстве pq. Используя стереофотометрический метод, мы перемещаем источник света, чтобы получить два измерения, Ех и Е2. Это ограничивает градиент поверхности пересечением двух конических сечений в градиентном пространстве. В общем случае два конических сечения могут пересекаться сразу в четырех различных местах. Покажите, что если Е имеет приведенный выше вид, то для р и q существует не больше двух решений. Указание: покажите, что все решения должны лежать на прямой линии.
Для идеальной ламбертовой поверхности, освещаемой точечным источником, освещенность изображения равняется cos 9,, что можно записать в виде скалярного произведения единичных векторов Е = = й • s, где й — единичный вектор нормали к поверхности, as — единичный вектор в направлении на источник света. Предположим, как в предыдущем упражнении, что два измерения, Ех и Е2, проведены при двух положениях источника света, st и s2. Определите два
Рис. 10.25. Освещение ламбертовой поверхности тремя источниками света, направленными под прямыми углами друг к другу.
Измерения яркости пропорциональны направляющим косинусам нормали к поверхности независимо от направления наблюдения.
возможных решения для нормали к поверхности. Когда существует только одно решение? Указание: используйте метод решения векторных уравнений, описанный в приложении. Можно использовать также указанный там метод решения сферических треугольников.
Предположим, что три источника света, которые можно включать и выключать, помещены далеко от площадки ламбертовой поверхности. Углы между направлениями на источники, как они видны с данной площадки, равны 90° (рис. 10.25). Покажите, что три величины наблюдаемой яркости пропорциональны направляющим косинусам вектора нормали к площадке в координатной системе, определенной направлениями на три источника света. Сделайте вывод, что рп = Re, где р — альбедо, п — единичная нормаль к поверхности, е — вектор, компоненты которого — три измерения яркости, a R — матрица поворота, соответствующая преобразованию между координатной системой, определенной тремя направлениями на источники света, и "собственной системой координат наблюдателя. Замечание: этот случай гораздо проще, чем общий случай, рассмотренный в этой главе.
Мы видели, что в случае ламбертовой поверхности и трех источников света стереофотометрическая задача сводится к решению
трех уравнений £j = р (s, • п), £2 = р (s2 ■ n), £3 = р (§3 • п) относительно единичного вектора п и альбедо р.
Попарно вычитая уравнения, покажите, что pn(£!S2 - £2Sj) = О и pn(£2s3 - £3s2) = 0.'
Теперь используйте тот факт, что п перпендикулярен как (£iS2 — £2Sj), так и (£2s3 — £3s2), и покажите, что п должен быть параллелен векторному произведению (Е^ - £2Sj) х (£2s3 - £3s2) = = £2 [£1 (s2 х s3) + £2 (s3 x s,) + £3 (sj x $2)].
Покажите, что pn = к [£j (s2 x s3) 4- £2 (s3 x sj 4- £3 (s, x s2)] для некоторой константы к.
Возьмите скалярное произведение этого соотношения и s^ вспомните, что £) = p(n-S| ), и покажите, что р (n-Sj) = k£j [s^Sj], где [S1S2S3] - смешанное произведение §1-(§2 х §3).
Покажите, что к = l/[s!S2s3], так что
а = [Ej^xJj)+_£^^^^^^ '
[§1§283]
В этой главе мы обсудили метод восстановления альбедо и ориентации ламбертовой поверхности при помощи трех источников света. Этот метод работает только для площадок с такой ориентацией, что на них попадает свет от всех трех источников.
Здесь мы изучим области ориентаций, которые можно успешно восстановить. Покажите, что эту область можно представлять в виде сферического треугольника на единичной сфере. Покажите, что вершины этого треугольника лежат на прямых s3 х s1; s2 х s3 и х s2. Указание: удаленный точечный источник будет освещать площадки поверхности с ориентациями в пределах полусферы.
Чему равны углы этого треугольника? Чему равен телесный угол направлений нормали к поверхности, для которых применим стерео- фотометрический метод? Указание: площадь сферического треугольника с углами а, 0 и у равна квадрату радиуса, умноженному на сферический избыток (а 4- Р 4- у — тс), т. е. А = R2 (а 4- Р + у — л).
Как мы можем максимизировать область ориентаций? Указание: рассматриваемый сферический треугольник нельзя сделать больше полусферы.
Существует дополнительное соображение. Было бы неразумно располагать часть сферического треугольника на полусфере, соответствующей ориентации поверхности от наблюдателя. Покажите, что это не может произойти, если луч зрения лежит внутри сферического треугольника, образованного sb s2 и s3, т. е. если v = aS, 4- bs2 4- cs3 для некоторых а 0, b 0 и с 0. Мы не можем расположить источники света в любом месте. Например, ясно, что если два источника поместить в одно место, то второе изображение не даст дополнительной информации. Если расположить их примерно в одном направлении,
то изображения будут отличаться мало. Можно предположить, что в этом случае велико будет влияние шумов.
Рассмотрим малые вариации в измерениях яркости. Как они влияют на результат определения нормали к поверхности? Указание: продифференцируйте уравнение для рп по вектору Е = (Еь £2, Е3)т.
Стандартное отклонение результата равняется полученной таким образом производной, умноженной на стандартное отклонение измерений. Как можно минимизировать чувствительность к шумам? Указание: смешанное произведение Esxs2s3] равно объему параллелепипеда, который можно построить на этих трех векторах.
Обдумайте полученные противоречивые требования к расположению источников. Рассмотрите способы преодоления этих противоречий с помощью протяженных источников.
Используя стереофотометрический метод, мы могли бы взять более двух измерений яркости для улучшения точности. Представьте себе, что поочередно используется п источников и получается п изображений. Предположите, что рассматриваемая поверхность ламбертова и что направление на /-й источник задается единичным вектором $. На этот раз мы предполагаем, что поверхность может иметь альбедо р, не равное единице. В каждой точке на изображении мы хотим найти единичную нормаль к поверхности п, которая минимизирует
п
£ (рП §, - £,-)2, &. г = 1
где Е, — z-e измерение яркости в этой точке. к
Покажите, что вектор, минимизирующий сумму ошибок, равен
рп =рп =лЁ U1лЁ U1.- 1 п.- 1 п
рп =
рп =
л
Ё U1
л
Ё U1
.- 1 п
.- 1 п
гДе.аЪт— диадное произведение векторов а и Ь:
axbx axbv axb,ауЬх ^уЬу Uybzazbx azby azbz
a [ ]-1 означает обращение матрицы.
Каково наименьшее число п измерений, необходимых для существования указанной обратной матрицы? Указание: эта часть задачи нетривиальна.
Как все это изменится, если положить альбедо равным единице? Указание: вам могут понадобиться множители Лагранжа для учета этого ограничения, как объясняется в приложении.
Карта отражательной способности: восстановление формы по полутонам
В предыдущей главе мы ввели карту отражательной способности и уравнение освещенности изображения и использовали их для восстановления ориентации поверхности по известным изображениям, полученным в различных условиях освещения. В этой главе мы займемся восстановлением формы поверхности по единственному изображению. Это более трудная задача, требующая более развитого аппарата. Сначала мы исследуем случай линейной карты отражательной способности. Оказывается, что при освещении точечным источником карта отражательной способности поверхности лунных морей или каменистых планет (например, Меркурия) является функциями линейных комбинаций компонент градиента. Затем рассмотрим задачу восстановления поверхности по распределению полутонов, когда карта отражательной способности поверхности обладает вращательной симметрией. Наконец, мы решим задачу в общем случае.
Уравнение освещенности изображения можно рассматривать как нелинейное уравнение в частных производных первого порядка. В традиционных методах решения таких уравнений используется распространение решений вдоль характеристик. Это последовательный процесс. Нас больше интересуют методы, ведущие к параллельным алгоритмам. Вследствие этого мы формулируем задачу минимизации, которая приводит к релаксационному алгоритму на сетке. Для минимизации мы выбираем интеграл от разности между наблюдаемой и вычисленной яркостями для определяемой формы поверхности.
Конечно, очень важно знать, существует ли решение этих задач и единственно ли оно? К сожалению, вопросы существования и единственности трудно решить без подробных предположений о карте отражательной способности. Мы кратко рассмотрим, что известно с этой точки зрения, и закончим главу демонстрацией того, как идеи, развитые в ней, можно приложить к улучшению результатов, полученных с помощью стереофотометрического метода, который был рассмотрен в предыдущей главе.
Восстановление формы по полутонам ч
Как можно восстановить форму поверхности по единственному изображению? . 4
Различные части поверхности имеют различную ориентацию и поэтому видны с различной яркостью. Мы можем воспользоваться этими пространственными изменениями яркости, в данном случае называемыми распределением полутонов, для оценки ориентации площадок поверхности. Однако измерение яркости в одной точке дает только одно соотношение, в то время как ориентация зависит от двух параметров. Без привлечения дополнительной информации мы не можем восстановить ориентацию площадки поверхности по уравнению освещенности изображения Е (х, у) = R (р, q). Мы уже обсуждали один из способов введения другого ограничения: использование дополнительных изображений, полученных при других условиях освещения.
ИЛЛ. Распространение решения
Что делать, если в нашем распоряжении только одна картинка? Человек воспринимает черты лица (как геометрическую форму) по одной фотографии в журнале. Это должно означать либо что такой информации достаточно, либо что мы неявно вводим дополнительные предположения. Большинство поверхностей гладкие, не имеющие разрывов по дальности. Частные производные также обычно непрерывны. Более широкий класс объектов имеет кусочно-гладкие поверхности с нарушением гладкости вдоль ребер.
Предположение гладкости является сильным ограничением. Соседние площадки поверхности нельзя считать ориентированными произвольно. Соединяясь, они должны образовывать непрерывную гладкую поверхность. Таким образом, можно рассмотреть глобальный метод, основанный на предположении гладкости.
Линейные карты отражательной способности
Для начала рассмотрим частный случай. Предположим, что R^p, q) = flap + bq), где а и b — константы (рис. 11.1).
Здесь / — строго монотонная функция, имеющая обратную функцию У’1 (рис. 11.2). Из уравнения освещенности изображения имеем ар 4- bq =f~x [Е(х, у)]- В данной точке изображения нельзя определить градиент (р, q) только по измерению яркости, но мы имеем одно уравнение, накладывающее ограничение на его возможные значения.
Наклон поверхности в направлении, образующем угол 9 с осью х, определяется выражением т (9) = р cos 9 + q sin 9. Это производная по направлению. Теперь выберем такое направление 90 (рис. 11.1), что tg 90 = b/а, т. е. cos 90 = а[^ а2 4- Ь2 и sin 90 = ЬД/а2 4- Ь2. Наклон в этом направлении описывается формулой т(90) = (пр 4- bq)/\/a2 4- b2 = =/~ 1 [Е (х, уД^а2 4- Ь2. Таким образом мы можем определить наклон
Рис. 11.1. Простая карта отражательной способности, являющейся линейной комбинацией компонент градиента.
Линии постоянной яркости представляют собой параллельные прямые в градиентном пространстве.
в этом направлении. Однако заметим, что мы ничего не знаем о наклоне в перпендикулярном направлении.
Начав в некоторой точке изображения, мы можем сделать маленький шаг 8^, порождающий изменение 8z = т^. Таким образом, dz/d^ =f~x [Е(х, у)]Д/а2 + Ь2, где х(Ц = х0 4- cos9 и у(Q = у0 4- sin9.
Предположим, что мы начинаем с решения в точке (х0, у0, z0)r поверхности. Интегрируя дифференциальное уравнение для z, выведенное
Рис. 11.2. Непрерывная и монотонная функция /'
Существует обратная к ней функция, и значения s = ap *bf можЖб^М измерениям яркости Е^х. у). ., Д
Рис. 11.3. Базовые характеристики, представляющие собой параллельные прямые, если карта отражательной способности является функцией линейной комбинации компонент градиента.
Поверхность можно восстановить интегрированием вдоль этих прямых при условии, чю вдоль некоторой начальной кривой задано расстояние
где в подынтегральном выражении х и у - линейные функции ^, приведенные выше. Таким способом получим профиль поверхности вдоль прямой выделенного направления, определенного выше (одна из прямых линий на рис. 11.3). Этот профиль называется характеристической линией. Конечно, на практике подынтегральное выражение в виде формулы не задается, поэтому необходимо интегрировать численно. Мы не можем определить абсолютное расстояние до поверхности (константу интегрирования), поскольку абсолютное расстояние не влияет на распределение полутонов, влияют лишь изменения дальности. Если нам требуется абсолютное расстояние, необходимо знать величину z0 в одной точке. Однако форму можно восстановить без этой дополнительной информации.
Теперь предположим, что начальная информация задается не в одной точке, а в виде профиля z(p) вдоль некоторой кривой, которая нигде не касается выделенного направления (ц, Ь) (рис. 11.3). Тогда мы можем интегрировать вдоль линий, начинающихся в точках этой начальной кривой. Таким образом, можно построить всю поверхность, если начальная кривая имеет достаточную протяженность. Общий случай, который нам предстоит рассмотреть ниже, аналогичен этому случаю тем, что в нем поверхность определяется интегрированием вдоль особых кривых на изображении. Отличие заключается в том, что в общем случае эти кривые не являются прямыми линиями, определенными заранее.
Рассматриваемый частный случай имеет практическое значение, поскольку, как уже упоминалось, вещество лунных морей имеет отражательные свойства, хорошо аппроксимируемые функцией cos Gycos 0r. В этом случае карта отражательной способности является функцией линейной комбинации р и q. Именно этот вариант задачи восст- новления формы по распределению полутонов был первым привлекшим внимание. Здесь для простоты мы используем ортогональную проекцию, однако метод можно обобщить и на центральную проекцию.
Карты отражательной способности, обладающие круговой симметрией
Если источник света имеет распределение, обладающее круговой симметрией относительно наблюдателя, то и карта отражательной способности будет тоже обладать круговой симметрией. Следовательно, можно написать R (р, q) = f(p2 4- q2), где /—некоторая функция. Один из случаев, приводящих к круговой симметрии, — это полусферическое небо, при условии что наблюдатель смотрит строго сверху вниз. Другой пример — это точечный источник, расположенный в том же месте, где наблюдатель.
Теперь предположим, что функция / строго монотонна, дифференцируема и обладает обратной функцией/~1. Из уравнения освещенности изображения получим р2 4- q2 = f~Y [£(*, У)]- Направление наискорейшего спуска образует угол 9S с осью х, где tg 6S = q/p, поэтому cos9s = = р^/р2 4- q2 и sin 9S = q/]/р2 4- q2. Наклон поверхности в направлении наискорейшего спуска записывается в виде т (9J = ур2 4- q2 = =)//”1 [^ (х^ У)]- Таким образом, в этом случае мы можем найти наклон поверхности по ее заданной яркости, однако не можем найти направление наискорейшего спуска.
Предположим, мы узнали направление наискорейшего спуска, заданного градиентом (р, qY Тогда в этом направлении можно выбрать малый шаг длиной 8^. Приращения х и у будут иметь вид 8Х = = Р^Ур2 +q2 и 5у = <?5^/1/р2 + q2-
Приращение по z будет определяться равенством 8z = mSE, = = = 1/гЧЕк41Ыля упрощения этих уравнений вместо 8^ выберем шаг длиной ]/р2 4- q26^. Тогда 8х = р8^, 8у = qb^ 8z = = (р2 4- q2) 8^ —f~1 [Е (х, у)] 8^. Трудность этого подхода состоит в том, что для продолжения решения в новой точке необходимо определить значения р и q. Нам нужны уравнения, определяющие 8р и 6q через р и q соответственно.
Прежде чем обратиться к этой теме, посмотрим на градиент яркости изображения (Ех, Е^Т. Мы знаем, что плоская площадка поверхности порождает на изображении область однородной яркости. Поэтому ненулевой градиент яркости может возникнуть только в случае, если поверхность криволинейна. Чтобы найти градиент яркости, продифференцируем уравнение освещенности изображения Е(х, у) =/(р2 4- q2) по х и у. Пусть г, s и t — вторые частные производные z по х и у, т. е. по определению г = 62zl6x\ cPz/dxdy — s = d2z/dydx, t = d2z/dy2. Тогда, используя правило дифференцирования сложных функций, получим Ех = Ирг 4- q$Yf и Еу = Др$ 4- qt) f, где /'(з) - производная функции f (з) по ее единственному аргументу з.
Теперь вернемся к задаче определения изменений 6р и 6q, обусловленных приращением (8х, бу) на плоскости изображения. Простым
дифференцированием получим 8р = г8х + s8y и 84 = s8x + t8y. В нашем случае 8х = р8^ и 8у = ^8^, поэтому 8р = (pr + qs) 8^ и 6q = (ps + qt^bE, или 8р = (£х/2/')^ И cq = (Ey/2f) 8^. Перейдя к пределу при 8^0, получим дифференциальные уравнения х = р, у = q, z = р2 + q2, р — = Ex/2f, q = Ey/2f, где точка означает дифференцирование по ^. При заданных начальных значениях эту систему пяти обыкновенных дифференциальных уравнений можно решить численно, что даст некоторую кривую на поверхности объекта. Порожденные таким образом кривые называются характеристическими линиями, а в данном частном случае они оказываются и линиями наискорейшего спуска. Эти кривые везде перпендикулярны линиям постоянного уровня. В рассмотренном выше случае, когда карта отражательной способности представляла линейную функцию от р и q, характеристические линии были параллельными плоскими сечениями поверхности.
Дифференцируя х — р и у = q еще раз по ^, получим другие выражения x-Ex(2f, y — Ey/2f\ 2 =/"1 [£(х, у)]. Эти уравнения, конечно, можно решать только численно, так как Ех и Еу — измеренные значения яркости, а не аналитически заданные функции от х и у.
Рассмотренный частный случай имеет практическое значение, так как изображения, полученные с помощью сканирующего электронного микроскопа, аналогичны изображениям, полученным с помощью оптической системы, в которой источник света располагается рядом с наблюдателем и обладает вращательной симметрией. В электронном микроскопе сфокусированный пучок электронов ударяет поверхность в точке, определяемой двумя ортогональными отклоняющими катушками. В результате столкновения первичных падающих электронов и атомов вещества генерируются вторичные электроны, некоторые из которых отрываются и собираются электродом. Поскольку они генерируются в глубоких слоях вещества, то имеют меньше шансов выбраться наружу по сравнению с электронами поверхностного слоя. Поэтому вторичный поток электронов беднее при падении пучка на поверхность под прямым углом и богаче при касательном падении. Зондирующий луч сканирует растр, а яркость ЭЛТ при синхронном сканировании модулируется пропорционально току вторичных электронов. Результатом является (сильно увеличенное) изображение поверхности. Люди находят, что такие изображения легко расшифровывать, поскольку они обнаруживают распределение полутонов, возникающее благодаря зависимости яркости от ориентации поверхности. Единственная странность таких электронно-микроскопических изображений заключается в том, что площадки поверхности, перпендикулярные лучу зрения, кажутся самыми темными, а не самыми яркими.
. Общий случай
Предположим, что мы имеем координаты некоторой точки поверхности и хотим продолжить решение из этой точки. Используя малое
Рис. 11.4. Изменение высоты 82 как сумма изменений высот р8х и q8y. обу^ ловленных малым шагом по х и у соответственно.
приращение (8х, 8у), мы еще раз заметим, что изменение дальности задается выражением 82 = р8х + q8y, где р и q — первые частные производные 2 по х и у (рис. 11.4). Больше ничего нельзя сказать, пока не станут известны р и q. К сожалению, уравнение освещенности изображения дает только одно условие; этой информации недостаточно, чтобы получить решение как для р, так и для q.
Предположим временно, что мы узнали р и q в данной точке. Тогда мы можем продолжить решение из точки (х, у) в точку (х + 8х, у + 8у). Однако для этого необходимы новые значения р и q в этой точке (рис. 11.5). Теперь изменения р и q можно вычислить по
Рис. 11.5. Решение задачи восстановления формы по распределению полутонов, определяемое решением пяти дифференциальных уравнений относительно х. у, 2, р и q.
Результатом является характеристическая полоса, т. е. кривая в пространстве, вдоль ко* юрой известна ориентация поверхности.
9 Заказ 1963
формулам 8р = г8х + з8у и 84 = s8x + t8y, где г, s и t - вторые частныепроизводные z по х и у. Их можно переписать в компактной форме
где Н — матрица Гессе вторых частных производных г з\
3 Г/
Матрица Гессе дает информацию о кривизне поверхности. Для малых наклонов поверхности ее детерминант является гауссовой кривизной, которую мы введем ниже. Кроме того, след матрицы Гессе (сумма ее диагональных элементов) — это лапласиан дальности, который для малых наклонов поверхности равен удвоенной так называемой средней кривизне. Мы будем изучать кривизну поверхности в гл. 16 при рассмотрении расширенных гауссовых образов.
При использовании матрицы Гессе для вычисления изменений р и q необходимо знать ее компоненты (вторые частные производные z). Чтобы следить и за ними, нужно знать производные более высоких порядков. Так можно было бы продолжать дифференцирование до бесконечности. Однако заметим, что мы еще не использовали уравнение освещенности изображения. Дифференцируя его по х и у и используя правило дифференцирования сложной функции, получим Ех = = rRp 4- sRq и Еу = sRp 4- tRq или
где снова появляется матрица Гессе Н. Это соотношение связывает градиенты на изображении (£х, £jr и на карте отражательной способности (£р, Rq)T. Мы не можем разрешить его относительно Н, поскольку имеем только два уравнения и три неизвестных г, з и t, однако, к счастью, нам не нужно знать отдельных элементов матрицы Н. Ведь мы не можем продолжать решение в произвольном направлении, а только в некотором специально выбранном направлении. В этом ключевая идея подхода. Положим
где 8^ — малая величина. Тогдагде 8^ — малая величина. Тогда(8y\/R \' =Н или бу/\RqJ ,(8y\/R \' =Н или бу/\RqJ ,
где 8^ — малая величина. Тогда
где 8^ — малая величина. Тогда
(8y\/R \
' =Н или бу/\RqJ ,
(8y\/R \
' =Н или бу/\RqJ ,
Рис. 11.6. Шаги, взятые в пространстве pq и ху, параллельны градиентам Е(х, у) и R (/?, q) соответственно.Рис. 11.6. Шаги, взятые в пространстве pq и ху, параллельны градиентам Е(х, у) и R (/?, q) соответственно.
Рис. 11.6. Шаги, взятые в пространстве pq и ху, параллельны градиентам Е(х, у) и R (/?, q) соответственно.
Рис. 11.6. Шаги, взятые в пространстве pq и ху, параллельны градиентам Е(х, у) и R (/?, q) соответственно.
Таким образом, если направление смещения на плоскости изображения параллельно градиенту на карте отражательной способности, то можно вычислить изменения (р, q\ В свою очередь направление смещения в градиентном пространстве параллельно градиенту на изображении (рис. 11.6). Мы можем суммировать все это в виде пяти обыкновенных дифференциальных уравнений х = Rp, у = R^ z = pRp + qRq, p = Ex, q = = Ey, где точки означают дифференцирование по ^. Решение этих дифференциальных уравнений является кривой на поверхности. Вдоль нее будет изменяться параметр ^. Масштабированием этих уравнений мы можем сделать параметр ^ любой функцией длины кривой.
Характеристические и начальные линии
Кривые, являющиеся решениями пяти обыкновенных дифференциальных уравнений, называются характеристическими линиями, а их проекции на изображение — базовыми характеристиками. В действительности решения для х, у, z, р и q образуют характеристическую полосу, так как они определяют не только кривую в пространстве, но и ориентацию поверхности вдоль этой кривой (рис. 11.5).
Для получения полной поверхности мы должны «сшить» характеристические по.юсы. Каждая из них должна иметь точку, в которой заданы начальные значения; из нее начинается решение. Если нам задана начальная линия на поверхности, то решение для поверхности можно 9*
Рис. 11.7. Метод восстановления формы по распределению полутонов используемый для восстановления формы носа.
а — ।рубо дискретизированное нолуюновое изображение, готовое к вводу в компьютер: б — базовые характеристики, наложенные на первое изображение: « — линии уровня, вычисленные по оценкам, найденным вдоль характеристических кривых.
получить, если эта линия нигде не касается ни одной из характеристик. На этой линии начальные величины р и q можно получить с помощью уравнения освещенности изображения Е (х, у) = К (р, q) и известных производных z вдоль кривой. Предположим, например, что начальная линия задана через параметр р в виде х(р), у(р) и z(p). Тогда вдоль этой кривой cz/cp = р (сх/бр) + q (гу/бр).
Таким образом, мы сейчас ввели метод распространения характеристической полосы при решении дифференциальных уравнений в частных производных первого порядка. В нашем случае релевантным уравнением является уравнение освещенности изображения, т. е. (воз-
Карта отражательной способности: восстановление формы по полутонам 261 можно, нелинейное) уравнение в частных производных первого порядка.
На рис. 11.7 представлены изображение лица, преобразованное в цифровую форму, то же лицо с наложенными на него базовыми характеристиками и то же лицо с линиями уровня восстановленной поверхности.
Особые точки
Обычно начальная кривая не задается вместе с изображением объекта. Что мы можем сказать о форме, если такая дополнительная информация отсутствует? Существуют ли точки, в которых ориентацию поверхности можно определить непосредственно? Предположим, что R (р, q) имеет единственный изолированный максимум в точке (р0, ^о)» т. е. R (р, q) < R (р0, q0) для всех (р, g) 7^ (р0, q0\ Предположим также, что в некоторой точке (х0, у0) изображения £(х0, зд) = R (Ро, qo\ Тогда ясно, что в этой точке градиент (р, q} однозначно определяется как (р0, q0Y Может показаться, что из этой точки можно продолжить решение. К сожалению, в точке максимума R (р, q) частные производные Rp и Rq равны нулю. Поэтому решение не будет двигаться из этой точки, так как производные х и у равны нулю. Один из способов обойти этот тупик заключается в построении небольшого «колпачка» в этой точке и продолжении решения от границы этой области, как это будет показано в следующем разделе.
Степенные ряды в окрестности особой точки
Чтобы узнать, что происходит в окрестности особой точки, рассмотрим карту отражательной способности R (р, q) = (р2 + ^2)/2. В этом случае мы имеем отдельный изолированный минимум. Пусть особая точка совпадает с началом координат, т. е. £(0, 0) = 0. Тогда в этой точке (р, q) = (0. 0). Если поверхность достаточно гладкая, мы можем разложить z в степенной ряд по х и у с отсутствующим членом первого порядка. Опуская члены высоких порядков вблизи начала, можем записать z = z0 4- (их2 4- 2bxy + су2^!. Таким образом, р ~ ах + by и q = bx + су. Подставляя эти выражения в формулу для отражательной способности поверхности, получим Е (х, у) = ^а2 + Ь2) х2 4 2 (а 4- с) Ьху 4- 4- (Ь2 4- с2)у2]/2. Наша задача состоит в определении коэффициентов а, b и с при данной яркости изображения и ее производных вблизи начала координат. Прежде чем двигаться дальше, заметим, что поверхность z = z0 — (2ах2 4- 2Ьху 4- су2)/4 дает в точности ту же картину полутонов, и это показывает, что здесь могут быть по меньшей мере два решения.
Градиент яркости описывается выражениями Ех = (а2 4- Ь2)х 4- + (и + с) by, Еу^ (а + с)Ьх 4- (Ь2 4- с2) у. Поскольку (Ех, ЕУУ = (0, О)7 в точке (х, у) = (0, 0) (как и должно было быть), мы не можем использо-
вать градиент яркости для восстановления формы. Дифференцируя еще раз, получим три уравнения Ехх = л2 + Ь2, Еху = (я + с) 6, Еуу = Ь2 + с2 для трех неизвестных а, b и с. Три уравнения второго порядка от трех неизвестных могут дать до восьми решений. Однако три найденных здесь уравнения имеют несколько специальный вид, и для них, как показано в упражнении 11.10, существуют только четыре решения.
В любом случае, если дано одно из этих локальных решений, мы можем построить небольшой «колпачок». Его края образуют начальную полосу для метода распространения характеристической полосы, так как р, q, а также z известны на краю. Заметим, что решение будет уходить от края, поскольку здесь Кр и Rq ненулевые.
Проведенный выше анализ можно обобщить на особые точки вне начала координат и на другие карты отражательной способности с вращательной симметрией. Он дает способ начать решение на небольшом расстоянии от особой точки. Возможная трудность заключается в том, что две и более поверхности, имеющие различную форму, могут порождать одну и ту же картину распределения полутонов, так как нелинейные уравнения, содержащие коэффициенты степенных рядов около особой точки, могут иметь более одного решения, как это было здесь.
Границы объекта. Ограничивающий контур
В какой другой точке известна ориентация поверхности? Если объект имеет гладкую поверхность, то его силуэт (граница изображения) также дает ценную информацию (рис. 11.8). Ограничивающий контур - это кривая на поверхности, которая проектируется в силуэт. Ориентация здесь известна, так как касательная плоскость включает в себя направление на наблюдателя, а также касательную в соответствующей точке силуэта. Другими словами, нормаль к поверхности в точках ограничивающего контура лежит в плоскости, параллельной плоскости изображения, и перпендикулярна силуэту.
Рис. 11.8. Ограничивающий контур, обеспечивающий важное граничное условие для решения задачи восстановления формы по распределению полутонов.
Ориентация поверхности для любого решения должна соответствовать известной ориентации поверхности вдоль ограничивающего контура.
а ба бРис. 11.9. Поскольку точки гауссовой сферы определяют направления в пространстве, то карту отражательной способности можно вычертить на гауссовой сфере.а — обычно мы проектируем верхнюю полусферу на бесконечную плоскость, называемую градиентным пространством (если мы хотим иметь дело с ограничивающим контуром объекта, более пригодна другая проекция); б — здесь вся сфера, за исключением одной точки, проектируется на плоскость, называемую стереографической. (Рисунки воспроизведены с разрешения автора из главы, написанной Вудхэмом, в книге «Понимание изображений» под редакцией Ульмана и Рихарда, Нью-Джерси, 1984.)Рис. 11.9. Поскольку точки гауссовой сферы определяют направления в пространстве, то карту отражательной способности можно вычертить на гауссовой сфере.а — обычно мы проектируем верхнюю полусферу на бесконечную плоскость, называемую градиентным пространством (если мы хотим иметь дело с ограничивающим контуром объекта, более пригодна другая проекция); б — здесь вся сфера, за исключением одной точки, проектируется на плоскость, называемую стереографической. (Рисунки воспроизведены с разрешения автора из главы, написанной Вудхэмом, в книге «Понимание изображений» под редакцией Ульмана и Рихарда, Нью-Джерси, 1984.)
а б
а б
Рис. 11.9. Поскольку точки гауссовой сферы определяют направления в пространстве, то карту отражательной способности можно вычертить на гауссовой сфере.
а — обычно мы проектируем верхнюю полусферу на бесконечную плоскость, называемую градиентным пространством (если мы хотим иметь дело с ограничивающим контуром объекта, более пригодна другая проекция); б — здесь вся сфера, за исключением одной точки, проектируется на плоскость, называемую стереографической. (Рисунки воспроизведены с разрешения автора из главы, написанной Вудхэмом, в книге «Понимание изображений» под редакцией Ульмана и Рихарда, Нью-Джерси, 1984.)
Рис. 11.9. Поскольку точки гауссовой сферы определяют направления в пространстве, то карту отражательной способности можно вычертить на гауссовой сфере.
а — обычно мы проектируем верхнюю полусферу на бесконечную плоскость, называемую градиентным пространством (если мы хотим иметь дело с ограничивающим контуром объекта, более пригодна другая проекция); б — здесь вся сфера, за исключением одной точки, проектируется на плоскость, называемую стереографической. (Рисунки воспроизведены с разрешения автора из главы, написанной Вудхэмом, в книге «Понимание изображений» под редакцией Ульмана и Рихарда, Нью-Джерси, 1984.)
Единственная трудность, связанная с информацией подобного рода заключается в том, что наклон поверхности в точках ограничивающего контура бесконечен. Поэтому трудно рассматривать эту информацию как «начальную кривую». Тем не менее можно показать, что если карга отражательной способности является строго монотонной функцией от квадратичной функции р и q и силуэт изображения представляет собой'простую замкнутую кривую, то существует единственное решение. Если же карта отражательной способности является линейной функцией р и q, то бесконечное число поверхностей порождает одну и ту же полутоновую картину. Во многих случаях распределение полутонов вместе с дополнительной информацией однозначно определяет поверхность. В некоторых случаях это, к сожалению, не так: например, полутоновая картинка небольшого участка поверхности объекта (в отсутствие другой информации) локальной формы объекта не определяет.
Стереографическая проекция
Ориентация зависит от двух параметров. Мы можем определить ориентацию площадки заданием ее градиента (р, q). Другой возможностью является задание единичной нормали п. Как отмечалось в предыдущей главе, можно использовать гауссову сферу для представления направления нормали. Сама по себе гауссова сфера не всегда удобна для использования, так как ее поверхность криволинейна. Именно поэтому мы часто проектируем ее на плоскость для перехода к пространству градиентов (рис. 11.9, а\
Рассмотрим ось сферы, параллельную оси z. Мы можем спроектировать точки северной полусферы на плоскость, касательную к северному полюсу, так, чтобы центр проекции совпадал с центром сферы. Это называется гномонической проекцией. Легко показать, что координаты точки на этой плоскости равняются ( — р, — q). Один из недостатков градиентного пространства (определенной таким образом плоскости) заключается в том, что если мы хотим избежать неоднозначности, то можем спроектировать на плоскость только одну полусферу.
Часто нас интересуют только элементы поверхности, обращенные к наблюдателю. Это соответствует точкам северной полусферы. Однако иногда направления второй полусферы тоже бывают необходимыми. Например, в сцене, освещаемой сзади, направление на источник света можно определить с помощью точки, лежащей на южной полусфере. Мы сталкиваемся также с другой трудностью, связанной с пространством градиентов. Ориентации площадок поверхности на ограничивающем контуре соответствуют точкам экватора гауссовой сферы, которые проектируются в бесконечность в градиентном пространстве.
Один из способов обойти эти трудности заключается в использовании стереографической проекции. Здесь мы снова проектируем на плоскость, касательную к северному полюсу, но на этот раз центром проекции является южный полюс (рис. 11.9,6). Спроектировать можно все точки сферы, за исключением южного полюса. Экватор проектируется в окружность радиуса, равного двум. Обозначим координаты стереографической проекции через / и д. Мы покажем в упражнении 11.13, что
r2р2q
j =— и д =-
+ Vх + Р2 + Т 1 + |/1 + р2
И наоборот, р = 4//(4 — /2 — с/2) и q = 4д/(4 — /2 — д2\ Дополнительным преимуществом стереографического пространства является конформ- ность проекции гауссовой сферы. Это значит, что углы на поверхности сферы проектируются в строго равные им углы на плоскости. Однако недостатком является усложнение некоторых формул в стереографических координатах.
Релаксационные методы
Метод раскроет ранения характеристической полосы страдает многими практическими недостатками, в том числе чувствительностью к погрешностям измерения. Необходимо использовать специальные средства, чтобы избежать пересечения соседних характеристик из-за накопления ошибок численного интегрирования дифференциальных уравнений. Этот метод также затрудняет использование информации об ориентации поверхности на ограничивающем контуре. Наконец, он не рассчитан на выполнение параллельным компьютером или машиной биологи-
ческого типа. Более желательно было бы иметь итеративную схему, подобную конечно-разностной схеме, используемой для решения эллиптических уравнений второго порядка в частных производных. Это немедленно подсказало бы способы введения граничных условий и другой добавочной информации.
Минимизация в непрерывном случае
Наша цель — найти две функции /(х, у) и д^х, у), удовлетворяющие уравнению освещенности изображения £(х, у) = RSV, 9\ гДе ^s(f^)- карта отражательной способности, выраженная в стереографических координатах. Мы хотим также, чтобы функции /(х, у) и д^х, у) соответствовали гладкой поверхности. Из многочисленных способов оценки меры гладкости мы выбираем тот, который «штрафует» быстрые изменения / и д. Мы стремимся минимизировать интеграл
es = П [(/х + Л) + (Ух + У2)] dxdy,
где/х,/у, дх и ду — первые частные производные/и д по х и у. Можно использовать и другие меры отклонения от гладкости. Это приведет к несколько отличным алгоритмам.
До сих пор мы пытались минимизировать es при условии, что / и д удовлетворяют уравнению освещенности изображения. На практике как измерение освещенности, так и определение карты отражательной способности содержат ошибки. Вместо того чтобы добиваться равенства функций £(х, у) и £s(/, д^ можно попытаться минимизировать ошибку
е, = П [£(х. » - Rs (С У)]2dxdy-
Таким образом, мы должны минимизировать es + Хеь где X — параметр, определяющий вес ошибки в уравнении освещенности изображения по сравнению с отклонением от гладкости. Этот параметр необходимо выбрать большим, если измерения яркости очень точны, и небольшим, если они сильно зашумлены.
Минимизация интеграла вида
HFV, g,fx,.fy, дх, g$\dxdy
является задачей вариационного исчисления (эта тема рассматривается в приложении). Соответствующие уравнения Эйлера имеют вид F, - cFJdx - dF ^Jey = 0, Fg - dFjcx - dFJoy = 0, где Ff — частная производная F по/. В нашем случае Fyx + /у) + кЙ + 9^ + ^[^кУ)— — RSU, 9)У- Цель заключается в минимизации интеграла от F. Уравнения Эйлера для этой задачи дают V2/ = -Х[£(х, у) - RS(J\ g5\cRJcfs v2g = -^ [£k у) - RAf. .^)] eRjcg, где v2 = d7^x2 + а2/ау2 - оператор Лапласа. Результат представляет собой систему двух эллиптических уравнений в частных производных второго порядка. Ее можно решить итеративными методами, если на границе известны величины j и д.
Минимизация в дискретном случае
Мы можем разработать численный метод, либо аппроксимируя непрерывное решение, найденное в предыдущем разделе, либо непосредственно минимизируя дискретный вариант интеграла. Второй подход может больше понравиться читателю, не очень хорошо владеющему вариационным исчислением. Мы можем оценить отклонение от гладкости в точке (IJ) выражением
$i.j = [(/i+lj — f i.j)^ + Ui.j-H — fi,^ + to/+L> ~ 9$,У + (dij+l " 9ijf3/^ а ошибка в уравнении освещенности изображения задается выражением r^ ~ №5 " RsUth 0</)]2> где Etj ~ наблюдаемая освещенность изображения в точке решетки (ц р. Мы ищем набор значений {/i;} и {д^}, минимизирующих выражение
е = I1 ($0 + ^и)-
Дифференцируя е по /^ и gkb получим deleft 2 (Jkl - fkl) - - 2Х[£ьг - Rs0kb gkd15Rs/a,f. ce/dgkl = 2(gkl - gk^ - 2X \_Ekl - Rs(.fkb Ы1 * x dRjdg, где / и g — локальные средние f и g, т. e.
fij = (f<+l.j + fij+l + fi-и + ft.j- i)/^
9i.j = toi+i.j + 9i.j+l + ^-ij + 9i.j-lf^-
Необходимо быть внимательным при выполнении этого дифференцирования, так как fkl и gkl появляются в четырех членах суммы; во избежание путаницы с индексами i и j\ встречающимися в сумме, вводятся новые индексы к и L
Экстремум надо искать там, где производная е равна нулю. Если мы перепишем результирующие уравнения, разрешив их относительно fkl и gkb то итеративный метод напрашивается сам собой: fktx = = ГЫ + Х №к1 - Rs №, ^)] 8RJ8f, gk* х=Гы*Х [Ew - Rs (f^, ЙЛ 8Rs/6g, где новые значения f и g в каждой точке сетки получены из старых значений / и g и оценок RS(J, g\ dRs/cf и dRs/dg, Можно показать, что метод получается устойчивым, если мы используем локальные сред- , ние / и g при вычислении Rs(f,g) и двух частных производных при задании хороших граничных условий и достаточной малости X.
Описанную выше простую итеративную схему можно улучшить различными способами. Например, оценку лапласиана от f и д, пропорциональную (fkl — fki) и ^дк1 — дк1), можно заменить более точной формулой. Тогда локальное среднее вычисляется следующим образом:
fi.i = (V^)(Z+i,j +/ij+i +/i'i,j +/i,j-i) +
+ (1/20)1 4-4- /j-ij+i)
Рис. 11.10. Изображение небольшой капли смолы на цветке растения Cannabis sativa.Воспроизведено с разрешения авюра из работы [93].Рис. 11.10. Изображение небольшой капли смолы на цветке растения Cannabis sativa.Воспроизведено с разрешения авюра из работы [93].Вычисление среднего можно представитьВычисление среднего можно представить(ди вычисляется аналогично), маской
Рис. 11.10. Изображение небольшой капли смолы на цветке растения Cannabis sativa.
Воспроизведено с разрешения авюра из работы [93].
Рис. 11.10. Изображение небольшой капли смолы на цветке растения Cannabis sativa.
Воспроизведено с разрешения авюра из работы [93].
Вычисление среднего можно представить
Вычисление среднего можно представить
1
4
1
4
4
1
4
1
1
20
которая непосредственно выводится из аналогичной матрицы, используемой ранее для аппроксимации оператора Лапласа.
На рис. 11.10 представлено изображение капли смолы, полученное с помощью электронного сканирующего микроскопа. Для использования итеративной схемы восстановления формы по полутонам мы должны знать карту отражательной способности. Обычно используемая модель вторичной электронной эмиссии с поверхности предполагает, что яркость должна изменяться как секанс угла падения, т. е. sec 6,. Используя эту модель, мы получим форму, представленную на рис, 11.11.
Применение к стереофотометрии
Величины градиентов, вычисленные в соседних точках изображения с помощью стереофотометрического метода, не всегда совместны. Даже в случае плоской поверхности возможны флуктуации в оценке ориентации поверхности из-за ошибок измерения. Если известно, что поверхность гладкая, мы можем использовать метод, рассмотренный в этой главе, для улучшения результатов стереофотометрического метода.
Z
/ / / / / I I I И M \ \ / / i I t I i I I i t \ •
Рис. 11.11. Игольчатая диаграмма, вычисленная по итеративной схеме при предположении, что отражательная способность пропорциональна sec6^.
Данные об ориентации поверхности получены на самом деле на более мелкой сетке: здесь для простоты демонстрации они представлены в грубой форме. Игольчатая диаграмма является оценкой формы поверхности капли смолы, показанной на предыдущем рисунке. (Рисунок любезно предоставлен Катцуши Икехи.)
Если имеется п изображений, мы можем сформулировать эту задачу как задачу минимизации выражения
e = M(7x + Д) + (0х +^)]dxdy+ X МН£7*. y)-RiV, g^dxdy,
где £, — яркость, измеренная на t-м изображении, а Я, — соответствующая карта отражательной способности. Постоянные множители X,- — это параметры, задающие вес ошибок уравнений освещенности изображений по отношению к отклонению от гладкости. Они не равны между собой, если не вся информация, полученная с помощью камер, одинаково надежна.
Уравнения Эйлера в этом случае принимают вид
/ V2J= - 1^[Еах,у)-Н;(/,д)]^;/д/,.
п
V2g = - X ХТД(Х, у) - Ri(J, g^BRjag. '*
Соответствующие дискретные уравнения приводят к итеративной схеме
п
1; г»1 = 7^ + X W.,,-Ел/к1,дк1№М
9 kt 1 “ 9ki + £ ^t [Д.к/ — ^i(fkb 0w)] dRi/дд,
Простой стереофотометрический метод, рассмотренный в предыдущей главе, можно использовать для получения хороших начальных значений для {/kJ и ^gki\ Это гарантирует быструю сходимость к решению.
Восстановление дальности по игольчатой диаграмме
Некоторые методы машинного зрения, включая стереофотометри- ческий, дают информацию о форме поверхности в виде игольчатой диаграммы, на которой ориентация поверхности задается для каждого элемента изображения. В некоторых случаях желательно представить форму поверхности по-другому. Часто цель заключается в получении карты дальности, дающей расстояние поверхности от некоторой координатной плоскости.
При данных значениях р и q, частных производных z(x, у) по х и у, мы можем восстановить z(x, у), интегрируя ее вдоль произвольных кривых на плоскости:
z (х, у) - (х0, у о) + j (р dx + q dy).
Уо)
На практике р и q восстанавливаются по зашумленным данным несовершенными методами. Поэтому интеграл может зависеть от выбора пути. Действительно, интеграл по замкнутому контуру, как показано на рис. 11.12, может быть отличен от нуля. Так как известны и р, и q, мы реально имеем больше информации, чем нам необходимо. Это позволяет нам использовать метод наименьших квадратов, чтобы
Рис. 11.12. Возможность определения возвышения поверхности над некоторой координатной плоскостью интегрированием вдоль кривой на изображении (при известной ориентации поверхности).
Для однолистной поверхности общее изменение возвышения при обходе по замкнутой кривой равно нулю, поэтому здесь необходимо условие совместности, т. е. равенство нулю интеграла градиента поверхности по замкнутым кривым.
найти поверхность, наилучшим образом соответствующую неидеальным оценкам градиента.
Мы можем, например, так выбрать z(x, у), чтобы минимизировать ошибку
П Uzx ~ pV + U, - qfpxdy,
I
где р и q — заданные оценки компонент градиента, a zx и zy - частныепроизводные поверхности наилучшего приближения. Это снова задачавариационного исчисления. Мы должны "минимизировать интеграл вида^F (Z, zx, zjdxdy.
Уравнение Эйлера имеет вид Fz - 3FzJdx - dFzJdy = 0, поэтому из F = (zx - р)2 + (zy - q)2 мы получаем 6(zx - р)/дх + d(zy- q)/Py = 0 или V2z = рх + qy. Интуитивно это уравнение понятно, так как оно утверждает, что лапласиан искомой поверхности должен равняться Рх + Qy, что является выражением для лапласиана, основанным на данных измерения.
Как обычно, нам нужно также знать, что делать с границей области, вплоть до которой мы ищем решение. Условия трансверсальности (см. приложение) для интеграла вида
И F(z, zx, z^dxdy
имеют вид F„x (dy/ds) — Fz (dx/ds) = 0. Здесь s — длина дуги вдоль границы. Заметим, что (dx/ds, dy/ds)T является касательным вектором. В нашем случае мы получим (zx - p)(dy/ds) = (zy - q) (dx/ds) или (zx, zy)T x X (dy/ds, — dx/ds)T = (p, q)T(dy/ds, -dx/ds)T, где вектор (dy/ds, -dx/ds)T является нормалью к граничной кривой в точке 5. Этот результат в высшей степени разумный, так как он утверждает, что нормальная производная искомой поверхности должна равняться оценке нормальной производной, полученной по данным измерений.
Для решения этого уравнения можно использовать итеративный метод. Он может основываться на дискретной аппроксимации уравнения или методе наименьших квадратов, используемом непосредственно для дискретной аппроксимации первоначального интеграла ошибок, что позволяет обойти применение вариационного исчисления.
Начальные значения можно получить с помощью некоторых простых схем, например интегрирования р(х, 0) вдоль оси х для получения одного профиля, затем интегрирования q(x0, у) вдоль у, начиная в каждой точке х0 оси х. (Конечно, этот грубый метод сам по себе не способствует получению хорошей поверхности.)
Комментарии к литературе
Сканирующий электронный микроскоп описан в работе [108]. Много интересных изображений, полученных с помощью этого прибора, приведено в работах [66, 93].
Существует много книг по дифференциальным уравнениям в частных производных, в том числе «Дифференциальные уравнения в частных производных: «Теория и методы» Кэрье и Пирсона [16] и т. 2 «Методов математической физики» Куранта и Гильберта [22]. Но самое близкое отношение к уравнениям первого порядка, рассмотренным в этой главе, имеет работа [35].
Вариационное исчисление также является темой многих книг, включая [21, 107]. В нескольких упражнениях мы связываем методы, используемые в этой главе, с методами регуляризации, превращающими плохо поставленные задачи в хорошо поставленные. Регуляризация описывается в работе [102].
Большой интерес был проявлен к определению формы особенностей поверхности Луны по изображениям, полученным с помощью телескопа с Земли, по крайней мере пока мы не научились посылать зонды и, наконец, человека в окрестность нашего каменистого спутника. Поскольку влияние Луны, а также отношение радиуса Земли к расстоянию между этими двумя телами малы, то мы всегда видим Луну примерно в одном и том же направлении. Поэтому бинокулярный стереометод можно отбросить и в этом случае не считать жизнеспособным для восстановления формы поверхности. Астрономы использовали тени для оценки формы кромки кратеров, возвышающихся над окружающей поверхностью.
Ван Дайжелен [464] первым заметил возможность использования полутонов, но он смог сделать только эвристические оценки наклона поверхности по отношению к направлению на источник света. В работе [393] использованы фотометрические модели, развитые в России Фесенковым [203] и другими для построения метода комплексного интегрирования при восстановлении формы вдоль профилей, известных нам теперь как характеристические кривые.
Хорн [244, 248] нашел общее решение задачи восстановления формы по полутонам и позже в работе [250] переработал решение для использования карты отражательной способности. Вудхэм [480, 482, 483] дает прекрасный анализ этой темы, используя в качестве инструмента матрицы Гессе.
Существование и единственность решений нелинейных дифференциальных уравнений в частных производных первого порядка исследовались в работах [159, 166—168, 186].
Хорн [244] нашел способ переформулировать задачу так, чтобы решение имело вид параллельного итеративного алгоритма на сетке, очень похожего на тот, который он позже использовал для вычисления
светлоты [247]. Первый такой алгоритм развит в работе [436]. Однако этот алгоритм не мог работать по ограничивающему контуру, так как в нем для параметризации ориентации поверхности использовался градиент. Икехи и Хорн [278] выправили положение, введя стереографические координаты и член «недостатка гладкости», известный в настоящее время как регуляризующий член. (Относительно других подходов к параллельным вычислениям в зрении см. работу [131]. Обсуждение применения регуляризации при решении плохо поставленных задач первичной обработки зрительной информации содержится в работе [382].)
К сожалению, метод Икехи и Хорна в свою очередь не гарантирует интегрируемость результирующей игольчатой диаграммы. Хорн и Брукс [257] исправили этот недостаток, используя для параметризации ориентации поверхности нормаль к этой поверхности. В этой работе они избежали использования регуляризующего члена.
Форму можно также определить по градиенту текстуры или регулярному рисунку (см. работы [128, 244, 276, 472]). Однако эти методы по существу проще, так как в каждой точке изображения имеется больше информации, чем в случае использования распределения полутонов.
Большинство методов восстановления формы по полутонам требуют наличия карты отражательной способности. Предпринимались попытки уменьшить зависимость от столь подробной информации. Например, в работе [379] делается попытка локального извлечения информации. Это с неизбежностью требует сильных предположений, например, поверхность является сферической. Локальные методы не могут дать единственного результата, так как из работ [159, 166-168] известно, что особые точки и ограничивающие контуры дают сильные ограничения, недостижимые методом, который рассматривает только распределение полутонов в малой области изображения.
Компромиссом между точным знанием карты отражательной способности и полным ее незнанием является использование параметризованной карты отражательной способности. Например, при некоторых предположениях можно восстановить положение источника света по изображению (см. работы [160, 308, 378]).
Кое-что можно сказать о взаимосвязи между распределением полутонов и формой поверхности, подробно не решая уравнение освещенности изображения (см. работу [299]). Существенную информацию дает < контур изображения объекта. Марр [327] занимался восстановлением информации о форме поверхности по ограничивающему ее контуру, а Стивенс [435] — по специальным контурам на поверхности.
Много труда было потрачено на понимание взаимодействия света с поверхностным слоем объекта. Обычно модели поверхностного слоя либо слишком сложны и поэтому поддаются только численному анализу, либо слишком просты и поэтому не представляют практического интереса. Фотометрическая модель лунной поверхности была
уточнена в работе [345], соответствующая функция отражения используется в упражнении 11,1. Удачные модели глянцевого отражения были развиты в работах [453, 454].
Упражнения
. Рассмотрим сферу из ламбертова материала с центром на оптической оси. Предположим, что источник света является точечным, с единичной интенсивностью в направлении ( —ps, ~qs, 1)т.
Чему равна освещенность £(х, у)? Предположим, что радиус сфуы равен R и что изображение получено при помощи ортогональной проекции.
Покажите, что линии постоянной яркости на изображении представляют собой семейство эллипсов с равными эксцентриситетами. Указание: какой вид имеют линии постоянной яркости на сфере?
На что будут похожи линии постоянной яркости на изображении, если предположить, что поверхность имеет отражательные свойства материала лунных морей? Указание: каковы линии постоянной яркости на сфере в этом случае?
Покажите, что наклон поверхности в направлении, образующем угол 6 с осью х, описывается уравнением m(6) = pcosO + gsinG. Найдите направление наискорейшего спуска. Покажите, что наклон в направлении наискорейшего спуска составляет т (6S) = ур2 + q2.
Покажите, что две поверхности zx = 2(х2 + ху + у2) и z2 = (х2 + 4ху + + у2) порождают одно и то же распределение полутонов вблизи начала координат, если карта отражательной способности обладает круговой симметрией.
Когда базовые характеристики будут параллельными прямыми линиями в плоскости изображения? Другими словами, какой класс карт отражательной способности ведет к решениям, обладающим этим свойством, независимо от формы поверхности? Указание: чтобы базовые характеристики были прямыми линиями, должна существовать пропорциональность между х и у в уравнениях характеристической полосы.
Предположим, что карта отражательной способности линейна по р и q, так что R(p, q) = ар + bq + с. У нас есть изображение, включающее силуэт простого выпуклого объекта формы z = / (х, у). Покажите, что поверхность z = /(х, у) + д^Ьх — ну) для произвольной дифференцируемой функции g(s^ будет порождать то же самое изображение. Имеет ли z тот же контур? Предположим, что производная д ограничена.
Изображения, полученные с помощью сканирующего электронного микроскопа, необычны в том смысле, что площадки поверхности, наклоненные по отношению к наблюдателю, ярче площадок, перпендикулярных к направлению наблюдения. Можно было бы предположить,
что если мы просто воспроизведем негатив такого изображения, его легче будет интерпретировать. На самом деле это не так. Объясните почему. 'Указание; «тени» на изображениях, полученных сканирующим электронным микроскопом, темные.
Здесь мы исследуем роль особых точек для уменьшения неоднозначности задачи восстановления формы по распределению полутонов. Пусть имеются параболоид, определенный уравнением z(x, у) = = z0 + (х2 + у2)/2, и карта отражательной способности Rkp, q) = р2 + q2.
Покажите, что изображение можно описать уравнением Е (х, у) = = х2 + у2 и что имеется особая точка в начале координат.
Теперь покажите, что используемое здесь уравнение освещенности изображения можно выразить в полярных координатах в следующем виде: z2 + z^ (г2 = г2, где zr и ze — частные производные z по г и 9 соответственно.
Покажите, что решением этого уравнения является тот параболоид, с которого мы начинали, при условии, что z6 = 0. (Мы не можем, конечно, отличить выпуклый параболоид от вогнутого или восстановить его абсолютное расстояние от наблюдателя.)
Используем теперь другое предположение ze = к. Покажите, что решением в этом случае является
z(r) = z0 ±
В какой области г это выражение допустимо?
Выполните указанное интегрирование и покажите, что
с) Решение единственно, если изображение включает в себя особую точку. Будет ли решение единственным, если нам дана только часть изображения на кольцевой полосе вокруг особой точки? Что если нам задано изображение в простой связной области, не включающей особой точки?
Для поверхностей с малым наклоном (т. е. с малыми zx и zy) гауссова и средняя кривизны задаются выражениями XjX2 ^ 2xxzyy — — 2ху2ух и (х! + х2)/2 % (zxx + zyy)/2. Выразите эти результаты через матрицу Гессе Н.
Гауссову кривизну поверхности z(x, у) можно записать в виде I
X = ^zxxzOT - zxyzyx^\ + 2; + Zyf.
Перепишите это через р и q, а также г, s и г, как определено в этой главе.
Линейчатой поверхностью называется поверхность, которая может
Prip. 11.13. Развертывающаяся поверхность (конус), везде обладающая нулевой гауссовой кривизной.
быть порождена перемещением в пространстве прямой линии, называемой образующей, В каждой точке такой поверхности мы можем найти касательную, принадлежащую этой поверхности (образующую для этой точки поверхности). Однополостный гиперболоид является примером линейчатой поверхности. Развертывающиеся поверхности образуют подкласс линейчатых поверхностей. Развертывающаяся поверхность — это интуитивно поверхность, которую можно развернуть в плоскость. В случае развертывающейся поверхности все точки касательной, лежащей на поверхности, имеют общее направление нормали. Цилиндрические и конические поверхности являются примерами развертывающихся поверхностей (рис. 11.13). Гауссова кривизна развертывающейся поверхности везде равна нулю.
Предположим, нам сказали, что поверхность, которую мы наблюдаем, оказалась развертывающейся. Покажите, что мы можем выполнить локальный анализ полутоновой картины и восстановить вторые частные производные поверхности. В частности, покажите, что
F2F FF2
LxLxby.
кS~ t —~1
RpEx + RqEy RPEX + RqEy RpEx + RqEy
Здесь мы подробно рассмотрим, что происходит вблизи особой точки в случае простой карты отражательной способности. Предположим, что форма поверхности вблизи начала координат задается выражением
f a b\f х
Пусть карта отражательной способности имеет вид ,R(p, q) = = (р2 + q^R. Мы хотим точно определить, сколько локально существует решений для формы поверхности и как они связаны одно с другим.
а) Покажите, чтоа) Покажите, чтоЕ(х, у) =у(х у) ГЕ(х, у) =у(х у) Г
а) Покажите, что
а) Покажите, что
Е(х, у) =у(х у) Г
Е(х, у) =у(х у) Г
б) Покажите, что
/Ехх Еху\ _ /а Ь\2/ а2 + Ь2 (а + с)б\
\Еух Еуу) \Ь с)у(а + с)б b2-\-c2)"
Найдем теперь значение вторых частных производных при повороте координатной системы. Пусть
cos 9 sin 9— sin 9 cos 9cos 9 sin 9— sin 9 cos 9
cos 9 sin 9
— sin 9 cos 9
cos 9 sin 9
— sin 9 cos 9
Для удобства назовем матрицу поворота в этом уравнении А (9). Мы будем также использовать сокращенные обозначения с «= cos 9 и s = sin 0. в) Покажите, что
- г с2Ехх + 2scExy + s2Eyy (с2 - s2)Exy - sc(Exx - Еуу)
= |_(c2 - s2) Exy - sc (£xx - Eyy)~ ЪсЕ^ +-
Указание: используйте правило дифференцирования сложной функции.
г) Покажите, что недиагональные элементы ЕхЧ,- и EVx. равны нулю, когда tg29 = 2ЕхуДЕхх — Еуу). Найдите выражения для sin 29 и cos 29.
Покажите, что при этом
C0S2 е = 1 "Мх - ЕууУ + 4/-> + (Ехх - Еуу)
2| (£„- - Еуу)2 + 4£ху
!sin2 II = 1 М^^уГ + ^ - (Ехх - Еуу)
2 V^EXx - ЕУУУ + 4£^
Покажите также, что
Е_ = (1 + \ \ЕХХ Еууг • ДЕ2^2.д'
Еуу = (1 - V(EXX - £ДГТТ<)/2.
Указание: собственные числа и собственные векторы симметричной < матрицы 2x2 были получены в упражнении 3.5.
Покажите, что в полиноме второго порядка для z при повороте системы координат не появится перекрестных членов, т. е, мы можем записать z = а' (х')2 + с' (у')2 + z0. Найдите а' и с' через а^ b и с.
Покажите, что существуют точно четыре поверхности, которые имеют наблюдаемые частные производные второго порядка от яркости
изображения. Как они связаны? Какова гауссова кривизна этих решений?
Поверхность z(x, у) с непрерывными вторыми частными произвол- ными должна удовлетворять условию интегрируемости, т. е. с z)cxcy = = c2z/dycx или Ру = qx. Итеративная схема восстановления формы по полутонам, представленная в этой главе, этого не гарантирует. Пусть мы хотим минимизировать ошибку яркости
Л№ y)-Rip, qffdxdy
1
подходящим выбором двух функций р(х, у) и q^x, у), удовлетворяющих условию интегрируемости ру = qx.
Покажите, что соответствующие уравнения Эйлера имеют вид [Е(х, у) - Rip, q^Rq = — Хх и [Е(х, у) - R(р, q)]Rp = +ХУ, где Х(х, у)- функция Лагранжа и
Rp = cR/др, Rq — cR/dq, Xx = dX/£x, Xy = dX/cy.
Сделайте вывод, что искомые функции р(х, у) и ^(х, у) должны удовлетворять уравнению [(£ — A) Rpp — А^] рх + [(Е — A) Rpq — RpRql х х (рх + qx) + [(Е — R)Rqq — Eg] qy = ExRp + EyRq и одновременно ограничению py — qx. Указание; употребите полные производные по х и у, чтобы ликвидировать множитель Лагранжа.
Покажите, что в конце концов вы придете к тем же уравнениям Эйлера, если попытаетесь минимизировать
Л [£ (^ У) - R (zx, -Л 2 dx dy;
путем подходящего выбора z(x, у).
Теперь предположим, что вы хотите минимизировать сумму, ошибок яркости и отклонений от интегрируемости
Л [(£ (*, у) - R iP, q^1 + X (Ру - 9х)2] dx dy,
путем соответствующего выбора двух функций, р(х, у) и ^(х, у).
Чем этот подход отличается от подхода предыдущей задачи? Указание: заметьте, что здесь X — константа.
Покажите, что соответствующие уравнения Эйлера имеют вид [Е (х, у) -Rip, q)] Rp = X (руу - qxy\ [Е (х, у) - R (р, g)] Rq = X iqxx - рху\
Предложите итеративную схему, основанную на выделении центральных значений в дискретной аппроксимации производных второго порядка руу и qxx,
Здесь мы изучаем стереографическую проекцию гауссовой сферы. Сечение гауссовой сферы, которое помогает понять гномоническую и стереографическую проекции, представлено на рис. 11.14.
Покажите, что связь между стереографической и гномонической проекциями можно выразить в виде
Рис. 11.14. Сечение гауссовой сферы и плоскость, касающаяся северного полюса. Гномоническая проекция получается путем соединения точек на поверхности сферы с ее центром, а стереографическая проекция — с ее южным полюсом.
/ — 2р/(1 + |/1 + р2 + д2), д — 2^/(1 + ]/1 + р2 + q2\
Покажите, что р = 4//(4 - /2 - д2) и q = 4^/(4 - /2 - g2YР
Покажите затем, что условие интегрируемости ру = qx можно выразить в стереографических координатах в виде /у(4 + f2 — #2) — . - 0х(4 - /2 + д2) + 2fg(gy - /х) = 0.
Покажите, что V х ( — р, — q, 1)т = 0, где V х п — ротор вектора п. Указание: сначала покажите, что ( — р, — q, 1)т = V |% — z(x, у)], где V/(x, у, z) - градиент ^fjcx, df/dy, dfldzf функции /(х, у, z).
Предположим, что мы вычислили дискретную игольчатую карту {(р^, q^ с помощью какого-либо метода восстановления формы по полутонам. Мы хотим теперь восстановить поверхность {z^}. Чтобы это сделать, минимизируем
Z £ (Zx - Pljf + (zy -
*=1J=1
с помощью соответствующего выбора {z0-}. Используйте оценки для производных zx (ziJ+1 - zu + 2I + 1J+1 - z^^/Ik, zy (zi+Xj - zu + + z^la41 — z-^^R-k. Заметьте, что эти оценки дают значения для угловых точек, где сходятся четыре элемента изображения, а не для центров элементов изображения. Покажите, что необходимым условием мини- , мума является условие [4zkj — (zk + 1j_1+zk_1j+1+zk+1j+1 + + zk_ij_i)]//i = (pk j-i — pkX + pk-1,1-1 — Pk-vi) + (Як-vi ~ <7m + + qk_x,x-x - qk,i-iY Сравните этот результат с результатом, полученным в этой главе для непрерывного случая с помощью вариационного исчисления,
До сих пор мы предполагали, что знаем, где находятся источ-
ники света, и не знаем формы объекта. В действительности иногда мы можем знать форму какого-то объекта сцены, но не знать, откуда приходит свет. Предположим, что поверхность ламбертова и что она освещена удаленным точечным источником. Как можем мы восстановить направление на этот источник?
Минимизируйте интеграл от квадрата разности между наблюдаемой и ожидаемой яркостью:
И [£(X, у) - n(x, ^spdxdy.
Покажите, что, v
jj £n dx dy = [ff nnr<My] s,
II
где nnr- диадное произведение вектора п на самого себя, являющееся матрицей третьего порядка.
Сделайте вывод, что неизвестное положение источника можно вычислить следующим образом:
s = [jj nnTdx dy~\ ~1 JJ £n dx dy. ii
Разработайте соответствующую дискретную схему на основе этого анализа. Замените интегралы суммами.
Сколько точек на поверхности объекта необходимо измерить для гарантии того, что сумма диадных произведений будет невырожденной матрицей? Предупреждение: эта часть задачи труднее всех остальных.
Можно ли проделать такую же операцию с поверхностью, яркость которой пропорциональна |/cos 6,r/cos 9е ? Указание: в этом случае может быть неудобно минимизировать разность между наблюдаемой и предсказываемой яркостями. Вместо этого необходимо минимизировать некоторую связанную с ней величину, чтобы полученные уравнения были доступными для исследования.
' i
12. Поле движения. Оптический поток
Из изображений, изменяющихся во времени, можно извлечь много полезной информации. На первый взгляд обработка последовательности изображений кажется очень непростой задачей, особенно если учесть, что даже одно изображение трудно интерпретировать. На самом деле, наоборот, некоторые задачи легче решить, имея временную последовательность изображений. Кажущееся движение яркостной картинки, наблюдаемое при движении камеры относительно изображаемых объектов, называется оптическим потоком. В этой главе мы обсудим, как можно вычислить оптический поток, имея последовательность изображений. Вначале определим чисто геометрическое понятие — поле движения и обсудим его отличие от оптического потока. Затем выведем уравнение, связывающее градиент яркости с локальной скоростью потока. Мы обнаружим, что оптический поток невозможно найти локальными методами. Необходима дополнительная информация. Один из способов ввести такую информацию — это сделать предположение о форме наблюдаемых поверхностей. Мы приведем итеративную схему для оценки оптического потока при предположении, что он изменяется гладко.
Оптический поток является полезным понятием даже при условии деформации наблюдаемых поверхностей, а в частном случае движения твердого тела оптический поток строго определен. В гл. 17 при изучении пассивной навигации мы обсудим, как одновременно восстановить движение камеры относительно неподвижного окружающего пространства и форму наблюдаемых поверхностей. Некоторые из рассматриваемых там методов в качестве промежуточного результата используют оптический поток.
Поле движения
Движение объектов перед камерой или движение камеры в неподвижной окружающей обстановке приводят к соответствующим изменениям на изображении. Эти изменения можно использовать для восстановления относительного движения, а также формы объекта.
Определим поле движения, приписав каждой точке изображения вектор скорости. В некоторый выбранный момент времени точка Р( на изображении соответствует некоторой точке Ро на поверхности
Рис. 12.1. Перемещение точки внешней среды, вызывающее перемещение соответствующей точки изображения.
Отношение между скоростями этих точек можно найти дифференцированием уравнения центрального проектирования.
объекта. Эти две точки связаны уравнениями проектирования. В случае центральной проекции луч, проведенный из точки изображения через центр оптической системы, продолжается до пересечения с непрозрачной поверхностью (рис. 12.1).
Пусть точка объекта Ро перемещается относительно камеры со скоростью v0. Это порождает движение v, соответствующей точки изображения Р(. За время dt точка Ро перемещается на расстояние v05t, а ее изображение Р, — на расстояние v,-5t. Скорости определяются выражениями v0 = dr0/dt и \\-drJdt, где г0 и связаны соотношением г,-//'= г0/г0-1 Дифференцируя это уравнение центральной проекции, получаем
Г ' k-^)2 (^-z)2 7
На этом мы пока остановимся. Здесь важно то, что таким образом любой точке изображения можно приписать некоторый вектор. Эти векторы образуют поле движения.
Соседние точки предмета имеют близкие скорости. Поэтому мы надеемся, что поле движения также непрерывно на большей части изображения. Исключение составляют контуры изображения объекта, где нарушается непрерывность поля движения.
Оптический поток
Яркостные картинки движутся вместе с наблюдаемыми объектами. Оптическим потоком называется кажущееся движение яркостной картинки. В идеале оптический поток соответствует полю движения, однако мы покажем ниже, что это не всегда так. - ■
ааРис. 12.2. Оптический поток, не всегда совпадающий с полем движения. а — гладкая сфера вращается при постоянном' освещении — изображение не изменяется, хотя поле движения ненулевое; б — неподвижная сфера освещается движущимся источником — распределение освещенности изображения меняется, хотя поле движения равно нулю.Рис. 12.2. Оптический поток, не всегда совпадающий с полем движения. а — гладкая сфера вращается при постоянном' освещении — изображение не изменяется, хотя поле движения ненулевое; б — неподвижная сфера освещается движущимся источником — распределение освещенности изображения меняется, хотя поле движения равно нулю.бб
а
а
Рис. 12.2. Оптический поток, не всегда совпадающий с полем движения. а — гладкая сфера вращается при постоянном' освещении — изображение не изменяется, хотя поле движения ненулевое; б — неподвижная сфера освещается движущимся источником — распределение освещенности изображения меняется, хотя поле движения равно нулю.
Рис. 12.2. Оптический поток, не всегда совпадающий с полем движения. а — гладкая сфера вращается при постоянном' освещении — изображение не изменяется, хотя поле движения ненулевое; б — неподвижная сфера освещается движущимся источником — распределение освещенности изображения меняется, хотя поле движения равно нулю.
б
б
Рассмотрим идеально однородную сферу, вращающуюся перед объективом зрительной системы (рис. 12.2, а). Так как поверхность криволинейна, на изображении сферы будут наблюдаться пространственные изменения яркости. Однако эта яркостная картина не движется вместе с поверхностью и изображение не меняется во времени. В данном случае всюду оптический поток равен нулю, хотя поле движения отлично от нуля. Теперь рассмотрим неподвижную сферу, освещенную движущимся источником света (рис. 12.2,6). Яркости на изображении меняются с движением источника. В этом случае оптический поток, очевидно, ненулевой, хотя поле движения всюду равно нулю. Зеркальные отражения и тени дают другие примеры, когда оптический поток не совпадает с полем движения.
Нам доступен только оптический поток, и мы будем исходить из предположения, что в обычном случае оптический поток не слишком сильно отличается от поля движения. Это позволяет нам оценивать относительное движение, исходя из изменения изображения во времени.
Что мы понимаем под кажущимся движением яркостной картины? t Рассмотрим на изображении точку Р, имеющую яркость Е в момент t (рис. 12.3). Какая точка Р' изображения будет соответствовать ей в момент г + 5г, иными словами, как движется яркостная картина в этом временном интервале? Обычно в окрестности точки Р находится много
точек с одинаковой яркостью Е. Если в интересующей нас части изображения яркость изменяется непрерывно, то точка Р будет лежать на линии равной яркости С. В момент t + 5f ей будет соответствовать линия равной яркости С' с тем же значением Е. Однако каково соответствие между точками линий С и С? На этот вопрос ответить непросто, так как при движении форма этой линии обычно изменяется.
Таким образом, отметим, что оптический поток на изменяющемся изображении неоднозначно определяется локальной информацией. Поясним это еще одним примером. Рассмотрим участок однородной яркости на изображении, который не изменяется со временем. «Самым правдоподобным» в этом случае будет нулевой оптический поток. На самом же деле внутри однородного пятна мы можем приписать точкам любые скорости, какие хотим. Хотя, по-видимому, мы предпочли бы простейшее объяснение наблюдаемых изменений изображения (в данном случае отсутствие таких изменений).
Пусть £(х, у, г) — освещенность в точке изображения (х, у) в момент времени t. Тогда, если н(х, у) и г(х, у) — х- и у-компоненты вектора оптического потока в этой точке, можно ожидать, что освещенность будет той же самой в момент г + 5г в точке (х + 8х, у + 8у), где бх = u^t и 8у = vbt. Иными словами, £(х + u^t, у + u8t, t + 8t) = = £(х, у, г) для малого интервала времени 8г. Этого единственного ограничения недостаточно для однозначного определения двух неизвестных и и г. Ясно также, что нам хотелось бы воспользоваться тем, что поле движения почти везде непрерывно.
Если яркость изменяется гладко по х, у и г, то мы можем разложить левую часть уравнения в ряд Тейлора и отсюда получить
£ (х, у, г) + бх h б г -—h bt е - £ (х, у, t),сх су Ct
где е содержит члены высших порядков малости по 8х, 5у и 8t, начиная
Рис. 12.3. Кажущееся движение яркостной картины.
Непросто решить, какая точка Р' на линии уровня яркости С второго изображения соответствует данной точке Р на линии уровня яркости С первого изображения.
Рис. 12.4. Локальная информация о градиенте яркости и скорости ее изменения во времени, накладывающая на компоненты вектора оптического потока лишь одно ограничение.
Необходимо, чтобы скорость потока была направлена вдоль прямой линии, перпендикулярной направлению «радиента яркости. Мы можем определить только компоненту, направленную вдоль градиента яркое!и. Ничего неизвестно относительно компоненты скорости потока в перпендикулярном направлении.
со второго. Сократим Е^х, у, г), разделим на 5г и перейдем к пределу при 5г-> 0. Тогда получим
сЕ dxсЕ dyсЕ
д Н—-■ += 0.
ex dtсу dtct
Коротко это уравнение можно написать в виде dE/dt = 0, где в левой части стоит полная производная Е по времени. Введя сокращения u=dx/dt, v = dy/dt, Ех = сЕ/дх, Еу = сЕ/су, Et = cE/ft, получим Ехи + Еуг + Et = 0. Производные Ех, Еу и Et получают из изображения. Это уравнение называют уравнением оптического потока. Оно накладывает ограничение на компоненты и и и оптического потока.
Рассмотрим двумерное пространство с осями и и г, которые мы назовем пространством скоростей (рис. 12.4). Значения пар (и, и^ удовлетворяющих уравнению оптического потока, в пространстве скоростей лежат на прямой линии. Единственное, что можно сделать с помощью локальных измерений, — это найти эту прямую. Можно переписать уравнение оптического потока в виде (Ех, Еу)(и, г) = -Et. Компонента оптического потока в направлении градиента яркости (£х, Еу)г описывается отношением Е,Д/Ех + Еу. Мы не можем определить компоненту оптического потока, перпендикулярную этому направлению, т. е. направленную вдоль линии постоянной яркости. Эта неоднозначность также известна как проблема апертуры.
Гладкость оптического потока
Теперь введем дополнительное условие. В гл. 17, в которой будет исследоваться пассивная навигация, мы сделаем предположение, что наблюдаемым объектом является твердое тело. В этом случае поворот и перенос камеры относительно объекта будут ключевыми параметрами, которые необходимо восстановить. Такое предположение сильно ограничивает возможные интерпретации и дает дополнительное условие для решения. Однако здесь мы хотим использовать более слабое ограничение, применимое в более общих случаях, например в случае деформируемых упругих тел.
Обычно на большей части изображения поле движения меняется гладко. Мы попытаемся минимизировать меру отклонения от гладкости
= Л [(^ + “Л + Ох + ly)] dxdy,
т. е. интеграл от квадрата величины градиента оптического потока. Интегральная невязка уравнения оптического потока
ес — (((Ехи + Eyv + Е^2 dxdy
также должна быть малой. В целом мы хотим минимизировать es + Хес, где X — параметр, задающий вес отклонения от уравнения движения изображения по отношению к отклонению от гладкости. Этот параметр должен быть большим при точном измерении яркости и малым при сильном зашумлении измерений. Минимизация интеграла вида
(f F(u, г, их, иу, vx, v^dxdy
является задачей вариационного исчисления (см. приложение). Соответствующие уравнения Эйлера имеют вид
В нашем случае F = (и2 + и2) + (г*2 + г2) + Х^Ехи + Еуи + Ег)2, поэтому уравнения Эйлера будут иметь вид V2u = МЕхи + Eyv + Е^ЕХ, V2v = = Х^Ехи + Eyv + Ed Ey, где V2 = ^fcx2 + ^[cy2 - оператор Лапласа. Эту пару эллиптических уравнений второго порядка в частных производных можно решить итеративными методами.
Доопределение оптического потока
Анализируя эти уравнения, можно сделать некоторые выводы о методах решения. Например, там, где градиент яркости равен нулю,
правые части уравнений также равны нулю. В этих областях как и, так и с удовлетворяют уравнению Лапласа. Таким образом, в областях однородной яркости, где скорость оптического потока нельзя найти локально, она интерполируется по скоростям оптического потока в окружающей области. Аналогично вдоль контура нельзя найти компоненту оптического потока в направлении самого контура, однако ее можно интерполировать по величинам, отстоящим от контура на некоторое расстояние. Однако в этом случае движение самого контура дает по крайней мере ограничение в направлении градиента яркости.
В углу направление градиента яркости быстро меняется по мере продвижения от одной ячейки изображения к другой, поэтому для полного определения оптического потока достаточно знать ограничение в малой окрестности. Достоверная информация имеется в углах яркости, менее надежная — в местах, где яркость постоянна вдоль некоторого направления, а меньше всего информации там, где вообще нет пространственных изменений яркости. В том случае, когда однородный прямоугольник движется относительно фона, информация о его движении извлекается из движения контуров и углов.
Граничные условия
Говорят, что задача хорошо определена, если решение существует и оно единственно. Уравнения в частных производных обычно имеют бесконечное множество решений, пока не наложены соответствующие граничные условия. Следовательно, задача, приводящая к дифференциальным уравнениям в частных производных, хорошо определена, если заданы граничные условия, гарантирующие единственность решения. В случае линейных эллиптических уравнений в частных производных второго порядка, например уравнений Пуассона, задание значения функции на простой замкнутой кривой, ограничивающей интересующую нас область, является одним из способов добиться единственности решения. Другой возможностью является задание нормальной производной, т. е. производной неизвестной функции в направлении, перпендикулярном граничной кривой. Дифференциальные уравнения более высоких порядков обычно требуют добавочных ограничений, например задание значений и функции, и ее нормальной производной.
Используя вариационное исчисление, мы можем получить информацию о поведении решения на / ранице или, наоборот, оставить границу свободной. Последний случай приводит к условиям трансверсальности (подробно см. в приложении). Можно показать, что при минимизации интеграла'
г, их, upvx, t^dxdy
условия трансверсальности имеют вид Fudy/ds = F^dx/ds, Fvdy/ds =
= Fv dx/ds, где s — длина дуги вдоль граничной кривой. Пусть ri = (dy/ds, — dx/ds)T — единичный вектор, перпендикулярный границе. Теперь мы можем переписать предыдущее условие в виде ^FUx, Fu)T-n = 0 и (F^, F,. )г-п 0. В нашем случае (нх, u^T- ri = 0 и (гх, уу)т.п = 0, т. е. нормальные производные и и v должны равняться нулю.
Дискретный случай
Теперь можно было бы аппроксимировать непрерывное решение с помощью конечно-разностной схемы, однако читатели, недостаточно свободно владеющие вариационным исчислением, возможно, предпочтут следующий прямой метод. Использование величины оптического потока в точке решетки (цу) и в соседних с ней точках (рис. 12.5) дает нам меру отклонения от гладкости в виде з,а = [(и1 + L; — ща)2 + + UiM+i ~ utJf + U*i+ij - tiaf + (tyv+1 - tyJ2]/4, а невязка уравнения оптического потока имеет вид си = (Ехи(] + Е^а + Ег)2, где Ех, Еу и Et — полученные из наблюдений скорости изменения яркости по х, у и г в точке (цу). Мы ишем набор значений {wfj} и ^и^, которые минимизируют функцию е = XXUj + ^'иУ
i J
Дифференцирование е по ukl и vkl дает
^uki — dkd + 2л (Exiikt + Eyvkl + Et) Ех, cuk\
— 2(vkl — vkd + ^(Exukl + Eyvkl + Е^Еу,
где и и и — локальные средние u и и^. Экстремум имеет место, если
ой i11ой ! +1
О'' ►оi - 1, jbi i + 1, iО'' ►оi - 1, jbi i + 1, iо—•i- 1, jо—•i- 1, j—оi + 1,j—оi + 1,j
О'' ►о
i - 1, jbi i + 1, i
О'' ►о
i - 1, jbi i + 1, i
о—•
i- 1, j
о—•
i- 1, j
—о
i + 1,j
—о
i + 1,j
° i, j — 1v° i, j — 1voi, j - 1 u
° i, j — 1
v
° i, j — 1
v
Рис. 12.5. Сумма квадратов первых частных производных и и v, оцениваемая с помощью разностей компонент оптического потока в соседних точках.
,} Так, например, йк1 = (l/4)(uk+ х , + uk l + j 4- ик_ ]<z + ик<г_ J. — Прим. ред.
Рис. 12.6. Итеративная схема оценки оптического потока.
Новое значение (н. г) в некоторой ючке равняется среднему значению по соседним точкам (й, г) минус поправка в направлении. перпендикулярном oi раничивающей прямой.
обе эти Производные равны нулю. Результирующие уравнения можно переписать в виде
(1 + ХЁ^ик1 + ХЕхЕуик, = йк1 - ХЕхЕ„
ХЕуЕхик, + (1 + ХЕ^Уу = vkl - ХЕуЕ,.
Это система уравнений относительно ик1 и гк1. Детерминант матрицы коэффициентов второго порядка равен 1 + X (Ех + Еу), поэтому
[1 + л(Е2 + Е2)] ик1 = (1 + ХЕ^йк1 - XExEyvkl - ХЕхЕ„
[1 + Х(,Ех + Е2)] ик1 = — ХЕуЕхйк1 + (1 + XE^vkl - ХЕуЕ,.
Эти уравнения можно решить теперь относительно ик1 и ик1. Результат непосредственно приводит к следующей итеративной схеме:
-„ Ехйк1 + Eytkl + Е,
'1 + X \Е^ + Е2)
Е^ЕД^Е
Существует интересная геометрическая интерпретация этих уравнений
Рис. 12.7. Оценка первых производных, необходимых в итеративной схеме, с помощью первых разностей в кубе 2x2x2 значений яркости.
Оценки осуществляются в точке, в которой сходятся четыре элемента изображения, в момент времени, составляющий половину между двумя последовательными измерениями.
(рис. 12.6). Новое значение (w, г) в точке полагается равным среднему из окружающих величин минус добавка, направленная в пространстве скоростей по градиенту яркости.
Для вычисления по этой схеме нам необходимы производные яркости по времени и пространству. Их легко получить из разностей значений в узлах решетки (рис. 12.7). Если индексы г, j и к соответствуют .х, у и t, значения трех первых частных производных можно получить следующим образом:
Ех^Ех^+ Ei+x.j+\.k + Ei+ ! J+ 1, k+ 1)+ Ei+x.j+\.k + Ei+ ! J+ 1, k+ 1)46 x ^Lj-k^u+m46 x ^Lj-k^u+m+ Eij+ i.k+ iX+ Eij+ i.k+ iXРис. 12.8. Четыре кадра синтезированной последовательности изображений, представляющей сферу, медленно вращающуюся перед хаотично раскрашенным фоном.Рис. 12.8. Четыре кадра синтезированной последовательности изображений, представляющей сферу, медленно вращающуюся перед хаотично раскрашенным фоном.
Ех^
Ех^
+ Ei+x.j+\.k + Ei+ ! J+ 1, k+ 1)
+ Ei+x.j+\.k + Ei+ ! J+ 1, k+ 1)
46 x ^Lj-k^u+m
46 x ^Lj-k^u+m
+ Eij+ i.k+ iX
+ Eij+ i.k+ iX
Рис. 12.8. Четыре кадра синтезированной последовательности изображений, представляющей сферу, медленно вращающуюся перед хаотично раскрашенным фоном.
Рис. 12.8. Четыре кадра синтезированной последовательности изображений, представляющей сферу, медленно вращающуюся перед хаотично раскрашенным фоном.
10 Заказ 1963
£у ^ 4gy №,./+1,1 + £;,./+1Д+1 + Е/+l.;+М + £-i+l,j+1.1+l) ~.
®t to 4^(Ei,j,**i + ■£/,7+1.1+1 + Е(+и.к+1 + Ei+1,j+lt+1) —
Это означает, что скорости оптическогоЭто означает, что скорости оптического43r iEi-i-k + £— + Ei + i.j.k + Ei+1 k).43r iEi-i-k + £— + Ei + i.j.k + Ei+1 k).точках, лежащих между точками ными кадрами.точках, лежащих между точками ными кадрами.потока будут вычислены в изображения и между последователь-потока будут вычислены в изображения и между последователь-
Это означает, что скорости оптического
Это означает, что скорости оптического
43r iEi-i-k + £— + Ei + i.j.k + Ei+1 k).
43r iEi-i-k + £— + Ei + i.j.k + Ei+1 k).
точках, лежащих между точками ными кадрами.
точках, лежащих между точками ными кадрами.
потока будут вычислены в изображения и между последователь-
потока будут вычислены в изображения и между последователь-
;Рис. 12.9. Оценки оптического потока, диаграмм после 1, 4, 16 и 64 итераций;Рис. 12.9. Оценки оптического потока, диаграмм после 1, 4, 16 и 64 итерацийв виде игольчатыхв виде игольчатыхпредставленные алгоритма.представленные алгоритма.
;Рис. 12.9. Оценки оптического потока, диаграмм после 1, 4, 16 и 64 итераций
;Рис. 12.9. Оценки оптического потока, диаграмм после 1, 4, 16 и 64 итераций
в виде игольчатых
в виде игольчатых
представленные алгоритма.
представленные алгоритма.
зб
Рис. 12.10.
а — оценка оптического потока после большою числа итераций; б — вычисленное поле движения.
На рис. 12.8 показаны четыре последовательных синтезированных компьютером изображения вращающейся сферы с гладко изменяющейся окраской поверхности. Производные яркости по времени и пространству, вычисленные по этим картинкам, поступают на вход итеративного алгоритма вычисления оптического потока, описанного выше.
Оптический поток после 1, 4, 16 и 64 итераций представлен на рис. 12.9. На первое приближение сильно влияет яркостная картинка на сфере. После небольшого числа итераций оцениваемые векторы потока сходятся к правильному решению, за исключением контура.
Вычисленное поле движения показано для сравнения на рис. 12.10,6. Полученный оптический поток (рис. 12.10, а) очень мало отличается от поля движения везде, кроме контура фигуры ,.
Разрывы оптического потокал
Там, где один объект частично загораживает другой, возникают разрывы оптического потока на контуре объекта. Чтобы избежать гладкого продолжения решения из одной области в другую описанным выше методом, необходимо выделять места нарушения непрерывности. Это напоминает порочный круг; имея хорошую оценку оптического потока, можно выделить места, где он меняется очень быстро, и таким образом сегментировать изображение. С другой стороны, умея хорошо сегментировать изображение, можно улучшить оценку оптического потока. Разрешим эту дилемму, введя сегментацию в итеративный процесс. Другими словами, после каждой итерации выберем области, в которых быстро изменяется оптический поток. Пометим эти области,
чтобы не допустить сглаживания на них решения на следующей итерации. Порог для выделения разрыва сначала устанавливается очень высоким для устранения дробления изображения. Затем по мере уточнения значений оптического потока порог постепенно снижается.
Можно получить некоторое представление о том, как работает наше предположение о гладкости в практически интересных случаях. Самым обычным является случай, когда объект движется как твердое тело, т. е. его движение сводится к повороту и поступательному перемещению (переносу). Для простоты рассмотрим здесь ортогональную проекцию. Перенос дает однородный оптический поток в области изображения, соответствующей движущемуся объекту. Таким образом, внутри области поток, конечно, гладкий. Как и ожидалось, имеются разрывы на границе области, вдоль которой движущийся предмет загораживает фон.
Случай вращения несколько труднее для понимания. Прежде всего мы касаемся здесь только мгновенных величин. Это значит, что мы рассматриваем производные от координат только для данного момента времени; движение на отрезке времени не рассматривается. В упражнении 12.6 будет показано, что вращение вокруг произвольной оси эквивалентно сумме вращения вокруг параллельной ей оси, проходящей через начало координат, и переноса. Скорость переноса равна векторному произведению вектора, идущего из начала координат к оси, на вектор вращения. Не нарушая общности, в любом случае мы можем рассматривать вращение только вокруг оси, проходящей через начало координат.
Пусть вращение предмета определяется вектором со = (а, р, у)т, длина которого дает величину скорости вращения, а направление совпадает с направлением оси вращения. Скорость точки объекта равняется векторному произведению вектора г = (х, у, zY, проведенного от оси вращения к данной точке, на вектор вращения со. Для ортогональной проекции координаты изображений х' и у' равны координатам объекта х и у соответственно. Компоненты и и v оптического потока равняются х и у компонентам скорости точки объекта u = pz - уу и v = ух — az. Теперь легко определить отклонения оптического потока от гладкости. Имеем
(«х + и2) + Yx + Гу) = (а2 + P2)(z2 + z^ - 2y(azx + Pzy) + 2y2.
Непрерывность оптического потока нарушается вблизи контура гладкого криволинейного объекта, так как наклон поверхности становится здесь бесконечным. Более того, вращение вокруг оптической оси увеличивает меру отклонения от гладкости.
Важным практическим приложением методов вычисления оптического потока является пассивная навигация. Здесь мы должны определить путь и мгновенную ориентацию аппарата по информации, полученной * из окружающей среды, без какого-бы то ни было тестового излучения со стороны аппарата. К этой теме мы еще вернемся в гл. 17.
Комментарии к литературе
Книги Хилдритс «Измерение видимого движения» [59] и Ульмана «Принципы восприятия подвижных объектов» [104] посвящены определению и интерпретации видимого движения. Под редакцией Хуанга вышел сборник статей, представленных на конференции Нато, «Обработка последовательности изображений и анализ динамических сцен» [60].
Вариационное исчисление рассматривается во многих книгах, в том числе в т. I «Методов математической физики» Куранта и Гильберта [21] и в кн. «Вариационное исчисление: физические и технические приложения» Вайнштока [107].
Существует много книг, где рассматриваются уравнения в частных производных, в том числе «Дифференциальные уравнения в частных производных: теория и методы» Кэррье и Пирсона [16], т. II «Методов математической физики» Куранта и Гильберта [22], а также работы [61, 77]. Методы регуляризации обсуждаются в работе [103].
Некоторые из ранних работ по изображениям, изменяющимся во времени, имели целью сжатие видеосигналов от типичных медленно меняющихся сцен. См., например, работы [312, 359, 437]. К другому типу относится ранняя работа Феннема и Томпсона [202].
Гибсон ввел термин «оптический поток». С некоторыми из его идей можно ознакомиться в работе [211]. В последние годы эта область бурно развивается. Хорн и Шэнк [259] развили простой итеративный алгоритм определения оптического потока. В работе [419] они расширили этот подход и развили несколько отличный. Различного рода контуры изображения содержат основную информацию об изображении, и в связи с этим Хилдритс [239, 240] был предложен подход, основанный на определении движения кривых, таких, как линии пересечения нулевого уровня, вместо непосредственного определения движения яркостной картины. Найгель [353, 354] разработал методы отслеживания углов. Одна из его схем [355] является сложной модификацией метода, предложенного Хорном и Шэнком. Она позволяет распространять эффект сглаживания только в определенных направлениях.
Другой подход к задаче предполагает отслеживание различных яркостных особенностей на изображении. Подходящими для этого оказываются, в частности, края, как показано в работах [236, 239, 240]. Сюда относятся также работы [318, 334, 374, 417, 452, 463, 475,].
Упражнения
Оптический поток нельзя определить локально в тех местах изображения, где яркость постоянна и градиент равен нулю. В этой главе был описан метод доопределения оптического потока по значению в окружающем пространстве с применением уравнения Лапласа. Здесь
мы исследуем, в каких условиях этот метод дает желаемый результат.
Рассмотрим яркостную картинку, движущуюся вдоль плоскости изображения поступательно со скоростью (u0, с0). Предположим, что скорость оптического потока точно определена на границе cR некоторой области R, внутри которой яркость постоянна. Покажите, что решение уравнений Лапласа V2u — 0 и V2u = 0 при заданных граничных условиях порождает правильный оптический поток в области R. Указание: искомый поток будет единственным решением задачи тогда и только тогда, когда лапласиан внутри области равен нулю и поток удовлетворяет граничным условиям.
Всегда ли методы доопределения дают правильный оптический поток для случая переноса камеры параллельно плоской поверхности, перпендикулярной оптической оси?
Рассмотрим яркостную картину, вращающуюся вокруг точки изображения (х0, Уо) с угловой скоростью со. Что представляет собой оптический поток? Предположим, что скорость потока точно определена на границе cR некоторой области R, внутри которой яркость постоянна. Порождает ли решение уравнений Лапласа У2и = 0 и V2r = О при заданных граничных условиях правильный оптический поток в области R?
Всегда ли метод доопределения оптического потока порождает правильное решение в случае вращения камеры вокруг оптической оси?
Рассмотрим камеру, движущуюся вдоль своей оптической оси в направлении плоскости, перпендикулярной оптической оси.
Покажите, что оптический поток выражается формулами и = (И72)х и г — ^W/Z^y, где W — скорость, a Z — расстояние до плоскости. (Обратите внимание на отсутствие зависимости от фокусного расстояния линзы.)
Является ли оптический поток стационарным (независимым от времени)?
Равен ли лапласиан оптического потока нулю?
Как можно предсказать время столкновения? (Заметьте, что это можно сделать, хотя абсолютные значения скорости и расстояния не восстанавливаются.)
Рассмотрим теперь оптический поток, не соответствующий движению твердого тела.
Предположим, что мы смотрим на поверхность жидкости, находящейся в сосуде с плоским дном. Жидкость вытекает через отверстие в дне сосуда. Если предположить, что глубина жидкости постоянна (несмотря на течение), то что можно сказать об оптическом потоке? Предположим, что оптическая ось перпендикулярна поверхности жидкости и проходит через отверстие. Указание: поток жидкости через любую цилиндрическую поверхность с осью, проходящей через отверстие, должен равняться потоку через любую другую цилиндрическую t поверхность с осью, проходящей через отверстие.,(
Найдите лапласиан потока в описанном выше случае. Имеется ли здесь особенность (точка, где поток становится бесконечным)?
Сечение трехмерного вихревого потока с прямолинейной вихревой линией имеет круговую симметрию, при которой нет движения материальных частиц ни внутрь, ни наружу. Более того, угловой момент слоя данной толщины на одном расстоянии по радиусу от оси тот же самый, что и для другого слоя на другом расстоянии по радиусу. Какой вид имеет оптический поток?
Найдите лапласиан потока в предыдущем случае. Имеются ли здесь особенности?
Покажите, что лапласиан от полинома второго порядка по х и у равен нулю, если коэффициенты при х2 и у2 равны по величине и противоположны по знаку. Примените этот результат к предыдущим задачам.
Предположим, что в качестве меры отклонения от гладкости используется интеграл
es = П [(^М2 + (V2v)2]dxdy ■- '
вместо интеграла es = JJ [(и2 + w2) + (г2 + Vy^dxdy.
Как в этом случае будут выглядеть уравнения Эйлера?
Покажите, что вращение вокруг произвольной оси эквивалентно сумме вращения вокруг оси, проходящей через начало координат, и переноса. Покажите, что вектор переноса равен векторному произведению вектора, соединяющего начало координат с осью вращения, и вектора вращения.
Твердое тело вращается вокруг оси, проходящей через начало координат. Ось вращения параллельна вектору б), а угловая скорость задается величиной этого вектора. Скорость точки г, принадлежащей телу, равна векторному произведению б х г. Определим г = (х, у, z)7 и б) = (а, р, у)7. Покажите, что гладкость оптического потока связана с гладкостью вращающегося тела. Что происходит на контуре? Проекция предполагается ортогональной. Указание: покажите, что У2и и У2и связаны с V2z.
Теперь изучим взаимодействие вариаций яркости и движения. Когда объект движется перед камерой, яркость в данной точке изображения изменяется, поскольку в разные моменты времени ей соответствуют разные фрагменты поверхности. Эти фрагменты могут иметь разные отражательные свойства и различную ориентацию. Начиная с этого места, мы будем предполагать, что отражение не зависит от точки поверхности, и рассмотрим лишь влияние ориентации. Теперь, когда в поле зрения попадает новый фрагмент, нас прежде всего интересует, как его ориентация отличалась от ориентации предыдущего фрагмента до начала движения. Однако этого недостаточно. Мы должны также учесть, как изменяется его ориентация из-за поворота объекта.
Предположим, что часть поверхности объекта движется поступа-
тельно таким образом, что соответствующий фрагмент изображения имеет скорость (и, г) на плоскости ху. Какова скорость изменения р и q, обусловленная этим продольным движением? Покажите, что результирующее изменение яркости имеет вид
где г, s и t — вторые частные производные z. Перепишите это соотношение через градиент яркости изображения (Ех, Е^т. Указание; заметьте, что х-координата точки поверхности, соответствующая фиксированному положению на изображении, уменьшается со временем.
Твердое тело вращается вокруг оси, проходящей через начало координат. Ось вращения параллельна вектору со, а угловая скорость задается величиной этого вектора. Рассмотрим точку с координатами г = (х, у, 2)г и положим компоненты вектора вращения со = (а, р, у)г. Покажите, что
• А / ^- уА . .,ат / I
\ау — рх/
Теперь предположим, что проекция ортогональная, т. е. х' = х и у'= у. Каково в этом случае поле движения?
При вращении объекта ориентация данного фрагмента меняется. Найдите dh/dt через Лип. Затем найдите выражение для dn/dt через dp/dt и dq/dt, дифференцируя уравнение n = n/n у, где п = ( — р, — q, 1)г и n v = |/1 + р2 + q2. Приравнивая коэффициенты при одинаковых членах, покажите, что в этом случае dp/dt = pqa — - (1 + р2] Р - qy и dq/dt = (1 + g2) а - pqP + ру.
Объект вращается перед системой, формирующей изображение. Как уже упоминалось, яркость в данной точке изображения изменяется по двум причинам:
фрагмент поверхности с другой ориентацией входит в поле зрения;
фрагмент поверхности, попавший в поле зрения, поворачивается при движении, поэтому его ориентация меняется.
Изменение, вызванное первой причиной, мы вычислили в п. а, положив скорость движения равной (и, г). В п. б мы вычислили скорость точки изображения, соответствующей данной точке объекта. Для простоты мы взяли ортогональную проекцию, для которой х' и у' на изображении совпадают с первыми двумя компонентами вектора г = (х, у, z^1. Изменение, вызванное второй причиной, было вычислено в п. в. Теперь объединим их и найдем dp/dt и dq/dt как функции от компонент со = (а, р,у)г.
б) В качестве приложения этих результатов рассмотрим сферу радиуса К с центром в начале координат. Покажите, что р = — x/z и q = — yjz. Покажите также, что
Чему равен определитель гессиана?
е) Подставьте эти результаты для первых и вторых частных производных 2 в формулы для dp/dt и dq/dt, полученные в п. г. Покажите, что dE/dt = 0 для любого вращения со, как и следовало ожидать для вращающейся сферы с однородной поверхностью.
При разработке алгоритмов машинного зрения часто бывает удобно начинать с контрольных ситуаций, для которых ответ известен. Для этого используются синтезированные изображения, основанные на моделях формы поверхности, отражения и движения. Допустим, вас попросили создать такое искусственное изображение для данного алгоритма вычисления оптического потока. Пусть поверхность задана в виде функции двух параметров ^ и р. Яркость поверхности равняется L^, р). Поверхность движется поступательно со скоростью t и вращается с угловой скоростью со по отношению к наблюдателю. Опишите, как вы могли бы построить искусственное изображение и определить его пространственную и временную производные.
Изучим оптический поток, полученный при вращении сферы, поверхность которой имеет переменный коэффициент отражения. Нашей целью является определение возможности выполнения уравнения оптического потока.
Рассмотрим сферу радиуса R с центром в начале координат, вращающуюся вокруг оси у с угловой скоростью со. Изображение получено ортогональным проектированием вдоль оси z. Следовательно, х' = х и у' = у, где (х', у') — координаты точки на изображении, соответствующей точке (х, у, z^r на поверхности сферы.
Точки на сфере можно задать значениями долготы ^ и широты р в момент времени t = 0. Эта координатная система вращается вместе со сферой, так что данная точка поверхности связана с фиксированными (^, р). Нам понадобится преобразование между координатами изображения и координатами на поверхности сферы.
о) Найдите зависимость х' и у' от ^, р и t. Найдите зависимость и р от х\ у' и t.
Определите компоненты поля скоростей и и v. Является ли поле скоростей стационарным (постоянным во времени)?
Покажите, что якобиан преобразования координат от (х', у') в (£, р) имеет вид
Л1
/ Вх'^ТД_у2 (Д2 _ у2)^г^2 _ у2
01
Указание: если tg 0 = а/&, то
^=1 d (л\ _ b(da/dx) - a(db/dx)
dx 1 + (a/b)1 dx\b) аЧЛ?
Предположим, теперь, что на сфере задана функция отражательной способности в зависимости от значений долготы и широты R(L п). Яркость изображения пропорциональна отражательной способности так как сфера освещается равномерно со всех сторон.
везде независимоЕсли нет, то каквезде независимоЕсли нет, то какзание:зание:это можетэто можетВыразите Ех, Е, и Е, через R^ и R„, используя правило диф- ференцирования сложной функции и частные производные в якобиане _ Выполняется ли уравнение оптического потока иЕх + vE + Е, = О от функции отражательной способности на сфере? необходимо модифицировать это уравнение? Ука-
везде независимо
Если нет, то как
везде независимо
Если нет, то как
зание:
зание:
это может
это может
оказаться трудным делом.оказаться трудным делом.
оказаться трудным делом.
оказаться трудным делом.
Фотограмметрия и стереовидение
Если спросить, как можно видеть предметы «в глубину», почему возможно трехмерное зрение, самым обычным будет ответ, что для оценки глубины используется смещение изображений, полученных левым и правым глазом. Хотя метод бинокулярного стереовидения далеко не единственно возможный подход к проблеме глубины, он кажется на первый взгляд самым понятным. Точки поверхности предмета дают изображения, относительное положение которых зависит от расстояния до точки наблюдения.
Мы начнем эту главу с изучения фотограмметрии, чтобы понять, как получаются изображения точек окружающей среды с помощью различным образом расположенных и ориентированных камер. Интерпретацию стереопар мы должны начать с рассмотрения преобразования, связывающего две координатные системы камер. Начнем с простого случая, когда известны как направление смещения, так и его величина. Затем перейдем к более трудной задаче, когда можно узнать только направления. Этот метод будет также применен для приведения во взаимное соответствие систем координат, одна из которых связана со зрительной системой робота, а другая — с механическим манипулятором — так называемое преобразование глаз — рука.
В основе любой автоматической стереосистемы лежит некоторый метод установления соответствия между точками двух изображений. Мы оставим эту наиболее проблематичную часть задачи на конец. Предлагались различные подходы к этой проблеме, включая корреляционные методы, методы установления соответствия по уровню яркости, методы, основанные на выделении краев. В настоящее время методы, основанные на выделении краев, считаются самыми эффективными, однако они дают информацию о глубине лишь для конечного числа точек. Для заполнения промежутков используется интерполяция. В конце этой главы будут обсуждены методы гладкой интерполяции.
Относительное смещение двух изображений.
Диспаратность
Проиллюстрируем основные геометрические соотношения на простом примере. Предположим, что две камеры жестко соединены между
Рис. 13.1. Простаж конструкция камеры для стереофотографии.Рис. 13.1. Простаж конструкция камеры для стереофотографии.Оптические оси параллельны дру| другу и перпендикулярны базовой линии, соединяющей две камеры.Оптические оси параллельны дру| другу и перпендикулярны базовой линии, соединяющей две камеры.
Рис. 13.1. Простаж конструкция камеры для стереофотографии.
Рис. 13.1. Простаж конструкция камеры для стереофотографии.
Оптические оси параллельны дру| другу и перпендикулярны базовой линии, соединяющей две камеры.
Оптические оси параллельны дру| другу и перпендикулярны базовой линии, соединяющей две камеры.
собой так, что их оптические оси параллельны и отстоят друг от друга на расстояние b (рис. 13.1). Прямая, соединяющая центры объективов, называется базой. Предположим, что базовая линия перпендикулярна оптическим осям и параллельна оси х. Координаты точки (х, j’, с)т — внешней среды определяются относительно системы координат, начало которой расположено посередине между центрами объективов. Обозначим координаты через (х), yj) и (х(, у') для левого и правого изображений соответственно. Тогда х)//= (х + b/2)z, x'r/f= = (х — bpyz, при этом yy f = y'r/f = y/z, где f — расстояние от центра линзы до плоскости изображения (для обеих камер). Эти три уравнения можно разрешить относительно трех неизвестных х, у, z. Прежде всего заметим, что (х) — х')// = b/z. Разность х) — х'г принято называть диспаратностью. Имеем
х) — х' ■ X/ — х(х) — х',
Расстояние до объекта обратно пропорционально диспаратности, причем расстояние до близких объектов можно измерить точнее, чем до удаленных. Заметим также, что диспаратность пропорциональна рас- ° стоянию между центрами линз Ь. Поэтому при фиксированной погрешности измерения диспаратности точность определения глубины будет возрастать с увеличением базы. К сожалению, чем дальше разне- , сены камеры, тем меньше похожи изображения. Например, некоторые
<
Фото! рамметрия и стереовидение jvi объекты, снятые одной камерой, даже могут быть невидимыми другой. Диспаратность пропорциональна также эффективному фокусному расстоянию /, поскольку изображение увеличивается с увеличением фокусного расстояния.
Точка внешнего мира, видимая для обеих камер, порождает пару точек на изображениях, называемую сопряженной парой. Заметим, что точка на правом изображении, соответствующая некоторой известной точке на левом, должна лежать на определенной прямой, поскольку обе точки имеют одинаковую у-координату. Эта прямая называется эпиполярой. Характерная точка, наблюдаемая на левом изображении, может иметь или не иметь пару на правом, но если она ее имеет, то искать ее нужно только на эпиполяре, поскольку в другом месте ее быть не может. Заметим, что для данной простой геометрии все эпиполяры параллельны оси х. Как мы увидим ниже, в общем случае это не так.
На рис. 13.2 представлено стереоизображение поверхности Марса, полученное спускаемым аппаратом Viking = I. Расстояние между картинками выбрано так, чтобы их можно было смотреть с помощью карманного стереоскопа. Однако нас здесь в первую очередь интересует величина диспаратности. Изменение этой величины от горизонта до камней на переднем плане очень велико при большой базе (0,8 м), и при том, что ближайшие камни расположены на расстоянии всего нескольких метров. Поучительно измерить расстояние между соответствующими точками переднего плана и сравнить его с расстоянием между соответствующими точками вблизи горизонта.
Рис. 13.2. Рельеф поверхности Марса, полученный двумя камерами, установленными на спускаемом аппарате Viking-I.
Диспаратность быстро меняется, когда мы двигаемся от горизонта к камням на переднем плане. (Изображения IPL PIC ID 78/10/19/171012 и 78/10/19/175118 получены с разрешения National Space Science Data Center, Гринбелт, шт. Мериленд.)
Фотограмметрия
На практике две камеры, с помощью которых получают стереопару, нельзя точно выставить, как мы полагали до сих пор при упрощенном рассмотрении. Трудно добиться строгой параллельности оптических осей и перпендикулярности к ним базы. В самом деле, если две камеры необходимо располагать так, чтобы в их поле зрения попадали одни и те же объекты, возможно, их следует развернуть так, чтобы их оптические оси сходились друг к другу в области расположения этих объектов.
Фотограмметрия является одним из самых важных практических приложений стереовидения. В этом случае форма поверхности объекта определяется путем наложения двух фотографий, полученных с помощью тщательно откалиброванных камер. Например, информация, необходимая для построения топографических карт земной поверхности, получается из серии снимков, выполненных с фиксированным интервалом камерой, установленной на самолете, который летит вдоль заранее определенной линии. Топографические карты достаточно высокого разрешения можно составить даже по снимкам, полученным со спутников. Смежные пары снимков рассматриваются левым и правым глазом с помощью прибора, называемого стереокомпаратором, который позволяет наблюдателю точно измерить смещение идентифицируемых точек поверхности. Затем с помощью искусственного плавающего маркера, видимая высота которого может выбираться оператором, строятся линии уровня.
Пилот самолета, производящий аэрофотосъемку, всегда старается делать снимки в запланированных положениях и поддерживать вертикальность оптических осей, однако отклонения от идеального положения являются не исключением, а правилом. Поэтому, прежде чем использовать фотографии, мы должны во время съемки определять взаимное положение и ориентацию камер. Этот процесс, называемый относительной ориентацией, определяет преобразование, связывающее два различных положения фиксированной относительно камеры системы координат в различные моменты съемки.
Иногда возникает необходимость связать пространственные координаты, полученные с помощью стереопары (или какого-либо другого устройства, дающего информацию о дальности, например, лазерного дальномера), с координатами, измеренными в другой системе. Это задача абсолютной ориентации, с которой мы и начнем, поскольку она несколько проще для понимания, чем задача относительной ориентации.
Преобразование между двумя положениями камеры можно рассматривать как движение твердого тела и, таким образом, разложить на вращение и перенос (рис. 13.3). Если г, = (хь yb Z/)T — положение точки Р в системе координат, связанной с левой камерой, а г, = (xr, yr, zy —
фотограмметрия и стереовидение
Рис. 13.3. Преобразование от одного положения камеры к другому.
Его можно представить вращением и переносом. Связь между координатами г/ и гг точки Р можно выразить с помощью матрицы поворота и вектора переноса.
положение этой же точки в системе координат, связанной с правой камерой, то гг = Rrz + г„, где R — матрица поворота — ортогональная матрица 3 х' 3, соответствующая повороту, а г0 — вектор переноса. Столбцы ортогональной матрицы являются взаимно ортогональными единичными векторами, поэтому R'R = 1, где 1 — единичная матрица 3x3.
Абсолютная ориентация
В этом разделе мы предполагаем, что текущие трехмерные координаты г, и гг известны. Установление соотношения между двумя координатными системами называется абсолютной ориентацией. Мы используем ее, например, когда с помощью стереосистемы определены координаты точек в системе, связанной с камерой, а кроме того, известны координаты этих же точек в другой системе (например, второй стереосистеме или системе, связанной с механическим манипулятором).
Перепишем векторное уравнение rr = Rrz + г„ в координатной форме:
. „ flA + Г12У/ + r13zz + r14 = х„
■ Г,.: . > • Г2Л + Г22^ + r23Zz + Г24 = yr,
r3lX[ + )"32У1 + r33zl + T34 = 2,,
где первые три столбца коэффициентов Гц...г31, тхг...тъг и г13...г33 являются тремя столбцами матрицы поворота R, а четвертый столбец г14... г34 — это вектор г„. Эту систему можно непосредственно использовать для вычисления гг = (xr, у„ zr)T по заданному rz = = (xz, уь zty. Здесь мы, наоборот, рассматриваем коэффициенты г, ь г12... ...г34 как неизвестные для определения по заданным величинам xz, уь zh хг, у, И Z,.
Ясно, что невозможно найти двенадцать неизвестных, если даны только три уравнения. Как можно ввести дополнительные условия? Если есть возможность идентифицировать несколько сопряженных пар, то можно получить несколько таких систем уравнений. Имея, например,
четыре точки, можно выписать двенадцать уравнений, что даст возможность найти двенадцать неизвестных. Эти уравнения линейны, так что решение, вообще говоря, будет единственным, как показано в упражнении 13.4.
Ортогональность матрицы поворота
Подход, описанный выше, не обеспечивает ортогональности матрицы поворота. Погрешности измерений неизбежно приведут к тому, что матрица получится не строго ортогональной. Один из способов обойти эту трудность заключается в вычислении ортогональной матрицы, ближайшей в смысле метода наименьших квадратов к матрице, вычисленной выше простым методом.
Однако лучше ввести шесть условий ортогональности матрицы в явном виде. Выпишем их: rft + rf2 + '*13 = 1, ^21 + Нг + Г23 = L Г31 + ^32 + Нз — 1 И ГцГ21 + г 12^22 + г13^23 “ О, Г2 1^31 + Г22Г32 + Г23Г33 — = 0, г31гн + г32г12 + Г33г13 о, поскольку Rf Rr = I, Может показаться, что двух точек в двух координатных системах теперь достаточно, так как шесть уравнений вместе с выписанными только что шестью условиями позволят найти двенадцать неизвестных. Однако это не так. Мы могли бы ожидать появления более одного решения, так как теперь система нелинейна, однако на самом деле это не так.
Указанный подход не работает, поскольку часть имеющейся информации не является независимой. Расстояние между двумя точками должно быть одним и тем же в двух координатных системах: С^Г 2 — XL 1) + (.Ук 2 ~ Ук 1) + (2к 2 “ 2к 1)2 = (Хг 2 — 1)' + (уг. 2 ~ Уг. 1)2 + + Ur,2 — zr. i)2- Это следует из условия ортогональности. Таким образом, вторая точка дает не три, а два новых уравнения.
Кроме того, из-за ошибок измерения вторая точка может дать несогласованную информацию. Тогда из трех новых уравнений одно можно исключить (чтобы избежать противоречий) и возникает необходимость в третьей точке. Оказывается, что третья точка дает только одно дополнительное независимое условие, поскольку два из трех уравнений необходимо исключить для устранения несоответствия. Это хорошая иллюстрация того, как лобовой подсчет числа уравнений может ввести в заблуждение. Нужно иметь уверенность в том, что уравнения, которые мы учитываем, независимы и совместны.
(5(5Итеративные методы решения этих нелинейных уравнений требуют хороших начальных значений. Их легко найти, если имеется соответствующая информация об относительной ориентации двух координатных систем. Это одна из задач фотограмметрии.
(5
(5
Рис. 13.4. Нахождение связи между двумя системами координат при возможности измерения координат нескольких точек в обеих системах.
Для однозначного преобразования необходимы три измерения, а — единственное измерение оставляет свободными три степени свободы движения; б — второе измерение уничтожает все степени свободы, кроме одной; в — третье измерение жестко закрепляет системы координат друг относительно друга.
Геометрическая интерпретация абсолютной ориентации
Формальное изучение уравнений не приближает нас к интуитивному пониманию проблемы. Для уяснения основных соотношений могут оказаться полезными физические модели, удовлетворяющие этим уравнениям. Например, здесь мы можем с помощью простой модели выяснить число требуемых условий для совмещения двух координатных систем.
Рассмотрим два твердых тела, которые могут поворачиваться и смещаться относительно друг друга. Теперь на каждом из них выберем по одной точке и будем перемещать одно из тел, пока точки не совпадут (рис. 13.4, а). После этого одно из тел может еще вращаться относительно другого тремя различными способами. Теперь на каждом объекте выберем вторые точки. Если они одинаково удалены от выбранных первоначально, их также можно совместить (рис. 13.4,6). Одно тело еще может вращаться относительно другого, но только вокруг одной прямой, соединяющей две выбранные точки.
Наконец, выберем по третьей точке на каждом теле. Если эти новые точки одинаково удалены от выбранных ранее двух точек, то их можно совместить (рис. 13.4, в). Теперь два тела связаны жестко, если, конечно, три выбранные точки не лежат на одной прямой.
1333. Решение переопределенной системы
Как упоминалось выше, три точки дают избыточную информацию. Например, когда мы добавляли вторую точку, нам необходимо было
Рис. 13.5. Моделирование задачи наименьших квадратов с помощью механической системы.
Точки, соответствующие друг другу в двух системах координат, соединены между собой пружинами. Решение задачи наименьших квадратов соответствует положению равновесия этой системы, в котором потенциальная энергия пружин минимальна.
знать фактически лишь направление (два неизвестных). Таким образом, мы имеем переопределенную систему уравнений. Лучший выход из этого положения — использовать метод наименьших квадратов. Мы знаем, что из-за ошибок измерения уравнения не могут удовлетворяться точно. Поэтому мы пытаемся минимизировать сумму квадратов ошибки. Пусть е = (ех, еу, е2)т-вектор ошибки, где е( = (Rru + г0) - гг,, в /-й точке измерения. Используя обозначение |е|2 = ее, перепишем подлежащее минимизации выражение в виде
з
-'■ ;. S I еЛ2’ '^
причем должны выполняться шесть условий ортогональности матрицы R. Минимум ищется по параметрам tr ь г12, ..., г34. Задача нетривиальна ввиду нелинейности уравнений. Можно найти решение, введя множители Лагранжа (см. приложение о минимизации при наличии ограничений). Конечно, теперь мы можем для увеличения точности выполнить более трех измерений. Тогда выписанная выше сумма квадратов ошибок будет включать больше членов.
Для лучшего понимания рассмотрим механическую аналогию этого метода решения. Предположим, что каждая точка одного объекта
прикреплена к соответствующей точке другого с помощью пружины (рис. 13.5). Эта механическая система стремится занять положение, при котором ее энергия достигает минимума. Поскольку энергия пружины пропорциональна квадрату ее длины, то устойчивое состояние будет достигнуто при минимальной сумме квадратов длин пружин.
Относительное ориентирование
Мы хотим связать между собой системы координат двух камер, однако при этом нам известны не сами точки г, = Чь yh zf)T и rr = = (xr, yn z^7, а лишь их проекции на плоскость изображения. Зная фокусные расстояния обеих камер, мы можем определить отношения x/z и y/z, используя формулы Xi/f = xJZl И у';// = yjzl ДЛЯ xj И yi и аналогичные для х'г и ут. Можно рассматривать zt и zr как дополнительные переменные. Каждая пара соответствующих точек дает лишь одно добавочное ограничение (а не три). Казалось бы, двенадцать пар достаточны для нахождения двенадцати неизвестных. К сожалению, уравнения нелинейны, и поэтому их труднее решить, а решение может быть неоднозначным. Для данной пары точек имеем
r21XZ + г22У1 + Г2з/ + r24 if /zl) ~ у'г кчЬЧ
■ ^з\х1 +г 32У1 + гзз/ + Г34 (/7-/) = / 4!ziY
Это три уравнения относительно четырнадцати неизвестных гн, г12,r34, zi и zr- Каждая добавочная пара точек прибавляет три
уравнения, но также вводит два новых неизвестных.
Заметим, что неизвестные г13, г24, r34, zi и zr появляются только в отношениях. Поэтому масштабирование не изменит сути этих уравнений. Это означает, что если вектор смещения г0 = (г14, г24, г34)г и расстояния zu и zrJ для i-й точки в левой и правой координатных системах являются решением, то вектор кт0 и расстояния kzt , и kzr л также будут решением (при к 0).
Можно проиллюстрировать справедливость этого утверждения, если удвоить все расстояния (как вдоль базовой линии между центрами камер, так и между точками). При этом направления и углы не изменятся, и точки будут точно так же проектироваться на плоскость изображения.
Чтобы решение было единственным, необходимо дополнительное ограничение. Простейшим может быть ограничение r0-r0 = 1.
Условия ортогональности
Пока мы не пользовались условием, что матрица вращения должна быть ортогональной. Это дает шесть дополнительных условий. Если
даны и пар точек, мы имеем 12+2и неизвестных и 7 + Зи ограничений. Решение возможно, если имеются пять пар точек, при условии, что уравнения независимы. Это так и будет, за исключением случаев неудачного выбора точек (например, если все точки лежат в одной плоскости).
Хотя теоретически интересно знать минимальное число пар точек, практически мы всегда используем больше пар. Причина этого в недостаточной точности отдельного измерения; имея совокупность измерений, можно повысить точность. Выбор совокупности пар точек, превышающей минимально необходимое их число, иногда позволяет избежать грубых ошибок. Если преобразование, вычисленное по и — 1 точке, плохо находит оставшуюся точку, мы можем учесть параметры этой точки и уточнить преобразование.
Решение задачи относительной ориентации в явном виде не выписывается, зато известны многочисленные итерационные методы поиска решения, обеспечивающего минимум суммы квадратов ошибок.
Геометрическая интерпретация относительной ориентации
Еще раз обратимся к простой физической модели, которая поможет нам представить число налагаемых ограничений на две системы координат, если известно, что данный луч, выходящий из начала одной системы координат, пересекает некоторый луч, выходящий из начала другой.
Рассмотрим две декартовы системы координат, способные поворачиваться и перемещаться относительно друг друга. Проведем по одному лучу через начало каждой системы и будем поворачивать одну из них, пока лучи не пересекутся. Закрепим точку пересечения (рис. 13.6, а). Координатные системы пока еще сохраняют большую свободу движения.
В этом случае недостаточно даже трех измерений. Остаются три степени свободы, когда два набора лучей связаны с помощью подвижных колец.; ^,;
Теперь повторим то же самое для второй пары лучей из каждой координатной системы (рис. 13.6,6). После этого остается возможность вращения относительно прямой, проходящей через две точки пересечения. Более того, начало любой системы можно перемещать по дуге окружности, которая проходит через эти две точки, поскольку угол, вписанный в окружность и опирающийся на отрезок, соединяющий эти две точки, при таком движении не меняется.
Таким образом, если мы фиксируем две точки, начало каждой системы может двигаться по тороидальной поверхности, образованной вращением соответствующего круга вокруг прямой, соединяющей эти две точки. Кстати, эти поверхности имеют как минимум две точки пересечения (по одной на каждом конце отрезка).
Даже для трех точек преобразование определено не полностью (рис. 13.6, в). При некотором положении камеры рассмотрим три луча и пересечем их произвольной плоскостью. Построим теперь три тороидальные поверхности на отрезках, образованных парами точек. Начало второй координатной системы будет лежать в точке пересечения трех поверхностей. Однако мы можем найти бесконечное число решений, выбирая различные плоскости пересечения. Здесь существует три степени свободы (две дает ориентация плоскости и одну — ее расстояние от начала координат). Еще труднее проследить, что получится, если мы добавим еще точки. Практически для четырех и более точек уже применяется метод наименьших квадратов.
Применение известной относительной ориентации
Предположим теперь, что известна относительная ориентация двух положений камеры. Точка левого изображения (xj, yj) соответствует лучу, выходящему из начала системы координат х, = xj5, у, = yjs, zz =/-s. В правой системе координаты точек этого луча имеют вид
Хг — (Н 1^ + Г12У/ + Г13/) 5 + Г14,
ТК — (г21^; + ^22^; + ^2з/)5 + ^24,
:~ (гз1^; + r32yj + г33У) s + r34,
и они проектируются в
xr/f = xjzr и у;//= yr,zr
при предположении, что две плоскости изображения лежат на одном и том же расстоянии J от двух линз.
Введем сокращенную запись xr — as 4 и, у; bs -+ г, zr cs 4 w, тогда
х' _ а си — aw 1 у' b си — bw 1
/ с с cs A- w ' f С с cs 4- w ■
Рис. 13.7. Изображения Р/ и Рг точки Р внешнего мира, которые должны лежать на соответствующих эпиполярных линиях.
Все эпиполярные линии на правом изображении проходят через изображение S'r центра проекции левой камеры Sb и наоборот.
Это прямая линия, соединяющая точку (u/w, r/w) при s = 0 с точкой (п/с, b/с) при s^oo. (Первая точка является изображением положения левой камеры на правом изображении, вторая — точкой схода для луча.) Она описывает луч, идущий от правой камеры параллельно данному лучу, идущему от левой камеры.
Все это иллюстрируется на рис. 13.7. Рассмотрим левую камеру. Здесь St — центр линзы, Р^ — изображение точки Р. Положение правой камеры отображается в точку Sb а точка схода для луча от правой камеры к точке Р лежит в точке D'b Точки SJ, Р\ и D\ лежат на одной прямой, которая образуется пересечением плоскости изображения с плоскостью, содержащей точки Р, Sb Sr. Аналогичная прямая получается для правого изображения. Обе эти линии называются эпиполярными линиями. Объект, изображенный на эпиполярной линии на левой картинке, на правой должен изображаться также на эпиполярной линии (если он вообще присутствует).
Эпиполярная линия является пересечением плоскости изображения с эпиполярной плоскостью, на которой расположены центры обеих линз. Все эпиполярные линии на одном изображении пересекаются в одной точке, являющейся изображением положения второй камеры. Конечно, на практике плоскость изображения имеет ограниченные размеры и фактически может не включать в себя изображение положения второй камеры.
Вычисление глубины
Если известны R и г0, мы можем вычислить положение точки по ее известным координатам на левом и правом изображениях. Пусть этими координатами являются (xj, у!) и (х', у'). Тогда
/ xiУг \х'г
Mil J + Г12 у + r13lzi + ^i4 —
I Г21+ Г22 ~7" + Г23 pi + 1 24 — ~72^;
\ j J ) f
I Г31 y + r32 у- + ^ЗЗ I z/ + ^34 — 'г-
Мы можем разрешить любые два из этих уравнений относительнее, zz и z„ а затем вычислить г, = (xh yb ^у^х’Я, yVf, iyzb гг =^f = (xr, yr, zry=^j; yjf, l)Tzr.
Внешнее ориентирование
До сих пор мы занимались проблемой связи между системами координат двух камер. Это делалось для определения места эпиполярных линий, что дает возможность эффективно отождествлять особенности на двух изображениях. Этот процесс отождествления, который мы позже рассмотрим более подробно, дает информацию о глубине в системе координат, связанной с наблюдателем. Часто эта информация должна связываться с «внешней» системой координат, связанной с объектом. Например, это случается тогда, когда визуальная информация используется для управления подвижной платформой или механическим манипулятором при взаимодействии с объектами, воспринимаемыми визуально. В фотограмметрии принят термин внешнее ориентирование, а в робототехнике — термин преобразование глаз — рука.
Рассматриваемая здесь задача является комбинацией двух уже рассмотренных задач: в одной системе известны расстояния, а в другой — лишь направления лучей. Обозначим координаты во внешней системе индексом а, а координаты в системе, связанной с камерой, — индексом с. Аналогично тому как это делалось при определении относительного положения двух камер, можно записатьь ,
{
ГцХа + Г12уа + rt3ZQ у- Г14 = Хс, г21*а + г22Уа + r23Za + г24 = Ус Г31Ха + г32Уа + r33za + ^34 = zc-,
где матрица 3x3 — ортогональная. В системе, связанной с камерой,
доступны лишь отношения xc/zc и yc/zc, поскольку x'lf=xclzc и у'// = yc/zc. В результате имеем
_ гих„ + г12у0 + r13z„ + rl4Г ’ У ЪЛ + Гз2Уа + r33za + r34‘V
У _ l"2lXa + Г22Уд + r23Za + r24 У r31x0 + r32ya + r33za + r34
Наша задача заключается в определении двенадцати коэффициентов перехода. Так как матрица ортогональна, существует лишь шесть степеней свободы. Один из подходов заключается в использовании калибровочных точек, координаты которых во внешней системе известны. Преобразование можно восстановить, если мы измерим координаты соответствующих точек на изображении. Каждое такое измерение вводит два независимых ограничения. Следовательно, достаточно трех неколлинеарных точек.
Каждое измерение координат изображения х' и у' дает два уравнения, x'(r31x„ + r31y„ + r33z0 + r34) -j\ruxQ + г12уа + г132а + г14) = = 0, y(r3i.xa + r32ya + r33za + Г34) — f(r2lxa + r22ya + r23za + r24) = 0, которые линейны относительно двенадцати неизвестных ги, г]2, ..., г34. Однако решаемая система уравнений нелинейна, поскольку условия ортогональности дают шесть уравнений, содержащих произведения неизвестных коэффициентов. Следовательно, можно ожидать более одного решения. Вывод, сделанный выше о том, что камера должна лежать на пересечении трех тороидальных поверхностей, применим и к данному случаю; следовательно, здесь можно ожидать до восьми решений. Если известны приблизительное расположение и ориентация камеры, это позволяет отбросить все решения, кроме одного, и получить однозначный ответ. В любом случае вопрос решает четвертая точка, если только она выбрана удачно. На практике для избежания ошибок и повышения точности используют большее число точек и метод наименьших квадратов. Нелинейность мешает получить решение в явном виде, и приходится обращаться к итерационным методам.
Внутреннее ориентирование
Мы умолчали об одной детали: везде неявно предполагалось, что мы знаем величину фокусного расстояния, т. е. точное расстояние от линзы до плоскости изображения, а также точку, в которой оптическая ось пересекает эту плоскость. Нам необходима эта информация для выполнения преобразования от координат камеры хс, ус и zc к координатам изображения х' и у'. Мы подразумевали, что начало системы координат изображения лежит на оптической оси. Мы можем, конечно, выбрать систему координат камеры так, чтобы ее оси были параллельны осям на плоскости изображения, поскольку
это достигается простым поворотом, однако при этом мы должны точно знать величину / и поместить центр системы координат изображения на оптическую ось.
Необходимая нам информация получается в ходе так называемого внутреннего ориентирования. Если линза имеет достаточно большие радиальные искажения (дисторсию), чтобы влиять на результат, то ставится задача внутреннего ориентирования, включающая измерения этих искажений как функции расстояния от начала координат.
Задачу восстановления точного расстояния от линзы до плоскости изображения и точного места пересечения ее оптической осью можно решить, комбинируя внешнее и внутреннее ориентирование. Идея заключается в том, что измерения на изображении признаются неидеальными, и поэтому отбрасываются условия ортогональности. Это облегчает задачу, так как оставшиеся уравнения линейны.
До сих пор мы также предполагали идеальность измерений координат изображения х' и у. Однако в электронно-оптических системах получения изображений трудно гарантировать строгую ортогональность осей и полное совпадение масштабов по двум осям. Для учета этого явления можно ввести линейное преобразование от идеальных осей к реально используемым. Аффинное преобразование на плоскости является линейным, и с его помощью можно описать подобие, движение (перенос и вращение), сжатие и перекос. Такое преобразование может учесть все отклонения от идеальности, которые мы обсуждали ранее:
ошибки масштабирования, обусловленные неточностью измерения величины /;
ошибки переноса (сдвига), обусловленные неточным знанием положения начала координат;
вращение, обусловленное неточным знанием поворота визуального датчика;
перекос из-за отклонения осей зрительной системы от ортогональности;
сжатие из-за неодинакового масштабирования по осям.
Аффинное преобразование зависит от шести параметров, и его можно записать в виде х’ = аи (xc/zc) + а12 (yc/zc) + «и, У' = a2i (xc/zc) + + «22 (Ус/Zc) + «23- ПОЭТОМУ
х'+ $12Уа + s13zg + ^14.
/$31*0 + 831Уа + 8ззЗа + $э4^ьу.''.
У _ ^21^0 + ^22Уа + 81г20 + $24
/ 8мха + 831Уа + Sj^Za + S34
где новые коэффициенты ^Д являются суммами произведений старых коэффициентов {г,,} и коэффициентов {а,,} аффинного преобразования. Эти уравнения имеют тот же вид, что и рассмотренные ранее. Разница состоит в том, что матрица коэффициентов 3 х 3 не должна
быть ортогональной. Вследствие этого нам не нужно рассматривать нелинейные уравнения, возникшие из-за условий ортогональности. У нас остается для каждой точки по одной паре линейных уравнений вида
У (^31^ + з32уй 4- S33za 4- S34) -Д5цХй 4- s12ya 4- sI3zd 4- sM) = О,
У (S31^a + 53 23'о + ^33Za + S34) “/(^гЛ + S2 2>a + s23Za + S24) = 0.
На первый взгляд кажется, что нам для нахождения двенадцати неизвестных необходимо шесть точек. Однако эти уравнения однородны, или, другими словами, преобразование не меняется при одновременном масштабировании всех коэффициентов, и поэтому фактически мы имеем только одиннадцать независимых параметров. В любом случае без дополнительных предположений пяти измерений недостаточно, а при шести система переопределена. На практике измеряется гораздо больше точек и используется метод наименьших квадратов, отыскивающий лучшее приближение к преобразованию. В данном случае это просто, так как все уравнения линейны, как будет показано в упражнении 13.11.
Метод, аналогичный рассмотренному выше, необходим, чтобы связать координатную систему промышленного робота с координатной системой визуального датчика. В упражнениях мы выведем некоторые приближенные соотношения, с которыми легче работать. Приложения этих методов мы увидим в гл. 18, в которой мы объединим многие идеи этой книги при построении системы, разбирающей детали из навала.
Поиск сопряженных точек
Теперь мы подошли к ключевой проблеме стереозрения; как на двух изображениях можно расположить сопряженные точки? Проблема установления соответствия состоит в идентификации характерных фрагментов на двух изображениях, являющихся проекциями одного и того же фрагмента трехмерного мира. Если это сделано, то можно вычислить расстояние до этого фрагмента. При некоторых положениях камеры точка поверхности объекта может оказаться за пределами изображения; однако если она видна на обоих изображениях, то обе эти точки должны лежать на соответствующих эпиполярных линиях.
Как можно отождествить точки? В одном из подходов предлагают анализировать изображения порознь, выделяя на них характерные особенности. Ими могут быть либо объекты, подлежащие идентификации, либо особые области полутонового изображения, которые мы можем с уверенностью узнать. Удобной для этой цели особенностью являются края. Можно выделить также «углы», где график функции яркости обладает ненулевой гауссовой кривизной.
Методы, основанные на выделении краев, мы изучим позже, а сей-
час рассмотрим другой подход. Можно ожидать, что яркостная картина не меняется или меняется мало в небольшой окрестности каждой точки. В принципе возможен случай, когда в двух точках уровни яркости совпадают." Однако обычно таких точек несколько на соответствующих эпиполярных линиях. Как мы можем различить их?
Отождествление по уровню яркости
Рассмотрим фрагмент гладкой поверхности, который не слишком сильно наклонен по отношению к прямым, соединяющим его с каждой камерой. Соседние точки поверхности переходят в соседние точки на обоих изображениях. Поэтому мы можем надеяться, что изменения яркости в соседних точках на одном изображении имеют тот же характер, что и изменения яркости в соседних точках на другом изображении. Теперь эту задачу мы можем представить как задачу отождествления полутоновых «горбов» на соответствующих эпиполярных линиях. Эти «горбы» не просто сдвинуты относительно друг друга, но и сжаты или расширены в результате масштабных изменений фрагмента поверхности при переходе от одного положения камеры к другому.
Рассмотрим простую геометрическую конфигурацию, с которой мы начинали (рис. 13.1), в которой х;//= (х + b/2)/z и x;]f = (х - bfiyz. Будем искать такую функцию z (х, у), что Ех (xj, yj) = Ег (х;, у;) или
Здесь удобно сделать замену переменных, с тем чтобы в дальнейшем работать не в пространственных координатах (х, у, zy; а в координатах изображения (х\ у')Т. Положим х'//= x/z и d(x\ у') = bf/z. Будем искать такую функцию диспаратности d(x’,y\ что Et [х' + d (х', у')/2, у'] - Er [х' - d (х', у')/2, у'].
Мы хотим также, чтобы z и, следовательно, d изменялись гладко. Поэтому мы минимизируем некоторую меру отклонения от гладкости, например
es = JJ У^У dx'dy'.
(В качестве меры гладкости мы выбираем здесь квадрат лапласиана, поскольку метод, основанный на сумме квадратов первых производных, имеет тенденцию к чрезмерному приближению поверхности к плоскости.) Измерения яркости изображения неточны, поэтому мы не можем требовать точного выполнения условия Ех = Ег. Вместо этого минимизируем интеграл
ei = И № - E^dx'dy.
В итоге мы должны минимизировать es 4- Хеи где X — весовой
коэффициент, который имеет большую величину при точных измерениях яркости и малую — в противном случае. Здесь уравнение Эйлера имеет вид Fd - (5/£х') Р(Гх - (о/бу'-) Р(Г = 0, где Г = ^d^- 4- X [Ez (х' + + d (< у')/2, у') - Er (х' - d (х', у’^2, .V’72, поэтому
V2 (V2^) - х (Е, - £Г) М-
2 \ сх сх /
Здесь Е, и сЕ^бх* измерены в точке [х' + (1/2) d (х\ у'), У] на левом Йзображении, а Ег и сЕ^бх' — в точке [х' — (1/2) d(x', у'), У] на правом изображении. Оператор
с4с4S4
V2 (V2) = >4 + 2 “з 77-77“ +
б^гб^уг ^(ут
называется ангармоническим оператором.
В дискретном случае вместо V2(V2d) мы используем x^-rd^), где х — результат свертки d с вычислительным (дискретизированным) ядром, полученным из непрерывного ядра, которое соответствует бигармоническому оператору. Это приводит к итеративной схеме вида
d- + 1ииd- + 1ии= d-- -= d-- --(Et-Er x-(Et-Er x6Et cErex ex6Et cErex ex
d- + 1
ии
d- + 1
ии
= d-- -
= d-- -
-(Et-Er x
-(Et-Er x
6Et cErex ex
6Et cErex ex
в которой частные производные от Et и Ег оцениваются их первыми разностями. Если левое изображение ярче правого, то диспаратность увеличится или уменьшится в зависимости от знака градиента яркости. Очевидно, это будет приводить к уменьшению перепада яркости.
Заметим также, что имеется тенденция к уравниванию диспаратности в соседних точках. Таким образом, эта схема обладает некоторыми полезными свойствами. ОдЦако трудности возникают, когда изменения яркости в сопряженных точках на двух изображениях имеют разный характер. Когда объекты частично перекрывают друг друга, трудности связаны с быстрым изменением диспаратности. Более серьезной трудностью является необходимость в хороших начальных уело- - виях. Без этого сходимость маловероятна. Проблема заключается в том, что под воздействием градиента яркости отдельным значениям диспаратности можно приписать неправильное направление. Возможно и просто ложное отождествление. Эта проблема возникает, когда правильное отождествление удалено от правильной оценки намного больше, чем на одну ячейку изображения. Если яркость поверхности сильно флуктуирует, при оценке градиента яркости могут возникать большие ошибки.
Сглаживание или размывание изображений помогает уменьшить эти эффекты, поскольку при этом пропадают высокие пространственные частоты. На первом этапе выполняют грубое отождествление для сглаженных изображений, а затем для получения более точного решения 4 результат используют в качестве начального приближения. Для получения хороших начальных приближений на сглаженном изображении с
мы можем сгладить его еще сильнее. От сглаженных изображений мы не должны ждать идеального совпадения. Таким образом, мы формируем последовательность изображений, каждое из которых является сглаженной и сокращенной версией предыдущего. Для сокращенной версии результат отождествления является начальным значением итеративного процесса для менее сглаженного изображения.
Аналогичный процесс последовательной корректировки массивов диспаратности используется в некоторых автоматических стереосистемах. Этот метод хорошо работает при наличии разумных начальных значений и не работает при быстрых изменениях диспаратности, когда на изображениях отсутствуют детали некоторого размера или когда не совпадают уровни яркости сопряженных точек.
Изображения сопряженных точек, вообще говоря, не должны иметь точно совпадающие уровни яркости, так как они наблюдаются из различных направлений. В качестве крайнего примера приведем зеркальную поверхность. Такую поверхность можно повернуть так, чтобы отразить лучи, идущие от источника света в направлении одного глаза наблюдателя, при этом лучи могут не попадать во второй глаз. В более общем случае будет наблюдаться небольшая, но все же заметная разница в уровнях яркости, зарегистрированных на двух изображениях.
Корреляционные методы
Если сопряженные площадки изображений имеют сходные распределения яркостей, мы можем попытаться совместить их с помощью корреляции. Если дана площадка на одном изображении, мы вычисляем для нее корреляцию со всеми площадками, лежащими вдоль соответствующей эпиполярной линии. Затем мы выбираем точку с максимальным значением корреляции.
Как велики должны быть площадки? Если они слишком малы, яркостные картины не будут явно отличаться (будет много ложных совпадений). Если они слишком велики, произойдет потеря разрешающей способности, так как соседние районы изображения, имеющие различные диспаратности, при таком способе измерения будут объединяться. Плохо и то, что две площадки не могут обеспечить хорошего совпадения, если диспаратность не является постоянной. В этом случае снова можно использовать схему многократного разрешения: во-первых, для упрощенного изображения произвести корреляционное отождествление. Во-вторых, использовать результат для ограничения поиска при сопоставлении следующей пары изображений с более высоким разрешением.
Хотя корреляционные методы обычно предлагаются в числе первых, они не очень хорошо работают. Возможно, самым серьезным их недостатком является чувствительность к сокращению видимого размера
Рис. 13.8. Косая площадка, имеющая на двух изображениях разную видимую площадь.
Это заметно влияет на характеристику прямой корреляционной схемы.
L R 1 г ' . -
при изменении ракурса (рис. 13.8). Если поверхность поворачивается относительно базовой линии, на одном изображении она кажется короче, чем на другом. В этом случае мы не можем ожидать хорошего совпадения полутоновых картинок.
Корреляционные методы не обязательно использовать непосредственно к исходному изображению. Например, они работают лучше при предварительном подчеркивании краев, однако и таким путем не удается избежать их основных недостатков. Они включают в себя чувствительность к изменению длины при изменении ракурса и неспособность определять смещение в областях, в которых утрачены некоторые детали изображения.
Одна из полезных модификаций корреляционного метода заключается в том, что искажения на обоих изображениях объединяются с целью компенсации ракурсных изменений размеров. Для этого можно сопоставить оба изображения с некоторым мнимым изображением, полученным при положении камеры, промежуточном между двумя ее настоящими положениями. Альтернативным подходом является сопоставление одного изображения с другим. В любом случае нужно знать форму поверхности для нейтрализации видимых изменений размеров. Это приводит к порочному кругу, поскольку задача как раз и заключается в восстановлении формы поверхности с помощью корреляционного отождествления. На практике используется итеративная схема, когда текущая оценка диспаратности используется для коррекции изображений, прежде чем они будут подвергнуты корреляционному методу. Результат, состоящий в нахождении пика корреляции, затем используется для оценки диспаратности.
Такая схема итераций не гарантирует сходимости. При использовании этого метода на ЭВМ необходимо присутствие человека-оператора, помогающего пройти трудные для алгоритма участки.
Методы, основанные на отождествлении краев
Если в некоторой части изображения уровень яркости более или менее постоянен, трудно искать сопряженные точки. Корреляционные методы, использующие площадки меньшие, чем данная область однородной яркости, не дадут явно выраженного максимума. Методы отождествления по уровню яркости, рассмотренные выше, получат диспаратность в таких частях изображения, экстраполируя диспаратности в соседних областях, в которых изменения уровня яркости достаточны для вычисления диспаратностей.
Может оказаться более разумным оценить смещения только там, где яркость быстро меняется, например на краях между более или менее однородными областями. Теперь идентификация выполняется не для самого изображения, а для его грубою символического описания. Однако некоторые проблемы остаются теми же самыми и прежде всего остается возможность ошибочного отождествления. Так как на любом изображении вдоль данной эпиполярной линии может быть много краев, необходимы дополнительные способы устранения неоднозначности. Мы можем связать с каждым краем дополнительную информацию, регистрирующую такие эффекты, как изменения уровня яркости при переходе через край. Отождествление краев возможно лишь тогда, когда достаточно хорошо согласуются описания этих краев. Более того, когда мы смотрим на непрерывную поверхность, края должны располагаться в одинаковом порядке на соответствующих эпиполярных линиях (рис. 13.9). Только если один предмет лежит перед
Рис. 13.9. Упорядочение характерных точек в случае непрерывных поверхностей. Изображения точек вдоль некоторой эпиполярной линии можно упорядочить тем же способом, что и изображения этих точек вдоль соответствующей эпиполярной линии на Другом изображении. Эю налагает сильное ограничение на отождествление особенностей.
другим, последовательность краев на двух изображениях может быть разной.
В особенно простых случаях все края, видимые на одном изображении, видимы также и на другом. Большинство автоматических систем работает плохо, если это условие не выполняется. При аэрофотосъемке городов это условие нарушается, так как вертикальные элементы зданий можно видеть на одном снимке и не видеть на другом.
Даже при таких облегчающих задачу предположениях и при учете того факта, что отождествляющиеся края лежат на соответствующих эпиполярных линиях, задача остается неоднозначной. Помочь может соображение, что отождествление для близких эпиполярных линий должно быть примерно одинаковым. Самый эффективный метод включает также описания с разными уровнями подробности.
Сглаживая изображения, мы теряем детали, и края, соответствующие мелким особенностям изображения, тоже исчезают. Отождествление упрощается благодаря уменьшению числа краев. Мы начинаем с сопоставления сильно сглаженных изображений. Затем найденное соответствие используется для того, чтобы направить и ограничить поиск соответствующих краев при более высоком разрешении. Можно оценить распределение интервалов между краями вдоль эпиполярных линий, зная степень сглаживания изображения. Это в свою очередь позволяет оценить вероятность ошибочного отождествления краев, между которыми в действительности соответствия нет. Интервал, в котором ведется поиск, можно настолько ограничить, чтобы удержать вероятность ошибки в нужных пределах.
Вспомним, что яркость изменяется быстрее на краях, чем на других участках. Поэтому здесь первая производная яркости имеет максимум, а вторая обращается в нуль; другими словами, это — точка перегиба функции яркости. Следовательно, мы можем искать места возможного расположения краев, отыскивая на сглаженном изображении линии с нулевым значением второй производной. В гл. 8 при рассмотрении задачи выделения краев мы объяснили применение оператора Лапласа к сглаженному изображению. Сглаживание можно осуществить путем свертки с функцией Гаусса; используя функции Гаусса разной ширины, мы обеспечим фильтрацию с различной степенью разрешения.
Рассматривая в предыдущих главах выделение краев, мы интересовались операторами, симметричными по отношению к повороту, поскольку необходимо было искать линии любых направлений. Здесь нас интересуют в основном края, проходящие под большими углами к эпиполярной линии, поскольку края, параллельные эпиполярной линии, не дают информации о диспаратности. Поэтому удобно рассматривать вторую производную в направлении эпиполярной линии. Одно из преимуществ такого подхода становится очевидным, если вспомнить, что при одинаковых размерах области действия инвариант-
ный относительно вращения оператор более чувствителен к шуму по сравнению с оператором с выделенным направлением. t .
Интерполяция
Одним из недостатков метода, отождествляющего точки в местах быстрого изменения яркости, является то, что диспаратность отыскивается только в таких точках. Если необходимо знать диспаратность в других точках, используется интерполяция. Как можно интерполировать гладкую поверхность по известным точкам? Это задача, которую приходится решать во многих случаях. Методы интерполяции на регулярной решетке хорошо известны. Однако здесь данные расположены вдоль заранее неизвестного контура.
Много вопросов возникает при выборе метода интерполяции. Кроме получения гладкой поверхности мы хотели бы, например, иметь уверенность в единственности решения. Кроме того, результат не должен зависеть от ориентации координатных осей. Это приводит к операторам, инвариантным относительно вращения. В выборе подходящего метода может помочь наглядная физическая аналогия. Предположим, например, что известные величины диспаратности вдоль краев представлены в виде «стенок» высотой, пропорциональной диспаратности. Стенки построены вдоль кривых, соответствующих на изображении краям. Теперь натянем на эти стенки резиновое полотно, фиксируя его на верхнем краю. Высоту этого резинового полотна можно считать искомым результатом интерполяции.
Результирующая поверхность непрерывна и не зависит от ориентации координатных осей. Она гладкая, за исключением стенок, где обычно имеют место разрывы первой производной. Резиновое полотно принимает форму, соответствующую минимуму потенциальной энергии. Для небольших растяжений эта энергия пропорциональна интегралу
П«х + z^dxdy.
Уравнение Эйлера для этой задачи сводится к уравнению Лапласа V2z = 0, за исключением стенок, что можно проверить с помощью вариационного исчисления.
Чтобы избежать разрывов нормали к поверхности вдоль стенки, вместо резины мы можем использовать тонкий металлический лист. Он также примет форму, минимизирующую внутреннюю энергию. Для небольших прогибов внутренняя энергия пропорциональна интегралу
и (V2z)2 dxdy.
Уравнение Эйлера для этой задачи дает бигармоническое уравнение V2 (V2z) = О или 54z/5x4 + 254z/5x25y2 + 54z/5y4 = О, за исключением стенок, что можно проверить с помощью вариационного исчисления.
Эти уравнения можно решить численно, используя прямую итерационную схему.
Эти методы дают хорошие результаты для непрерывной поверхности. Трудности возникают, когда один предмет частично перекрывается другим, поскольку здесь диспаратности не непрерывны. Следовательно, необходимо разбить изображения на сегменты, соответствующие отдельным телам, на которых диспаратности непрерывны. Интерполяцию можно использовать к каждому телу по отдельности.
Комментарии к литературе
Бинокулярное стереозрение для биологических систем подробно обсуждалось в книге [63]. Ее автор показал (используя стереограммы из случайных точек), что поиск соответствия на стереопаре предшествует распознаванию. Грим сон рассматривает автоматические стереосистемы, основанные на выделении краев, в книге [48]. Моравек описывает стэнфордскую систему подвижной тележки в книге [80]. Одним из лучших описаний фотограмметрии является книга Вольфа [116]. Метод наименьших квадратов часто приводит к трудностям, которые можно обойти, используя псевдоинверсию. Здесь можно рекомендовать книгу [4].
Фотограмметрические аспекты машинного зрения обычно считались слишком тривиальными для публикаций и остались только во внутренних отчетах (см. работы [209, 246, 43 3]). И это несмотря на то, что стереозрение составляет важную часть зрительной системы для манипуляторов и подвижных роботов. Лонгет-Хиггинс в статье [317] описал восстановление сцен по одному или нескольким изображениям. Фишлер и Болле [204] показали, что существуют четыре решения задачи определения положения камеры по минимальному числу известных точек поверхности.
В конце 60-х — начале 70-х гг. было потрачено много сил на попытки создания машины для топографической съемки поверхности по парам аэрофотоснимков. Большая часть этих усилий ушла на корреляцию или ее простые модификации, так как главным вопросом была скорость, в то время как нужно было сосредоточить внимание сначала на основной проблеме отождествления. Многие проекты закрылись посл« того, как столкнулись с трудностями, отмеченными в данной главе. Однако на нескольких машинах разумные результаты для несложных местностей были достигнуты. Для этого потребовалось довольно существенное взаимодействие с оператором. Ранняя версия одного из таких компьютеров UNAMACE описана в работе [142], а в работе [296] описан гештальт-фотокартограф,—по-видимому, на сегодняшний день наиболее удачный серийный прибор. В работе [301] дан хороший обзор различных компьютеров, разработанных к 1981 г. Пять статей, посвященных автоматическому стереоотожде-
ствлению, можно найти в апрельском 1983 г. выпуске «Техника фотограмметрии и дистанционное очувствление».
В работе [311] разработана стереосистема на основе адаптивного окна корреляции, а • в работе [349] — итерационный метод, компенсирующий изменение размеров при изменении ракурса. Аналогичные методы были потом введены во многие корреляционные схемы. В работе [222] можно познакомиться с итерационным методом коррекции искажений размера. Авторы работы [234] указали на преимущества использования эпиполярной линии для ограничения перебора при отождествлении.
Сутро и Лерман [443] развили простой метод отождествления по уровню яркости, использующий массив диспаратностей и схему вычеркивания ложных отождествлений. В работе [189] использован массив диспаратностей и предложены внешние и внутренние взаимодействия, найденные затем независимо в первой стереосистеме Марра и Поджио [332]. В работе [331] усилия сосредоточены на обработке точечных стереограмм Юлеша.
Позже Марр и Поджио перешли к другому методу, основанному на отождествлении линий нулевого уровня, многие детали которого были разработаны Гримсоном. Например, Гримсон [218, 220, 221] развил методы интерполяции поверхности на основе неполных данных, полученных отождествлением линий нулевого уровня. Маррокен [335] рассматривал разрывы глубины, недоступные для обработки простыми интерполяционными методами.
Гримсон [219] также показал, что при разумных предположениях об отражательных свойствах поверхности точки изгиба не должны остаться незамеченными при поиске с помощью линий нулевого уровня. Популярное изложение двух упомянутых выше теорий стереозрения было опубликовано в работе [380].
В работе [136] предложен интересный оператор отождествления точек. Авторы работы [339] возражают против исключительного применения линий нулевого уровня и развивают свой собственный метод стереоотождествления. К более современным работам в этой области относятся работы [340, 341]. Еще один метод стереоотождествления был развит в Станфордском университете [129, 130]. Позже в Университете Карнеги — Меллона было предложено использование динамического программирования на этапе отождествления [373].
Насихара [368] развил метод, способный быстро определять величину диспаратности на грубом растре с помощью методов бинарной корреляции, примененных к знаковому разряду фильтра, подчеркивающего края. Сам он ссылается на необходимость быстрых алгоритмов для промышленных применений, и в частности, при разборе навала. Эксперименты в этом направлении были проделаны Икехи и др. [276].
Брэди и Хорн [154] изучали операторы, инвариантные относительно
вращения, так как такие операторы используются при интерполяции поверхности и выделении краев. Схема интерполяции, развитая Гримсо- ном, включает итерационное решение дискретного варианта эллиптических уравнений в частных производных. Как и в случае вычисления освещенности, проблемой здесь может оказаться медленная сходимость. Были разработаны методы многоуровневого разрешения, которые, по- видимому, сильно облегчают задачу. В работах [448 — 450] описано применение этих методов к нескольким алгоритмам машинного видения, в том числе интерполяционным.
Повороты можно представлять не только в виде ортогональных матриц. Например, в книге Корна и Корна [68] перечислено семь таких методов. В гл. 18, где мы конструируем систему для разбора навала, мы изучаем кватернионы и находим, что это обеспечивает ряд преимуществ. Некоторые задачи ориентации не имеют явного решения в обозначениях, введенных здесь, но могут быть решены в кватернионах. Примеры этого можно найти в работах [420, 451].
Упражнения
Здесь мы используем соотношение между расстоянием и диспаратностью. Предположим, что длина отрезка, соединяющего два положения камеры, равна Ь. Пусть некоторый объект можно увидеть из обоих положений, а линии от левой и правой камер к объекту составляют с базовой линией углы 6- и 6Г соответственно (рис. 13.10).
Покажите, что расстояние до объекта по перпендикуляру* от базовой линии (или ее продолжения) составляет h = 6sin6rsin6z/[sin(0r —0,)]. Обратите внимание на обратную зависимость от диспаратности 0г - 0,.
Какова дисперсия расстояния й, если дисперсия измерения углов 0Г и 6, равна су2? Указание: продифференцируйте h по 0Г и 0(.
Как падает точность этого метода с расстоянием?
В этом упражнении попытаемся аналитически решить задачу, которая в предыдущем упражнении была решена геометрически. Обозначим координаты на левом и правом изображениях через (xj, yj) и (х,, у')
Рис. 13.10. Случай простой конструкции стереокамеры, представленной на рис. 13.1.
Расстояние h легко связать с диспаратностью 0Г —0/ и другими величинами, показанными иа рисунке.
соответственно, в то время как координаты точки внешнего мира (х, у, z)r измеряются относительно точки, расположенной посередине между центрами линз. Предположим, что линия, соединяющая центры линз, перпендикулярна оптической оси, ось х параллельна этой линии, а оптические оси параллельны между собой. Покажите, что относительная ошибка в определении расстояния пропорциональна относительной ошибке измерения диспаратности, т. е. Sz/z = — 8(х! — х')/(х; — х').
Это упражнение демонстрирует избыточность, возникающую при измерении координат большого числа точек в двух координатных системах. Пусть переход между двумя положениями камеры задается формулой г — Rrz + го, где RrR = I. Покажите, что расстояние между данными двумя точками в левой и правой системах координат одно и то же, т. е. |rL2 — г, t |2 = |гг 2 — rr i |2, где используется стандартное обозначение |х|2=х-х.
В этой задаче мы разрабатываем метод восстановления преобразования между двумя координатными системами, т. е. решаем задачу абсолютной ориентации. Перепишем уравнение гГ1 — Мги + г0 для / = 1? 2, 3, 4, так чтобы неизвестными были элементы mH, w12,...,w34 матрицы, образованной приписыванием вектора г0 к матрице М. Матрица коэффициентов должна быть квадратной. Матрица М не предполагается ортогональной. Покажите, что система уравнений вырожденная, если все четыре точки лежат на одной плоскости. Покажите, что в общем случае четыре точки однозначно определяют абсолютную ориентацию.
Здесь мы развиваем другой метод определения абсолютной ориентации. Обозначим аЛ7 = г, , — г,, разность между координатами i-й и j-й точек в координатной системе координат левого изображения. Аналогично btj = rrJ — гм. Для данных четырех точек построим три набора таких разностей, выбирая точки попарно. Теперь построим квадратные матрицы третьего порядка А и В, объединяя эти векторы: А = (а12 а23 а3 4), В = (Ь12 Ь2 3 Ь34). Покажите, что матрица поворота М задается соотношением М = АВ 1 при условии, что матрица В невырожденная. Когда матрица В окажется вырожденной? Как можно вычислить вектор переноса г0? В каком случае матрица М будет ортогональной?
Теперь рассмотрим случай, когда имеется больше измерений, чем минимально необходимо, и можно использовать метод наименьших квадратов.
а) Найдите матрицу поворота М и вектор переноса го, которые минимизируют сумму ошибок п
где е, = (Mrlti + r0) - гм. Заметьте, что здесь. матрица М не обязательно должна быть ортогональной.*
‘ б) Найдите ортогональную матрицу R и вектор переноса г0, миними- ШЕрующие сумму ошибок
. ЕеЧ<
i = 1
где ef = (Rrz j + r0) — rr i. Заметьте, что в этом случае R должна быть ортогональной. Указание-, эта часть задачи намного труднее предыдущей.
Предположим еще раз, что у нас имеются два устройства, спо-. собные измерять положение точек в пространстве. Эти устройства с высокой точностью линейны, но не идеальны в других отношениях. В частности, оси координат систем не обязательно ортогональны и масштабы вдоль координатных осей не обязательно равны.
Чтобы успешно использовать эти устройства, мы должны найти
соотношение между измерениями, полученными с помощью каждого из них. Пусть преобразование от одного (а, Ь, с)т к другому (б/, e,f)T имеет вид
где
/ тп т12 тлзМ = I m21 т22 w23
Vm3i т32 т33.
а х, у, z — смещения.
Для определения пространственного отношения между двумя устройствами измерим координаты нескольких пробных точек, используя оба устройства. Пусть координаты z-й точки, измеренные одним устройством, будут (аь Ьь с^ а другим - (^, еь/У.
Какое минимальное число п точек необходимо измерить, чтобы определить коэффициенты преобразования? Указание: определите, сколько здесь неизвестных и сколько независимых ограничений дает каждое
измерение.
Покажите, что это преобразование можно переписать в виде
Какова размерность матрицы N и как ее коэффициенты п^ связаны . с коэффициентами тц матрицы М?
Теперь образуем матрицу А, выписав подряд векторы-столбцы
(аь Ьь сь 1)г, образованные из исходных измерений приписыванием 1. Образуем также матрицу D из векторов-столбцов (d^ еь/Л- Таким образом, нй столбец матрицы D является i-м вектором измерений во второй системе. Очевидно, NA = D. Сформулируйте условия на число измерений и и на матрицы А и D, которые гарантировали бы единственность решения относительно неизвестной матрицы N.
Покажите, что точка х лежит в плоскости, определяемой тремя точками u, v, w, тогда и только тогда, когда x = 7U+pv + yw для некоторых а, р и у, таких, что а + р + у = 1. Указание: можно использовать тот факт, что объем параллелепипеда, построенного на векторах k, 1 и т, равен смешанному произведению [klm] = (к х 1)т.
Приведите необходимые и достаточные условия существования единственного решения N с использованием взаимного положения пробных точек (аь Ьь с\Л Указание: когда объем параллелепипеда равняется нулю? Меняется ли определитель матрицы при вычитании одной строки из другой? Равен ли определитель матрицы третьего порядка смешанному произведению векторов строк?
До сих пор мы проводили в обеих системах координат измерения для каждой пробной точки всех трех координат. Теперь мы рассмотрим задачу относительного ориентирования, когда известны только направления. Рассмотрим три уравнения:
-J- Гx*f)zX " Xrzrlzb
r21Xl + г22У1 + Г2з/ + r24-flZl " Уг^г12г1 ,
r31xZ + г32Уг + Г3з/ + Г34//2Г Л2г/2Г
Исключите zr и zb чтобы получить одно уравнение относительно неизвестных г1ь г12,...,г34. Обоснуйте метод восстановления неизвестных по нескольким измерениям с использованием этого уравнения.
Три линейных уравнения относительно zt и zr, приведенные выше, дают больше чем достаточно информации. Однако из-за ошибок измерения они могут оказаться несовместными.
Найдите решение, которое минимизирует ошибки в измерении объекта. Другими словами, найдите точку Р*, которая минимизирует сумму квадратов расстояний между точкой Р* и двумя лучами, определяемыми точками изображения (xj, yj) и (х', у,).
Найдите решение, которое минимизирует ошибки на изображении. Другими словами, найдите точку Р*, которая минимизирует сумму квадратов расстояний между наблюдаемыми точками изображений (xi, у!) и (х;, у;) и проекциями точки Р* на плоскости изображения. Указание: это может оказаться труднее предыдущего случая.
Предположим, что вы хотите определить преобразование «рука - глаз», т. е. переход от системы координат, связанной с механическим манипулятором, к системе координат, связанной с электронной камерой. Это проблема внешнего ориентирования. Предположим, что
зрительная система может определять положение на изображении специального маркера на схвате манипулятора. Манипулятор может занимать в своем рабочем пространстве любое положение. Преобразование систем координат задается, как обычно, поворотом и переносом. Покажите, что для вычисления преобразования необходимы по меньшей мере четыре калибровочные точки.
В методе калибровки, описанном нами для определения внешней ориентации, мы получили по два линейных уравнения относительно неизвестных коэффициентов на каждую измеренную точку. Пусть точка (х, у, z)T внешней системы координат проектируется в точку (х', у') изображения. Идея подхода заключается в использовании нескольких таких измерений для получения информации, достаточной для нахождения неизвестных параметров преобразования координат.
Покажите, что два ограничения, введенные одним измерением, могут быть записаны в форме и с=0 и vc = 0, где
и — (~ /X — /у, —fz, —f, 0, 0, 0, 0, х'х, х'у, x'z, х')т,
Л . V = (0, 0, 0, 0, -fx, -fy, —fz, -f, y'x, y'y, y'z, yf, r [ C = (Slb S12, S13, S14, S21, S22, S23, S24, S31, S32s S33, $34)Г.
Теперь рассмотрим достаточно большой набор векторов измерений и, и V,- для полного определения неизвестного вектора с. Покажите, что пяти измерений недостаточно, а шесть дают избыточную информацию.
Найдите вектор с, ортогональный одиннадцати векторам, полученным из шести измерений отбрасыванием одного уравнения. Указание. можно воспользоваться так называемым процессом ортогонализации Грамма — Шмидта для построения набора ортогональных векторов, которые являются базисом того же пространства, что и исходные векторы, полученные непосредственно из измерений.
Положим теперь, что один из коэффициентов равен единице, например, r34 = 1. Это допустимо, так как мы знаем, что преобразование не изменится, если все коэффициенты умножить на одно и то же положительное число. Выпишите систему одиннадцати линейных уравнений, решение которой дает неизвестный вектор.
Предположим, что для повышения точности было выполнено более шести измерений. Теперь невозможно найти систему коэффициентов, которые точно удовлетворяли бы всем уравнениям. Минимизируйте сумму квадратов ошибок
' - , Z(w.-c)2, 1
где wf — векторы, полученные в результате измерений. Чтобы сделать невозможным тривиальное решение, когда обращаются в нуль все коэф-
фициенты, необходимо ввести дополнительное ограничение, например, | с | = 1. Указание', ограничение можно ввести с помощью множителей Лагранжа, как показано в приложении.
Наконец, вместо введения нелинейного ограничения, как это было сделано в п. д. мы можем решить задачу минимизации при фиксированном значении одного из коэффициентов, например $34. Указание: выпишите матрицу, строки которой содержат первые одиннадцать компонент векторов измерений.
Мы можем избежать всех сложностей общего преобразования внешней системы координат, связанной, например, с механическим манипулятором, в систему координат камеры, приблизительно выровняв оси двух систем. Пометим координаты внешней системы индексом а, а координаты системы, связанной с камерой, — индексом с. Тогда мы
можем записать, в точности так же, как мы делали это, когда связывали
координатные системы двух камер: гпх„ -у r12ya + r13za -у г14 = хс,
Г21Х4 + гиУи + r23za + ^24 — Уи г31ха -у г32уа + г 33za -У г34 — zc, где матрица третьего порядка ортогональна. Сначала рассмотрим простой случай.
Предположим, что плоскости ху внешней системы координат и системы координат камеры строго параллельны. Какие параметры преобразования равны нулю? Теперь во внешней системе координат рассмотрим плоскость z0 = z0. Покажите, что координаты изображения для точки (х, у, zf на внешней плоскости задаются выражениями У If = (Г11Х + Г12у + rH)/(z0 + г34), у'If = (r21x + r22y + r24)/(z0 + г34). Сделайте вывод, что преобразование внешней плоскости в плоскость изображения состоит из переноса, поворота и линейного масштабирования. Указание: xff — x0/zc и У}f = Ус!^с- На практике строгой параллельности добиться не удается. Попытаемся рассмотреть более общий случай.
Г31Х + Г32уГз320 + Гз4Г31Х + Г32уГз320 + Гз4УзУХ + г32уг 33z0 + г34УзУХ + г32уг 33z0 + г34Предположим, что плоскость изображения немного наклонена относительно плоскости ху внешней системы координат. Это значит, что r3i и г32, а также г13 и г23 малы. Покажите, что
Г31Х + Г32у
Гз320 + Гз4
Г31Х + Г32у
Гз320 + Гз4
УзУХ + г32уг 33z0 + г34
УзУХ + г32уг 33z0 + г34
— ® [щх + Г 12у + (ri3Z0 + Г 14)]1 1
f r33z0 + г34\
4г ~;[г21х + ^ггУ + (r23zo + г24)]( 1 —
/Гззг0 + г34\
Указание: 1/(1 + s) ~ 1 — с, при | £ | < 1.
Сделайте вывод, что преобразование плоскости внешней системы координат в плоскость изображения можно адекватно аппроксимировать аффинным преобразованием, т. е. линейным преобразованием вида У — аtx -у а^2у -у П1з, у = й21Х -У а22у -У ц2з. Выразите шесть коэффициентов йу через коэффициенты гц и фокусное расстояние f. Нужно ли для получения такой аппроксимации делать дополнительные предположения относительно расстояния до предметов сцены или относи-
тельно размеров поля зрения? Указание; пренебрегите членами второго порядка малости.
Заметьте, что теперь возможны некоторый «перекос» между осями и различие в величинах, измеренных вдоль разных направлений. Покажите, что преобразование уже не является совокупностью переноса, вращения и масштабирования. Указание; покажите, что матрица второго порядка не обязательно ортогональна.
Постройте процедуру калибровки для оценки шести параметров аффинного преобразования. Сколько пробных точек необходимо измерить? Указание; каждая пробная точка дает два независимых ограничения.
Обратите это аффинное преобразование для определения точки на плоскости, соответствующей некоторой точке изображения. Указание; обратное преобразование — тоже аффинное.
Объясните, как можно использовать два аффинных преобразования, определенных для двух параллельных внешних плоскостей, например г = гх и z = ^2, чтобы найти во внешней системе координат луч, на котором должен лежать объект, дающий на изображении точку (х\ у')г.
Допустим, вы хотите точно определить положение и ориентацию протяженного объекта при известных его приблизительных положении и ориентации. У вас в распоряжении имеется несколько камер, каждая из которых способна точно определить положение на изображении некоторого характерного фрагмента поверхности объекта. Покажите, что вам необходимы три камеры для определения положения и ориентации объекта. Как можно было бы откалибровать такую систему? Другими словами, как можно определить параметры, необходимые алгоритму для восстановления положения и ориентации?
Займемся теперь проблемой стереоотождествления. Покажите, что если изображается единственная непрерывная поверхность, то соответствующие точки на двух изображениях расположены в одном и том же порядке. Иными словами, если на одном изображении А левее В, то и на другом она не может быть правее. При каких условиях это не так?
В стереометодах, основанных на выделении краев, для получения диспаратности сопоставляются края на левом и на правом изображениях. Здесь мы ограничиваемся сопоставлением вдоль одной эпиполярной линии, сводя, таким образом, задачу к одномерной.
Предположим, что на каждой картинке вдоль эпиполярной линии имеется п краев. Если каждый край имеет единственного кандидата на отождествление, то сколько здесь существует различных вариантов отождествления? Не учитывайте условия, что края должны быть одинаково упорядочены на обеих картинках.
Теперь добавьте это условие. Сколько теперь существует возможностей отождествления?
Теперь допустим, что на правом изображении имеется т краев (ф < и). Тогда н — m краев левого изображения должны отождествляться с «нулевыми краями». Сколькими способами можно осуществить отождествление, если мы не требуем сохранения порядка?
Тот же вопрос, что в п. в), но при условии сохранения порядка.
Теперь рассмотрим случай, когда имеется п краев на левом изображении и т на правом и каждый край может иметь или не иметь пару на другом изображении. Сколько различных вариантов отождествления возможно при и без сохранения порядка? Примечание: нам ответ не известен.
Вы должны обнаружить, что наложение условия сохранения упорядоченности сильно упрощает задачу. Однако существуют случаи, когда это условие не выполняется (как упоминалось в предыдущем упражнении). Эти случаи трудны даже для человеческого восприятия.
Рассмотрим следующую схему отождествления по уровню яркости. Положения камеры таковы, что x'Jj = (х + b^z и xr)f = = (x-bp^z. Мы хотим найти такую функцию z^x, у), чтобы Е^х’ь у'г) = ЕДх’Т, уД Для этого минимизируем функцию вида es + Хеь где
es = JJ (V2z)2 dxdy и е( = Д (Ei - Erf dxdy.
Чему должно равняться V2(V2z)? Чем отличаются эти результаты от полученных ранее, где условие гладкости накладывалось на диспаратность, а не на расстояние? Какой из двух методов предпочтительнее, если известен результат, сформулированный в упражнении 13,1?
Классификация образов
Методы, которые до сих пор обсуждались в этой книге, относятся к области анализа изображений или раннего видения (первичной обработки зрительной информации), т. е. к обработке самих изображений с целью выделения полезных данных. Полученную таким образом информацию можно представить в виде схемы, иными словами, подробного символического описания того, что есть на изображении. В дальнейшем мы будем заниматься анализом представленных сцен, т. е. выяснять, как можно работать с такой детальной информацией. В этой главе будет рассматриваться одно из простейших применений анализа сцен, а именно классификация объектов, основанная на количественных характеристиках изображений.
Одной из задач, которую должна выполнять система машинного видения, является распознавание. После оценки различных свойств объекта, например отражательной способности поверхности или цвета, система должна располагать некоторой схемой, на основании которой объект будет отнесен к одному из известных классов. Классификация образов обеспечивает средства для решения этой задачи. Основной идеей является выделение характеристик или признаков, т. е. величин, которые могут оказаться полезными при различении элементов различных классов. Значения отдельных признаков затем объединяются и образуют вектор признаков. Таким образом, информация, полученная на основе изображения объекта, используется для идентификации точки в некотором многомерном пространстве. В этой главе обсуждаются некоторые методы разделения этого пространства на области, соответствующие различным классам. Неизвестный объект относится к классу, метка которого приписана области, в которую попал вектор признаков. Вводится предположение, что векторы признаков элементов различных классов обладают тенденцией образовывать самостоятельные кластеры.
Рассматривается также возможность формирования этих кластеров, основанная на моделях распределения вероятностей. В заключение подчеркнем, что эффективность метода классификации в значительной степени зависит от точности измерения признаков.
14^1. Предварительный пример
Основная концепция классификации образов заключается в измерении значений признаков объектов, которые мы хотим классифицировать, и использовании их для определения принадлежности объекта тому или иному классу. Если, например, все кошки весят меньше 10 кг, а все собаки больше, то можно использовать эту информацию для классификации животных. На этом примере хорошо видны как преимущества, так и недостатки такого подхода к классификации образов. Поскольку некоторые кошки весят больше 10 кг, а многие собаки меньше, наш критерий классификации не является совершенным. Будучи простым, данный метод не является вполне надежным. Различные усовершенствования приводят к лучшим, но более сложным методам.
Рассматривая дальше наш простой пример, мы можем сначала попытаться более точно выбрать весовой порог. Чтобы сделать это хорошо, мы должны получить статистическую информацию о распределении весов кошек и собак. Обращаясь к распределению вероятностей веса, можно надеяться на выделение значения, которое обеспечивает лучшее разделение. Нам могло бы помочь также знание того, как часто в наших опытах мы ждем появления кошек и собак.
Здесь мы можем совершить два рода ошибок: кошка может классифицироваться как собака, и наоборот. Хорошим порогом может считаться порог, минимизирующий число ожидаемых ошибок. Как правило, с каждым решением о классификации связано некоторое действие, и можно воспользоваться этими действиями, чтобы приписать каждой ошибке ее стоимость. Затем можно выбрать порог таким образом, чтобы минимизировать стоимость ошибок, вместо того чтобы просто минизировать общее число ожидаемых ошибок.
Векторы признаков . , ....
Поскольку мы выяснили, что нельзя хорошо классифицировать объекты, используя один параметр, мы могли бы ввести дополнительные параметры, например, определить возраст животных и выбрать второй порог, опираясь на тот факт, что кошки живут несколько дольше собак. Результат этих двух отдельных тестов можно объединить с помощью таких логических операций, как И (Д) и ИЛИ (V).
Более разумным было бы использовать эти данные, учитывая тот факт, что возраст и вес коррелируют между собой. Эти две величины можно объединить, разделив вес на возраст или разделив вес на среднее значение ожидаемого веса для данного возраста обоих типов животных. Разделение, базирующееся на производной характеристике, вероятно, предпочтительнее разделения, базирующегося на каждой из этих характеристик по отдельности.
Мы можем добиться еще большего, если будем рассматривать марки-
рованную диаграмму разброса вес — возраст. Диаграмма разброса состоит из точек в пространстве признаков, соответствующих известным выборкам из различных классов. Плотность точек для конкретного класса стремится к двумерному распределению вероятности для этого класса по мере того, как в рассмотрение включается все большее и большее число образцов. Если нам повезет, мы можем обнаружить, что можно провести гладкую кривую, разделяющую все точки с меткой «кошка» от всех точек с меткой «собака». Однако, по всей вероятности, сделать этого мы не сможем. В этом случае мы могли бы по крайней мере провести кривую, которая делила бы плоскость таким образом, чтобы совершить как можно меньше ошибок.
Чтобы получить лучшие результаты, необходимо привлечь большее число параметров. Тогда пространство, которое мы должны разделить на части, соответствующие различным классам, будет иметь большую размерность. Часто такой подход быстро себя исчерпывает. Это означает, что новые параметры часто коррелируют с уже имеющимися параметрами и поэтому содержат мало новой информации. Такие параметры не улучшают разделения. Более того, некоторые параметры вообще могут не иметь отношения к требуемой конкретной задаче.
Чтобы использовать статистическую информацию в качестве основы выбора границ возможных решений, мы должны получить многомерное распределение вероятностей. Можно придумать много различных сложных методов решения, однако, как правило, их трудно реализовать или они требуют большого объема вычислений.
Конечно, если вы знакомы с животными, вы знаете, что кошка умеет прятать когти, а собака — нет. В этом случае для различения возможно использовать одну бинарную характеристику. Отсюда следует, что методы классификации образов не должны использоваться слепо, результаты хороши лишь настолько, насколько хороши признаки, выбранные для измерений. Никакие ухищрения в алгоритме решения не могут компенсировать неудачного выбора признаков.
Основной подход
Каждая независимая измеряемая величина называется признаком. Основная парадигма заключается в том, чтобы выбрать п измеряемых величин объекта, подлежащего классификации, и затем рассмотреть результат как точку в и-мерном пространстве признаков. Вектор признаков образуется как совокупность этих величин. Было исследовано много различных алгоритмов для разбиения пространства признаков на части, используемые для классификации. Считается, что неизвестный объект принадлежит классу, соответствующему той части, в которую попал вектор признаков.
Что все это значит для машинного видения? После того как изображение разбито на сегменты, измерения можно производить в каждой
Классификация образов ^ области изображения. Затем можно попытаться идентифицировать объект, породивший каждую область, с помощью классификации, основанной на этих измерениях. Примерами простых характеристик являются площадь, периметр, минимальный и максимальный моменты инерции области бинарного изображения.
। Важной проблемой этих методов является получение достаточной информации, обеспечивающей оптимальное разбиение и-мерного пространства характеристик. Если мы знаем истинные распределения вероятностей, границы разбиения можно выбрать так, чтобы минимизировать некоторый критерий допустимых ошибок. Однако обычно эти распределения оцениваются по конечному числу примеров, взятых из каждого класса, и часто можно работать непосредственно с этой информацией, а не с оценкой плотности вероятности.
Основным предположением здесь является то, что точки, принадлежащие одному и тому же классу, образуют кластер, а точки, принадлежащие различным классам, разделены. Иногда эти предположения не подтверждаются: методы классификации образов не годятся, например, для различения рациональных и иррациональных чисел или черных и белых квадратов на шахматной доске.
Серьезной проблемой в применении машинного видения является то, что изображение представляет собой двумерную проекцию трехмерного реального тела. Трудно решить задачу в полном объеме, пользуясь лишь простыми характеристиками, основанными непосредственно на изображении и не зависящими от пространственного положения объекта, освещения и расстояния до объекта. Методы распознавания образов будут хорошо работать лишь тогда, когда они основываются на характеристиках, которые не зависят от конкретных методов получения изображения, т. е. когда мы можем оценить истинные свойства объекта, например отражательную способность и форму. Но для этого, естественно, задача распознавания должна быть уже в основном решена!
Классификация по ближайшему соседу
Предположим, что имеются образцы, полученные для каждого класса. Пусть вектор признаков для j-ro образца j-го класса будет Xi j. Один из возможных путей для классификации неизвестного вектора х заключается в нахождении образца, ближайшего к неизвестному, и определении класса, к которому он относится. Для некоторых к и / это означает, что если | хм — х | < | х, j — х | для всех i и у, то неизвестный х принадлежит классу к.
При использовании этой простой идеи возникают две проблемы. Во-первых, хотя образцы, соответствующие отдельным классам, часто образуют кластеры, эти кластеры могут перекрываться. Неизвестный вектор, попавший в область перекрытия, может рассматриваться как
принадлежащий тому классу, представитель которого оказался поблизости. Классификация в таких областях по существу случайна. Возмож-, но, что это лучшее, что можно сделать, однако простая граница всегда предпочтительнее.
Возможно, мы получим лучшие результаты, если просмотрим несколько соседей. Неизвестному вектору можно, например, приписать класс, встречающийся чаще всего среди к ближайших соседей. Это приведет к несколько лучшим результатам в пересекающихся областях, так как обеспечит оценку того, для какого из классов получилась наибольшая плотность вероятности.
Вторая проблема при классификации по ближайшему соседу связана с вычислениями. Если примеров много, то требуется большой объем памяти. Более того, если не использовать какой-либо схемы для разделения пространства, придется вычислять расстояние между неизвестным объектом и всеми образцами. Тем не менее это хороший метод, который не требует многих предположений о распределении вероятностей для представителей класса.
В некоторых случаях кластеры образуют неперекрывающиеся пятна. Если выпуклые оболочки кластеров не пересекаются, грани выпуклой оболочки можно использовать вместо всех образцов в кластере. В конечном счете это приводит к значительной экономии как времени, так и вычислений.
Большим преимуществом классификации по ближайшему соседу является то, что кластеры могут иметь сложную форму; им не обязательно быть симметричными относительно вращения или даже выпуклыми.
Классификация по ближайшей центроиде
Теперь предположим, что образцы каждого класса образуют шарообразный кластер и что кластеры, соответствующие различным клас-, сам, примерно одинакового радиуса и не слишком пересекаются друг с другом. В этом случае запоминать все образцы для каждого класса кажется расточительным. Вместо этого можно использовать для представления каждого класса его центр тяжести. Считается, что неизвестный вектор принадлежит тому классу, центр тяжести которого находится к нему ближе всего.
Использование этого метода позволяет значительно уменьшить и память, и вычисления. Более того, классы здесь разделяются гладкими границами. Отметим, что эти компоненты являются гипермногогранниками, ограниченными гиперплоскостями. (Гипермногогранники — это обобщение выпуклого многогранника для числа измерений больше трех. Они образуются пересечением полупространств.) Чтобы показать, что границы являются гиперплоскостями, предположим, что х — точка на границе между частями, содержащими центроиды Xi и х2- Тогда
l^i " х1^1 - х
= |х2
-xj. Возведя в квадрат обе части равенства, получим
2 = | х2 - х |2 или х2 - 2^ • х + х
2 = х2 — 2х2 х + х2,
т. е.
$1 -X2)-X = (Xj
- x2)(Xi + х2)/2. Это уравнение линейно по х. Оно опи-
сывает гиперплоскость с нормалью (xt — х2), проходящую через точку (xh + х2)/2. Таким образом, границей является гиперплоскость, орто- гснально секущая пополам линию, соединяющую две центроиды.
Этот простой метод разделения пространства признаков хорошо
ра
ботает в том случае, когда кластеры симметричны относительно вра-
дния и примерно одинаковых радиусов или когда они хорошо разде-
Ш
л^ны.
Рис. 14.1. Диаграмма разброса площадей цитоплазмы и ядра для пяти обычных типов белых кровяных телец.
Буква обозначает различные классы, подчеркнутая буква — центроиду. Штриховые линии показывают линейные границы, оптимально разделяющие классы. Несколько образцов классифицированы неверно. (Перепечатано из работы [487].)
Пример: классификация лейкоцитов
На рис. 14.1 изображена диаграмма разброса значений двух признаков для изображений, полученных с помощью микроскопа. Данные взяты для образцов пяти обычных типов белых кровяных телец. Центроиды кластеров выделены подчеркиванием в каждом конкретном классе. Штриховые линии — это оптимальные границы между классами.
Ясно, что классификация только по этим двум признакам ненадежна. Необходимо ввести дополнительные признаки. Можно было бы, например, измерить яркость отдельных участков подкрашенных клеток в различных диапазонах спектра. Эти признаки сами по себе также не обеспечивают надежной классификации (рис. 14.2). Впрочем, можно построить четырехмерное пространство для всех четырех только что
0,40
Цвет _ цитоплазмыЦвет _ цитоплазмыввв вв ввв\м\мв вв вЗеленыйканалЗеленыйканал0,35 —0,35 —о,зо-о,зо-I0,10I0,10ввЕЕЕЕввNNЕЕЕЕММLLРис.Рис.L LL LLM L LLLL LLL LNLM L LLLL LLL LNLN/N “/NN NLN/N “/NN NLLЕЕЕЕЕЕЕЕмLмLЕЕМММ мМ мNNN* N \N \ ММXNXм \М 'NNN* N \N \ ММXNXм \М 'ММММММ’1’1Цвет ядра Q20 Красный канал q^q’1’1Цвет ядра Q20 Красный канал q^q14.2. Диаграмма разброса яркостей цитоплазмы и ядра, измеренных через два различных фильтра.14.2. Диаграмма разброса яркостей цитоплазмы и ядра, измеренных через два различных фильтра.Центроиды отмечены подчеркиванием, штриховые линии показывают оптимальные границы между классами. Ясно, что надежная классификация, использующая только эти два признака, невозможна. (Перепечатано из работы [487].)Центроиды отмечены подчеркиванием, штриховые линии показывают оптимальные границы между классами. Ясно, что надежная классификация, использующая только эти два признака, невозможна. (Перепечатано из работы [487].)
Цвет _ цитоплазмы
Цвет _ цитоплазмы
в
в
в в
в в
в
в
\м
\м
в в
в в
Зеленыйканал
Зеленыйканал
0,35 —
0,35 —
о,зо-
о,зо-
I0,10
I0,10
в
в
Е
Е
Е
Е
в
в
N
N
Е
Е
Е
Е
М
М
L
L
Рис.
Рис.
L L
L L
LM L L
LLL L
LL LN
LM L L
LLL L
LL LN
LN/N “/NN N
LN/N “/NN N
L
L
Е
Е
Е
Е
Е
Е
Е
Е
мL
мL
Е
Е
М
М
М м
М м
NNN* N \N \ ММ
XNXм \М '
NNN* N \N \ ММ
XNXм \М '
М
М
М
М
М
М
’1’1
Цвет ядра Q20 Красный канал q^q
’1’1
Цвет ядра Q20 Красный канал q^q
14.2. Диаграмма разброса яркостей цитоплазмы и ядра, измеренных через два различных фильтра.
14.2. Диаграмма разброса яркостей цитоплазмы и ядра, измеренных через два различных фильтра.
Центроиды отмечены подчеркиванием, штриховые линии показывают оптимальные границы между классами. Ясно, что надежная классификация, использующая только эти два признака, невозможна. (Перепечатано из работы [487].)
Центроиды отмечены подчеркиванием, штриховые линии показывают оптимальные границы между классами. Ясно, что надежная классификация, использующая только эти два признака, невозможна. (Перепечатано из работы [487].)
рассмотренных признаков. В результате показанные здесь образцы м^жно разбить на классы гиперплоскостями.
1417. Конструирование моделей,
1 использующих плотность вероятности
В случае когда из двух соседних кластеров один значительно мень- ше. другого, имеет смысл подвинуть границу между ними ближе к центроиде ^еньшего кластера. Точно так же, если кластеры вытянуты в направлении, отличающемся от направления линии, соединяющей их центроиды, граница должна быть повернута в направлении их вытянутости. Хороший способ модификации представленных выше простых схем состоит в использовании стандартных моделей распределения вероятности.
Как правило, используется гауссовское распределение для и измерений
‘1?П2
со средним х и средним квадратичным отклонением су. Это делается не столько потому, что позволяет аппроксимировать распределение- вероятностей, встречающееся на практике, сколько потому, что позволяет получать решения в аналитической форме. Мы начинаем с двух распределений с одинаковым разбросом с и центроидами хг и х2 соответственно. Можно было бы поместить границу там, где плотности вероятности имеют одинаковое значение, т. е. там, где '
(2л)"/2су" (2л)п/2ап
или просто | х - Xi | = | х - х2 I- Опять получилось уравнение перпендикуляра к середине линии, соединяющей Xi и х2. Таким образом, найдена конкретная теоретическая модель, удовлетворяющая ранее предложенному методу, в котором использовались эвристические рассуждения. Граница размещается так, что число ошибок двух различных типов оказывается одинаковым.
Кластеры разной формы
Предположим теперь, что элементы одного класса встречаются гораздо чаще, чем другого. Использование в качестве границы перпендикуляра к середине приводит к одинаковым частотным ошибкам, т. е. будет неправильно классифицировано одинаковое число неизвестных векторов каждого класса. Это может быть то, что мы хотим, а может быть и нет. Безусловно, в данном случае общую ошибку можно-
уменьшить, если переместить границу к центроиде того класса, элементы которого встречаются реже. Это изменение увеличивает появление редких ошибок и уменьшает появление частых ошибок. Пусть р, и р2 - вероятности принадлежности неизвестного вектора к первому и второму классам соответственно. Это означает, что мы хотим выполнения равенства
’ ’ 'е 2а2 = J’2—2ГТ2- <
/(2пГ?ст':(2л)”,2ст”I ■
или,
logPi — | х — х, |2/(2о2) = logp2 — | х — х2 |2/(2ст2),-
т. е. '
(х, -Х2)-Х = (х, - х2)-(х, + х2)/2 + CT2(logp2 - logPi).
Мы опять получили уравнение гиперплоскости с нормалью Xi — х2. Однако на этот раз она смещена от середины между х, и х2 на величину 1/| X] - х21 ст2 log (р2 /р^ в направлении к центроиде с меньшей из вероятностей pt и р2. Заметим, между прочим, что если ст и отношение р2 к pt достаточно велики, то гиперплоскость может даже не пройти между двумя центроидами!
Теперь рассмотрим случай, для которого один кластер является более компактным, чем другой. Границу следует расположить ближе к центроиде более компактного кластера. Пусть два распределения имеют разбросы сг и ст2 соответственно. Теперь, если сравнить плотность вероятности на границе, получим
-е 2ст2 = 2ст2
(2л)"/2ст"!(2л)",2ст"
или :■ й.Ьй <
-nlogCTt - I х - X] |2/(2о2) = —nlogCT2 - |х - х2 |/(2ст2).
На этот раз члены, содержащие х2, сохраняются. Таким образом, поверхность границы является квадратичной, а не гиперплоскостью. Хотя может оказаться трудным представить ее наглядно, тем не менее по- прежнему можно использовать это уравнение для реализации нашего метода.
Эти результаты можно распространить на случай наличия более двух классов. При определении расположения границы не обязательно руководствоваться простым сопоставлением плотностей вероятностей. Вместо этого можно воспользоваться методом максимума вероятности или минимизировать некоторую функцию стоимости. Однако следует иметь в виду, что получить аналитическое решение может оказаться невозможным. ' < •
Используемая до сих пор простая модель распределения вероятности не позволяет работать с кластерами сложной формы. Трудно обрабатывать кластеры в виде банана, тора или тем более спирали. Иногда класс может породить несколько различных кластеров; в этом случае можно попытаться классифицировать каждый кластер отдельно.
В общем случае, если характеристики выбраны хорошо, будет работать любой простой метод классификации. И наоборот, если характеристики неудачны, не помогут даже сложные методы классификации.
Автоматическое формирование кластера
Иногда кластеры, образуемые точками, выражены настолько явно, что можно попытаться построить автоматический способ определения того, какие точки одновременно принадлежат одному и тому же кластеру. Как правило, это связано с самообучением. Некоторые из этих методов используют последовательное слияние имеющихся кластеров. Сначала каждая точка данных рассматривается как отдельный эмбриональный кластер. На каждом шаге итеративного процесса выявляются два кластера, содержащие две точки, расположенные друг к другу ближе, чем любые две точки других кластеров. Эти два кластера сливаются. Итеративный процесс заканчивается тогда, когда либо найдено ожидаемое число кластеров, либо расстояние до следующей точки, добавляемой к кластеру, превышает заданный порог. Для управления этими процессами разработаны многочисленные эвристики.
Противоположная стратегия разъединяет имеющиеся кластеры вдоль линий «разрежений». Первоначально весь набор точек рассматривается как один большой кластер. На каждом этапе определяется кластер, который можно разбить на два. Итерационный процесс заканчивается тогда, когда либо достигнуто желаемое число разделений, либо дальнейшее разбиение не перспективно по некоторому предварительно определенному критерию. Однако в большинстве интересующих нас случаев д мы знаем, какие точки принадлежат одному классу.
Сказка
По соседству жили были два фермера, Джед и Нед. У обоих было по лошади, и эти лошади любили прыгать через изгородь между фермами. Ясно, что фермерам необходимо было как-то различать лошадей.
Итак, Джед и Нед собрались вместе и придумали, как они будут узнавать своих лошадей. На одном ухе своей лошади Джед сделал маленькую зарубку, чтобы было не больно, но вполне достаточную, чтобы ее было видно. И вот, представьте себе, на следующий день после того, как Джед сделал зарубку на ухе своей лошади, лошадь Неда задела за колючую проволоку изгороди и надорвала свое ухо точно так же!
Надо было придумать что-то другое, и Нед прицепил большой голубой бант на хвост своей лошади. Но на следующий день лошадь Джеда перепрыгнула через изгородь, прискакала на поле, где паслась лошадь Неда, и сжевала голубой бант с хвоста лошади Джеда. Съела весь бант целиком!
Наконец, Джед предложил, а Нед согласился, что они должны выбрать такое свойство, которое не так легко было бы изменить. Рост показался им как раз таким свойством. Но был ли рост лощадей различным? Тогда каждый фермер пошел и измерил свою лошадь, и что оказалось? Коричневая лошадь оказалась выше белой на целых два дюйма (5 см). Как и из всякой сказки, из этой тоже можно извлечь мораль: когда возникают трудности с классификацией, не нужно искать экзотических математических хитростей, а лучше поискать подходящие признаки.
Комментарии к литературе
По классификации образов имеется обширная литература. Классическая работа Дуды и Харта [28] наряду с рассматриваемой темой охватывает и тему раннего машинного видения. Интересующиеся более поздними исследованиями могут обратиться к книге [64]. Большой интерес в биологии вызывает проблема автоматического генерирования классификаторов, обсуждаемая в книге [99]. Еще одной книгой по этой теме является книга Эверитта [31]. Книга Дрейка [26] является серьезной работой по вероятности и статистике.
Автоматическое генерирование кластеров и таксономия долгое время привлекали внимание исследователей. Они надеялись, что автоматизация сведет к минимуму неизбежную предвзятость тех, кто разрабатывает таксономию. Последней работой на эту тему является статья [343].
Автоматическая классификация белых кровяных телец вызвала большой интерес в конце 60-х и начале 70-х гг., так как ежедневно вручную делалось много анализов, стоимость их быстро росла, а результаты оказывались не всегда надежными. Янг [487] описывает систему, способную различать клетки по пяти параметрам. Ингрем и Престем [281] написали на эту тему широко известную статью. Интерес к этой проблеме упал, когда нашли способ подкрашивать клетки так, что простой подсчет частиц позволил надежно и недорого получать точные оценки. Однако оказалось, что такие химические методы неприменимы к патологическим клеткам, и методы машинного видения могут в конечном счете сыграть свою роль [156].
В целом методы машинного видения пока еще не имеют большого влияния на обработку изображений в области биомедицины. Отчасти это происходит потому, что подобные изображения сильно отличаются от тех, к которым мы привыкли, поскольку получаются они с помощью оптического, электронного микроскопов, томографических устройств и
радиоизотопного сканирования. Многие из этих изображений человеку бывает трудно интерпретировать, и поэтому ему часто не удается на их основе высказать более точное суждение. Нереально ожидать от методов машинного видения, что они смогут обнаружить информацию, которую трудно найти даже в такой совершенной системе видения, как человеческое зрение. Некоторые примеры работы с изображениями из области биомедицины описываются в статьях [187, 389, 416, 421].
Классическим применением методов распознавания является распознавание символов. Печатные символы можно читать с большой скоростью при условии, что они написаны известным шрифтом и без дефектов. Системы для чтения символов фиксированного шрифта теперь выпускаются серийно; их стоимость зависит от скорости и надежности. Возможность работы с дефектными символами появилась лишь недавно. Другое дело — рукописные символы. Сейчас при благоприятных обстоятельствах возможно распознавание изолированных рукописных символов. В Японии числа, аккуратно написанные от руки в специальных позициях на конверте, служат для прямой доставки почтовой корреспонденции. См. работы [348, 3 50]. Дуэрр и др. [19 4] описывают еще одну систему, работающую с рукописными буквами. Курсив все еще ставит много хитрых задач, аналогичных тем, которые встречаются в распознавании речи.
Сказка была рассказана мне Майклом Реннертом, который приписывает ее Кермиту Клиндбайлу из Технологической корпорации PAR, Нью-Хардфорд, Нью-Йорк.
Упражнения
Пусть задан вектор х, который мы хотим отнести к одному из с классов. Пусть Pr (С, | х) — вероятность того, что С, является классом, которому принадлежит х. Имеет смысл приписать х к такому классу Ст(х), что Pr(Cm|x) Рг(С^х) для i = 1, 2,...,с.
Покажите, что Pr(Cm|x)^ 1/с.
Средняя вероятность ошибки равна
Ре = 1 — j Pr (Cw | х) р (х) Jx.
Покажите, что Ре ^ с — 1/с, когда Ре ~ с — 1/с.
Общая многомерная нормальная плотность распределения для п переменных имеет вид
_1—’-(х-х)Т£-’(х-х)
где х — средний вектор, а £ — ковариационная матрица. Если компоненты вектора х независимы, то компоненты матрицы £ имеют вид
_ J of для i = j;
GlJ | 0 для i ^j.
Предполагая, что компоненты х независимы, покажите, что р(х) можно записать в виде р(х) = fjp.txj. Что такое р,(х,)? i= 1
Сейчас мы будем исследовать форму разделяющей поверхности для многомерного классификатора двух классов, рассмотренного в разд. 14.8. Пусть у класса i имеются средний вектор х, и ковариационная матрица ст?1 для i = 1, 2. Элементы каждого класса подчиняются нормальному распределению:
1 -
Показать, что разделяющая поверхность симметрична относительно поворота. Что является осью симметрии? Указание: разложите расстояние между классифицируемым вектором и средним для каждого класса на две ортогональные компоненты.
Относительную ошибку классификатора, использующего метод ближайшего соседа, можно определить несколькими путями. В данной задаче мы исследуем классификатор, исходя из предположения, что в каждом классе имеется много известных элементов. Пусть реДх) и pci (х) — вероятности неправильной и правильной классификаций вектора х для класса I.
Если рг; — априорная вероятность для класса i, показать, что вероятность правильной классификации вектора из класса i имеет вид
где р; (х) — вероятность распределения для класса I. Что такое ре,, (х)?
Предположим, что есть только два равновероятных класса. Показать, что средняя вероятность правильной классификации вектора из класса i имеет вид
р.= [dx
J Pl (х) + р2 (х)
Показать, что Pci не зависит от i. Показать, что средняя вероятность ошибки Pe i также не зависит от i и задается с помощью формулы
Р = р = f P1Wp2(x) ,"е’1 J pl(x) + p2(x)
Теперь пусть распределение вектора в классе i определяется формулой
Показать, что вероятность ошибки описывается выражением
Ре =е 8 е 2 I cosh — I az,'2рл J X 2/
1
где d = | Xi — х2 |/ст. Покажите, что Ре^—е 8 . Когда справедливо
ре = — е 5 ? Замечание-, когда известно, что данные распределены по нормальному закону, лучше использовать классификацию по ближайшей центроиде. Тем не менее даже классификатор по ближайшему соседу дает низкую относительную ошибку, если расстояние между средними классов больше ст.
Параметры классификатора часто оцениваются по специальным векторам (образцам), класс которых заранее известен, этот процесс называется настраиванием или самообучением. Здесь мы определим абсолютный минимум числа образцов, необходимых для настройки различных классификаторов. Предположим, что имеется с равновероятных классов и что размерность пространства характеристик равна п. Кроме этого, предположим, что мы так хорошо выбрали специальные векторы, что мы никогда не используем один и тот же вектор дважды.
Чему равен абсолютный минимум числа образцов, необходимых для построения классификатора по ближайшему соседу? Замечание: строго говоря, классификаторы по ближайшему соседу не поддаются настройке.
Пусть каждый класс характеризуется его средним вектором х,- и ковариационной матрицей ^, где — симметрична и положительно определена.
Если £, = ст21 не зависит от i, чему равен минимум числа образцов, необходимых для настройки классификатора по ближайшей центроиде?
Дисперсию ст2 скалярной нормальной случайной величины х можно получить по s образцам х, по следующей несмещенной оценке:
где х — оцениваемое среднее.
Если
не зависит от i, чему равно минимальное число примере», необходимо# для настройки классификатора?,
примеров? Э) Еслипримеров? Э) ЕслиЕсли £,- - ст,?!, то чему равно минимальное число необходимых
примеров? Э) Если
примеров? Э) Если
чему равно минимальное число необходимых примеров? В наиболее общем случае матрица £z не обязательно диагональна. Ее можно оценить по 5 образцам согласно следующей несмещенной оценке:
где хм — j-й образец из класса i. Это является непосредственным обобщением формулы для несмещенной дисперсии случайной скалярной переменной.
Показать, что существует си(п + 3)/2 различных параметров, которые необходимо оценить.
Из приведенных выше результатов напрашивается вывод, что по крайней мере с (л + 3)/2 образцов необходимы для настройки классификатора. Однако эта оценка слишком низка, поскольку матрица ]j должна быть положительно определенной. Докажем, что минимальное число образцов, необходимых для настройки классификатора, равно с^п -V 1). Для этого покажем, что, когда используется приведенная выше оценка, матрица ^( вырождена (и поэтому не положительно определена) в случае s ^d, она может быть невырожденной в случае s > п + 1. Предупреждение; эта часть трудная. Важное замечание; практически разработчик классификаторов использует настроечный набор, который по крайней мере в 3 — 4 раза превышает минимальный для обеспечения надежной оценки параметров классификатора.
Многогранные объекты
В идеальном случае изображение многогранного объекта состоит из некоторого числа областей одинаковой яркости, соответствующих граням объекта. Такое изображение содержит много избыточной информации, й его удобно описывать с помощью рисунка. Линейный рисунок можно получить после выделения краев на изображении по схеме, описанной в гл. 8. В этой главе обсуждается, как интерпретировать линейные рисунки сцен, содержащих один или несколько многогранников. В такой задаче есть два аспекта. Первый заключается в определении того, какие области на изображении связаны друг с другом в том смысле, что соответствуют граням одного многогранника. Мы разработаем методы маркировки, которые будут использовать предварительно скомпилированные таблицы непротиворечивой маркировки узлов, т. е. точек, в которых сходятся линии.
Второй аспект заключается в восстановлении трехмерной информации в вершинах, ребрах и гранях объектов. В качестве вспомогательного средства используется градиентное пространство, введенное ранее при обсуждении полутоновых изображений. Оказывается, что использование только одного линейного рисунка не обеспечивает достаточных ограничений для полного воссоздания трехмерной формы. Привлечение информации о яркости каждой области снимает возможные двусмысленности. Глава заканчивается кратким обсуждением простой замкнутой системы глаз — рука, использующей механический манипулятор для построения копии конструкции из детских кубиков.
Линейные рисунки еден, составленных из многогранников
Пусть нам известно, что в некоторой конкретной обстановке мы видим лишь объекты, ограниченные плоскими гранями (гладкие криволинейные поверхности отсутствуют). В таком случае многое упрощается. Вероятно, наиболее важным является тот факт, что многогранник можно удобно представить в компьютере. Можно, например, задать координаты вершин и указать, какие вершины связаны между собой. С другой стороны, можно задать уравнения плоских граней вместе с указанием о том, какая часть линии их пересечения принадлежит объекту. Имеется много путей представления многогранных объектов с использованием
вершин, ребер и граней. Здесь важным моментом является то, что нет необходимости привлекать какую-либо аппроксимацию, обычную при работе с криволинейными поверхностями.
Плоские грани одинаково ориентированы вдоль всей поверхности. Первое допущение состоит в том, что такая грань отображается в область постоянной яркости на изображении. Ребра объектов, соответствующие разрыву в ориентации поверхности, всегда порождают разрыв яркости. Этот разрыв существует вдоль линии изображения, являющейся проекцией ребра. Таким образом, изображение можно представить в виде коврика из многоугольных областей, каждая из которых имеет свою яркость.
Можно было бы ожидать, что методы выделения краев и прослеживания линий будут хорошо работать при построении линейного рисунка по изображению. Однако на практике области редко имеют постоянную яркость и разрывы яркости между областями могут размываться шумами. Полученные таким образом линейные рисунки несовершенны, но пока мы будем предполагать, что они таковыми являются.
Ненадолго сменим тему и рассмотрим вопрос, поднятый ранее, когда мы выразили беспокойство по поводу оценки качества работы схем сегментирования и выделения краев. Эти опасения были связаны с отсутствием ясного представления о том, каким должен быть хороший результат работы каждой из этих двух систем, когда они имеют дело с произвольными изображениями. В случае когда сцены составлены из многогранников, вопрос ясен: определитель сегментов сцен должен найти набор областей, соответствующий граням многогранников, а определитель краев — восстановить набор линий, соответствующих ребрам. Неочевидно, какой должна быть схема сегментирования или каким должен быть определитель краев, когда речь идет о сценах, составленных не из многогранников.
Восстановление трехмерных структур
Пусть дан линейный рисунок многогранника, требуется определить соответствующую трехмерную структуру. Интересно, что хорошие подходы к решению этой задачи уже найдены, в то время как мы все еще боремся с задачей получения прежде всего хорошего линейного рисунка! Каждая вершина лежит на луче, определяемом соответствующим пересечением линий на рисунке. Но неизвестно, где именно на луче лежит эта вершина. Поэтому определение расположения вершин на трехмерном изображении требует нахождения расстояний до каждой из них.
Если все грани треугольные, то первоначальная задача определения расстояний до вершин не упрощается, так как все вершины можно свободно двигать вдоль своих лучей. Если у грани четыре стороны (и, следовательно, четыре вершины), то на расстояния до вершин появляется ограничение, связанное с тем, что все вершины принадлежат одной
плоскости. Пусть четыре вершины имеют координаты v1; v2, v3 и v4. Тогда вершина v4 должна лежать на плоскости, определяемой вершинами vb v2 и v3. Другими словами, объем параллелепипеда со сторонами v2 - 'ь v3 - Vj и v4 - v, равен нулю, т. е. [(v2 - vj (v3 - vj (v4 - vj] = 0 или [v4v1v2] + [v2v3v4] = [v,v2v3] + [iwj, где тройное произведение [abc] равно a (b x с). Если предположить, что изображение получено с помощью центральной проекции, то Vj = ztv,, v2 = z2v2, v3 = z3v3, v4 = z4v4, где zb z2, z3 и z4 - расстояния до точек, а V;, v2, v3 и v4 - векторы до известных точек изображения.
Рассмотренные выше ограничения можно записать в виде [v4vjv2]/ /z3 + [v2v3v4]Ai = [vtv2v3]/z4 + [v3v4vj/z2. Это уравнение линейно относительно величин, обратных расстояниям. Коэффициенты определяются по координатам точек на плоскости изображения.
Таким образом, грань с четырьмя сторонами задает одно ограничение на четыре неизвестных расстояния. Аналогично грань с р( сторонами дает р, — 3 ограничения. Общее число ограничений составляет
£ (Pi - 3), где т - число граней, а рг — число вершин, принадлежащих i = 1
i-й грани. Число неизвестных равно общему числу вершин р. Заметим, что это не равно £ рь так как некоторые вершины могут находиться i = 1
одновременно на нескольких гранях.
Для примера посмотрим на куб из точки, расположенной на линии, связывающей его центр с одним из его углов. Будут видны три грани, каждая с четырьмя вершинами. Вместе они дают три ограничения. К сожалению, неизвестных будет семь, поскольку видимыми оказались семь вершин. Известно, что мы не можем определить абсолютное расстояние до куба по единственному изображению, и потому мы могли бы, например, зафиксировать одно из этих расстояний. Однако нам все еще недостает трех ограничений. Существует ли положение, когда изображение обеспечивает все ограничения?т
Отвечаем: нет. Мы можем показать, что (р - 3) ^ £ (р; - 3). Это > = 1
безусловно верно для простого многоугольника с р сторонами. Если соединить вместе два многоугольника со сторонами рх и р2, так чтобы одна сторона у них была общая, то новая фигура будет иметь на две вершины меньше, чем сумма вершин обеих фигур. Поскольку (р; + + р2 _ 2) - 3 > (pj - 3) + (р2 - 3), то верхнее неравенство выполняется.
Теперь предположим, что проведена линия, пересекающая многоугольник с р сторонами и разбивающая его на два многоугольника со сторонами Pi и р2 соответственно. Число вершин у них будет такое же. Теперь р = Pi + р2 - 2, и поскольку (Pi + р2 - 2) - 3 > (pj - 3) + (р2 - 3), то неравенство снова выполняется.
У нас всегда по крайней мере на три неизвестных больше, чем огра-
ничений. Однозначное решение невозможно без дополнительной информации, например длины некоторых сторон, углов между ними или положения плоскости, в которой лежат некоторые из вершин.
Между прочим, тот факт, что система уравнений недоопределена, не является гарантией того, что она совместна. Например, если две грани имеют два общих ребра, мы получим две пары уравнений, которые несовместны, если только эти два ребра неколлинеарны. Здесь единственная возможность заключается в том, что две грани компланарны, и в этом случае у них нет различия в яркости. Конфигурации линий, которые не соответствуют объектам, состоящим из плоских граней, ведут к более тонким несоответствиям.
Градиентное пространство
Если известны координаты вершин, можно определить уравнения плоскостей, в которых лежат грани. И наоборот, мы можем сначала определить их, а затем вычислить координаты вершин. Сейчас будем рассматривать случай ортогональной проекции. Будем определять ориентацию каждой грани. Если уравнение плоскости имеет вид ах + by + cz = = ^, то 5zl^x=—afc и cz(6y = —Ъ]с. Градиент ( —я/с, -b/с) можно использовать для определения ориентации плоскости. Каждая грань многогранника соответствует точке в градиентном пространстве. Необходимо определить расположение этих точек.
Какие имеются ограничения на положение таких точек в градиентном пространстве? Оказывается, что линии на изображении играют очень важную роль. Предположим, что имеются две плоскости с нормалями а и Ь. Линия их пересечения должна быть параллельна векторному произведению двух нормалей v = а х Ь. Ортогональная проекция этого вектора на плоскость изображения описывается выражением v - (у ■ z) z, где z — единичный вектор вдоль оптической оси. Его можно записать в виде (z-z)y — (y-z)z или (z х v) х z, поскольку (а х b) х с = (a-c)b- — (b e) а. Следовательно, линия изображения, являющаяся проекцией ребра, параллельна [z х (а х b)] х z. Точки А и В градиентного пространства, соответствующие двум плоскостям, описываются выражениями [—a/(a-z) — z] и [ —b/(b-z) — z] соответственно. Линия, соединяющая эти две точки градиентного пространства, параллельна линии
(b z) а - (а • z) b _ z х (а х Ь)
(a-zj(bp - (a- z)(b- zp
Ранее мы видели, что эта линия на изображении параллельна [z х (а х b)] z. Поэтому линия градиентного пространства должна быть перпендикулярна линии изображения!
Каждая линия, разделяющая области, порождает одно ограничение такого рода. В случае куба мы получаем три ограничения (по одному для каждой линии, исходящей наружу от вершины, обращенной к наблю-
дателю). Если точки градиентного пространства, соответствующие трем видимым областям, — это точки Л, В и С, то они образуют треугольник, углы которого определяются углами между тремя линиями, исходящими из центральной вершины. Эти три ограничения определяют форму и ориентацию фигуры в градиентном пространстве, но не размер и положение.
Линейный рисунок, который не соответствует какому-либо многограннику, не имеет хорошо организованной фигуры в пространстве градиентов. Например, если две грани пересекаются по двум ребрам, то эти ребра должны быть коллинеарны, конечно, если только эти две плоскости не имеют одинакового градиента.
Полутона и градиентное пространство -
Здесь использование градиентного пространства, возможно, напомнит нам о карте отражательной способности, содержащей информацию о том, какой должна быть яркость участка поверхности данной ориентации. Это дает дополнительное ограничение, обычно утрачиваемое в линейном рисунке. Однако предположим, что имеется представление, позволяющее сохранить измеренную яркость каждой области. Тогда уравнение освещенности изображения дает по одному ограничению для каждой области. Соответствующая точка пространства градиентов должна попасть в конкретный контур карты отражательной способности.
Снова рассмотрим изображение куба. Мы получаем три ограничения из условия, что линии пространства градиентов должны быть перпендикулярны линиям изображения и еще три — из уравнения освещенности изображения. Этого достаточно для нахождения шести неизвестных, т. е. трех положений в градиентном пространстве. Фактически для более сложных многогранников задача теперь переопределена, так как неизвестных меньше, чем ограничений. Любой трехгранный изолированный угол позволяет получить локальное решение. Теперь ясно, что использование полутонов является мощным дополнительным средством.
Сегментирование и множественность объектов '=
До сих пор мы имели дело лишь с одним-единственным многогранником. Линиями изображения являлись проекции ребер, лежащих между гранями объекта. В некоторых случаях были видимыми обе грани, иногда только одна. В последнем случае ребра называются ограничивающими. Таким ребрам простого выпуклого многогранника соответствуют только линии, образующие силуэт линейного рисунка. Ребра, соответствующие всем другим линиям, лежат между видимыми гранями. Таким образом, все внутренние линии порождают ограничение на градиенты соседних граней.
Если имеется несколько объектов, то положение осложняется, так как
некоторые внутренние линии линейного рисунка соответствуют ребрам одного объекта, загораживающего другой. Тогда задача состоит в том, чтобы понять, какие области изображения связаны между собой, в том смысле, что соответствующие грани принадлежат одному и тому же объекту. Как произвести сегментирование изображения на набор областей, соответствующих отдельным объектам?
Эта задача неразрешима, если объекты могут касаться друг друга, так как, глядя на изображение, нельзя сказать, связаны ли объекты жестко, касаются ли они друг друга или они разделены. Предположим, например, что куб приставлен к концу лежащего бруска. По изображению нельзя сказать, является ли это единичным объектом L-образной формы или это — два объекта.
Две грани, соответствующие областям по обе стороны ограничивающей линии, не пересекаются по ребру, соответствующему этой линии. Это ребро возникает при пересечении невидимой грани и одной из двух видимых граней, другая видимая грань не имеет никакого отношения к этому ребру. Отсюда ясно, что ограничение, связанное с градиентным пространством, нельзя наложить на эти две видимые грани.
Можно было бы попытаться определить трехмерную структуру сцены, предполагая, что все линии, соответствующие связанным ребрам, лежат между видимыми гранями. В большинстве случаев мы быстро обнаружим, что результирующие уравнения несовместны.
Тогда можно удалить одно из ограничений и сделать новую попытку. Если уравнения становятся совместными, можно интерпретировать линейный рисунок с использованием классификации многогранников. Это не означает, что никакая другая интерпретация невозможна. Например, можно предположить, что все ребра являются ограничивающими. Тогда грани могут быть частями произвольных плоскостей, расположенных любым образом относительно лучей, проходящих через их вершины.
Линии изображения соответствуют либо закрывающему ребру, либо ребру, разделяющему две связанные грани многогранника. Нетрудно провести исчерпывающее систематическое исследование всех возможных комбинаций интерпретаций всех линий изображения. Как правило, «наиболее связная» интерпретация согласуется с суждением человека о том, что собой представляет линейный рисунок. Естественно, все это можно обсуждать лишь тогда, когда значения яркости областей известны, так как только в этом случае нет неоднозначности.
Очень часто возникает задача сегментирования изображения на ,-ббласти, соответствующие различным сущностям в разных средах. Большинство методов анализа изображений применимы только в том случае, когда они относятся к одной такой области, и терпят неудачу, когда используются без ограничений ко всему изображению. Методы определения по оптическому потоку компонент движения, относящихся к переносу и повороту, не работают, если данные являются смесью инфор-
мации о двух объектах, движущихся в различные стороны. Как мы видим, отсутствие этапа сегментирования изображения существенно затрудняет расчет оптического потока.
Маркировка линейных рисунков
Часто имеющаяся информация не позволяет полностью определить трехмерную структуру изображенных объектов. Однако из того, что доступно, некоторые сведения все же можно извлечь. Может оказаться полезным простое отличие линий, относящихся к связанным ребрам, от остальных.
Если линия соответствует ограничивающему ребру, полезно знать, какая из двух областей, расположенных по разные стороны от линии, соответствует ограничивающей грани. Будем использовать удобное графическое обозначение, маркируя ограничивающие линии стрелками. Направление стрелки показывает, какая область соответствует ограничивающей грани; соответствующая область изображения лежит справа от нас, если смотреть по направлению стрелки.
Если линия соответствует ребру между двумя видимыми гранями, можно также различить два качественно разных случая. В первом случае ребро выпуклое, т. е. относительное положение двух градиентов в градиентном пространстве то же, что и двух областей на изображении. Во втором случае ребро вогнутое, т. е. относительное положение градиентов двух граней в градиентном пространстве обратно положению этих граней на изображении. Выпуклое ребро помечается знаком «плюс», вогнутое — знаком «минус».
Таким образом, каждая линия линейного рисунка должна иметь одну из четырех возможных меток, и наша задача состоит в определении этой маркировки. Как мы увидим далее, некоторые из комбинаций меток невозможны.
Мы ограничимся случаем, когда в одной вершине встречаются три грани. (Другие типы вершин очень затрудняют анализ.) Более того, мы будем предполагать, что все пересекающиеся линии изображения соответствуют ребрам, которые встречаются в вершине некоторого объекта. Таким образом, мы избегаем случайного выравнивания, когда смотрим на вершину так, что она оказывается лежащей на одной линии с более удаленным ребром. Мы будем также предполагать, что внешние линии линейного рисунка (его силуэт) соответствуют ребрам, которые отделяют «фон».
Вершину, в которой встречаются три грани, можно рассматривать только с некоторых направлений, и это приводит к небольшому числу возможных конфигураций меток для соответствующих соединений линий на изображении. Рассмотрим сначала угол куба. Три плоскости, пересекающиеся в угле, делят пространство на октанты. На угол можно смотреть, находясь в любом из семи октантов, в которых материал
Рис. 15.1. В мире многогранников, в котором разрешены только трехгранные вершины, легко составить словарь всех допустимых маркировок, поскольку имеется всего четыре типа узлов.
куба не заслоняет этот угол. Будем смотреть на угол из точки, находящейся на линии, соединяющей центр куба с этим углом. В этом случае будут видны три линии, встречающиеся в одной точке, и каждую из них необходимо пометить как выпуклую. Из любой другой точки этого октанта совокупность линий выглядит очень похожей на только что рассмотренный случай, углы между линиями всегда меньше 180°.
Следовательно, одна из возможных маркировок Кузла (соединения, в котором три линии встречаются под углом, меньшим 180°) - обозначить все три линии выпуклыми.
Остальные октанты распадаются на два случая, содержащие по три октанта каждый. В одной из этих групп мы также можем видеть три линии, но теперь один из углов составляет больше 180°. Две линии, образующие этот угол, являются закрывающими ребрами. Возможная маркировка этого узла-стрелки имеет «древко» с меткой «выпуклый», а
две другие линии маркируются как «закрывающие» в том смысле, что грани на стороне, содержащей «древко» стрелки, соответствуют закрывающим граням.
Из других октантов видны только обе закрывающие линии. Таким образом, одна из возможных маркировок Ь-узла имеет обе линии, закрывающие в том смысле, что закрывающая грань лежит на той стороне, где угол между линиями меньше чем 180°.
Эта процедура может повторяться для случая, в котором объект находится не в одном, а в 3, 5 и 7 октантах. Например, в первом случае для Y-узла возможна только одна корректная маркировка (все линии являются выпуклыми). Всего находится 5 возможных меток для Y-узла: три — для узла-стрелки и шесть - для L-узла (рис. 15.1). Сравните это со всеми возможными способами приписывания четырех меток трем или двум линиям соответственно!
Если один объект закрывает другой, мы можем увидеть Т-узел, когда ребро одного объекта частично закрывает ребро другого. Точка, в которой на изображении встречаются три линии, не соответствует вершине, т. е. некоторой особой точке объекта, как это было во всех остальных случаях. Таким образом, вертикальную часть «Т» можно пометить четырьмя различными способами. Однако горизонтальная часть «Т» должна иметь ограничивающую метку. Поэтому имеется четыре возможных способа маркировки Т-узла.
Теперь мы располагаем «словарем» возможных маркировок узлов (рис. 15.1). Как нам использовать этот словарь для маркировки линейного рисунка? Выбираемые нами метки должны согласовываться со словарем. Каждая линия должна иметь только одну метку, а оба ее конца должны быть помечены одинаково. В качестве примера рассмотрим корректную маркировку линейного рисунка камина с навесом на рис. 15.2.
Одна из возможных процедур может состоять в переборе всех
Рис. 15.2. Каждую линию линейного рисунка можно маркировать меткой так, чтобы в словаре можно было найти комбинацию меток в каждой вершине.
Если непротиворечивой маркировки не существует, то такая сцена «невозможна» в том смысле, что она не может порождаться многогранником с трехгранными вершинами. С другой стороны, возможно несколько различных корректных маркировок. '^ / *w
методов маркировки линейного рисунка и проверки согласованности результата со словарем. Так как рисунок, состоящий из п линий, предполагает 4” возможных присваиваний меток, этот метод нехорош, его можно применять только для очень простых изображений.
Более разумный подход заключается в организации алгоритма поиска по дереву. Мы выбираем узел, помечаем его приемлемым образом, проходим по линии до следующего узла, выбираем из словаря метку, согласующуюся с тем, что мы уже имеем, и т. д. Если узел пометить не удается, мы отступаем назад и пробуем следующую альтернативу для последнего выбора. Такой поиск в глубину по дереву может оказаться слишком медленным для сложных сцен.
Можно начать с удаления меток, которые «очевидно» не верны, и таким образом избежать их многократной проверки. Один из способов заключается в проверке лишь на локальное соответствие. Начнем с составления для каждого узла таблицы возможных меток по словарю. Теперь последовательно будем удалять все несог ласующиеся метки. Например, если узлы А и В связаны линией и возможные метки в В разрешают в качестве меток для соединяющей их линии только метки выпуклый и вогнутый, то все метки в А, которые требуют, чтобы линия была закрывающей, можно удалить.
Это итеративный процесс, так как сокращенное множество возможностей в узле А может и дальше накладывать ограничения на возможности маркировки в узле В и других узлах. Этот процесс распространения ограничений достаточно быстр, несмотря на свою итеративную природу. Так как нет гарантии того, что будут удалены все метки, кроме правильных, часто его работа этим и ограничивается. Впрочем, иногда в сложных случаях требуется, чтобы результат работы этого алгоритма подвергся дальнейшей обработке с помощью метода поиска по дереву.
Эти методы маркировки можно модифицировать далее так, чтобы они работали с тенями, что существенно снимает неоднозначности. Кроме того, можно работать не только с твердыми телами, но и с плоскостями, однако в этом случае неоднозначность увеличивается. В случае объектов с кривыми поверхностями положение становится существенно более сложным, так как ребро может изменять свой тип при переходе от одного его конца к другому.
Демонстрация копии
Ранняя версия реализации этой идеи маркировки встречается в системе «сору-demo», построенной в 1970 г. Патриком Уинстоном, Бертольдом Хорном и Юджином Фрейдером и предназначенной для демонстрации копии. Подсистема поиска краев, частично построенная Томасом Бинфордом, анализировала изображение простой структуры из положенных друг на друга детских кубиков. Полученный линейный рисунок трансформировался затем в символическое описание сцены,
Рис. ! 5.3. Механический манипулятор, используемый в одном из первых проектов copy-demo, в котором визуальная информация использовалась для планирования движения промышленного робота. (Фото Стива Слезингера.)
для которого и производилась идентификация объектов и явно устанавливалось их взаимное расположение. На основе этого описания разрабатывался план разбора первоначальной структуры.
Специальные калибровочные программы определяли дисторсию камеры, а также преобразование рука — глаз, т. е. преобразование из координатной системы механического манипулятора в систему камеры. Использовавшийся метод наименьших квадратов был очень похож на метод, описанный в гл. 13. Механический манипулятор выполнял действия, обратные плану разборки, и производил построение копии структуры, используя детали, купленные в хозяйственном магазине (рис. 15.3).
Комментарии к литературе
Робертс [394] не только разработал программу поиска линий; он оказался первым, кто стал интерпретировать получающийся линейный рисунок. Его программа находит лучшее приближение между тем, что видно на линейном рисунке, и имеющимися запомненными моделями. Гузман-Аренас [296] разработал эвристическую программу, не требующую явно моделей объектов. Ее успех на некоторое время вдохновил
школу эвристического программирования для искусственного интеллекта. Однако скоро было обнаружено, что.потенциально бесконечная последовательность исключений требует постоянной разработки новых специальных приемов работы с ними.
Оказывается, что программы поиска линий не являются абсолютно надежными и что отсутствующие и добавочные линии существенно затрудняют применение простых схем. Фрейдер предложил эвристические методы, которые были использованы в 1970 г. в МТИ в системе «демонстрации копий» [199, 207, 208, 471]; столкнувшись с теми же самыми проблемами при работе с системами глаз — рука в Станфорде, он нашел другой способ обработки несовершенных линейных рисунков. О других ранних работах см. [137].
Следующий шаг в эволюции интерпретации схем линейных рисунков был сделан независимо Клоусом [177] и Хафменом [268]. Новые схемы маркировки предоставили средства разделения сцен на возможные и невозможные. В связи с этими схемами возникли две трудности: одна заключалась в возможности выбора нескольких корректных маркировок одной конкретной сцены, вторая была связана с отсутствием эффективного систематического способа обнаружения всех законных маркировок. Вальц [466] обнаружил, что использование информации, связанной с тенями, существенно снижает степень неоднозначности интерпретации, хотя это значительно увеличивает объем словаря. Он также разработал схему «распространения ограничений», которая позволяет быстро находить множество потенциальных маркировок, которые затем могут подвергаться более тщательному исследованию. Розенфельд, Хуммель и Цукер [411] для решения проблемы маркировки сцен использовали релаксационный алгоритм. Ульман [462] рассмотрел релаксационные методы как итеративные схемы для решения проблем оптимизации с ограничениями. Девис и Розенфельд [185] исслеХовали параллельные процессы, Хуммель и Цукер [272] — основные принципы процессов релаксационного помечивания.
Работы [177, 268] были продолжены в нескольких направлениях. Прежде всего были сделаны попытки работать в мире более сложном, чем мир детских кубиков. Например, Канаде [290 — 292] работает с самостоятельными поверхностями, его мир — так называемый мир Оригами. Было опубликовано и много других работ, так как анализ линейных рисунков был в некотором отношении в фокусе работ по видению в среде исследователей, занимающихся искусственным интеллектом. Представительными работами являются работы [140, 415].
Количественный анализ начался рано, почти одновременно с работами по маркировке линий. Макворт [320] ввел градиентное пространство для учета метрических аспектов линейных рисунков. Стимулом для его работы послужило открытие, что линейные рисунки, которые не являются проекциями набора многогранных объектов, могут маркироваться и обрабатываться схемами, которые не учитывают коли-
чественную информацию. Градиентное пространство в дальнейшем использовал Хорн [250] при определении карты отражательной способности. Макворт [321] приводит довольно убедительную критику проделанной работы на этот момент в области анализа сцен. Хафмен [269] использует гауссовы сферу и кривизну в рассуждениях по изгибанию листа бумаги. Хафмен [270, 271] исследовал дуальное пространство при построении точного метода различения возможных и невозможных объектов. Драпер [190] продолжал использовать градиентное и дуальные пространства при интерпретации линейных рисунков. Шафер, Канаде и Кендер [424] расширили использование градиентного пространства на случай центральной проекции, а Шафер и Канаде [423] с успехом использовали затенение при определении ориентации поверхности.
Большой успех в количественном анализе выпал на долю систематического аналитического подхода, разработанного Сугихарой [438 — 441]. Используя полученный Сугихарой результат, Шапира [425] обнаружила одну интересную задачу, которая, правда, к настоящему моменту решена. Работы Сугихары не получили того внимания, которое они заслуживали, так как они не очень хорошо вписывались в общую схему предшествующих работ и использовали не всем доступные математические методы.
Рассматривались также и линейные рисунки для гладких кривых объектов. Публикации в этой области включают работы [190, 285, 426, 461]. Малик [324] недавно представил строгую схему интерпретации линейных рисунков для прозрачных объектов с кусочно-гладкими поверхностями.
У пражнения
Существуют ли другие корректные маркировки линейного рисунка камина с навесом, приведенного на рис. 15.2? Если это так, то какие линии имеют метки, которые являются одними и теми же для всех возможных маркировок?
Представьте себе, что вы находитесь в мире гладких выпуклых объектов. Под гладкостью мы понимаем непрерывность первых производных, т. е. отсутствие разрывов в ориентации плоскостей и, следовательно, отсутствие ребер. Представьте себе систему обработки изображений, которая безукоризненно строит линейный рисунок сцены, находящейся перед камерой. Выскажите общее положение, имея в виду, что нет необходимости в учете случайных расположений ребер на одной прямой.
я) Перечислить все возможные способы маркировки линии. Указание: заметьте, что линии могут появиться лишь там, где направление зрения касательно к поверхности.
Перечислите типы узлов и все возможные способы маркирования узла каждого типа. Указание: имеется лишь один тип узла, Б
। в) Какие модификации необходимы для обработки не только выпуклых гладких объектов? Указание: рассмотрите «узел», в котором одна линия кончается, не пересекаясь с другой.
Предположим, что каждую линию на рисунке можно маркировать одним из четырех возможных способов и что на рисунке находится и линий. Сравните вычислительные затраты для следующих подходов маркирования линий:
грубая сила — систематическое исследование всех возможностей;
поиск по дереву — например, в глубину;
распространение ограничений — итеративное удаление несогласованных меток.
Как вы думаете, сколько шагов будет выполнено при каждом методе? Предположим, что средний коэффициент ветвления в случае поиска по дереву равен двум, а ограничения обычно распространяются на 2,5 соседней вершины в подходе с фильтрацией. Внесите другие подходящие предложения, чтобы можно было решить эту задачу.
Рассуждая о точках, линиях и плоскостях в пространстве, часто бывает удобно использовать конструкцию, называемую дуальным пространством. Точка а в объектном пространстве соответствует плоскости, описываемой в дуальном пространстве уравнением а ■ v = 1. Симметрично плоскость, описываемая в объектном пространстве уравнением a v=l, отображается в точку а в дуальном пространстве. Заметьте, что дуаль дуали точки или плоскости является самой точкой или плоскостью.
Покажите, что единичной нормалью поверхности а • v = 1 является а = а/1 а | и что длина перпендикуляра, опущенного из начала до поверхности, равна 1/| а |, где | а | = |/а^а.
Линию можно определить либо двумя точками, через которые она проходит, либо пересечением двух плоскостей, которые ее содержат. Что такое дуаль к линии, соединяющей две точки а! и а2? Что является дуалью к линии, образованной пересечением двух плоскостей, а, • v = 1 и a2v=l? Указание: линия пересечения двух плоскостей перпендикулярна нормалям обеих плоскостей.
Наложите дуальное пространство на объектное. Покажите, что линия перпендикулярна своей дуали. Указание: линии не обязательно будут пересекаться, поэтому просто покажите, что скалярное произведение векторов, параллельных направлению обеих линий, равно нулю.
Мы можем ортогонально спроектировать объектное пространство на пространство изображения. Иными словами, точка v объектного пространства отображается в плоскость V = v — (v • z) z в пространстве изображения. (Третью компоненту этого вектора можно опустить, так как она равна нулю.) С другой стороны, мы используем центральную проекцию для отображения дуального пространства на градиентное, т. е. точка v в дуальном пространстве отображается в плоскость
Рис. 15.4. Пространственная ориентация прямоугольного объекта, восстановленная по его ортогональному изображению.
Величина углов А, В и С на изображении позволяет определить углы между каждым из соответствующих ребер объекта и плоскостью, параллельной плоскости изображения.
v' = v/(v • z) — z в градиентном пространстве. (Здесь третью компоненту вектора также можно опустить, так как она равна нулю.)
Спроектируйте линию в пространство изображения и спроектируйте ее дуаль в градиентное пространство. Теперь наложите пространство изображения на градиентное пространство. Покажите, что спроектированные линии перпендикулярны друг другу. Указание: это не следует непосредственно из того факта, что линии в объектном и дуальном пространствах перпендикулярны.
Предположим, что известно наличие у изображаемого многогранного объекта лишь прямых углов. Наша задача заключается в определении пространственного положения параллелепипеда или бруска по углам между тремя линиями в проекции угла (рис. 15.4). Введем следующие обозначения для этих трех линий: L„, Lb, Lc, соответствующих трем ребрам Еа, Еь, Ес объекта. Мы знаем, что эти три ребра взаимно ортого
нальны.
Предположим, что А — угол между Еь и Ес (т. е. угол, противоположный линии LA, В — угол, противоположный линии Еь, и С — угол, противоположный линии L,.. Примем, что проекция ортогональная. Пусть а — угол между ребром Еа и плоскостью, параллельной плоскости изображения, b и с определяются аналогично. Пространственное положение бруска полностью определено, как только становятся известны эти три угла.
cos А sin В • sin С ’cos А sin В • sin С ’Покажите, чтог
cos А sin В • sin С ’
cos А sin В • sin С ’
sin а =sin а =cos В •cos С :—— и cos а
sin а =
sin а =
sin В • sin С
Аналогичные формулы для двух других углов можно получить одновременной циклической перестановкой переменных. Указание: вам может оказаться полезным соотношение между сторонами и углами
сферического треугольника, приведенное в приложении.
16. Расширенные сферические образы
Вопросы представления играют в машинном зрении чрезвычайно важную роль. В этой главе мы рассмотрим один конкретный способ представления формы объекта. Расширенные сферические образы оказываются полезными в таких задачах, как распознавание и определение положения объекта в пространстве. Их легко вычислить с помощью игольчатых диаграмм, получаемых стереофотометрическим методом, или карт глубины, получаемых методом бинокулярного стереозрения. Чтобы ввести указанное понятие, мы сначала опишем просто сферический образ и дадим определение гауссовой кривизны. Для манипулирования подобного рода информацией с помощью компьютера ее необходимо дискретизировать. Гистограмма ориентации представляет собой дискретный аналог расширенного сферического образа. Мы обсудим различные способы разбиения поверхности единичной сферы на ячейки, необходимые для построения гистограммы ориентации.
Здесь же приведено несколько примеров расширенных сферических образов. Особенно просто их получить для тел вращения. В упражнениях разбирается двумерный аналог расширенного сферического образа (расширенный круговой образ). Этот способ представления используется при анализе и обработке плоских кривых. Вводятся также два новых понятия, играющие важную роль при отождествлении экспериментально полученной гистограммы ориентации с прототипом, хранящимся в памяти ЭВМ: опорная функция и сумма двух объектов. Более детально проблемы отождествления и определения положения объекта в пространстве изучаются в гл. 18, в которой описывается система, разбирающая навал.
Выпуклые многогранники
Чтобы распознавать объекты и определять их положение в пространстве, необходимо иметь способ, позволяющий представлять форму их поверхностей. Одна из возможностей состоит в задании расстояний до поверхностей, измеренных вдоль лучей, соответствующих каждому элементу изображения. Такое представление называется картой глубины. Именно такого вида описание поверхности получается с помощью дальномеров. К сожалению, при повороте объекта эти расстояния преоб-
Рис. 16.1. Расширенный сферический образ многогранника, представляющий собой совокупность импульсов на единичной сфере.Каждой грани соответствует импульс с весом, равным ее площади, который располагается на сфере гак, что касательная к сфере в этой точке параллельна грани. Для облегчения понимания рисунка каждому импульсу на сфере придана форма соответствующей ему грани кубооктаэдра. Импульсы на другой стороне сферы не показаны.Рис. 16.1. Расширенный сферический образ многогранника, представляющий собой совокупность импульсов на единичной сфере.Каждой грани соответствует импульс с весом, равным ее площади, который располагается на сфере гак, что касательная к сфере в этой точке параллельна грани. Для облегчения понимания рисунка каждому импульсу на сфере придана форма соответствующей ему грани кубооктаэдра. Импульсы на другой стороне сферы не показаны.
Рис. 16.1. Расширенный сферический образ многогранника, представляющий собой совокупность импульсов на единичной сфере.
Каждой грани соответствует импульс с весом, равным ее площади, который располагается на сфере гак, что касательная к сфере в этой точке параллельна грани. Для облегчения понимания рисунка каждому импульсу на сфере придана форма соответствующей ему грани кубооктаэдра. Импульсы на другой стороне сферы не показаны.
Рис. 16.1. Расширенный сферический образ многогранника, представляющий собой совокупность импульсов на единичной сфере.
Каждой грани соответствует импульс с весом, равным ее площади, который располагается на сфере гак, что касательная к сфере в этой точке параллельна грани. Для облегчения понимания рисунка каждому импульсу на сфере придана форма соответствующей ему грани кубооктаэдра. Импульсы на другой стороне сферы не показаны.
разуются не так просто, как того хотелось бы. Альтернативой служит задание ориентации для точек поверхности, соответствующих каждому элементу изображения. Такое представление называется игольчатой диаграммой. Стереофотометрия дает описание поверхности в подобной форме. Однако и этот способ представления оказывается не особенно удобным, когда сравнивают поверхности объектов, которые можно поворачивать относительно друг друга.
С другой стороны, расширенный сферический образ позволяет легко справляться с изменениями положения объекта в пространстве. Хотя, как оказывается, часть информации при переходе к расширенному сферическому образу пропадает, любопытно отметить тот факт, что по крайней мере для выпуклых объектов это представление единственно, т, е. никакие два выпуклых объекта не имеют одинаковые расширенные сферические образы.
Начнем наше обсуждение с объектов, обладающих плоскими гранями. Минковский доказал, что выпуклый многогранник полностью определяется площадью и ориентацией своих граней. В связи с этим мы напомним определение гауссовой сферы, которое было дано в гл. 10 и 11 при изученйи карты отражательной способности, Вообразим, что мы берем единичный вектор нормали к плоскости каждой грани и переносим его так, чтобы его «хвост», постоянно проходил через центр единичной сферы. Тогда «макушка» нормали лежит на поверхности сферы. Каждая точка такой гауссовой сферы отвечает определенной ориентации элемента поверхности. Расширенный сферический образ получается путем приписывания каждой точке сферы веса (массы), равного* площади соответствующей грани многогранника (рис. 16.1).
Поскольку положения нормалей на поверхности при таком отображении становятся неизвестными, на первый взгляд кажется, что здесь
Рис. 16.2. Распределения массы на сфере, которые полностью сосредоточены по большому кругу, не отвечают никаким ограниченным фигурам.
Их можно рассматривать как пределы расширенных сферических образов семейства цилиндрических объектов, которые становятся все длиннее и длиннее и в то же время все уже и уже.
теряется часть информации. Кроме того, утрачивается информация о том, с какими гранями соприкасается каждая грань. Тем не менее можно доказать, что (с точностью до сдвига) расширенный сферический образ определяет единственный выпуклый многогранник. Недавно были разработаны итеративные алгоритмы восстановления выпуклого многогранника по его расширенному сферическому образу.
Распределения массы, полностью сосредоточенной на большом круге единичной сферы, отвечают бесконечно длинным и бесконечно узким цилиндрам (рис. 16.2). Такие патологические случаи будут исключены из дальнейшего рассмотрения.
Отметим некоторые важные свойства расширенного сферического образа. Во-первых, легко видеть, что суммарный вес расширенного сферического образа — это просто-напросто общая площадь поверхности многогранника. Далее, если многогранник замкнутый, то при его наблюдении с двух взаимно противоположных направлений площадь проекции будет одной и той же. Как можно показать, из этого следует, что
Рис. 16.3.
а — расширенный сферический образ многогранника, представляемый в виде модели ежа, в которой каждый вектор имеет длину, пропорциональную площади грани, и направление, параллельное нормали к ней; б — в случае замкнутой поверхности многогранника эти векторы при их последовательном соединении должны образовать замкнутую фигуру., . ^^>^
Рис. 16.4. Образом точки поверхности при сферическом отображении служит точка на единичной сфере, в которой! ориентация нормали та же самая.
центр масс расширенного сферического образа находится в начале координат. Эквивалентное представление, называемое моделью ежа, является пучком векторов, параллельных нормалям к поверхности, причем длины этих векторов равны площадям соответствующих граней (рис. 16.3). Результат, касающийся положения центра масс, эквивалентен утверждению о том, что сумма векторов модели ежа должна быть равна нулю.
Теперь рассмотренные понятия будут обобщены на случай гладких криволинейных поверхностей.
Сферический образ
Мы можем отобразить точку поверхности на единичную сферу, найдя такую точку на сфере, нормаль в которой совпадает с нормалью в точке поверхности (рис. 16.4). Таким способом информация, связанная с точками поверхности, переносится на точки гауссовой сферы. В случае выпуклого объекта (всюду с положительной кривизной) нормали во всех точках различны. Поэтому отображение объекта на сферу обратимо, т. е. каждой точке сферического образа соответствует единственная точка поверхности. Если на некоторых участках кривизна поверхности обращается в нуль, то одной точке сферического образа может соответствовать линия или кусок поверхности^ однако и в этом случае предложенный подход остается в силе.
Одно из полезных свойств сферического образа состоит в том, что он поворачивается вместе с объектом. Нормаль к сфере, параллельная некоторой выбранной нормали к поверхности, остается ей параллельной и после одинакового поворота сферы и поверхности. Следовательно, вращению объекта отвечает равное ему вращение сферического образа.
Гауссова кривизна
Выделим на поверхности объекта небольшую площадку 60 (рис. 16.5). Каждой точке этой площадки соответствует определенная точка сферического образа. Участок поверхности объекта отображается в участок сферического образа, площадь которого мы обозначим через dS. Если поверхность объекта сильно искривлена, то нормали к точкам, принадлежащим выделенной площадке, охватывают широкий диапазон направлений. Соответствующие им точки сферы будут иметь сильный разброс. И наоборот, если поверхность плоская, то нормали в различных ее точках параллельны друг другу, и потому она отображается в одну точку.
Это предварительное замечание подсказывает удобное определение кривизны поверхности. Гауссова кривизна К определяется как предел отношения двух введенных нами площадей при их стремлении к нулю, т. е.
„ 5S dS- К = lim
«о.о ЬО dO
Из этого дифференциального соотношения можно получить две полезные интегральные формулы. Пусть сначала интегрирование производится по конечному участку О поверхности объекта, тогда
И Kdo = n^ = s,
оs
где S — площадь соответствующего участка сферического образа. Выражение в левой части называется полной кривизной. Записанное
Рис. 16.5. Сферический образ участка поверхности, являющийся множеством образов точек этого участка.
Величина тауссовой кривизны равна отношению площади 6S участка на единичной сфере к площади 60 участка на поверхности объекта. Она положительна, если направления обхода границ обоих участков совпадают, и отрицательна в противном случае. , (
Рис. 16.6. Участок, наклоненный по отношению к направлению наблюдения, сокращается в ракурсе.
Отношение видимой площади к фактической равно косинусу угла между нормалью к поверхности s и направлением в сторону наблюдателя v.
соотношение позволяет работать с поверхностями, имеющими разрывы в положении нормали.
Теперь рассмотрим интегрирование по участку S на гауссовой сфере: П MKds = ^do = o,
sо
где О — площадь соответствующего участка поверхности объекта. Что касается этого соотношения, то оно наводит на мысль об использовании в расширенном сферическом образе величины, обратной гауссовой кривизне. Оно также показывает, что интеграл от 1/К по всему сферическому образу просто равен полной площади поверхности объекта.
Расширенный сферический образ
Можно определить отображение, которое сопоставляет обратное значение гауссовой кривизны в точке поверхности определенной точке на единичной сфере. Пусть и и v — параметры, задающие точку на исходной поверхности, а Е, и р — параметры, задающие положение точки на гауссовой сфере (например, долгота и широта). Расширенный сферический образ мы определим как
Gfe р)= 1/К(п, г),
где (£, р) — точка на гауссовой сфере, соответствующая точке (и, и) исходной поверхности. Можно показать, что для выпуклых объектов такое отображение единственно (с точностью до сдвига). Точнее, существует только один выпуклый объект, обладающий заданным расширенным сферическим образом. Доказательство этого факта, к сожалению, неконструктивно, ввиду чего прямой метод восстановления формы объекта неизвестен.
Допустим, что выпуклый объект наблюдается с большого расстояния по направлению единичного вектора у. Участок поверхности с единичной нормалью s будет наблюдаться, только когда s ■ у ^ 0. Пусть площадь его поверхности равна 80. Из-за сокращения в ракурсе он будет выглядеть как участок, ортогональный v, с площадью (s • у) 60 (рис. 16.6). Пусть Н (у) — единичная полусфера, для которой s - у > 0. Тогда площадь видимой поверхности при наблюдении в направлении у составляет
ff G(s)(s-i)dS.
Она, естественно, должна быть той же самой, что и площадь поверхности, наблюдаемой с противоположного направления:
п g^s-w
Следовательно,
Jj G (s) (s - v)dS = v- jjG(s)s</S = 0, ss: r;
где интеграл берется уже по всей сфере. Поскольку это равенство выполняется для всех направлений наблюдения v, мы должны иметь
П G$sdS = 0.s
Иными словами, центр масс расширенного сферического образа находится в начале координат. (Между прочим, практически этот результат мало что дает, поскольку мы можем наблюдать, как правило, лишь одну сторону объекта.)
Легко продемонстрировать и другое свойство расширенного сферического образа. Его общий вес равен суммарной площади поверхности объекта. Если нам необходимо работать с одинаковыми по форме, но различными по размеру объектами, то путем деления на общий вес можно нормализовать их сферические образы.
Расширенный сферический образ можно рассматривать как плотность распределенной по единичной сфере массы. При этом становится возможным логически последовательно с помощью введенного выше интеграла от 1/К рассматривать случаи, когда в некоторых местах поверхности гауссова кривизна равна нулю. Плоскому участку, например, соответствует точечная масса. При этом на гауссовой сфере возникает импульсная функция с величиной импульса, пропорциональной площади участка. (Величина импульса заданной на сфере функции является просто интегралом от этой функции, взятым по всей поверхности сферы.)
Если поверхность не выпукла, то имеют место следующие три особенности :
для некоторых точек гауссова кривизна оказывается отрицательной;
некоторым точкам сферы отвечает более одной точки объекта;
части объекта могут загораживать друг друга. В этом случае мы определим расширенный сферический образ как сумму абсолютных величин, обратных гауссовой кривизне, для всех точек объекта с одинаковой ориентацией. Это определение вытекает из метода вычисления дискретной аппроксимации расширенного сферического образа, о котором будет рассказано ниже.
Рис. 16.7. Вычисление расширенного сферического образа эллипсоида с тремя различными полуосями представляет собой интересную задачу.Рис. 16.7. Вычисление расширенного сферического образа эллипсоида с тремя различными полуосями представляет собой интересную задачу.
Рис. 16.7. Вычисление расширенного сферического образа эллипсоида с тремя различными полуосями представляет собой интересную задачу.
Рис. 16.7. Вычисление расширенного сферического образа эллипсоида с тремя различными полуосями представляет собой интересную задачу.
Примеры расширенных сферических образов
Расширенным сферическим образом сферы радиусом R является функция G (^, т|) = R2, в чем нетрудно убедиться, если учесть, что участок площади 80 сферы при наблюдении из ее центра заполняет телесный угол со = ЬО/R2. Соответствующий участок единичной сферы, очевидно, имеет площадь 85 = со.
Несколько более интересен случай эллипсоида с полуосями а, b и с, параллельными осям координат (рис. 16.7). Уравнение его поверхности можно записать в виде (х/а)2 + (у/6)2 + (z/c)2 = 1. Более подходящей для наших целей является параметрическая форма записи х = a cos 6 cos ср, у = 6 sin 0 cos ср, z = с sin ср.
Нормаль к поверхности в точке
г = (a cos 0 cos ср, b sin 0 cos ср, с sin ср)т имеет вид
n = (be cos 0 cos ср, са sin 0 cos ср, ab sin ср)г
С помощью развиваемых ниже методов в упр. 16.5 можно показать,что гауссова кривизна в рассматриваемой точке описывается формулойк = Гab£ Т
(6с cos 0 cos ср)2 + (са sin 0 cos ср)2 + (аб sin ср)2 _
|2|2Если — долгота, Г] — широта, то единичная нормаль в точке с координатами (^, г]) на сфере имеет вид n = (cos Е, cos г), sin ^ cos г), sin г|)'Г Приравнивая выражения для компонент нормалей в соответствующих точках эллипсоида и гауссовой сферы, окончательно получаем
|2
|2
G^ П)=4G^ П)=4abc
G^ П)=4
G^ П)=4
(a cos £ cos г))2 + (6 sin ^ sin г))2 + (с sin г,)2
Расширенный сферический образ в рассматриваемом случае является гладким и имеет стационарные значения (6с/а)2, (са/6)2, (аб/с)2 в точках (1, О, 0)т, (О, 1, 0)т и (О, О, 1)т соответственно.
Позже мы построим расширенный сферический образ тора, т. е. невыпуклого объекта.
Дискретный случай
Пусть поверхность разбита на небольшие равновеликие участки и на единицу площади поверхности приходится р участков. На каждом участке восстановим вектор нормали и рассмотрим многогранник, образованный пересечением плоскостей, ортогональных к этим нормалям. С уменьшением величины участков, т. е. с увеличением р, построенный таким образом многогранник все точнее аппроксимирует исходную поверхность.
Расширенный сферический образ исходного выпуклого объекта (с гладкой поверхностью) аппроксимируется совокупностью импульсов, отвечающих участкам разбиения. Величина каждого импульса приближенно равна 1/р, что соответствует площади каждого участка. Для сильно искривленных поверхностей импульсы распределены по значительной площади гауссовой сферы, в то время как для почти плоских поверхностей они сконцентрированы на небольшом участке. В самом деле, число импульсов, приходящихся на единицу площади гауссовой сферы, приблизительно равно обратному значению гауссовой кривизны, умноженному на величину р. Это можно показать с помощью введенного выше интеграла от 1/К.
До тех пор пока импульсы на гауссовой сфере, отвечающие участкам разбиения исходной поверхности, остаются пропорциональными их площадям, само разбиение на такие плоские участки может быть произвольным. Иной подход состоит в разбиении исходной поверхности
Рис. 16.8. Необходимость учета дискретизации двух видов (разбиение поверхности объекта и разбиение поверхности сферы) при отображении информации об объекте на расширенную гауссову сферу.
Для каждого элемента разбиения слева находится ориентация поверхности. После этого увеличивается значение переменной, приписанной к соответствующему элементу дискретного представления сферы справа. Дискретная аппроксимация расширенного сферического образа называется гистограммой ориентации. . у
Рис. 16.9. Вычисление расширенного сферического образа поверхности. облегчаемое благодаря выбору подходящей параметризации поверхности.
Используя способ идентификации точек на поверхности с помощью двух параметров и и г, мы путем дифференцирования легко можем найти касательные направления, а зная касательные, получить локальную нормаль. Площадь каждого участка поверхности также легко находится непосредственно из производных параметрических уравнений.
в соответствии с разбиением на элементы изображения (рис. 16.8). При этом необходимо учитывать сокращение в ракурсе изображения рассматриваемого участка. Реально наблюдаемая площадь поверхности пропорциональна sec е, где е — угол между нормалью к поверхности и направлением линии наблюдения (рис. 16.6). (При известной нормали этот угол легко определить.)-*
Ввиду воздействия помех на измерения яркости вычисленная по изображению ориентация поверхности не будет точной. Аналогично будут искажены значения ориентации, полученные на основе данных о дальности. Поэтому импульсы на сферическом образе будут несколько смещены от их истинных положений. Тем не менее их плотность на гауссовой сфере будет стремиться к значению, равному обратной гауссовой кривизне. Однако импульсы, соответствующие шлоской поверхности, не будут совпадать. Вместо этого они будут образовывать небольшой пучок.
Необходимо также рассчитать расширенные сферические образы моделей — прототипов объектов. Лучшее решение в этом случае состоит в том, чтобы найти удобное параметрическое представление поверхности и с его помощью разбить ее на большое число малых по размерам участков. Пусть поверхность задается параметрами и и v в виде вектор- функции г (и, и) (рис. 16.9). Тогда ru и гу - касательные в точке (н, г). Их векторное произведение ортогонально поверхности, и потому мы можем вычислить единичную нормаль:
ГМ X Г, п = I,
Знание этой нормали позволяет нам, найти на гауссовой сфере точку, соответствующую рассматриваемому участку поверхности. Разобьем область изменения параметра и на отрезки длиной Зн, а область изменения параметра с — на отрезки длиной Зи. Тогда для вычисления вклада каждого участка на единичной сфере можно использовать следующую
формулу, выражающую его площадь 5Л = | r„ х rt, | 5м 5г. Заметьте, что нам нет необходимости в явном вычислении гауссовой кривизны или вторых производных.
Расширенный сферический образ тора ?
Теперь с помощью простых геометрических соображений мы построим расширенный сферический образ тора (рис. 16.10). Плоскость, содержащую ось тора, назовем осевой плоскостью. Она пересекает тор по двум окружностям. Точки каждой из этих окружностей отображаются на большой круг гауссовой сферы. Две окружности, являющиеся сечением тора одной и той же осевой плоскостью, переходят в один и тот же большой круг гауссовой сферы. Если выбрать другую осевую плоскость, то получим сечения, которые отобразятся в другой большой круг.
Определим полюса гауссовой сферы как точки пересечения поверхности сферы с осью, параллельной оси тора. Теперь заметим, что все большие круги, являющиеся образами сечений тора осевыми плоскостями, проходят через определенные таким способом полюса гауссовой сферы. Ввиду этого они являются меридианами, т. е. линиями постоянной долготы. Нетрудно также убедиться в том, что, за исключением полюсов, каждая точка гауссовой сферы соответствует ровно двум точкам тора.
Можно ожидать, что значения расширенного сферического образа будут возрастать по мере приближения к полюсам, поскольку меридианы в этих местах сходятся. Чтобы получить количественный результат, необходимо выделить на торе участки известной площади и посмотреть, какова будет площадь соответствующих участков гауссовой сферы. Рассмотрим две почти параллельные осевые плоскости
рис. 16.11. Две осевые плоскости вырезают на торе два противоположных кольца.
Для проекции колец на гауссову сферу их можно сложить друг с другом. Комбинация почти эквивалентна части цилиндра.
(рис. 16.11). Они вырежут на торе два узких (диаметрально противоположных) кольца.
Эти кольца в свою очередь перейдут на гауссовой сфере в двуугольники. Каждый из двух двуугольников представляет собой дольку, вырезанную из поверхности сферы двумя плоскостями, содержащими ее ось и параллельными плоскостям, рассекающим тор (рис. 16.12, а). Ширина двуугольника изменяется в зависимости от широты. Вследствие этого прямое вычисление площади участка на гауссовой сфере, в который отображается одно из колец тора известной площади, оказывается затруднительным. Однако если два таких противоположных кольца тора сложить вместе, то получится цилиндрический пояс постоянной ширины, поскольку ширина исходных колец изменяется линейно с расстоянием до оси тора. Таким образом, общий вклад обоих колец тора на каждой широте гауссовой сферы оказывается одинаковым.
Соответствующий двуугольник на гауссовой сфере сужается при приближении к полюсу, в действительности его ширина пропорциональна cost], где г] — широта. Следовательно, участки фиксированной площади на торе по мере приближения их образов к полюсам отображаются во все более мелкие по площади участки гауссовой сферы. Отсюда мы заключаем, что расширенный сферический образ должен быть пропорционален seer]. Это можно показать и другим способом, на основе разбиения гауссовой сферы меридианами и параллелями (рис. 16.12,6). Каждая ячейка такого разбиения отвечает участкам одинаковой площади на торе. Если в каждую из ячеек поместить единичную
Рис. 16.12. Площадь гауссовой сферы, соответствующая двум кольцам тора, состоит из двух противоположных двуугольников.
а — поскольку поверхность одной и гой же площади отображается в определенный широтный пояс, значение расширенного сферического образа увеличивается с широтой; б — если в каждом элементе разбиения сферы меридианами и параллелями поместить единичную массу, то мы наглядно увидим зависимость плотности от секанса широты, массу, то мы увидим, что из-за уменьшения размеров ячеек при приближении к полюсу плотность распределенной массы возрастает.
Теперь мы знаем, что расширенный сферический образ тора пропорционален секансу широты. Чтобы найти коэффициент пропорциональности, достаточно рассмотреть небольшой участок сферы, расположенный вблизи экватора, где р % 0. Пусть протяженность участка по широте равна Зр, а по долготе — 3^. Этому участку на гауссовой сфере соответствуют два участка тора общей площадью (R - р) З^рЗр + (К + р) З^рЗр = 2R рЗ|Зр, гдр R - осевой, ар- меридиональный радиусы тора. Отсюда делаем вывод, что G (^, р) = 2Rp sec р. Иной путь определения коэффициента пропорциональности оснрван на учете того факта, что общая площадь тора, равная 4л2р/^, должна равняться интегралу от G(^, р), взятому по всей сфере.
Разбиение единичной сферы
Для представления в компьютере информации об образе на гауссовой сфере имеет смысл разбить ее поверхность на ячейки.
При этом с каждой ячейкой связывается площадь той части исходной поверхности, которая ориентирована внутри конуса направлений, определяемых ячейкой разбиения. Такая дискретная аппроксимация расширенного сферического образа называется гистограммой ориентации. В идеале ячейки должны удовлетворять следующим требованиям:
иметь одну и ту же площадь;
быть одинаковой формы;'"
быть регулярно расположенными;
обладать округлой формой;Л■>
разбиение должно обеспечивать достаточно хорошее угловое разрешение;
должны существовать повороты, которые переводят разбиение само в себя.
Вытянутые ячейки необходимо исключить, поскольку им будет соответствовать информация об участках поверхности, ориентация на которых изменяется сильнее, чем в случае более округлых ячеек той же площади. В то же время если ячейки будут располагаться регулярно, то их расположение по отношению к соседям будет одинаковым для всех ячеек, и такие конфигурации весьма желательны. К сожалению, удовлетворить всем перечисленным требованиям одновременно невозможно.
Одно из возможных разбиений образуется широтными поясами, каждый из которых затем подразделяется меридиональными полосами (рис. 16.13). Получающиеся в результате ячейки можно сделать почти равными по площади, если число таких полос на больших широтах будет уменьшаться. Одно из преимуществ такой схемы — простота нахождения ячейки, к которой необходимо приписать определенную нормаль к поверхности. Все же подобный способ слишком далек от того, чтобы удовлетворять перечисленным выше требованиям. Например, - не существует поворотов, с помощью которых построенное разбиение сферы переводится само в себя (кроме вращений относительно оси, соединяющей полюса).
Более подходящие разбиения можно получить путем проекции на единичную сферу правильных многогранников, центры которых совпадают с центром сферы. Грани правильного многогранника являются правильными многоугольниками (причем все они одинаковы). Следовательно, разбиение, полученное проекцией правильного многогранника, обладает тем свойством, что все ячейки обладают одной и той же формой и площадью. Кроме того, геометрическое расположение всех ячеек по отношению к соседям одинаково. К сожалению,
Рис. 16.13. Разбиение сферы иа элементы меридианами и параллелями.
К сожалению, такое разбиение обладает лишь немногими свойствами, требуемыми для хранения гистограммы ориентации. ,
Рис. 16.14. Проектирование додекаэдра и икосаэдра на единичную сферу для получения разбиения на 12 (я) и 20(6) ячеек.
известно лишь пять правильных тел, из которых и приходится выбирать (тетраэдр, гексаэдр, октаэдр, додекаэдр и икосаэдр). Для додекаэдра ячейки достаточно округлы (рис. 16.14, а). Додекаэдр, однако, обладает всего двенадцатью гранями. Даже икосаэдр дает весьма грубое представление ориентации (рис. 16.14,6). К тому же двадцать его ячеек не слишком округлы.
Мы можем пойти дальше и рассмотреть полуправильные многогранники. Их грани также правильные многоугольники, но при этом необязательно одинаковые. Не равны и площади всех граней. В некоторых случаях удается построить новый многогранник, имеющий ту же топологию связей между гранями, что и исходный полуправильный многогранник, но площади граней которого равны между собой. При этом
Рис. 16.15.
а — усеченный икосаэдр, представляющий собой полуправильный многогранник с 32 гранями; б — пентадодекаэдр, состоящий из 60 треугольных граней. Более мелкие разбиеиия поверхности единичной сферы могут основываться на таких полуправильных многогранниках. _
Рис. 16.16. Возможность построения геодезических сетей, основанных на любой из проекций правильных или полуправильных многогранников.
Каждая грань подразделяется на треугольные ячейки. Приведенная здесь сеть базируется на икосаэдре и имеет 12 вершин, к которым примыкают 5 ячеек. В остальных вершинах сходятся шесть ячеек.
форма некоторых граней уже перестает быть правильной. Пример разбиения, основанного на полуправильном многограннике, дает футбольный мяч (рис. 16.15, а). В качестве исходного здесь взят усеченный икосаэдр, т. е. тело, имеющее 12 пятиугольных и 20 шестиугольных граней. К сожалению, существует лишь 13 полуправильных многогранников (пять усеченных правильных многогранников, кубооктаэдр, икосододекаэдр, плосконосый куб, плосконосый икосододекаэдр, усеченный кубооктаэдр, ромбоокубоктаэдр, усеченный икосододекаэдр и ромбоикосододекаэдр). Они не приводят к достаточно мелким для наших целей разбиениям.
Если нам все же желательно получить более мелкое разбиение, то мы можем попытаться разложить уже имеющееся на треугольные элементы. Например, если разбить каждую из пятиугольных граней додекаэдра на пять равных треугольников, то получим пентадодекаэдр с 60 гранями (рис. 16.15,6). Ом является двойственным по отношению к усеченному икосаэдру.
Действуя в том же направлении, можно подразделить каждый из полученных треугольников на четыре меньших треугольника в полном соответствии с хорошо известными в геодезии куполообразными конструкциями (рис. 16.16). Смягчением некоторых из перечисленных выше требований можно достичь высокого разрешения. На самом деле, лучше использовать двойственные конструкции, так как их грани в подавляющем большинстве являются (неправильными) шестиугольниками с рассредоточенными между ними 12 пятиугольниками (рис. 16.15,6). Этим способом можно обеспечить сколь угодно мелкие разбиения.
Чтобы использовать этот подход, необходимо уметь эффективно определять тот элемент, которому соответствует заданная нормаль к поверхности. В случае разбиений, полученных на основе правильных многогранников, легко вычислить косинусы углов между заданным единичным вектором и векторами, соответствующими центрам ячеек. (Последние соответствуют вершинам двойственного правиль-
ного многогранника.) Затем заданный вектор приписывается той ячейке, центр которой оказывается ближе всего. В случае разбиения, подобного геодезической сети, можно действовать иерархическим методом. В основе такого разбиения лежит некоторый правильный многогранник. Ячейка с ближайшим центром находится описанным выше способом. После этого определяем, в который из треугольников, ее подразделяющих, попадает единичный вектор нормали. Этот процесс продолжается для следующих четырех треугольников, подразделяющих найденный, и т. д. На практике можно использовать методы просмотра таблиц, которые, хотя и не являются точными, зато очень быстры.
Пусть телесный угол, заполненный одной ячейкой на сфере, равняется со (в случае икосаэдра со = 4л/20). Ожидаемое число нормалей, которые попадут внутрь такой ячейки, для выпуклого объекта составляет P^IG^, Г))|.
Ясно, что гистограмму ориентации, т. е. дискретную аппроксимацию расширенного сферического образа, можно вычислить локально. Мы просто подсчитываем количество нормалей, принадлежащих каждой ячейке. В то же время гауссова кривизна выражается через первые и вторые частные производные функции, задающей поверхность. Практически оценки этих производных из-за наличия помех оказываются ненадежными. Поэтому то обстоятельство, что расширенный сферический образ можно вычислить без вычисления производных, является весьма важным. . ; Л
Гауссова кривизна тела вращения
В случае поверхности тела вращения довольно просто определить гауссову кривизну. Тело вращения можно получить путем вращения образующей вокруг оси (рис. 16.17). Пусть образующая задается рас-
<6<6рис. 16.18. Возможность идентификации точек гауссовой сферы значениями долготы £ и широты Ц.
<6
<6
стоянием г (s) от ее точек до оси в виде функции длины дуги s вдоль кривой, а 0 — угол поворота вокруг оси.
Теперь поместим гауссову сферу так, чтобы ее ось совпадала с осью тела вращения. Пусть ^ — долгота, а г] — широта на сфере (рис. 16.18).
Мы можем выбрать величину ^ так, чтобы она совпадала с 0. Это означает, что точка объекта, получаемая поворотом образующей на угол 9, имеет нормаль, которая соответствует точке на гауссовой сфере с долготой ^ = 9. Рассмотрим на гауссовой сфере небольшой участок, лежащий между ^ и ^ + 8^ по долготе и между rj и г) + 8rj по широте. Площадь его равна cos т]8^8т]. Нам необходимо лишь найти площадь соответствующего ему участка объекта. Она составляет r898s, где 8s — приращение длины дуги образующей, соответствующее изменению ориентации поверхности на величину 8т]. Гауссова кривизна равна пределу отношения двух площадей при их стремлении к нулю, т. е.
cosn 8ncosn 8n cos и х
К = пт. г 89 8s onг 6s г ds
Кривизна xG образующей — это просто скорость изменения направления ее касательной с изменением длины дуги, т. е. xG = dT\/ds и, следовательно К = (xG cos т])/г. Это можно записать в иной форме, если учесть, что sin г) = —rs, где rs — частная производная г по s (рис. 16.19). Тогда cos rj ^dr\/ds) = xG cos г] = — rSSs и в результате мы получаем простое выражение К = —rss/r. Например, для сферы радиусом К имеем г = = К cos(s/K) при — (л/2)К < s < + (л/2)К. Следовательно, как и ожидалось, rss = — r/R2 и К — 1/К2.
В некоторых задачах удобнее выражать г не в зависимости от длины дуги вдоль кривой, а от расстояния вдоль оси. Обозначим это расстояние через 2. Тогда tg г| = — rz, и поэтому sec2 г) ^dx\(ds^ = (d/ds) ( — r2) =
Рис. 16.19. Иллюстрация соотношений между бесконечно малыми приращениями длины дуги 5 вдоль образующей, расстоянием г от оси и высотой z над некоторой точкой отсчета.
Эти соотношения позволяют вычислить широту Т| соответствующей точки на гауссовой сфере.
= -r^^dz/ds^ где dz/ds = cos г). Отсюда ^адн№, что ' Хесадд^ = (dv\/ds) cos г] = —rzz cos4 р, и окончательно ; ?
г(1+Г2)2’
поскольку sec2 р — 1 + г2. Для проверки результата, полученного ранее посредством геометрических рассуждений, в упр. 16.2 мы применим эти формулы к тору.
Гауссова кривизна в общем случае
Пусть х = х (м, г), у = у (м, г) и z = z (и, v) — параметрические уравнения заданной поверхности. Пусть г = (х, у, z) - вектор точки этой поверхности. Тогда г„ = дт/ди и гг = ot]^d — две касательные к поверхности. Их векторное произведение п = ги х р будет перпендикулярно к касательной плоскости в рассматриваемой точке. Квадрат длины этого вектора нормали составляет и2 = п • п = (гм ■ rj • (гр • rj - (г„ ■ rj2, поскольку (а х Ь) (с х d) = (a-c)(b-d) — (ad) (be). С помощью полученного выражения можно вычислить единичную нормаль п = п/и.
Гауссова кривизна является пределом отношения площадей участка на гауссовой сфере и соответствующего ему участка на поверхности при стягивании последнего в точку. Рассмотрим бесконечно малый треугольник, образованный тремя точками на поверхности, соответствующими значениям параметров (м, г), (м + 8м, г) и (м, г + Зи). Длины двух сторон этого треугольника составляют | ги 18м и | rv |8г, тогда как синус угла между ними равняется отношению
I Ги X гу I
I Гы I I г, I
Поэтому внешняя нормаль, длина которой равна площади треуголь*
ника, имеет вид (1/2) (гц х гр) 8н8г = (1/2) пЗнЗг. Для определения площади соответствующего треугольного участка на гауссовой сфере необходимо найти единичные нормали в трех выбранных точках. Если отбросить члены более высокого порядка малости, то этими нормалями являются n, п + Пцбп и n + nv8r. (Здесь йц и пр — частные производные п по и и и. Заметьте, что п,, и nt перпендикулярны п.) Площадь интересующего нас участка гауссовой сферы по соображениям, аналогичным тем, которые обосновывали выражение для площади исходного участка заданной поверхности, дается длиной вектора (1/2) (nu х nJ8i/8u. Чтобы вычислить эту площадь, необходимо найти n„ и iiv. Сначала запишем n„ = (5/5м)(п/и) = (ип„ — ппи)/п2. Из и2 = п п получаем ппи = п • п„, так что
Пц =Пц =(n n)n„ - (пл)п (n х nJ х п
Пц =
Пц =
и3и3и3
и3
и3
и аналогично
П,, =П,, =(п п)^ - (n njn(п п)^ - (n njnи3и3(п х nJ х пи3(п х nJ х пи3Т'1 ,T£OQТ'1 ,T£OQ
П,, =
П,, =
(п п)^ - (n njn
(п п)^ - (n njn
и3
и3
(п х nJ х пи3
(п х nJ х пи3
Т'1 ,T£OQ
Т'1 ,T£OQ
поскольку (а х Ь) х с = (а ■ с) b — (Ь ■ с) а. Следовательно, пы х п^ = (н2/н6) х X [(п • n) (nu х nJ + (n • nJ (пу x n) + (n ■ nJ (n X nJ] или ввиду того, что abc] р = (а • р) (Ь х с) + (Ь • р) (с х а) + (с • р) (а х Ь), где, как и ранее, через abc] обозначено смешанное произведение, пы х nt = (1/и4) [п^п^] п.
Эта формула показывает, что участок на гауссовой сфере имеет такую же ориентацию, что и участок поверхности, как оно и должно быть. Внешняя нормаль длиной, равной площади участка, дается выражением (1/2и4) [ni^nj n8i/8r. Отношение двух площадей, т. е. гауссова кривизна, определяется отношением К = [ш^п^/и4 Теперь n = ru х rt., поэтому
= Гыц X г, + Гц X ruv, пу = ГМУ X г, + Гц X г,,.
\
Используя тождество (а х b) х (с х d) = [abd] с — [abc] d или (а х b) х х (с х d) = [acd] b — [bed] а, получаем
n„ X nr = - [r„„r„r„ J rt. + [r„„rvr„„] r„ -
- [ГииГ^и] + [r„r„„r„] r„„ + [r^^r,,,,] r„,
откуда [nn„nj = n (n„ x n„) = [г„г„г„„] [r„r„r„J - [r„rt,ruJ2 и окончательно
[wj [wJ - [w«J2
r„xr„|4
Этот результат можно использовать для более строгого вывода формулы гауссовой кривизны тела вращения.
В стандартных обозначениях первой и второй фундаментальных
форм поверхности используются скалярные произведения £ = ru ru, F = = ru-rv, G = rt.r„ и смешанные произведения
L= [|У-ГД м = EwJ N = [rurt.r„J
Veg - f2 ’ VEG - f 2 ’ VEG - f2 ’
поэтому мы также можем записать К = (LN — M2^EG — F2). Еслй поверхность задана в виде функции z (х, у), то эта формула сводится к известной формуле К = (zxxzyy — z^y)/(l + z2 + z2)2. . .
Приложение расширенного сферического образа ' й
Если мы имеем дело со средой, содержащей объекты известной формы, можно создать прототипы этих объектов в виде гистограмм ориентации. Затем, чтобы отнести неизвестный объект к одному из существующих классов, можно провести сравнение экспериментально полученных гистограмм ориентации с имеющимися прототипами. При этом необходимо найти ориентацию объекта относительно прототипа, хранящегося в памяти, поскольку расширенный сферический образ чувствителен к поворотам. В некоторых приложениях основной задачей является как раз определение ориентации объекта. Эти и другие вопросы обсуждаются в гл. 18.
Комментарии к литературе
Гауссова сфера и стереографическая проекция описаны в книге [57]. В монографии [24] рассматриваются сферическое отображение и гауссова кривизна. Выпуклые многогранники являются предметом работ [49, 73].
Существует много учебников по дифференциальной геометрии, включая [83, 86]. Многогранники встречаются в работах [23, 33, 85, 88]. Работа [65] посвящена различным аспектам построения геодезических сетей. Интерес также представляют две монографии [109, ПОф
Основополагающий результат, состоящий в том, что с точностью до сдвига выпуклый многогранник определяется площадями и ориентациями своих граней, принадлежит Минковскому [344]. Его обобщение на случай гладких поверхностей можно найти у Александрова [121]. Все же наиболее доступный источник сведений по этому вопросу на наш взгляд — второе издание книги Погорелова [86].
Хафман [269] использовал гауссову сферу и гауссову кривизну для изучения проблем, возникающих при фальцовке бумаги. Обобщение сферического образа, позволяющее включить в него информацию о кривизне поверхности, дано Хорном [127, 251]. Итог проделанной работы подведен в недавно вышедшем обзоре [255]. Смит [43] подошел вплотную к созданию алгоритма восстановления выпуклого много-
гранника по заданным площадям и ориентациям его граней. Подобная же попытка удалась автору работы [273], хотя его метод практически неприменим. В работе [313] приведена остроумная итеративная схема, основанная на' понятии смешанного объема, использованном еще Минковским в его первоначальном доказательстве. Смит [431] описал метод отождествления по моментам (он упоминается в гл. 18), который можно использовать, если полностью известен расширенный сферический образ.
Гистограмма ориентации использована Брауном [164] при изучении распределения направлений нейронных процессов. Не так давно нормали к поверхности были непосредственно использованы для определения ориентации объектов [133].
Расширенный сферический образ использовался для сегментации трехмерных объектов [181]. О его применении в задачах распознавания и определения углового положения объектов в пространстве говорится в работах [258, 273, 275]. В работах [162, 163] предложен метод равномерного расположения точек в пространстве поворотов (вопрос, о котором еще пойдет речь в гл. 18). Там же описана попытка обобщения основных методов на случай невыпуклых объектов. В работе [314] показано, что схемы сопоставления расширенных сферических образов, основанные на корреляционных методах, имеют серьезные недостатки; там же разработан новый подход, основанный на утверждении, что объем суммы объекта с самим собой, но имеющим иную ориентацию, всегда больше или равен объему суммы, полученной без изменения ориентации объекта. Этого вопроса мы коснемся в упр. 16.9. Между прочим, смешанные объемы представляют собой препятствия в конфигурационном пространстве и применяются при планировании пространственного движения робота [319].
Выпуклый объект, имеющий тот же расширенный сферический образ, что и тор, представляет собой тело вращения, образующей которого является кривая минимальной энергии. Явное уравнение для такой кривой было найдено Хорном в работе [253].
По аналогии с расширенным сферическим образом замкнутой поверхности можно ввести расширенный круговой образ замкнутой кривой на плоскости, о чем и идет речь в упр. 16.7. Автор работы [357] изобрел устройство для параллельного вычисления некоторого подобия расширенного кругового образа. Расширенный круговой образ и способ сглаживания кривых посредством фильтрации исследовались в работе [261]. В работе [465] введено избыточное сферическое представление, из которого легко получить расширенный круговой образ силуэта объекта.
Часто считают, что восстановление информации о форме объектов сильно упрощается благодаря устройствам определения дальности. Некоторые из проблем при использовании информации о дальности действительно становятся проще, а другие — сложнее. Ориента-
цию поверхности можно оценить с помощью применения к дально- метрической информации конечно-разностных методов. Методы, представленные в этой главе, дают возможность проанализировать полученный результат. Информацию о схемах определения дальности и использовании получаемых с их помощью данных можно найти в работах [193, 286, 287, 369]. О последних исследованиях по интерпретации карт глубины см. работу [144].
Было предложено много других способов представления формы поверхности объекта. В работе [152] разработан геометрический метод, который особенно удобен при рассуждении об объектах в пространстве. Бинфорд [145] предложил использовать в машинном видении понятие обобщенного цилиндра. См. также работы [118, 365], посвященные описанию и распознаванию криволинейных объектов. В работах [330, 367] понятие обобщенного цилиндра было приспособлено для описания частей в иерархической схеме представления пространственной организации трехмерных структур. По этому поводу см. также работу [134].
Фриман придумал цепной код — способ кодирования дискретных плоских кривых [206]. Одна из наиболее ранних схем для описания двумерных форм приведена в работе [150]. В работе [241] предпринята попытка обобщения простой классификации участков двумерных плоских кривых на случай трехмерных поверхностей. Информация о близких к этой теме недавних исследованиях имеется в работе [124].
Упражнения
В упр. 11.9, где рассматривалось восстановление формы по картине распределения теней, были введены линейчатые и развертывающиеся поверхности. Напомним, что линейчатой поверхностью называется поверхность, заметаемая прямой линией (образующей) при ее движении в пространстве. В каждой точке такой поверхности существует касательная, принадлежащая ей. Развертывающиеся поверхности составляют подкласс линейчатых поверхностей. В случае развертывающейся поверхности принадлежащая ей касательная состоит из точек, в которых векторы нормали к поверхности одинаковы. Докажите, что на развертывающейся поверхности гауссова кривизна всюду равна нулю. Указание1, покажите, что участок объекта на гауссовой сфере отображается в линию.
Здесь с помощью метода, развитого применительно к телам вращения, мы найдем расширенный сферический образ тора. Пусть, как и ранее, R — осевой, ар — меридиональный радиусы тора (рис. 16.20). Точка на поверхности задается параметрами 9 и s, где 9 — угол поворота вокруг оси тора, as — длина дуги вдоль поверхности, отмеренная от плоскости симметрии. Тогда г = R + р cos (s/p).
Покажите, что rs = -sin(s/p) и rss = -(1/р)-cos(s/p). Отсюда сделайте заключение, что г
Рис. 16.20. Возможность образования тора вращением окружности вокруг оси, лежащей в той же плоскости, но не пересекающей окружность.
Точки на поверхности задаются длиной дуги .v, отсчитываемой от плоскости симметрии, и углом поворота 0.(
к = VP COS (Ф)Р
R + pcos(s/p) ' v ;
Ориентация поверхности в двух точках тора, у которых угол 9 отличается на 180°, одинакова (рис. 16.21). Нормаль к поверхности в одной из них направлена от оси, в то время как в другой — к оси вращения. Тем самым две точки тора, (0, я) = (^, рр) и (6, 5) = [^ + л, р(л — р)], отображаются в одну и ту же точку (^, р) гауссовой сферы.
Покажите, что кривизна в этих точках имеет противоположные знаки и что
Рис. 16.21. Соответствие каждой точки на гауссовой сфере (за исключением двух полюсов) двум точкам на торе.
Одна из этих точек лежит на внешней поверхности тора, где гауссова кривизна положительна. другая — на внутренней поверхности, где гауссова кривизна отрицательна. Эти поверхности отделяются двумя окружностями (одной снизу и одной сверху), в точках которых гауссова кривизна равна нулю. Все точки на каждой из этих окружностей имеют одинаковую ориентацию и потому соответствуют особенности на расширенном сферическом образе.
13 Заказ 1963
Рис. 16.22. Нормальное сечение поверхности, получаемое в результате пересечения ее с плоскостью, которая содержит нормаль к поверхности.
Существует однопараметрическое семейство таких плоскостей. Кривизна сечения гладко изменяется с изменением ориентации нормальной плоскости. Произведение двух экстремальных значений кривизны равно [ауссовой кривизне.
1 COS Т] ‘
р R — р cos г|
Поверхность тора не является выпуклой, в связи с чем заданной точке сферического образа может соответствовать более чем * одна точка тора. Просуммируйте абсолютные значения обратной кривизны и покажите, что G й, р) = 1/К+ - 1/К_ =2^psecp.
Каков будет результат, если эти величины сложить алгебраически? Какой выпуклой фигуре отвечает полученный таким способом расширенный сферический образ?
г)) Проверьте ваш результат с помощью соотношения К = (x6cosp)/r при условии, что х6 = - 1/р и г = R + р cos р.
Докажите, что площадь поверхности тора равна 4л2рЯ, и выведите отсюда, что расширенный сферический образ всех торов с равной площадью поверхности одинаков.
Здесь мы разберем альтернативное определение гауссовой кривизны. Рассмотрим плоскость, содержащую нормаль к точке, лежащей на гладкой поверхности (рис. 16.22). Поверхность пересекает эту плоскость по кривой, называемой нормальным сечением, кривизну которой мы обозначим хх. Рассмотрим однопараметрическое семейство плоскостей, содержащих нормаль к поверхности. Пусть 9 - уюл между произвольно выбранной плоскостью этого семейства и некоторой фиксированной плоскостью (плоскостью отсчета). Тогда xv — периодическая функция 0. В действительности можно показать, что если 0 отсчитывается от плоскости, которая соответствует максимуму xv, то xv = Xj cos" 6 + х2 sin2 0, где xt — максимальное, а х2 — минимальное значения кривизны. Эти значения х называются главными кривизнами, а соответствующие им плоскости — главными плоскостями. Если главные кривизны различны, то главные плоскости взаимно перпендикулярны.
Покажите, что величина К = х^2 тождественна ранее введенной гауссовой кривизне.
Проверьте правильность этого утверждения на примерах плоскости и сферы. Рассмотрите также развертывающиеся поверхности.
Проверьте приведенные в этой главе результаты вычислений стационарных значений кривизны поверхности эллипсоида с помощью разбиения ее тремя взаимно перпендикулярными плоскостями, а именно: _xv, уз и zx. При этом гауссова кривизна равна произведению кривизн получающихся сечений. Указание: максимальное и минимальное значения кривизны эллипса с полуосями а и b равняются а/Ъ2 и b/а2 соответственно.
Здесь мы приведем иной вывод формулы для гауссовой кривизны тела вращения. Прежде всего необходимо вспомнить теорему Менье. Рассмотрим нормальное сечение в произвольной точке поверхности. Оно получается в результате сечения поверхности одной из плоскостей, содержащих локальную нормаль (рис. 16.23). Пусть кривизна кривой, по которой поверхность пересекает эту плоскость, равна xN.
Представим себе, что секущая плоскость поворачивается на угол р от положения нормали (при этом за ось поворота берется касательная к нормальному сечению). Новая плоскость пересечет поверхность по кривой с большим значением кривизны. Покажите, что эта кривизна равна Ху seep.
Вернемся теперь к поверхности вращения. Нетрудно показать, что в любой точке такой поверхности одна из главных плоскостей обязательно будет содержать ось вращения. Нормальное сечение в этой плоскости есть просто образующая тела вращения. Поэтому одна из
Рис. 16.23. Кривизна сечения поверхности наклонной плоскостью больше кривизны сечения соответствующей нормальной плоскостью.
Их отношение равно секансу угла наклона.
главных кривизн равна кривизне хс в соответствующей точке образующей.
Далее, рассмотрим плоскость, перпендикулярную оси вращения и проходящую через ту же самую точку поверхности. Кривизна в этой плоскости равна 1/г, где г — радиус тела вращения в рассматриваемой точке. Однако эта плоскость не является нормальным сечением. Допустим, что нормаль составляет угол ту с нашей плоскостью. Тогда касательная плоскость составляет угол р с осью вращения.
Постройте секущую плоскость, содержащую нормаль и наклоненную к указанной выше под углом р. Пересечение поверхности с этой плоскостью дает нам второе главное сечение. Докажите, что кривизна кривой, образованной этим нормальным сечением, составляет xN = (1/r) cos р. Указание: воспользуйтесь приведенной в п. а) теоремой Менье.
Выведите теперь формулу для гауссовой кривизны К = (х6 cos р)/г.
Проверьте результат на примере сферы радиуса R. Чтобы представить выведенную формулу в более удобном виде, введем систему координат с осью г, направленной вдоль оси вращения. Образующую зададим как функцию г (z). Обозначим первую и вторую производные г по z через rz и rzz соответственно.
; б) Покажите, что cos р = 1/]/1 + rz. . • е) Покажите, что
кС =кС =ZZ(1 + г2)3/2ZZ(1 + г2)3/2и К = —и К = —* 227(1 + г2Г* 227(1 + г2Г
кС =
кС =
ZZ
(1 + г2)3/2
ZZ
(1 + г2)3/2
и К = —
и К = —
* 22
7(1 + г2Г
* 22
7(1 + г2Г
Чтобы использовать этот результат для построения расширенного сферического образа, мы должны идентифицировать точки поверхности с точками на единичной сфере. Введем полярный угол 6 так, чтобы х = г cos 9 и у = г sin 0.
Рис. 16.24. Направление единичной нормали, которое можно найти из параметрического представления образующей тела вращения.
Покажите, что единичная нормаль к поверхности имеет вид (рис. 16.24)
(cos 6, sin 6, —rzy . .
; .^/1 + r2.ж
а единичная нормаль к гауссовой сфере определяется следующим образом: (cos Е, cos р, sin Е, cost], sin т])т, поэтому в итоге Е, = 9, tg р =
Покажите, что гауссова кривизна эллипсоида, заданного параметрическими уравнениями х = a cos 9 cos ф, у = б sin 0 cos ф, z = с sin ф, описывается формулой
к = Г«ЬсТ(be cos 0 cos ф)2 + (сй sin 0 cos ф)2 + tab sin ф)2
Здесь мы изучим расширенный сферический образ тела вращения специальной формы. Поверхность тела вращения можно рассматривать как образованную вращением кривой относительно оси. Для удобства выберем систему координат так, чтобы ось z совпадала с осью вращения. Измерим расстояние г от оси до поверхности вдоль перпендикулярной к оси прямой. Тогда форма объекта полностью определяется кривой г (z).
Как было показано, гауссова кривизна поверхности определяется выражением
где г. и rzz — первая и вторая производные г по z.
Точки на гауссовой сфере определяются долготой Е, и широтой р. Для удобства совместим ось гауссовой сферы с осью вращения.
Рассмотрим объект, сечения которого плоскостями, проходящими через ось вращения, представляют собой эллипсы. Пусть максимальный радиус г = а, а величина z изменяется в диапазоне от — b до + б. Указание: по мере продвижения вы можете проверять правильность получаемых результатов на особом случае, когда форма объекта — сфера, для которой а = Ь.
Найдите первую rz и вторую rzz производные г по z. Вам может также показаться своевременным на этом этапе определить и 1 + г;.
Покажите, что гауссова кривизна дается формулой
bТ
|_ б2 + (а2 - б2) (z/б)2 ’
Определите как функцию от г и его первых производных по z угол р между нормалью к поверхности и плоскостью, ортогональной
к оси вращения. Покажите, что
-tgp= —==4.
ь lA - W ,. .
Здесь же вы можете посчитать целесообразным найти выражения для sin р и cos р. Указание: воспользуйтесь тождествами 1 + tg2 р = sec2 р и sin2 р + cos2 р = 1.
Какова широта точки гауссовой сферы, соответствующей точке поверхности с нормалью, наклоненной под углом р к плоскости, которая ортогональна оси вращения?
Покажите, что расширенный сферический образ можно записать в виде
Va2 cos2 р + b2 sin2 р У "
Указание; вспомните, что G = 1/К, и докажите равенство
д2^2>
10 с“ + |Ь
Каковы максимальное и минимальное значения G (^, р) и где они расположены? Разберите отдельно случаи а<Ь (регбийный мяч) и а > b (тыква).
Развиваемые в этой главе понятия приложимы к односвязным фигурам на плоскости. Отображение производится не на единичную сферу, а на единичную окружность.
По аналогии с расширенным сферическим образом замкнутого трехмерного объекта определим расширенный круговой образ R (ф) замкнутой фигуры на плоскости. Здесь ф — угол между вектором нормали и произвольно выбранным направлением отсчета, за которое мы примем направление оси х. Дайте геометрическую интерпретацию функции R (ф). Покажите, что центр масс расширенного кругового образа замкнутой фигуры должен находиться в центре единичной окружности.
Покажите, что расширенный круговой образ эллипса с полуосями а и b вдоль осей х и у соответственно имеет вид
(a cos ф)2 + (б sin ф)2
Указание: исходите из параметрических уравнений: х = a cos 9 и у = б sin 6.
Разработайте метод восстановления граничной кривой х (s) и у (s) выпуклой фигуры по ее расширенному круговому образу.
Докажите, что круговая свертка расширенного кругового образа замкнутой фигуры с произвольной положительной функцией, определенной на окружности, приводит к расширенному круговому образу,
соответствующему фигуре, которая также является замкнутой. Убедитесь в том, что граница новой фигуры более гладкая, чем граница исходной. Указание; круговая свертка двух периодических функций R и S определяется следующим образом:
2л; ’
Я'(Ф) = f R (Ф - n)S(n)^p.
Опорная функция p (ф) выпуклой фигуры на плоскости содержит информацию о расстоянии р, измеренном вдоль перпендикуляра к прямой, которая расположена ближе всех к фигуре и не пересекает ее. Расстояние измеряется от произвольно выбранного внутри фигуры начала отсчета и выражается в виде функции от угла ф, задающего ориентацию прямой ^ Если известно параметрическое представление граничной кривой, например, в форме х (s) и у (s), то эту функцию нетрудно найти, а именно р (ф) = max [х (s) cos ф + у (s) sin ф].
Покажите, что для выпуклой фигуры с гладкой границей р (ф) = = х (ф) cos ф 4- у (ф) sin ф.
Определим опорную фигуру как фигуру, граница которой в полярных координатах определяется точками с координатами ф, р (ф). Убедитесь в том, что опорной фигурой прямолинейного отрезка, один из концов которого расположен в начале координат, является окружность с диаметром, равным длине отрезка.
Докажите, что опорная фигура объединения двух фигур Л и В есть объединение соответствующих им опорных фигур.
Покажите, что опорная фигура выпуклого многоугольника состоит из дуг окружностей. Представим себе, что опорная фигура наложена на исходный многоугольник. В каких местах дуги окружностей касаются многоугольника? Как изменяется положение точек касания при смещении начала координат? Указание: точки касания образуют два различных класса. Положение точек из одного класса зависит от выбора начала координат, в то время как положение остальных точек — не зависит.
Обобщите понятие опорной фигуры на трехмерный случай. Убедитесь в том, что опорная фигура выпуклого многогранника составлена из сферических сегментов.
Сумма выпуска фигур X и У обозначается через X © У.
Здесь ф — угол наклона нормали к прямой к оси х. Он связан с углом наклона самой прямой к оси х, использованным в гл. 3, соотношением ф = 6 + (л/2). — Прим. ред.
Расширенный круговой образ суммы есть просто сумма расширенных круговых образов входящих в нее фигур, т. е. ЯЛфУ(ф) = ЯА-(ф) + 7?у (х|/К где ЯА(ф) и R г(ф) — расширенные круговые образы X и У соответственно.
я) Покажите, что опорная функция суммы двух выпуклых фигур равна сумме опорных функций этих фигур: р^фРх(Ф) + Рг(Ф).
Выведите следующую формулу для площади суммы двух выпуклых фигур X и У: Л(Х ф У) = Л(Х) + М^Х, У) + Л(У), где смешанная площадь М (X, У) определяется выражением
2п2п/ ,
M(X,Y)= lpx^)RY№d^ =J pv^Rx^d^.V.
Оо
Проверьте этот результат для случаев, когда X — точка и когда X = У
Пусть А (X) — площадь фигуры X, a Rote (X) — фигура, полученная из исходной ее поворотом на угол 9 против часовой стрелки. Докажите, что площадь суммы фигуры с самой собой, но повернутой на некоторый угол, никогда не меньше площади суммы фигуры с самой собой без поворота, т. е. А [X ф Rote(X)] ^ А (X ф X) для всех 9. На основе этого свойства придумайте метод определения ориентации замкнутой выпуклой фигуры на плоскости.
Обобщите вышеприведенные рассуждения на случай трех измерений. В частности, рассмотрите расширенный сферический образ замкнутых выпуклых объектов и дайте подходящее обобщение понятия опорной функции в трех измерениях. Каков эффективный способ вычисления опорной функции? Как эффективно рассчитать смешанный объем! В чем этот подход может оказаться лучше методов, включающих непосредственное сопоставление расширенных сферических образов? Предупреждение: последняя часть задачи значительно сложнее остальных. Указание: загляните в упражнения к гл. 18.
17. Пассивная навигация.
Определение структуры по движению
В этой главе исследуется проблема пассивной навигации на основе информации об оптическом потоке. Мы хотим определить движение камеры по изображению, меняющемуся во времени, или в дискретном случае по последовательности изображений. Предполагается, что камера движется относительно неподвижной окружающей обстановки. Если имеется более одного независимо движущегося объекта, предположим, что изображение разбито на области, и мы можем сосредоточить внимание на единственном объекте. Интересно отметить, что если движение содержит поступательную составляющую, то мы получим форму поверхности как побочный результат восстановления параметров движения.
Мы обсуждаем три подхода к этой проблеме. Основное внимание уделяется методу наименьших квадратов, в котором учитывается вся информация, содержащаяся в изображении. Полное решение получено для случаев чистого вращения и чисто поступательного движения; для общего случая выводится система нелинейных уравнений, которую необходимо решать итеративно. В упражнениях рассматривается метод решения задачи без вычисления оптического потока как промежуточного этапа.
Восстановление движения и формы поверхности по меняющемуся во времени изображению полезно при управлении движущейся платформой в известной окружающей обстановке. Найденную форму поверхности можно использовать для распознавания с помощью одного из методов, рассмотренных в предыдущих главах.
Восстановление движения наблюдателя
Представим, что мы смотрим фильм. Мы хотим определить движение камеры по последовательности кадров, предполагая, что мгновенная скорость яркостной картинки, называемая также оптическим потоком, известна в каждой точке изображения. Было предложено несколько схем восстановления движения наблюдателя при данном предположении. Все эти подходы можно разделить на три категории — дискретный, дифференциальный и метод наименьших квадратов.
При дискретном подходе для определения параметров движения
камеры используется информация о движении яркостной картины лишь в небольшом числе точек изображения. В частности, используя такой подход, мы пытаемся идентифицировать и отождествить дискретные точки на последовательности изображений. Интересна здесь фотограмметрическая проблема нахождения минимального числа точек, необходимых для вычисления параметров движения при заданном числе кадров изображения. При этом подходе требуется отслеживать характерные особенности или устанавливать соответствие особых точек на изображениях, полученных в разные моменты времени. Можно показать, что в общем случае семи точек достаточно для однозначного восстановления движения. Положения этих точек должны удовлетворять некоторому условию, однако это ограничение не является существенным. Возможно даже, если известно больше точек, выписать систему линейных уравнений для определения неизвестных параметров движения.
При дифференциальном подходе для вычисления движения камеры используются первые и вторые пространственные частные производные оптического потока. Сообщалось, что для однозначного восстановления движения достаточно знать оптический поток и его первые и вторые производные в единственной точке изображения. Оказалось, что это неверно, за исключением специальных случаев. Более того, при дифференцировании усиливается шум в измерениях оптического потока.
В методе наименьших квадратов используется все поле оптического потока. Как дискретный, так и дифференциальный подходы предполагают, что оптические данные не содержат ошибок, и это является их главным недостатком. По этим причинам для определения движения камеры по измеренному оптическому потоку мы выбрали метод наименьших квадратов. Этот алгоритм принимает во внимание расхождения в имеющихся данных и является достаточно устойчивым для численного решения.
Предварительные методические сведения
В этом разделе мы рассмотрим уравнения, описывающие связь между движением камеры и оптическим потоком, порождаемым этим движением. Мы можем предположить, что камера фиксирована в изменяющейся окружающей обстановке или движется в статичной окружающей обстановке. Пусть камера движется в статичной окружающей обстановке. Систему координат свяжем с камерой, так чтобы ось Z совпадала с оптической осью. Любое движение твердого тела раскладывается на две составляющие: мгновенное поступательное движение и мгновенное вращение вокруг оси, проходящей через начало координат. Обозначим поступательную составляющую движения камеры через t, а угловую скорость вращения — через со. Обозначим текущие координаты точки Р окружающего мира через (X, X Z)7. (Заметим,
что здесь Z > О для точек, лежащих перед экраном зрительной системы.)
Пусть г — вектор-столбец (А", Е Z)', где Т— знак транспонирования. Тогда скорость точки Р относительно системы координат XYZ будет иметь вид V = — t — Л х г.
Если мы определим компоненты векторов t и Л в виде t = = (U, V, W)T и ю = (Л, В, Су то сможем переписать это уравнение в координатной форме: X = —U — BZ + СУ, У = — V — СХ + AZ, Z = = —W— АУ+ВХ, где точка означает дифференцирование по времени.
Оптически:»! потоком в каждой точке плоскости изображения является мгновенная скорость яркостной картины в этой точке. Обозначим координаты точки на плоскости изображения через (х, у). Здесь предполагается, что точка объекта Р переводится в соответствующую точку изображения р путем центральной проекции; таким образом, координатами точки р будут значения х = Х/Z и у = УjZ. Оптический поток в точке (х, у), обозначаемый через (и, и), имеет вид и = х и и = у. Дифференцируя уравнения для х и у по времени и используя выражения для производных от X, У, Z, получим следующие уравнения
для оптического потока.х
_ у _- сх+4 -
V-Z z2 \ ZX
Мы можем записать эти уравнения в виде и = и, + и, и v = vt + vr, где (i/t, г,) — поступательная составляющая оптического потока, a (и„ vr) — вращательная, т. е. и, = (—U + xW)/Z и иг = Аху — В (х2 + 1) Су, v, = = (- Vp yW^Z и vr = А (у2 + 1) - Вху — Сх.
Ниже мы будем рассматривать единственную точку Р. Для глобального определения оптического потока будем предполагать, что точка Р лежит на поверхности, определяемой положительной для всех значений X и У функцией Z (А-, У). Таким образом, для любого движения камеры и любой поверхности мы можем определить соответствующий оптический поток, и мы говорим, что поверхность и движение порождают оптический поток.
Таким образом, оптический поток зависит от шести параметров движения камеры и от поверхности, изображение которой анализируется. Можно ли однозначно восстановить все эти неизвестные, если известен лишь оптический поток? Строго говоря, ответ отрицательный. Чтобы показать это, рассмотрим поверхность S2, являющуюся расширением поверхности St в к раз. Предположим далее, что два движения Мг и М2 имеют одинаковые вращательные составляющие, а их поступательные составляющие пропорциональны друг другу с тем же коэффициентом к. (Назовем такие движения Mv и М2 подобными.)
Тогда оптические потоки, порожденные поверхностью S, и движением Л/ь а также поверхностью S2 и движением М2, будут одними и теми же. Это вытекает непосредственно из определения оптического потока, приведенного выше.
Определение движения камеры по оптическому потоку сильна упрощается, если рассматривать чисто поступательное или чисто вращательное движение. Следующие два раздела будут посвящены рассмотрению этих двух частных случаев. Затем мы вернемся к случаю, когда не делается никаких априорных предположений о характере движения.
Поступательное движение
В этом разделе мы рассмотрим случай, когда движение камеры имеет чисто поступательный характер. Как и раньше, пусть t = = (U, V, W)7 — скорость камеры. Тогда выполняются следующие уравнения: и, = (- U + xW)/Z и v, = (- К+ yW)/Z.
Подобные поверхности и подобные движения
Мы хотим показать, что если два чисто поступательных движения порождают один и тот же оптический поток, то две поверхности и два движения камеры подобны. Пусть Zx и Z2 — две поверхности, a t, = (L/b Ух, WX)T и t2 = (H2, V2, И/2)Т определяют два различных движения камеры, так что Zx и ti, а также Z2 и t2 порождают один и тот же оптический поток, т. е. и = = (-Ux + xWx^Zx и v = (— Ух + yW^/Zb u = (-U2 + xW2)/Z2 и ъ = = (- V2 + yW2^Z2.
Исключая из этих уравнений Zb Z2, и и v, получим выражение (— Ux + хИ^)/(— Vx + yW^ = (— U2 + xW2)/( — К2 + yW2). Перепишем его в виде (-Ui +xWx)(-y2 +yW2) = (-U2 +xW2)(-yx + yWx) или Uxy2- -xy2Wx — yUxW2 + xyWxW2 = U2y — xVxW2 - yU2Wx + xyW2Wx.
Поскольку мы предположили, что Z, и tb а также Z2 и t2 порождают один и тот же оптический поток, то это уравнение должно выполняться для всех х и у. Отсюда следует: Ux У2 = U2 Ух, — y2Wx = — VXW2, — UXW2 = — U2WX. Перепишем эти уравнения в виде отношения Ux : Vx : Wx = U2: У2: W2, из которого следует, что Z2 подобно Z,. Ясно, что масштабный множитель между Zx и Z2 (или, что то же, между t, и t2) нельзя определить из оптического потока, сколько бы точек не было известно. Это означает, что движение камеры восстанавливается однозначно с точностью до масштабного множителя.
9
Формулировка метода наименьших квадратов
Вообще говоря, направление оптического потока в двух точках изображения однозначно определяет чисто поступательное движение камеры. Однако неразумно было бы использовать столь малую часть
имеющейся информации. Оптический поток, который мы измеряем, искажен шумом, и хотелось бы разработать помехоустойчивый метод, принимающий это во внимание. Поэтому мы предлагаем использовать метод наименьших квадратов для определения поверхности и параметров движения (точнее, их наилучшего приближения в смысле некоторой нормы).
В дальнейшем будем предполагать, что плоскость изображения ограничена прямоугольником xe[-w, w], а уе[ — h, /1]. Тот же метод применим к изображениям любой другой формы. (Фактически в случае, когда объекты внешнего мира могут перемещаться относительно друг друга, необходимо было бы использовать области изображения, относящиеся к отдельным объектам.) Обычно существует нижняя граница расстояния между объектом и камерой, так что мы можем считать отношение 1/Z ограниченной функцией. Кроме того, большинство сцен состоит из некоторого числа объектов с непрерывными поверхностями, так что глубина непрерывна «почти везде». Предположим, что множество точек, где 1/Z терпит разрыв, имеет меру нуль. (Это означает, что равен нулю интеграл от характеристической функции, которая равна единице в этих точках и нулю во всех других). Это условие гарантирует нам, что можно выполнять интегрирование всегда, когда это понадобится.
Зададимся целью минимизировать выражение ffr/ -и + х^у / -z+y^yi , \Z/ ГZ/ dxdy.
В этом случае мы определяем наименьшее отклонение в смысле нормы МЬг, которое описывается формулой'
ИЖ У) II = П[Ж y)]2dxdy.
Метод наименьших квадратов состоит из следующих шагов: вначале мы определяем величину Z, которая минимизирует подынтегральное выражение в каждой точке (х, у), а затем определяем величины U, V и W, которые минимизируют интеграл.
Удобно определить а = — U + xW и Р = — V + _\ИЛ Заметим теперь, что поток, задаваемый величинами U, У и W, будет просто определяться отношениями й = a/Z и г = Р/Z. Тогда мы можем переписать предыдущий интеграл в виде
Переходим к первому шагу минимизации. Дифференцируя подынтегральное выражение по Z и приравнивая результат нулю, получим
U Z ) Z2 + V z) Z2
Отсюда можно найти Z = (а2 + Р2)/(иа + уР).
Это уравнение, между прочим, накладывает ограничение на U, V и W, так как Z должно быть положительным. Особой пользы для нас в этом нет, хотя и помогает в выборе между двумя возможными противоположными движениями. Теперь имеем।
auP —yapup—ra
U~= T P Xo2И V~ =a2rj2•,
Za2 +P2Za2+p
Предыдущий интеграл можно теперь переписать в виде,;,
f f («Р + га)2
а2 • р2 dxdy'" ”’
Ясно, что однородное масштабирование U, К и W не изменит величины интеграла. Это отражает тот факт, что мы можем определить параметры движения лишь с точностью до постоянного множителя.
Прежде чем перейти ко второму шагу, дадим геометрическую интерпретацию сделанного до сих пор. Предположим, что заданы параметры движения Г, Ии Ж В некоторой точке (х0, Уо) оптический поток зависит не только от параметров движения, но и от величины Zo функции Z в данной точке. Однако направление (и, у) не зависит от Zo. Точка (и, и) должна лежать на прямой L в плоскости и, у, определяемой уравнением up — ya = 0. Пусть результат измерения оптического потока в точке (х0, Уо) будет (и„, гт), а ближайшей к нему точкой на прямой L будет (и^, у0). Это соответствует некоторому Z„. Остаточная ошибка — это расстояние от точки (ит, vm) до прямой L Квадрат этого расстояния входит в рассматриваемый интеграл в качестве подынтегрального выражения.
На втором шаге мы дифференцируем интеграл по U, V и W и приравниваем нулю полученные выражения:
dxdy = О,dxdy = О,Р faP — ya) (ua + up)(ос2 + р2)2
dxdy = О,
dxdy = О,
dxdy = О,dxdy = О,’ afaP — ya) (ua + иР)(ос^+р2)2
dxdy = О,
dxdy = О,
dx dy = 0.dx dy = 0.(a2 + p2)2(a2 + p2)2(ya. - х|3) (up - га) fact + ^
dx dy = 0.
dx dy = 0.
(a2 + p2)2
(a2 + p2)2
Введем сокращение
(up - ta) (ua + вP)(a2 + p2)2тогда уравнения можно переписать в видеПК-^+У^КЗМу^
\-JJ[(-<7 + xtE)K]</x</y = 0,
|JJ [( —уП + хЕ) К] t/xt/y = 0.
Сумма первого интеграла, умноженного на U, второго — на V и третьего — на W, тождественно равна нулю. Таким образом, эти три уравнения связаны линейной зависимостью. Это не является неожиданностью, поскольку если /(/сU, kV, kW)=f(U, V, W), где /—диф- фер|енцируемая функция, а /с — константа, то U(5f/8U)-у У(8//ЗУ) + + ^(cf/SW) = 0. Этот результат согласуется также с тем, что необходимы лишь два уравнения, поскольку скорость поступательного движения можно определить лишь с точностью до постоянного множителя. К сожалению, уравнения нелинейны относительно U, V и W, и мы не можем показать, что они имеют единственное решение (с точностью до масштабного множителя).
Использование других норм..
Однако существует способ такого использования метода наименьших квадратов, чтобы продемонстрировать явное решение для параметров движения. Вместо минимизации рассмотренного выше интеграла попытаемся минимизировать выражение
-u^wVJt _-u^wVJt _-и+у^уZ )-и+у^уZ )(а2(а2+ р2)г/хг/у,+ р2)г/хг/у,
-u^wVJt _
-u^wVJt _
-и+у^уZ )
-и+у^уZ )
(а2
(а2
+ р2)г/хг/у,
+ р2)г/хг/у,
полученное из предыдущего умножением подынтегрального выражения на (ос2 + р2). Затем используем тот же метод, что и раньше. Если измеренный оптический поток не содержит шума, то оба слагаемых подынтегрального выражения превращаются в нуль при подстановке правильных параметров движения. Таким образом, мы получаем то же решение для параметров движения. Если же измеренный оптический поток не идеален, тогда использование другого интеграла для минимизации дает наилучшее приближение не в смысле квадратичной нормы ML2, а в смысле некоторой другой нормы, которую мы назовем ML18, а именно:
ИЖУ)111р=П17'(^у)]2(а2 +Р2)^^у- -
То, что мы здесь получили, — это минимизация, при которой вклад ошибки является взвешенной величиной, причем больший вес приписан точкам, в которых оптический поток больше. Это весьма разумно в тех случаях, когда измерение больших скоростей происходит с большей точностью.
Какая норма даст лучший результат, зависит от свойств шума в измеренном оптическом потоке. Первая норма лучше отражает ситуацию, когда ошибки измерения не зависят от величины оптиче-
400 Глава/! 7 ского потока. Заметим еще, что, если мы хотим на самом деле вычислить минимум в смысле нормы ML2, мы можем использовать результаты минимизации по ML^ в качестве начального приближения численного процесса. ,
Используем теперь наш метод наименьших квадратов для случая, когда в качестве нормы выбрана МЦ$. Сначала мы определяем Z путем дифференцирования подынтегрального выражения по Z и приравнивания результата нулю. Получим ,
откуда следует, что Z = (а2 + р2)/(иа + тф). Теперь мы хотим минимизировать
jj (up — roc)2 dxdy.
Если мы обозначим этот интеграл через g(U,V,W), то, поскольку пр — га = (rU — u V) — (хг — уи) И^ имеем
д (U, Ц W) = aU2 + Z?K2 + cW2 + 2^(7К + TeVW2/WU, где
а = ^и2 dxdy, b = ^u2dxdy, с = ^ (xv — уи)2 dxdy,
d = — ^iwdxdy, е — ^и (xv — yu)dxdy, f = — Jj и (хи — yu)dxdy.
Заметим, что функция g (U, V, W) не может быть отрицательной, а равна нулю при U = V= W= 0. Таким образом, минимум можно найти непосредственно, но это не то, что мы хотели. Действительно, для определения скорости поступательного движения методом наименьших квадратов мы должны решить следующую однородную систему относительно t: Gt = 0, где
Очевидно, что эта система имеет ненулевое решение тогда и только тогда, когда определитель системы G равен нулю. Тогда три уравнения линейно зависимы и t определяется с точностью до постоянного множителя. Однако в общем случае, поскольку данные содержат шум, функцию д (U, Ц И) нельзя сделать равной нулю для ненулевой поступательной скорости, и таким образом, t = (0, 0, 0)т будет единственным решением. Чтобы показать это другим способом, заметим, что функция д имеет вид g(kU, kV, kW) = к2д (U, К W), где /с — константа. Ясно, что g^U, V, W) достигает своего минимума при U = И= ГГ^О.
То, что действительно представляет для нас интерес, — это направление вектора t, минимизирующего д, при заданной длине L Поэтому мы накладываем условие, что вектор t единичный. Если t имеет еди-
нйчную длину, то минимум функции д — это наименьшее собственное значение матрицы G; то значение t, при котором д достигает минимума, можно найти как собственный вектор, соответствующий этому собственному значению. Это следует из того, что д является квадратичной формой, которую можно записать в виде д (U, V, И7) = t^Gt Заметим, что G является положительной полуопределенной эрмитовой матрицей, поскольку а 0, b 0, с 0, ab d2, be > е2 и са f2. (Последние три неравенства следуют из неравенства Коши — Шварца.) Следовательно, все собственные значения X, являются действительными и йеотрицательными; они находятся как корни многочлена третьей степени:
X3 — (я + b + с) X2 4- (ab + be 4- са — d2 — е2 —/2) X 4-
+ (де2 + bf2 + cd2 — abc — 2def) = 0.
Существует явная формула для выражения наименьшего положительного корня через действительные и мнимые части корней квадратичной резольвенты кубического уравнения. В нашем случае это дает искомый наименьший корень, поскольку ни один из корней не может быть отрицательным. Для полноты ниже будут рассмотрены различные вырожденные случаи, хотя они и не представляют большого практического интереса.
Заметим, что X = 0 является собственным значением тогда и только тогда, когда G вырождена, т. е. свободный член полинома равен нулю. Действительно, если детерминант G равен нулю, мы можем найти поступательную скорость t, которая обращает функцию д в нуль. Как следует из теоремы математического анализа, это может случиться, только если оптический поток правильно, без ошибок, определен почти всюду, т. е. когда множество точек, в которых нарушается правильность, имеет меру нуль. Эта теорема утверждает, что если интеграл от квадрата ограниченной непрерывной функции равен нулю, то равна нулю и сама функция. Следовательно, ошибки могут быть только в точках, в которых оптический поток терпит разрыв, и это как раз те точки, где нарушается непрерывность функции Z, определяющей поверхность. (Именно в этих местах существующие методы определения оптического потока дают большие ошибки.)
Невозможно, чтобы точно два собственных значения равнялись нулю, так как это означало бы, что коэффициент при первой степени X в полиноме равен нулю, а при квадрате X2 не равен нулю. Это в свою очередь означало бы, что ab = d2, be = е2 и ей = f\ где а, b и с не все равны нулю. Однако для случая равенства в неравенствах Коши — Шварца необходимо, чтобы и и и были пропорциональны хе — уи. Это может быть верно (для всех х и у на изображении), только если и — v = 0. Но тогда становятся равными нулю все шесть интегралов, и, следовательно, все три собственных значения тоже равны нулю. Этот случай не представляет интереса, поскольку такое может слу-
402 ! ■ •■ - ' ,v‘-' ■ Глава 17 читься только при нулевом оптическом потоке. Скорость при этом тоже нулевая.
Когда известно наименьшее собственное значение, можно непосредственно найти поступательную скорость, наилучшим образом соответствующую исходным данным. Для определения собственного вектора, соответствующего собственному значению Хь мы должны решить следующую однородную линейную систему уравнений: -
(a-XJU-b dV + jW=0, JU + (b-X1)P'+eW=0, -J jU + еИ+ (с - X,) W= 0.
Так как Xj является собственным значением, уравнения линейно зависимы. Временно допустим, что все собственные значения различны, т. е. ранг матрицы (G — XI) равен двум, где I — матрица тождественного преобразования. Тогда мы можем использовать любую пару уравнений и выразить U и V через И< Сделать это можно тремя способами. Для получения симметричного ответа мы сложим все три результата;
U ^-^(c-Xa-ffb-XJ-^c-Xa + eCf+d-e), 4'2
. V= (с - ха (а - ха - d (с - ха - е(п - XJ +f(d + е-/),
W = (а — ха (b — Ха — е(а — XJ — f(b — Ха + d(e +f— d). 6
Заметим, что значение X, должно быть небольшим при хороших данных, и мы могли бы просто аппроксимировать точное решение, используя эти уравнения при Xi = 0. (Тогда, естественно, нет необходимости определять собственные значения.) В любом случае результирующую скорость теперь можно нормализовать, так чтобы ее абсолютная величина была единичной. Остается одна трудность, вытекающая из того факта, что если t является решением минимиза- ционной задачи, то — t также является решением. Однако лишь одно из этих решений будет соответствовать положительному значению Z. Это можно легко проверить, приписав значение Z некоторой точке изображения. Случай, когда имеются два совпадающих наименьших собственных значения, будет обсуждаться ниже.
Полученные результаты имеют простую геометрическую интерпретацию. Рассмотрим поверхность, заданную уравнением g(U, V, W) = к, где к — константа. Заметим, что всегда можно перейти к новой системе координат (С, К, ЙО, в которой g^U, V, И7) записывается в виде Х^2 + ^гЙ2 + Х3Й72 = X, где X, (; = 1, 2, 3) — три собственных значения квадратичной формы. Если все три собственных значения ненулевые, поверхность g(U, V, W) = к является эллипсоидом с тремя ортогональными полуосями длиной ^'к^. Нас особенно интересует случай, когда константа к является наименьшим собственным значением. Тогда все полуоси имеют длину, меньшую или равную единице. Следовательно, эллипсоид лежит внутри единичной сферы. Если два наименьших
Пассивная навигация. Определение структуры по движению 403 собственных значения различны, единичная сфера касается эллипсоида в двух точках, соответствующих наибольшей оси. Если же окажется, что два1 меньших собственных числа совпадают, единичная сфера касается эллипсоида вдоль окружности, в результате чего все скорости, лежащие в плоскости, образованной двумя собственными векторами, дают одинаково небольшую ошибку. И наконец, если все три собственных числа равны, выделенного направления для t не существует, так как эллипсоид превращается в единичную сферу.
Случай, когда точно одно собственное значение равно нулю, также имеет простую геометрическую интерпретацию. Поверхность, определяемая уравнением g(U, И, W) = 0, является прямой линией, что легко увидеть из анализа уравнения ^Н2 + Х2Ё2 = 0, записанного для случая Х3 = 0. (Вспомним, что оба Xt и Л2 положительны.) Очевидно, что эта линия пересекается с единичной сферой точно в двух точках, одна из которых соответствует положительному значению Z.
Описанный метод можно легко использовать. Для этого необходимо перейти к дискретной формулировке задачи. Мы должны выписать выражение, аналогичное рассмотренному, заменив интегралы суммами. Наш метод минимизации затем можно применить к этим суммам. Результирующие уравнения подобны тем, которые были описаны в этом разделе, если интегрирование заменить суммированием. Мы можем использовать отношение наибольшего собственного значения к наименьшему (.характеристическое число) как меру достоверности вычисленной скорости. Вычисленная скорость не чувствительна к ошибкам измерения, если характеристическое число много больше единицы.
Тот же интеграл ошибок получится, если мы используем MLZlll -норму, определенную в виде
II у) llzw = JJLf k y)Z(x, у)]2(п2 + L'^dxdy.
Более того, мы можем получить похожее решение, умножая подынтегральное выражение на Z2 вместо а2 + |32. В этом случае минимизация выполняется по отношению к норме ML7. описываемой формулой
I! j' U, у) || Z = П [/ (X, у) z (х, у)]2 dx dy.
Здесь скорость оптического потока для точек, которые больше удалены, имеет больший вес. Это условие наиболее благоприятно, когда измерение больших скоростей осушествляется с меньшей точностью. Мы приходим к квадратичной форме, аналогичной д, однако здесь интегралы для вычисления констант я, b, с, d. е и / более сложные. Как ни странно, они зависят лишь от направления оптического потока, а не от его величины.
Могут использоваться и другие ограничения. Например, положив (72 + И2 = 1, мы получим вместо кубического уравнения квадратное, а если мы воспользуемся условием W = 1, необходимо решить всего лишь линейное уравнение. Недостатком этих подходов является то, что резуль-
тат зависит от направления осей координат. Очевидно, в случае точных данных мы можем получить правильное решение, используя любое из трех упомянутых ограничений.[
Вращательное движение’
Предположим теперь, что движение камеры чисто вращательное. Чтобы определить движение по оптическому потоку, мы снова используем метод наименьших квадратов с нормой ML2, описанной в предыдущем разделе. Напомним, что в этом случае оптический поток имеет вид иг = Лху — В(х2 + 1) + Су, vr = Л (у2 + 1) — Вху — Сх. Теперь способом, аналогичным уже изложенному, покажем, что два различных вращения, со! = (Ль Вь С^т и со2 = (Л2, В2, С2)т, не могут породить один и тот же оптический поток. Если мы предположим обратное, то следующие уравнения должны выполняться для всех величин х и у:
Арсу - В, (х2 + 1) + Cjy = А2ху - В2(х2 + 1) + С2у, 1? . 11<.г2 + 1) - В^ху — С^х = А^у1 + 1) - В2ху - (-х.
из которых мы можем немедленно вывести, что оу = со2.
В общем случае направление оптического потока в двух точках и его величина в одной точке однозначно определяют чисто вращательное движение. Вместо этого минимизируем следующее выражение:
И [(w “ и^ + (r ~ rr)2] dxdy.
Поскольку движение чисто вращательное, оптический поток не зависит от расстояния до поверхности, и поэтому мы можем пропустить первый шаг нашего метода, используемого для поступательного движения. Таким образом, мы сразу дифференцируем интеграл по Л, В и С и приравниваем результирующее выражение к нулю:
П[О7 “ иг)ху + (г + гг)(у2 + \y\dxdy = О,
№ - ur^x2 + 1) + (г - vr)xy"\dxdy = 0," -" <
jf [(и — пг) у — (г — гг) х] dx dy = 0.
Мы можем переписать эти уравнения в виде-
ПЕпху + г (у2 + V^dxdy = fj[wrxy + иДу2 + Y^dxdy,
JJ [с/ (х2 + 1) + гху] dxdy = ff [wr(x2 + 1) -у ггху] dxdy,■^
^(иу — vx) dxdy = ^(ury — vrx) dxdy
И, раскрывая их, получим аА + dB + (С = к, dA + ЬВ + ёС = I,
/А + ёВ + ёС = т, где
я -Jf Ех2У2 + (У2 + 1)2]^^Т b = JJ[(х2 + I)2 + x^-y^dxdy,
-с = ff(x2 + у2)dxdy,
d = — JJ[xy(x2 + У2 + 2)]Jx dy, ё = — ^ ydxdy, J = — ^xdxdy,к ~ HO**’ + r(^2 + l)]^xJy, / = — Jf[u(x2 + 1) + vxy^dxdy,m = Jj (uy — tx^dxdy.
Обозначив матрицу коэффициентов через М, а вектор правых частей — через и, получим Md) = п. Таким образом, когда матрица М невырожденная, мы можем вычислить вращение как со = М'п. В упражнении 17.9 мы покажем, что матрица М невырожденна в частном случае прямоугольного поля зрения. Однако, если размеры поля зрения уменьшаются, матрица М становится плохо определенной. Это значит, что становятся большими ошибки в интегралах к, I и т, вычисленных по наблюдаемому потоку. Смысл этого в том, что мы не можем надеяться точно определить компоненту вращения относительно оптической оси, когда наблюдение ограничено малым конусом направлений вокруг оптической оси.
Как и выше, для перехода к численному алгоритму необходимо заменить интегралы суммами.
Общий случай
Теперь нам хотелось бы использовать метод наименьших квадратов для определения движения камеры по оптическому потоку без априорных предположений о характере движения. Ясно, что метод наименьших квадратов легче всего использовать при наличии линейных результирующих уравнений для всех параметров движения. К сожалению, не существует такой нормы, которая позволила бы нам достичь этого. Однако существует норма, приводящая к уравнениям, линейным для некоторых значений неизвестных и квадратичным для остальных. Снова приступим к проблеме минимизации, используя норму ML^ при ограничении U2 + V2 + W2 = 1. Полученные отсюда уравнения являются полиномами относительно U, К, IV, А, В и С, и их можно разрешить стандартными методами, например методом Ньютона или интерполяционной схемой на основе правила ложного положения (regula falsi). Выражение, которое мы хотим минимизировать, имеет вид
Первый шаг заключается в дифференцировании подынтегрального выражения по Z и приравнивании результата нулю, что даетПервый шаг заключается в дифференцировании подынтегрального выражения по Z и приравнивании результата нулю, что дает)пх dy.)пх dy.
Первый шаг заключается в дифференцировании подынтегрального выражения по Z и приравнивании результата нулю, что дает
Первый шаг заключается в дифференцировании подынтегрального выражения по Z и приравнивании результата нулю, что дает
)пх dy.
)пх dy.
z _+ Р2;'
(и - ur)^ + (г - г)Р ',
Мьг вводим множитель Лагранжа л и пытаемся минимизировать выражение
JJ [(w — wr) P — (r — rr)a]2 dxdy 4- X^lP -У V1 -У W2 — 1).
Уравнения, которые мы должны решить для определения параметров движения, получены дифференцированием:'
JJ [(и - t/JP - (Т - Гг) ос] [-хуР 4- (у2 4- 1) ос] dxdy = 0, I
JJ [(п — 1/г)Р — (t; — t>)ot] [(-X2 + 1)Р — xyot]t/x^y = О,I
JJ[(w - иг) р - (г - сг) з] (уР 4- xa)dxdy = 0,i.
[J [(и — ur) р — (t? — pr)a] (г — vr)dxdy 4- XU = О,
JJ[(u “ ur) Р ” (r “ yr)a] (w ~ u^dxdy — XV = 0,j
ff [(w “ P ~ (r “ yr)a] [(w ” иг)У + 0‘ “ гг)Л] dx dy 4- XW = 0,
I/2 4- К2 + И/2 = 1.
Заметим, что три первых уравнения линейны относительно А, В и С, так что эти три параметра можно однозначно определить через U, V и W. Используя это, мы можем определить U, V и W из четырех последних уравнений с привлечением численного метода. Это непосредственно подводит нас к итеративной схеме, и теперь мы можем перейти к дискретной постановке задачи и записать аналогичные уравнения, в которых интегрирование будет заменено суммированием соответствующих выражений.
Мы хотели развить метод определения движения камеры по оптическому потоку, пригодный для данных измерения, содержащих шум. Метод наименьших квадратов, предложенный в этой главе, достигает этой цели и пригоден для численного решения. В упражнении 17.11 показана возможность определения движения непосредственно по яркостной картине без вычисления оптического потока.
Комментарии к литературе
Определение и интерпретация видимого движения рассматриваются в книгах [59, 104]. Под редакцией Хуанга вышел сборник работ, представленных на конференцию NATO [60].
В последние годы в этой области наблюдался быстрый прогресс. Предположение о твердом теле вводит полезное ограничение, упрощающее анализ. Большинство цитируемых работ используют это предположение, хотя имеется несколько работ, допускающих сцены, состоящие более чем из одного тела. Как мы уже обсуждали, частные случаи чистого вращения и чисто поступательного движения являются самыми простыми для анализа [169, 284].
Некоторое число опубликованных работ основано на том подходе, который мы здесь называем дискретным. При таком подходе важно установить минимальное число точек, дающих единственное решение. Многое из этого известно в фотограмметрии, рассмотренной в гл. 13.
В работе [176] делается попытка восстановить движение по производным оптического потока. В работе [361] показано, что изменение в распределении полутонов, вызванное движением, не может служить серьезной основой для восстановления информации о движении. В работах [385, 386] обсуждаются проблемы пассивной навигации и восстановления структуры по движению. Эти ранние результаты были улучшены в статье [387]. В работах [191, 352] рассматривается восстановление формы и движения движущихся объектов и исследуются методы их представления. Еще одной из ранних работ по вопросу восстановления движения и глубины по оптическому потоку является работа [283]. В работе [132] была предпринята попытка определить движение твердого тела по оптическому потоку. В работе [470] анализ распространяется на случай нескольких объектов.
В работе [458] начат плодотворный анализ оптического потока в случае движения плоскости. Работа [235], по-видимому, первая, где упомянута неоднозначность, описанная позже в [458]. В работе [468] также рассматривалась двузначность для случая плоских поверхностей. Более короткие доказательства основных результатов можно найти в работах [337, 358].
Подход, использующий метод наименьших квадратов, рассмотренный в данной главе, был развит в работе [169]. Дискретный подход описан в работах [200, 288, 442]. В работах [456, 457] показывается, что для криволинейных поверхностей движение можно однозначно восстановить, и рассматривается случай, когда требуются три последовательных кадра. В работе [469] более подробно рассматривается плоский случай.
К другим важным работам относятся работы [117, 242, 299, 317, 360, 455, 486].
В работе [358] найден способ прямого определения движения наблюдателя из градиентов яркости без промежуточного вычисления оптического потока или отождествления дискретных особенностей. С помощью упрощенной записи было найдено более короткое доказательство того результата, что существуют две плоские поверхности, дающие одно и то же мгновенное поле скоростей. л V
Упражнения
17.1. Здесь мы расширяем некоторые результаты, полученные в гл. 12, в которой мы рассматривали оптический поток, используя уравнения, выведенные для поступательной и вращательной компонент.
Покажите, что лапласиан оптического потока равен нулю, когда камера, наведенная на плоскую поверхность, перемещается параллельно плоскости изображения. Наблюдаемая плоскость не параллельна плоскости изображения.
Покажите, что лапласиан оптического потока равен нулю, когда
камера движется поступательно по отношению к плоскости, ортогональной оптической оси. Движение не обязательно параллельно плоскости изображения.
Покажите, что лапласиан оптического потока не равен нулю, когда камера вращается вокруг оси, не совпадающей с оптической осью. 17.2. В случае чисто поступательного движения оптический поток состоит из векторов переменной длины, которые (если их продолжить) проходят через одну точку. Эта точка, в которой оптический поток равен нулю, называется точкой схода движения; это — изображение луча, вдоль которого движется камера. Как координаты этой точки соотносятся с параметрами U, V и И7? Покажите, что в случае чисто поступательного движения движение можно определить (с точностью до масштабного множителя) путем рассмотрения направления оптического потока в двух точках изображения. Объясните, почему это может оказаться не лучшим способом использования информации об оптическом потоке.
В случае чистого вращения оптический поток состоит из векторов, длина которых не зависит от расстояния до объекта. Величина и направление векторов определяются осью вращения и угловой скоростью. Определим центр вращения как точку, в которой оптический поток равен нулю, что является до некоторой степени аналогичным «точке схода движения» в предыдущей задаче. Покажите, что в случае чистого вращения движение можно определить по известному оптическому потоку в двух точках. Затем покажите, что в одной из этих точек нам достаточно знать лишь направление потока. Объясните, почему это может оказаться не лучшим способом использования информации об оптическом потоке.
Другой подход к пассивной навигации опирается на идентификацию и отслеживание «особенностей». Используя методы, развитые нами при рассмотрении стереофотограмметрии, определите наименьшее число точек объекта, которые полностью определяют его движение, если они идентифицированы на двух кадрах, разделенных малым промежутком времени. Примечание: эта задача не тривиальна.
Покажите, что если /(/сг) = /(г), то V/(r)-r = 0, где оператор V означает взятие градиента, т. е. вектора, компоненты которого являются производными f по х, у и z.
Предположим, что g(t) = tTGt Покажите, что экстремумы функции g(t) соответствуют собственным векторам матрицы G, если t — единичный вектор. Указание: введите множители Лагранжа, как показано в приложении.
Возьмем случай чисто поступательного движения. Покажите, что минимизация по норме MLZuy приводит к тем же самым уравнениям, что и минимизация по норме ML^. Объясните, почему это так. 17.8. Рассмотрим случай чисто поступательного движения. Пусть мы
выполнили минимизацию по норме MLZ, определенной следующим образом:
II .Ж у) Ilz = п 1Ж У)^(х, yjpdxdy.
Здесь скорости оптического потока для более удаленных точек берутся с большим весом. Покажите, что в этом случае результат зависит лишь от направления оптического потока в каждой точке, а не от его величины.
Покажите, что если изображением является прямоугольник шириной 2 И7 и высотой 2Н, то
а = 4И/Н
Ь = 4ГУН
где а, 6, с, d, ё и / — интегралы, определенные выше для чистого вращения. Покажите, что матрица М невырожденна, и найдите обратную ей матрицу.
При некоторых специальных условиях задача пассивной навигации может иметь более одного решения. Здесь мы исследуем случай, когда наблюдается плоская поверхность.
Предположим, что наблюдаемая поверхность — плоскость и что Z = Zo + рХ + qY, где X, У, Z — координаты точки поверхности. Покажите, что Zo/Z = 1 — рх — qy, где х и у — координаты изображения.
Покажите, что поле скоростей в этом случае задается следующими квадратичными уравнениями от х и у:
и = ut + иг =и = ut + иг =V = г, + ty =V = г, + ty =(— U + хИ^)(1 — рх — qy) + Аху — В(х2 + 1) + Су,
и = ut + иг =
и = ut + иг =
V = г, + ty =
V = г, + ty =
(- V + у иэ (1 - рх - qy) + А (у2 + 1) - Вху - Сх.
Упростите эти уравнения, используя замену U\ = C/Zo, V\ = VjZ^ w\ = wfz0.
Теперь представим себе, что имеются две плоские поверхности, которые наблюдаются с двумя разными наборами параметров движения, но дают один и тот же оптический поток. Пусть параметры двух поверхностей и их движений помечены различными нижними индексами. Приравнивая коэффициенты при степенях х и у в уравнениях их — и2 и t^ = г2, получим следующие восемь условий:
V\ - Г2 = Ах - Л2, W\qx " И^/2 = Ах - А2
‘- U\ - U2 = В2 - Вь W\px — W'2p2 = В2 — Въ
U\qx — U2q2 = С2 ~ Сь V'iPi — V2p2 — Ci — С2,
U\pY - U2p2 = W2 - W\, V\qx - V2q2 = W2 - W\.
Найдите две плоские поверхности и соответствующее им движение, порождающее один и тот же оптический поток.
До сих пор мы предполагали двуступенчатый процесс пассивной навигации: вычисление оптического потока и определение формы и движения по оптическому потоку.
Этот подход, интуитивно очевидный, обнаруживает по мере разработки ряд недостатков. Метод наименьших квадратов, развиваемый в данной главе для нахождения параметров движения, учитывает оптический поток во всех точках изображения с равным весом, хотя мы знаем, что в одних местах он важнее, чем в других. Мы можем попытаться учесть это, вводя в метод наименьших квадратов, например, вес, меньший для областей с низким уровнем градиента. Возможно, более разумно попытаться восстановить форму и движение непосредственно из изменяющегося во времени изображения, т. е. минуя этап получения оптического потока. Из уравнения оптического потока мы получим член, характеризующий ошибку
ес — JJ (Ехи + Eyv + Е,) dx dy,
который зависит от поверхности Z(x, у), а также от параметров движения (U, V, И7)7 и (Л, В, С)7 (поскольку миг зависят от них). Конечно, этого ограничения недостаточно, чтобы локально определить все параметры. Нам необходимо ввести некоторую меру отклонения от гладкости, например:
es = ff[V2(l/Z)]2dx^.
я) Выведите уравнения Эйлера для функции d^x, у) = 1/Z(x, у), которая минимизирует es + Хес. Указание: помните, что глобальная «ошибка» зависит также от шести параметров движения твердого тела.
Найдите разумное обоснование выбора члена, характеризующего меру гладкости. Например, почему он содержит не величину Z, а 1/Z и почему использует квадрат Лапласиана, а не сумму квадратов первых производных?
Пусть R = (X, У, Z)7 — радиус-вектор точки объекта, а г = = (х, yJY~ радиус-вектор соответствующей точки изображения. Кроме того, пусть Ет = (Ех, Еу, О)7 — пространственный градиент яркости, а Et — производная яркости по времени.
Покажите, что в случае движения твердого тела уравнение оптического потока, связывающее пространственную и временную производные, можно переписать в виде
где s = (Ег х z) х г. Примечание: используйте уравнение проекции r=R/(R z), чтобы показать, что производные по времени от г и R связаны соотношением
Г, =X (R, х г)].
Затем используйте уравнение движения твердого тела Rt = —ox R — t и предположение о постоянстве яркости, т. е. Errt + Е( = 0.
Найдите вид уравнения оптического потока в частном случае плоской поверхности, R • n + 1 = 0.
В случае общего вида поверхности решите уравнение оптического потока относительно глубины Z (х, у) = R • z.
При заданных параметрах движения t и со можно вычислить поверхность Z(x, у), удовлетворяющую уравнению оптического потока. Найденные значения глубины могут оказаться неположительными, если параметры не соответствуют движению, порождающему изображение. Поэтому задача заключается в том, чтобы найти параметры, которые дают на изображении положительное значение глубины. На практике из-за зашумленности яркостной картины следует ожидать, что в некоторых точках вычисленная глубина может оказаться отрицательной даже при правильных параметрах движения. Мы еще вернемся к этому при обсуждении проблемы оптимизации.
Найдите множество параметров t и со, минимизирующих интеграл
jfsgn(s• t)sgn(E( — (s x r)-co]dxdy.
где'
Г +i, z>o,
'sgn(Z) = <0, Z = 0,
I -1, Z<0.
Указание: это тема исследовательской работы, йтвет Пока автору неизвестен.
18. Выбор деталей из контейнера
г
и
В этой главе мы объединим некоторые из рассмотренных ранее методов, чтобы попытаться построить завершенную систему глаз — рука. Мы будем управлять роботом (рукой) так, чтобы он выбирал объекты из некоторой совокупности объектов, используя информацию, полученную с помощью камеры (глаза). Такая замкнутая циклическая система представляет собой интересную модель для проверки алгоритмов машинного зрения. Будем считать, что если система успешно взаимодействует со средой, используя визуальную информацию, то та часть системы, которая относится к машинному видению, работает правильно. Это существенно более исчерпывающий тест, чем представление результата на экране дисплея в графической форме. Интерпретатор-человек может поддаться соблазну считать, что система справляется с поставленной задачей просто потому, что его собственный глаз и мозг обладают замечательной способностью интегрировать изображаемую на дисплее информацию.
Другой причиной рассмотрения проблем, аналогичных проблеме выбора из совокупности объектов, является то, что их решение представляет практический интерес. Одним из оставшихся препятствий массового распространения промышленных роботов является их неспособность работать с деталями, которые не точно позиционированы. В случае ручной сборки компоненты сборки часто подаются в контейнерах, но работающие автоматизированные системы требуют самостоятельных подающих механизмов, которые доставляли бы детали в точно определенном и тщательно контролируемом положении. Здесь мы покажем, какие методы предоставляет машинное видение для автоматического управления механическим манипулятором с целью последовательного выбора объектов из груды объектов.
Всегда интересно рассматривать теоретические результаты с практической точки зрения. При этом много сил приходится затрачивать на такие моменты, которые с первого взгляда не кажутся существенными. Например, приходится учитывать то. что проекции изображений не являются ортогональными, источники света не удалены в бесконечность и датчик не обладает равномерной чувствительностью. Усилия по реализации никогда не пропадают бесследно, и мы здесь также получим некоторые уроки при более точном их описании.
Выбор деталей из контейнера.413
Общий обзор метода
Положение подлежащего выбору объекта определяется с помощью гистограммы ориентации частей видимой поверхности. Ориентация поверхности в свою' очередь определяется с помощью стереофото- метрического метода, применяемого к серии изображений. Эти изображения получаются с помощью одной и той же камеры, но при разном освещении. Получаемая в результате игольчатая диаграмма описывает ориентации частей поверхности, соответствующих элементам на изображении (рис. 18.1).
Затем игольчатая диаграмма проектируется на мозаичную единичную сферу для формирования гистограммы ориентации, которая является дискретной аппроксимацией расширенного гауссового образа (рис. 18.2). Ее можно сопоставить с синтетической гистограммой
\ \\ \\ \\\ \\\ \ \ \\ \ \ \/// // ///IIII//????ssI / / /I / / // / / / / // / / / / // / // / // // /I \ \ ^ \ I ^ S I I I / / . S К К \ I \ \ М / ч%$%\\ЧХ\Х V \ I I 1.».\\\ЧХ'.\\\I...***хXXXЧ\\.,.--*ххххXXXXXX\Ч, ,V X X \ \I \ \ ^ \ I ^ S I I I / / . S К К \ I \ \ М / ч%$%\\ЧХ\Х V \ I I 1.».\\\ЧХ'.\\\I...***хXXXЧ\\.,.--*ххххXXXXXX\Ч, ,V X X \ \SS//SSSS/ // /11//. . 777. \ W \ i ill///И I I I । / 1 > / / I I I । । । 1 1 > > 1 i < / IIII////////ZX. . 777. \ W \ i ill///И I I I । / 1 > / / I I I । । । 1 1 > > 1 i < / IIII////////ZX/ /I I \ \ \ \ I I / / // /I I \ \ \ \ I I / / /////..../ / / /. . .I / / / /. .I / / / /. .I /////.I /////./ / / / / / / / i M / // / / / / / / / / / / Л / / ^////..../ / / /. . .I / / / /. .I / / / /. .I /////.I /////./ / / / / / / / i M / // / / / / / / / / / / Л / / ^/ // // / / // / / // / / ^ I/ / / ^ IS'.S'.XXXXXXV \ \ \ \ \ \ \ \S'.S'.XXXXXXV \ \ \ \ \ \ \ \
\ \
\ \
\ \
\
\ \
\
\ \ \ \
\ \ \ \
/
/
/ /
/ /
/
/
I
I
I
I
/
/
?
?
?
?
s
s
I / / /
I / / /
/ / / / / /
/ / / / / /
/ / /
/ / /
/ /
/ /
I \ \ ^ \ I ^ S I I I / / . S К К \ I \ \ М / ч%$%\\ЧХ\Х V \ I I 1.».\\\ЧХ'.\\\I
...***хXXXЧ\\
.,.--*ххххXXXX
XX\Ч
, ,V X X \ \
I \ \ ^ \ I ^ S I I I / / . S К К \ I \ \ М / ч%$%\\ЧХ\Х V \ I I 1.».\\\ЧХ'.\\\I
...***хXXXЧ\\
.,.--*ххххXXXX
XX\Ч
, ,V X X \ \
S
S
/
/
S
S
S
S
/ /
/ /
1
1
/
/
. . 777. \ W \ i ill///
И I I I । / 1 > / / I I I । । । 1 1 > > 1 i < / IIII////////ZX
. . 777. \ W \ i ill///
И I I I । / 1 > / / I I I । । । 1 1 > > 1 i < / IIII////////ZX
/ /
I I \ \ \ \ I I / / /
/ /
I I \ \ \ \ I I / / /
/
///....
/ / / /. . .
I / / / /. .
I / / / /. .
I /////.
I /////.
/ / / / / / / / i M / // / / / / / / / / / / Л / / ^
/
///....
/ / / /. . .
I / / / /. .
I / / / /. .
I /////.
I /////.
/ / / / / / / / i M / // / / / / / / / / / / Л / / ^
/ /
/ /
/ / / /
/ / / /
/ / / ^ I
/ / / ^ I
S'.S'.XXXXXXV \ \ \ \ \ \ \ \
S'.S'.XXXXXXV \ \ \ \ \ \ \ \
Phc. 18.1. Информация об ориентации поверхности, полученная стереофо- тометрическим или каким-либо другим методом.
Ее можно визуализировать в форме игольчатой диаграммы. Представленная здесь игольчатая диаграмма наклоненного тора получена с помощью стереофотометрического метода. (Рисунок любезно предоставлен Катсуши Икеучи.)
Рис. 18.2. Гистограмма ориентации, представленная в виде набора шипов.
Их длина пропорциональна значениям счетчиков в каждом элементе выбранною мозаичного разбиения сферы. Представленная здесь гистограмма ориентации получена на основе игольчатой диаграммы тора. Относительно длинные векторы внизу и вверху соответствуют тому направлению оси тора, вдоль которого наблюдаются особенности расширенного гауссова образа.
ориентации, полученной по прототипу модели объекта. Такие модели можно взять из базы данных системы автоматизированного проектирования (САПР). Таким образом, рассматриваемый метод требует описания формы объекта, но ограничений на тип объектов не накладывает.
Мотивировка
Механические манипуляторы все чаще используются для погрузки, сварки, окраски, шлифовки и спайки. В такой области, как сборка, достаточно широкого применения они не получили. Одной из причин здесь является то, что манипуляторы, как правило, лишь повторяют последовательность операций, которой их научили заранее. Слепому роботу очень трудно работать в обстановке, когда положение деталей не определено точно. Необходимы подающие механизмы и фиксирующие приспособления, позиционирующие детали точно в таком месте и положении, в каком промышленный робот ожидает их найти.
Описываемая здесь система будет определять положение и ориентацию детали в совокупности деталей, используя несколько изображений, полученных с помощью электронной камеры. Результаты можно будет использовать для управления механическим манипулятором, выбирающим деталь. Система использует имеющиеся модели объектов и может идентифицировать одну из нескольких видимых деталей. Этот метод не ограничивается лишь цилиндрическими деталями или даже телами вращения. Могут использоваться протяженные источники освещения в совершенно произвольном положении, а объекты не обязаны обладать особыми отражательными свойствами. Адаптацию по этим двум параметрам система обеспечивает с помощью калибровочного шага, во время которого она работает с объектом известной формы. Еще один калибровочный процесс используется для определения преобразования между системами координат манипулятора и камеры.
Контейнер деталей
Обычно при ручной сборке необходимые компоненты находятся в контейнерах вокруг рабочего места. При автоматизации операции сборки кажется естественным использовать методы машинного видения для обеспечения механического манипулятора информацией, необходимой ему для того, чтобы войти в контейнер и выбрать деталь. Свое применение в промышленности находят методы обработки бинарных изображений. Однако, как мы видели ранее, такие методы требуют:
наличия резкого контраста между фоном и объектом;
отделения деталей друз от друга;
ограничения поворота плоскостью, параллельной плоскости изображения.
В случаях, представляющих определенный интерес, три эти условия нарушаются. Одно из очевидных решений заключается в том, чтобы в самом начале не смешивать детали, а хранить их в строго ориентированном положении сразу же с момента их изготовления. Теперь во многих случаях так и поступают, частично из-за несовершенства современных методов автоматизации. Детали могут подаваться на но-
сителях или крепиться на конвейерных палетах, так что их можно механически позиционировать, не прибегая к очувствлению.
Это решение связано с определенными затратами. Носители и палеты необходимо разработать и изготовить часто с небольшими допусками. Палеты, как правило, тяжелы, занимают много места, а при модификации детали и сами могут потребовать переделки. Часто приходится изменять конструкцию самой детали, если предполагается использовать ее в режиме автоматической подачи. В любом случае имеется большое число вариантов, когда ограниченный объем рабочего пространства не позволяет отойти от традиционных ручных методов.
Предпринимались многочисленные попытки решить эту проблему с помощью механики. Во многих случаях можно поместить детали в вибрационную камеру с тщательно продуманными селекторами, обеспечивающими появление деталей на подающем устройстве в ориентированном положении. Этот метод хорош при работе с винтами и объектами цилиндрической формы. Однако он не позволяет иметь дело со всеми деталями, в частности с большими или тяжелыми деталями, а также с деталями сложной формы. Оснащение рук роботов электромагнитами и вакуумными присосками обеспечило ограниченный успех.
Использование машинного видения в этой области до сих пор ограничивалось работой с цилиндрическими кусками шлифованного металла. Шлифовка обеспечивает бороздчатую поверхность со своеобразным отражением света. Если объект такого типа освещается точечным источником, то вдоль проекции оси цилиндра на плоскость изображения появится яркая полоса. Для завершения процесса переориентации детали после ее выбора можно использовать наклонный механический желоб. Впрочем, большой практической необходимости в системе такого типа нет, так как цилиндрические детали хорошо ориентируются с помощью вибрационных камер.
Сегментация
В описываемой здесь конкретной системе используется метод стереофотометрии для получения информации о форме поверхности объектов в поле зрения (рис. 18.3). Вычисленные таким образом игольчатые диаграммы, представляющие ориентацию поверхности, затем сопоставляются с запомненными ранее прототипами объектов.
Прежде чем использовать разработанные ранее методы для обработки гауссовых образов, мы должны отделить область изображения, соответствующую одному объекту. Одной из наиболее трудных проблем машинного видения, как мы установили, является сегментация изображения на области, соответствующие различным объектам. Только после этого можно воспользоваться методами распознавания объекта и определения его положения. Для обеспечения надежной сегментации
Рис. 18.3. Стереофотометриче- ский метод, использующий три изображения.
Рис. 18.4. Пустое большинство входов в таблице просмотров, основанной на трех измерениях яркостей.Оно соответствует комбинациям яркости, которые не могут возникнуть, если считать, что поверхность имеет везде одинаковую отражательную способность. Здесь мы видим слои таблицы просмотра, показанные слой за слоем. Каждый вход в таблицу показан в виде либо маленькой иголки, определяющей ориентацию поверхности, записанной для конкретной комбинации яркостей, либо как точка, определяющая «некорректную» комбинацию яркостей.Рис. 18.4. Пустое большинство входов в таблице просмотров, основанной на трех измерениях яркостей.Оно соответствует комбинациям яркости, которые не могут возникнуть, если считать, что поверхность имеет везде одинаковую отражательную способность. Здесь мы видим слои таблицы просмотра, показанные слой за слоем. Каждый вход в таблицу показан в виде либо маленькой иголки, определяющей ориентацию поверхности, записанной для конкретной комбинации яркостей, либо как точка, определяющая «некорректную» комбинацию яркостей.Они получаются одной и той же камерой при различных условиях освещенности. Квантованные измерения яркости в соответствующих элементах трех изображений используются в качестве индекса в трехмерной просмотровой таблице. Элементы изображения, являющиеся в таблице пустыми, помечаются как фоновые. Они особенно важны при сегментации изображения на области, соответствующие отдельным объектам.
Рис. 18.4. Пустое большинство входов в таблице просмотров, основанной на трех измерениях яркостей.
Оно соответствует комбинациям яркости, которые не могут возникнуть, если считать, что поверхность имеет везде одинаковую отражательную способность. Здесь мы видим слои таблицы просмотра, показанные слой за слоем. Каждый вход в таблицу показан в виде либо маленькой иголки, определяющей ориентацию поверхности, записанной для конкретной комбинации яркостей, либо как точка, определяющая «некорректную» комбинацию яркостей.
Рис. 18.4. Пустое большинство входов в таблице просмотров, основанной на трех измерениях яркостей.
Оно соответствует комбинациям яркости, которые не могут возникнуть, если считать, что поверхность имеет везде одинаковую отражательную способность. Здесь мы видим слои таблицы просмотра, показанные слой за слоем. Каждый вход в таблицу показан в виде либо маленькой иголки, определяющей ориентацию поверхности, записанной для конкретной комбинации яркостей, либо как точка, определяющая «некорректную» комбинацию яркостей.
можно объединить несколько методов. Прежде всего с помощью стерео- фотометрической системы некоторые точки маркируются как особые. Большинство входов в таблицу просмотра в действительности оказываются пустыми (рис. 18.4). Пустые входы определяют «незаконную» комбинацию яркостей, которая не может возникнуть в отсутствие затенения или отсветов от соседних объектов. Так как ориентация поверхности обладает двумя степенями свободы, корректные комбинации яркостей лежат на двумерной поверхности в трехмерном пространстве, определяемом тремя параметрами яркости. На практике эта поверхность расширяется до некоторого слоя конечной толщины в дискретной таблице просмотра благодаря шуму измерений, квантованию и небольшим вариациям отражательной способности поверхности.
Объекты отбрасывают тени друг на друга, в результате чего некоторые точки затененного объекта имеют яркость, отличающуюся от той, которую бы они имели при отсутствии затенения. Надо уметь определять эту ситуацию, чтобы избежать неточной оценки ориентации поверхности. Грубо определить затенение можно при использовании порогов для каждого из трех параметров яркости. Заметим, между прочим, что объекты, лежащие сверху навала, т. е. наиболее интересные для нас, как правило, не затенены.
Другой проблемой являются рефлексы, т. е. отсветы от соседних объектов. Когда объекты с высоким альбедо находятся вблизи друг друга, свет, отраженный от одного объекта, может значительно увеличить освещенность другого. И здесь мы тоже имеем дело с комбинациями яркостей, которые не возникали бы при освещении объекта только одним источником. Надо уметь также определять и взаимную освещенность, чтобы избегать неправильной оценки ориентации поверхности. К счастью, точки, в которых возникает эта проблема, в основном появляются вблизи ребер объектов и тех границ, где объекты перекрывают друг друга.
Далее заметим, что обычно возникает разрыв непрерывности в ориентации поверхности в тех местах, где один объект перекрывает другой. Рассмотрим те места, в которых ориентация поверхности меняется быстро. Этот метод хорошо работает в том случае, когда объекты гладкие, однако может вызвать ложную сегментацию для объектов с острыми ребрами. И наконец, рассмотрим те места, в которых нормаль к поверхности составляет почти прямой угол с направлением наблюдения. Это возникает, как правило, вблизи краев, где один объект закрывает другой. К сожалению, у объектов с острыми ребрами могут быть ограничивающие ребра, для которых направление наблюдения не касается поверхности. Однако в этом случае разрыв непрерывности в ориентации поверхности мог бы помочь маркировать ребро.
Рассмотренные выше случаи сегментации можно использовать для разделения объектов. На этой фазе в качестве частей объекта можно
а ба бРис. 18.5. Информация на игольчатой диаграмме, используемая для помощи в сегментации изображения на области, которые соответствуют отдельным поверхностям.а — игольчатая диаграмма контейнера с тороидальными объектами, на основе которой строится бинарное изображение: ^ — бинарное изображение, используемое для сегментации. Обе части рисунка показаны с грубым разрешением, поэтому июлки на диаграмме достаточно велики, чтобы их было видно.Рис. 18.5. Информация на игольчатой диаграмме, используемая для помощи в сегментации изображения на области, которые соответствуют отдельным поверхностям.а — игольчатая диаграмма контейнера с тороидальными объектами, на основе которой строится бинарное изображение: ^ — бинарное изображение, используемое для сегментации. Обе части рисунка показаны с грубым разрешением, поэтому июлки на диаграмме достаточно велики, чтобы их было видно.
а б
а б
Рис. 18.5. Информация на игольчатой диаграмме, используемая для помощи в сегментации изображения на области, которые соответствуют отдельным поверхностям.
а — игольчатая диаграмма контейнера с тороидальными объектами, на основе которой строится бинарное изображение: ^ — бинарное изображение, используемое для сегментации. Обе части рисунка показаны с грубым разрешением, поэтому июлки на диаграмме достаточно велики, чтобы их было видно.
Рис. 18.5. Информация на игольчатой диаграмме, используемая для помощи в сегментации изображения на области, которые соответствуют отдельным поверхностям.
а — игольчатая диаграмма контейнера с тороидальными объектами, на основе которой строится бинарное изображение: ^ — бинарное изображение, используемое для сегментации. Обе части рисунка показаны с грубым разрешением, поэтому июлки на диаграмме достаточно велики, чтобы их было видно.
рассматривать только те участки изображения, нормали которых лежат в пределах 45° к направлению наблюдения. В связи с таким жестким ограничением площадь участков, относимых к объекту, может значительно сократиться. Это можно исправить в дальнейшем применением операции распространения, заимствованной из методов обработки двоичных изображений. В некоторых случаях из-за такою подхода область изображения, соответствующая объекту, который сильно наклонен в направлении наблюдения, может быть разорвана. В описываемом здесь применении это не является серьезной проблемой, поскольку сильно наклоненные объекты в любом случае трудно брать. Лучше сосредоточиться на других объектах.
На рис. 18.5, а представлена игольчатая диаграмма сцены, состоящей из навала тороидальных объектов, а на рис. 18.5, б — двоичное изображение, используемое для сегментации. Двоичное изображение получено из игольчатой диаграммы описанным выше методом.
Модели — прототипы объектов
Для распознавания неизвестного объекта и определения его ориентации в пространстве мы сравниваем данные, полученные по изображению объекта, с данными, полученными при запоминании модели. Метод, рассмотренный в гл. 16, хорошо работает при определении гистограммы ориентации объекта, заданного в виде прототипа. Его поверхность можно описать набором уравнений для х, у и z в виде двух параметров и и г. Отрезок значений и можно разделить на и интервалов шириной За, а отрезок значений г-на т интервалов шириной бг. В результате поверхность разбивается на небольшие
участки. Затем, систематически переходя от участка к участку, вычисляются нормали к их поверхности. Добавка, пропорциональная площади, складывается с той ячейкой сферы, для которой направление единичной нормали совпадает с направлением нормали добавки. Заметим, что гауссов образ прототипа известен на всей сфере в отличие от аналогичного образа, полученного по информации изображения.
Кажущееся сокращение поверхности
Прототипический расширенный гауссов образ, находящийся в запоминающем устройстве, необходимо сравнить с аналогичным образом, полученным по игольчатой карте. Все элементы изображения имеют одинаковую площадь, однако площади соответствующих участков поверхности объекта не одинаковы. Это может показаться удивительным, поскольку мы одинаково разбиваем изображение на элементы. Однако участок поверхности будет казаться меньше, кроме тех случаев, когда мы смотрим в направлении, перпендикулярном к поверхности (рис. 18.6). Влияние этого эффекта можно скорректировать, разделив видимую площадь на косинус угла между направлением наблюдения и нормалью к поверхности после того, как последнее станет известно. Использование коррекции такого рода приводит к нежелательному эффекту усиления ошибок, связанных с измерениями тех участков поверхности, нормаль к
Рис. 18.6. Площадь участка поверхности, которая кажется меньше соответствующей фактической площади.
Исключение составляет случай, когда направление наблюдения параллельно нормали к поверхности участка. Если просто увеличивать на единицу счетчик элемента гистограммы всякий раз. когда найдется элемент изображения, для которого поверхность имеет приемлемую ориентацию, то получатся преуменьшенные значения для элементов, соответствующих участкам поверхности, наклоненным к наблюдателю. Однако это можно легко учесть, поскольку известна ориентация каждого элемента мозаики.
которым составляет почти прямой угол с направлением наблюдения. Поэтому в момент сопоставления лучше умножить прототипический расширенный гауссов образ на косинус угла.
Заметим, что мы можем вычислить фактическую площадь, только когда известны свойства камеры и расстояние до объекта. Стереофото- метрический метод не дает нам информации о расстоянии. В этом случае мы не можем определить абсолютный размер объекта. Расширенный гауссов образ можно нормализовать делением на его интеграл по сфере, и этот результат можно использовать при сопоставлении. Естественно, поступая таким образом, мы теряем возможность различать объекты одинаковой формы, но разных размеров.
Еще одна трудность работы с расширенным гауссовым образом, полученным на основе первоначального изображения, состоит в том, что мы получаем информацию только о видимой полусфере. Поверхность, нормаль к которой составляет более 90° с направлением наблюдения, не видна. Фактически из-за ограниченности стереофотометрического метода мы обычно располагаем информацией только о частях поверхности, нормали к которым составляют до 60° с направлением наблюдения. Многие известные методы сопоставления расширенных гауссовых образов работают только тогда, когда известна вся сфера.
Вычисление моментов
Нетрудно вычислить матрицу инерции распределения масс на сфере. Нам необходимы лишь моменты первого и второго порядков. Затем можно найти поворот, который превращает матрицу в диагональную. Оси координат после поворота называются главными осями. Угол пово-
Рис. 18.7. Момент инерции распределения масс, зависящий от оси, относительно которой этот момент измеряется.Существуют три стационарных значения момента инерции (максимум, минимум и седловая точка). Оси. соответствующие этим экстремумам, называются главнылш осями и лежат под прямыми углами друг к дру|у. Два распределения масс, повернутых относительно друг друга, можно согласовать выставкой их главных осей.Рис. 18.7. Момент инерции распределения масс, зависящий от оси, относительно которой этот момент измеряется.Существуют три стационарных значения момента инерции (максимум, минимум и седловая точка). Оси. соответствующие этим экстремумам, называются главнылш осями и лежат под прямыми углами друг к дру|у. Два распределения масс, повернутых относительно друг друга, можно согласовать выставкой их главных осей.Седлован точкаСедлован точка
Рис. 18.7. Момент инерции распределения масс, зависящий от оси, относительно которой этот момент измеряется.
Существуют три стационарных значения момента инерции (максимум, минимум и седловая точка). Оси. соответствующие этим экстремумам, называются главнылш осями и лежат под прямыми углами друг к дру|у. Два распределения масс, повернутых относительно друг друга, можно согласовать выставкой их главных осей.
Рис. 18.7. Момент инерции распределения масс, зависящий от оси, относительно которой этот момент измеряется.
Существуют три стационарных значения момента инерции (максимум, минимум и седловая точка). Оси. соответствующие этим экстремумам, называются главнылш осями и лежат под прямыми углами друг к дру|у. Два распределения масс, повернутых относительно друг друга, можно согласовать выставкой их главных осей.
Седлован точка
Седлован точка
рота между двумя расширенными гауссовыми образами одного объекта можно найти, вычислив угол поворота между главными осями (рис. 18.7), Это дает нам точный алгоритм непосредственного вычисления положения объекта относительно его прототипа. Этот метод не работает только в тех случаях, когда объект слишком симметричен и не имеет единственных главных осей. Предлагаемый алгоритм заключается лишь в вычислении собственных векторов матрицы размером 3x3, что в свою очередь требует решения кубического уравнения.
Здесь мы не можем использовать столь изящный метод, поскольку экспериментальная гистограмма ориентации известна лишь для части сферы. Более того, при сопоставлении необходимо учитывать эффект кажущегося сокращения поверхности. Однако мы не должны полностью отказываться от методов, основанных на вычислении моментов.
Например, мы знаем, что центр масс полного расширенного гаус- сового образа всегда находится в начале координат. Следовательно, при сопоставлении от этого мало пользы, Однако центр масс видимой полусферы находится в точке, зависящей от разворота объекта. Рассмотрим плоскость, которая делит сферу на видимую и невидимую полусферы. Ясно, что центр масс видимой полусферы находится несколько выше этой плоскости. В упражнении 18.2 будет показано, что эта высота над плоскостью, умноженная на массу, находящуюся в центре масс, равна кажущейся площади, видимой наблюдателю. В то же время масса в центре масс равняется фактической площади видимой поверхности. Таким образом, высота над плоскостью пропорциональна отношению площадей фактической и видимой поверхностей. Обычно ее величина изменяется с изменением направления наблюдения. Кроме того, боковое смещение центра масс зависит от разворота объекта в пространстве.
Поскольку центр масс видимой полусферы неоднозначно определяет разворот объекта, его можно использовать для сокращения объема дальнейших вычислений. Чтобы ускорить процесс сопоставления, можно предварительно вычислить ожидаемый центр масс по заданным прототипическому расширенному гауссову образу и набору направлений наблюдения, для которых делается попытка сопоставления. Для удобства в качестве дискретного набора направлений наблюдения, для которых выполняется это вычисление, можно выбрать направления к элементам гауссовой сферы. Любое направление наблюдения, для которого центр масс не находится хотя бы в приблизительно правильной позиции, не нужно подвергать более детальному исследованию.
Невыпуклые объекты
При работе с невыпуклыми объектами возникают следующие три проблемы:
для некоторых точек поверхности гауссова кривизна отрицательна;
данной точке на гауссовой сфере соответствует более одной точки объекта;
одна часть объекта может закрывать другие.
Точное определение гауссовой кривизны принимает во внимание направление, по которому обходится граница соответствующего участка гауссовой сферы. В окрестности выпуклой точки i ауссова кривизна положительна и границы обходятся в одинаковом направлении. Если направления их обходов противоположны, как это бывает в случае седловидной точки, гауссова кривизна считается отрицательной. Анализ простого локального процесса вычисления дискретной аппроксимации расширенного гауссового образа показывает, что мы можем расширить наше определение, добавив в него изменение знака абсолютной величины гауссовой кривизны.
Рассмотрение локального процесса вычисления дискретной аппроксимации расширенного гауссового образа показывает, как быть с тем фактом, что данной точке гауссовой сферы может соответствовать более одной точки на поверхности объекта. В соответствующих точках объекта мы просто складываем обратные абсолютные значения гауссовой кривизны. Если имеется п таких точек, то
л
I = 1
Дальнейшее развитие этой идеи позволяет рассмотреть те случаи, в которых все точки вдоль кривой или даже в области имеют одинаковую ориентацию, В таких случаях на гауссовой сфере мы получим импульсные функции.
Для невыпуклых объектов отображение объекта на гауссову сферу необходимо. Единственное важное для нас следствие состоит в том, что конкретный расширенный гауссов образ может соответствовать бесконечному числу невыпуклых объектов. Однако будем считать, что в типичных случаях применения мы не встретим двух различных объектов с одинаковыми гауссовыми образами.
Перекрытие, т. е. загораживание частью объекта других частей, является более трудной задачей, и во многих случаях с этим ничего не поделаешь, за исключением некоторых4 направлений наблюдения, для которых перекрытие незаметно. Одним из решений, учитывающих перекрытие, является построение для каждого возможного направления наблюдения своего расширенного гауссова образа, в который вносится вклад только тех участков поверхности, которые действительно видимы. Для удобства в качестве дискретного набора направлений наблюдения, для которых выполняются вычисления, можно выбрать направления к элементам гауссовой сферы. Это потребует значительного увеличения памяти, однако на процесс сопоставления больше не будет влиять эффект перекрытия.
Ориентация в пространстве
Такая ориентация объекта определяется его поворотом в некоторой системе координат. Для определения ориентации объекта сопоставляется расширенный гауссов образ объекта с прототипическим расширенным гауссовым образом. Легче всего показать, как это делается, на примере тел вращения.
Тело вращения нормируется при вращении порождающей кривой вокруг оси. Ясно, что полученный объект будет симметричным относительно этой оси. Затем при заданном направлении оси полностью определяется ориентация объекта, хотя мы не можем узнать поворот тела относительно самой оси. Ось можно задать в виде единичного вектора или точки на сфере, что дает нам лишь две степени свободы. Ее также можно задать утлом, образованным с плоскостью изображения (наклоном), и углом между проекцией изображения и некоторой фиксированной осью (азимутом).
Изображение тела вращения симметрично относительно проекции его оси. Следовательно, можно просто найти ось наименьшей инерции области изображения, соответствующей проекции объекта. Так можно зафиксировать одну степень свободы с помощью небольшого объема вычислений. Однако здесь мы должны прибегнуть к методам обработки бинарной информации, точность которых зависит от того, насколько хорошо был найден силуэт объекта. Лучше работать с информацией об ориентации объекта.
Можно попытаться разбить пространство возможных ориентаций оси на элементы и попытаться сопоставить расширенный гауссов образ с каждым элементом. Для эффективности желательно разбить это пространство равномерно. Более точное разбиение одной области по сравнению с другой неэффективно, и этого необходимо избегать. Это приводит нас к задаче «равномерного» размещения п точек на поверхности полусферы. Мы ищем такое размещение, которое максимизирует минимальное расстояние между точками.
Эта проблема привлекла некоторое внимание. Известно, например, что лучшее размещение для и — 4, 6 и 20 получается при проектировании на сферу правильных тетраэдра, октаэдра и икосаэдра (рис. 18.8,tz). Два других правильных многогранника (куб и додекаэдр) не приводят к оптимальному размещению. (Мы уже встречались с правильными многогранниками в гл. 16, когда обсуждали расширенный гауссов образ. Впрочем, там они использовались для других целей.)
Оказывается, что при и = 32 комбинация додекаэдра и его двойника (икосаэдра) работает хорошо (рис. 18.8,6). К сожалению, не существует общего правила для оптимального варианта. Эта задача связана с задачей поиска «хорошего» мозаичного разбиения сферы для гистограммы
Рис. 18.8.а — полное 1ью равномерное разбиение сферы 20 точками, полученное при проектировании вершин икосаэдра на сферу; б — комбинация икосаэдра и двойственною ему додекаэдра, хорошо работающая в случае 32 точек (оптимальное размещение для большею числа точек неизвестно); в, г — вершины, двойственные iеодезическим куполам (дуали), работают достаточно хорошо.Рис. 18.8.а — полное 1ью равномерное разбиение сферы 20 точками, полученное при проектировании вершин икосаэдра на сферу; б — комбинация икосаэдра и двойственною ему додекаэдра, хорошо работающая в случае 32 точек (оптимальное размещение для большею числа точек неизвестно); в, г — вершины, двойственные iеодезическим куполам (дуали), работают достаточно хорошо.
Рис. 18.8.
а — полное 1ью равномерное разбиение сферы 20 точками, полученное при проектировании вершин икосаэдра на сферу; б — комбинация икосаэдра и двойственною ему додекаэдра, хорошо работающая в случае 32 точек (оптимальное размещение для большею числа точек неизвестно); в, г — вершины, двойственные iеодезическим куполам (дуали), работают достаточно хорошо.
Рис. 18.8.
а — полное 1ью равномерное разбиение сферы 20 точками, полученное при проектировании вершин икосаэдра на сферу; б — комбинация икосаэдра и двойственною ему додекаэдра, хорошо работающая в случае 32 точек (оптимальное размещение для большею числа точек неизвестно); в, г — вершины, двойственные iеодезическим куполам (дуали), работают достаточно хорошо.
ориентаций. Там мы пришли к геодезическим «куполам» и двойственным им вершинам (дуалям). Здесь мы обнаруживаем, что разумного размещения можно достичь выбором центров треугольников в геодезических куполах или (что эквивалентно) с вершинами в их дуалях (рис. 18.8, в, г).
Нет необходимости выполнять детальное сопоставление для каждой из этих ориентаций оси объекта. В дальнейшем необходимо исследовать только те ориентации, для которых центр масс сопоставился достаточно хорошо. Это означает, что в действительности надо будет выполнить очень немного полных сопоставлений расширенных гауссовых образов. Ориентация оси, дающая лучшее сопоставление, считается истинной ориентацией оси тела вращения. ■
Другой подход заключается в определении оси минимальной инерции распределения масс на видимой полусфере расширенного гауссова образа. Проекция этой оси на плоскость изображения 1 дает нам ось симметрии изображения объекта. Это позволяет нам зафиксировать одну степень свободы (азимут) при помощи небольшого объема вычислений. Остается лишь найти наклон оси тела вращения. Таким образом, пространство поиска уменьшается с двух степеней свободы до одной. Заметим, что ось наименьшей инерции на самом деле легко вычисляется по игольчатой карте до того, как нормали проектируются на единичную сферу. Получить требуемые суммы для вычисления первых и вторых моментов не составляет труда. У этого метода то преимущество, что мозаичное разбиение сферы можно выравнять в соответствии с осью минимальной инерции до того, как нормали поверхности будут спроектированы на гауссову сферу. , .
Представление вращений
Как можно представлять вращения? Имеется примерно восемь обычно используемых способов. Они включают в себя ортогональные матрицы размером 3 х 3, а также углы Эйлера. Однако необходимо найти возможность равномерного разбиения пространства возможных вращений. Чтобы сделать это, необходимо договориться, как понимать «расстояние» между двумя ориентациями. Это означает, что пространство вращений необходимо описывать так, чтобы на нем можно было определить метрику. Оказывается, что такую метрику можно определить, если представить вращения посредством единичных кватернионов.
Кватернионы
Кватернионы являются элементами векторного пространства, снабженного операцией умножения. Кватернион можно представить в виде вектора с четырьмя компонентами или сложного комплексного числа с одной действительной и тремя различными типами мнимых частей. Еще один способ — это представить кватернион в виде суммы скалярной и векторной частей q = q + q. Кватернионы можно умножать следующим образом. Если f = pq, то скалярная и векторная части г определяются в виде r — pq-p-q и г = pq + qp + р х q. Умножение ассоциативно, но не коммутативно, что можно легко проверить. Для кватернионов можно определить скалярное произведение p-q = pty + pq. Норма кватерниона задается в виде |q|=q-q = q2 + q-q. Норма единич- него кватерниона равна единице, т. е. q-q~- 1. Сопряженное значение
Точнее, проекция плоскости, проходящей через центр проекции и параллельной этой оси.— Прим. ред.
4* кватерниона q получается при изменении знака векторной части: 4* = q - q
Вращения в трехмерном пространстве можно удобно представлять единичными кватернионами. Единичный кватернион, соответствующий повороту на 9 вокруг единичного вектора со, задается выражением q = sin (0/2) + со cos (9/2). Заметим, что кватернион — q определяет тот же самый поворот, что и кватернион q, так как поворот на —9 вокруг оси —со — это то же самое, что и поворот на 9 вокруг оси со. С другой стороны, сопряженное значение q* единичного кватерниона q соответствует повороту на тот же угол, но вокруг противоположной оси. Таким образом, сопряженное значение единичного кватерниона является обратным значением единичного кватерниона. В результате для единичного кватерниона имеем q*q = qq* = 1.
Единичные кватернионы соответствуют точкам на единичной сфере в четырехмерном пространстве. Две противоположные точки на этой сфере соответствуют одному конкретному повороту. Точно так же лучи, проходящие через начало в четырехмерном пространстве, можно рассматривать как соответствующие поворотам в трехмерном пространстве.
Поворот, определяемый с помощью кватерниона q, преобразует вектор х в вектор х' согласно формуле (0 + х') = q (0 + х) q*. Композиция поворотов соответствует умножению кватернионов:
(0 + х") = рхр* = р [q (0 + х) q*] р* = (pq) (0 + х) (pq)*.
Представление с помощью единичного кватерниона может часто упрощать задачи, в которых возникает вопрос об ориентации объекта в пространстве. Например, некоторые фотограмметрические задачи из гл. 13 можно решить в удобной форме, если использовать эти обозначения.
Равномерное разбиение пространства вращений V _
Такая задача становится задачей единообразного размещения точек на единичной сфере в четырехмерном пространстве. Подобное разбиение мы используем потому, что мы хотели бы иметь как можно большее минимальное расстояние между точками отсчета.
Сопоставление гистограмм ориентации методом «грубой силы» может оказаться дорогостоящим в тех случаях, когда потребуется вычислять ориентацию объектов с высокой точностью. Это происходит потому, что пространство вращений является трехмерным, а исследуемое число отсчетов возрастает обратно пропорционально кубу расстояний между ними. Поэтому более привлекательными кажутся методы постепенного уточнения для поиска в пространстве вращений, однако трудно ожидать, что они будут очень хорошо работать. Оказывается, что значение корреляции заметно возрастает только в тех случаях, когда мы весьма близки к правильному сопоставлению, а
поведение функции корреляции очень нестабильно из-за различных эффектов квантования. В упражнении 18.8 исследуется новый метод, который не страдает от наличия этих проблем.
Сопоставление гистограмм ориентации
Две гистограммы ориентации можно сопоставлять по-разному, например, мерой различия может служить сумма квадратов разностей значений в соответствующих точках. Лучшим сопоставлением данной гистограммы ориентации с аналогичной из набора гистограмм ориентации прототипов будем считать такое сопоставление, при котором сумма квадратов разностей наименьшая. Иными словами, в качестве меры подобия можно использовать сумму произведений соответствующих значений гистограмм. В этом случае наилучшим будет такое сопоставление, которое обеспечивает наибольшую корреляцию. Преимущество первого метода заключается в том, что плохие сопоставления можно отвергать, не доводя их вычисление до конца, когда накопленная сумма квадратов разностей становится большой. Легко представить более сложные, но также более присущие данному случаю функции сопоставления.
Недостатки такого подхода лучше всего продемонстрировать на примере многогранника. Предположим, что у одной из граней нормаль направлена так, что она случайно попадает на ребро между двумя элементами мозаики сферы. Тогда даже незначительное изменение положения объекта может переместить весь вклад этой конкретной грани из одного элемента в соседний. Расширенный гауссов образ изменится довольно сильно, и сопоставления не пройдет. Для гладких криволинейных поверхностей эта проблема не стоит так остро, однако игнорировать ее все же нельзя.
Один из путей решений этой задачи заключается в выполнении проектирования несколько раз для каждой ориентации с небольшими различиями в группировке элементов. Это необходимо сделать как для прототипических, так и для экспериментальных данных. Общий объем работы необходимо умножить на число используемых сдвинутых мозаик.
Наличие шума при оценке ориентации поверхности приводит к сглаживанию распределения на сфере, поскольку нормали к некоторым поверхностям оказываются смещенными к элементам, соседним с теми, куда они должны быть направлены. Необходимо также принимать во внимание размер элементов мозаики. Чем они крупнее, тем меньше нормалей к поверхности будет помещено в ошибочные элементы. Значение в каждой точке гистограммы будет очень большим, и с большой вероятностью это приведет к более точной оценке среднего значения обратной величины гауссовой кривизны. Вместе с тем выбор крупных элементов приводит к определению положения с малой точностью. И наоборот, если элементы очень малы, то многие из них
будут иметь значение, равное нулю или единице. Такие зашумленные распределения трудно сопоставлять. Эта задача полностью аналогична задаче выбора «правильного» размера «ящика» для оценки распределения двумерной вероятности по конечному числу случайных образцов.
До сих пор еще не найдено красивого решения этой задачи. Однако, опираясь на сглаживающий эффект шума, можно рассмотреть сознательное сглаживание гистограммы ориентации перед сопоставлением. Точно так же можно сопоставить данный элемент с взвешенным средним соответствующего элемента и его соседей. Можно также распределить вклад каждого участка поверхности между несколькими элементами в соответствии с тем, насколько близко их нормали к нормали рассматриваемого участка поверхности.
Сколько возможных ориентаций оси объекта необходимо проверить? Во-первых, надо учесть, что нормали к поверхности в точности неизвестны. Нельзя ожидать, что ориентация оси будет найдена точнее, чем можно найти нормали к поверхности. Во-вторых, можно принять во внимание размеры элементов мозаики сферы. Ориентацию необходимо проверять в том случае, если она достаточно близка к правильной в том смысле, что большинство элементов реального гауссова образа и прототипа соответствуют друг другу. Это означает, что придется проверять около сотни возможных ориентаций или более. Напомним, что расширенный гауссов образ нужно сопоставлять лишь с несколькими из этих ориентаций. Остальные необходимо отбросить в связи с большим расхождением положения центра масс.
В любом случае оказывается, что на практике направление оси объекта можно определить с точностью до 5—10е. Этого достаточно, чтобы манипулятор мог схватить объект. Если требуется большая точность, впоследствии можно использовать метод механического выравнивания.
Перепроектирование игольчатых диаграмм
Для сравнения экспериментальной и синтетической гистограмм ориентации, полученных на основе игольчатой диаграммы и модели объекта соответственно, можно выравнять обе гистограммы так, чтобы их ячейки геометрически совпадали. Когда экспериментальная гистограмма ориентации поворачивается, ее ячейки в общем случае перестают геометрически согласовываться с ячейками синтетической диаграммы ориентации. Это означает, что мы должны повернуть нормали в одной из диаграмм ориентации до того, как мы будем проектировать их на мозаичную сферу при стандартной ориентации. Возможно, что перепроектирование нормалей наиболее удобно выполнить для синтетических данных, поскольку это можно сделать заранее, а результаты запомнить. Можно значительно уменьшить объем работы, если выбрать мозаику, которая будет обладать тем свойством, что ее
ячейки будут самосогласованы (выравнены) хотя бы для некоторых поворотов. Мозаика с таким свойством упрощает сопоставление, так как некоторые повороты гистограммы ориентации ведут лишь к перестановке в отсчете соответствующих ячеек. Вот почему нас интересует выбор мозаик с таким свойством.
Грани регулярных твердых тел будут выравнены для поворотов, принадлежащих соответствующей данному твердому телу конечной подгруппе непрерывной группы поворотов. Эти подгруппы имеют размеры 12, 24 и 60 для тетраэдра, октаэдра и икосаэдра соответственно. Мозаики, основанные на икосаэдре и двойственном к нему многограннике, таком, как футбольный мяч или пентакододекаэдр, имеют ту же самую группу поворота. В случае футбольного мяча можно легко составить список поворотов, рассмотрев три типа осей поворота, когда имеются:
пятикратная симметрия относительно любой оси, проходящей через центр одной из пятигранных ячеек [это дает (12/2) х 2 = 20 поворота] ;
трехкратная симметрия относительно любой оси, проходящей через одну из шестигранных ячеек [это дает (20/2) х 2 = 20 поворотов] ;
наконец, двукратная симметрия относительно центра любого ребра между шестигранными ячейками [это дает другие (30/2) — = 15 поворотов].
Если мы добавим тождественный (нулевой) поворот, то получим в итоге 60 различных поворотов. Конечной подгруппы, заполняющей пространство поворотов и имеющей большее число элементов, не существует. Чтобы работать с более чем 60 поворотами, необходима пере- проекция.
Коррекции отклонения от идеала 5
Некоторые из неявных предположений в приведенном выше анализе на практике обычно нарушаются. Например, предполагается, что яркость поверхности зависит лишь от ее ориентации, а не от ее положения. Это верно в том случае, когда источники света бесконечно удалены. В действительности, источники света располагаются достаточно близко к поверхности, на которой расположены объекты, и, следовательно, вступает в силу закон обратного квадрата. Мы можем учесть это, нормализуя значения яркости. Сначала рассматриваем изображения одинаковой белой поверхности, на которую по очереди направлены три источника. Обычно вполне достаточно линейной аппроксимации результирующего распределения яркости. Все изображения затем корректируются с учетом неодинаковой освещенности при помощи линейной функции от координат х и у на изображении.
Есть другая, более трудная проблема. Поскольку источники света расположены достаточно близко, направление падающих лучей неоди-
каково для всех точек. Это означает, что вычисленные нормали к поверхности не будут верны. Ошибка, обусловленная этим эффектом, обычно меньше и труднее поддается коррекции по сравнению с ошибкой, обусловленной неодинаковым освещением, поэтому мы не будем ее учитывать явно.
Нет совершенных воспринимающих изображения устройств, однако камеры, основанные на приборах с зарядовой связью (ПЗС-камеры), обладают очень хорошей геометрической точностью и линейной чувствительностью на изменения яркости. Однако не все чувствительные элементы одинаково чувствительны к свету. Некоторые из них из-за дефектов кремния слабее других. Это можно учесть, если взять изображение точечного источника на оптической оси камеры с удаленной линзой (что обеспечивает одинаковую освещенность плоскости изображения), а результат использовать для коррекции будущих измерений яркости.
Можно поступить иначе: нормализовать три измерения яркости каждою элемента изображения, поделив каждое из них на их сумму. Это позволяет исключить эффект неодинаковой чувствительности датчика, а также учесть флуктуации освещенности. Более того, это делает систему нечувствительной к различиям в альбедо поверхности при переходе от одной точки объекта к другой. Часто отражательные свойства поверхности объекта оказываются неодинаковыми. Обычно эксперименты такого рода требуют значительных усилий по отладке, в частности, из-за неточного обращения манипулятора с деталями. Метод нормализации, используемый для борьбы с неодинаковой чувствительностью датчика изображения, автоматически учитывает флуктуации в отражательной способности поверхности. В то же время этот подход затрудняет обнаружение затенения и отсветов от соседних объектов, что, как мы видели, полезно при сегментации изображения.
Иногда из-за сильного шума, дефектов устройства получения изображения или пятен на поверхности стереофотометрический метод не сможет приписать изолированной точке изображения ориентацию поверхности. Мы можем найти такие изолированные точки и приписать им нормаль, равную среднему соседних значений. Основная причина поступать подобным образом заключается в том, что такое пятно можно принять за дыру при вычислении числа Эйлера.
В разд. 11.7.3 был разработан стереофотометрический метод, использующий для борьбы с шумом ограничения, основанные на предположении, что ориентация поверхности почти везде меняется гладко. Этот итеративный метод, основанный на решении задачи вариационного исчисления, можно использовать в условиях сильного шума, но он будет работать медленно.
Выбор объектов, которые можно взять
После сегментации изображения на области, предположительно являющиеся деталями объектов, необходимо решить, какую область следует анализировать в первую очередь. Выбранная область должна соответствовать объекту, находящемуся вблизи вершины навала деталей, причем большая часть этого объекта по возможности должна быть видима. Это требование позволит манипулятору легко взять объект и, кроме этого, обеспечит хорошие результаты сравнения с прототипом. Имеются соображения в пользу объектов, находящихся в определенном положении: так их легче брать, или известно, что система более точно определит их положение. Так как стереофотометрический метод не представляет никакой информации об абсолютной глубине, задача выбора подходящего объекта не является тривиальной.
Для выбора одного из ряда объектов, которые может взять манипулятор, имеется несколько различных эвристик. Область изображения должна обладать относительно большой поверхностью, если объект не загорожен другими объектами. Для оценки вытянутости области изображения можно использовать нормализованное отношение периметра к площади. Если область сильно вытянута, то можно сделать вывод о том, что объект находится в положении, которое для манипулятора окажется не очень удобным. Наконец, иногда может помочь использование числа Эйлера. В случае незагороженного тороидального объекта число Эйлера будет равно нулю, если только ось тора не будет слишком наклонена по отношению к направлению на наблюдателя.
Следующей задачей, стоящей перед системой, является принятие решения о том, как взять объект при его известном положении в пространстве. Системе необходимо сообщить, какие точки на поверхности объекта удобны с точки зрения схвата. Схватывающее устройство должно располагаться таким образом, чтобы оно не задевало соседних объектов. В этом случае имеет смысл выбрать такую точку, которая на объекте расположена достаточно высоко. Сделать это не трудно, поскольку известны форма и положение объекта. Представляется также разумным избегать тех мест на объекте, которые соответствуют участкам на изображении, к которым близко подходят соседние области.
Не всегда удается гарантировать, что объект можно будет взять так, как это запланировано, в частности, когда неизвестна информация об абсолютной глубине. В этом случае с помощью тактильных датчиков решаются такие проблемы, как столкновение с соседними объектами и потеря контакта схвата с выбираемым объектом. В этом случае лучше всего убрать руку из поля зрения и начать все снова. Другой очевидной проблемой является непостоянство скорости, с которой берется объект, однако ее можно решить с помощью механической схемы буферизации.
Когда не остается подлежащих выбору объектов, игольчатая диаграмма становится равномерной. В процессе сегментации изображе-
Выбор деталей из контейнера чэз ния области, пересекающиеся с фоном, выделяться не будут и система остановится.
Перемещение руки
Процесс управления механическим манипулятором относительно прост по сравнению с процессом визуального анализа. Для определения положения выбираемого объекта использовался стереофотометрический метод и сопоставлялись гистограммы ориентации. Положение интересующей нас области можно оценить путем нахождения ее геометрического центра. Однако не следует прибегать к бинарным методам обработки изображения, поскольку силуэт этой области может оказаться очень грубым. Лучше более точно определить положение путем сопоставления игольчатой диаграммы с диаграммой, вычисленной по прототипу объекта, и привлечения известной к этому моменту ориентации объекта.
Положение на изображении области, соответствующей интересую-
Рис. 18.9, Отсутствие информации об абсолютной глубине при использовании стереофотометрического метода.
Следовательно, xoih ориентация объекта известна, о его положении мы знаем юлько то, что он лежит на данном луче, идущем от камеры. Схват робота может двигаться вдоль этого луча, пока не сработает датчик близости. После этого руку манипулятора можно переориентировать так, чтобы взять объект.
тему нас объекту, определяет луч, идущий от камеры. Поскольку сте- реофотометрический метод не обеспечивает информацией об абсолютной I дубине, нельзя сказать, как далеко (вдоль этого луча) находится объект. Поэтому рука управляется командами движения вдоль луча, начиная с некоторой безопасной высоты над поверхностью, на которой находится объект (рнс. 18.9). Для определения момента, когда рука окажется вблизи объекта, можно использовать датчик близости. Например, для обнаружения того, что объект лежит между пальцами схвата, можно воспользоваться модулированным инфракрасным светом, идущим от одного пальца к другому. В этой точке руку можно переориентировать так, чтобы ее положение соответствовало положению объекта. Затем схват закрывается и объект свободно поднимается над остальными объектами.
Преобразование координат глаз — рука
Чтобы управлять движением руки вдоль конкретного луча камеры, необходимо преобразовать координаты, измеренные относительно камеры, в координаты, измеренные относительно руки. Это преобразование обладает шестью степенями свободы, и его можно представить как перенос и поворот. Даже если использовать непосредственные измерения положения и ориентации камеры, трудно найти преобразование с достаточной точностью. Намного удобнее провести руку через серию известных положений перед камерой. После этого определяется положение изображения руки относительно камеры, которое используется для вычисления параметров преобразования. Для обеспечения высокой точности используется большее число измерений, чем минимально необходимое, и процесс завершается подгонкой методом наименьших квадратов.
В настоящее время все еще достаточно трудно разработать программу, которая может распознавать и прослеживать путь руки. Поэтому используют контрольный маркер, положение которого легко локализовать (рис. 18.10). Как правило, в качестве такого маркера берется участок шахматной доски величиной 2x2. Можно с высокой точностью определить положение точки пересечения двух линий, разделяющих черные и белые поля.
Камеру можно смонтировать над рукой таким образом, чтобы она смотрела прямо вниз. В результате мы устанавливаем плоскость изображения почти параллельно плоскости, содержащей две оси системы координат руки. Это означает, что для этой плоскости (или параллельной ей) можно аппроксимировать центральную проекцию с помощью аффинных преобразований, имеющих шесть параметров. Этот метод подробнее рассмотрен в упражнении 13.12. Чтобы упростить задачу, фактически можно провести руку через точки в одной такой плоскости вблизи опоры и определить одно аффинное преобразование. Затем этот процесс повторяется в плоскости, расположенной ближе к камере,
Рис. 18.10. Возможность определения преобразования между системами координат механического манипулятора и электронной камеры.
При этом необходимо найти, где на изображении появится рука, держащая объект. Значительно облегчает распознавание контрольный маркер. Определяется афинное преобразование между плоскостью изображения и каждой из двух плоскостей, параллельных основанию. Каждой точке изображения соответс!вует луч, связывающий известную точку в одной из этих плоскостей с известной точкой в друюй.
вблизи максимальной высоты планируемого рабочего пространства. Таким образом, каждая точка изображения отображается в одну точку на каждой из этих двух плоскостей. Этот процесс определяет луч в пространстве руки (рис. 18.9).
Объекты произвольной формы
В описанных выше методах использовался тот факт, что объекты представляли собой тела вращения. Нам необходимо было лишь определить две степени свободы оси объекта. Расширенный гауссов образ можно использовать и в общем случае, однако ориентация теперь будет определяться тремя степенями свободы. Это легко увидеть из того, что объект можно повернуть вокруг произвольной оси на произвольный угол. Потребуется два параметра для выбора оси и один — для угла. Это означает, что сопоставление станет несколько более утомительным. Необ-
ходимо осуществить большое число возможных сопоставлений. Для немедленного исключения большинства из этих потенциально возможных сопоставлений можно использовать те же самые методы фильтрации.
Простое расширение описанного выше метода позволит нам работать с объектами, не являющимися телами вращения. Чтобы найти одну степень свободы, мы снова используем ось наименьшей инерции распределения масс на видимой полусфере. Оставшаяся задача заключается в определении направления, под которым виден объект. Возможные направления можно выбрать с помощью точек на сфере. Генерируется разбиение поверхности сферы на участки, которые по возможности должны быть одинаковыми. Можно использовать ту же мозаику на сфере, которая использовалась для гистограммы ориентации.
Можно подумать, что методы поиска в пространстве ориентаций неэффективны по сравнению хотя бы с методом последовательного спуска. Мы могли бы сначала найти грубую оценку положения, рассматривая, например, 60 поворотов икосаэдра. Тот поворот, который обеспечит наилучшее сопоставление, затем необходимо использовать в качестве начального значения итераций, которые на каждом шаге ищут улучшения дальнейшего сопоставления, делая небольшие поправки в текущем положении. Однако этот метод не будет работать, поскольку сопоставление не будет значительно улучшаться до тех пор, пока мы не окажемся близко к точному положению.
Заключение
В этой главе была рассмотрена система машинного видения для выборки объектов из контейнера. На рис. 18.11 показано несколько картинок, полученных в процессе выполнения задания системой. Используется несколько изображений, которые вводятся с помощью камеры при разных условиях освещенности. По этим изображениям вычисляется игольчатая карта, с помощью которой оценивается ориентация участков поверхности объектов. Это в свою очередь используется для вычисления гистограммы ориентации, являющейся дискретной аппроксимацией расширенного гауссова образа. Затем экспериментальная гистограмма ориентации сопоставляется с гистограммой ориентации, вычисленной по машинным моделям объектов. Таким образом определяется положение объекта в пространстве. После этого манипулятор можно послать вдоль луча в пространстве для выборки обьекта.
Поскольку описанная здесь эксперимента.'! ьная система не отличается особым быстродействием, можно попытаться ускорить ее работу, тем более что все вычисления просты и включают в себя в основном методы просмотра таблиц. Кроме того, для ускорения процесса сопоставления можно создать аппаратные средства. Они не должны быть слишком сложными, поскольку выполняют работу, сходную с процессом корреляции.
Рис. 18.11. Последовательность из шести рисунков.
На ней показана рука робота, управляемая с помощью стереофотометрической системы и выбирающая из совокупности один объект за другим.
Этот подход кажется достаточно надежным при распознавании объектов и определении их ориентации. Например, он работает лучше подхода, основанного на распознавании некоторых специальных признаков объекта, при условии, что для сканирования области необходимо обработать всего лишь несколько тысяч элементов изображения. В то же время в подходе, основанном на распознавании специальных признаков, для каждого признака необходимы сведения о нескольких тысячах точек, поэтому число точек изображения для всего объекта должно быть значительно большим.
Игольчатую диаграмму можно вычислить по карте глубины с помощью разностей первого порядка. Поэтому описанный здесь метод применим также и к другим типам информации о поверхности, например к картам дальности, полученным с использованием лазерного дальномера. Лазерные дальномеры в описанных здесь экспериментах не использовались, поскольку они до сих пор дороги и не обладают быстродействием. Понятно, что для получения карт дальности можно использовать бинокулярный стереометод.
Заключительное слово
Эта глава вобрала в себя многие методы, рассмотренные в книге. Особое внимание уделялось рассмотрению представлений и ограничений. Система выборки из контейнера показала, что надежную практическую систему машинного видения можно создать, если мы готовы пойти дальше простых эвристических методов. Решающими моментами в этом успехе явились такие концепции, как стереофотометрический метод, расширенный гауссов образ и равномерное разбиение пространства вращений. Описанный здесь процесс представляет собой новый подход к задачам машинного видения. Он основывается на внимательном анализе физики формирования изображения и представлении машинного видения как обратной задачи. Однако это только начало, и предстоит еще много работы.
Комментарии к литературе
Применение машинного видения к робототехнике исследовано в книгах [25, 88].
Многогранники обсуждаются в книгах [33, 35]. Кватернионы очень подробно рассмотрены Гамильтоном [52].
Значительный интерес был проявлен к разработке методов выбора деталей из навала или из контейнера. Система, использующая визуальную информацию при выполнении этих операций для цилиндрических объектов, описана Келли и др. [295]. Отличающийся от предыдущего подход к автоматической ориентации деталей описан в работе [151]. Об использовании стереофотометричесжого метода, расширенного
гауссова образа и почти равномерного разбиения пространства вращений при решении этой проблемы впервые сообщено Икойхи и Хорном [279]. В известной статье, написанной Хорном и Икойхи [258], объясняются некоторые подробности такого использования.
Описанная в конце гл. 13 бинарная, корреляционная стереосистема Нишихары [368] использовалась в более поздних версиях этой системы выбора деталей для получения информации об абсолютной глубине, которую нельзя было получить лишь от одной стереофотометрической системы. Это описано Икойхи и др. [280] в одном частном отчете. Недавно Икойхи [277] разработал новую бинокулярную стереосистему, которая сравнивает полученные инольчатые диаграммы, используя две стереофотометрические системы. Наконец Литтл [314] показал более эффективный путь сопоставления гистограммы ориентации, используя понятие смешанного объема. Смешанные объемы, к слову сказать, являются препятствиями в конфигурационном пространстве, использованными Лозано — Пересом в пространственном планировании движения робота [319].
В отчете [414] четко показываются преимущества представления вращения с помощью единичных кватернионов по сравнению с другими представлениями. Тейлор [446] расширил использование кватернионов на планировании движения манипулятора, а Канни [171] с успехом использовал кватернионы в своей работе по обнаружению столкновений при движении многогранников.
Упражнения
Здесь мы рассмотрим метод определения гистограммы ориентации для объекта, заданного в качестве прототипа. Предположим, что точки на его поверхности параметризованы переменными и и v. Диапазон изменения и мы можем разделить на п интервалов шириной 8п, а диапазон изменения г — на т интервалов шириной 5с. Последовательным перебором мы просматриваем полученные таким образом маленькие области, формируя соответствующие суммы в гистограмме ориентации. Чтобы осуществить это, мы должны знать нормаль к каждой небольшой области, а также площадь этой области.
Покажите, что единичная нормаль задается формулой
ru X rt.
n =—,I ru X ry I
где r„ и rL — первые частные производные вектора г — (х, у, гУ\
Покажите, что площадь поверхности области задается формулой 80 = | гц х гу | 8и •
Центр масс видимой полусферы расширенного гауссова изображения будет находиться над плоскостью, отделяющей видимую полусферу от ее дополнения. Покажите, что высота над поверхностью, умно-
женная на массу в центре масс, равна площади видимой наблюдателю поверхности. Покажите также, что величина массы в центре масс в точности равняется фактической площади видимой поверхности.
Как изменит описанную здесь систему выбора деталей из совокупности добавление к последней бинокулярной стереосистемы? Рассмотрите аспекты скорости, сложности и стоимости.
Можно ли использовать две фотометрические стереосистемы для вычисления абсолютной глубины, а также ориентации объектов в пространстве? Сравните этот подход с подходом из предыдущего упражнения.
Пусть р, q и г — кватернионы. Покажите, что (pq)* = q*p*, (pq) • (pq) = (p ■ p) (q ■ q), (M) ■ (pb = (p ■ p) (4 ■ b-
Пусть кватернион q характеризует поворот. Покажите, что вектор х* при повороте переходит в вектор х', где х' = (^2 — q - q) х + 2^q х х х + 2 (q • х) q. Сравните этот результат с формулой Родрига х' = = (cos 9) х + (sin 0)(о х х + (1 - cos 9)(со ■ х)со. Покажите, что для вычисления этой формулы требуется меньше арифметических операций, если ее переписать в эквивалентной форме х' = х + 2^ - q х х — 2 (q х х) х q. Указание1, используйте векторные тождества из приложения.
Пусть компонентами единичного кватерниона q будет ^0, ^2 и q3 соответственно, где q0 — скалярная часть, a q = (q^ q^ q^)1 — векторная. Покажите, что эквивалентная матрица вращения имеет вид
(Чо +- Чз - Чз2(ЧоЧз + ЧзЧЛ ^V-ЧоЧз + ЧзЧ1^(Чо +- Чз - Чз2(ЧоЧз + ЧзЧЛ ^V-ЧоЧз + ЧзЧ1^2 [~ЧоЧз + Ч1Ч2)Чо - 91 + Чз - Чз 2ЛЧоЧ1 + ЧзЧ^2 [~ЧоЧз + Ч1Ч2)Чо - 91 + Чз - Чз 2ЛЧоЧ1 + ЧзЧ^2 (Ч0Ч2 + Ч1Чз) 2(~4o4t + ЧзЧз^ Чо- Ч21 - Чз + Чз2 (Ч0Ч2 + Ч1Чз) 2(~4o4t + ЧзЧз^ Чо- Ч21 - Чз + Чз
(Чо +- Чз - Чз
2(ЧоЧз + ЧзЧЛ ^V-ЧоЧз + ЧзЧ1^
(Чо +- Чз - Чз
2(ЧоЧз + ЧзЧЛ ^V-ЧоЧз + ЧзЧ1^
2 [~ЧоЧз + Ч1Ч2)
Чо - 91 + Чз - Чз 2ЛЧоЧ1 + ЧзЧ^
2 [~ЧоЧз + Ч1Ч2)
Чо - 91 + Чз - Чз 2ЛЧоЧ1 + ЧзЧ^
2 (Ч0Ч2 + Ч1Чз) 2(~4o4t + ЧзЧз^ Чо- Ч21 - Чз + Чз
2 (Ч0Ч2 + Ч1Чз) 2(~4o4t + ЧзЧз^ Чо- Ч21 - Чз + Чз
Как бы вы выделили кватернионы, если бы была задана ортогональная матрица?
В этой главе мы рассмотрели сопоставление расширенных гауссовых образов методом, аналогичным методу корреляции. Как и для корреляции, в этом подходе имеется ряд трудностей. В данном упражнении мы рассмотрим другой метод. Рассмотрим смесь двух объектов Л и В, являющуюся объектом С = А ® В, расширенный гауссов образ которого является суммой расширенных гауссовых образов А и В, т. е. 6,^ = 6^ + GB. Пусть теперь В является полученной с помощью поворота версией А, т. е. В = R4(A). Объем смешанной фигуры является функцией относительного положения В по отношению к А. Можно показать, что этот объем минимален, когда В выравнен с А, т. е. q — 1. Разработайте метод вычисления смешанного объема и используйте его для определения положения объекта. Указание: в качестве модели используйте решение упражнения 16.9. Предупреждение: это потребует большого объема работы.
Приложение:
используемый математический аппарат
Настоящее приложение содержит краткий обзор различных математических приемов, используемых в книге. Начинается оно с формул для решения как плоских, так и сферических треугольников. Затем дается свод приемов для работы с векторами. В него входят методы решения векторных уравнений и правила дифференцирования по векторной и матричной переменным. Далее рассматривается метод наименьших квадратов применительно к линейным системам. За ним следует краткое изложение двух методов оптимизации (с ограничениями и без них). Заканчивается приложение беглым экскурсом в вариационное исчисление.
П.1. Решение треугольников
Рассмотрим плоский треугольник со сторонами а, Ь, с и противолежащими углами А, В, С (рис. П.1,д). Диаметр описанной окружности равен отношению длины стороны треугольника к синусу противолежащего угла. Поскольку это справедливо для всех трех сторон, имеем я/sin А = = t>/sin В, c/sin С. Это хорошо известная теорема синусов. Теорема косинусов описывается формулой а2 — Ь2 + с2 — 2^ccos А. Две подобные формулы можно получить одновременной циклической перестановкой сторон а, Ь. с и углов А, В, С. Теорема о проекции утверждает, что с = a cos В + b cos А. (Существует много других полезных соотношений, однако, как правило, мы oi раничиваемся тремя приведенными; в случае необходимости из них можно вывести остальные.) Площадь треугольника можно записать в виде S = (ab sin С)/2.
Сферическим треугольником называется фигура на поверхности сферы, три стороны которой представляют собой дуги больших окружностей (рис. П.1,б). Допустим, что углы пересечения этих дуг равняются А, В и С. Длина стороны на единичной сфере измеряется величиной стягиваемого ею центрального угла. Обозначим длины сторон через а, b и с. В случае сферического треугольника теорема синусов выглядит следующим образом:
sin a sinh sine sin Л sin В sin С'
Теорема косинусов для сторон имеет вид cos а = cosb-cos с + sinb х
Рис. П. 1. Плоский (а) и сферический (6) треугольники.
х sin с • cos А, в то время как теорема косинусов для углов — вид cos А = — cos В cos С + sin В sin С cos а. В обоих случаях две дополнительные формулы получаются циклической перестановкой а, Ь, с и А, В, С. (Остальные соотношения при желании можно вывести из них.) Иногда трудно определить квадрант, в котором лежит угол. Тут на помощь приходит правило квадрантов: (Л + В)/2 лежит в том же квадранте, что и (д + Ь)/2. Наконец, отметим, что площадь сферического треугольника определяется выражением 5Л = К2г, где R — радиус сферы, а величина е=Л+В+С— к — сферический избыток (измеряется в радианах).
П.2. Действия над векторами
Мы будем предполагать, что читатель знаком со свойствами векторных операций сложения, умножения на число, скалярного и векторного произведений. Векторы будут обозначаться полужирными буквами. Обычно мы будем представлять векторы в виде столбцов, и поэтому при их построчной записи необходимо использовать операцию транспонирования, обозначаемую верхним индексом Т.
П.2.1. Сложные произведения векторов
Смешанное произведение определяется следующим образом: [а b с] = = а • (Ь х с) = (а х Ь) • с. Абсолютная величина результата не зависит от порядка сомножителей, поскольку она представляет собой объем «натянутого» на векторы параллелепипеда. Знак результата не меняется при циклической перестановке сомножителей. Если три вектора лежат в одной плоскости, то они линейно зависимы и их смешанное произведение равно нулю.
Следующие тождества применимы к другому типу сложного произведения векторов:
а х (Ь х с) = (с ■ а) b - (а • Ь) с, (а х Ь) х с = (с • а) b - (Ь • с) а.
Отсюда имеем
[(а х b) х с] • d + [(b х с) х а] • d + [(с х а) х b] • d *= ^ -а х [Ь х (с х d)] = (b • c)(d х а) — (b ■ d)(c х а),
(а х Ь) • (с х d) = (с • a) (b d) - (d а) (b • с).
Из последних соотношений получаем
(а х Ь) • (с х d) + (b х с) • (а х d) + (с х а) • (b х d) = О,
|а х b |2 = | а |21 b |2 — (а • Ь)2.- <
Заметьте, что последняя величина всегда неотрицательна. Имеют мест© тождества
(а х Ь) х (с х d) = [dab] с — [abc] d,(а х b) х (с х d) = [cda] b — [bed] a.
Из них следует, что [(а х b)(c х d)(e х f)] = [dab] [cef] - [abc] [def], и поэтому [(a x b)(b x c)(c x a)] = [abc]2. Каждый данный вектор d можно выразить через три независимых вектора а, b и с:
[abc] d = [bed] а + [dca] b + [dab] c.
Это тождество можно использовать при решении линейных векторных уравнений.
П.2.2. Решение векторных уравнений
Предположим, что нам необходимо найти вектор х, если известны его скалярные произведения с тремя линейно независимыми векторами а, b и с, т. е. х • а = а, х • b = Р, х • с = у. Неизвестный вектор х можно выразить через любые три линейно независимых вектора. Вместо вектора а, b и с возьмем их попарные векторные произведения и представим х в виде линейной комбинации: х = и (Ь х с) + г (с х а) + w (а х Ь). Осталось определить три скаляра, и, v и w. Взяв скалярное произведение написанного выражения с тремя векторами а, b и с, получаем и [abc] = а, г [abc] — (3, w [abc] = у. Таким образом,
х = [а (b х с) + Р (с х а) + у (а х Ь)].
Этот же результат можно получить, если заметить, что
[abc] х = (b х с) (а • х) + (с х а) (b • х) + (а х Ь) (с • х). л
Изложенный выше метод эквивалентен решению системы трех уравнений с тремя неизвестными. Поэтому его можно применить для обращения матрицы М размера 3x3, строками которой служат векторы а7 Ьт, ст:
:^^$ф&И к;:/ аТ\
.М = I Ь7 1.
\ст/
Определитель этой матрицы равен [аЬс]. Согласно предыдущему результату, матрица, обратная к М, состоит из векторов-столбцов, равных попарным векторным произведениям, деленным на определитель:
М1М11[abc]1[abc][(Ь х с)(с х а) (а х Ь)].[(Ь х с)(с х а) (а х Ь)].
М1
М1
1[abc]
1[abc]
[(Ь х с)(с х а) (а х Ь)].
[(Ь х с)(с х а) (а х Ь)].
Результат легко проверить путем перемножения матриц. Существует аналогичная симметричная форма записи, которая получается, если исходную матрицу рассматривать как состоящую из векторов-столбцов, а не векторов-строк.
Теперь мы перейдем к другим векторным уравнениям. Пусть дано уравнение Хх + х х а = Ь, из которого необходимо найти х. Можно показать, что X (b — Хх) + X"1 (Ь • а) а — а2х = b х а, откуда при X ^ О следует
_ Xb + X"1 (Ь • а) а — b х ах _.
Теперь рассмотрим другое векторное уравнение Хх + (х • Ь) а = с, из которого мы снова хотим найти х. Взяв скалярное произведение с вектором Ь, получаем (х ‘ b) (X + а • b) = b • с, откуда при Х + а-Ь^О следует
/ b с \
X \ X + а • Ь/\ ?
Далее рассмотрим задачу определения вектора х, когда известны его длина и скалярные произведения с двумя контрольными векторами а и Ь, т. е. а • х = а, b • х = Р, х • х = у. Мы знаем, что, если а и b не параллельны, векторы а, b и а х b линейно независимы. Следовательно, неизвестный вектор можно представить в виде х = иа + rb + w (а х Ь). Мы можем найти и и г из соотношений
| а х b|2w = + а(Ь- Ь) - Р(а- Ь),.
| а х b |2 г = - а (а • b) + Р (а • а).
Кроме того, | а х b |2 (wa + rb) = [(Ь • Ь) а - (а • Ь) Ь] ос - [(а • Ь) а - (а • а)Ь]Р, и отсюда | а х b |2 | ua + rb |2 = | Ра — ab |2. Теперь х • х = | иа + rb |2 + + w2 | а х b |2 или | а х b |4 w2 = | а х b |2 у — | Ра — ab |2. Следовательно, имеются два решения:
l/T^x^bl^T-^X
w = ± v1.
а х b
П.З. Дифференцирование по векторной н матричной переменным
Часто систему уравнений можно представить компактнее, используя векторную запись. Преимущество такой записи может сойти на нет при
необходимости рассмотрения производных скаляра или вектора по компонентам вектора. Однако и в этом случае существует аналогичная компактная форма записи.
П.3.1. Дифференцирование скаляра по векторной переменной
Производная скаляра по векторной переменной представляет собой вектор, компонентами которого являются производные скаляра по компонентам вектора. Если г - (х, у, 2)4 то df/dr = U^.f»fz)T- Следовательно, (d/da) (а • b) = b, (d/db) = (a • b) = а. Длина вектора — это квадратный корень из суммы квадратов его компонент | а | = ]/а • а. Мы видим, что (d/da) | а |2 = 2а, откуда (d/da) | а | = а, где а = а/1 а |. Кроме того, <//</a[abc] = b х с, где [abc] = а • (Ь х с). Далее
a'Mb = Mb, 4 a7Mb = Мга.
В частности,
х7Мх = (М + М7) х.
Производной скаляра по матричной переменной является матрица, компонентами которой служат производные скаляра по каждому из элементов матрицы. Таким образом, если
В частностиВ частностиa7Mb = ab7a7Mb = ab7х7Мх = ххт.х7Мх = ххт.
В частности
В частности
a7Mb = ab7
a7Mb = ab7
х7Мх = ххт.
х7Мх = ххт.
Следовательно,
где след матрицы (tr М) - сумма ее диагональных элементов, al — единичная матрица. Также имеем
1
Заметьте, что ab7 — не скаляр а • Ь. Последний равен а7Ь. Если а = = (ах, аг а2)тиЬ = (Ьх, Ьу, Ь2)7, то диадное произведение определяется следующим образом:
/ ахЬх ахЬх ахЬ„ \ abr=l aybx ayby aybz I.
\ azbx azby tub= /
Другим интересным примером производной по матричной переменной служит выражение..
^Det(M) = Det(M)(M-'f
То, что эта матрица — из алгебраических дополнений, можно показать следующим образом. Выберем какой-либо элемент m(j матрицы М. Определитель можно представить в виде суммы путем его разложения по строке, содержащей этот элемент:
Det(M) = ^ mikcik,
к=1'
где с^ — алгебраическое дополнение к т^. Таким образом, производная определителя по элементу т^ есть просто си. (Алгебраическое дополнение си равно произведению ( — l)'+j и определителя матрицы, получаемой из исходной вычеркиванием ьй строки и ;-го столбца.) Окончательный результат следует из того факта, что обратная матрица равна транспонированной матрице алгебраических дополнений, деленных на определитель исходной матрицы.
Далее, если А и В — согласованные по размеру матрицы (это означает, что А содержит столько столбцов, сколько В строк), то
tr (АВ) = Вг, ytr(AB) = A'.
dXdo
Кроме того, в общем случае.
Одной из возможных матричных норм является квадратный корень из суммы квадратов ее элементов: || М ||2 = tr (М^). Мы видим, что
^"М'2-2М-
Отсюда из тождества || А — В ||2 = tr (А7А — ВТА — ATi + В7В) или || А — В |12 = || А ||2 — 2tr(A7B) + || В ||2 следует, что
/
d"dXd(/Вd"dXd(/В|| А - В ||2 = 2(А - В),|| А - В ||2 = 2(А - В),= 2(В-А).= 2(В-А).
d
"dX
d
(/В
d
"dX
d
(/В
|| А - В ||2 = 2(А - В),
|| А - В ||2 = 2(А - В),
= 2(В-А).
= 2(В-А).
П.3.2. Дифференцирование векторной переменной по векторной
Иногда бывает удобно ввести матрицу, содержащую в качестве своих элементов производные компонент одного вектора по компонентам другого вектора:
dbx dbx dbx \
dax day daz
dby dby dby ; dax day daz dbz dbz dbz dax day daz
Эта матрица является матрицей Якоби J координатного преобразования от а к Ь. Ясно, что (t//t/a) Ma = М для любой матрицы М. Кроме того, мы видим, что
(О ~az +ау + az0 — ах
-ау + ахО
откуда убеждаемся в справедливости тождества
Оно определяет изоморфизм между векторами и антисимметричными матрицами, что может пригодиться при работе с векторными произведениями.
П.4. Метод наименьших квадратов для решения линейных уравнений
Пусть а = Mb, где М — матрица размером т х п; а — вектор с т компонентами, а b — вектор с п компонентами. Допустим, в нашем распоряжении имеется п измерений {а,-} и {bj и мы хотим вычислить матрицу М. Образуем матрицы А и В, объединяя соответственно наборы векторов {aj и {bj. (То есть z-й столбец матрицы А есть а,.) Тогда А = МВ. В дан-
ном случае матрица В квадратная. Если она имеет обратную матрицу, то М = АВ-1. Допустим, что мы имеем большее число измерений. Тогда задача переопределена, так как число уравнений превышает число неизвестных. Определим m-мерный вектор рассогласования е, = а, — Mb,. Объединяя к таких векторов, получаем Е = А — МВ. Сумма квадратов рассогласований составляет
е,- Р = Ее; ■ е, = У еД;, . .
или
Тг (Е7Е) = Тг [(А - МВ)7(А - МВ)],
или
Тг (Е7Е) = Тг (А7А - В7М7А - А7МВ + В7М7МВ).
Таким образом,
(t//t/M)Tr(E7E) = — АВ7 — АВ7 + (В7М7)7В7+ (В М7)7В7.
Если это выражение приравнять нулю, то будем иметь АВ7 = = МВВТ, т. е. М = АВ7(ВВТ)~ \ Выражение В^ВВ7)1 называется псев- дообратной матрицей к прямоугольной матрице В.
С другой стороны, когда число уравнений меньше числа неизвестных, задача не определена. Тогда имеется бесконечное множество решений. В этом случае псевдообратная матрица дает решение с минимальной нормой, однако вычислять ее нужно по-другому. Матрицу, псевдооб- ратную к В, можно определить в виде предела
В+ = Нш (В7В + 52!)-
Иной способ определения основывается на условиях Пенроуза [4], которые утверждают, что матрица В+ является псевдообратной к матрице В тогда и только тогда, когда
ВВ+ и В + В — симметричные матрицы;
ВВВ+ =В+;
ВВВ = В.
Псевдообратную матрицу можно также получить с помощью спектрального разложения. Ее собственные векторы совпадают с собственными векторами исходной матрицы, в то время как ненулевые собственные значения равны обратным собственным значениям исходной.
П.5. Множители Лагранжа
Метод множителей Лагранжа является мощным средством решения экстремальных задач с ограничениями. Сначала мы рассмотрим случай одного ограничения, а потом обобщим его на случай нескольких ограничений.
П.5 Л. Случай одного ограничения
Предположим, нам необходимо найти экстремум функции /(х, у) при ограничении g (х, у) = 0. Если это уравнение разрешимо относительно переменной у = ф (х), то подстановкой исключаем у и ищем экстремум функции / [х, (р(х)] дифференцированием по х. Используя правило дифференцирования сложной функции, получаем Cjjdx-V + (df/су) (t/фД/х) = 0. Однако часто нахождение явной формулы для у в виде функции от х оказывается невозможным или практически малопригодным. В этом случае используется метод множителей Лагранжа. Мы не будем доказывать, что этот метод обеспечивает необходимые условия экстремума, а просто объясним, почему он работает.
Рассмотрим кривую, заданную уравнением g (х, у) = 0. Пусть 5 — параметр, изменяющийся при движении вдоль кривой. Тогда
eg dx eg dv
+ -C—c = о
сх ds су ds
и наклон кривой определяется выражением dy = _ dg_ dx dx' dxй <
Подставляя его в полученное ранее уравнение для экстремума вместо d<yfdx, получаем
Cl = CL а^сх ду ду дх *
Это уравнение применимо даже в том случае, когда уравнение ограничения g (х, у) = 0 явным образом неразрешимо относительно у.
Теперь рассмотрим экстремум функции F (х, у, X) = /(х, у) + Хд (х, у). Дифференцируя по х, у и X, получим
сх сх су су' - ' "
Если мы исключим X, то вновь получим cf ддdf eg
сх сусу сх
Таким образом, экстремум функции / (х, у) при ограничении д (х, у) = 0 можно найти, отыскивая экстремум функции F (х, у, X).
Чтобы это выглядело убедительнее, вообразим, что мы движемся вдоль кривой, определяемой уравнением д (х, у) = 0, и стремимся найти экстремум функции / (х, у). Его не может быть там, где линии уровня функции/(х, у) пересекают кривую, на которой мы находимся, поскольку перемещением на небольшое расстояние вдоль кривой мы можем немного увеличить или уменьшить значение / (х, у). Экстремум расположен
там, где линии уровня функции /(х, у) параллельны ограничивающей кривой. Последняя, как легко заметить, является линией уровня функции д^х, у). Линии уровня функции /(х, у) перпендикулярны к градиенту этой функции:
V/ = ^сЦЕх, Sf/cy^,
в то время как линии уровня функции д^х, у) перпендикулярны к градиенту:
Vg = (сд/сх, cgjcyf. ■и
Эти два градиента должны быть параллельны..(
Рассмотрим теперь экстремум функции F (х, у, X). Дифференцирование дает
сf/dx + X (£у/^х) = 0 и с/'/ту + X ^сд/су^ = 0 или•
{cf/£x, Pf/суУ = -X^cg^x, dg/£y)\
что и является условием параллельности двух градиентов. Множитель — Х — это просто отношение длин двух градиентов.
В качестве примера найдем точку на прямой х sin 0 — у cos 6 + р = О, ближайшую к началу координат. Здесь мы должны минимизировать сумму х2 + у2 при записанном ограничении. Вместо этого мы можем минимизировать функцию (х2 + у2) + X(xsin0 — г cos 6 + р). Дифференцируя по х и у, получим 2х + X sin 6 = 0 и 2у — X cos 6 = 0. Таким образом, х cos 0 + у sin 0 = 0. Подставляя в уравнение ограничения, получаем х sin 0 + х cos2 0/sin 0 + р = 0 или х=— р sin 0, а также — у sin2 0/cos 0 — у cos 0 + р = 0 или у = + р cos 0.
Тот же метод применим и в случае, когда имеется более двух независимых переменных. Чтобы найти экстремум функции / (х, у, z) при ограничении д (х, у, z) = 0, мы ищем точки, в которых поверхности уровня / (х, у, z) касаются поверхностей уровня д (х, у, z). Поскольку градиент функции перпендикулярен касательной плоскости, вместо этого мы можем искать точки, в которых градиент функции /(х, у, z) параллелен градиенту функции д (х, у, z). Это эквивалентно определению экстремума функции /(х, у, z) + X^(x, у, z). Такая задача приводит к уравнениям df/dx + X ^д/Ох) = 0, df/dy + X (dg/dy) = 0, cf/dz + Х^д[5^ = = 0 или (с/Удх, df/dy, cf/dzY = — X(dg/dx, dg/dy, dg/dz)7.
П.5.2. Случай нескольких ограничений'" ’■ ; ’ '
В случае трех независимых переменных можно добавить еще одно ограничение. Экстремум функции/(х, у, z) при ограничениях д^х, у, z) = = 0 и h (х, у, z) = 0 равен экстремуму функции f (х, у, z) + Хд (х, у, z) + + p/z (х, у, z) при тех же ограничениях. Дифференцирование по х, у и z дает X//Dx + X ^д/бх) + р (£/z/cx) = 0, 5f/c?y + X Су/^У^ + И (^^J7) = 0,
cf/cz + X (dg/dz) + ц (dh/cz) = 0. Из этих уравнений следует, что градиент / должен быть линейной комбинацией градиентов д и h, т. е. V/ = — XVg — pV/j. Каждое из ограничений д (х, у, z) = 0 и И (х, у, z) = 0 определяет поверхность. Эти поверхности пересекаются по кривой, вдоль которой мы и ищем экстремум. Градиент поверхности ортогонален касательной плоскости, так что кривые на поверхности перпендикулярны градиенту. В частности, кривая, являющаяся пересечением двух поверхностей, перпендикулярна обоим градиентам. Поэтому их векторное произведение направлено вдоль касательной к кривой. В точке экстремума градиент/(х, у, z) не должен иметь составляющей вдоль этого направления, иначе мы смогли бы увеличить или уменьшить значение /(х, у, z), несколько сместившись по кривой. Градиент / (-Х, у, z) будет удовлетворять этому условию тогда и только тогда, когда он будет линейной комбинацией градиентов д (х, у, z) и h (х, у, z).
В качестве примера рассмотрим задачу определения размеров прямоугольного короба наибольшего объема при условии, что одна из его граней имеет единичную площадь, а сумма ширины, высоты и глубины короба равна 4. Обозначим размеры короба через а, b и с. Нам необходимо найти максимум функции abc + X (ah — 1) + у (а + h + с — — 4). Дифференцирование по а, b и с дает Ьс + ХЬ + ц = 0, ас + Ха + ц = = 0, ab + ц — 0. Исключая из этих уравнений X и ц, получаем а = Ь. Из первого ограничения следует, что a = b=L Второе ограничение приводит к с = 2.
П.5.3. Общий случай 1
Пусть х = (хь х2, ..., хп)г—вектор в «-мерном пространстве. Множество значений х, удовлетворяющих ограничению д (х) = 0, образует подпространство. Рассмотрим некоторую кривую, полностью лежащую в этом подпространстве. Пусть $ — параметр, изменяющийся при движении вдоль этой кривой. Направление кривой в точке характе
ризуется касательным вектором
dx ( dx^ dx2 dxn\r"
ds у ds ' ds ’’" ds J'
Скорость изменения функции g(x^ с изменением параметра s дается формулой
dg од dxY бдds dxr ds сх2dg од dxY бдds dxr ds сх2dx2dsdx2dsбд dxn _ dx oxn dsdsбд dxn _ dx oxn dsds
dg од dxY бдds dxr ds сх2
dg од dxY бдds dxr ds сх2
dx2ds
dx2ds
бд dxn _ dx oxn dsds
бд dxn _ dx oxn dsds
где Vg — градиент g.
dgEgdg Y" ■
\cxi 6x2cxj
Поскольку кривая остается в подпространстве, где ^(x)^0, имеем
Vg-(dx/ds) = 0, т. е. в каждой своей точке кривая должна быть перпендикулярна к градиенту д (х). Если последний не равен нулю, то множество допустимых направлений касательной образует (и — 1 (-мерное подпространство. Это видно из того, что только п — 1 компонент касательного вектора независимы, оставшаяся компонента связана приведенным, выше уравнением.
Теперь предположим, что имеется т ограничений д( (х) = 0, / = 1, 2, ..., т. Множество, являющееся пересечением подпространств, определяемых каждым уравнением, представляет собой подпространство. Лежащая в этом подпространстве кривая должна быть ортогональна всем градиентам функций gis поэтому Vgt^dx/ds) = 0 при / = 1, 2,...,т.
Если т градиентов линейно независимы, то пересечение имеет размерность и — т, ввиду чего только п — т компонент касательного вектора можно выбрать произвольно, остальные связаны т уравнениями, приведенными выше.
Если функция /(х) имеет экстремум в точке, удовлетворяющей ограничениям, то ее первая производная вдоль любой лежащей в подпространстве пересечения кривой должна быть равна нулю. Имеем df /ds = Vf -(dx/ds\ т. e. необходимо, чтобы выполнялось условие
V/ -(dx/ds^ = О
для любого касательного вектора, удовлетворяющего условиям НVg • (dx/ds) = 0 при i = 1, 2, ..., т.
Таким образом, в точке экстремума касательный вектор должен быть также перпендикулярен градиенту функции / Так оно и будет, если градиент / окажется линейной комбинацией градиентов функций д^ НаМ требуется показать обратное: V/должен быть линейной комбинацией Vgt в точке экстремума.
Нетрудно видеть, что соотношения VgtAdx/ds^ — 0 задают векторное подпространство. Любой вектор единственным образом разлагается на сумму двух компонент, одна из которых лежит в этом подпространстве, а другая — в ортогональном ему подпространстве.
Вектор V/ можно разложить на компоненту g, которая является линейной комбинацией Vgis и компоненту с, которая ортогональна каждому из Vg(. Допустим, что с не равна нулю. Тогда
_ . dx dx dx dx
V./ —- = g • ~- + с • = c • ,ds ds ds ds
так как g — линейная комбинация Vgb Поскольку V^rC —О при i = = 1, 2, ..., т, мы можем выбрать кривую, для которой dx/ds = с. В этом случае V/• Ух/ds^ = с • с ^ 0. Это противоречит условию экстремума, и потому с должна быть равна нулю. Значит Vf должен быть линейной комбинацией градиентов Vgt. Мы можем записать это условие в виде ' -. v-h.
m
где X; — некоторые коэффициенты.
Теперь рассмотрим функцию
/(х) + У Xi9i (х).
Если попытаться найти ее экстремум дифференцированием по X, тд получим
v/+ I № = 0.
Это именно то уравнение, которое, как было показано, удовлетворяется в точке экстремума функции f
Подводя итоги сказанному, заключаем, что экстремум функции /(х) при ограничениях д{ (х) = 0 можно определить путем нахождения экстремума функции
т
„4- ' W + I У^(Х).
1=1
при тех же ограничениях. Здесь х — вектор с и компонентами, причем п> т.
П.6. Вариационное исчисление
Математический анализ учит тому, как находить экстремумы функций. Мы можем изменять один или несколько параметров некоторой функции. Решением является набор параметров, отвечающих экстремуму этой функции. Дифференцирование приводит к системе алгебраических уравнений, которая представляет собой необходимые условия экстремума.
В вариационном исчислении исследуются экстремумы выражений, зависящих не от параметров, а от функций. Такие выражения называются функционалами. Здесь уже необходимые условия представляют собой дифференциальные, а не алгебраические уравнения.
П.6.1. Задачи без ограничений
В качестве примера рассмотрим простой интеграл вида
•’= U^MW
Здесь F зависит от неизвестной функции/и ее производной/'. Предположим, что искомая кривая должна проходить через точки/(х/=^ и / (*2) — /2- Пусть функция / (х) является решением вариационной задачи. Тогда мы можем ожидать, что малые вариации / (х) не повлияют сильно на величину интеграла.
Пусть р (х) — пробная функция. Мы ожидаем, что при добавлении функции е • р (х) к /(х) интеграл изменится на величину, пропорциональную е2 (при малых е). Если бы он изменялся линейно с е, то таким образом его можно было бы увеличить или уменьшить, и поэтому это не было бы экстремумом. Точнее, мы хотим, чтобы
= 0.Е = 0= 0.Е = 0di
= 0.
Е = 0
= 0.
Е = 0
Это должно быть справедливо для всех пробных функций р (х).
В нашей конкретной задаче для удовлетворения граничным условиям мы должны положить р (xj = 0 и р (х2) = 0. Кроме того, если функция / (х) заменяется на/(х) + Ер (х), то ее производная f (х) - на/' (х) + Ер'(х). Интеграл принимает форму
1 = 3 F^X, f+f+ EY\^dx.
Если F достаточное число раз дифференцируема, то мы можем разложить подынтегральное выражение в ряд Тейлора
Е(х, /+ Ер, f + Ер') =
= F (х, f,H + Е • F (х, f, f) n (х) + е() F (х, /, f) Г)' (х) + е,
где е содержит члены более высокого порядка малости по е. Таким образом,
-v2
= f [^ + ег1 W^/ + еп'^г + е] dx
и дифференцирование по е с последующим приравниванием е нулю дает выражение
fh WF/ +r|'(x)F/ ]</x =0.
Интегрируя по частям, получим
) "Т" ^ Г ^х>dx J) "Т" ^ Г ^х>dx JГ]' (х) Fr dx = [г, (х) Fz-]£ - j Г] (х
) "Т" ^ Г ^х>dx J
) "Т" ^ Г ^х>dx J
где в силу граничных условий первый член равен нулю. Поэтому мы должны иметь выражение
f ri (х) (Fz - -^ F^ dx = 0.
Если оно справедливо для любых пробных функций р (х), то F f —
—F, — 0. Это соотношение называется уравнением Эйлера для дан- dx
ной задачи.
Рассмотренный метод можно обобщить в нескольких направлениях. Во-первых, предположим, что граничные условия/(х^ = fr и/(х2)=/2 не заданы. Чтобы член [p^Fy-]^ равнялся нулю для всех возможных пробных функций р (х), необходимо ввести естественные граничные условия Fr = 0 при х = Xj и х = х2.
Во-вторых, подынтегральное выражение может содержать производные более высоких порядков:
1 = f F(x,/, fj\
d
В этом случае уравнение Эйлера принимает вид Fj — -^— • Fr + + (d2/dx2)Ff^ - ... = 0. Таким образом, чтобы поставить задачу, мы должны задать граничные условия для всех производных, кроме последней.
словами,словами,Мы можем также рассмотреть случай, когда подынтегральная функция зависит не от одной, а от нескольких функций J\ (х), /2 (х), ... Иными
словами,
словами,
/= f Р^Л/г, ...Л\ЛЧ, ..Лх.
При такой постановке задачи имеем столько уравнений Эйлера, сколько неизвестных функций /( —= 0.
Наконец, исследуем случай, когда имеются две независимые переменные х и у и мы должны найти функцию / (х, у), обеспечивающую экстремум функционалу
I = ^F (х, у, f, fx, Л dx dy.
D
Здесь fx ы fy — частные производные функции f по x и у соответственно, а интегрирование производится по некоторой односвязной замкнутой области D. Мы вводим пробную функцию р (х, у) и добавляем ср (х, у) к/(х, у). Поскольку нам заданы значения/(х, у) на границе 3D области, пробная функция на границе должна быть равна нулю. Разложение в ряд Тейлора дает выражение
F (х, уЛ F ЕГ|, fx + ЕГ)Х, /у + ЕПу) =
= F (х, y,.f,fxJ^ + Б 1^рЛ УЛЛЛуЛЛ у) +
+ е—F(x, уЛЛхЛ>ЛхЛ у) + е—F(x, уЛЛх,ЛЛуЛ у) + в, С] хиЛ у
456 Приложение: используемый математический материал где е содержит члены более высокого порядка малости по £. Таким образом,
I = Я (F + en Ff + 8T)xF/x + £П/Д dx dy. D
Дифференцирование по в с последующим приравниванием г нулю приводит к интегралу
ff ^Fj + пл\ + Vj) dx dy = 0. D
Согласно интегральной теореме Гаусса,
поэтому
dx dy = J (pF^dv - nF/dxydD
В соответствии с граничными условиями, член в правой части должен равняться нулю, в результате чего
И №х + П/Д dxdy=-^k-^Fjx + ^ ЕД dx dy.
DD \j /
Следовательно,
ff rj - —-Fj -~Ff)dxdy = 0
n \ ox Jx dy
для всех пробных функций р. Поэтому мы должны иметь F^ — ^"^Г- —
— ^^f, — 0. Здесь уравнение Эйлера является уравнением в частных производных. Из приведенных выкладок мы сразу получаем обобщение на случай, когда значения / на границе dD не заданы. Чтобы интеграл
J Г) VF$xdy ~ Ffdx)
dD
равнялся нулю для всех пробных функций р, мы должны иметь FfxVdy(ds> = Fj^dx/dsY
где s — изменяющийся вдоль границы параметр.
Переход к более чем двум независимым переменным также не составляет труда.
П.6.2. Вариационные задачи с ограничениями
В вариационном исчислении встречаются и задачи с ограничениями. Например, предположим, что нам необходимо найти экстремум функционала
п.п.с учетом ограничений ^Дх,/ь/2,...,/п) = 0 при i= 1, 2,...,т, где т Мы можем решить модифицированные уравнения Эйлера
п.
п.
сф d аФ А_
Г“^ = 0’ 1 =2’ п
oji ах oji
т
при тех же ограничениях. В данном случае Ф = F + £ X, (х) х
х 9i(x,/i»/2»-••»/«)• Неизвестные функции ХДх) также называются множителями Лагранжа.
Ограничения, заданные в интегральной форме, рассматриваются * аналогично. Пусть необходимо найти экстремум интеграла
при ограничениях
J 9,^ //2, ...Лп, Л •••ЛпЛх = сь i =т.
гдес^ — заданные константы. Для этого нужно решить модифицированные уравнения Эйлера д^/с^ — (d/dx) • (аЧ'/а/;) = 0 (/ = 1, 2, ..., т) с учетом т
тех же ограничений. Здесь Т = F + £ Х^Дх, Д, /2, /Л Неизвестные
константы Х(- и в данном случае называются .множителями Лагранжа.
П.7. Комментарии к литературе
Ценным энциклопедическим справочником по математике является работа [68]. Вычисление трудных интегралов можно найти в книге [43]. Описание всех элементарных и многих специальных функций имеется в справочнике [1]. Менее объемистые справочники подобного рода представляют собой работы [15, 29].
В монографии [18] дается элементарное введение в теорию векторов, а в монографии [94] рассматриваются дифференциальные операторы,
применяемые к векторам. Часто употребляемые математические методы описаны во многих книгах, например в [58].
Нет недостатка в руководствах по теории вероятностей и по статистике. Одной из них является работа [26].
Методы вариационного исчисления можно изучить по первому тому книги Куранта и Гильберта [21], а также по монографии [107].
Методы типа наименьших квадратов часто приводят к задачам, которые можно решить с помощью псевдообратных матриц. В этом отношении можно порекомендовать книгу [4]. В работе [41] рассматриваются практические аспекты оптимизационных задач. Более глубокое изложение теоретических вопросов можно найти в книге [72]. Численные методы рассматриваются в работах [19, 53].
Литература
| Литература состоит из двух частей. Первая содержит ссылки на книги;
[ вторая — на статьи и сообщения.
у
Кииги
Abramowitz М„ Stegan I. A. (eds.), Handbook of Mathematical Functions with Formulas, Graphs, and Mathematical Tables, National Bureau of Standards, United States Department of Commerce, 1964.
Aggarwal J. K„ Duda R. O„ Rosenfeld A. (eds), Computer Methods in Image Analysis, IEEE Press, New York. 1977.
Ahuja N., Schachter B. J., Pattern Models, John Wiley & Sons, New York, 1983.
Albert A., Regression and the Moore-Penrose Pseudoinverse, Academic Press, New York, 1972.
Andrews H. C., Computer Techniques in Image Processing, Academic Press, New York, 1970. [Имеется перевод: Эндрюс Г. Применение вычислительных машин для обработки изображений. - М.: Энергия, 1977.]
Andrews Н. С. (ed.), Digital Image Processing, IEEE Press, New York, 1978.
Ballard D. H., Brown С. M., Computer Vision, Prentice-Hall, Englewood Cliffs, New Jersey, 1982.
Barbe D. F. (ed.), Charge-Coupled Devices. Springer-Verlag, New York, 1980.
Bernstein R. (ed.), Digital Image Processing for Remote Sensing, IEEE Press, New- York, 1978.
Blahut R. E., Fast Algorithms for Digital Signal Processing. Addison-Wesley, Reading, Massachusetts, 1985.
Born M.. Wolf E., Principles of Optics: Electromagnetic Theory of Propagation, Interference and Diffraction of Light, Pergamon Press, Oxford, 1975.
Bracewell R. N„ The Fourier Transform and Its Applications, McGraw-Hill Book Co., New York, 1965 & 1978.
Brady J. M. (ed.). Computer Vision, North-Holland Publishing Co., Amsterdam. 1981.
Brady J. M., Paul R. (eds.). Robotics Research: The First International Symposium, MIT Press. Cambridge. Massachusetts, 1984.
Burington R. S., Handbook of Mathematical Tables and Formulas, Fifth Edition, McGraw-Hill Book Co., New York, 1973.
Carrier G. F„ Pearson С. E„ Partial Differential Equations: Theory and Technique. Academic Press, New York, 1976.
Castleman K. R., Digital Image Processing, Prentice-Hall, Englewood Cliffs, New Jersey, 1979.
Chisholm J. S. R., Vectors in Three-Dimensional Space, Cambridge Univ. Press, Cambridge, 1978.
Conte S. D., de Boor C., Elementary Numerical Analysis — an Algorithmic Approach, Second Edition, McGraw-Hill Book Co., New York, 1972.
Cornsweet T. N., Visual Perception, Academic Press, New York, 1970.
Courant R., Hilbert D., Methods of Mathematical Physics, Vol. 1, John Wiley &Sons, New York, 1953. [Имеется перевод: Курант P., Гильберт Д. Методы математической физики, т. 1 — М.: Гостехиздат, 1951.]
Courant R., Hilbert D., Methods of Mathematical Physics, Vol. 2. John Wiley & Sons, New York, 1962. [Имеется перевод: Курант P., Гильберт Д. Методы математической физики, т. 2,—М.: Гостехиздат, 1961.]
Coxeter И. S. М., Regular Polyhedra, Dover Publications, New York, 1973.
do Carmo M. P., Differential Geometry of Curves and Surfaces, Prentice-Hall, Englewood Cliffs, New Jersey, 1976.
Dodd G. G., Rossol L. (eds.), Computer Vision and Sensor-Based Robots, Plenum Press, New York, 1979.
Drake A. W., Fundamentals of Applied Probability Theory, McGraw-Hill Book Co., New York, 1967.
Driscoll W. G., Vaughan W. (eds.), Handbook of Optics, McGraw-Hill Book Co., New York, 1978.
Duda R. O., Hart P. E., Pattern Classification and Scene Analysis, John Wiley & Sons, New York, 1973. [Имеется перевод: Дуда P., Харт П. Распознавание образов и анализ сиен, — М.: Мир, 1976.]
Dwight Н. В., Tables of Integrals and Other Mathematical Data, Macmillan, New York, 1964. [Имеется перевод: Двайт Г. Б. Таблицы интегралов и другие математические формулы, — М.: Наука, 1983.]
Evans R. М., The Perception of Color, John Wiley & Sons, New York, 1974.
Everitt B.. Cluster Analysis, Halsted Press, New York, 1980.
Faugeras O. D. (ed.), Fundamentals in Computer Vision, Cambridge Univ. Press, Cambridge, 1983.
Fejes Toth L., Regular Figures, Pergamon Press, New York, 1964.
Frisby J. P., Seeing, Oxford Univ. Press, Oxford, 1979.
Garabedian P. R., Partial Differential Equations, John Wiley & Sons, New York, 1964.
Gardner W. E. (ed.), Machine-Aided Image Analysis, 1978, The Institute of Physics, Bristol & London, 1979.
Гельфанд И. M., Шилов Г. Е. Обобщенные функции и действия над ними,— М.: Физмат; из, 1958.
Gibson J. J., The Perception of the Visual World, Houghton Mifflin Co., Boston, 1950.
Gibson J. J., The Senses Considered as Perseptual Systems, Houghton Mifflin Co., Boston, 1966.
Gibson J. J.. The Ecological Approach to Visual Perception, Houghton Mifflin Co., Boston, 1979.
Gill P. E., Murray W., Wright M. H., Practical Optimization, Academic Press, New York, 1981.
Gonzalez R. C., Wintz P., Digital Image Processing, Addison-Wesley, Reading, Massachusetts, 1977.
Gradshteyn 1. S., Ryzhik 1. M., Table of Integrals, Series, and Products, Academic Press, New York, 1980. [Имеется перевод: Градштейн И. С., Рыжик И. М. Таблицы интегралов, сумм, рядов и произведений,— М.: Наука, 1971.]
Grafton С. В. (ed.), Silhouettes — A Pictorial Archive of Varied Illustrations, Dover Publications, New York, 1979.
L 45. Green W. B., Digital Image Processing: A Systems Approach, Van Nostrand ■ Reinhold Co., New York, 1983.
46. Gregory R. L., Eye and Brain, McGraw-Hill Book Co., New York, 1966.
В 47. Gregory R. L., The Intelligent Eye, McGraw-Hill Book Co., New York, 1970.
[Имеется перевод Греюри P. Л. Разумный глаз,— М.: Мир, 1972.]
■ 48. Crimson W. Е. L., From Images to Surfaces: A Computational Study of the ■ Human Early Visial System, MIT Press, Cambridge, Massachusetts, 1981.
V 49. Griinbaum B., Convex Polytopes, John Willey & Sons, New York, 1967.
f 50. Haber R. N., Hershenson M., The Psychology of Visual Perception, Holt, Rinehart & Winston Inc., New York, 1973.
Hall E., Computer Image Processing and Recognition, Academic Press, New York, 1979.
Hamilton W. R., Elements of Quaternions, Vols. 1 & 2, Chelsea Publishing, New York, 1899.
Hamming R. W._ Numerical Methods for Scientists and Engineers, McGraw-Hill IBook Co., New’York, 1962.
54. Hamming R. W., Digital Filters, Prentice-Hall, Englewood Cliffs, New Jersey,
I1977, 1983.
Г 55. Hanson A. R., Riseman E. M. (eds.), Computer Vision Systems, Academic Press, iNew York, 1978.
56. Herman G. T. (ed.), Image Reconstruction from Projections — Implementation
and Applications, Springer-Verlag, New York, 1979.
57. Hilbert D., Cohn-Vossen S., Geometry and the Imagination. Chelsea Publishing
Co., New York, 1952. [Имеется перевод: Гильберт Д„ Кон-Фоссен С. Наг.чяд- j ная геометрия. — М.: Наука, 1981.]
58. Hildebrand F. В., Methods of Applied Mathematics, Prentice-Hall, Englewood
iCliffs, New Jersey, 1952.
59. Hildreth E. C., The Measurement of Visual Motion, MIT Press, Cambridge, jMassachusetts, 1983.
i 60. Huang T. S. (ed.). Image Sequence Processing and Dynamic Scene Analysis, Springer-Verlag, New York, 1983.
John F., Partial Differential Equations, Springer-Verlag, New York, 1971.
Judd D. B., Wyszecki G., Color in Business, Science, and Industry, John Wiley & Sons, New York, 1975. [Имеется перевод: Джадд Д., Вышецки Г. Цвет в науке и технике, — М.: Мир, 1978.]
Julesz В., Foundations of Cyclopean Perception, Univ, of Chicago Press, Chicago, 1971.
Kanai L. N. (ed.). Pattern Recognition, Thompson Book Co.. Washington. D. C., 1980.
Kenner H., Geodesic Math — and How to Use It, Univ, of California Press, Berkeley, California, 1976.
Kessel R. G., Kardon R. H., Tissues and Organs: A Text-Atlas of Scanning Electron Microscopy, W. H. Freeman & Co., San Francisco, 1979.
Kingslake R., Lens Design Fundamentals, Academic Press, New York, 1978.
Korn G. A., Korn T. M., Mathematical Handbook for Engineers and Scientists, McGraw-Hill Book Co., New York, 1968. [Имеется перевод: Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. — М.: Наука. 1968.]
Levi L., Applied Optics: A Guide to Optica! System Design, Vol. 1, 1968, Vol. 2, 1980, John Wiley & Sons, New York.
Levine M. D., Vision in Man and Machine. McGraw-Hill Book Co., New York, loss
Lighthill M. J.. Introduction to Fourier Analysis and Generalised Functions, Cambridge Univ. Press, Cambridge, 1978.
Luenberger D. G„ Introduction to Linear and Nonlinear Programming, Addison- Wesley, Reading, Massachusetts, 1973.
Lysternik L. A., Convex Figures and Polyhedra, Dover Publications, New York, 1963. [Имеется перевод: Люстерник Л. А. Выпуклые фигуры и многогранники,— М.: Гостехиздат, 1956.]
MacAdam D. L., Sources of Color Science. MIT Press, Cambridge, Massachusetts, 1970.
Marr D., Vision: A Computational Investigation into the Human Representation and Processing of Visual Information, W. H. Freeman & Co., San Francisco, 1982. [Имеется перевод: Mapp Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов, — М.: Радио и связь, 1987.]
Moon Р., The Scientific Basis of Illumination Engineering, Dover Publications, New York, 1961.
Moon P., Spencer D. E.. Partial Differential Equations, D. C. Heath & Co., Massachusetts, 1969.
Moon P., Spencer D. E„ The Photic Field, MIT Press. Cambridge, Massachusetts, 1981.
Moore C. N., Summable Series and Convergence Factors. Dover Publications, New York, 1966.
Moravec H. P.. Robot Rover Visual Navigation. University Microfilms International, Ann Arbor, 1981.
Nevatia R., Machine Perception. Prentice-Hall. Englewood Cliffs, New Jersey, 1982.
Norton H. N.. Sensor and Analyzer Handbook. Prentice-Hall, Englewood Cliffs, New Jersey, 1982.
O’Neill B., Elementary Differential Geometry, Academic Press, New York, 1966.
Oppenheim A. V., Willsky A. S., Signals and Systems, Prentice-Hall. Englewood Cliffs. New Jersey, 1983.
86.87.88.86.87.88.Pearce P., Pearce S.. Polyhedra Primer, Van Nostrand Reinhold Co., New York, I07S
86.
87.
88.
86.
87.
88.
Погорелов А. В. Дифференциальная геометрия, — M.: Наука, 1974.
1978.Мир,1978.Мир,Pratt W., Digital Image Processing, John Wiley & Sons, New York, [Имеется перевод: Прэтт У. Цифровая обработка изображений, — М.: тот 1
1978.Мир,
1978.Мир,
Pugh A., Polyhedra - A Visual Approach, Univ, of California Press, Berkeley California, 1976.
Pugh A. (ed.), Robot Vision, IFS (Publications) Ltd., U. K., 1983. [Имеется перевод: Техническое зрение роботов./Под. ред. А. Пью, — М.: Машиностроение, 1987.]
Rock I., Perception, Scientific American Books, New York, 1984.
Rosenfeld A. (ed.), Digital Picture Analysis, Springer-Verlag, New York, 1976.
Rosenfeld A., Kak A. C., Digital Picture Processing, Vols. I, 2, Second Edition, Academic Press, New York, 1982.
Scharf D., Magnifications — Photography with the Scanning Electron Microscope, Schocken Books, New York, 1977.
Schey H. M., Div, Grad, Curl, and All That: An Informal Text on Vector Calculus, W. W. Norton & Co., New York, 1973.
Sears F. W„ Optics, Addison-Wesley, Reading, Massachusetts, 1949.
Serra J., Image Analysis and Mathematical Morphology, Academic Press, New York, 1982.
Shafer S. A., Shadows and Silhouettes in Computer Vision, Kluwer Academic Press, Boston, 1985.
Siebert W., Circuits, Signals, and Systems, MIT Press, Cambridge, Massachusetts, 1985.
Sokal R. R., Sneath P. H. A., Principles of Numerical Taxonomy, W. H. Freeman & Co., San Francisco, 1963.
Stoffel J. C. (ed.). Graphical and Binary Image Processing and Applications. Artech House, Inc., Massachusetts, 1982.
Stucki P. (ed.). Advances in Digital Image Processing: Theory, Application,
i Implementation, Plenum Press, New York, 1979.
102. Tanimoto S., Klinger A. (eds.), Structured Computer Vision: Machine Percep-
/ tion through Hierarchical Computation Structures. Academic Press, New York, 1980.
Тихонов A. H., Арсенин В. Я. Методы решения некорректных задач,— М.: Наука, 1986.
Ullman S., Interpretation of Vicual Motion, MIT Press, Cambridge, Massachusetts, 1979. [Имеется перевод: Ульман Ш. Принципы восприятия подвижных объектов. — М.: Радио и связь, 1983.]
Ullman S., Richards W. (eds.). Image Understanding 1984, Ablex Publishing Corp., Norwood, New Jersey, 1984.
Wasserman G. S., Color Vision: An Historical Introduction, John Wiley & Sons, New York, 1978.
Weinstock R„ Calculus of Variations: With Applications to Physics & Engineering. Dover Publications, New York, 1974.
Wells О. C, Scanning Electron Microscopy, McGraw-Hill Book Co., New York, 1974.
Wenninger M. J., Polyhedron Models, Cambridge Univ. Press, Cambridge, 1971.
Wenninger M. J., Spherical Models, Cambridge Univ. Press, Cambridge, 1979.
Wiener N., Extrapolation, Interpolatation, and Smoothing of Stationary Time Series with Engineering Applications, MIT Press, Cambridge, Massachusetts, 1966.
Winston P. H. (ed.), The Psychology of Computer Vision, McGraq-Hill Book Co., New York, 1975. [Имеется перевод: Уинстон П. Психология машинного зрения (сб. статей). — М.: Мир, 1978.]
ИЗ. Winston Р. Н., Artificial Intelligence, Second Edition. Addison-Wesley, Reading, Massachusetts, 1984. [Имеется перевод: Уинстон П. Искусственный интеллект.- М.: Мир, 1980.]
Winston Р. Н., Brown R. Н„ Artificial Intelligence: An MIT Perspective, Vol. 2, MIT Press, Cambridge, Massachusetts, 1979.
Winston P. H., Horn В. К. P., Lisp, Second Edition, Addison-Wesley, Reading, Massachusetts, 1984.
Worf P. R., Elements of Photogrammetry, McGraw-Hill Book Co., New York, 1974.
Статьи и-сообщения
Adiv G., Determining 3-D Motion and Structure from Optical Flow Generated by Several Moving Objects, COINS Technical Report 84-07, Computer and Information Science, Univ, of Massachusetts, Amherst, Massachusetts, Apr. 1984.
Agin G. J., Binford T. O., Computer Description of Curved Objects, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Stanford, California, 629 — 640, Aug. 1973.
Ahmed N., Natarjan T., Rao K. R., On Image Processing and a Discrete Cosine Transform, IEEE Trans, on Computers, 23, No. 1, 90 — 93 (1974).
Ahuja N., Rosenfeld A.. Mosaic Models for Textures, IEEE Trans, on Pattern Analysis and Machine Intelligence, 3, No. 1, 1 — 11 (1981).
Александров А. Существование и единственность выпуклой поверхности с данной инте1ральной кривизной. Докл. АН СССР, 35, № 5, 1942, с. 131-134.
Arcelli С., Pattern Thinning by Contour Tracing, Computer Graphics and Image Processing, 17, No. 3, 130—144 (1981).
Arcelli C, Levialdi S., Parallel Shrinking in Three Dimensions, Computer Graphics and Image Processing, 1, No. 1, 21—30 (1972).
Asada H., Brady J. M,, The Curvature Primal Sketch. MIT Al Laboratory Memo 758, Febr. 1984.
Baird M. L.. SIGHT-1: A Computer Vision System for Automated IC Chip Manufacture. IEEE Trans, on Systems, Manand Cybernetics-, 8, No 2, 13.3- 139 (1987).'
Bajcsy R„ Computer Identification of Visual Surfaces, Computer Graphics and image Processing, 2, No 2, 118— 130 (1973).
Bajcsy R., Three-Dimensional Scene Analysis. Proc. Pattern Recognition Conf, Miami, Florida, 1064—1074, Dec. 1980.
Bajcsy R., Lieberman L., Texture Gradient as a Depth Cue, Computer Graphics and linage Processing. 5, No. 1, 52 — 67 (1976).
Baker H. H., Binford T. O„ Depth from Edges and Intensity Based Stereo, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Vancouver В. C., 631-636. Aug. 1981.
Baker H. H., Binford T. O., A System for Automated Stereo Mapping, Proc. Symp. ISPRS Commission II, Ottawa, Canada, 1982.
Ballard D. H., Hinton G. E.. Sejnowshi T. J., Parallel Visual Computation, Nature, 306, No. 5938, 21-26, (1983).
Ballard D. H., Kimball O. A., Rigid Body Motion from Depth and Optical
Flow. Computer Vision, Graphics and Image Processing, 22, No. 1. 95—115 (1983).''
Ballard D. H., Sabbah D., Detecting Object Orientation from Surface Normals, Proc. Pattern Recognition. Conf, Munchen, 63 — 67, Dec. 1981a.
Ballard D. H., Sabbah D., On Shapes, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Vancouver В. C., 607 — 612, 24 — 28 Aug. 1981b.
Barnard S. T., Interpreting Perspective Images, Artificial Intelligence, 21, No. 4, 435-462 (1983).
Barnard S. T., Thompson W. B„ Disparity Analysis of Images, IEEE Trans, on Pattern Analysis and Machine Intelligence, 2, No. 4, 333 — 340 (1980).
Barrow H. G., Popplestone R. J., Relational Descriptions in Picture Processing, in Machine Intelligence 6. B. Meltzer, D. M. Michie (eds.), Edinburgh Univ. Press. 377-396 (1971).
Barrow H. G., Tenenbaum J. M., Recovering Intrinsic Scene Characteristics from Images, in Computer Vision Systems, A. R. Hanson, E. M. Riseman (eds.), Academic Press, New York, 3 — 26 (1978).
Barrow H. G., Tenenbaum J. M., Computational Vision, Proc, of the IEEE, 69, No. 5, 572-595 (1981a).
Barrow H. G., Tenenbaum J. M., Interpreting Line Drawings as Three-Dimensional Surfaces, Artificial Intelligence, 17, Nos. 1—3, 75— 116 (1981b).
Bass D. H., Using the Video Lookup Table for Reflectivity Calculations: Specific Techniques and Graphic Results, Computer Graphics and Image Processing, 17. No. 3, 249 — 261 (1981).
Bertram S„ The UNAMACE and the Automatic Photomapper, Photogrammetric Engineering, 35, No. 6, 569 — 576 (1969).,
Berzins V., Accuracy of Laplacian Edge Detectors, Computer Vision. Graphics and Image Processing, 27, No. 2. 195 — 210 (1984).
Besl P., Jain R., Surface Characterization for Three-Dimensional Object Recognition in Depth Maps, RSD-TR-20-84, Center for Research on Integrated Manufacturing, Dept, of Electrical Engineering and Computer Science, Univ, of Michigan, Ann Arbor, Michigan, Dec. 1984.
Binford T. O., Visual Perception by Computer, Proc. IEEE Systems Science and Cybernetics Conf. Miami, Dec. 1971.
Binford T. O„ Inferring Surfaces from Images, Artificial Intelligence, 17. Nos. 1-3,205-244 (1981).'
Binford T. O., Survey of Model-Based Image Analysis Systems, The International Journal of Robotics Research, 1, No. 1. 18 — 64 (1982).
Blake A., The Least-Disturbance Principle and Weak Constraints, Pattern Recognition letters. 1, Nos. 5, 6, 393 — 399 (1983).
Blake A., Boundary Conditions for Lightness Computation in Mondrian World. Computer Vision. Graphics and Image Processing, 1985.
Blum H., A Transformation for Extracting New Descriptors of Shape, Proc. Symp. on Models for Perception of Speech and Visual Form. W. Whaten-Dunn (ed.), MIT Press, Cambridge, Massachusetts, 1967.
Bolles R. C., Horaud P., Hannah M. J., 3DPO: Three-Dimensional Parts Orientation System, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Karlsruhe, West Germany, 1116—1120. 8 — 12 Aug. 1983.
Boyse J. W._ Interference Detection among Solids and Surfaces, Communications of the ACM, 22, No. 1, 3—9 (1979).
Brady J. M., Asada H., Smoothed Local Symmetries and Their Implementa-
tion, The- International Journal of Robotics Research, 3, No. 3, 36 — 61 (1984).
Brady J. M., Horn В. К. P., Rotationally Symmetric Operators for Surface Interpolation, Computer Vision, Graphics and Image Processing, 22, No. 1, 70-95 (1983).
Brassel K., A Model for Automatic Hill Shading, The American Cartographer, 1, No. 1, 15 -27 (1974).
Brenner J. F., Gelsema S., Necheles T. F., Neurath P. W., Selles W. D., Vastola E., Automated Classification of Normal and Abnormal Leukocytes, The Journal of Histochemistry & Cytochemistry, 22, No. 7, 697 — 706 (1974).
Brice C. R., Fennema C. L., Scene Analysis Using Regions, Artificial Intelligence, 1, No. 3, 205-226, (1970). [Имеется перевод: Брайс К. Р., Феннема К. Л. Анализ сцены при помощи выделения областей. В кн.: Интегральные роботы. Вып. 2,—М.: Мир, 1975, с. 136—159.]
Brooks М. J., Rationalizing Edge Detectors, Computer Graphics and Image Processing, 8, No. 2, 277 — 285 (1978).
Brooks M. J., Shape from Shading Discretely, Ph. D. Thesis, Essex Univ., Colchester, England, 1982.
Brooks M. J., Horn В. К. P., Shape and Source from Shading, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Los Angeles, California, 932 — 936, 18-23 Aug. 1985.
Brooks R. A., Symbolic Reasoning among 3-D Models and 2-D Images, Artificial Intelligence, 17, Nos. 1 — 3, 285 — 348 (1981).
Brou P., Finding Objects in Depth Maps, Ph. D. Thesis, Dept, of Electrical Engineering and Computer Science, MIT, Cambridge, Massachusetts, Sept. 1983.
Brou P., Using the Gaussian Image to Find the Orientation of Objects, The International Journal of Robotics Research, 3, No. 4, 89— 125 (1984).
Brown С. M„ Representing the Orientation of Dendritic Fields with Geodesic Tessellations, Internal Report TR-13, Computer Science Dept., Univ, of Rochester, 1977.
Brown С. M., Inherent Bias and Noise in the Hough Transform, IEEE Trans, on Pattern Analysis and Machine Intelligence. 5, No. 5, 493 — 505 (1983).
Bruss A. R„ The Image Irradiance Equation: Its Solution and Application, MIT AI Laboratory Technical Report 623, June. 1981.
Bruss A. R., The Eikonal Equation: Some Results Applicable to Computer Vision, Journal of Math. Physics, 23, No. 5, 890 — 896 (1982).
Bruss A. R„ Is What You See What You Get? Proc, of the Intern. Joint Conf, on Artificial Intelligence. Karlsruhe, West Germany, 1053— 1056, 8-12 Aug., 1983.
Bruss A. R., Horn В. К. P., Passive Navigation, Computer Vision, Graphics and Image Processing, 21, No. 1, 3 — 20 (1983).
Canny J., Finding Edges and Lines in Images, MIT Al Laboratory Technical Report 720, June, 1983.
Canny J., Collision Detection for Moving Polyhedra, MIT AI Laboratory Memo 806, Oct., 1984.
Chen W. H., Smith С. H.. Fralick S., A Fast Computational Algorithm for the Discrete Cosine Transform, IEEE Trans, on Communications, 25, No. 9, 1004 — 1009 (1977).
Chin R. T., Automated Visual Inspection Techniques and Applications: A Bibliography, Pattern Recognition, 15, No. 4, 343 — 357 (1982).
Chin R. T., Harlow A., Automated Visual Inspection: A Survey, IEEE Trans, on Pattern Analysis and Machine Intelligence, 4, No. 6, 557 — 573 (1982).
Chrisman D. P., Programming the Connection Machine, S. M. Thesis, Dept, of Electrical Engineering and Computer Science, MIT, Cambridge, Massachusetts, Nov., 1984.
Clocksin W. F., Perception of Surface Slant and Edge Labels from Optical Flow: A Computational Approach, Perception, 9, No. 3, 253 — 269 (1980).
Clowes M. B., On Seeing Things, Artificial Intelligence, 2, No. I, 79—116 (1971). [Имеется перевод: Клоувэ M. Б. Как видеть вещи. В кн/. Интегральные роботы. Вып. 2,— М.: Мир, 1975. с. 89 — 135.]
Cohen F. S., Cooper D. В., Simple Parallel Hierarchical and Relaxation Algorithms for Segmenting Noncausal Markovian Random Fields, Internal Report LEMS-7, Laboratory for Man/Machine Systems, Brown Univ., Providence, Rhode Island, July, 1984.
Coleman E. N„ Jr., Jain R., Obtaining 3-Dimensional Shape of Textured and Specular Surface Using Four-Source Photometry, Computer Graphics and Image Processing, 18, No. 4, 309-328 (1982).
Cooper D. B., Sung F., Schencker P. S., Towards a Theory of Multiple- Window Algorithms for Fast Adaptive Boundary Finding in Computer Vision, Internal Report ENG-PRMI 80-3, Division of Engineering, Brown Univ., Providence, Rhode Island. July, 1980.
Dane C.. Bajcsy R., Three-Dimensional Segmentation Using the Gaussian Image and Spatial Information, Proc. Pattern Recognition and Image Processing Conf, Dallas, Texas, 54-56, 3-4 Aug., 1981.
Danielsson P.-E., Euclidian Distance Mapping, Computer Graphics and Image Processing, 14, No. 3, 227-248 (1980).
Danielsson P.-E., Kruse B., Distance Checking Algorithms, Computer Graphics and image Processing, 11, No. 4, 349 — 376 (1979).
Davis L. S., A Survey of Edge Detection Techniques, Computer Graphics and Image Processing, 4, No. 3, 248 — 270 (1975).
Davis L. S., Rosenfeld A., Cooperating Processes for Low-Level Vision: A Survey, Internal Report TR-851, Univ, of Maryland, College Park, Maryland, Jan., 1980.
Deift P.. Sylvester J., Some Remarks on the Shape-from-Shading Problem in Computer Vision, Journal of Mathematical Analysis and Applications, 84. No. 1, 235-248 (1981).
De Souza P., Automatic Rib Detection in Chest Radiographs. Computer Vision, Graphics and Image Processing, 23, No. 2, 129 — 161 (1983).
Deutsch E. S., Thinning Algorithms on Rectangular, Hexagonal, and Triangular Arrays, Communications of the ACM, 15, No. 9, 827 — 837 (1972).
Dev P., Perception of Depth Surfaces in Random-Dot Stereograms; A Neural Model. International Journal of Man-Machine Studies, 7, No. 4, 511 —528 (1975).
Draper S. W., The Use of Gradient Space and Dual Space in Line-Drawing Interpretation, Artificial Intelligence, 17, Nos. 1—3, 461—460 (1981).
Dreschler L„ Nagel H.-H., Volumetric Model and 3D Trajectory of a Moving Car Derived from Monocular TV Frame Sequences of a Street Scene, Computer Graphics and Image Processing. 20. No. 3. 199 — 228 (1982).
Duda R. O., Hart P. E., Use of the Hough Transformation to Detect Lines and Curves in Pictures, Communications of the ACM, 15, No. 1, 11 — 15 (1972).
Duda R. O., Nitzan D., Barrett P., Use of Range and Reflectance Data to
Find Planar Surface Regions, IEEE Trans, on Pattern Analysis and Machine Intelligence, 1, No. 3, 259 — 271 (1979).
Duerr B.. Haettich W., Tropf H., Winkler G., A Combination of Statistical and Syntactical Pattern Recognition Applied to Classification of Unconstrained Handwritten Numerals, Pattern Recognition, 12, No. 3, 189- 199 (1980).
Dyer C. R., Rosenfeld A., Thinning Algorithms for Gray-Scale Pictures, IEEE Trans, on Pattern Analysis and Machine Intelligence, 1. No. 1, 88 — 89 (1979).
Ehrich R. W., Detection of Global Edges in Textured Images, IEEE Trans, on Computers, 26. No. 6, 589 - 603 (1977).
Ejiri M., Uno T„ Mese M.. Ikeda S., A Process for Detecting Defects in Complicated Patterns, Computer Graphics and Image Processing, 2, No. 3 and 4, 326-339 (1973).
Fahle M., Poggio T., Visual Hyperacuity: Spatiotemporal Interpolation in Human Vision, Proc, of the Royal Society of London B., 213, 415 — 477 (1980).
Falk G., Interpretation of Imperfect Line Data as a Three-Dimensional Scene, Artificial Intelligence, 3, No. 2, 101 — 144 (1972).
Fang J. Q„ Huang T. S., Solving Three-Dimensional Small-Rotation Motion Equations: Uniqueness, Algorithms, and Numerical Results, Computer Vision, Graphics and Image Processing, 26, No. 2, 183 — 206 (1984a).
Fang J. Q., Huang T. S., Some Experiments on Estimating the 3-D Motion Parameters of a Rigid Body from Two Consecutive Image Frames, IEEE Trans, on Pattern Analysis and Machine Intelligence, 6, No. 5, 545 — 554 (1984b).
Fennema C. L., Thompson W. R., Velocity Determination in Scenes Containing Several Moving Objects, Computer Graphics and Image Processing, 9, No. 4, 301 -315 (1979).
.3. Fesenkov V., Photometry of the Moon, in Physics and Astronomy of the Moon, Z. Kopal (ed.). Academic Press, New York, 99—130, 1962.
Fischler M. A., Bolles R. C., Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography, Communications of the ACM, 24, No. 6, 381—395 (1981).
Fram J. R., Deutsch E. S., On the Evaluation of Edge Detection Schemes and Their Comparison with Human Performance, IEEE Trans, on Computers, 24, No. 6, 616-628 (1975).
Freeman H., Techniques for the Digital Computer Analysis of Chain-Encoded Arbitrary Plane Curves, Proc. National Electronics Conf., Chicago, Illinois, 17, 421-432, 9- 11 Oct., 1960.
Freuder E. C., A Computer System for Visual Recognition Using Active Knowledge, MIT AI Laboratory Technical Report 345, June, 1976.
Freuder E. C., On the Knowledge Required to Label a Picture Graph, Artificial Intelligence, 15, Nos. 1 and 2, 1 — 17 (1980).
Ganapathy S., Decomposition of Transformation Matrices for Robot Vision, Proc. IEEE Conf, on Robotics, Atlanta, Georgia, 130— 139, 13- 15 Mar., 1984.
Geman S., Geman D., Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images, Internal Report, Brown Univ., Providence, Rhode Island, and Univ, of Massachusetts at Amherst, 1983.
Gibson E. J., Gibson J. J., Smith O. W., Flock H., Motion Parallax as a Determinant of Perceived Depth, Journal of Experimental Psychology, 8, No. 1, 40-51 (1959).
Gibson L., Lucas D., Vectorization of Raster Images Using Hierarchical Methods, Computer Graphics and Image Processing, 20, No. 2, 82—89 (1982).
Golay M. J. E., Hexagonal Parallel Pattern Transformations, IEEE Trans, on Computers, 18, No. 8, 733-740 (1969).
Gonzalez R. C., Safabakhsh R., Computer Vision Techniques for Industrial Applications and Robot Control, Computer, 15, No. 12, 17 — 32 (1982).
Gray S. B., Local Properties of Binary Images in Two Dimensions. IEEE Traits. on Computers, 20, No. 5, 551 —561 (1971).
Griffith A. K., Edge Detection in Simple Scenes Using A Priori Information, IEEE Trans, on Computers, 22, No. 4, 371 —381 (1973a).
Griffith A. K., Mathematical Models for Automatic Line Detection, Journal of the ACM, 20, No. 1, 62-80 (1973b).
Crimson W. E. L., A Computational Theory of Visual Surface Interpolation, Philosophical Ti-ans. of the Royal Society of London B, 298, 395 — 427 (1982).
Crimson W. E. L., Surface Consistency Constraints in Vision, Computer Vision, Graphics and Image Processing, 24, No. 1, 28 — 51 (1983a).
Crimson W. E. L., An Implementation of a Computational Theory of Visual Surface Interpolation, Computer Vision, Graphics and Image Processing,22, No. 1, 39-69 (1983b).
Crimson W. E. L., On the Reconstruction of Visible Surfaces, Chapter 9 in Image Understanding 1984, S. Ullman and W. Richards (eds.), Ablex Publishing Corp., Norwood, New Jersey, 1984.
Gruen A. W., Adaptive Least Squares Correlation - A Powerful Image Matching Technique, Proc. ACSM-ASP Convention, Washington, D. C.. Mar., 1985.
Gupta J. N., Wintz P. A., A Boundary Finding Algorithm and Its Application, IEEE Trans, on Circuits and Systems, 22, No. 4, 351 —362 (1975).
Gurari E. M., Wechsler H., On the Difficulties Involved in the Segmentation of Pictures, IEEE Trans, on Pattern Analysis and Machine Inelligence, 4, No. 3, 304-306 (1982).
Guzman-Arenas A., Decomposition of a Visual Scene into Three-Dimensional Bodies, Proc. AFIPS Fall Joint Computer Conf, San Francisco, California, 33, 291-304, 9-11 Dec., 1968a.
Guzman-Arenas A., Computer Recognition of Three-Dimensional Objects in a Visual Scene, MIT AI Laboratory Technical Report 228, Dec.. 1968b. [Имеется перевод: Гузман А. Разбиение визуальной сцены на трехмерные тела. В кн.: Интегральные роботы. — М.; Мир, 1973, с. 241 —268.]
Habibi A., Two-Dimensional Bayesian Estimation of Images, Proc, of the IEEE, 60, No. 7, 878-883 (1972).
Halford K. J., Preston K., Jr., Three-Dimensional Skeletonization of Elongated Solids, Computer Иыол, Graphics and Image Processing, 27, No. 1, 78 — 91 (1984).
Hansen F. R., Elliott H., Image Segmentation Using Markov Field Models, Computer Graphics and Image Processing, 20, No. 2, 101 — 132 (1982).
Hara Y., Akiyama A., Karasaki K., Automatic Inspection System for Printed Circuit Boards, IEEE Trans, on Pattern Analysis and Machine Intelligence, 5, No. 6, 623-630 (1983).
Haralick R. M., Edge and Region Analysis for Digital Image Data, Computer Graphics and Image Processing, 12, No. 1, 60 — 73, (1980).
Haralick R. M., Digital Step Edges from Zero Crossing of Second Directional Derivatives, IEEE Trans, on Pattern Analysis and Machine Intelligence, 6, No. 1, 58-68 (1984).
Haralick R. M., Watson L, A Facet Model for Image Data. Computer Graphics and Image Processing, 15, No. 2, 113— 129 (1981).
Hartley R., A Gaussian-Weighted Multi-Resolution Edge Detector, Computer Vision, Graphics and Image Processing, 30, No. 1. 70 — 83 (1985).
Hay C. J. Optical Motion and Space Perception - An Extension of Gibson’s Analysis, Psychological Review, 73, 550 — 565 (1966).I
Haynes S. M., Jain R„ Detection of Moving Edges. Computer Vision, graphics and Image Processing, 21, No. 3, 345—367 (1982).
Herman G. T., Webster D., A Topological Proof of a Surface Tracking Algorithm, Computer Vision, Graphics and Image Processing, 23, No. 2, 162—177 (1983).
Hildreth E. C.. Implementation of a Theory of Edge Detection, MIT AI Laboratory Technical Report 579. Apr., 1980.
Hildreth E. C„ The Detection of Intensity Changes by Computer and Biological Vision Systems, Computer Vision, Graphics and Image Processing, 22, No. 1, 1 -27 (1983).
Hildreth E. C., Computations Underlying the Measurement of Visual Motion, Artificial Intelligence, 23, No. 3, 309 — 354 (1984).
Hoffman D. D.. Representing Shapes for Visual Recognition. Ph. D. Thesis. Dept, of Psychology, MIT. Cambridge, Massachusetts, 1983.
Hoffman D. D., Flinchbaugh В. E., The Interpretation of Biological Motion, Biological Cybernetics, 42, No. 3, 195 — 204 (1982).
Holland S. W., Rosso) L„ Ward M. R., CONSIGHT-1: A Vision-Controlled Robot System for Transferring Parts from Belt Conveyors, in Computer Vision and Sensor-Based Robotics. G. G. Dodd and L. Rossol (eds.). Plenum Press, New York. 81-100, 1979.
Horn В. К. P., Shape from Shading: A Method for Obtaining the Shape of a Smooth Opaque Object from One View, MIT Project MAC Internal Report TR-79 and MIT AI Laboratory Technical Report 232, Nov., 1970.
Horn В. К. P., The Binford-Horn Linefinder, MIT AI Laboratory Memo 285, July, 1971.
Horn В. К. P.. VISMEM: A Bag of'Robotics’ Formulae. MIT AI Laboratory Working Paper 34, Dec., 1972.
Horn В. К. P., Determining Lightness from an Image. Computer Graphics and Image Processing, 3, No. 1, 277 — 299 (1974).
Horn В. К. P., Obtaining Shape from Shading Information, Chapter 4 in The Psychology of Computer Vision. P. H. Winston (ed.), McGraw-Hill Book Co., New York, 115 — 155, 1975a. [Имеется перевод: Хорн Б. К. П. Определение формы по данным о полутонах. В кн.: Психо-ioi ия машинного зрения. Сб. статей./Под. ред. П. Уинстона,—М.: Мир, 1978, с. 137—184.]
Horn В. К. Р., A Problem in Computer Vision: Orienting Silicon Integrated Circuit Chips for Lead Bonding, Computer Graphics and Image Processing, 4, No. 1, 294-303 (1975b).
Horn В. К. P., Image Intensity Understanding, Artificial Intelligence, 8, No. 2, 201-231 (1977).
Horn В. К. P., Sequins and Quills — Representations for Surface Topography, MIT AI Laboratory Memo 536, May, 1979.
Horn В. К. P., Hill-Shading and the Reflectance Map, Proc, of the IEEE, 69, No. 1, 14-47 (1981). [Имеется перевод: Хорн Б. К. П. Отмывка рельефа
У карта отражательной способности. ТИИЭР, 1981, 69, № 1, с. 16 — 55.]
Morn В. К. Р., The Least Energy Curve, ACM Trans, on Mathematical Software, 9, No. 4, 441—460 (1983).
№>rn В. К. P., Exact Reproduction of Colored Images, Computer Vision, Graphics and Image Processing, 26, No. 2, 135—167 (May 1984a).
Hdrn В. К. P., Extended Gaussian Images, Proc, of the IEEE, 72, No. 12, 1671 -1686, (Dec. 1984b).
Horn В. К. P., Bachman B. L., Using Synthetic Images to Register Real Images with Surface Models, Communications of the ACM, 21, No. 11, 914 — 924 (1978).
Horn В. К. P., Brooks M. J., The Variational Approach to Shape from Shading, MIT AI Laboratory Memo 813. Mar., 1985.
Horn В. К. P., Ikeuchi K., The Mechanical Manipulation of Randomly Oriented Parts, Scientific American, 251, No. 2, 100—111 (1984).
Horn В. К. P., Schunck B. G., Determining Optical Flow. Artificial Intelligence, П, Nos. 1 -3, 185-203 (1981).
Horn В. К. P., Sjoberg R. W., Calculating the Reflectance Map, Applied Optics, 18, No. 11, 1770-1779 (June, 1979).
Horn В. К. P., Weldon E. J., Filtering Closed Curves, Proc. Computer Vision and Pattern Recognition Conf, San Fracisco. California, 478 — 484, 19 — 23 June, 1985.
Horn В. К. P., Woodham R. J., Silver W., Determining Shape and Reflectance Using Multiple Images, MIT AI Laboratory Memo 490, Aug., 1978.
Hou H. S., Andrews H. C., Cubic Splines for Image Interpolation and Digital Filtering, IEEE Trans, on Acoustics, Speech, and Signa! Processing, 26, No. 6, 508-517 (1978).
Hsieh Y. Y., Fu K. S., An Automatic Visual Inspection System for Integrated Circuit Chips, Computer Graphics and Image Processing, 14, No. 4, 293 — 343 (1980).
Huang T. S., Schreiber W. F„ Tretiak O. J., Image Processing, Proc, of the IEEE, 59, No. 11, 1586- 1609 (1971).
Hueckel M., An Operator Which Locates Edges in Digital Pictures, Journal of the ACM, 18, No. 1, 113 — 125 (1971). [Имеется перевод: Хюккель M. Оператор нахождения контуров на кодированных изображениях. В кн.: Интегральные роботы,—М.: Мир, 1973. с. 225-241.]
Hueckel М., A Local Visual Operator Which Recognizes Edges and Lines, Journal of the ACM, 20, No. 4, 634 — 647 (1973).
Huffman D. A., Impossible Objects as Nonsense Sentences, in Machine Intelligence 6, B. Meltzer, D. M. Michie (eds.), Edinburgh Univ. Press, 295 — 323, 1971.
Huffman D. A., Curvature and Creases: A Primer on Paper, Proc. Conf. Computer Graphics, Pattern Recognition, and Data Structure, 360-370, 14—16 May, 1975.
Huffman D. A., A Duality Concept for the Analysis of Polyhedral Scenes, in Machine Intelligence 8, E. W. Elcock, D. M. Michie (eds.), Ellis Horwood, Chichester, 475-492, 1977a.
Huffman D. A., Realizable Configurations of Lines in Pictures of Polyhedra, in Machine Intelligence 8, E. W. Elcock, D. M. Michie (eds.), Ellis Horwood, Chichester, 493 — 509, 1977b.
Hummel R. A., Zucker S. W., On the Foundations of Relaxation Labeling
Processes, Internal Report TR-80-7, Computer Vision and Graphics Lab., Dept, of Electrical Engineering, McGill Univ.. Montreal, July, 1980.
Ikeuchi K., Recognition of 3-D Objects Using the Extended Gaussian linage, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Vancouver IB. C, 595-600, 24-28 Aug., 1981a./
Ikeuchi K., Determining Surface Orientations of Specular Surfaces by Usjng the Photometric Stereo Method, IEEE Trons, on Pattern Analysis and Machine Intelligence, 3, No. 6, 661—669 (1961b).
Ikeuchi K., Determining the Attitude of an Object from a Needle Map Using the Extended Gaussian Image, MIT AI Laboratory Memo 714, Apr.. 1983.
Ikeuchi K., Shape from Regular Patterns, Artificial Intelligence, 22. No. 1, 49 — 75 (1984).
Ikeuchi K., Determining a Depth Map Using Region Matching on Surface- Orientation Maps Obtained by a Pair of Photometric Stereo Systems, Internal Report 85-2E, Information Processing Group. Electrotechnical Laboratory, Sakuramura, Ibaraki 305. Japan, 1985.
Ikeuchi K., Horn В. К. P., Numerical Shape from Shading and Occluding Boundaries, Artificial Intelligence, 17, Nos. 1—3, 141 — 184 (1981).
Ikeuchi K., Horn В. К. P., Picking up an Object from a Pile of Objects, in Robotics Research: The First International Symposium, J. M. Brady, R. Paul (eds.), MIT Press, Cambridge, Massachusetts, 139— 162, 1984.
Ikeuchi K., Nishihara H. K., Horn В. К. P., Sobalvarro P., Nagata S., Determining Grasp Points Using Photometric Stereo and the PRISM Binocular Stereo System, MIT AI Laboratory Memo 772, Aug., 1984.
Ingram M., Preston K., Jr., Automatic Analysis of Blood Cells, Scientific American, 223, No. 5, 72-82 (1970).
Jacobus C. J., Chien R. T., Two New Edge Detectors, IEEE Trans, on Pattern Analysis and Machine Intelligence, 3, No. 5, 581—592 (1981).
Jain R., Extraction of Motion Information from Peripheral Process, IEEE Trans, on Pattern Analysis and Machine Intelligence, 3, No. 5, 489 — 503 (1981).
Jain R., Direct Computation of the Focus of Expansion, IEEE Trans, on Pattern Analysis and Machine Intelligence, 5, No. 1, 58 — 64 (1983).
Jain R., Aggarwal J. K., Computer Analysis of Scenes with Curved Objects, Proc, of the IEEE, 67, No. 5, 805-812 (May, 1979).
Jarvis R. A., A Perspective on Range Finding Techniques for Computer Vision, IEEE Trans, on Pattern Analysis and Machine Intelligence, 5, No. 2, 122—139 (1983a).
Jarvis R. A., A Laser Time-of-Flight Range Scanner for Robotic Vision, IEEE Trans, on Pattern Analysis and Machine Intelligence, 5, No. 5, 505 — 512, (1983b).
Jerian C., Jain R., Determining Motion Parameters for Scenes with Translation and Rotation, IEEE Trans, on Patfern Analysis and Machine Intelligence, 6, No. 4, 523-530 (1984).
Kanade T., Region Segmentation: Signal vs. Semantics, Computer Graphics and Image Processing, 13, No. 4, 279 — 297 (1980a).
Kanade T., A Theory of Origami World, Artificial Intelligence, 13, No. 3, 279-311 (1980b).
Kanade T., Recovery of the Three-Dimensional Shape of an Object from a Single View, Artificial Intelligence, 17, Nos. 1—3, 409 — 460 (1981).
Kanade Т., Geometrical Aspects of Interpreting Images as a Three-Dimensional \ Scene, Proc, of the IEEE, 71, No. 7, 789-802 (1983).
\ Kashioka S., Ejiri M., Sakamoto Y., A Transistor Wire-Bonding System 1 Utilizing Multiple Local Pattern Matching Techniques, IEEE Trans, on \Systems, Man and Cybernetics, 6, No. 8, 562 — 570 (1976).
keating T. J., Wolf P. R., Scarpace F. L., An Improved Method of Digital Image Correlation, Photogrammetric Engineering and Remote Sensing, 41, No. 8, 993—1002 (1975).
Kelley R. B., Birk J. R., Martins H. A. S., Telia R., A Robot System Which Acquires Cylindrical Workpieces from Bins, IEEE Trans, on Systems, Man and Cybernetics, 12, No. 2, 204 — 213, (Mar./Apr., 1982).
Kelly R. E., McConnell P. R. H., Mildenberger S. J., The Gestalt Photomapping System, Photogrammetric Engineering and Remote Sensing, 43, No. II, 1407-1417 (1977).*
Kirousis L., Papadimitriou С. H., The Complexity of Recognizing Polyhedral Scenes, Internal Report STAN-CS-84-105. Dept, of Computer Science, Stanford Univ., Stanford, California, Aug., 1984.
Klette R., Parallel Operations on Binary Images, Computer Graphics and Image Processing, 14, No. 2, 145—158 (1980).
Koenderink J. 3., van Doorn A. J., Local Structure of Movement Parallax of the Plane, Journal of the Optical Society of America, 66, No. 7, 717 —
723 (1976).
300.300.301.301.302.302.303.303.304.305.304.305.Koenderink J. J., van Doorn A. J., Photometric Invariants Related to Solid Shape, Acta Optica, 27, No. 7, 981-996 (1980).
300.
300.
301.
301.
302.
302.
303.
303.
304.
305.
304.
305.
Konecny G., Pape D., Correlation Techniques and Devices, Photogrammetric Engineering and Remote Sensing, 47, No. 3, 323 — 333 (1981).
Kulpa Z., Area and Perimeter Measurement of Blobs in Discrete Binary Pictures, Computer Graphics and Image Processing, 6, No, 5, 434 — 451 (1977).
Land E. H., Experiments in Color Vision, Scientific American, 200, No. 5, 84-99 (1959).
Land E. H., The Retinex, American Scientist, 52, No. 2. 247 — 264 (1964).
Land E. H., Recent Advances in Retinex Theory and Some Implications for Cortical Computations: Color Vision and the Natural Image, Proc. Nat'l Acad. Sci„ 80, No. 16, 5163-5169 (1983).
306.306.Land E. FL, McCann J. J., Lightness and Retinex Theory, Journal of
306.
306.
the Optical Society of America, 61, No. 1, 1 — 11 (1971).
Lavin M. A., Lieberman L. I., AML/V: An Industrial Machine Vision Programming System, The International Journal of Robotics Research, 1, No. 3, 42-56, Fall (1982).
Lee С.-H., Improved Methods of Estimating Shape from Shading Using the Light Source Coordinate System, TR-1277, Computer Vision Laboratory, Computer Science Center, Univ, of Maryland, College Park, Maryland, Oct.. 1983.
Lettvin J. Y., The Color of Colored Things, Quarterly Progress Report 87, Research Laboratory of Electronics, MIT, 1967.
Levialdi S., On Shrinking Binary Picture Patterns, Communications of the ACM, 15, No. 1, 7-10 (1972).
Levine M. D., O’Handley D. A., Yagi G. M., Computer Determination of Depth
Литература t—
Maps, Computer Graphics and Image Processing, 2, No. 2, 131 — 150 (1973).
Limb J. O., Murphy J. A.. Estimating the Velocity of Moving Images in Television Signals, Computer Graphics and Image Processing, 4, No. 4, 311 — 327 (1975).
Little J. J., An Iterative Method for Reconstructing Convex Polyhedra from Extended Gaussian Images, Proc, of the National Conf, on Artificial Intelligence, Washington, D. C, 247-254, 22-26 Aug., 1983.
Little J. J., Determining Object Attitude from Extended Gaussian Images, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Los Angeles, California, 960 — 963, 18 — 23 Aug., 1985.
Livingstone M. S., Hubei D. H., Anatomy and Physiology of a Color System in the Primate Visual Cortex, The Journal of Neuroscience, 4, 309 — 356 (1984).
Lobregt S., Verbeek P. W., Groen F. C. A., Three-Dimensional Skeletonization: Principle and Algorithm, IEEE Trans, on Pattern Analysis and Machine Intelligence, 2, No. 1, 75-77 (1980).
Longuet-Higgins H. C., A Computer Algorithm for Reconstructing a Scene, from Two Projections, Nature, 293, No. 5828, 133—135 (10 Sept., 1981).
Longuet-Higgins H. C., Prazdny K., The Interpretation of a Moving Retinal Image, Proc, of the Royal Society of London B., 208, 385 — 397 (1980).
Lozano-Perez T., Spatial Planning: A Configuration Space Approach, IEEE Trans, on Computers, 32, No. 2, 108—120 (1983).
Mackworth A. K., Interpreting Pictures of Polyhedral Scenes, Artificial Intelligence, 4, No. 2, 121 — 137, Summer (1973).
Mackworth A. K., How to See a Simple World, in Machine Intelligence 8, E. W. Elcock, D. M. Michie (eds.). Ellis Horwood, Chichester, 510 —537, 1977-
MacLeod I. D. G., A Study in Automatic Photo-Interpretation, Ph. D. Thesis, Dept, of Engineering Physics, Australian National Univ., Canberra, Australia, Mar., 1970a.
MacLeod I. D. G., On Finding Structure in Pictures, in Picture Language Machines, S. Kaneff (ed.), Academic Press, London, 2 31 —2 56, 1970b.
Malik J., Interpretation of Line Drawings of Curved Objects, Ph. D. Thesis, Dept, of Computer Science, Stanford Univ., Stanford, California, 1985.
Marr D., The Computation of Lightness by the Primate Retina, Vision Research, 14, 1377-1388. 1974.
Marr D„ Early Processing of Visual Information. Philosophical Trans, of the Royal Society of London B, 275, 483 — 524 (1976).
Marr D., Analysis of Occluding Contour, Proc, of the Royal Society of London B., 197, 441-475 (1977).
Marr D., Visual Information Processing: The Structure and Creation of Visual Representations, Philosophical Trans, of the Royal Society of London B, 29, 199-218 (1980).
Marr D., Hildreth E., Theory of Edge Detection, Proc, of the Royal Society of London B.. 207, 187-217 (1980).
Marr D.. Nishihara N. K., Representation and Recognition of the Spatial Organization of Three-Dimensional Structure, Proc, of the Royal Society of London B, 200, 269-294 (1978).
Marr D., Palm G., Poggio T., Analysis of a Cooperative Stereo Algorithm, Biological Cybernetics, 28, No. 4, 223 — 239 (1978).
Marr D., Poggio T., Cooperative Computation of Stereo Disparity Science, 194, No. 4262, 283-287 (15 Oct., 1976).
.1 Marr D., Poggio T., A Computational Theory of Human Stereo Vision, Proc, of the Royal Society of London B, 204, 301 —328 (1979).
',Marr D., Ullman ,S., Directional Selectivity and Its Use in Early Visual Processing, Proc, of the Royal Society of London B, 211, 151 — 180 (1981).
Marroquin J. L., Surface Reconstruction Preserving Discontinuities. MIT Al Laboratory Memo 792, Aug., 1984.
Marroquin J. L.. Optimal Bayesian Estimators for Image Segmentation and Surface Reconstruction, MIT AI Laboratory Memo 839, Apr., 1985.
Maybank S. J., The Angular Velocity Associated with the Optical Flow Field Due to a Single Moving Rigid Plane, Proc, of the Sixth European Conf, on Artificial Intelligence, Elcevier, Dordrecht. The Netherlands, 641 — 644, Sept., 1984.
Mayhew J. E. W., The Interpretation of Stereo-Disparity Information: The Computation of Surface Orientation and Depth, Perception, 11, No. 4, 387 — 403 (1982).
Mayhew J. E. W., Frisby J. P., Psychophysical and Computational Studies towards a Theory of Human Stereopsis, Artificial Intelligence, 17, Nos. 1—3, 379-386 (1981).
Mayhew J. E. W., Longuet-Higgins H. C., A Computational Model of Binocular Depth Perception, Chapter 5 in Image Understanding 1984, S. Ullman, W. Richards (eds.), Ablex Publishing Corp., Norwood, New' Jersey, 1984.
McCann J. J., Land E. H., Tatnall S. M. V., A Technique for Comparing Human Visual Responses with a Mathematical Model for Lightness, American Journal of Optometry, 47, No. 11, 845 — 855 (1970).
Mersereau R. M., The Processing of Hexagonally-Sampled Two-Dimensional Signals, Proc, of the IEEE, 67, No. 6, 9.30-949 (1979).
Michalski R. S., Stepp R. E., Automated Construction of Classifications: Conceptual Clustering Versus Numerical Taxonomy, IEEE Trans, on Pattern Analysis and Machine Intelligence, 5, No. 4, 396 — 410 (1983).
Minkowski H.. Allgemeine Lehrsatze Ober die konvexen Polyeder, Nachrichten von der Koniglichen Gesellschaft der Wissenschaften. mathematisch-physikalische Klasse, Gottingen, 198-219, 1897.
Minnaert M., Photometry of the Moon, in Planets and Satellites, 3, G. P. Kuiper, В. M. Middlehurst (eds.), Univ, of Chicago Press, Chicago, 213-248, 1961.
Mitchell J. L., Goertzel G., Two-Dimensional Facsimile Coding Scheme, IBM Research Report RC 7499, Jan.. 1979.
Modestino J. W., Fries R. W., Edge Detection in Noisy Images Using Recursive Digital Filtering, Computer Graphics and Image Processing, 6, No. 5, 409-433 (1977).
Mori K., Genchi H.. Watanabe S.. Katsuragi S., Microprogramm Controlled Pattern Processing in a Handwritten Mail Reader-Sorter, Pattern Recognition. 2, No. 3, 175-185 (1970).
Mori K., Kidode M.. Asada H., An Iterative Prediction and Correction Method for Automatic Stereocomparison, Computer Graphics and Image Processing. 2, Nos. 3, 4, 393-401 (1973).
Mori S., Yamamoto K., Yasuda M., Research on Machine Recognition of Handprinted Characters, IEEE Trans, on Pattern Analysis and Machine Intelligence, 6, No. 4, 386-405 (1984).
Nagel H.-H.. Representation of Moving Rigid Objects Based on Visual Observations, Computer, 14, No. 8, 29 — 38 (1981a).r
Nagel H.-H., On the Derivation of 3-D Rigid Point Configurations from Image Sequences, Proc. Pattern Recognition and Image Processing Conf., Dallas, Texas, 103—108, 3 — 4 Aug., 1981b.
Nagel H.-H., On Change Detection and Displacement Vector Estimation in Image Sequences, Pattern Recognition Letters, 1, 55 — 59 (1982).
Nagel H.-H., Displacement Vectors Derived from Second-Order Intensity Variations in Image Sequences, Computer Vision, Graphics and Image Processing, 21, No. 1, 85- 1 17 (1983a).
Nagel H.-H., Constraints for the Estimation of Displacement Vector Fields from Image Sequences, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Karlsruhe, West Germany, 945 — 951, 8—12 Aug., 1983b.
Nagy G., Feature Extraction on Binary Patterns, IEEE Trans, on Systems Science and Cybernetics, 5, No. 4, 273 — 278 (1969).
Nahin P. J.. The Theory and Measurement of a Silhouette Descriptor for • Image Preprocessing and Recognition, Pattern Recognition. 6, No. 2, 85 — 95. * 358. Negahdaripour S.. Horn В. К. P.. Determining 3-D Motion of Planar Objects from Image Brightness Measurements, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Los Angeles, California, 898 — 901, 18 — 23 Aug., 1985.
Netravali A. N., Robbins J. D., Motion-Compensated Television Coding: Part I, The Bell System Technical Journal, 58, No. 3, 631 —670 (1979).
Neumann B., Motion Analysis of Image Sequences for Object Grouping and Reconstruction, Proc. Pattern Recognition Conf., Miami, Florida, 1262 — 1265, 1-4 Dec., 1980a.
Neumann B., Exploiting Image Formation Knowledge for Motion Analysis, IEEE Trans, on Pattern Analysis and Machine Intelligence, 2, No. 6, 550 — 554 (1980b).
Nevada R., Evaluation of a Simplified Hueckel Edge-Line Detector, Computer Graphics and Image Processing, 6, No. 6, 582 — 588 (1977a).
Nevatia R., A Color Edge Detector and Its Use in Scene Segmentation, IEEE Trans, on Systems, Man and Cybernetics, 7, No. 11, 820 — 826 (1977b).
Nevatia R., Babu K. R., Linear Feature Extraction and Description, Computer Graphics and Image Processing, 13, No. 3, 257 — 269 (1980).
Nevatia R., Binford T. O., Discription and Recognition of Curved Objects, Artificial Intelligence, 8. No. 1, 77 — 98 (1977).
Nicodemus F. E., Richmond J. C., Hsia J. J., Ginsberg I. W., Limperis T., Geometrical Considerations and Nomenclature for Reflectance, NBS Monograph 160, National Bureau of Standards, U. S. Dept, of Commerce, Washington D. C., Oct., 1977.
Nishihara H. K., Intensity, Visible-Surface, and Volumetric Representations, Artificial Intelligence, 17, Nos. 1 —3, 265 — 284 (1981).
Nishihara H. K., PRISM: A Practical Real-Time Imaging Stereo Matcher, Proc. SPIE Cambridge Symp. on Optical and Electro-Optical Engineering, Cambridge, Massachusetts, 6—10 Nov., 1983.
Nitzan D., Brain A. E., Duda R. O., The Measurement and Use of Registered Reflectance and Range Data in Scene Analysis, Proc, of the IEEE, 65, No. 2, 206-220 (1977).
O’Gorman F., Edge Detection Using Walsh Functions, Artificial Intelligence, 10, No. 2, 215-223 (1978).
O’Gorman F., Clowes M. B., Finding Picture Edges through Collinearity of Feature Points. IEEE Trans, on Computers, 25, No. 4, 449 — 456 (1976).
Ohlander R., Price K., Reddy D. R., Picture Segmentation Using a Recursive Region Splitting Method. Computer Graphics and Image Processing, 8, No. 3, 313-333 (1978).
Ohta Y., Kanade T., Stereo by Intra- and Inter-scanline Search Using Dynamic Programming. CMU-CS-83-162, Dept, of Computer Science, Carnegie-Mellon Univ., Pittsburgh, Oct., 1983.
Paquin R., Dubois E., A Spatio-Temporal Gradient Method for Estimating the Displacement Field in Time-Varying Imagery, Computer Vision, Graphics and Image Processing, 21, No. 2, 205 — 221 (1983).
Pavlidis T., A Thinning Algorithm for Discrete Binary Images, Computer Graphics and Image Processing, 13, No. 2, 142—157 (1980).
Pavlidis T., An Asynchronous Thinning Algorithm, Computer Graphics and Image Processing, 20, No. 2, 133 — 157 (1982).
Peli T., Malah D., A Study of Edge Detection Algorithms, Computer Graphics and Image Processing, 20, No. 2, 1—21 (1982).
Pentland A. P., Finding the Illuminant Direction, Journal of the Optical Society of America, 72, No. 4, 448 — 455 (1982).
Pentland A. P., Local Shading Analysis, IEEE Trans, on Pattern Analysis and Machine Intelligence, 6, No. 2, 170—187 (1984).
Poggio T., Vision by Man and Machine, Scientific American, 250, No. 4, 106— 116 (1984).
Poggio T., Koch C, An Analog Model of Computation for the Ill-Posed Problems of Early Vision, MIT AI Laboratory Memo 783, May, 1984.
Poggio T., Torre V., Ill-Posed Problems and Regularization Analysis in Eearly Vision, MIT Laboratory Memo 773, Apr., 1984.
Pong Т.-C., Shapiro L. G., Watson L. T., Haralick R. M., Experiments in Segmentation Using a Facet Model Region Grower, Computer Vision, Graphics and Image Processing, 25, No. 1, 1—23 (Jan., 1984).
Prazdny K., Motion and Structure from Optical Flow, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Tokyo, Japan, 702 — 704, 20 — 24 Aug., 1979.
Prazdny K., Egomotion and Relative Depth Map from Optical Flow, Biological Cybernetics, 36, No. 2, 87—102 (1980).
Prazdny K., Determining the Instantaneous Direction of Motion from Optical Flow Generated by a Curvilinearly Moving Observer, Computer Graphics and Image Processing, 17, No. 3, 238 — 248 (1981).
Prazdny K., On the Information in Optical Flows, Computer Vision, Graphics and Image Processing, 22, No. 2, 239 — 259 (1983).
Preston K., Jr., Feature Extraction by Golay Hexagonal Pattern Transforms, IEEE Trans, on Computers, 20, No. 9, 1007—1014 (1971).
Preston K. Jr., Computer Processing of Biomedical Images,’ Computer, 9, No. 5, 54-68 (1976).
Ramakrishna R. S., Mullick S. M., Rathore R. K. S., A New Iterative Algorithm for Image Restoration, Computer Vision, Graphics and Image Processing. 30, No. 1. 47-55 (1985).
Ramer E. U., The Transformation of Photographic Images into Stroke Arrays.' IEEE Trans, on Circuits and Systems. 22, No. 4, 363 — 374 (1975).
Ray R., Birk J., Kelley R. B., Error Analysis of Surface Normals Determined
by Radiometry, IEEE Trans, on Pattern Analysis and Machine Intelligence. 5, No. 6, 631-645 (1983).
Rindfleisch T., Photometric Method for Lunar Topography, Photogrammetric Engineering, 32, No. 2, 262 (1966).
Roberts L. G., Machine Perception of Three-Dimensional Solids, in Optical and Electro-Optical Information Processing, J. T. Tippett et al. (eds.), MIT Press, Cambridge, Massachusetts, 159—197, 1965.
[Имеется перевод: Робертс Л. Автоматическое восприятие трехмерных объектов. В кн.: Интегральные роботы,—М.: Мир, 1973, с. 162 — 208.]
Rosenfeld A., Connectivity in Digital Pictures, Journal of the ACM, 17, No. 1. 146-160 (1970).
Rosenfeld A., Picture Processing: 1972, Computer Graphics and Image Processing.
No. 4, 394-416 (1972).
Rosenfeld A., Picture Processing: 1973, Computer Graphics and Image Processing, 3, No. 2, 178-194 (1974).
Rosenfeld A., Picture Processing: 1974, Computer Graphics and Image Processing, 4, No. 2, 133- 155 (1975).
Rosenfeld A., Picture Processing: 1975, Computer Graphics and Image Processing, 5, No. 2, 215-237 (1976).
Rosenfeld A., Picture Processing: 1976, Computer Graphics and Image Processing,
No. 2, 157-183 (1977).
Rosenfeld A., Picture Processing: 1977, Computer Graphics and Image Processing, 7, No. 2, 211-242 (1978).
Rosenfeld A., Picture Processing: 1978. Computer Graphics and Image Processing, 9, No. 4, 354-393 (1979).
Rosenfeld A., Picture Processing: 1979. Computer Graphics and Image Processing 13, No. 1, 46-79 (1980).
Rosenfeld A., Picture Processing; 1980, Computer Graphics and Image Processing 16, No. 1, 52-89 (1981).
Rosenfeld A., Picture Processing: 1981, Computer Graphics and Image Processing 19, No. 1, 35-75 (1982).
Rosenfeld A., Picture Processing: 1982, Computer Vision, Graphics and Image Processing, 22, No. 3, 339—387 (1983).
Rosenfeld A., Picture Processing: 1983, Computer Vision, Graphics and Image Processing, 26, No. 3, 347 — 393 (1984a).
Rosenfeld A., Image Analysis: Problems, Progress and Prospects. Pattern Recognition, 17, No. 1, 3— 12 (1984b).
Rosenfeld A., Picture Processing: 1984, Computer Vision. Graphics and Image Processing, 30, No. 2, 189 — 242 (1985).
Rosenfeld A., Davis L. S., Image Segmentation and Image Models, Proc, of the IEEE, 67, No. 5, 7647-7672 (1979).
Rosenfeld A., Hummel R. A., Zucker S. W., Scene Labelling by Relaxation Operations, IEEE Trans, on Systems, Man and Cybernetics, 6, No. 6, (1976).
Rosenfeld A., Thurston M., Edge and Curve Detection for Visual Scene Analysis, IEEE Trans, on Computers, 20, No. 5, 562 — 569 (1971).
Rosenfeld A., Thurston M., Lee Y. H., Edge and Curve Detection: Further Experiments, IEEE Trans, on Computers, 21, No. 7, 677-715 (1972).
Salamin E., Application of Quaternions to Computation with Rotations, Stanford AI Laboratory Internal Working Paper, Dept, of Computer Science. Stanford Univ., Stanford, California, 1979.
Sankar P. V., A Vertex Coding Scheme for Interpreting Ambiguous Trihedral
Solids, Computer Graphics and Image Processing, 6, No. 1, 61 — 89 (1977).
Savol A. M., Li С. C., Hoy R. J., Computer-Aided Recognition of Small Rounded Pneumoconiosis Opacities in Chest X-Rays, IEEE Trans, on Pattern Analysis and Machine Intelligence, 2, No. 5, 479 — 482 (1980).
Schalkoff R. J., McVey E. S., A Model and Tracking Algorithm for a Class of Video Targets, IEEE Trans, on Pattern Analysis and Machine Intelligence, 4, No. 1, 2-10 (1982).
Schreiber W. F., Image Processing for Quality Improvement, Proc, of the IEEE, 66, No. 12, 1640-1651 (1978).
Schunck B. G., Horn В. К. P., Constraints on Optical Flow Computation, Proc. Pattern Recognition and Image Processing Conf., Dallas, Texas, 205 — 210, 3-4 Aug., 1981.
Schut G. H., On Exact Linear Equations for the Computation of the Rotational Elements of Absolute Orientation, Photogrammetric, 17, No. 1, 34 — 37 (1960).
Selfridge P. G., Prewitt J. M. S., Organ Detection in Abdominal Computerized Tomography Scans: Application to the Kidney, Computer Graphics and Image Processing, 15, No. 3, 265 — 278 (1981).
Serra J., The Boolean Model and Random Sets, Computer Graphics and Image Processing, 12, No. 2, 99—126 (1980).
Shafer S. A., Kanade T., Using Shadows in Finding Surface Orientations, Computer Vision. Graphics and Image Processing, 22, No. 1, 145— 176 (198 3).
Shafer S. A., Kanade T., Render J., Gradient Space under Orthography and Perspective, Computer Vision, Graphics and Image Processing, 24, No. 2, 182 — 199 (1983).
Shapira R., A Note on Sugihara’s Claim, IEEE Trans, on Pattern Analysis and Machine Intelligence, 6, No. 1, 122 — 123 (1984).
Shapira R., Freeman H., The Cyclic Order Property of Vertices as an Aid in Scene Analysis, Communications of the ACM. TL, No. 6, 368 — 375 (1979).
Shirai Y., A Context-Sensitive Line Finder for Recognition of Polyhedra, Artificial Intelligence, 4. No. 2, 95— 119 (1973).
Silver W. M,, Determining Shape and Reflectance Using Multiple Images, S. M. Thesis, Dept of Electrical Engineering and Computer Science, MIT, Cambridge, Massachusetts, June 1980.
Sjoberg R. J., Horn В. К. P., Atmospheric Effects in Satellite Imaging of Mountainous Terrain, Applied Optics, 22, No. 11, 1702—1716 (1983).
Sloan К. B. Jr., Brown С. M., Color Map Techniques, Computer Graphics and Image Processing, 10, No. 4, 297 — 317 (1979).
Smith D. A., Using Enhanced Spherical Images, MIT AI Laboratory Memo 530, May 1979.
Smith J. A., Lin T. L., Ranson K. J., The Lambertian Assumption and Landsat Data, Photogrammetric Engineering and Remote Sensing, 46, No. 9, 1183-1189 (1980).
Sobel I., Camera Models and Machine Perception, Stanford AI Memo 121, Dept, of Computer Science, Stanford Univ., Stanford California, May, 1970.
Stefanelli R., Some Parallel Thinning Algorithms for Digital Pictures, Journal of the ACM, 18, No. 2, 255-264 (1971).
Stevens K. A., The Visual Interpretation of Surface Contours, Artificial Intelligence, 17, Nos. 1 — 3, 47 — 73 (1981).
Strat T. M., A Numerical Method for Shape from Shading from a Single
Image, S. M. Thesis, Dept, of Electrical Engineering and Computer Science, MIT, Cambridge, Massachusetts, Jan., 1979.
Stuller J. A., Netravali A. N., Robbins J. D., Interframe Television Coding Using Gain and Displacement Compensation, Bell Systems Technical Journal, 59, No. 7, 1227 1240 (1980).
Sugihara K., Classification of Impossible Objects, Perception, 11, No. I, 65-74 (1982a).
Sugihara K., Mathematical Structures of Line Drawings of Polyhedrons — Toward Man-Machine Communication by Means of Line Drawings, IEEE Trans, on Pattern Analysis and Machine Intelligence, 4, No. 5, 458 — 469 (1982b).
Sugihara K., An Algebraic Approach to Shape-from-Image Problems, Artificial Intelligence, 23, No. I, 59 — 95 (1984a).
Sugihara K., A Necessary and Sufficient Condition for a Picture to Represent a Polyhedral Scene, IEEE Trans, on Pattern Analysis and Machine Intelligence,
No. 5, 578-586 (1984b).
Sugihara K., Sugie N., Recovery of Rigid Structure from Orthographically Projected Optical Flow, Computer Vision, Graphics and Image Processing, 27, No. 3, 309-320 (1984).
Sutro L. L., Lerman J. B., Robot Vision, Internal Report R-635, Charles Stark Draper Laboratory, Cambridge. Massachusetts, Apr., 1973.
Tabatabai A. J., Mitchell O. R., Edge Location to Subpixel Values in Digital Imagery, IEEE Trans, on Pattern Analysis and Machine Intelligence, 6, No. 2, 188-201 (1984).
Tafoya B. R., A Unique Cartographic, Scanning, Vectorizing and Editing System, Image Understanding System and Industrial Applications, Proc. SPIE 22nd Annual Technical Symp., San Diego, California, 155, 2 — 7, 28 — 31 Aug., 1978.
Taylor R. FL, Planning and Execution of Straight Line Manipulator Trajectories, IBM Journal of Research and Development, 23, No. 4, 424 — 436 (1979).
Tenenbaum J. M., Barrow H. G., Experiments in Interpretation-Guided Segmentation, Technical Note 123, Stanford Research Institute, Menlo Park. California, Mar., 1976.
Terzopoulos D., Multilevel Computational Processes for Visual Surface Reconstruction, Computer Vision, Graphics and Image Processing, 24, No. I, 52 — 96 (1983).
Terzopoulos D., Efficient Multiresolution Algorithms for Computing Lightness, Shape from Shading, and Optical Flow, Proc, of the Fourth National Conf, on Artificial Intelligence, Univ, of Texas, Austin, Texas, 314 — 317, 6—10 Aug., 1984a.
Terzopoulos D., Multiresolution Algorithms in Computational Vision, Chapter 10 in Image Understanding 1984, S. Ullman and W. Richards (eds.), Ablex Publishing Corp., Norwood. New Jersey, 1984b.
Thompson E. FL. An Exact Linear Solution of the Problem of Absolute Orientation, Photogrammetria, 15, No. 4. 163—179 (1959).
Thompson W. B., Lower-Level Estimation and Interpretation of Visual Motion, Computer, 14, No. 8, 20 — 28 (1981).
Torrance К. E., Sparrow E. M., Theory for Off-Specular Reflection from Roughened Surfaces, Journal of the Optical Society of America, 57, No. 9, 1105-1114 (1967).
Trowbridge S., Reitz К. P., Average Irregularity Representation of a Rough Surface for Ray Reflection, Journal of the Optical Society of America, 65, No. 5, 531-536 (1975).
Tsai R. Y., Multiframe Image Point Matching and 3-D Surface Reconstruction, Report RC 9398, IBM T. J. Watson Research Center, Yorktown Heights, New York, May, 1982.
Tsai R. Y., Huang T. S., Uniqueness and Estimation of Three-Dimensional Motion Parameters of Rigid Objects with Curved Surfaces, IEEE Trans, on Pattern Analysis and Machine Intelligence, 6, No. 1, 13 — 27 (1984a).
Tsai R. Y., Huang T. S., Estimating Three-Dimensional Motion Parameters of a Rigid Planar Patch, III: Finite Point Correspondences and the Three-View Problem, IEEE Trans, on Acoustics, Speech, and Signal Processing, 32, No. 2, 213-220 (1984b).
Tsai R. Y., Huang T. S., Zhu W.-L., Estimating Three-Dimensional Motion Parameters of a Rigid Planar Patch, II: Singular Value Decomposition, IEEE Trans, on Acoustics, Speech, and Signal Processing, 30, No. 4, 525 — 534 (1982).
Tsao Y. E., Fu K. S., A Parallel Thinning for 3-D Pictures, Computer Graphics and Image Processing, 17, No. 4, 315 — 331 (1981).
Tuong-Phong B., Illumination for Computer-Generated Images, Communications of the ACM, 18, No. 6, 311-317 (1975).
Turner K. J., Computer Perception of Curved Objects Using a Television Camera, Ph. D. Thesis, Univ, of Edinburgh, Edinburgh, U. K., 1974.
Ullman S., Relaxation and Constrained Optimization by Local Processes, Computer Graphics and Image Processing, 10, No. 2, 115 — 125 (1979).
Ullman S., Analysis of Visual Motion by Biological and Computer Systems, Computer, 14, No. 8, 57 — 69 (1981).
Van Digellen J., A Photometric Investigation of the Slopes and Heights of the Ranges of Hills in the Maria of the Moon. Bulletin of the Astronomical Institute of the Netherlands, 11, 423 (1951).
Van Hove P. L., Verly J. G., A Silhouette-Slice Theorem for Opaque 3-D Objects, Proc. IEEE Intern. Conf, on Acoustics, Speech and Signal Processing, Tampa, Florida, 933-936, 26-29 Mar., 1985.
Waltz D. L., Generating Semantic Descriptions from Drawings of Scenes with Shadows, Chapter 3 in The Psychology of Computer Vision, P. H. Winston (ed.), McGraw-Hill Book Co., New York, 1972.
[Имеется перевод: Уолц Д. Интерпретация контурных рисунков, изображающих сцены с тенями. В кн.: Психология машинного зрения. Сб. статей./Под ред. П. Уинстона,—М.: Мир, 1978, с. 30—111.]
Ward М. R., Rheaume D. Р., Holland S. W... Dunseth J. Н., Production Plant CONSIGHT Installations, Internal Report GMR-4156, General Motors Research Laboratories, Warren/ Michigan, Aug., 1982.
Waxman A. M., Ullman S., Surface Structure and 3-D Motion from Image Flow: A Kinematic Analysis, Report CAR-TR-24, Computer Vision Laboratory, Center for Automation Research, Univ, of Maryland, College Park, Maryland. Oct., 1983.
Waxman A. M., Wohn K., Contour Evolution, Neighborhood Deformation and Global Image Flow: Planar Surfaces in Motion, Report CAR-TR-58, Computer Vision Laboratory, Center for Automation Research, Univ, of Maryland, College Park, Maryland, Apr., 1984.
Webb J. A., Aggarwal J. K., Structure from Motion of Rigid and Jointed Objects. Artificial Intelligence, 19, No. 1, 107—130 (1982).
Winston P. H., The MIT Robot in Machine Intelligence 7, B. Meltzer and D. M. Michie (eds.), Edinburgh Univ. Press, 431—463, 1972.
[Имеется перевод: Уинстон П. Робот MIT. В кн.: Интегральные роботы. Вып. 2.-М.: Мир, 1975, с. 47-88.]
Witkin А. Р., Recovering Surface Shape and Orientation from Texture, Artificial Intelligence, 17, Nos. 1 —3, 17 — 45 (1981).
Witkin A. P., Scale-Space Filtering, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Karlsruhe, West Germany, 1019 — 1022, 8—12 Aug.. 1983.
Witkin A. P., Scale Srace Filtering: A New Approach to Multi-Scale Description, Chapter 3 in Image Understanding 1984, S. Ullman and W. Richards (eds.), Ablex Publishing Corp., Norwood, New Jersey, 1984.
Wohn K., Davis K. S., Thrift P., Motion Estimation Based on Multiple Local Constraints and Nonlinear Smoothing, Pattern Recognition, 16, No. 6, 563-570 (1983).
Wojcik Z. M., An Approach to the Recognition of Contours and Line- Shaped Objects, Computer Piston, Graphics and Image Processing, 25, No. 2, 184-204 (1984).
Woodham R. J., A Cooperative Algorithm for Determining Surface Orientation from a Single View, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Cambridge, Massachusetts, 635 — 641, 22 — 25 Aug., 1977.
Woodham R. J., Reflectance Map Techniques for Analyzing Surface Defects in Metal Castings, MIT Al Laboratory Technical Report 457, June, 1978a.
Woodham R. J., Photometric Stereo: A Reflectance Map Technique for Determining Surface Orientation from a Single View, Image Understanding Systems and Industrial Applications, Proc. SPIE 22nd Annual Technical Symp., San Diego, California, 155, 136-143, 28-31 Aug., 1978b.
Woodham R. J., Relating Properties of Surface Curvature to Image Intensity, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Tokyo, Japan, 971 — 977, 20-24 Aug., 1979.
Woodham R. J., Photometric Method for Determining Surface Orientation from Multiple Images, Optical Engineering, 19, No. 1, 139 — 144 (Jan./Febr., 1980).
Woodham R. J., Analysing Images of Curved Surfaces, Artificial Intelligence. 17, Nos. 1-3, 117-140 (1981).
Woodham R. J., Photometric Method for Determining Shape from Shading, Chapter 4 in Image Understanding 1984, S. Ullman and W. 'Richards (eds.), Ablex Publishing Corp., Norwood, New Jersey, 1984.
Yachida M., Tsuji S., A Versatile Machine Vision System for Complex Industrial Parts, IEEE Trans, on Computers, 26, No. 9, 882 — 894 (1977).
Yakimovsky Y., Boundary and Object Detection in Real World Images, Proc, of the Intern. Joint Conf, on Artificial Intelligence, Tbilisi, Georgia, USSR, 695-704, 3-8 Sept., 1975.
Yen B. L., Huang T. S., Determining 3-D Motion and Structure of a Rigid Body Using Spherical Projection, Computer Vision, Graphics and Image Processing, 21, No. 1, 21—32 (Jan., 1983).
Yong I. T., Automated Leukocyte Recognition, Ph. D. Thesis, Dept, of Electrical Engineering, MIT, Cambridge, Massachusetts, June, 1969.
Yuille A. L., Poggio T., Scaling Theorems for Zero-Crossings, MIT Laboratory Memo 722, June, 1983.
Автокорреляция 144
Алгоритм разметки последовательный 81
Альбедо 234, 418
восстановление 239
Анализ изображения 20
сцены 20, 26
Аппроксимация дискретная 374, 413
линейная 430
База 300
Вариация квадратная 175
Вектор ковариантный 194
не зависящий от выбора системы координат 175
собственный 74
Величина случайная 47
трехстимульная спектральная 46
Видение машинное 412, 416, 436, 438
Виньетирование 40
Восстановление формы 257
Вращение мгновенное вокруг оси 394
Выпуклость и вогнутость 88, 89
Выравнивание случайное 353
Выход квантовый 44
Вычисления локальные 84
Гипермногогранники 336
Гистограмма дифференциальная 103
интегральная 103, 106
ориентации 370, 374, 414, 427, 428
439
Глубина резкости 39
сцены 35
Градиент поверхности 228
яркости 175, 286
Датчик близости 434
Движение вращательное 404
поступательное 396, 408
— мгновенное 394
Двуугольники 373
противоположные 374
ширина 373
Дельта-функция Дирака 120
Диаграмма игольчатая 268, 413, 419
— восстановление дальности 269
— перепроектирование 429
разброса 334
Диспарантность 299. 301
Дифференциал Эйлера 91, 92
Дифференцирование векторной переменной 447
по векторной переменной 444
— — — скаляра 445
Додекаэдр 376
Долгота 369
Задачи вариационные без ограничений 457
двумерные 69
Закон Ламберта 225
Значение «истинное» 47
«ожидаемое» 48
собственное 74
Зрение машинное 19, 27. 29, 362
цветовое 54
Идентификация поверхностей объекта 43
Избыток сферический 249
Изображение 16. 20
бинарное 21, 60, 61, 63, 77, 84, 90, 103
— дискретное 69
— компонента 21
— — связная 77
— полутоновое 21
восстановление 141
двоичное 419
дискретизация 52
плоскость 53
полутоновое 61
предварительная обработка 20
сцены 24
улучшение 141
Икосаэдр 376
Инерции матрица 421
момент 421
И нтег рированиедифференциальных
уравнений численное 264
Интерполяция 321
Интерпретация изображения 43
контурных рисунков 20
Источник точечный 25
Карта отражательной способности 234, 245, 251
— — линейная 252
—. — обладающая круговой симметрией 255
— — простая 253
Кватернионы 426, 438, 439
единичные 439
Классификация образов 19, 332
— трудности 342
по ближайшей центроиде 336
— ближайшему соседу 335
Кластеры 335
автоматическое формирование 341
разной формы 339
Кодирование с переменной длиной кодовой последовательности 70
Код с переменной длиной 70
Колбочки 45
Комплексы машинные 15
Компьютер 16
Контур ограничивающий 263
Координат глаз-рука преобразование 434
Координаты цветности 47
Корреляция 143
взаимная 143, 146
Коэффициенты биномиальные 171
поперечного увеличения 34, 35
Кривая гауссова нулевая 275
Кривизна гауссова 275, 366, 368, 369, 370, 381
— в общем случае 380
— тела вращения 378, 381
— точное определение 423
главная 386
полная 366
— сечения 387
Кривые наблюдения стандартные 46
— трехстимульные 46
Лапласиана величина 177
функции 134
Лента конвейера 15, 18
Линзы аберрация 41
— порядок
идеальная 38
плоскости главные 40
простая 39*
телескопическая (длиннофокусная)
36
толстая 40
толщина 40
тонкая 40
точки главные 40
широкоугольная (короткофокусная)
36
Линии нулевого уровня 189
силуэтные 173
характеристические 254, 259
эпиполярные 310
Манипулятор 432
механический 412, 415., 435
Маркер контрольный 434
Маска 164, 178
Матрица Гессе 258
Мера нуль 397
Метод восстановления формы поверхности 25
вычислительный специальный 16
итеративный 270
корреляционный 317
машинного зрения 20
наименьших квадратов 394.406 410, 447
— - формулировка 396
определения движения камеры 406
основанный на отождествлении краев 319
стереофотометрический 237238,
413, 417, 433
Методы вариационного исчисления 453, 458
Микроскоп электронный сканирующий (СЭМ) 43
Минимизация в случае дискретном 266
— — непрерывном 265
Многоугольник групповой 96
Множитель Лагранжа 405, 448
сходимости 131
Модель ежа 365
— сумма векторов 365
Модификация итеративная 90
Момент функции второй 49
— первый 49
Мондриан 200
Набросок 20
Направление смещения 87 — 89
Неравенство Коши — Шварца 401
Нормаль внешняя 380
— единичная 369, 388
Носитель конечный 167
Область постоянной яркости 174
пространственная 124
связная 79
частотная 124
Обработка изображения 18
Образ гауссов 413, 423
— расширенный 421
расширенный круговой 383
— сферический 362, 363. 385
— — вычисление 371
— — значение 372
— — многогранник 363, 364
— — приложение 382
— — примеры 369
тора 369, 372. 374, 385
сферический 365, 366, 383
— участок 366 — 368
точки 365
«Округлость» объекта 66
Оператор Лапласа 135, 179, 193, 194
линейный 21
Операция консервативная 90
логическая И 61
ИЛИ 61
локальная 83
распространения 94
свертки 127, 128
Описание сцены 22
Определение среднего 48
Ориентация 63
абсолютная 302, 303
— геометрическая интерпретация 305
относительная 302, 307
— геометрическая интерпретация 308
пространственная 361
Ориентирование внешнее 311
внутреннее 312. 313
Ортогональность матрицы поворота 304
Освещенность изображения 36, 218
Оси главные 421
Остов 90
Отверстие идеальное точечное 38
относительное 219
Отклонение стандартное 49
Отображение сферическое 365
Отражение глянцево 231
ламбертово 225, 231
Отрезки прямолинейные 20
«Парадигмы изначальные» 31
Параметры движения 393
Пара сопряженная 301
Переменные булевы 93
Плоскость главная 56, 386
стереографическая 263
эпиполярная 310
Плотность распределения вероятности
47, 49, 50
Площадь и положение 62
Поверхность двумерная 418
ламбертова 229, 248
— идеальная 223
подобная 396
Подсветка структурная 107
Подход дискретный 394
дифференциальный 394
Поле движения 280
Полоса характеристическая 259
Поток оптический 280, 281, 393 — 395
— гладкость 285
— доопределение 285
— лапласиан 407, 408
— оценка 288
разности компонент 287
— разрывы 291
Преобразование Абеля L54
аффинное 313, 434
Ганкеля 1 37
глаз-рука 299, 311
косинусное 163
параметрическое 371
Фурье nS-m. 133, 136, 137, 139,
157, 165
— дискретное 162, 165
Преобразователь аналого-цифровой (АЦП) 52
Признаки 334
вектор 336, 334
пространство 334
Применение приборов с зарядовой связью (ПЗС) 54
Принятие решений 17
Проекция 66, 67
вертикальная 68, 72
гномоническая 244, 264
горизонтальная 68 — 71
диагональная 68
ортогональная(параллельная) 34, 36
стереографическая 244, 26 3, 264
центральная (перспективная) 33
Произведение Кронекера 195
Прореживание (стягивание) 94
Пространство градиентное 229, 263, 350
— н полутона 35]
дуальное 360
Процесс самообучения (настраивания) 345
формирования изображения 22, 23, 26, 43
численный 400
Разбиение поверхности объекта 370
— сферы 370
пространства вращения 427
сферы мозаичное 425
Разметка компонент 77
Распознавание образов 29
Распределение вероятности нормальное (гауссово) 51
полутонов 252
Пуассона 51
Распространение ограничений 356
Расстояние фокусное 39, 56
Ребра от раничиваюшие 351
Решение векторных уравнений 443
переопределенной системы 305
треугольников 441
Рисунок линейный 352. 355
— маркировка 353
Робот 1 5
рука 437
Свертка круювая 165
Свойство аддитивности 86. 87
поверхности отражательное 23
фильтрующее 130
Связность 78
Сегментация «правильная» 112
Сечение нормальное 386
Сила света 243
Система бинарная обработки изображений 16
биологическая зрительная 15
глаз-рука 26
зрительная «универсальная» 17
искусственная 27
координат декартова 308
— камеры 25, 415
— манипулятора 415
— связанная с наблюдателем 311
- — - объектом 311
линейная 117
машинного зрения 15- 18, 22. 25, 47
оптическая 41
пространственно-инвариантная 118
стереофотометрическая 437, 439
Случай общий 451
ограничения одного 449
— нескольких 450
Спектр энергетический 144
Способность отражательная 202
— поверхности 418
Способы разбиения 53
Среда окружающая 15, 17
Стереокомпаратор 302
Сфера гауссова 278, 363, 365, 367, 370-374, 381
— площадь 374
единичная 365
разбиение 374, 375
Схема итеративная 288
ретипексная 199
— Лэнда 202
Съемка поверхности топографическая 322
Тело вращения 378, 379, 424
— ориентация оси 425
Теорема Грина 76
Жордана 79
косинусов 441
о проекции 441
отсчетов 53
Парсеваля 129
Рэлея 129
Теория линейных систем 18
Томография 42. 68
Тор 385
наклонный 413
Точка схода движения 408
Точки особые 261
Треугольник сферический 441
Угол азимутальный 220
поля зрения 36
полярный 220
телесный 37
яркости 286
Упорядочение характерных точек 319
Уравнение параметрическое 371
— Пуассона 203
— Эйлера 321
Условие взаимности Гельмгольца 221
— ортогональности 307
— трансверсальности 286
Установка диафрагмы 41
— соответствия 314
Участки равновеликие 370
Фильтр оптимальный 145
Флуктуация в сигнале 47
Формирование изображения 16, 17
Функционал 453
Функция Бесселя 138
— булева 93
— выделения окна 164
- Гаусса 132, 139, 181, 193, 192
— Грина 203
— единичная ступенчатая 130
— носитель 149
— обобщенная 129
— отражательной способности двухлучевая (ДФОС) 220, 226, 239
— передаточная 123, 125
— распределения вероятности 49
— рассеяния края 154
— — точки 120, 192
- характеристическая 60"' ■’1 д
Характеристики базовые 254, 259 ,
Цвета восприятие 45
— метамерический 46
Центр вращения 408
— геометрический 62, 63
— масс 425
Цилиндр обобщенный 384
Частота Найквиста 160
Число Эйлера 85, 88 — 92
Чувствительность спектральная 36
Широта 369, 379?
Шум крапчатый 108
Эксперименты Лэнда 198
Элемент изображения (пиксел) 52, 83,
90, 104, 106, Н4, Н5, 176, 371, 431
Эпиполяра 301
Эффект наложения 161
Явление дифракции 38
Яркость 36
— изображения 25, 36
— поверхности 218, 219, 224
- — энергетическая 37
— сцены 37, 42
— участков поверхности объектов 37
Ячейка разбиения 373
Оглавление
Предисловие редакторов перевода5
Предисловие8
Благодарности13
Введение15
Формирование и ввод изображения32
Бинарные изображения: геометрические характеристики60
Бинарные изображения: топологические характеристики77
Области и сегментация изображения 102
Обработка непрерывных изображений116
Обработка дискретных изображений156
Края и их обнаружение173
Светлота и цвет.. 198
Карта отражательной способности. Стереофотометрия214
Карта отражательной способности: восстановление формы по полутонам . . . 251
Поле движения. Оптический поток280
Фотограмметрия и стереовидеиие299
Классификация образов332
Многогранные объекты347
Расширенные сферические образы362
Пассивная навигация. Определение структуры по движению393
Выбор деталей из контейнера412
Приложение: используемый математический аппарат441
Литература459
Предметный указатель483
Научное издание
Бертольд Клаус Поль Хорн
ЗРЕНИЕ РОБОТОВ
Зав. редакцией д.-р. техн, наук А.Л. Щерс. Зам. зав. редакцией Э.Н. Вадиков. Ст. научный редактор В.С. Соболев. Мл. научный редактор Н.И. Сивилева. Художник Г.М. Чеховской. Художественные редакторы Н.М. Иванов, О.Н. Адаскина. Технические редакторы М.А. Страшнова, Е.В. Алехина. Корректор В.И. Киселева. ИВ № 6881
Сдано в набор 20.01.89. Подписано к печати 05.10.89. Формат 60 х 88 1/16. Бумага офсетная №1. Печать офсетная. Гарнитура Таймс. Объем 15.25 бум.л. Усл.печ.л. 29,89 Усл.кр.-отт.29,89. Уч.-изд.л. 30,58. Изд. №6/6144. Тираж 8700 экз. Зак. 2139/1963. Цена 2 р. 80 коп.
Издательство ’’МИР” В/О ’’Совзкспорткнига” Государственного комитета СССР по печати. 129820, ГСП, Москва, 1-й Рижский пер., 2.
Диапозитивы изготовлены в Ордена Октябрьской Революции ордена Трудового Красного Знамени Ленинградском производственно-техническом объединении ’’Печатный Двор’’ имени А.М. Горького при Госкомпечати СССР. 197136, Ленинград, П-136, Чкаловский пр., 15, Отпечатано в Ленинградской типографии № 4 ордена Трудового Красного Знамени Ленинградского объединения ’’Техническая книга” им. Евгении Соколовой при Государственном комитете по печати CCCI? 191126, Ленинград, Социалистическая ул., 14.
Список опечаток
НапечатаноСледует читать
стр. 34,11-я строка снизу
15-я строка снизу стр. 36,1-я строка сверху
ОртогональнаяПараллельная
= l/(rz)r= (1/rz)r
ортогональнуюпараллельную
(параллельную)п
стр. 51,18-ястрокасверху
стр. 129,8-ястрокаснизу
стр 162,5-ястрокаснизу
стр. 197,2-я,3-я, строка
снизу
стр. 208,1-Ястрокаснизу
стр. 237,3-ястрокаснизу
стр. 250,Н-ястрокаснизу
стр. 281,16-ястрокаснизу
4/д/З р(4/V3) Р
(!5/2^)с2/;/ (5/R> '0
7(1 -т- р, р + q- qy^х ^р^р q'^r
abT
ги, Ц'о- г*
pl (х) р2 (х)Pi Ж Ра
стр. 344,5-я строка снизу
pl (X) + р2(х)pi (х) + р8 (х)
стр. 444,12-я строка сверху
а2хо2*
ROBOT VISION
BERTHOLD KLAUS PAUL HORN
The MIT Press
Cambridge, Massachusetts London, England
McGraw-Hill Book Company
New York St. Louis San Francisco Montreal Toronto
Б. К. П. ХОРН
Перевод с английского
канд. физ.-мат. наук Бродской И. М., канд. физ.-мат. наук Зуевой Е. Ю., канд. физ.-мат. наук Каргашина А. Ю.
под редакцией
канд. физ.-мат. наук Кугушева Е. И., д-ра физ.-мат. наук Садова Ю. А.
МОСКВА «МИР» 1989
ББК 32.816
Х79
УДК 681.3
Хорн Б. К. П.
Х79 Зрение роботов; Пер. с англ. — М.: Мир, 1989. — 487 с., ил.
ISBN 5-03-000570-6
В книге американского автора излагаются принципы построения и методы проектирования визуальных средств робототехнических систем. Рассматриваются математические методы анализа зрительной информации, приводятся алгоритмы, позволяющие обрабатывать ее на вычислительных машинах. При этом упор делается на изучение хорошо зарекомендовавших себя на практике методах и алгоритмах.
Для научных работников, инженеров, студентов и аспирантов, занимающихся анализом зрительной информации в робототехнике и при создании искусственного интеллекта.
ББК 32.816ББК 32.816v 1402070000—350 _ оо
ББК 32.816
ББК 32.816
л5 оУ
041(01)—89
Редакция литературы по информатике и робототехнике
ISBN 5-03-000570-6 (русск.)ISBN 0-262-08159-8 (англ.)ISBN 5-03-000570-6 (русск.)ISBN 0-262-08159-8 (англ.)© 1986 by The MassachusettsInstitute of Technology© перевод на русский язык, «Мир», 1989© 1986 by The MassachusettsInstitute of Technology© перевод на русский язык, «Мир», 1989
ISBN 5-03-000570-6 (русск.)
ISBN 0-262-08159-8 (англ.)
ISBN 5-03-000570-6 (русск.)
ISBN 0-262-08159-8 (англ.)
© 1986 by The MassachusettsInstitute of Technology
© перевод на русский язык, «Мир», 1989
© 1986 by The MassachusettsInstitute of Technology
© перевод на русский язык, «Мир», 1989