Семантический анализ видеоизображения и метод поиска
Цена: 1 002руб. (¥47.4)
Артикул: 564907905356
Вес товара: ~0.7 кг. Указан усредненный вес, который может отличаться от фактического. Не включен в цену, оплачивается при получении.
Описание товараПродавец:当当网官方旗舰店
Рейтинг:
Всего отзывов:0
Положительных:0
Добавить в корзину
Другие товары этого продавца
¥9.8208руб.
¥146.93 104руб.
¥31.9675руб.
¥64.21 357руб.
Аспиранты, научные исследователи и сотрудники корпоративных исследований и разработок, работающие в области обработки видеоизображений...
Глава 1 Введение 1
1.1 Обзор видеообнаружения целей 1
1.2 Обзор семантического анализа видео 3
Глава 2. Извлечение ключевых кадров видео на основе взаимной информации 6
2.1 Сегментация видеокадров 7
2.2 Классический метод извлечения ключевых кадров 8
2.2.1 Анализ края линзы для выделения ключевых кадров 8
2.2.2 Метод усреднения кадров для извлечения ключевых кадров 8
2.2.3 Метод усреднения гистограммы для извлечения ключевых кадров 8
2.2.4 Извлечение ключевых кадров посредством сопоставления визуального контента 9
2.3 Метод извлечения ключевых кадров на основе взаимной информации 10
2.4 Результаты экспериментов и анализ 12
Глава 3 Представление и извлечение видеофункций 16
3.1 Анализ структуры видео 16
3.1.1 Иерархическая структура видео 16
3.1.2 Структурные единицы видео 19
3.2 Представление информации видеонаблюдения 20
3.3 Особенности хранения информации видеонаблюдения 23
3.4 Динамическое улучшение структуры индекса R-дерева 26
3.4.1 Проблемы с R-деревом 26
3.4.2 Улучшение алгоритма разделения узлов R-дерева 29
3.4.3 Чтение и запись индекса R-дерева во внешнюю память 31
3.4.4 Результаты экспериментов и анализ 33
Глава 4. Обнаружение целей с помощью сочетания текстурных и цветовых характеристик 36
4.1 Обнаружение движущихся целей на основе достоверного совмещения текстуры и цвета 36
4.1.1 Фоновое моделирование 37
4.1.2 Обнаружение движущихся целей 40
4.1.3 Удаление шума 43
4.1.4 Обновление модели 44
4.1.5 Результаты экспериментов и анализ 44
4.2 Обнаружение целей на основе сжатия признаков по принципу Хаара 48
4.2.1 Алгоритм выделения признаков Хаара и его улучшение 49
4.2.2 Процесс распознавания и обнаружения на основе алгоритма AdaBoost 53
4.2.3 Результаты экспериментов и анализ 54
4.3 Алгоритм среднего сдвига для слияния характеристик цвета и текстуры 56
4.3.1 Идея алгоритма сопровождения цели MS 57
4.3.2 Обнаружение целей с интеграцией функций цвета и текстуры 58
4.3.3 Результаты экспериментов и анализ 64
Глава 5. Метод извлечения семантических признаков видеоизображения 68
5.1 Структура выделения признаков видеоизображения 68
5.2 Представление признаков низкого уровня видео и метод извлечения правдоподобия 71
5.2.1 Метод представления признаков видео низкого уровня 72
5.2.2 Метод правдоподобия выделения низкоуровневых признаков видео 76
5.3 Метод семантического извлечения объектов высокого уровня видео 76
5.4 Метод семантической аннотации объекта высокого уровня видео 78
5.5 Результаты экспериментов и анализ 79
Глава 6. Семантический анализ видеоизображения 83
6.1 Расчет семантического сходства онтологий 83
6.1.1 Традиционный алгоритм расчета семантического сходства 84
6.1.2 Новый алгоритм расчета семантического сходства 86
6.1.3 Результаты экспериментов и анализ 90
6.2 Исследование методов многоуровневого семантического анализа видео 95
6.2.1 Многоуровневая структура семантического извлечения видео 96
6.2.2 Анализ сценариев 97
6.2.3 Анализ свойств объекта 101
6.2.4 Анализ событий 106
6.2.5 Результаты экспериментов и анализ 108
Глава 7. Исследования семантических видеоаннотаций и методов поиска 112
7.1 Анализ сцены и извлечение объектов 112
7.1.1 Извлечение объектов на основе атрибутов 113
7.1.2 Извлечение объектов на основе признаков движения 119
7.2 Анализ событий на основе правил ассоциации 125
7.2.1 Создание правил на основе событий 126
7.2.2 Обнаружение событий 126
7.3 Семантическая аннотация видео 128
7.3.1 Метод сопоставления по сходству 128
7.3.2 Сопоставление функций 129
7.4. Результаты экспериментов и анализ 130
7.4.1. Сопоставительный сравнительный эксперимент 132
7.4.2 Экспериментальный анализ 133
7.5 Метод семантического поиска видео 136
7.5.1 Сходство цветовых признаков 138
7.5.2 Сходство элементов текстуры 138
7.5.3 Межкадровое сходство 139
7.5.4 Процесс семантического поиска видео 140
Ссылки 142
Постскриптум 155......
Глава 1 ВведениеС сентября 2008 года журнал Nature объяснял это в виде колонки на обложке.“ большие данные&Поскольку большие данные играют важную роль в областях науки, техники и социальной экономики, международные авторитетные издания и средства массовой информации, такие как Science, Wall Street Journal, IEEE и ACM, подробно представили статус и вклад больших данных [1-2]. В последние годы большие данные были горячей темой поиска в Google, Baidu и других крупных интернет-поисках, и успешные приложения появлялись одно за другим. Массивное видео — это важная форма больших данных, также известная как большие видеоданные.
Системы видеонаблюдения развернуты в крупных и средних городах страны и за рубежом. Вместе с видеонаблюдением за конкретными территориями и зданиями, а также мобильными видео личных селфи общая сумма достигает астрономических цифр. В последние годы, с популяризацией и улучшением функции сбора видео мобильных устройств, большие данные видео продемонстрировали стремительный рост [3-5].
Когда люди применяют большие данные видео, ценный, большой по объему, разнообразный и работающий в режиме реального времени ресурс, помимо решения проблем эффективного хранения и быстрых вычислений, точного обнаружения целей и правильного понимания семантики, возникают проблемы, которые стремятся преодолеть как академические, так и инженерные сообщества приложений [6-10].Обнаружение цели есть&LDQUO”, семантическое понимание - это&LDQUO&рдкво;. В настоящее время они не полностью связаны.Эта книга начинается с этого момента и проводит соответствующие исследования.
1.1 Обзор видеообнаружения целей
Обнаружение движущихся целей является основой для обнаружения и отслеживания целей, а также распознавания поведения и широко используется в области сбора данных видео наблюдения.В настоящее время к основным алгоритмам обнаружения движущихся целей относятся метод разности кадров [11], метод оптического потока [12] и метод разности фона [13].Метод разницы кадров извлекает движущуюся целевую область переднего плана путем вычитания между двумя или тремя соседними кадрами последовательности изображений. Самым большим преимуществом этого метода является то, что алгоритм прост, но полученный передний план движущейся цели обычно недостаточно полон и его легко обнаружить.“ пусто”И легко вызвать неправильное суждение о медленно движущихся объектах.Закон оптического потока имеет высокую точность.Его ограничение заключается в том, что расчеты сложны и трудно удовлетворить требования обработки видео наблюдения в реальном времени. Обычно используется в нестатичных сценах.Самое важное в методе разности фона — построить модель фона и получить область переднего плана движущейся цели путем вычитания текущего кадра из модели фона.Он имеет небольшой объем вычислений, сильную противошумовую способность и высокую точность, но легко подвержен влиянию изменений внешней среды и требует известного опыта. Поэтому построение фоновых моделей с высокой эффективностью и хорошей практичностью стало предметом исследований методов разности фона.
В настоящее время методы построения фоновой модели широко используются и оптимизированы, но большинство этих методов применяют только информацию о цветовых характеристиках или характеристиках текстуры.Например, модель смеси Гаусса (GMM) [14] на основе цветовых характеристик, модель индекса кодирования (CodeBook) [15-16] и т. д. Модель GMM оценивает распределение плотности вероятности выборок и классифицирует их в соответствии с вероятностью.Он обеспечивает лучшие результаты обработки динамических фонов (например, трясущихся листьев).Модель CodeBook представляет пиксели фона с несколькими элементами кода, что обеспечивает лучшие результаты обработки сложных фонов.Однако недостатком моделей, построенных на основе цветовых характеристик, является то, что когда модель фона меняется с низкой яркости на высокую, пиксели легко ошибочно принимаются за передний план и становятся чувствительными к освещению и теням.Оджала и др. на основе оператора текстуры локального бинарного шаблона (LBP) для моделирования фона [17], а текстура LBP также часто используется для распознавания лиц [18-19].Алгоритм моделирования фона, основанный на текстуре LBP, почти не подвержен влиянию освещения и теней [20], но если текстура переднего плана недостаточно насыщенная, могут возникнуть дыры [21-22].Таким образом, мы можем в полной мере использовать преимущества особенностей цвета и текстуры, компенсировать недостатки обоих и построить модель фона, объединяющую эти две функции.Цзя Юнхуа, Ле Инъин и др. предложили объединить функции GMM и LBP [23-24], что в полной мере использует устойчивость особенностей текстуры LBP к освещению и теням, эффективно подавляет тени и решает проблему ошибочных оценок, вызванных изменениями освещения.Кроме того, объединение с цветовыми элементами решает проблему дыр, вызванную недостаточной текстурой переднего плана. Однако метод GMM требует больших вычислительных ресурсов и чувствителен к освещению.Функция текстуры LBP по-прежнему не может обрабатывать динамические тени, вызванные сложным динамическим фоном, таким как покачивающиеся листья и мерцающие водные поверхности.
Алгоритм выделения фона (ViBe) [25-26] представляет собой алгоритм обнаружения движущихся целей на основе цвета, предложенный Оливье Барнихом и др. Он принимает инициализацию первого кадра и использует стратегию выбора ** для извлечения цели переднего плана во втором кадре. Он имеет простой расчет, высокую скорость обнаружения и в определенной степени устойчив к шуму.Масштабно-инвариантный локальный троичный шаблон (SILTP) [27-30] Масштабно-инвариантный локальный троичный шаблон (LTP) [31] Оператор выделения текстурных признаков был предложен L. Shengcai et al.LTP решает проблему, заключающуюся в том, что оператор текстуры LBP недостаточно устойчив к локальному шуму, когда соседние пиксели расположены близко.Однако он имеет определенные ограничения при работе с многомасштабными целями и частичной окклюзией.Преимущество оператора SILTP в том, что его эффективность вычислений высока, всего на одно сравнение больше, чем у LBP. Он также вводит интервальный диапазон, который повышает устойчивость к шуму. После введения функции масштабной инвариантности она эффективно улучшает влияние изменений освещенности.
В литературе [29] фоновое моделирование выполняется только на основе особенностей текстуры SILTP и в определенной степени достигается хорошие результаты. В литературе [30] в качестве вспомогательной на основе ViBe используется текстурная модель SILTP.Стратегия его применения заключается в том, что когда и модель цветового объекта, и модель текстуры классифицируют текущий пиксель как фон, он помечается как фон.Если оба объекта одновременно классифицируются как передний план или только модель текстурных объектов классифицируется как передний план, то это и есть передний план.Если модель цветового объекта классифицируется как передний план, а объект текстуры классифицируется как фон, необходимо выполнить оценку тени с помощью цветовой модели (значение насыщенности оттенка, HSV).Однако этот метод просто классифицирует пиксели, которые классифицируются как фон по модели фона на основе цветовых характеристик и как передний план по модели фона на основе особенностей текстуры.Если он может принадлежать сложному динамическому фону (например, покачивающимся листьям), этот пиксель следует классифицировать как фон.Более того, он просто классифицирует пиксели, которые классифицируются как передний план по модели фона на основе цветовых характеристик и как фон по модели фона на основе особенностей текстуры.Это могут быть дыры, вызванные недостаточной текстурой, и их следует классифицировать как пиксели переднего плана. Этот метод не позволяет различать по глубине [30], что приводит к множеству дыр в результатах обнаружения и неполным целям обнаружения.
1.2 Обзор семантического анализа видео
В последние годы постоянно запускались и создавались популярные приложения для исследования больших данных, такие как «умные города», «умные» строительные площадки, «умное» медицинское обслуживание, «умный» транспорт, «умные» сообщества и т. д. Появляется все больше и больше приложений для исследования больших данных, и анализ видеоданных является важной частью текущих исследований больших данных.Для строительства умных городов и транспорта извлечение видео является очень сложной задачей, а исследования по семантическому анализу видео наблюдения являются главным приоритетом [32].
В городских районах и туннелях камеры наблюдения в различных местах собирают большое количество видеоданных в режиме реального времени.Огромные данные обеспечивают большую поддержку городского управления и безопасности. Однако поиск, анализ и обработка этих видеоданных представляет собой сложную задачу.Как удалить ненужную информацию с видео наблюдения и быстро получить интересную информацию о цели — сложная задача, которую предстоит решить в текущих исследованиях в области видеонаблюдения.Углубленные исследования по этим вопросам будут сосредоточены на устранении разрыва между функциями низкого уровня и семантикой высокого уровня в видео наблюдения.“Семантический разрыв”Проблема.Однако в текущих исследованиях семантического анализа видео наблюдается недостаток мощных методов реализации семантического картирования для уменьшения“Семантический разрыв”[33-35].
С применением видеонаблюдения в городской безопасности использование видео наблюдения для обнаружения и выявления подозрительного поведения в режиме реального времени находится в центре внимания текущих исследований, и исследования в этой области также стали горячей точкой в исследованиях компьютерного зрения [36].Исследования в этой области очень нужны и значимы. Если данные видео наблюдения могут быть эффективно обработаны и смысловая информация видео может быть получена точно и быстро, она может хорошо отразить то, что произошло [37].Учитывая характеристики видео, в этой книге используется метод трехуровневого анализа для изучения содержания всего видео [38], а затем получается семантическая информация видео, такая как обнаружение транспортных средств, обнаружение пешеходов, аномальные события [39-40], отслеживание траектории и т. д. [41-42].Для некоторых признаков выберите более репрезентативные, такие как признаки Хаара, признаки SIFT и т. д. [43], и получите сильные классификаторы путем обучения классификации объектов исследования.Для обнаружения транспортных средств, пешеходов и других целей на видео используется атрибутно-семантический анализ, а для обнаружения событий он может осуществляться на основе корреляционного поиска атрибутов целевого объекта.
В настоящее время отсутствуют эффективные методы семантического извлечения высокого уровня для видео.Видеоданные фактически представляют собой комбинацию текста, видео, изображения и других данных [44], которые не являются независимыми, но семантически связаны.Что касается самого видео, многие методы извлечения признаков для низкоуровневых функций, таких как текстура, цвет и форма в видеокадрах, могут эффективно получать низкоуровневые функции в видео.В человеческом познании все еще существует определенная дистанция между функциями низкого уровня и семантикой высокого уровня. Видео, которые выглядят одинаково по функциям низкого уровня, могут иметь большие различия с точки зрения семантики высокого уровня.Таким образом, извлечение и описание семантических характеристик видео высокого уровня является обязательным условием для семантического анализа видео, а также ключом к технологии семантического анализа и обнаружения видео.Семантика в видео — это то, что происходит с видеообъектами в определенной сцене.При построении структуры семантического анализа видео различные уровни семантики могут быть связаны друг с другом, а обнаружение семантики видео реализуется на основе абстракции корреляций между объектами и семантикой событий.В настоящее время для обработки видео и кадровых изображений используются“ ключевые слова”Представляет собственную информацию[45].Однако для того, какова связь между сценами, объектами и событиями и как их выразить, требуется форма, которая может всесторонне и точно представлять семантику видео. Это также сложная проблема в области описания семантики видео и понимания семантики видео при анализе и обнаружении семантических видеособытий.
Семантика была впервые использована в области искусственного интеллекта и инженерии знаний для представления речевой информации.Семантика относится к перцептивной информации, отображаемой изображениями или видео, которая представляет собой информацию высокого уровня поверх информации о функциях низкого уровня, такой как цвет, текстура и форма.Семантическая информация видео включает в себя низкоуровневую информацию каждого кадра изображения, а также семантику изменений и пространственных преобразований видеообъекта.Семантика видео — это представление объектов, событий и отношений между объектами и событиями в видео.В настоящее время большая часть исследований семантики видео основана на маркировке видео и использовании семантических тегов видео, то есть использовании серии“ ключевые слова”Для представления семантической информации об объектах, сценах и событиях в видеокадрах.
Когда люди обнаруживают данные видео наблюдения, их понимание видео основано на семантической информации высокого уровня, такой как сцены, объекты и события, описываемые изображениями видеокадров, тогда как компьютерное понимание основано на функциях низкого уровня, таких как цвет, текстура и форма. Расстояние между ними создает потребность в поиске [46-47], которая“Семантический разрыв&рдкво;.Описание видеокадров или изображений с использованием низкоуровневых характеристик, таких как цвет, текстура и форма, часто отличается от человеческих описаний. Если в качестве основы используются только эти низкоуровневые функции, эффект поиска не является удовлетворительным.Следовательно, идея решения этой проблемы состоит в том, чтобы найти эффективный метод сопоставления признаков с низкого уровня на высокий, который может точно извлекать [48-49].Семантическая информация видео — это концепция, охватывающая все аспекты видео и до извлечения человеческого видения из изображений или видео.Семантический поиск видео – сложная задача, но это также популярное направление исследований в области видео.Само видео имеет определенную иерархическую структуру. Разные уровни будут давать семантику разной степени детализации, и между семантикой разной степени детализации будет формироваться определенная иерархическая связь.Следовательно, в процессе извлечения семантики видео и формального представления необходимо сформулировать ряд правил для получения поведенческой семантической информации видео [50-53].
В области исследования видеоизображений отечественные и зарубежные специалисты также провели множество исследований.Мазлум и др. использовал TagBook для представления семантики видео [54] и использовал его для обнаружения событий; Цянь Сяофэн и др. использовал деление на основе особенностей формы для поиска совпадающих изображений [55]; Ся Лимин и др. использовали анализ случаев для выявления подозрительного поведения людей на видео наблюдениях [56].Ван Минчао и др. использовали различимое разреженное представление локально чувствительной информации в семантике видео [57]; Бирис и др. использовал JPEG2000 для сжатия переменных **, определенных в видео, и использовал его для обработки видеоданных [58]; Готмаре и др. использовали векторное представление на основе контента для поиска изображений [59].Снук и др. анализировали понятия, объекты и события в видеороликах соответственно [60].В настоящее время исследования по семантическому пониманию видеоизображений продолжаются, и необходимы дальнейшие исследования, чтобы действительно решить эту проблему.
Глава 2. Извлечение ключевых кадров видео на основе взаимной информации.
В настоящее время в городах распространяется большое количество видео с камер наблюдения.Анализ видео наблюдения часто можно выполнить только вручную. Большой объем данных требует не только обширных и обширных ресурсов, но также требует громоздкого и неэффективного поиска, который потребует много человеческих и материальных ресурсов.Ключевые кадры извлекаются для поиска и анализа видео. Извлекая эти последовательности кадров, можно достичь цели оптимизации и сжатия данных, обеспечивая основу для будущего семантического анализа видео.
Цзян Юанью [61] предложил метод извлечения ключевых кадров, основанный на кластеризации. Сначала определяется граница кадра, а затем используется кластеризация для формирования фрагментов кадра с меньшими данными. Наконец, из подкадров в качестве ключевого кадра выбирается кадр с наименьшим расстоянием от центра кластера.Цюй и др. [62] улучшили традиционный алгоритм гистограммы для обнаружения видеообъективов в сочетании с пересечением гистограмм, взвешиванием блоков и т. д., чтобы решить дефекты обнаружения объективов и проблему нечувствительности гистограммы к изменениям деталей.Тепаде и др. [63] предложили метод извлечения ключевых кадров на основе видеоконтента с использованием блочного кодирования, используя вектор отказа и вычисление сходства двух последовательных кадров для извлечения ключевых кадров.Хуанг и др. [64] предложили этот метод извлечения ключевых кадров на основе взаимной информации, основанный на принципах теории информации, и экспериментально подтвердили, что взаимная информация может значительно повысить эффективность извлечения ключевых кадров.Взаимная информация определяет порог путем расчета количества информации и разделяет исходные классы для получения последовательности ключевых кадров.Лю Жун и др. [65] предложили метод обнаружения движущихся целей, основанный на разнице фона и методе оптического потока, а также подробно представили модель гауссовой смеси и метод оптического потока.Ван и др. [66] предложили метод извлечения ключевых кадров, который может идентифицировать действия человека в трехмерных видеопоследовательностях, используя адаптивный алгоритм взвешенного аффинного распространения, который имеет относительно хорошую точность классификации.Такр и др. [67] провели более систематическое исследование методов извлечения ключевых кадров на основе сжатых видеопотоков и предложили алгоритм извлечения ключевых кадров из сжатых видео с использованием метода адаптивного порога.
Выше приведены результаты исследований отечественных и зарубежных учёных по методам извлечения ключевых кадров видео за последние годы.Мы суммировали четыре классических алгоритма извлечения ключевых кадров...
«Метод семантического анализа и поиска видеоизображений» основан на исследованиях автора в области обработки видеоизображений. Он предлагает метод удаления избыточного видео, основанный на анализе больших данных, и метод извлечения ключевых кадров, основанный на сегментации скользящего подокна и фрагмента кадра. Он обобщает и анализирует последние достижения в извлечении признаков изображения и предоставляет основу для извлечения семантических признаков видео на основе условных полей, а также модель правдоподобия, модель извлечения и модель аннотаций для сопоставления низкоуровневых признаков с семантикой объектов высокого уровня для обеспечения поддержки дальнейшего семантического поиска изображения............................