Обнаружение живого видеообъекта с оценкой позы
Краткое содержание
Я изучал вопрос оерархическом обнаружении объектов и пришел к выводу, что Yolo v3 является передовым решением для подобных задач. Кроме того, время инференса делает его одним из лучших для работы с ним в режиме реального времени. Итак, я планирую запустить технологию оценки позы поверх видеопотока (например, OpenPose), и сосредоточиться только на прямоугольниках вокруг областей, соответствующих оцененным положениям рук, чтобы обнаружить объект. Предыдущий подход кажется хорошим, но мне кажется, что я не использую временные особенности видео, например, YoloV3 может быть недостаточно уверен в том, что у человека есть телефон, если рассматривать только прямоугольник с руками; однако, если добавить движение оцененной позы (рука рядом с головой на несколько кадров), я могу быть более уверен в этом. Но я не могу найти научную работу, подход или что-то подобное моей идее, поэтому я хотел бы узнать, сможет ли кто-нибудь здесь дать мне небольшое представление о том, какой путь мне следует выбрать. Заранее благодарю за любую помощь!
Полный текст
Задано 6 лет, 8 месяцев назад Изменено сегодня Просмотрено 95 раз
Задано 6 лет, 8 месяцев назад
2 $\begingroup$ Я изучал иерархическое обнаружение объектов и обнаружил, что YOLO v3 является передовым решением для подобных задач, помимо прочего, время инференса делает его одним из лучших для работы с ним в режиме реального времени. Итак, я думаю о том, чтобы выполнить оценку позы над живым видео (как OpenPose), а затем сосредоточиться только на прямоугольниках рядом с руками, оцененной позой, чтобы обнаружить объект. Предыдущий подход звучит хорошо, но мне кажется, что я не использую временные особенности видео, например, YOLOV3 может быть недостаточно уверен в том, что у человека есть телефон, только с прямоугольником рук, но если я суммирую движение оцененной позы (рука рядом с головой на несколько кадров), я могу быть более уверен, что он держит телефон. Но я не могу найти статью, подход или что-то похожее на идею, которая у меня в голове, поэтому я спросил, сможет ли кто-нибудь здесь дать мне небольшое представление о том, какой путь мне следует выбрать. Спасибо заранее за любую помощь! компьютерное зрение Улучшить вопрос Следить задал 27 марта 2019 г. в 3:11 Mario Vega 21 1 1 бронзовый значок $\endgroup$ Добавить комментарий | 1 Ответ 1 Отсортировано по: Сбросить по умолчанию Наивысший рейтинг (по умолчанию) Изменено дату (от новых к старым) Создано дату (от старых к новым) 0 $\begingroup$ Мой подход заключается в создании некоторой векторной взаимосвязи между обнаруженными объектами. Я думаю о каком-то представлении, например, прямоугольника рядом с ухом, параллельного коже, прямоугольника под углом, направленного на рот или прямоугольника перед поверхностью тела, ортогонального направлению взгляда глаз, или прямоугольника в руке, вертикальной поверхности прямоугольника, ортогональной: к другим людям на сцене, находящимся рядом с человеком, держащим телефон, большинство из которых также смотрят на сцену, и комбинация этих подсказок увеличивает вероятность того, что объект действительно является телефоном. Конечно, вам нужен какой-то опыт базы данных, будь то статистический обзор других видео (или изображений) известных взаимодействий с телефонами: как часто одни и те же или похожие векторы взаимосвязи? Вы также должны уметь количественно оценить вектор. Обнаружение истинного/ложного может быть недостаточно или предварительная модель ИИ, содержащая этот "опыт". В любом случае я верю, что когда вы сможете обнаруживать и кодифицировать эти потенциальные векторы взаимосвязи, вы получите «положение» в многомерном пространстве. А эти различные ситуации, в которых может находиться телефон, должны затем формировать «горячие точки» в этом пространстве. И близость новой ситуации к любой из этих «горячих точек» предполагает, что эта ситуация очевидно содержит телефон. Share Improve this answer Follow ответил 14 марта в 9:59 MattTT 111 2 2 бронзовые значки $\endgroup$ Добавить комментарий | Вам необходимо войти, чтобы ответить на этот вопрос. Начните задавать вопросы, чтобы получить ответы Найдите ответ на свой вопрос, задав его. Задать вопрос Исследуйте связанные вопросы компьютерное зрение Посмотрите похожие вопросы с этими тегами.