Сотрудник Netflix разработал алгоритм для поиска поцелуев в кино

Амир Зиай использовал в своей работе 263 сцены с поцелуями и 363 сцены без поцелуев длительностью от 10 секунд до 2 минут. Препринт исследования опубликован на сайте arXiv. Система, которую применил разработчик для обучения алгоритма, состоит из двух частей. Бинарный классификатор со сверточными сетями ResNet и VGG анализирует секундные отрывки по видео и аудио.

Сегментатор использует данные о вероятности наличия поцелуя на каждом отрывке и распределяет их так, чтобы они не повторялись. Вместе они выделяют из видеофрагментов отдельные сцены с поцелуями с точностью до 95%.

Зиай затеял исследование из личного интереса, а не для какой-либо конкретной задачи в Netflix или по просьбе Стенфордского университета. Возможно, работа может показаться бесполезной, но она важна. Говоря более отвлеченно, алгоритм Зиая показывает, насколько продвинулись средства анализа видеоматериала. Если объединить их с нуждами государств, можно получить антиутопию Джорджа Оруэлла. Фактически, стэнфордский …