05 Jun 2023

Инженер разработал ИИ-камеру, которая делает фотографии на основе звуков вокруг. Как это работает

Редакторка новин MC.today

Разработчик создал «слепую» камеру, которая делает фото, ориентируясь только на звук. В этом ей помогает искусственный интеллект, распознающий окружение по звукам и генерирующий изображение. Редакция MC.today рассказывает поподробнее.

Фото: trujillodiego.com

Разработчик Диего Трухильо Писанти создал Blind Camera. Чтобы сделать фото, нужно только навести звукоуловитель устройства на объект и нажать кнопку. Затем искусственный интеллект распознает место по звукам и сгенерирует изображение. Полученный результат соответствует окружающему звуковому ландшафту, а не именно тому, что перед фотографом.

Фото: trujillodiego.com

Для этой разработки Писанти создал новую нейросеть, которая может отличать звуки. Она обучалась на видео, снятых в Мехико. Так, для обучения взяли кадры видео и предыдущую секунду аудио. Таким способом образовались ассоциации, привязанные к местности. Поэтому кадры, сделанные Blind Camera, будут напоминать Мексику.

«Искусственный интеллект в основном пытается снизить предвзятость, однако Blind Camera вместо этого воспринимает себя как мексиканский городской объект, интерпретируя звуки, которые она слышит с этой позиции», – отмечается на сайте.

Ранее мы рассказывали о другой «слепой» камере, которая делает фото на основе данных о локации, времени и погоде. Результат ее работы вы можете посмотреть по ссылке.
А здесь вы можете посмотреть самые удивительные сцены из Google Street View. В подборке есть камеры на верблюдах, потасовка с динозавром и люди-голуби.