Ученые создали камеру, которая видит мир "глазами человека"
Традиционные камеры снимают сцены кадр за кадром, чаще всего не имея ничего общего с тем, как наши глаза видят реальность — в виде потока. Однако ученые из Eth Zurich разработали новую камеру "событий", которая снимает происходящее в виде постоянного потока информации.
Такой сенсор способен делать замедленную съемку со скоростью 5400 кадров в секунду, позволяя создавать недорогие высокоскоростные камеры и повышая качество машинного видения.
Сенсор работает таким образом, что постоянно регистрирует изменения в насыщенности света в сцене. Это не только "экономнее" с точки зрения хранения данных, так как статическая часть сцены не занимает места, но также не теряет информацию между кадрами, в отличие от обычных камер.
Ирония камеры событий в том, что изобразить "сырые" данные на экране невозможно. Сначала поток необходимо переработать в традиционное видео. Ученые из Eth Zurich натренировали нейросеть при помощи симулированных данных событий вместо того, чтобы пытаться выделить информацию с кадров вручную. После этого они использовали результаты для создания высокоскоростной нейросети для обработки данных с камеры в реальном времени.
В результате они получили улучшение качества на 20% и отображение без задержки.
Взглянуть на примеры записанных видео можно выше. Пока же технология будет особенно интересна для применения в автопилотах умных машин — они смогут видеть и фиксировать объекты без обработки гигабайтов информации.
Фото в шапке: Jakob Owens
- Нобелевскую премию по физике получили "крестные отцы" ИИ
- Тасманский кинематографист собрал камеру для съемок дикой природы — она может снимать в разрешении 18K на 14K
- Исследование: Восемь из десяти проектов, связанных с ИИ, терпят неудачу, сжигая миллиарды финансирования