Времяпролетный объектив в смартфоне что это
Времяпролетный метод: современное состояние развития ToF-технологии и ее применение в 3D-системах
В отличие от простой камеры, которая фиксирует только значения силы света на изображении, с помощью 3D-камеры можно получить дополнительную ценную информацию об объекте съемки со светоотражающей поверхностью, в том числе о его форме, положении и ориентации в пространстве. В трехмерной съемке объектов особенно эффективна технология ToF, поскольку измерение осуществляется бесконтактным методом и занимает буквально доли секунды.
Как устроена времяпролетная камера?
При использовании времяпролетной камеры каждым пикселем регистрируются два типа данных: значение силы света (как уровень яркости) и расстояние между объектом и сенсором, то есть значение глубины. Времяпролетная технология базируется на двух различных принципах: принципе непрерывной волны и импульсном времяпролетном принципе. Они различаются тем, как источник испускает свет и как работает сенсор.
Принцип непрерывной волны основан на измерении электрической длины модулируемого по яркости источника света. Он может быть реализован средствами стандартного электронного оборудования и считается полностью разработанным, однако здесь используются только сенсоры низкого разрешения и относительно крупного оптического формата.
Напротив, камеры на базе импульсного время-пролетного принципа для измерения расстояния до объекта фиксируют время, за которое это расстояние покрывают множество отдельных световых импульсов. Времяпролетная технология быстро развивается, не в последнюю очередь по причине расширения экономических возможностей для создания устройств, генерирующих точные световые импульсы, и систем для их безошибочной регистрации. Времяпролетная камера состоит из активного встроенного источника света, встроенного объектива и ToF-сенсора, представляя собой, таким образом, компактную и полнофункциональную систему без подвижных компонентов.
Что происходит со светом? Световые импульсы, испускаемые встроенным в камеру источником света, достигают объекта и отражаются от него обратно в сторону камеры. Этот отраженный свет направляется на сенсор через встроенный объектив. Камерой измеряется время, за которое свет покрывает расстояние до объекта и обратно до сенсора. Зная скорость света, полученное значение можно использовать для вычисления расстояния до светоотражающей поверхности для каждого пикселя.
Этот метод позволяет одновременно получать плотное множество точек и карты глубин, а также профиль интенсивности и таблицы точности в режиме реального времени.
Типичные области применения ToF-технологии
Если основными условиями являются большое рабочее расстояние, высокая скорость работы и при этом несложная архитектура системы, а также если соблюдение этих условий более важно, чем абсолютная точность измерений вплоть до миллиметра, то ваш идеальный выбор – времяпролетные камеры, даже в случае сравнительно небольшого бюджета. Ввиду относительно низкой точности значений глубины они лучше всего подходят для решения задач, не требующих предельной точности, таких как автоматизация производства и перемещение крупногабаритных объектов с помощью роботизированных систем. Эти камеры широко применяются в логистике для измерения объемов грузов в целях определения стоимости фрахта или транспортировки, а также загрузки и разгрузки поддонов полностью в автономном режиме роботами, без прерывания технологических процессов.
Времяпролетной технологией оснащаются автоматические самоходные тележки (АСТ), что приносит несомненные преимущества в логистике и на производстве: одна или несколько ToF-камер в реальном времени осуществляют съемку окружающего пространства, позволяя АСТ анализировать объекты вокруг, чтобы объезжать препятствия или следовать за человеком. За счет этого ускоряются технологические процессы и повышается эффективность.
ToF-системы можно условно разделить на два типа: с управлением жестами и с другим принципом управления. В системах с управлением жестами человек взаимодействует с устройством жестами. Это может быть взаимодействие человека с роботом или управление медийной системой в автомобиле.
Системы, для управления которыми не требуются жесты, широко распространены в логистике. В этом случае камерой осуществляется съемка изображений, которые анализируются специальным алгоритмом. Получаемые трехмерные данные можно использовать, например, для определения объемов и местоположения объектов для оптимального размещения грузов при загрузке контейнеров или самолетов, чтобы как можно более плотно заполнить пространство и не допустить пустот при транспортировке.
Времяпролетные камеры также идеально справляются с дополнительными задачами визуализации в медицинской сфере. Съемка 3D-изображе-ний открывает целый ряд возможных сценариев применения камер, включая контроль состояния или положения пациента, а также определение размеров тела и рентгенодиагностику.
ToF-камеры помогают оптимально разместить пациентов для проведения магнитно-резонансной томографии (МРТ) или компьютерной томографии (КТ). Плотное множество точек на контрольном изображении сравнивается с плотным множеством точек, отражающим текущее положение пациента. Цель заключается в размещении пациента в точно таком положении, как на контрольном изображении.
ToF-камеры также используются в реанимационных отделениях. Они все чаще заменяют классические камеры наблюдения, поскольку медсестры, опираясь на дополнительные значения глубины, получают возможность удаленно контролировать как само помещение, так и состояние каждого пациента в нем. ToF-камеры способны определять положение пациентов даже под одеялом и, благодаря интеллектуальным алгоритмам, даже предупреждать о начинающемся эпилептическом припадке или критическом ухудшении жизненно важных параметров.
Времяпролетная технология используется в рентген-диагностике, например для выбора корректной дозы излучения в зависимости от объема тела. На стандартных рентгеновских аппаратах дозы излучения вручную выставляются техником. Чтобы получить наилучшее качество снимка, зачастую выбирается значение по умолчанию – максимальный уровень излучения. Однако результаты текущих исследований говорят в пользу консервативной рентгенографии, то есть с более низкими дозами излучения. Для этого необходимы одна или несколько ToF-камер, которые вычисляют объем и определяют точное положение тела пациента, после чего на основе собранных 3D-данных рассчитывается оптимальная доза излучения.
Другие современные 3D-технологии
Времяпролетный метод – не единственная технология формирования трехмерных изображений. В зависимости от области применения некоторые задачи могут быть решены с помощью таких методов, как стереоскопическое зрение и структурированный свет, лазерная триангуляция. Каждая из этих технологий опирается на свой принцип определения глубины объекта съемки.
В основе стереоскопического зрения лежит принцип функционирования человеческого глаза. Две классические матричные камеры используются для съемки двух 2D-изображений с разных позиций. После определения диспа-ратности, то есть поиска соответствующих друг другу точек на левом и правом изображениях с помощью алгоритма сравнения, вычисляется расстояние между этими точками по методу триангуляции. На основе вычисленных данных и другой полученной информации из двух изображений формируется скорректированное 3D-изображение и воссоздается глубина объекта. Точность измерений можно повысить с помощью неструктурированного света.
Принцип лазерной триангуляции предполагает комбинирование 2D-камеры и устройства, проецирующего лазерную линию или лазерные точки. Лазерная линия фокусируется на объекте съемки, в то время как 2D-камера фиксирует ее отражение. При изменении расстояния между объектом и светочувствительным сенсором меняется угол проецирования лазерной линии и вместе с этим ее положение на изображении, передаваемом камерой. К полученным данным применяется тригонометрическая функция, чтобы вычислить расстояние между объектом съемки и лазерным проектором. Камерой фиксируется положение лазерной точки на изображении. Затем в зависимости от этого положения в пределах изображения определяется расстояние между сенсором и объектом съемки.
В таблице приведено сравнение различных технологий по ключевым критериям.
Выводы и перспективы
Как уже упоминалось, на данный момент не существует универсальной 3D-технологии для решения всех возможных задач. Необходимо внимательно сформулировать свои требования заранее и исходя из них выбрать наиболее подходящую технологию.
К основным преимуществам времяпролетных камер по сравнению со стереоскопическим зрением и лазерной триангуляцией можно отнести их компактные размеры и высокую скорость работы. Они также очень просты в интеграции и управлении. Невозможно дать универсальную рекомендацию касательно того, какая из технологий – 2D или 3D – будет оптимальной в каждом случае, как невозможно однозначно ответить на вопрос о наиболее подходящем методе съемки. Задачи, как и системы машинного зрения для их решения, как правило, настолько комплексные, что необходимо отталкиваться от конкретных требований и условий съемки, а также имеющегося бюджета. Это касается не только стоимости отдельных компонентов, но и общих инвестиционных затрат на протяжении всего жизненного цикла 3D-системы, особенно учитывая потенциально высокие затраты на ее построение.
С этой точки зрения доступность времяпролетной технологии уже способствует повышению эффективности и снижению затрат во многих областях. Можно ожидать, что в последующие годы эта тенденция будет продолжать расти.
Обычный смартфон можно использовать для поиска скрытых шпионских камер
Новый метод LAPD обеспечивает уровень обнаружения скрытых камер в 88,9%.
Исследователи из Национального университета Сингапура и Университета Йонсей в Южной Корее разработали способ обнаружения скрытых шпионских камер с помощью современных смартфонов, оснащенных датчиками времени пролета (Time of flight).
Time of flight — метод измерения, основанный на отраженном свете для быстрого определения расстояния до объектов. ToF-датчики используются в технологии лидар и приложениях на базе алгоритмов SLAM (simultaneous localization and mapping), которые включают анализ видимого и почти видимого спектра.
«Крошечные скрытые шпионские камеры, размещенные в гостиничных номерах или туалетах, представляют собой все большую угрозу конфиденциальности во всем мире. Например, только в Южной Корее за один год было зафиксировано более 6,8 тыс. таких случаев», — пояснили ученые.
Существуют специальные устройства обнаружения сигналов для поиска скрытых камер и другой электроники, такие как CC308 + и K18, не говоря уже о том, что можно сделать с помощью программного обеспечения для анализа Wi-Fi с открытым исходным кодом. Однако подобные устройства трудно использовать правильно. Сегодня смартфоны стали обычным явлением, поэтому новая разработка под названием LAPD (Laser-Assisted Photography Detection), вероятно, будет более удобной, чем постоянное ношение специального детектора сигналов.
По результатам экспериментов, LAPD достигает уровня обнаружения скрытых камер 88,9%, по сравнению с невооруженным глазом, который дает только 46% обнаружения скрытых камер. Специализированный детектор сигналов K18 обеспечил уровень обнаружения 62,3% и 57,7% при использовании непрерывного и мигающего методов соответственно.
Метод LAPD дал самый низкий общий уровень ложных срабатываний (16,67%) по сравнению с двумя режимами K18 (26,9% и 35,2%) и человеческим зрением (54,9%). Подобных результатов удалось достичь благодаря использованию фильтра глубокого обучения, который призван удалять ложные срабатывания.
Разбираемся, сколько камер нужно смартфону?
В Wylsacom Media спорят о количестве объективов.
iPhone 11. Источник: Apple
Презентация новых айфонов разорвала наш рабочий чат. Всё утро мы спорили, какой айфон лучше: iPhone 11 или iPhone 11 Pro? Главный вопрос был про количество камер. Многие мои коллеги считают, что двух в iPhone 11 достаточно. И потрясно, что Apple сделала вторым модулем этого смартфона ультраширик.
В общем, у нас разразился спор, длившийся долгих два часа. И чтобы вам его пересказать, надо понять, какие камеры могут быть в смартфонах вообще.
Широкоугольная
Эту линзу устанавливают на основную камеру любого смартфона. Обычно угол обзора составляет от 70 до 80 градусов, но среднее значение всё-таки 76–77 градусов.
Подобные камеры считаются универсальными: тут и портрет можно сделать без сильных искривлений, и улицу сфотографировать. Чем лучше светосила объектива, которая обозначается как f/1.8, например, (ниже значение — больше светосила), тем больше света попадёт на матрицу камеры. То есть, грубо говоря, меньше шумов при съёмке в темноте.
Год назад Apple расширила угол зрения основных камер на iPhone XS, XS Max и XR по отношению к старым айфонам, чему очень многие порадовались: в кадре помещается больше объектов, причём без сильного искривления пространства. Разницу можете оценить на примерах:
Снимок сделан с одного и того же ракурса, с одинаковой высоты. Но в объектив камеры iPhone XR влезает больше, чем в объектив «Десятки».
Телефотообъектив
Этот объектив отвечает либо за оптический зум, либо за съёмку портретов. Но тут есть сложности.
Фокусное расстояние подобных объективов может быть разным. Например, у всех айфонов, где есть такой объектив, это значение равно 52 мм. Аналогичная история с Sony Xperia 1. А вот у Huawei P30 Pro фокусное расстояние такого же объектива равно 125 мм.
Именно фокусное расстояние вызвало больше всего споров. Дело в том, что этот тип объективов выполняет две задачи: приближение и съёмку портретов.
С приближением всё понятно: фокусное расстояние этого объектива отличается от аналогичного параметра широкоугольного объектива. Во сколько раз цифра выше, во столько и выходит оптическое увеличение. У объектива основной камеры айфона фокусное расстояние равняется 27 мм, телефото — 52. Таким образом выходит, что зум близок к значению ×2.
У Huawei P30 Pro почти пятикратный оптический зум: 125 мм против 27 мм у основного объектива. И на этот объектив круто снимать природу издалека. Или города вдали. Вот, например, фото моего коллеги Дмитрия Лебедева. Если что, это Берн в объективе OPPO Reno 10x:
Берн. Фото: Дмитрий Лебедев / Wylsacom Media
Такие фотографии выглядят очень динамичными из-за того, что объекты на них кажутся ближе друг к другу, чем есть на самом деле.
Кстати, интересный момент: айфоны с двумя камерами сами решают, когда по нажатию кнопки «2×» включать второй модуль для оптического увеличения, а когда просто кропить цифровым. Если много света, то зум будет оптическим. Мало света — цифровой. Хотите всегда оптический зум — переключайтесь на портретный режим и после в обработке фото отключайте размытие заднего фона, если оно есть.
А вот с портретами всё сложнее. Дело в том, что портрет — это не только про размытие заднего фона. Это ещё про сохранение естественных пропорций тела. Поэтому идеальным фокусным расстоянием для съёмки портретов считаются объективы с фокусным расстояние близким к 50 мм. Тут лучше с пропорциями тела, человек выглядит более естественным.
Вот два снимка, сделанных с одного ракурса:
Оба снимка сделаны в портретном режиме. И если первый рассказывает о Саше, то второй, скорее, обо всём в нашем кабинете и Саше в нём. В общем, у меня язык не очень поворачивается назвать фото, сделанное на iPhone XR, портретом. Даже несмотря на то, что там тоже может быть размытие. А также Саша на iPhone XR вышел слишком вытянутым.
Ультраширик
Вот этот объектив я очень жду: угол обзора составляет обычно 118–127 градусов. И сюда помещается очень много объектов. Вот, например, как сработал ультраширик на OnePlus 7 Pro — единственном объективе, который мне понравился по части фотосъёмки:
На такие объективы очень круто снимать здания и природу вблизи — объекты кажутся значительнее и масштабнее.
Со старыми айфонами можно слегка схитрить, включив вертикальную панораму.
Не знаю, что произошло со светом на первом снимке, однако Super HDR айфона там сработал очень странно. Но видите, какой кривой стала стена на втором снимке? Это обрезанный эффект широугольной линзы так себя проявляет.
ToF-камера
Time of Flight, времяпролётная или 3D-камера. На деле, это даже не камера. Это специальный сенсор, излучающий свет и регистрирующий время его возвращения. На основе данных о скорости света, являющихся константой, камера понимает, на каком удалении от неё находятся объекты, попадающие в кадр. Таким образом, многие смартфоны размывают задний фон с помощью ToF в портретных режимах. Или создаётся 3D-картина объекта.
Например, на Huawei P30 Pro очень крутой ToF-модуль. Он срабатывает гораздо точнее процессоров, которые отвечают за нейровычисления, искусственно подкручивающих диафрагму:
Посмотрите, как по мере удаления объектов меняется степень размытия. До чего же крутой ToF! Но это не портретный объектив. Фото: Алексей Булгаков / Wylsacom Media
Таким камерам не обязательно высокое разрешение. Например, разрешение первой ToF-камеры, которая использовалась в смартфоне, составляет всего 0,3 Мп. И это iPhone X, кстати. Этот сенсор отвечает за разблокировку Face ID.
Однако на деле чем выше разрешение ToF-модуля, тем более точно он работает.
Ходят слухи, что айфоны, которые Apple покажет в сентябре 2020 года, получат лазерный ToF-модуль в блоке основных камер на задней панели. Он будет работать на гораздо большем расстоянии, чем оптический на фронтальной камере. Скорее всего, его разрешение также будет выше.
Макрообъектив
На такие объективы снимаются объекты вблизи: цветочки, жучки. В начале лета мы подарили Илье Казакову макрообъектив, чтобы он топово снимал часы:
Пока очень мало смартфонов получили такой модуль. Например, Redmi Note 8 и Note 8 Pro. Их разрешение составляет всего 2 Мп. Для Инстаграма подойдёт.
Главным камнем преткновения является Pixel. Смартфон с одной камерой укладывает вычислительной фотографией на лопатки практически любой смартфон.
И фотографирует он действительно отлично! Прости, Apple, но в своём путешествии в Ригу, куда я попал на один день поздним вечером, я убрал в задний карман свой божественный iPhone XS Max и достал Pixel 3, поскольку он делает отличные ночные снимки:
Центр старой Риги, снятый на Google Pixel 3 в ночном режиме. Фото: Илья Кичаев / Wylsacom Media
Мне нравится, как фотографирует Pixel 3. И мы все очень ждём конец октября, когда к нам придёт Google Pixel 4 — там будет новая камера и улучшенный процессор. А ещё второй модуль. Ультраширокоугольный. И мы естественно будем сравнивать его с новыми айфонами.
Но два модуля будущего «Пикселя» лично мне недостаточно: у него нет портретного объектива. Потому что я люблю снимать портреты людей и архитектуру.
При этом мне не нужен более чем двукратный зум, поскольку он отберёт у меня портретный объектив.
Принц вычислительной фотографии — Google Pixel 3a XL. Фото: Александр Побыванец / Wylsacom Media
Со мной не согласны ни Саша Побыванец, который считает, что «Пиксель» делает бомбические фото, ни Дмитрий Лебедев, который изъездил Альпы Швейцарии и утверждает, что 5-кратный оптический зум обязательно нужен. Не согласен со мной и наш оператор Лёша Булгаков, вернувшийся из Черногории: до некоторых мест дойти очень трудно ногами и лучше прозумировать.
Но иметь такой объектив в запасе было бы круто. Поэтому я для себя сделал бы такой набор: основной широкоугольный объектив, портретный модуль на 52 мм, ультраширокоугольный объектив, ToF и телефото с оптическим увеличением более чем ×3. Итого пять камер. Поэтому Apple и другим компаниям есть куда расти.
ToF-камеры в смартфонах: что это такое, зачем нужно, как работает
Пару лет назад в смартфонах начали появляться так называемые ToF-камеры. Сначала – во флагманских моделях, потом в среднем сегменте, а в итоге новинка докатилась и до бюджетников.
Как обычно бывает в таких случаях, свежая технология дружно считалась нереально крутой весьма перспективной, но… Время – лучший судья.
Новые поколения флагманов уже не содержат в своем блоке камер этого самого тофу, или как его там ToF. Почему так случилось? Будем разбираться.
Как работает ToF сенсор
Сама аббревиатура ToF означает «time of flight», или в переводе – «время полета». Другое название этого элемента – сенсор глубины. И все это вкупе отражает принципы работы устройства.
Что такое сонар – большинству из нас объяснять не нужно. Излучатель звука посылает звуковую волну, которая, отражаясь от препятствий, возвращается к источнику и регистрируется специальным сенсором.
При этом происходит замер времени, потребовавшегося волне, чтобы достичь препятствия и вернуться. На основании этих данных строится картина рельефа, например, морского дна.
ToF сенсор работает в точности так же. Только вместо звука используется длинноволновое ИК-излучение, испускаемое специальным инфракрасным светодиодом.
А CMOS матрица улавливает его отражение и с точностью до наносекунд регистрирует время.
На основании полученных данных можно не только измерить расстояние до объекта, но и снять его рельеф. Выглядит прямо-таки чертовски заманчиво… на первый взгляд.
Очевидно, что новинка впервые пришла отнюдь не в смартфоны: ранее она уже была обкатана на беспилотных авто и даже спутниках. Однако миниатюризация и удешевление позволили прикрутить ее и к мобильным девайсам.
Где это можно использовать
Первым и наиболее очевидным вариантом является получение снимков с эффектом боке. Говоря понятнее – портретов с размытием фона, подчеркивающих сам образ запечатленного на снимке человека.
Раньше, в досмартфонную эпоху, такие фото получали манипуляцией с фокусным расстоянием объектива.
В смартфонах со временем появились двойные камеры, и размытие достигалось благодаря обработке данных с двух объективов. Ну а теперь вот появилась новая возможность.
Учитывая прогрессирующий «ум» камер, становится логичной возможность удаления из поля зрения объектива посторонних объектов.
Фотографируете вы, к примеру, какой-то исторический объект – а тут какой-то редиска нехороший человек прямо перед ним припарковал свой поганый утиль на колесах!
Р-р-р! Дожидаться, пока он соизволит убраться прочь? Еще чего! Чик-чик виртуальными ножницами – и помеха вначале очерчена благодаря сенсору глубины, а затем и устранена.
Еще можно измерять расстояние, т.е. использовать смартфон в качестве рулетки. В точности, как это делает эппловский LIDAR. Точность при этом будет невысока, порядка сантиметров, но во многих случаях и этого достаточно.
Прикинуть, поместится ли на свое место новое кресло, хватит ли ширины стола для монитора и т.п.
Дополненная реальность – все о не слышали, кое-кто ею даже пытался пользоваться, но на практике… Да, на практике это не более чем игрушка на пару часов. Не получается у вендоров затащить в «глубину» никого, ошибся в свое время Пейсатель.
Но вообще без снятия рельефа разработчиков софта для этой пока еще сомнительной сферы очень тяжко. Так что и здесь ToF сенсор отрабатывает по полной.
Хватает и других теоретических применений технологии: отслеживание движений рук пользователя, биометирческое сканирование лица и даже импровизированный прибор ночного видения. А вот на практике…
А на практике все выглядит так
Для подавляющего большинства изложенных выше областей применений требуется мощный специализированный софт в сочетании с крутейшими возможностями «железа».
И если с последними еще так-сяк, особенно в премиальных монстрах типа Snapdragon 888+, то с программным обеспечением все обстоит достаточно печально.
В том же Google Play есть несколько программ типа пресловутой «рулетки», позволяющих оценить возможности новой технологии, но до тотального внедрения, проникающего во все сферы жизни – как от Москвы до Пекина в позе пьющего оленя.
Даже если какой-то вендор B/C класса и воткнет ToF сенсор в свой мегакрутой бюджетник – далеко не факт, что он вообще будет работоспособным.
Но даже если производитель не схалтурит, то в 99,9% случаев возможности сенсора глубины сведутся к тому самому эффекту боке, да может быть, скверно работающему Face Unlock, распознающему владельца через два раза на третий.
Говоря проще, не работает нынешнее поколение ToF сенсоров достаточно хорошо, чтобы оправдывать свое присутствие в смартфонах. Как результат – массовый отказ производителей от технологии в своих новых моделях.
Samsung Galaxy S21, Xiaomi Mi 11, Huawei P50, еще с десяток других флагманов – все они, в отличие от своих предшественников, вышли без сенсора глубины в составе блока камер.
А вот у той же Apple, начиная с iPhone X и до сих пор, используются похожие технологии под названием Face ID, разработанные эксклюзивно для купертинцев Sony.
Хотя далеко не все вендоры отказались в своих новых моделях от данной технологии. Например, в том же Honor 50, модели субфлагманского класса со 108 МП основным объективом, ToF сенсор никуда не делся.
Есть он и в бюджетниках Nokia, анонсированных в текущем году.
Весьма неоднозначный вопрос с неоднозначным ответом. Все зависит от того, насколько Apple, Google, Facebook и другим разработчикам платформ дополненной реальности удастся «пропихнуть» свои проекты в массы.
В этом случае ToF, а заодно и аналогичные технологии вроде LIDAR в самом деле окажутся востребованы и будут далее развиваться.
Что же касается мобильной фотографии, то повышение качественной и количественной мощи AI современных чипсетов вкупе с наличием других, более полезных типов объективов, вроде ультраширокоугольника и телевика, делает плюсы от ToF практически бесполезными.