лидарные технологии что такое
Лидары будущего: 11 000 лазеров вместо 128
Принцип работы лидарных датчиков заключается в отражении света лазеров от окружающих объектов и создании трехмерного облака точек. Первый современный трехмерный лидар был создан для конкурса DARPA Grand Challenge 2005 года, основного конкурса среди беспилотных автомобилей. В наши дни многие эксперты продолжают рассматривать лидары в качестве ключевой технологии для беспилотных машин.
Сейчас десятки стартапов пытаются создать более дешевые лидары. Многие из них пытаются снизить цену, используя один лазерный луч, который сканируется в двухкоординатной модели.
Для ясности отметим, что новый лидар от Ibeo еще не выпущен, а потому мы не знаем насколько хорошо он будет работать, а показатели лидаров от Sense далеки от производительности лучших лидаров от Velodyne. Дальность лидаров от Sense – от 15 до 40 метров, в то время как некоторые модели Velodyne работают на расстоянии 200 метров.
Тем не менее, генеральный директор Sense Скотт Берроуз говорит, что их компания только начинает свою работу. Sense работает над новым датчиком c дальностью работы в 200 метров, который должен выйти в следующем году. Планируется, что эта модель сможет соревноваться с лидерами рынка. В свою очередь, Ibeo имеет глубокие связи с автомобильной промышленностью, что позволяет компании заключать крупные сделки с автопроизводителями-партнерами.
Микротрансферная печать
И Sense, и Ibeo используют недорогой тип лазеров – лазеры с вертикальным излучением (VCSEL). Эти лазеры могут производиться с использованием привычных полупроводниковых технологий, что позволяет разместить тысячи или даже миллионы устройств на одной пластине. Ранее мы рассказывали о другом стартапе под названием Ouster, их лидар основан на VCSEL.
В лидаре от Sense намного больше лазеров, чем в лидаре от Ouster. Чтобы добиться этого, Sense используют технологию, которая называется микротрансферная печать.
Разместить несколько тысяч VCSEL на одном чипе нетрудно. Но при изготовлении чипа, на котором плотно расположены 11 000 лазеров, у вас могут возникнуть проблемы. Лазеры в таком количестве на малой площади могут выделять большой объем тепла. Также у вас могут возникнуть проблемы с безопасностью для глаз. Лазеры с вертикальным излучением работают на частоте, которая может повредить сетчатку, а 11 000 лазеров, направленных на человеческий глаз, могут привести к необратимым травмам.
У Sense есть разумное решение этой проблемы: распределение лазеров. После установки тысяч лазеров с вертикальным излучением на пластину из арсенида галлия, Sense переносит их на новую теплопроводящую керамическую подложку, разрежая плотность установки лазеров.
В этот момент в дело вступает микротрансферная печать. В этой технологии используется резиновый штамп, на дне которого расположена сетка с резиновыми выступами. Когда один из выступов касается лазера с вертикальными излучением, он может приподнять его с помощью силы статического электричества.
Выступы расположены так, что один из каждых n чипов (отсчитывая и по горизонтали, и по вертикали) приподнимается с исходной пластины и помещается на новую подложку. Далее, штамп собирает набор чипов из идущих далее слотов для следующего лидара. Таким образом, одна кремниевая пластина может образовывать сборки на 11 000 лазеров для множества лидаров.
Sense стремится увеличить радиус действия своих лидаров
Вместо того чтобы сканировать сцену последовательно (так, как это делают большинство лидаров), лидары от Sense используют свои 11 000 лазеров чтобы осветить всю сцену за одну вспышку, после чего датчик измеряет время, за которое обратная вспышка отражается со всех направлений.
Вспышечные лидары вроде этого, как правило, имеют малую дальность действия, поскольку освещение всей сцены приводит к тому, что свет теряется в промежутках между пикселями. По сути, Sense решают эту проблему методом грубой силы, используя большое количество света для освещения сцены. Распределение лазеров помогает справляться с выделяемым теплом и вредом для человеческих глаз – проблемами, которые могли бы возникать при подобном подходе.
Тем не менее, генеральный директор Ouster Ангус Паскала отмечает, что подход Sense имеет существенный недостаток: высокое энергопотребление. “Чем больше электроэнергии, тем больше датчики” – комментарий Ангуса для Ars. “Чем больше датчики, тем выше цена и больше сложность интеграции”.
Несмотря на то, что нынешние продукты Sense потребляют больше электроэнергии, чем лидары от ведущих компаний, они имеют меньшую дальность действия. Также лидары от Ouster и Velodyne вращаются на 360 градусов, в то время как вам понадобится несколько лидаров от Sense для того, чтобы получить аналогичное покрытие.
Берроуз планирует выпустить лидар с дальностью действия в 200 метров в 2021 году. У этого лидара будет более 11 000 лазеров, хотя точное количество еще неизвестно. Основной задачей будет достижение большей дальности действия без столь же значительного увеличения энергопотребления.
Однофотонные лавинные диоды входят в моду
Один из вариантов решения этой задачи – использование массива однофотонных лавинных диодов (SPAD) для определения отраженных лазерных лучей в лидарных датчиках нового поколения. Это еще одно сходство с лидарами от Ouster, в которых используются SPAD. В интервью Ars Technica в 2018 году Пакала сказал, что его долгосрочная стратегия заключается в использовании двумерных массивов лазеров с вертикальным излучением и датчиков на однофотонных лавинных диодах, что позволит создать лидары, которые работают как камеры – продукт, который Sense планирует представить в следующем году.
Как следует из названия, датчики на однофотонных лавинных диодах достаточно чувствительны, чтобы засечь один фотон. Как и лазеры с вертикальным излучением, они могут быть изготовлены с использованием привычных технологий работы с кремнием, что позволяет им быть дешевыми в терминах масштабирования. Большая чувствительность этих датчиков может помочь Sense достичь большей дальности действия для имеющегося количества лазерного света.
Интересно, что Ibeo также планируют использовать однофотонные лавинные диоды в своих лидарах следующего поколения.
Ibeo – это не стартап. Некоторые из их лидаров участвовали в DARPA Grand Challenge 2005 года, хотя участие компании упущено из виду, потому что их лидары имели всего 4 линии сканирования, в то время как у лидаров Velodyne было 64. Ibeo совершили крупный переворот несколько лет назад, когда они получили контракт на поставку лидаров для Audi – первый случай, когда лидары были установлены в серийных автомобилях. Также миноритарным акционером Ibeo является ZF Friedrichshafen, что помогает им заключать еще больше контрактов на поставки датчиков для автомобилей.
В своем интервью, данном в четверг, операционный директор Ibeo Марио Брамм рассказал Ars, что лидар следующего поколения от Ibeo должен выйти в конце этого года и будет иметь массивы лазеров вертикального излучения и однофотонных лавинных диодов размерности 128 на 80. Ibeo стремятся к модульному дизайну, который позволит компании использовать различную оптику для создания диапазона моделей с разными возможностями – от лидаров дальнего действия с малым углом обзора, до широкоугольных лидаров с более коротким радиусом действия. Ibeo хотят сделать эти лидары достаточно дешевыми, чтобы их можно было продавать автомобильным концернам для массового производства, начиная с конца 2022 или начала 2023 года.
Очевидный вопрос заключается в том, как Ibeo будут решать проблемы с температурой и безопасностью для глаз, которые Sense решает с помощью микротрансферной печати. Одно из решений – использование высокочувствительных однофотонных лавинных диодов, благодаря чему Ibeo смогут уменьшить выходную мощность своих лазеров достаточно для того, чтобы избежать проблем с питанием и опасностью для человеческих глаз. Другим вариантом решения является использование непосредственного соединения между каждым лазером и датчиком, что приведет к уменьшению количества “потерянных” фотонов. Во время нашего разговора Брамм сказал, что низкая мощность является приоритетом для клиентов, представляющих автомобильный рынок.
С другой стороны, может оказаться, что этот подход трудно реализовать без технологии микротрансферной печати, которой пользуются Sense, в то время как Ibeo и Ouster будут пытаться создать твердотельные лидары без нее.
Поправка: сначала я заявил, что лазеры с вертикальным излучением, которыми пользуются Sense сделаны из кремния – на самом деле они основаны на арсениде галлия.
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Да будет свет. лидара
По данным компании Lockheed Martin, интерес к лидару возрос в начале этого столетия благодаря, конечно же, достижениям в области технологий. На фото система WindTracer компании Lockheed Martin на страже аэропорта Мюнхена
Городской ландшафт, сгенерированный программным инструментом Lidar Analyst компании Textron. Он позволяет изучать местность, извлекать 3D ландшафты и показывать информацию в программах 3D визуализации
Серия снимков лидара, сделанная с помощью приложения SOCET GXP от ВАЕ Systems. Монтирование мозаики (сбор последовательных снимков) может быть выполнено с данными лидара вне зависимости от того, как они были получены
Компания Lockheed Martin видит возможное военное применение для своей технологии WindTracer. Это коммерческий продукт, в котором используется лидар для измерения ветрового сдвига в аэропортах. Подобная технология может быть использована в военной сфере для повышения точности выброски с воздуха. На фото система WindTracer в аэропорту Дубая
Как это работает: лидар
Лидар работает, подсвечивая цель светом. В лидаре может использоваться свет видимого, ультрафиолетового или ближнего инфракрасного диапазонов. Принцип действия лидара прост. Объект (поверхность) освещается коротким световым импульсом, измеряется время, через которое сигнал вернется к источнику. Лидар запускает быстрые короткие импульсы лазерного излучения на объект (поверхность) с частотой до 150000 импульсов в секунду. Датчик на приборе измеряет промежуток времени между передачей светового импульса и его отражением, исходя из постоянной скорости света равной 299792 км/с. Измеряя этот промежуток времени можно вычислить дистанцию между лидаром и отдельной частью объекта и, следовательно, построить изображение объекта на основе его положения относительно лидара.
Программный продукт TopLayer компании Roboteam позволяет AHA картографировать закрытые пространства в реальном времени. Порой видеосъемки бывает недостаточно в этих условиях: может быть либо темно, либо видимость недостаточна из-за пыли и дыма
Абухазира также надеется, что лидарные сенсоры улучшат проведение операций в опасных подземных условиях. Лидарные сенсоры дают дополнительную информацию, выполняя картографирование тоннелей. Кроме того, он заметил, что порой в небольшом и темном тоннеле оператор может даже не понять, что ведет AHA не в том направлении. «Лидарные сенсоры работают как GPS в реальном времени и делают процесс похожим на видеоигру. Вы можете видеть вашу систему в тоннеле, вы знаете, куда движетесь в реальном времени».
Стоить отметить, что лидарные сенсоры это еще один источник данных и не должны рассматриваться как прямая замена радара. Бак заметил, что имеются большая разница в длине волн этих двух технологий, которые имеют свои преимущества и недостатки. Зачастую лучшим решением является использование обеих технологий, например, проведение измерения параметров ветра при помощи аэрозольного облака. Более короткие длины волн оптических сенсоров обеспечивают лучшее определение направления по сравнению с более длинными волнами радиочастотного сенсора (радара). Впрочем, свойства пропускания атмосферы очень разнятся для двух типов сенсоров. «Радар способен проходить сквозь облака определенных типов, с которыми лидару было бы сложно справиться. Но в тумане, например, лидар может показать себя чуть лучше радара».
Лидар
Технология существует с 1960-х годов, когда лазерные сканеры были установлены на самолетах. Лишь в конце 1980-х годов, с появлением коммерчески жизнеспособных систем GPS, данные с лидаров стали полезным инструментом для обеспечения точных геопространственных измерений.
Лидар принцип работы
Он работает аналогично радару и сонару, но использует световые волны от лазера вместо радио или звуковых волн. Система лидар рассчитывает, сколько времени требуется свету, для попадания в объект и отражения обратно в сканер. Расстояние рассчитывается с использованием скорости света.
Lidar
Использование технологии Lidar. Система чаще всего используются для геодезических задач. Благодаря своей способности собирать трехмерные измерения, системы лазерного сканирования стали активно использоваться для съемки искусственной среды (например: зданий, дорожных сетей и железных дорог), а также для создания цифровых моделей рельефа (DTM) и рельефа конкретных ландшафтов (DEM).
Лазерное сканирование является популярным методом обнаружения риска наводнений, накопления углерода в лесном хозяйстве и мониторинга береговой эрозии.
С использованием данной технологии также наблюдается повышенный уровень внедрения приложений автоматизации. Многие производители автомобилей используют сканеры меньшего диапазона и с более низкой дальностью, чтобы помочь в навигации автономных транспортных средств. Именно с использованием этой технологии работают системы автоматического управления в автомобилях Тесла и им подобных.
Применение лидаров
На сегодняшний день наиболее распространенными сферами использования системы лидар являются приложения для географического и атмосферного картографирования. Такие организации, как USGS (Геологическая служба США), NOAA (Национальное управление океанографии и атмосферы) и NASA, десятилетиями использовали лидар для создания карт Земли и космоса.
Одним из наиболее распространенных применений является полицейское оборудование для измерения скорости автомобилей, хотя мы обычно думаем, что это радар.
Портативные приборы гораздо чаще используют лазеры с длиной волны 905 нм, которые дешевые, безопасные и очень эффективные.
У лидаров большое будущее, так как данная технология не стоит на месте, постоянно развивая приложения и утилиты. От базовых приложений для датчиков до систем 3D печати, 3D сканирования, моделирования и умных городов. Lidar трансформирует мир разными способами.
Лидар в дополненной реальности (AR)
Технология в автономных транспортных средствах
Ожидается, что автономные автомобили скоро появятся на дорогах, которые произведут революцию в автомобильном секторе. Без лидара автономные транспортные средства перестанут существовать. Лидар следует называть глазами автономного транспортного средства, поскольку он смотрит на окружение, вычисляет расстояние, определяет препятствия впереди, освещает объекты лазером, а затем создает цифровое изображение высокого разрешения. Он также используется для предотвращения столкновений, путем измерения расстояния между автомобилем и любым другим препятствием перед ним. Это делается путем установки модуля на бампер или крышу. Адаптивная система круиз-контроля в автономном автомобиле получает информацию от датчиков, с помощью которых она решает, когда включать тормоза, замедляться либо ускоряться.
Lidar и изменение климата
Сверхвысокое разрешение и точные изображения захвата подчеркивают даже мельчайшие детали. По этой причине ученые и геологи все чаще отдают предпочтение данной технологии. Лидар может помочь отслеживать процессы ведения сельского хозяйства более эффективно, чем любой другой метод.
LiDAR в космосе
НАСА разработало для международной космической станции инструмент под названием GEDI (исследование динамики глобальной экосистемы), который обеспечивает уникальное трехмерное изображение лесов Земли и помогает предоставить информацию об углеродном цикле, который ранее не был доступен. GEDI предоставляет жизненно важную информацию о влиянии деревьев на количество углерода в атмосфере. Используя эту информацию, ученые теперь могут определить точный уровень углерода, который хранится в лесах, и количество деревьев, которые необходимо посадить, чтобы компенсировать влияние выбросов парниковых газов.
Геодезия
Геодезия является одной из самых известных областей применения технологии. Съемка используется в областях строительства, городского планирования и изучения топографии региона. При съемке материалы собираются очень быстро, превосходя обычные методы. Пространственные модели, созданные с использованием LiDAR, имеют незначительную погрешность, экономят деньги и позволяют принимать решения быстрее. При съемке точки преобразуются в цифровую модель рельефа (ЦМР). ЦМР может иметь любую текстуру в зависимости от области применения и плотности.
Археология
Для исследование старых археологических раскопок, здесь лидар полезен из-за исключительной детализации, которую он может сделать. При этом экономится время, а также усилия археологов, позволяя им «воскрешать» объекты, которые раньше было практически невозможно создать.
Потрясающие трехмерные изображения древнего города майя, были созданы двумя археологами с помощью лидара. Эта модель позволила совершенно по-другому взглянуть на структуру города и назначение отдельных зданий.
Карты лидара
LiDAR Mapping (Карты лидара). При картировании используется лазерная сканирующая система со встроенным инерциальным измерительным блоком (IMU) и приемником GNSS, который позволяет осуществлять географическую привязку каждого измерения или точки. Каждая точка объединяется с другими для создания трехмерного представления объекта или области.
Карты лидара могут использоваться для определения точности позиционирования.
Материалы LiDAR в форме или облаке точек можно использовать для создания карт целых городов, с точностью до миллиметра. Элементы и объекты, такие как дорожные сети, мосты, растительность, могут быть классифицированы и нанесены на трехмерные карты.
Карты LiDAR также можно использовать для выделения изменений и отклонений, таких как эрозия земли, изменения наклона почвы и рост растительности.
Технология будущего. Зачем нужен LiDAR, который появился в iPad Pro
Судя по анализу железа нового iPad Pro, его главная особенность – это новый датчик расстояния LiDAR.
Apple говорит, что NASA отправит с ним людей на Марс, а многие думают, что это прокачанный Face ID. Но многие пока не понимают, как его будут использовать разработчики.
Мы разобрались, в каких индустриях лидар используют прямо сейчас, чем его датчик отличается от чёлки в iPhone, и кому на самом деле нужна эта новая версия планшета.
Спойлер: произошла революция.
Как работает обычный лидар
По принципу работы радар и лидар отличаются только в источнике энергии, которым они измеряют величины. В первом это радио-волны, во втором лазер. Чаще всего инфракрасный, невидимый человеком.
Название LiDAR идёт от аббревиатуры light detection and ranging, на русском как «обнаружение и определение дальности через свет»
Простейшая система работы такая:
- 1. Излучатель бьёт лазером со скоростью света
2. Ресивер получает его обратно
3. Компьютер рассчитывает время возвращения луча
4. Формируется информация о расстоянии до объекта
Скорость света – величина неизменная, она всегда одинакова. Считывая разницу в скорости возвращения луча, можно составить глубинную 3D-карту местности, улицы или комнаты. Масштаб и точность такой карты зависит от размера датчиков, количества лучей, их яркости и множества других факторов.
Например, вот здесь можно пощупать информацию, которая получается на выходе сенсора для автомобилей OS1 от компании OUSTER.
NASA составила огромный список того, что умеют лидеры разного типа.
В зависимости от размера и точности сенсора, можно получить следующие данные:
Излучатели отличаются размерами, мощностью, типом лучей, их количеством, статичностью и многим другим. Их цепляют на спутники, самолёты, дроны и автомобили.
Учитывая, сколько материала можно собрать и обработать, становится понятно, что лидар может быть полезен в десятке разных областей. Пройдёмся по некоторым.
Технологию применяют в автопилотах, космосе и земледелии
С помощью сенсора можно предположить, какую область зальёт при наводнении
Все сканеры работают за счёт лучей, но площадь покрытия зависит от их количества. Это может был один лазер, который сканирует плотность газа, или полоса, которая формирует карту глубины двухмерной территории, как на примере выше.
В третьем виде излучатель бьёт квадратным полем, как это сделано в iPad Pro, и формирует объёмный отпечаток помещения, здания, метеорита и так далее.
Самоуправляемые машины выглядят самым очевидным применением для LiDAR. Почти каждая компания внедряет их по несколько штук за раз в свои проекты.
С другой стороны, Элон Маск год назад агрессивно противился им и сказал, что распознавание объектов эффективнее. Директор ИИ в Tesla Андрей Карпати считает лидар ненадёжным “костылём” по той же причине.
Анализ биосферы проводят датчиками повсеместно. У NASA есть список миссий с отчётами по ним. В них исследуют состояние озонового слоя, ищут связь выбросов и климата и изучают экосистему. Для последнего иногда даже задействуют спутники.
Но в основном в самолёты или дроны встраивают лазеры с приёмником, которые как валик с краской накрывают территорию под собой. А учёные на базе этих данных строят карты материалов и грунта.
Агрикультура и городское планирование занимают первое место по применению LiDAR. Анализ земли и воздуха помогает выбрать места для плодородных полей – такие, чтобы избежать оползней и загрязнённого воздуха.
LiDAR не умеет делать то, что может Face ID. И наоборот
Разобрались, что LiDAR стреляет лазером из дронов, самолётов и спутников. В iPad Pro это работает по тому же принципу, но на “минималках”.
В iPad Pro стоит не один луч, а 1152 штук в шахматном порядке.
Расчёт сделал так. Судя по изображению в обзоре, айпэд выпускает лазеры в 9 секторов. В каждом по 8 точек на ряд, который дублируется по диагонали. Получаем 8*8*2*9=1152.
Лучи крупнее в диаметре и намного дальше друг от друга, чем в Face ID. Из-за этого планшет технически не сможет составить точную карту глубины, потому что не считывает волосы и даже крупные детали, например уши.
Вот почему портретного режима в нём нет.
Зато у LiDAR шире покрытие. В отличие от Face ID, работает это приблизительно так:
- 1. Излучатель бьёт дальше крупными точками
2. «Приёмник» их ловит
3. Процессор A12Z собирает из отметок полигоны
4. Из полигонов под разными углами составляется карта
Точный сенсор айпэда нужен везде. Развлечениям и образованию особенно
Пока система стоит в сравнительно непопулярном устройстве, ей мало кто будет пользоваться. Вот только парк AR-устройств уже огромный, компания зря время не теряли.
Всё те же люди продолжат использовать AR-приложения, просто чаще. Раньше текстуры прыгали друг на друга, а положение объектов неудачно отслеживалось.
- 1. Студенты и профессоры с приложением по анатомии
2. Дизайнеры квартир с быстрым составлением плана
3. Ритейлеры, вроде IKEA, которые удобно покажут свои товары
4. Музеи смогут рендерить в AR скульптуры, а не только картины
Это та часть, которая хоть как-то активна в дополненной реальности. Скорее всего, теперь к ней увереннее подключатся спорт и бьюти-сфера.
Apple такая же технологичная компания, как и все остальные. Бывает, что инновации не заходят в массы, как это было с 3D Touch, и их постепенно выпилывают. Но мне кажется, что LiDAR за следующие десятилетие взлетит до ключевой технологии.
В ближайшие годы сканер рискует стать стандартом из-за AR
Если у вас iPhone 7 или новее, откройте сайт Apple и активируйте режим дополненной реальности, например с iPad или MacBook Pro.
Этот опыт будет идеальным, чтобы люди начали включать игры и приложения не на один раз рад интереса, а пользовались ими постоянно.
А там и до звонков по FaceTime в стиле Звёздных Войн недалеко. Взгляните, к примеру, научились заменять на искусственный в iOS 13.
Дополненная реальность уже здесь, и у неё нет финала
То, что раньше было неудачным Kinect для XBOX, переродилось в киллер-фичу iOS
Пока я искал информацию для материала, заметил одну вещь. Большинство заголовков о развитии лидаров вышли в последние два года, и в основном в 2019-м. Видно, что индустрия плотно развивается, в ней около десятка конкурентов, и впереди много лет прогресса.
Бесконечные маски в Инстаграме, перебрасывающие сразу на сайт QR-метки, грядущие уведомления об опасных контактах от коллаборации Apple | Google.
В общем, реальности смешиваются и, как это бывает с прогрессом, незаметно для его участников. LiDAR может станет ступенью для осязания всего процесса.
Ходит много слухов о том, что грядущие iPhone 12 Pro тоже оснастят таким сенсором. С учётом потенциала и места для улучшения технологии, легко верю в то, что Apple лучше нас понимает важность лидара, а для использования AR сканер станет критичным параметром.