зачем лидар в айпаде
iPad Pro со сканером LiDAR: зачем планшету космическая технология?
В начинке нового iPad Pro появился сканер LiDAR. С его помощью планшет реализует технологию трёхмерного анализа окружающей среды. Что это такое и зачем она пользователю?
В марте 2020 года Apple презентовала новый iPad Pro. Обновленная клавиатура Magic Keyboard с подсветкой клавиш и трекпадом сделала планшет реальной альтернативой ноутбуку. Помимо новых камер, процессора, аудиосистемы и дисплея, в начинке iPad Pro появился сканер LiDAR. С его помощью планшет реализует технологию трёхмерного анализа окружающей среды. Что это такое и зачем она пользователю?
LIDAR — что это?
Технология LIDAR (Light Detection and Ranging) используется в самолетостроении с середины прошлого века. Подобно радару, прибор испускает импульсы, которые отражаются от предметов и возвращаются в приемник. Только вместо радиоволн — световые лазерные или светодиодные. В зависимости от времени отклика, программа рассчитывает расстояние до объекта.
С появлением GPS LIDAR стали использовать для решения геодезических задач. Например, для создания трехмерных карт местности, цифровых моделей рельефа и ландшафта.
Технологию LiDAR успешно применили на космическом корабле «Аполлон-15» в 1971 году, чтобы составить карту Луны
В 2018 году ученые обследовали джунгли Гватемалы с высоты птичьего полета при помощи лазерных лидаров. Сканирование обнаружило более 60 тысяч построек цивилизации майя. Раньше эти руины были скрыты под густым пологом тропического леса.
Световое сканирование используют и климатологи: мониторят береговую эрозию, отслеживают накопление углерода в лесном хозяйстве, исследуют состав атмосферы, изучают облака и испарения.
Еще LIDAR применяют для навигации в машинах с автоматическим управлением. Беспилотники используют видеокамеры, сканеры и радары, чтобы анализировать окружающие объекты с точностью до 10 см. Такая комбинация позволяет автомобилю передвигаться без участия человека. Похожим образом технологию использует и Apple.
Как работает LIDAR в iPad Pro?
Сканер LiDAR измеряет расстояния до окружающих объектов за наносекунды. Однако стеклянные двери или стены датчик обнаруживает с трудом, поэтому технология трехмерного анализа в iPadOS обрабатывает сразу три источника информации на дистанции до 5 метров:
Процессор A12Z Bionic использует алгоритмы компьютерного зрения. Учитывая данные всех источников, они в мельчайших подробностях воссоздают трёхмерную модель пространства вокруг.
Трехмерный анализ позволяет молниеносно интегрировать объекты дополненной реальности в полученную сцену.
Зачем сканер LIDAR планшету?
В Apple уверены — сканер LIDAR откроет новые возможности в приложениях дополненной реальности (AR). Эти приложения синхронизируют виртуальные объекты с реальным пространством и временем.
Первые такие разработки появились в 2017 году. Тогда в Apple запустили платформу для создания приложений с использованием дополненной реальности — ARKit. Инструменты этой платформы активно применяются разработчиками по всему миру.
Нынешние приложения ARKit уже используют LIDAR в своих новых режимах. Они размещают сцены дополненной реальности внутрь сканированной картинки автоматически.
Например, в приложении «Рулетка» стало еще проще узнать рост человека. Также появились вертикальные и боковые направляющие. С их помощью точно измерять расстояния между объектами можно за доли секунд.
А приложение «Complete Anatomy» с помощью сенсора глубины на новом iPad Pro даст возможность терапевтам анализировать прогресс лечения травм у пациентов. Благодаря улучшенной обработке движений, врач получит количественную информацию о процессе восстановления.
Уже в этом году обладатели iPad Pro смогут виртуально «обставлять» свои дома с помощью приложения IKEA Place. В режиме Studio Mode LiDAR сканирует комнату, а затем в дополненной реальности пользователи смогут расставлять мебель и предметы интерьера IKEA, чтобы посмотреть, как они сочетаются с текущим дизайном. Кажется, эта функция спасет тысячи нервных клеток у мужчин.
Любители игр оценят применение сканера LiDAR на новом iPad Pro в Hot Lava. Скоро и в этом приложении появится режим дополненной реальности. Игроку нужно будет отсканировать комнату, а приложение возьмет на себя разработку опасных условий: превратит пол в лаву, а мебель — в платформы для прыжков. Разработчики обещают, что реалистичная картинка сотрет границы между виртуальным и реальным мирами.
Многие в детстве представляли, что пол — это пылающая лава, и прыгали со стула на кресло, а потом на тумбу… В Hot Lava разработчики воплотили популярную детскую фантазию фантазию. И если раньше местом действия были вымышленные локации, то теперь — реальные комнаты.
Интересное применение сканеру нашли создатели профессиональной системы инженерного проектирования Shapr3D. С помощью LiDAR программа будет создавать точные 2D- и 3D-планы помещений, а затем использовать эти модели как базу для перепланировки. Дополненная реальность позволит оценить результат в натуральную величину непосредственно в вашей комнате.
Вероятно, что LiDAR появится и в iPhone 12, презентацию которого обещают в конце года. В Сеть даже попало новое схематичное расположение объективов. Но подобной информации, как мы знаем, доверять можно не всегда. К тому же, разработчики только начинают применять сканер в своих приложениях для iPad Pro.
Но очевидно, что у технологии дополненной реальности есть все шансы, чтобы стать частью нашей жизни. К этому Apple стремится сегодня так же, как когда-то к внедрению сенсорного управления. Вспомните, с чьей подачи мир отказался от кнопок?
Что такое сканер iPad Pro LiDAR и как он работает?
Что такое iPad Pro LiDAR?
Новый iPad Pro — первое устройство Apple, оснащенное сканером LiDAR. Но что такое LiDAR и почему Apple использовала этот датчик на новом iPad?
Последний iPad Pro от Apple поставляется со сканером LiDAR, который можно использовать для измерения расстояния между двумя объектами.Когда Apple выпустила новый iPad Pro, то появилась одна особенность, которая привлекла всеобщее внимание наряду с клавиатурой, которая теперь имеет надлежащий трекпад и систему с двумя камерами. Это также первое устройство Apple, оснащенное сканером LiDAR.
Но что такое LiDAR и почему Apple использовала этот датчик на новом iPad?
Что такое LiDAR?
Проще говоря, LiDAR означает обнаружение объекта и расстояния до него. Это в основном метод дистанционного зондирования, который использует свет в форме импульсного лазера для измерения расстояний до объекта. Эти световые импульсы — в сочетании с другими данными генерируют точную трехмерную информацию об объекте с высоким разрешением.
Чем LiDAR отличается Sonar и Radar
Подобно LiDAR, Sonar и Radar также могут давать информацию о форме, размере, направлении и высоте объекта, но они различаются по типу используемого ими сигнала.
Sonar (сокращение от звуковой навигации и определения дальности) использует звуковые волны для обнаружения объектов и, следовательно, обычно используется для обнаружения объектов под водой. Между тем, Radar (сокращение от радиодетектирования и определения дальности) использует радиоволны для определения расстояния до объекта. Радиоволны могут работать на большом расстоянии и лучше работать в запыленных условиях. Датчики LiDAR обычно встречаются в автомобилях с автоматическим управлением.
Где используется LiDAR?
LiDAR обычно используется для сбора данных с высокой плотностью для создания карт высокого разрешения. Датчики LiDAR устанавливаются под беспилотниками для создания показаний местности, линий электропередачи, зданий и деревьев. Эксперты говорят, что LiDAR точно отображает землю под землей и может обеспечить высокоточную трехмерную модель по сравнению с наземными методами сбора информации. Эта технология в основном используется для наземных съемок.
Помимо аэрофотосъемки, датчик LiDAR является наиболее важным компонентом в автомобилях с автоматическим управлением. Датчик LiDAR обеспечивает непрерывную 360-градусную видимость и точную информацию о глубине.
Впервые LiDAR был использован на космическом корабле во время полета на «Аполлон-15» в 1971 году, когда астронавты нанесли на карту поверхность Луны.
Apple считает, что ее сканер LIDAR будет чрезвычайно полезен для опыта дополненной реальности (AR).
Какая польза от LiDAR в iPad Pro?
В сущности, LiDAR — это датчик улучшенный датчик ToF, который можно увидеть на таких устройствах, как Galaxy Note 10+, Galaxy S20 Ultra и Huawei Mate 30 Pro. Но похоже, что Apple использовала собственный сканер LiDAR, который немного более продвинут, чем система ToF.
Apple утверждает, что новый датчик LiDAR может измерять объект на расстоянии до пяти метров. Напротив, датчик ToF на существующих смартфонах может обнаруживать объекты только на максимальном расстоянии около двух метров. Между тем, Apple утверждает, что ее система LiDAR может работать «на уровне фотонов с нано-секундной скоростью».
Apple считает, что ее сканер LIDAR будет чрезвычайно полезен для приложений дополненной реальности (AR). Для тех из вас, кто не знаком, AR относится к технологии, которая накладывает информацию и виртуальные объекты на реальные сцены в реальном времени. Он использует существующую среду и добавляет информацию для создания новой искусственной среды.
Apple уже довольно давно продвигает использование AR на iPad и iPhone. В настоящее время Apple App Store предлагает множество AR-приложений, многие из которых предназначены для студенческого сообщества.
Тем не менее, для разработчиков датчик LiDAR на iPad Pro полезен для создания будущих приложений. Система использует преимущества «ARKit», инструментария для разработчиков для создания мощных AR-приложений. Мы можем ожидать, что приложение Apple «Measure» и приложения сторонних разработчиков попытаются использовать преимущества сканера LiDAR на новом iPad Pro.
Нет ни слова о том, как датчик LiDAR улучшит фотографию на iPad Pro
LiDAR не идеален
Тем не менее, датчик LiDAR также имеет определенные недостатки. LiDAR может измерять расстояние до окружающих объектов на расстоянии до 5 метров, но не очень хорошо распознает находящиеся поблизости объекты. Кроме того, он не может хорошо работать в тумане, дожде, снегу и пыльной погоде. LiDAR также с большим трудом может обнаружить стеклянную стену или дверь, поэтому производители смартфонов и производители автомобилей с автоматическим управлением используют LiDAR вместе со вторыми камерами и датчиками. Как и в случае с iPad Pro, Apple добавила 12-мегапиксельную камеру и 10-мегапиксельную сверхширокую камеру на задней панели рядом с датчиком LiDAR.
Установит ли Apple LiDAR в iPhone 12?
Теперь, когда iPad Pro поставляется с сенсором LiDAR, вполне вероятно, что Apple представит эту технологию в iPhone 12, запуск которого запланирован на конец этого года. Недавние сообщения свидетельствуют о том, что Apple работает над новым приложением AR под кодовым названием «Gobi», которое позволит пользователям просматривать товары / товары в магазине перед их покупкой. Также ходят слухи, что Apple работает над парой очков AR, хотя пока нет фиксированных сроков выпуска. Запуск iPad Pro с сенсором LiDAR может стать началом чего-то большого.
Зачем iPhone 12 нужен лидар, или Самая бесполезная функция
Я всегда любил технику Apple за её практичность и продуманность. В отличие от Samsung, которая могла себе позволить совершенно бестолковые эксперименты в коммерческих смартфонах с технологиями слежения за взглядом или 100-кратным приближением изображений, компания из Купертино вела себя более осмотрительно и не предлагала своим пользователям инновации ради инноваций. Но в какой-то момент что-то пошло не так, и Apple сначала решила превратить планшет в компьютер, а потом и вовсе занялась освоением не применимых на практике AR и лидаров.
Лидар — бесспорно, очень интересная и сложная технология, но на практике мало применимая
Apple представила iPad Pro 2020 с новой камерой и клавиатурой как у MacBook
После того как Apple выпустила iPad Pro 2020 со встроенным лидаром, стало очевидно, что планшет является всего лишь тестовым полигоном для технологии компьютерного зрения перед по-настоящему важным релизом. Ведь планшет, тем более профессиональный, — это устройство узконаправленное, а вот смартфон, тем более флагманский, представляет собой гаджет более массовый. Поэтому сомнений в том, что iPhone 12 тоже получит поддержку лидара ни у кого не было с самого начала. Ведь не зря же Apple установила на корпус iPhone 11 такую большую площадку, где как раз осталось место ещё для одного модуля.
Лидар сканер — это…
В iPhone 12 тоже будет лидар, в этом почти нет сомнений. Но зачем он там нужен?
Если вы ещё не в курсе, лидар – это специальный сенсор, способный распознавать трёхмерные объекты благодаря технологиям поглощения и рассеивания света. Он просто излучает пучок света, который отталкивается от предметов, расположенных на его пути, и возвращается назад. Таким образом удаётся сформировать силует препятствий, находящихся в зоне видимости, и определить области, свободные от посторонних объектов. Как правило, лидары применяются в системах автопилотирования, выступая в роли глаз беспилотного автомобиля.
Все, что вам нужно знать о новом iPad Pro 2020
Но зачем это смартфону? Ну, на самом деле лидар можно приспособить как минимум для трёх целей. Его можно использовать для распознавания лиц, как поступила Samsung со своим Galaxy S10 5G, который разработчики компании обучили считывать рельеф лица не хуже, чем Face ID. Но поскольку Apple решила установить лидары на заднюю панель своих устройств, логично предположить, что и использоваться они будут если не конкретно для фотосъёмки, то по крайней мере в роли вспомогательного инструмента для камеры. Значит, остаются только два варианта: работа с дополненной реальностью и портретная съёмка.
Дополненная реальность на iPhone
Да, мы знаем, что Apple неровно дышит к дополненной реальности, а лидар может помочь ей в реализации намеченных целей, обучив AR-объекты работать с окружающим пространством и учитывать препятствия, чтобы не проваливаться в текстуры. Но, как видите на представленных выше изображениях, сейчас iPhone довольно неплохо справляются с размещением виртуальных предметов, создавая впечатление вполне материальных. Поэтому единственное, что улучшит лидар, — это замеры при помощи приложения «Линейка», сделав их более точными, и точность позиционирования при размещении виртуальной мебели из приложения «ИКЕА». Других сценариев я придумать пока не могу.
Сравнение iPad Pro 2020 и iPad Pro 2018: стоит ли покупать новинку?
Другое дело – насколько востребована будет эта функция у пользователей. На мой взгляд, AR – это именно та история, которая годится только в качестве вау-фактора. Ну, подумайте сами, сколько раз вы её запустите? Один? Два? Три? Уверен, что не больше, да и то только в первую неделю после покупки, пока хочется протестировать все возможности новинки. Нет, ну правда, вспомните, сколько раз вы пытались запускать AR на своём нынешнем iPhone или iPad? От силы раза полтора. Не изменит ситуацию и лидар, ведь дело не в том, что дополненная реальность плохо совмещается с повседневной, а в том, что это никому не нужно.
Как улучшить портреты на айфоне
Лидар может улучшить портретную съёмку, но зачем, если она на iPhone и так всегда была на высоте?
Портретная съёмка пока выглядит самым вероятным сценарием массового использования лидара. Благодаря тому что он позволяет распознавать трёхмерные объекты, он сможет добиться более естественного и правильного эффекта размытия. Но вот проблема – телеобъективы, которые Apple использовала в iPhone с 2016 года, и так справлялись со своей задачей на 100%. Что-то я не припомню, чтобы кто-то из экспертов негативно отозвался о портретной съёмке даже на iPhone 7 Plus, не говоря уже о более новых моделях. Напротив, флагманские аппараты Apple либо превосходили конкурентов, либо шли с ними вровень, но никак не уступали. Поэтому, в общем, и здесь лидар будет ни к чему.
Почему я думаю, что iPhone 12 не выйдет в сентябре 2020 года
Аналогичного мнения придерживается и Михаил Королёв, основатель AppleInsider.ru:
Можете забросать меня камнями, но я искренне не понимаю, зачем нужно встраивать лидар в iPhone. Ради крутых фоток с размытым фоном или ради дополненной реальности, которой никто никогда не пользовался? Удорожание смартфона в настоящее время — явно не лучшая идея. Лидару место в автомобилях Tesla или роботах Яндекса, которым он нужен для автономного передвижения, но никак не смартфону. Надеюсь, что я не прав и Apple откроет нам глаза на реальные сценарии применения лидара в iPhone 12, но пока верится с трудом, что это произойдёт.
Я бы тоже очень хотел ошибиться и в сентябре узнать, что Apple придумала для лидара в iPhone 12 совершенно гениальное применение, а не вот эти притянутые за уши сценарии вроде AR или портретной съёмки. Но, учитывая, что пока никто даже в теории не придумал, как ещё можно использовать этот аппаратный компонент, меня не покидает стойкое ощущение, что Apple действительно свернула куда-то не туда и уделяет время технологии, которая банально не нужна большинству пользователей.
Лидар превратил iPhone в точнейший измерительный прибор
Появление лидара в iPhone 12 Pro и 12 Pro Max никого особенно не удивило, но вызвало несколько вопросов. Главный – зачем он вообще нужен. Нет, аудитория Apple в большинстве своём оказалась довольно продвинутой и прекрасно понимала, что лидар служит самым разным целям, но зачем он нужен в iPhone, догадаться было довольно непросто. Более того, сама Apple не спешила предлагать каких-то сценариев использования, возложив эту обязанность на разработчиков. Не сказать, что те как-то особенно активно взялись за эксплуатацию нового датчика, но кое-что всё-таки придумали.
Лидар может использоваться в 3D-моделировании, давая минимальную погрешность в измерениях
Исследовать Марс и управлять автомобилем? На что способен лидар в iPhone 12 Pro
Лидар проводит измерения примерно в пять раз точнее, чем обычные камеры, которые устанавливаются в современные смартфоны, в том числе фото-модули самих iPhone. Такой вывод сделали разработчики приложения Canvas для создания трёхмерных моделей помещений. Они сравнили результативность лидара, которым оснащаются iPhone 12 Pro и 12 Pro Max, с ручной рулеткой и строительным дальномером, и пришли к выводу, что датчик смартфона даёт погрешность на уровне 1-2% против примерно 5-6% у обычных камер.
Измерения с помощью iPhone
Если вы используете приложение Canvas на iPhone или iPad с лидаром (им оснащаются почти все устройства линейки Pro, выпущенные в 2020 году и позднее), погрешность в большинстве измерений не будет превышать 1-2%. Это можно проверить при помощи ручной рулетки и лазерного дальномера либо сопоставить с инженерными чертежами. Если вы используете Canvas без 3D-датчика, ваши измерения дадут погрешность в пределах 5%, хоть иногда и встречаются исключения, ошибочность которых может отличаться в большую или меньшую стороны, — рассказали разработчики Canvas.
Благодаря высокой точности сканирования пространства лидар может активно применяться в 3D-моделировании и архитектуре. Опыт разработчиков Canvas это доказывает как нельзя лучше. Приложение задействует дальномер смартфона для определения всех объёмных объектов, перегородок, предметов мебели и т.д., а на основе полученных данных выстраивает трёхмерную модель. Она может пригодиться дизайнерам интерьеров, инженерам или, скажем, мебельщикам, которые делают кровать или шкаф строго под заданные размеры.
Зачем нужен лидар в iPhone
Обратите внимание на то, как хорошо лидар отрабатывает переход от силуэта к фону
Впрочем, и так понятно, что моделирование или что-то похожее – это сфера довольно узкоспециализированная. То есть каждый владелец iPhone 12 Pro явно не будет использовать лидар для этой цели. А вот где будет – так это в фотографии. Благодаря тому что лидар как бы подсвечивает фотографируемый объект, он может использоваться для повышения чёткости портретных снимков, сделанных в условиях недостаточного освещения. Лидар позволяет выделить объект съёмки на общем фоне, даже если его силуэт сливается с окружающей средой.
Посмотрите на фотографию выше. На женщине надето чёрное пальто, а сама она стоит на фоне реки практически при полном отсутствии естественного освещения. Однако для лидара не представляет особых сложностей отделить фотографируемого от фона. Он просто излучает пучок света, тот натыкается на первый попавшийся объект, которым в данном случае является позирующая женщина, формирует трёхмерный силуэт и возвращается назад. Всё это занимает доли секунды, из-за чего складывается впечатление, что никаких дополнительных процессов не происходит. Однако результат из-за этого оказывается куда лучше.
Новости, статьи и анонсы публикаций
Свободное общение и обсуждение материалов
Лонгриды для вас
TSMC — завод, на котором Apple заказывает процессоры для всех своих устройств — повышает отпускные цены на свою продукцию на 20%. Повышение коснётся всех, в том числе и саму Apple, а значит, это приведёт к росту цен на всю продукцию компании из Купертино
Apple представила новое поколение iPad mini. Собрали всю важную информацию: как выглядит планшет, что в нем изменилось, сколько будет стоить
Apple Fitness+ наконец заработал в России: разобрались, что в нем интересного, какие есть тренировки и почему стоит попробовать этот сервис даже несмотря на повысившуюся стоимость
3D-печать и ночные портреты: для чего в iPhone 12 Pro Max нужен лидар
В iPhone 12 Pro Max, который стоит 130 тыс. руб., установлены три камеры, один фонарик и лидар. Лидар — это сенсор, который посылает в пространство пучки невидимого света. Зачем? Чтобы лучше видеть это же пространство. Сегодня технология лидара чаще всего упоминается в контексте «зрения» беспилотного автомобиля, но зачем она смартфону? Apple объясняет необходимость технологии так:
Фотосъемка с лидаром
Фото, сделанное ночью на телефон с лидаром более четкое: на смартфоне без лидара изображение «шумит». Главное отличие iPhone 12 Pro Max от других смартфонов — у него есть ночной режим портретной съемки.
Качество видеосъемки
Тут iPhone 12 Pro Max сравним с камерой Sony Alpha A6600. Однако iPhone «вытягивает» все, что позади человека, осветляя фон. Sony же при этом сохраняет цвета, как в реальности. Примерно такие же результаты показал эксперимент по сравнению смартфона Sony уже с новым iPhone без лидара.
Вывод: для качественной видеосъемки лучше купить фотоаппарат со светочувствительным объективом.
Дополненная реальность
Что еще можно делать с помощью лидара? Два года назад Apple представила новое приложение «Рулетка».
Итак, представим, что нам нужно что-то измерить — например, столешницу на кухне. У нас есть iPhone без лидара, iPhone с лидаром и совсем обычная рулетка. В ходе эксперимента телефон без лидара сперва не различил стену, но потом все же сумел измерить ширину и длину столешницы: 58 и 91 см соответственно.
Смартфон с лидаром ориентируется быстрее. Главное отличие — вибрацией он дает понять, где стена, а где — конец столешницы. Правда, линию ведет не очень ровно. Результат: 60 и 93 см.
Обычная рулетка показала 57 и 92 см соответственно. Получается, что iPhone 12 Pro Max ошибся на несколько сантиметров.
По задумке Apple, многие бытовые проблемы можно решить с помощью дополненной реальности. Компания всеми силами способствует тому, чтобы технология дорабатывалась и ей пользовались люди. Но все же пока единственное достойное применение технологии в быту — примерить какую-нибудь мебель в квартире. Например, у IKEA есть приложение, позволяющее выбрать мебель и посмотреть, как она будет выглядеть в том или ином месте вашей квартиры.
Лидар может совершить прорыв и в области сканирования: с помощью технологии можно отсканировать какую-либо вещь, а затем распечатать на 3D-принтере ее модель.
Подписывайтесь также на Telegram-канал РБК Тренды и будьте в курсе актуальных тенденций и прогнозов о будущем технологий, эко-номики, образования и инноваций.