зачем лидар в айфоне
Зачем iPhone 12 нужен лидар, или Самая бесполезная функция
Я всегда любил технику Apple за её практичность и продуманность. В отличие от Samsung, которая могла себе позволить совершенно бестолковые эксперименты в коммерческих смартфонах с технологиями слежения за взглядом или 100-кратным приближением изображений, компания из Купертино вела себя более осмотрительно и не предлагала своим пользователям инновации ради инноваций. Но в какой-то момент что-то пошло не так, и Apple сначала решила превратить планшет в компьютер, а потом и вовсе занялась освоением не применимых на практике AR и лидаров.
Лидар — бесспорно, очень интересная и сложная технология, но на практике мало применимая
Apple представила iPad Pro 2020 с новой камерой и клавиатурой как у MacBook
После того как Apple выпустила iPad Pro 2020 со встроенным лидаром, стало очевидно, что планшет является всего лишь тестовым полигоном для технологии компьютерного зрения перед по-настоящему важным релизом. Ведь планшет, тем более профессиональный, — это устройство узконаправленное, а вот смартфон, тем более флагманский, представляет собой гаджет более массовый. Поэтому сомнений в том, что iPhone 12 тоже получит поддержку лидара ни у кого не было с самого начала. Ведь не зря же Apple установила на корпус iPhone 11 такую большую площадку, где как раз осталось место ещё для одного модуля.
Лидар сканер — это…
В iPhone 12 тоже будет лидар, в этом почти нет сомнений. Но зачем он там нужен?
Если вы ещё не в курсе, лидар – это специальный сенсор, способный распознавать трёхмерные объекты благодаря технологиям поглощения и рассеивания света. Он просто излучает пучок света, который отталкивается от предметов, расположенных на его пути, и возвращается назад. Таким образом удаётся сформировать силует препятствий, находящихся в зоне видимости, и определить области, свободные от посторонних объектов. Как правило, лидары применяются в системах автопилотирования, выступая в роли глаз беспилотного автомобиля.
Все, что вам нужно знать о новом iPad Pro 2020
Но зачем это смартфону? Ну, на самом деле лидар можно приспособить как минимум для трёх целей. Его можно использовать для распознавания лиц, как поступила Samsung со своим Galaxy S10 5G, который разработчики компании обучили считывать рельеф лица не хуже, чем Face ID. Но поскольку Apple решила установить лидары на заднюю панель своих устройств, логично предположить, что и использоваться они будут если не конкретно для фотосъёмки, то по крайней мере в роли вспомогательного инструмента для камеры. Значит, остаются только два варианта: работа с дополненной реальностью и портретная съёмка.
Дополненная реальность на iPhone
Да, мы знаем, что Apple неровно дышит к дополненной реальности, а лидар может помочь ей в реализации намеченных целей, обучив AR-объекты работать с окружающим пространством и учитывать препятствия, чтобы не проваливаться в текстуры. Но, как видите на представленных выше изображениях, сейчас iPhone довольно неплохо справляются с размещением виртуальных предметов, создавая впечатление вполне материальных. Поэтому единственное, что улучшит лидар, — это замеры при помощи приложения «Линейка», сделав их более точными, и точность позиционирования при размещении виртуальной мебели из приложения «ИКЕА». Других сценариев я придумать пока не могу.
Сравнение iPad Pro 2020 и iPad Pro 2018: стоит ли покупать новинку?
Другое дело – насколько востребована будет эта функция у пользователей. На мой взгляд, AR – это именно та история, которая годится только в качестве вау-фактора. Ну, подумайте сами, сколько раз вы её запустите? Один? Два? Три? Уверен, что не больше, да и то только в первую неделю после покупки, пока хочется протестировать все возможности новинки. Нет, ну правда, вспомните, сколько раз вы пытались запускать AR на своём нынешнем iPhone или iPad? От силы раза полтора. Не изменит ситуацию и лидар, ведь дело не в том, что дополненная реальность плохо совмещается с повседневной, а в том, что это никому не нужно.
Как улучшить портреты на айфоне
Лидар может улучшить портретную съёмку, но зачем, если она на iPhone и так всегда была на высоте?
Портретная съёмка пока выглядит самым вероятным сценарием массового использования лидара. Благодаря тому что он позволяет распознавать трёхмерные объекты, он сможет добиться более естественного и правильного эффекта размытия. Но вот проблема – телеобъективы, которые Apple использовала в iPhone с 2016 года, и так справлялись со своей задачей на 100%. Что-то я не припомню, чтобы кто-то из экспертов негативно отозвался о портретной съёмке даже на iPhone 7 Plus, не говоря уже о более новых моделях. Напротив, флагманские аппараты Apple либо превосходили конкурентов, либо шли с ними вровень, но никак не уступали. Поэтому, в общем, и здесь лидар будет ни к чему.
Почему я думаю, что iPhone 12 не выйдет в сентябре 2020 года
Аналогичного мнения придерживается и Михаил Королёв, основатель AppleInsider.ru:
Можете забросать меня камнями, но я искренне не понимаю, зачем нужно встраивать лидар в iPhone. Ради крутых фоток с размытым фоном или ради дополненной реальности, которой никто никогда не пользовался? Удорожание смартфона в настоящее время — явно не лучшая идея. Лидару место в автомобилях Tesla или роботах Яндекса, которым он нужен для автономного передвижения, но никак не смартфону. Надеюсь, что я не прав и Apple откроет нам глаза на реальные сценарии применения лидара в iPhone 12, но пока верится с трудом, что это произойдёт.
Я бы тоже очень хотел ошибиться и в сентябре узнать, что Apple придумала для лидара в iPhone 12 совершенно гениальное применение, а не вот эти притянутые за уши сценарии вроде AR или портретной съёмки. Но, учитывая, что пока никто даже в теории не придумал, как ещё можно использовать этот аппаратный компонент, меня не покидает стойкое ощущение, что Apple действительно свернула куда-то не туда и уделяет время технологии, которая банально не нужна большинству пользователей.
Зачем нужен лидар в iPhone 12 Pro и iPhone 12 Pro Max
Два дня назад Apple представила iPhone 12 Pro и iPhone 12 Pro Max. Несмотря на то что они принадлежат к той же линейке, что и iPhone 12 mini и iPhone 12, в Купертино выделили анонс старших моделей в отдельную главу даже в рамках одной презентации. Это был оправданный шаг, учитывая более совершенную начинку «настоящих» флагманов. Всё-таки 5G, процессор A14 и лидар на дороге не валяются. Но если про 5G и A14 вы уже плюс-минус знаете, то вот лидар для многих по-прежнему остаются загадкой.
iPhone 12 Pro стал первым смартфоном Apple с лидаром
Лидар – это технология, которая среди устройств Apple впервые появилась в iPad Pro 2020. Тогда, в самый разгар пандемии, в Купертино удивили всех запуском нового планшета для профессионалов, который оказался почти таким же, как и его предшественник, но отличался от него лишь наличием сверхширокоугольной камеры и того самого лидара. В компании заявили, что эта штука нужна для более правильного позиционирования объектов в дополненной реальности, но никакими особенными подробностями делиться не стали. То ли дело сейчас.
Как работает лидар в iPhone 12 Pro
Это пучок света, который излучает лидар. Человек его увидеть не может
По своей сути лидар является инструментом компьютерного зрения, который используется в автопилотах, роботах и других устройствах. Он формирует серию лазерных импульсов, невидимого для человека, и направляет их на объект съёмки. Затем луч возвращается, неся в себе обширный спектр данных. Благодаря им можно, во-первых, более точно рассчитать расстояние до объекта, во-вторых, считать объём и, в-третьих, точнее определить его границы. Вот как лидар видит окружающий мир:
Это то, как лидар видит окружающие объекты
Несмотря на то что Apple не изобретала эту технологию, она, как обычно, пошла несколько дальше своих конкурентов. В отличие от большинства производителей, она оснастила iPhone 12 Pro и 12 Pro Max именно лидаром, а не ToF-сенсором. Лидар направляет несколько световых импульсов, а не один, как ToF-сенсор. Это даёт два основных преимущества: увеличенная до 5 метров дальность и способность определять даже те объекты, которые перекрываются другими объектами, например, люди за деревьями или машинами.
Что делает лидар
Фотографии с размытием благодаря лидару будут получаться более натуральными
На данном этапе развития лидар в смартфоне может служить сразу нескольким целям. Во-первых, он обеспечивает съёмку более естественных портретных фото с натуральным эффектом боке. Благодаря ему уши, волосы, хвосты и другие части тел людей и животных больше не будут оставаться в расфокусе. А в будущем планируется прикрутить возможность съёмки портретных видео. Но, скорее всего, это произойдёт только в следующем году.
Во-вторых, лидар можно использовать для высокоточного измерения расстояний в физическом мире. То есть с помощью смартфона с лидаром можно замерить площадь комнаты, длину, ширину и высоту стен, а также кривизну пола. Это может быть удобно при проведении строительных работ, в которых используются специальные дальномеры и нивелиры.
Объявлены российские цены iPhone 12, iPhone 12 mini, а также iPhone 12 Pro и iPhone 12 Pro Max
В-третьих, благодаря тому, что лидар видит в темноте не хуже, чем днём, его можно использовать для усовершенствования ночной съёмки. Его способность распознавать объекты независимо от освещения позволяет ускорить работу автофокуса до 6 раз и тем самым исключить фотографии со сбившимся фокусом.
Ну, и, в-четвёртых, лидар позволяет AR-объектам не проваливаться в текстуры реального мира. Наверняка вы обращали внимание на то, как 3д-животные от Google проваливались сквозь пол или залезали на ваш комод. С лидаром, который определяет все трёхмерные объекты на расстоянии 5 метров, такого не будет.
Приложения с поддержкой лидара
Snapchat уже получил поддержку лидара, скоро получат и другие
Одним из первых приложений, которое получило поддержку лидара, стал Snapchat. Разработчики добавили новые фильтры, которые задействуют новую технологию для более точного позиционирования объектов в дополненной реальности и повышения их реалистичности.
Обратите внимание на то, что виртуальные растения разместились не только не полу, но и на столе, учтя его высоту, а виртуальная птица летает прямо над рукой позирующей девушки. В ближайшее время Snapchat планирует ещё глубже интегрировать технологию лидара в своё приложение, представив несколько новых сценариев её использования.
Стоит ли бежать в магазин за iPhone 12 Pro/12 Pro Max ради лидара? Сложно сказать. Наверное, я бы не побежал. Другое дело, если вы уже давно планировали сменить свой старенький iPhone 6s на что-то более современное и функциональное. В этом случае один из топовых iPhone с 5G и лидаром может стать для вас отличным выбором.
Исследовать Марс и управлять автомобилем? На что способен лидар в iPhone 12 Pro
Одним из главных нововведений iPhone 12 Pro и iPhone 12 Pro стал новый сканер LiDAR, который позволяет улучшить работу телефона с технологиями дополненной реальности, а также добавить продвинутые возможности фото. Apple уже добавляла LiDAR в iPad Pro 2020 года, но тогда этой технологии не уделили столько внимания. Здесь же другое дело — айфон, самый популярный продукт компании, где, по словам Apple, используются технологии NASA для исследования Марса! Впрочем, не только — лидар также есть, например, в электромобилях Tesla и собственных автомобилях Apple, где он используется для автопилота и ориентирования машины в пространстве. Как Apple вообще удалось запихнуть столь мощный датчик в корпус маленького iPhone?
Такой маленький, но такой способный
Зачем нужен лидар
Поэтому изучить атмосферные явления на поверхности Марса и скорость ветров в NASA собираются с помощью лидара, который разместят на орбите. Аппарат будет посылать лазерные сигналы, которые, отражаясь от облаков и пыли, смогут дать ученым довольно четкую картину о скорости ветра на Марсе.
На Земле лидар уже используется NASA — например, для сканирования морского дна
Лидар также получил широкое распространение среди производителей электромобилей — например, Tesla. Там он создает 3D-карту окружающего пространства: «видит» пешеходов, автомобили и препятствия на дороге, позволяя автопилоту (или водителю) вовремя среагировать. Всего в самоуправляемых автомобилях используется 3 типа сенсоров: лидары, камеры и радары. Камеры дают детализированную картинку, способны определять знаки и сигналы светофоров, а радары дают точную информацию о скорости движения объектов и их расстоянии до беспилотного автомобиля.
Лидар и радар позволяют Tesla создать 3D-карту объектов вокруг себя
Но именно лидар, который сканирует пространство с помощью лазерных лучей, играет ключевую роль. Лучи, отражаясь от объектов, позволяют автомобилю понять, на каком расстоянии находится объект.
Лидар в iPhone 12 Pro
Получается, Apple взяла и решила использовать технологию, которую уже практикуют производители электромобилей и хотят использовать для колонизации Марса? Именно так. Но скорость ветра лидар в iPhone 12 Pro или iPhone 12 Pro Max вычислить не сможет, а вот построить 3D-модель комнаты и объектов в ней — запросто. Айфон посылает множество невидимых лучей, а лидар вычисляет время, которое требуется лучу невидимого глазом света, чтобы дойти от передатчика до объекта и вернуться обратно. Лучи включаются с периодичностью в несколько наносекунд — таким образом, структурная карта постоянно уточняется.
Так лидар в айфоне увидит вашу комнату
Зачем это нужно? Мой коллега Иван Кузнецов уже подробно расписал все преимущества LiDAR в iPhone 12 Pro. Суть в том, что сканер мгновенно обрабатывает информацию обо всех поверхностях и определяет все элементы в комнате, поэтому виртуальные объекты (когда вы захотите посмотреть что-то в дополненной реальности) размещаются максимально правдоподобно.
Также лидар улучшает работу камеры iPhone: например, благодаря ему автофокус при слабом освещении работает до 6 раз быстрее. Плюс портретная съемка будет работать и «размывать» фон, даже если будет совсем мало света.
Технология, которую использует Apple, больше напоминает лидар в самоуправляемых автомобилях, и это действительно вызывает восхищение. Ведь в той же Tesla много места и разных датчиков, а Apple взяла и уместила крошечный сканер рядом с камерой iPhone. Немаловажную роль в этом сыграл нейронный процессор, который и обрабатывает всю информацию с этого лидара. Как думаете, для чего еще может использоваться лидар в iPhone? Давайте обсудим в комментариях и в нашем чате в Telegram.
Лидар превратил iPhone в точнейший измерительный прибор
Появление лидара в iPhone 12 Pro и 12 Pro Max никого особенно не удивило, но вызвало несколько вопросов. Главный – зачем он вообще нужен. Нет, аудитория Apple в большинстве своём оказалась довольно продвинутой и прекрасно понимала, что лидар служит самым разным целям, но зачем он нужен в iPhone, догадаться было довольно непросто. Более того, сама Apple не спешила предлагать каких-то сценариев использования, возложив эту обязанность на разработчиков. Не сказать, что те как-то особенно активно взялись за эксплуатацию нового датчика, но кое-что всё-таки придумали.
Лидар может использоваться в 3D-моделировании, давая минимальную погрешность в измерениях
Исследовать Марс и управлять автомобилем? На что способен лидар в iPhone 12 Pro
Лидар проводит измерения примерно в пять раз точнее, чем обычные камеры, которые устанавливаются в современные смартфоны, в том числе фото-модули самих iPhone. Такой вывод сделали разработчики приложения Canvas для создания трёхмерных моделей помещений. Они сравнили результативность лидара, которым оснащаются iPhone 12 Pro и 12 Pro Max, с ручной рулеткой и строительным дальномером, и пришли к выводу, что датчик смартфона даёт погрешность на уровне 1-2% против примерно 5-6% у обычных камер.
Измерения с помощью iPhone
Если вы используете приложение Canvas на iPhone или iPad с лидаром (им оснащаются почти все устройства линейки Pro, выпущенные в 2020 году и позднее), погрешность в большинстве измерений не будет превышать 1-2%. Это можно проверить при помощи ручной рулетки и лазерного дальномера либо сопоставить с инженерными чертежами. Если вы используете Canvas без 3D-датчика, ваши измерения дадут погрешность в пределах 5%, хоть иногда и встречаются исключения, ошибочность которых может отличаться в большую или меньшую стороны, — рассказали разработчики Canvas.
Благодаря высокой точности сканирования пространства лидар может активно применяться в 3D-моделировании и архитектуре. Опыт разработчиков Canvas это доказывает как нельзя лучше. Приложение задействует дальномер смартфона для определения всех объёмных объектов, перегородок, предметов мебели и т.д., а на основе полученных данных выстраивает трёхмерную модель. Она может пригодиться дизайнерам интерьеров, инженерам или, скажем, мебельщикам, которые делают кровать или шкаф строго под заданные размеры.
Зачем нужен лидар в iPhone
Обратите внимание на то, как хорошо лидар отрабатывает переход от силуэта к фону
Впрочем, и так понятно, что моделирование или что-то похожее – это сфера довольно узкоспециализированная. То есть каждый владелец iPhone 12 Pro явно не будет использовать лидар для этой цели. А вот где будет – так это в фотографии. Благодаря тому что лидар как бы подсвечивает фотографируемый объект, он может использоваться для повышения чёткости портретных снимков, сделанных в условиях недостаточного освещения. Лидар позволяет выделить объект съёмки на общем фоне, даже если его силуэт сливается с окружающей средой.
Посмотрите на фотографию выше. На женщине надето чёрное пальто, а сама она стоит на фоне реки практически при полном отсутствии естественного освещения. Однако для лидара не представляет особых сложностей отделить фотографируемого от фона. Он просто излучает пучок света, тот натыкается на первый попавшийся объект, которым в данном случае является позирующая женщина, формирует трёхмерный силуэт и возвращается назад. Всё это занимает доли секунды, из-за чего складывается впечатление, что никаких дополнительных процессов не происходит. Однако результат из-за этого оказывается куда лучше.
Новости, статьи и анонсы публикаций
Свободное общение и обсуждение материалов
Лонгриды для вас
TSMC — завод, на котором Apple заказывает процессоры для всех своих устройств — повышает отпускные цены на свою продукцию на 20%. Повышение коснётся всех, в том числе и саму Apple, а значит, это приведёт к росту цен на всю продукцию компании из Купертино
Apple представила новое поколение iPad mini. Собрали всю важную информацию: как выглядит планшет, что в нем изменилось, сколько будет стоить
Apple Fitness+ наконец заработал в России: разобрались, что в нем интересного, какие есть тренировки и почему стоит попробовать этот сервис даже несмотря на повысившуюся стоимость
3D-печать и ночные портреты: для чего в iPhone 12 Pro Max нужен лидар
В iPhone 12 Pro Max, который стоит 130 тыс. руб., установлены три камеры, один фонарик и лидар. Лидар — это сенсор, который посылает в пространство пучки невидимого света. Зачем? Чтобы лучше видеть это же пространство. Сегодня технология лидара чаще всего упоминается в контексте «зрения» беспилотного автомобиля, но зачем она смартфону? Apple объясняет необходимость технологии так:
Фотосъемка с лидаром
Фото, сделанное ночью на телефон с лидаром более четкое: на смартфоне без лидара изображение «шумит». Главное отличие iPhone 12 Pro Max от других смартфонов — у него есть ночной режим портретной съемки.
Качество видеосъемки
Тут iPhone 12 Pro Max сравним с камерой Sony Alpha A6600. Однако iPhone «вытягивает» все, что позади человека, осветляя фон. Sony же при этом сохраняет цвета, как в реальности. Примерно такие же результаты показал эксперимент по сравнению смартфона Sony уже с новым iPhone без лидара.
Вывод: для качественной видеосъемки лучше купить фотоаппарат со светочувствительным объективом.
Дополненная реальность
Что еще можно делать с помощью лидара? Два года назад Apple представила новое приложение «Рулетка».
Итак, представим, что нам нужно что-то измерить — например, столешницу на кухне. У нас есть iPhone без лидара, iPhone с лидаром и совсем обычная рулетка. В ходе эксперимента телефон без лидара сперва не различил стену, но потом все же сумел измерить ширину и длину столешницы: 58 и 91 см соответственно.
Смартфон с лидаром ориентируется быстрее. Главное отличие — вибрацией он дает понять, где стена, а где — конец столешницы. Правда, линию ведет не очень ровно. Результат: 60 и 93 см.
Обычная рулетка показала 57 и 92 см соответственно. Получается, что iPhone 12 Pro Max ошибся на несколько сантиметров.
По задумке Apple, многие бытовые проблемы можно решить с помощью дополненной реальности. Компания всеми силами способствует тому, чтобы технология дорабатывалась и ей пользовались люди. Но все же пока единственное достойное применение технологии в быту — примерить какую-нибудь мебель в квартире. Например, у IKEA есть приложение, позволяющее выбрать мебель и посмотреть, как она будет выглядеть в том или ином месте вашей квартиры.
Лидар может совершить прорыв и в области сканирования: с помощью технологии можно отсканировать какую-либо вещь, а затем распечатать на 3D-принтере ее модель.
Подписывайтесь также на Telegram-канал РБК Тренды и будьте в курсе актуальных тенденций и прогнозов о будущем технологий, эко-номики, образования и инноваций.