HoloLens 2 от Microsoft: гарнитура смешанной реальности
По сравнению с HoloLens, который мы впервые увидели на демонстрации четыре года назад , вторая версия лучше почти во всех важных отношениях. Она более удобна, у нее гораздо большее поле зрения, и она лучше способна обнаруживать реальные физические объекты в комнате. Она оснащена новыми компонентами, такими как датчик Azure Kinect, процессор ARM, датчики отслеживания глаз и совершенно другая система отображения.
У него есть пара динамиков, козырек откидывается, и он может видеть, что делают ваши руки, точнее, чем раньше. Есть 8-мегапиксельная фронтальная камера для видеоконференций, он способен на полные 6 градусов отслеживания, а также использует USB-C для зарядки. Короче говоря, он полон новых технологий. Но после четырех лет это не должно удивлять.
Прежде чем мы продолжим, объясню: моя жена работает в Oculus, VR-подразделении Facebook. Мы не обсуждаем ее работу или истории, над которыми я работаю. Это не влияет на то, как я думаю об этой технологии, и я понятия не имею, создают ли Facebook и Oculus что-либо, напрямую конкурирующее с этим продуктом.
Самая большая претензия к первому HoloLens была проста: вы видели голограммы только в относительно небольшой коробке, прямо перед собой. Даже если немного повернуть голову, они исчезали из вашего поля зрения. Хуже того, их края обрезались, даже когда вы смотрели прямо на них. Это было похоже на то, как если бы вы смотрели на цифровой мир через крошечный прямоугольник.
Поле зрения HoloLens 2 в два раза больше, чем раньше. Оно не заполняет все поле зрения — все еще есть отсечение — но теперь оно достаточно большое, чтобы вы больше не чувствовали постоянного раздражения от почтового ящика. Microsoft утверждает, что перед каждым глазом находится эквивалент 2K-дисплея, но лучше воспринимать это как метафору, чем как точную спецификацию. Точная спецификация заключается в том, что у него «голографическая плотность 47 пикселей на градус», что означает, что плотность пикселей достаточно высока, чтобы вы могли читать шрифт размером 8 пунктов.
Обычно, когда технологический продукт получает такие лучшие характеристики, это происходит за счет чистой силы технической итерации: более быстрые процессоры, более мощные батареи, больше оперативной памяти и т. д. Но эта стратегия не сработала бы для дисплея HoloLens 2. Он должен был стать легче, а не тяжелее. Поэтому Microsoft пришлось полностью перейти на другой тип технологии дисплея.
Лазеры и зеркала
Лазерные дисплеи стали тем, что нужно для компьютеров на вашем лице. Проект Intel Vaunt использовал лазеры, и умные очки North Focals тоже. Хотя Microsoft использует некоторые из тех же базовых компонентов, она повела их в другом направлении и продвинулась гораздо дальше в разработке того, что они могут делать.
Лазеры в HoloLens 2 светят в набор зеркал, которые колеблются с частотой 54 000 циклов в секунду, поэтому отраженный свет может нарисовать дисплей. Эти две части вместе образуют основу дисплея микроэлектромеханической системы (MEMS). Все это сложно сделать, но действительно сложная часть для дисплея MEMS — это поместить изображение, которое он рисует, в ваше глазное яблоко.
Одно из решений, которое использовали такие компании, как North, — это голографическая пленка на линзе, которая отражает изображение прямо на сетчатку. У этого есть множество недостатков: крошечный дисплей и низкое разрешение, во-первых. Но по-настоящему проблематичной частью является просто обеспечение того, чтобы дисплей был направлен прямо в ваш глаз. Вам нужно будет подгонять очки North индивидуально, и изображение может полностью исчезнуть, если они не будут выровнены.
Microsoft не хочет ни одной из этих проблем, поэтому она обратилась к тому же, что использовала в первом HoloLens: волноводам. Это кусочки стекла перед вашим глазом, которые тщательно протравлены, чтобы они могли отражать голограммы перед вашими глазами. Волноводы в HoloLens 2 теперь легче, потому что Microsoft использует две сэндвич-стеклянные пластины вместо трех.
Когда вы объединяете всю систему — лазеры, зеркала и волновод — вы можете получить более яркий дисплей с более широким полем зрения, который не обязательно должен быть точно направлен вам в глаза, чтобы работать. Зульфи Алам, генеральный менеджер по оптическим разработкам в Microsoft, утверждает, что Microsoft намного впереди с этой системой и что волноводы — это определенно путь для смешанной реальности. «В ближайшие два-три года не будет конкурентов, которые могли бы приблизиться к этому уровню точности в волноводах», — утверждает он.
Хотите более широкое поле зрения? Просто. Просто увеличьте угол зеркал, отражающих лазерный свет. Более широкий угол означает большее изображение.
Хотите более яркие изображения? Опять же, все просто. Лазеры, если говорить не слишком подробно, имеют запас света. Конечно, приходится иметь дело с тем фактом, что волноводы теряют массу света, но дисплеи, которые я видел, были настроены на 500 нит и показались мне достаточно яркими. Microsoft считает, что в финальной версии они могут стать намного ярче, в зависимости от потребляемой мощности.
Хотите увидеть голограммы без специальной подгонки под вашу гарнитуру? Опять же, все просто. Волновод не требует специальной подгонки или измерения. Вы можете просто надеть гарнитуру и начать. Она также может располагаться достаточно далеко от ваших глаз, чтобы вы могли с комфортом носить любые нужные вам очки.
Просто, просто, просто, не так ли? По правде говоря, это чертовски сложно. Microsoft пришлось создать совершенно новую систему травления для волноводов. Ей пришлось выяснить, как направить свет в нужное место в волноводах почти фотон за фотоном. «Мы моделируем каждый фотон, исходящий от лазера», — говорит Алам. Свет от лазеров не просто отражается; он разделяется на несколько цветов и проходит через несколько «зрачков» в системе отображения, а затем «восстанавливается» в нужном месте на волноводах. «Каждый фотон рассчитывается там, где он должен быть», — говорит Алам. Это требует огромной вычислительной мощности, поэтому Microsoft пришлось разработать специальный кремний, чтобы выполнить все расчеты относительно того, куда будут направлены фотографии.
И хотя выравнивание с волноводом намного проще, это не значит, что оно идеальное. Вот почему на переносице есть две крошечные камеры, направленные на ваши глазные яблоки. Они позволят HoloLens 2 автоматически измерять расстояние между вашими зрачками и соответствующим образом корректировать изображение. Эти камеры также позволят HoloLens 2 вертикально корректировать изображение, если оно наклонено или если ваши глаза не идеально ровные. (Они не наклонены. Извините.)
Своего рода бесплатным преимуществом этих камер является то, что они также могут сканировать ваши сетчатки, чтобы безопасно войти в HoloLens 2. В конце концов, он работает под управлением Windows, и поэтому поддерживает Windows Hello. Они также отслеживают, куда вы смотрите, что позволяет использовать некоторые новые взаимодействия с пользователем, о которых я расскажу ниже.
Затем идет питание: лазеры, колеблющиеся зеркала и специальные чипы для обработки вычислений, поскольку все это должно сжигать батарею. Но Алам говорит мне, что даже при всем этом ему все равно удается потреблять меньше энергии, чем альтернативе. Зеркала колеблются в резонансе, поэтому требуется меньше энергии для их перемещения, своего рода, они являются самыми быстрыми метрономами из когда-либо существовавших. Лазеры также несут меньшие потери, чем светодиоды, и специальный кремний может быть оптимизирован для его конкретной задачи.
«Наша эволюция направлена на создание форм-фактора, который действительно будет похож на очки», — говорит Алам, — «и все это важные шаги на этом пути».
Все эти технологии, безусловно, впечатляют, но я не хочу переоценивать качество изображения. То, что я использовал, не было готовым продуктом. Я видел крошечный ореол вокруг некоторых голограмм, и они иногда немного прыгали. Большинство функций, основанных на сканерах глаз на переносице, также еще не были включены. Тем не менее, по сравнению с первым HoloLens, то, что я увидел, перешло черту от «крутая демоверсия, которую я бы использовал 20 минут, а потом был бы раздражен» до «я мог бы видеть, как люди используют это в течение нескольких часов, если бы программное обеспечение было действительно полезным».
Но если вы собираетесь использовать гарнитуру в течение «нескольких часов», она должна быть достаточно удобной, чтобы ее можно было не снимать.
Алекс Кипман, технический сотрудник отдела искусственного интеллекта и смешанной реальности, Microsoft.
Зона комфорта
Вот как надевается HoloLens 2: вы надеваете его как бейсболку, поворачиваете ручку сзади, чтобы затянуть оголовье, и затем вы начинаете видеть голограммы. Конец.
Он гораздо менее хлопотный, чем последний HoloLens или любой другой дисплей, устанавливаемый на лицо, который я когда-либо пробовал. Благодаря всей работе над системой отображения вы можете пропустить дополнительный шаг «возни с положением, чтобы убедиться, что вы можете видеть изображение». Корпус устройства также проще. Это один ремешок, который удерживается с минимальным давлением на затылок и лоб. (Если вам это нужно, есть дополнительный верхний ремешок.)
Все это хорошо, но это бессмысленно, если гарнитуру неудобно носить. И хотя я никогда не носил ее дольше 20 минут, я думаю, что она выдержит и более долгие периоды.
У Microsoft есть лаборатория «человеческого фактора», где они любят демонстрировать свою коллекцию муляжей человеческих голов и высокоскоростных камер. Карл Ледбеттер, старший директор по дизайну в команде Microsoft Device Design Team, провел меня по всем прототипам и материалам, которые Microsoft пыталась внедрить в конечный продукт. Он объяснил, как Microsoft экспериментировала с различными конструкциями и материалами, в конечном итоге остановившись на углеродном волокне для экономии веса.
«Реальность такова, что [нам приходится] подгонять детей, взрослых, мужчин, женщин и представителей разных национальностей по всему миру. Голова у всех разная», — говорит он. У Microsoft есть база данных примерно из 600 голов, отслеживающая форму черепа, глубину глаз, размер и относительное положение переносицы и другие вариации. Команда Ледбеттера прикрепляла датчики к шеям людей, чтобы измерять мышечное напряжение и убедиться, что центр тяжести находится в правильном положении.
В результате hololens 2 имеет более щадящую и гибкую посадку. Она просто лучше справляется с тем, чтобы приспособиться к основным физическим реалиям человека. Вы можете поднять козырек так, чтобы он не попадал в поле вашего зрения, и вы могли бы установить зрительный контакт, не снимая гарнитуру. Подкладка из пены с эффектом памяти, которая лежит на лбу, является съемной и поддается чистке, а термоэлементы были полностью переработаны, чтобы тепло отводилось от вашей головы.
Все это действительно помогает, но самое важное, что сделала Microsoft, — переместила центр тяжести прямо за уши, а не вверх над глазами. HoloLens 2 на самом деле не намного легче оригинального HoloLens. Но он кажется легче, потому что он более естественно сбалансирован на голове. Этот баланс имеет огромное значение. Его вес менее заметен и должен меньше напрягать шею.
Ledbetter переместил вес, буквально переместив самую тяжелую часть: основной процессор и аккумулятор теперь находятся в модуле, который находится на задней стороне гарнитуры, а провода внутри оголовья идут к плате дисплея и компонентам спереди. Этот процессор, кстати, является Qualcomm Snapdragon 850 на базе ARM, и это важно, потому что он решает другую базовую человеческую реальность: мы ненавидим, когда батарея разряжается, и мы ненавидим подключать что-либо. Процессор ARM означает, что он может иметь меньшую батарею.
«Если вы собираетесь работать от батареи, сегодня трудно найти продукт, который не работал бы на базе ARM».
Оригинальный HoloLens работал на процессоре Intel и на нем работала Windows. С тех пор Microsoft проделала огромную работу, чтобы Windows хорошо работала на ARM. Эти усилия постепенно приносят плоды на ноутбуках , но Intel по-прежнему в порядке вещей на тех машинах, где чистая скорость обычно важнее для пользователей, чем время автономной работы. В целом, есть напряженность с Intel. Она не поставляет чипы с низким энергопотреблением, которые требуются мобильным устройствам. Сообщается, что Intel даже пришлось лоббировать Microsoft, чтобы Surface Go оставался на своих чипах.
А что насчет HoloLens 2? Алекс Кипман — человек, отвечающий за весь проект HoloLens. Он говорит, что «ARM правит в устройствах с батарейным питанием. Решение ARM было принято довольно легко. Если вы собираетесь работать от батареи, [сложно] найти продукт, который не работает на ARM сегодня».
Когда я указываю на то, что есть много ноутбуков с Windows, работающих от батарей с использованием чипов Intel, он становится более резким. «У Intel сейчас даже нет SoC [системы на чипе] для таких типов продуктов, работающих от батареи. У них была одна, в предыдущей версии [HoloLens] была Cherry Trail , которую они прекратили выпускать. Это решение было очевидным».
Для работников, а не потребителей
HoloLens 2 продается только корпорациям, а не потребителям. Он разработан для тех, кого Кипман называет «работниками первой линии», людей в автомастерских, заводских цехах, операционных и на выезде, ремонтирующих вещи. Он разработан для людей, которые работают руками и которым сложно интегрировать компьютер или смартфон в свою повседневную работу. Кипман хочет заменить заляпанный жиром компьютер Windows 2000, стоящий в углу рабочего помещения. Это примерно то же самое решение, которое Google приняла для Google Glass .
«Если вы подумаете о 7 миллиардах людей в мире, то такие люди, как вы и я — работники умственного труда — составляют меньшинство», — отвечает он. По его мнению, работники, которые будут этим пользоваться, — это «возможно, люди, которые чинят наш реактивный двигатель. Возможно, это люди, которые находятся в каком-то торговом зале. Возможно, это врачи, которые оперируют вас в операционной».
Он продолжает, говоря, что это для «людей, которые в определенном смысле были обделены вниманием или не имели доступа к технологиям [в своей практической работе], потому что ПК, планшеты, телефоны на самом деле не подходят для этого».
«Я здесь, чтобы сказать вам, что это все еще не потребительский продукт».
Достаточно справедливо. Это полностью соответствует новому фокусу Microsoft на обслуживании корпоративных и корпоративных нужд вместо того, чтобы пытаться штамповать хитовые потребительские продукты. Это был один из моих выводов, когда я брал интервью у генерального директора Сатьи Наделлы в прошлом году , и это справедливо и сегодня. Как я тогда написал, это «другой тип Microsoft, нежели тот, о котором мы привыкли думать. Он немного менее броский, да, но у него есть преимущество в том, что он имеет гораздо больше шансов на успех».
Кроме того, утверждает Кипман, даже HoloLens 2 недостаточно хорош, чтобы стать настоящим массовым потребительским технологическим продуктом. «Это лучшее, наивысшее достижение того, чего можно достичь в смешанной реальности, и я здесь, чтобы сказать вам, что это все еще не потребительский продукт», — говорит он, а затем продолжает:
Почему это не потребительский продукт? Он не настолько захватывающий, как вы хотите. Он более чем в два раза захватывающий, чем предыдущий, [но он] все еще недостаточно захватывающий, чтобы потребитель с улицы пошел им пользоваться. Он все еще недостаточно комфортен… Я бы сказал, что пока эти вещи не станут намного более захватывающими, чем самый захватывающий продукт, намного более удобными, чем самый комфортный продукт, и не будут стоить 1000 долларов или меньше, я думаю, люди обманывают себя, думая, что эти продукты готовы.
Кипман говорит, что Microsoft не участвовала в потребительском ажиотаже вокруг этих типов продуктов. «Мы не были компанией, которая раскручивала VR. Мы определенно не компания, которая раскручивала AR. И с тех пор, как мы объединили эти два направления в смешанной реальности и усилиях по ИИ, мы не раскручивали ни то, ни другое».
Это не совсем так. Мы видели множество демонстраций от Microsoft, демонстрирующих игры — включая Minecraft — и другие потребительские приложения для HoloLens. Так что этот переход на корпоративный рынок — это, безусловно, поворотный момент.
Но это поворот, который является неотъемлемой частью более крупной корпоративной стратегии Microsoft. И то, что он больше не позиционируется как потребительский продукт, не означает, что он не является важным продуктом — тем, которому Microsoft, по-видимому, привержена и для которого разрабатывает программное обеспечение.
Лучший интерфейс на вашем лице
Первый HoloLens требовал от пользователей выучить неуклюжие жесты с названиями вроде «Air Tap» и «Bloom». Вам приходилось делать эти действительно специфические жесты руками, потому что это все, что могли обнаружить и понять датчики первого HoloLens.
HoloLens 2 может обнаруживать и понимать гораздо больше благодаря новому набору датчиков для считывания обстановки в помещении под названием Azure Kinect. «Kinect» — потому что это бренд камер Microsoft, которые могут сканировать помещения, «Azure» — потому что, по всей видимости, все, что компания делает в наши дни, так или иначе связано с ее облачным сервисом, и это еще один сигнал о том, что это бизнес-продукт, а не дополнение к Xbox.
«HoloLens 1 — это просто одна большая сетка. Это как накинуть одеяло на реальный мир», — говорит Кипман. «С HoloLens 2 мы переходим от пространственного картирования к семантическому пониманию пространств. Вы понимаете, что такое диван, что такое человек, сидящий на диване, в чем разница между окном и стеной».
Я не могу сказать, насколько хорошо Kinect на самом деле способен распознавать объекты — Microsoft не демонстрировала нам ничего из этого — но теоретически это работает, поскольку Azure Kinect видит комнату в более высоком разрешении и поскольку он подключен к облачным сервисам, которые помогают ему определять, что это за объекты.
Есть один аспект, где я могу определенно сказать, что более высокая точность реальна: он может гораздо легче идентифицировать мою руку и то, что она делает. Он может отслеживать до 25 точек артикуляции на обеих руках в пространстве, что означает, что вам больше не нужно использовать жест Air Tap для взаимодействия с голограммами.
Изменение размера голограммы естественным жестом. Кадры не показывают фактическое поле зрения. Изображение: Майкрософт
В одной из демонстраций я ходил по комнате, разглядывая различные голограммы, установленные на столах. Когда я протягивал руки, вокруг каждой из них появлялась коробка с маленькими ручками по краям и углам. Я мог просто протянуть руку и схватить всю коробку и переместить голограмму. Я также мог просто схватить один край, чтобы повернуть ее, или два, чтобы изменить ее размер. Когда была кнопка, я мог вытянуть палец и нажать ее. Я сомневаюсь, что она достаточно точна, чтобы, скажем, позволить вам печатать на виртуальной клавиатуре QWERTY, но это все равно большой шаг вперед по сравнению с первым поколением.
Отслеживание глаз также играет роль в том, как вы взаимодействуете с голограммами. HoloLens 2 может определять, куда вы смотрите, и использовать эту информацию как своего рода пользовательский интерфейс. Были демонстрации, где я просто смотрел на маленький пузырек, чтобы заставить его лопнуть в голографическом фейерверке, но самым полезным был автопрокрутчик. Чем ближе я подходил к низу страницы, тем быстрее прокручивались слова, но затем он останавливался, когда я снова смотрел вверх.
Я не видел полный пользовательский интерфейс верхнего уровня, поэтому не знаю, меняется ли это. Но одно точно не изменилось: он по-прежнему работает под управлением Windows. Он использует общий код в Windows OneCore , что означает, что вы не получите традиционную оболочку рабочего стола Windows, но сможете запустить на нем любое универсальное приложение Windows. Он также имеет необходимые драйверы, чтобы вы могли подключить к нему клавиатуру и мышь по Bluetooth, если вы действительно этого хотите.
Чайтанья Сарин, главный менеджер групповой программы Microsoft Mixed Reality, объясняет, что они пытаются «заставить машину работать вокруг человека, а не наоборот». Сарин называет это «инстинктивным взаимодействием» в противовес «интуитивному», поскольку оно может опираться на то, что мы уже делаем с реальными объектами в мире. «Разве кто-то рождается с мыслью: «Там будет кнопка закрытия [в верхнем углу окна]»? Нет», — говорит он. «Многие интерфейсы, которые мы используем, — это приобретенные знания».
«Разве кто-то рождается с мыслью: «Будет кнопка закрытия»? Нет».
Сарин все еще продумывает некоторые детали пользовательского интерфейса, но цель состоит в том, чтобы использовать многие естественные жесты, которые вы усвоили в детстве, а не заставлять вас изучать совершенно новый язык интерфейса.
Microsoft также предоставляет разработчикам новые программные инструменты. Одним из самых важных, Dynamic 365 Guides, станет приложение смешанной реальности с шаблонами для создания инструкций по ремонту реальных вещей, таких как этот квадроцикл. Другие инструменты зависят от облачных сервисов Microsoft. Одним из них является Azure Remote Rendering, который позволяет HoloLens перенести часть вычислительной нагрузки в облако. Он существует, потому что HoloLens 2 может хранить и отображать только ограниченный тип деталей для чего-то вроде 3D-рендеринга двигателя локально. С помощью Remote Rendering некоторые детали могут поступать из облака в реальном времени, поэтому он отображает потенциально бесконечные уровни детализации, позволяя вам моделировать и взаимодействовать с мельчайшими частями голографической машины.
Наконец, есть Azure Spatial Anchors. Он позволяет прикреплять голограммы к реальным местам в мире. На базовом уровне это не так уж и отличается от того, что Apple и Google уже делают в дополненной реальности: позволяя нескольким устройствам видеть и взаимодействовать с одним и тем же виртуальным объектом. Однако амбиции Microsoft гораздо масштабнее: она хочет создать инфраструктуру для набора голограмм «мирового масштаба» и разрабатывает инструменты, которые позволят разработчикам использовать эту инфраструктуру на разных платформах, включая iOS и Android.
Решение этой проблемы требует большего, чем просто определение местоположения по GPS и распознавание объектов. Кипман много говорит о различении одинаково скучных конференц-залов, которые находятся в одном и том же месте на разных этажах. Отслеживание объектов в пространстве с помощью оптики, как известно, сложно. Пройдите по кругу вокруг здания, и ваше положение будет смещаться, поэтому компьютер не поместит вашу конечную точку в начальную. Немного неясно, насколько далеко Microsoft продвинулась в решении этих проблем, но она активно над ними работает.
Алекс Кипман считает, что мы находимся на пороге «третьей эры вычислений». Сначала появились ПК с их открытыми архитектурами, затем телефоны с закрытыми магазинами приложений, а теперь он надеется, что гарнитуры смешанной реальности качнут маятник обратно к открытости, поскольку Microsoft намерена сохранить HoloLens открытым. HoloLens работает с облачными сервисами Microsoft, но он будет работать и с другими экосистемами. Кипман говорит, что HoloLens и Azure «слабо связаны, но тесно согласованы».
Я мог бы не только придираться к его обзору истории вычислительной техники и указывать на то, что существует немало примеров того, как аутсайдеры призывали к открытости, но суть остается прежней: Microsoft считает, что смешанная реальность станет Большим Делом.
Понимание того, что Microsoft планирует в последнее время, потребовало продираться через гораздо большее количество жаргона, чем раньше. В частности, в случае с HoloLens 2 ожидайте много обсуждений о «времени окупаемости» (насколько быстро пользователь может сделать что-то полезное после получения устройства от работодателя) и «интеллектуальном крае» (устройствах с собственной вычислительной мощностью, тем не менее подключенных к облаку).
У обычных потребителей возникает когнитивный диссонанс со всеми этими разговорами. Кипман возражает против этого, вокруг HoloLens 2 много шумихи. Теперь она направлена только на корпорации. Часть из этого вполне заслужена. Я думаю, что HoloLens 2 — это техническое чудо. То, что он не продается как потребительское устройство, не означает, что он не является важной частью технологии, чем-то, что может изменить наше представление о том, как должен выглядеть компьютер.
Но мы привыкли к тому, что компании, производящие бытовую электронику, делают все возможное, чтобы выставить на полки магазинов такие технические чудеса, превращая эту шумиху в гаджеты в наших карманах и на наших головах.
В случае с HoloLens 2 шумиха не связана с персональными технологиями. Это просто бизнес.