2 月底的 MWC(Mobile World Congress,世界移动通信大会)上,微软 CEO 萨蒂亚·纳德拉(Satya Nadella)、全球资深副总裁朱莉娅·怀特(Julia White)和亚历克斯·基普曼(Alex Kipman)都出现在活动现场,并发布了 HoloLens2 。
HoloLens 是微软的混合现实头戴显示器,于 2015 年 1 月面世。纳德拉曾多次在公开场合提及 HoloLens 的重要性:混合现实、人工智能和量子计算将是未来三大主要技术。
由于微软的混合显示业务一直专注于 B 端市场和垂直行业,很多消费者还没有机会接触到 HoloLens 这个堪称“黑科技”的产品。但事实上,HoloLens 背后的技术普通消费者曾接触过,载体正是在消费电子界颇有声望的 Kinect。
Kinect 之父基普曼曾经告诉 PingWest 品玩,HoloLens 的开发团队和 Kinect 是同班人马,在 HoloLens 上识别并追踪人的行动,实际上是把游戏主机 XBox 上的体验扩展到了另一个平台。
曾经的黑科技:Kinect
Kinect 是微软在 2010 年为 Xbox 360 游戏主机推出的操控外设,能把用户的手势、姿态转变为输入指令。
按照微软的说法,Kinect为第一款内置机器学习技术的消费级设备。在当时的背景下,Kinect 是彻头彻尾的黑科技。同时代的 Wii 和 PS Station,都需要用户手持一个控制器,才能实现姿态输入,而 Kinect 完全依靠摄像头就解决了,而且解决得更好。
从外形上看,Kinect 有三个摄像头。从左至右分别是:红外线发射器、彩色 CMOS 摄像头、红外线 CMOS 摄像机。其中,第一个和第三个构成了深度传感器,让 Kinect 能读懂房间的空间信息,以及人物的移动信息。
Kinect 同时还内置了语音识别麦克风,当用户叫一声 “Xbox On” ,它就会打开 Xbox One 游戏机。
这些领先的功能实现,我们后来都可以在其他消费电子产品上看到,比如 Google Tango 项目、 苹果的“Hey Siri”以及 iPhone X 的前置 3D 人脸识别。
有意思的是,iPhone X 和 Kinect 还有一番渊源。Kinect 的技术部分授权自 PrimeSense,后者于 2013 年后被苹果收购。苹果将 PrimeSense 的技术应用在了人脸识别上。
Kinect 发布后 60 天内,便卖出了惊人的 800 万部,成为当时销售速度最快的消费级设备。而后打破这一纪录的是苹果 2011 年发布的 iPhone 4s,发布后 78 天内销量高达 3300 万部。
尽管发布之初非常受消费者的欢迎,但 Kinect 还是逐渐走了下坡路。最主要的原因是,“微软没能说服顶尖的游戏工作室认真投入在 Kinect 上”,这导致 Kinect 上一直都是休闲游戏为主,没有杀手级应用。
2014 年,微软不再将 Kinect 和 Xbox 游戏主机捆绑销售。2017 年 10 月,微软正式停产 Kinect。彼时,它共销售出了约 3500 台。
Kinect 虽然停产了,但项目中许多技术依然在微软其他产品上发光发热,比如微软的人工语音助理 Cortana,微软人脸 ID 系统 Windows Hello。当然,还包括集 Kinect 技术大成者—— HoloLens。
Kinect 技术的继承者:HoloLens
在 Kinect 发布的 2010 年,基普曼就已经开始研发另一个项目 ——Project Baraboo,一副技术上集大成的全息眼镜:将虚拟影像投射在真实世界,用户用手势和语音进行交互。2015 年 1 月,项目成果正式发布,微软将其命名为 HoloLens,开发者版本售价 3000 美元。
这是一个一体设备,自带计算处理单元,搭载了英特尔 14 纳米工艺的 Cherry Trail CPU+GPU,以及自研的 HPU(Holographic Processing Unit,全息处理单元)。
HPU 采用了台积电 28 纳米工艺制造,集成了 24 个内核。它每秒可执行大约 1 万亿次计算,而且传送到 CPU 的数据几乎不需要进行额外处理。
HoloLens 有 4 个环境感知摄像头、1 个深度摄像头、1 个视频摄像头,和 Kinect 上的深度感知一脉相承。
交互方式上,HoloLens 支持语音和手势控制。使用语音唤醒词“Hey Cortana”激活后,可以通过语音来打开应用、拍摄照片。
微软将手势操作命名为“Air Tap”,基本姿势是:将手部置于头显前方,食指竖直,其余手指轻轻合拢。食指朝下方做点击的动作,便完成了空中点击的操作。
系统上,HoloLens 搭载了 Windows Holographic。这个平台是 Windows 10 的分支, 可以运行 Windows 通用应用。
微软并没有把 Windows Holographic 限制于 HoloLens 上。2016 年 6 月,微软在台北电脑展上宣布,将 Windows Holographic 平台开放给了 OEM、ODM 和硬件合作伙伴。合作伙伴负责制造 VR 头戴显示器和配件,Windows Holographic 负责提供操作界面、内容应用商店、真实物体理解能力以及 Inside-Out 追踪能力。
2017 年 3 月,微软正式把 Windows Holographic 平台更名为 Windows Mixed Reality 平台。
不做游戏,做生产力工具
和 Kinect 作为游戏外设不同,HoloLens 被定位为生产力设备,制造、建筑、医疗、汽车、军事等垂直行业都是其落地的方向,其中最知名的案例是蒂森克虏伯。
2016 年,微软宣布向世界知名电梯厂商蒂森克虏伯,提供了 2.4 万台 HoloLens,用于帮助技术人员维修电梯。
维修前戴上 HoloLens,蒂森克虏伯的技术人员可以在眼前看到维修服务请求、以及将要维修的电梯的三维图像,图像任一部分都可以放大研究。
维修时戴上 HoloLens,技术人员可以看到以前的维修记录、调出电梯的模拟图、使用 HoloLens 内置的 Skype 呼叫专家远程支持。
过去,这些操作都需要技术人员操作笔记本电脑来完成。佩戴上 HoloLens 后,技术人员只需要动动手指、说两句话,就能调出各种数据以及呼叫专家。蒂森克虏伯表示,配备 HoloLens 后,技术人员可以在 20 分钟内,解决以往需要 2 个小时才能搞定的问题。
2018 年 Build 大会上,微软将他们在垂直行业的经验提炼出来,推出了 Microsoft Remote Assist 和 Microsoft Layout 两款面向行业的标准化应用。
Microsoft Remote Assist 能让佩戴 HoloLens 的工作人员将第一视角画面分享给远程协作者。协作者在 PC、平板或手机上查看,并进行增强现实注释。
而 Microsoft Layout 是一个 3D 模型预览工具,能让虚拟图像放置在真实空间里,更宜家的家居预览应用非常像。
从 Kinect 到 HoloLens,微软在变革人机交互这条路上已经走了 9 年多。Kinect 已经折戟沉沙,而它的继任者 HoloLens 目前发展势头良好,传闻二代将具备更小型化的外观和更强大的 HPU 单元。但随着苹果、Facebook、Google 等公司开始加入战场,HoloLens 将面临比 Kinect 经历过的更大挑战。