# 深入探索增强现实的精彩世界。
在世界领先的增强现实平台 — iOS 和 iPadOS 之上，为数亿用户创造无可比拟的逼真增强现实体验。借助 ARKit 和 RealityKit 等功能强大的框架以及 Reality Composer 和 Reality Converter等创意工具，要在增强现实中生动呈现各种奇思妙想变得前所未有的简单。
# ARKit5
## 利用 ARKit 5 探索更广阔奇妙的世界
ARKit 5 新增了伦敦及更多美国城市对位置锚定功能的支持，让您能够为特定地点创建增强现实体验，如伦敦眼和时代广场，甚至是您家附近。ARKit 5 还增强了运动追踪功能，并为 iPad Pro (第五代) 上的超广角摄像头提供面部追踪支持。借助新的“轻 App 码”锚定，您可以将来自轻 App 或 ARKit app 的虚拟内容植入到印刷或数字材料内的轻 App 码中。
### 扩展了面部追踪支持范围
在配备 A12 仿生芯片及更新版本芯片的设备上 (包括 iPhone SE)，面部追踪支持现已扩展至前置摄像头，让更多用户能通过前置摄像头体验到增强现实的乐趣。最新 iPad Pro (第五代) 上的超广角摄像头也支持面部追踪。使用原深感摄像头能一次追踪最多三个面孔，让拟我表情和 Snapchat 等前置摄像头体验更有趣。
### 位置锚定
在特定的地点 (例如城市和著名地标) 放置增强现实体验。位置锚定让您能够将增强现实作品固定到特定的经纬度和海拔高度。用户可以绕着虚拟物体移动，从不同的角度观察它们，就像通过相机镜头观察现实物体一样。
### 景深 API
激光雷达扫描仪中内置了先进的场景理解功能，以助此 API 使用关于周围环境的逐像素深度信息。通过将这种深度信息与由场景几何结构感测生成的 3D 网格数据相结合，您能在 app 中即时放置虚拟物体，并将它们无缝地融入到现实环境中，让虚拟物体的遮挡显得更加真实。这将有助于您在 app 中推出相关新功能，比如进行更精确的测量，或对用户的环境应用某些效果。
### 场景几何结构感测
借助此功能，您可为您的空间创建拓扑图，并使用标签来标识地板、墙壁、天花板、窗户、门和座椅。这种对现实世界的深度理解能帮助您为虚拟对象实现物体遮挡的功能和现实世界的物理特效，同时为您提供更多的信息来支持增强现实工作流程。
### 即时增强现实
激光雷达扫描仪能够实现超快的平面检测 — 无需扫描，便可在现实世界中即时放置增强现实物品。在 iPhone 12 Pro、iPhone 12 Pro Max 和 iPad Pro 上，您无需更改任何代码，所有使用 ARKit 构建的 app 会自动支持即时增强现实物品放置功能。
### 人物遮挡
增强现实内容能够以逼真的方式从现实世界中的人物前后通过，带来更身临其境的增强现实体验，同时能在几乎任何环境中实现绿屏风格效果。在 iPhone 12、iPhone 12 Pro 和 iPad Pro 上，您无需更改任何代码，所有使用 ARKit 构建的 app 中的深度估计功能都会得到优化。
### 动作捕捉
用单个摄像头实时捕捉人物的动作。将身体姿态和动作化为一系列关节及骨骼活动，让您能在增强现实体验中输入运动和姿势，让人物成为增强现实体验的焦点。在 iPhone 12、iPhone 12 Pro 和 iPad Pro上，您无需更改任何代码，所有使用 ARKit 构建的 app 中的高度估计功能都会得到优化。
### 同时使用前置和后置摄像头
您可以同时使用前置和后置摄像头来进行面部和现实场景追踪，开创更多新的可能。例如，用户可以仅使用自己的面部与后置摄像头视图中的增强现实内容进行交互。
### 其他功能改进
一次检测最多 100 张图像，并自动估计图像中对象的实际尺寸。3D 对象检测功能变得更强大，并能在复杂的环境中更好地识别对象。现在，使用机器学习技术可以更快地检测环境中的平面。
# RealityKit2
RealityKit 框架专门为增强现实量身定制，能够提供逼真的图像渲染、相机特效、动画、物理特效等等。借助原生的 Swift API、ARKit 整合、基于物理的超逼真渲染、变换和骨骼动画、空间音频和刚体物理，RealityKit 让您可以比以往更加快速轻松地进行增强现实开发。
### 物体捕捉
利用 macOS 上新发布的物体捕捉 API，在几分钟内* 即可将 iPhone 或 iPad 中的照片转换专为增强现实而优化的 3D 模型，实现逼真效果。物体捕捉功能使用摄影测量技术将 iPhone 或 iPad 上拍摄的一系列照片转换为 3D 模型，这些模型可以立即在“AR 快速查看”中查看，或整合到您的 Xcode 项目中。
### 自定着色器
RealityKit 使用基于真实物理特性的材质、环境反射、地面阴影、相机噪点、运动模糊等等，让虚拟内容与现实世界完美融合，与真实内容别无二致。RealityKit 2 让您能够利用自定渲染目标和材质更好地控制渲染管线，从而精细地调节增强现实物体和场景的外观与质感。
### 动态素材资源
支持自定载入素材资源，更加灵活地量身定制基于 RealityKit 的体验 — 例如，以编程方式更改每一帧的图像或网格。
### 自定系统
打造自己的实体组件系统，在增强现实场景中组织整理素材资源，在系统层中构建更加复杂的功能。
### 角色控制器
使用这个强大的 Swift API 轻松创建由玩家控制的角色，让用户能够跳转、缩放和探索您创建的增强现实世界和基于 RealityKit 的游戏。
### 物体遮挡
将激光雷达扫描仪提供的信息与 RealityKit 中的边缘检测功能配合使用，让虚拟物体按照您的预期与现实环境进行交互。虚拟物体可以被放置在桌子下、墙壁后或角落处，您将只能看到虚拟物体的正常可见部分，且现实与虚拟物体之间交界的地方也会非常清晰。
### 可调节性能
配合最新 Metal 功能来发挥 GPU 的最大功效，RealityKit 能充分利用 CPU 缓存和多个内核来提供极其流畅的视觉效果和物理模拟效果。您只需要构建一个增强现实体验，它就能够根据每台 iPhone 或 iPad 来自动调节增强现实体验的性能表现。
### 视频纹理
现在，您可以将视频纹理添加到 RealityKit 中场景的任意部分。添加丰富的视频来让虚拟电视屏幕播放电影，或是让虚拟人物微笑，从而让物体、表面甚至人物变得更加生动鲜活。
### 共享的增强现实体验
RealityKit 能够帮助处理联网方面的复杂工作 (例如保持一致的状态、优化网络流量、处理数据包丢失或执行所有权转移)，从而大大简化了构建共享增强现实体验的工作。
### Swift API
RealityKit 简单易用，功能强大，它使用 Swift 丰富的语言特性自动提供完整的功能集，让您能够更快速地构建增强现实体验，而无需样板代码。
# Reality Composer
Reality Composer 是一款功能强大的工具，让您无需具有 3D 经验，即可轻松打造交互式增强现实体验。Reality Converter 能够快速地将现有的 3D 模型转换为 USDZ，这样它就可以在我们的工具以及所有支持增强现实功能的 iPhone 和 iPad 设备上流畅地工作。
借助适用于 iOS、iPadOS 和 macOS 的 Reality Composer，您可以轻松地为 iPhone 或 iPad 构建、测试、调整和模拟增强现实体验。通过实时链接功能，您可以在 Mac 与 iPhone 之间或 Mac 与 iPad 之间快速切换，打造精彩逼真的增强现实体验，然后导出至 AR 快速查看，或使用 Xcode 整合到您的 app 中。
### 内置增强现实资源库
导入您自己的 USDZ 文件，或者利用内置增强现实资源库中数百个现成的虚拟对象。这个资源库能够利用程序化内容生成技术来生成各种素材资源，帮助您自定虚拟对象的大小、样式等。
### 动画和音频
添加可让您移动、缩放的动画，以及向虚拟对象添加“晃动”或“旋转”等强调效果。您可以选择当用户轻点对象、靠近对象或激活某个其他触发器时要发生的操作。您还可以利用空间音频让您的增强现实场景更贴近现实。
### 一体化工具
Xcode 中随附的 Reality Composer 同时也是一个 iOS 和 iPadOS app，让您在 iPhone 或 iPad 上，就能完全构建、测试、调节和模拟增强现实体验。通过实时链接功能，您可以在各个平台之间快速切换，在最适合自己的设备上创造令人惊艳的复杂增强现实体验。
### 录制和播放
借助适用于 iOS 的 Reality Composer，您可以在发生增强现实体验的位置录下传感器和摄像头数据，然后在构建您的 app 时在 iOS 设备上重放。
### 导出至 USDZ
Reality Composer 现在支持导出至 USDZ，而 USDZ 支持在 Reality Composer 中创作的所有动画、锚点和空间音频。
# Reality Converter
全新的 Reality Converter app 让您可以在 Mac 上轻松转换、查看和自定 USDZ 3D 对象。只需拖放常用格式 (如 .obj、.gltf 和 .usd) 的 3D 文件，即可查看转换后的 USDZ 结果，使用自己的纹理来自定材质属性，以及编辑文件元数据。您甚至可以利用内置的 IBL 选项在多种光照条件和环境中预览 USDZ 对象。
全新的 Reality Converter app 让您可以在 Mac 上轻松转换、查看和自定 USDZ 3D 对象。
### USDZ 工具
下载用于生成、验证和检查 USDZ 文件的基于 Python 的基本工具。其中还包括一个用于从其他 3D 文件格式创建 USDZ 的转换器，以及 Pixar 的 USD 库和示例脚本。
# AR 快速查看
在 iPhone 和 iPad 上，Safari 浏览器、“信息”、“邮件”、“新闻”和“备忘录”等内建 app 使用“快速查看”来显示 3D 或增强现实虚拟对象的 USDZ 文件。您可以在 app 和网站中嵌入“快速查看”视图，让用户可以在现实世界场景中看到细节极其丰富的对象渲染效果，同时支持音频播放。
https://developer.apple.com/cn/augmented-reality/quick-look/
