跳到主要内容

4. 触觉格式描述

4.1. 触觉编码概述​

MPEG Haptics Coding 标准规定了高效传输和渲染触觉信号的方法, 用于支持沉浸式体验. 它支持多种感知类型, 包括最常见的振动触觉 (感知振动的触感) 和动觉感知 (触觉阻力或力), 也支持其他较少见的感知, 例如温度感或纹理感. 它还支持两种触觉信号编码方法: 一种是基于测量数据样本的 "quantized" 方法, 另一种是使用函数组合合成信号的 "descriptive" 方法. quantized 和 descriptive 数据都可以编码为基于 JSON 的文本交换格式 (.hjif), 或编码为用于分发和流式传输的二进制分组格式 (.hmpg). 后一种格式称为 MIHS 格式, 是本文档所述 RTP 载荷格式的基础.

4.2. MIHS 格式​

MIHS 是一种用于传输触觉数据的流格式. 触觉数据, 包括触觉效果, 按 MIHS 格式分组并交付给执行器 (actuator), 执行器根据所提供的效果运行. MIHS 格式有两级分组: MIHS units 和 MIHS packets.

MIHS units 由一个 MIHS unit header 和零个或多个 MIHS packets 组成. 定义了四种 MIHS units. initialization MIHS unit 包含携带元数据的 MIHS packets, 这些元数据用于重置并初始化触觉解码器, 其中包括时间戳. temporal MIHS unit 包含一个或多个 MIHS packets, 用于定义随时间变化的效果, 并提供压力, 速度和加速度等模态. temporal unit 的持续时间为正数. spatial MIHS unit 包含一个或多个 MIHS packets, 用于提供与时间无关的效果, 如振动触觉纹理, 刚度和摩擦. spatial unit 的持续时间始终为零. silent MIHS unit 表示某个时间间隔内没有效果, 其持续时间为正数.

MIHS unit 可以标记为 independent 或 dependent. 当解码器处理 independent unit 时, 它会重置之前的效果, 因而提供不依赖任何先前 MIHS unit 的触觉体验. dependent unit 是先前 MIHS units 的延续, 如果没有解码先前的 MIHS unit(s), 就无法独立解码和渲染. Initialization 和 spatial MIHS units 始终是 independent units. Temporal 和 silent MIHS units 可以是 dependent 或 independent units.

图 1 展示了 MIHS stream 中一系列连续的 MIHS units.

   +--------+ +-------+ +-------------+ +-------------+ +-----------+
   |Initial*| |Spatial| |Temporal Unit| |Temporal Unit| |Silent Unit|
   | Unit   |-| Unit  |-|   (indep.)  |-| (dependent) |-| (indep.)  |
   +--------+ +-------+ +-------------+ +-------------+ +-----------+
    *Initialization

                      Figure 1: Example of MIHS Stream
最后于 更新