产品概要

RTE（＝实时特效）

RTE是基于深度传感器获取的深度信息将空间进行3D数据化，并生成人体的骨骼信息，而且根据人体的动作能够有效的产生特效的PC・Android应用软件。

使用「RTE」可实现的事情

RTE特效是，基于骨骼信息结合「拍手」「回转」等身体的动作，在身体的哪个部位，如何产生特效？这样的「分析・判定动作」是最大的关键。

这些需要以创造性和技术的角度进行细致的设定，就这部分灌输了emmmR至今为止所累积的经验和技巧。

 

使用3D特效和空间可以制作出立体特效
在直播节目中实时产生、礼物应用

在拍摄的动画中自动插入制作效果
自动拍摄的视频可轻易地上传到SNS和动画共享网站

 
 
 

实现具有临场感的3D特效的演出

・RTV（＝实时Vtuber）

融合emmmR开发的产品RTE和Vtuber的RTV提案

Vtuber将利用MR (＝Mixed Reality（复合现实)）技术为直播服务商和主播提供新的互动服务。

所谓的Vtuber是什么…？
Vtuber是「虚拟YouTuber」的简称，是使用2D或是3D的虚拟角色进行动画投稿和直播活动的人的总称。
虽然这基本上是「YouTuber」的衍生词，但是也有一些人在YouTber以外的视频平台开展活动。

虚拟角色实时跟踪人体

传感器可以感知骨骼信息，并对人体的动作实时做出反应，可以比以往更细腻的表现出虚拟角色的动作。

复合现实

针对可以感测的部位或物体，以MR (＝Mixed Reality（复合现实)）呈现新的表现

识别表情

  • 以嘴角和眉毛的角度表现出喜怒哀乐的表情
  • 随机表现出真实眨眼的表情
  • 感测嘴角的动作进行对口型

与动作相连动的表情变化

识别出已经设定好的手势，改变虚拟角色的表情
例如）一根手指表现出微笑 两根手指表现出生气的脸 等

以RTE（＝实时特效）演出效果

跟踪虚拟角色的动作可以附加特效！

制作角色

制作与主播相似的虚拟角色，利用人气漫画等的IP制作虚拟角色准备好一些模板，然后从照片中轻易地自动生成虚拟角色

RTV (= Real TIme Vtuber　・ 实时 Vtuber)使用场景

・将物品礼物化，更立体地反映出V-tuber的外表
・具有复数的Vtuber可以远程共演的功能
・不想暴露自己的主播不仅仅是外表，也可以改变声音，通过希望的声音特效进行合成
・检测空间里的东西和物体，在其空间中生成出另一个3D模型
・生成符合表情和手势的效果音

对应传感器

inuitive

orbbec

对应传感器

最大的特点是，不使用动作捕捉在摄影中的动画上就可以自动附加3D特效，可实时演出动画和摄影后不需要进行复杂的编辑，谁都可以轻易地制作动画。