产品概要

RTE(=实时特效)

RTE是基于深度传感器获取的深度信息将空间进行3D数据化,并生成人体的骨骼信息,而且根据人体的动作能够有效的产生特效的PC・Android应用软件。

使用「RTE」可实现的事情

RTE特效是,基于骨骼信息结合「拍手」「回转」等身体的动作,在身体的哪个部位,如何产生特效?这样的「分析・判定动作」是最大的关键。

这些需要以创造性和技术的角度进行细致的设定,就这部分灌输了emmmR至今为止所累积的经验和技巧。

 

使用3D特效和空间可以制作出立体特效
在直播节目中实时产生、礼物应用

在拍摄的动画中自动插入制作效果
自动拍摄的视频可轻易地上传到SNS和动画共享网站

 
 
 

实现具有临场感的3D特效的演出

・RTV(=实时Vtuber)

融合emmmR开发的产品RTE和Vtuber的RTV提案

Vtuber将利用MR (=Mixed Reality(复合现实))技术为直播服务商和主播提供新的互动服务。

所谓的Vtuber是什么…?
Vtuber是「虚拟YouTuber」的简称,是使用2D或是3D的虚拟角色进行动画投稿和直播活动的人的总称。
虽然这基本上是「YouTuber」的衍生词,但是也有一些人在YouTber以外的视频平台开展活动。

虚拟角色实时跟踪人体

传感器可以感知骨骼信息,并对人体的动作实时做出反应,可以比以往更细腻的表现出虚拟角色的动作。

复合现实

针对可以感测的部位或物体,以MR (=Mixed Reality(复合现实))呈现新的表现

识别表情

  • 以嘴角和眉毛的角度表现出喜怒哀乐的表情
  • 随机表现出真实眨眼的表情
  • 感测嘴角的动作进行对口型

与动作相连动的表情变化

识别出已经设定好的手势,改变虚拟角色的表情
例如)一根手指表现出微笑 两根手指表现出生气的脸 等

以RTE(=实时特效)演出效果

跟踪虚拟角色的动作可以附加特效!

制作角色

制作与主播相似的虚拟角色,利用人气漫画等的IP制作虚拟角色准备好一些模板,然后从照片中轻易地自动生成虚拟角色

RTV (= Real TIme Vtuber ・ 实时 Vtuber)使用场景

・将物品礼物化,更立体地反映出V-tuber的外表
・具有复数的Vtuber可以远程共演的功能
・不想暴露自己的主播不仅仅是外表,也可以改变声音,通过希望的声音特效进行合成
・检测空间里的东西和物体,在其空间中生成出另一个3D模型
・生成符合表情和手势的效果音

对应传感器

inuitive

orbbec

对应传感器

最大的特点是,不使用动作捕捉在摄影中的动画上就可以自动附加3D特效,可实时演出动画和摄影后不需要进行复杂的编辑,谁都可以轻易地制作动画。