(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-10-23
(45)【発行日】2023-10-31
(54)【発明の名称】アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム
(51)【国際特許分類】
G06F 3/04845 20220101AFI20231024BHJP
G06F 3/01 20060101ALI20231024BHJP
G06F 3/04883 20220101ALI20231024BHJP
【FI】
G06F3/04845
G06F3/01 510
G06F3/01 514
G06F3/01 570
G06F3/04883
(21)【出願番号】P 2023545371
(86)(22)【出願日】2023-03-03
(86)【国際出願番号】 JP2023008121
【審査請求日】2023-07-26
(31)【優先権主張番号】P 2022072171
(32)【優先日】2022-04-26
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000002130
【氏名又は名称】住友電気工業株式会社
(74)【代理人】
【識別番号】100088155
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100136722
【氏名又は名称】▲高▼木 邦夫
(74)【代理人】
【識別番号】100176658
【氏名又は名称】和田 謙一郎
(72)【発明者】
【氏名】戴 桂明
(72)【発明者】
【氏名】柿井 俊昭
【審査官】星野 裕
(56)【参考文献】
【文献】国際公開第2022/079933(WO,A1)
【文献】特開2018-41164(JP,A)
【文献】特開2008-65860(JP,A)
【文献】特開2016-126500(JP,A)
【文献】特開2019-46250(JP,A)
【文献】国際公開第2017/150129(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/048
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
非言語情報を表現する耳を模したアニメーションの動作を操作する操作方法であって、
ユーザの指の動作を検出する検出装置であって、前記指の動作を検出するときに前記指と接触する前記検出装置を使用し、
前記検出装置によって検出される
前記ユーザ
の前記指の所定の動作に対して、予め設定された所定の前記アニメーションの動作
として、うなずき、同意、驚き、質問及び拍手のうちの少なくとも一つが対応付けられており、
所定の前記アニメーションの動作と、前記ユーザの前記指の前記所定の動作とが類似しており、
前記所定の動作が前記検出装置によって検出された場合、前記所定の動作に対応する所定の前記アニメーションの動作を実行させる、アニメーション操作方法。
【請求項2】
前記ユーザの前記指の動作速度及び移動量の少なくとも一方を検出する前記検出装置を使用し、
前記動作速度及び前記移動量の少なくとも一方に基づいて、所定の前記アニメーションの動作速度又は動作量を変化させる、請求項1に記載のアニメーション操作方法。
【請求項3】
前記検出装置の
物理量を検出す
る検出部を有する前記検出装置を使用し、
前記物理量は、角速度及び加速度の少なくとも一方であり、
前
記検出部によって検出される
前記物理量の所定値に対して、予め設定された所定の前記アニメーションの動作が対応付けられており、
前記ユーザによる前記検出装置の操作により、前記所定値の
物理量が前
記検出部によって検出された場合、前記所定値に対応する所定の前記アニメーションの動作を実行させる、請求項1又は請求項2に記載のアニメーション操作方法。
【請求項4】
前記ユーザの指に前記検出装置を装着して使用する、請求項
3に記載のアニメーション操作方法。
【請求項5】
所定の前記アニメーションの動作を実行させるための所定の入力又は操作が前記ユーザによって行われた場合に、所定の前記アニメーションの動作を実行させる、請求項
1又は請求項2に記載のアニメーション操作方法。
【請求項6】
前記ユーザによって押下される押下部を有する前記検出装置を使用し、
前記ユーザによって前記押下部が押下された場合に、所定の前記アニメーションの動作を実行させる、請求項
5に記載のアニメーション操作方法。
【請求項7】
非言語情報を表現する耳を模したアニメーションの動作を操作する操作プログラムであって、
ユーザの指の動作を検出する検出装置であって、前記指の動作を検出するときに前記指と接触する前記検出装置を使用し、
前記検出装置によって検出される
前記ユーザ
の前記指の所定の動作に対して、予め設定された所定の前記アニメーションの動作
として、うなずき、同意、驚き、質問及び拍手のうちの少なくとも一つが対応付けられており、
所定の前記アニメーションの動作と、前記ユーザの前記指の前記所定の動作とが類似しており、
前記所定の動作が前記検出装置によって検出された場合、前記所定の動作に対応する所定の前記アニメーションの動作を実行させるステップを、コンピュータに実行させる、アニメーション操作プログラム。
【請求項8】
非言語情報を表現する耳を模したアニメーションの動作を操作する操作システムであって、
ユーザの指の動作を検出する検出装置であって、前記指の動作を検出するときに前記指と接触する前記検出装置を使用し、
前記検出装置によって検出される
前記ユーザ
の前記指の所定の動作に対して、予め設定された所定の前記アニメーションの動作
として、うなずき、同意、驚き、質問及び拍手のうちの少なくとも一つが対応付けられており、
所定の前記アニメーションの動作と、前記ユーザの前記指の前記所定の動作とが類似しており、
前記所定の動作が前記検出装置によって検出された場合、前記所定の動作に対応する所定の前記アニメーションの動作を実行させる、アニメーション操作システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の一側面は、アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システムに関する。
本出願は、2022年4月26日出願の日本出願第2022-072171号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
【背景技術】
【0002】
コンピュータを用いるコミュニケーションに関して、例えば特開2015-38725号公報(特許文献1)は、顔画像を生成する発話アニメーション生成装置を開示する。この発話アニメーション生成装置は、予め用意された音響モデル、言語モデル、及び複数の音素と複数の視覚素との間の対応表を使用して、音声信号に対して音声認識を漸次的に行って視覚素系列を生成する。発話アニメーション生成装置はさらに、生成した視覚素系列を平滑化して複数の視覚素ごとの混合重みを生成し、複数の視覚素ごとの混合重みに従って、複数の視覚素それぞれに対応する複数の顔モデルを混合することにより、顔画像を生成する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【0004】
本開示の一側面に係るアニメーション操作方法は、非言語情報を表現する耳を模したアニメーションの動作を操作する操作方法であって、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。
【図面の簡単な説明】
【0005】
【
図1】
図1は、一実施形態に係るコミュニケーション支援システムの概略構成の例を示す図である。
【
図2】
図2は、一実施形態に係るコミュニケーション支援システムによって提供されるコミュニケーションの例を示す図である。
【
図3】
図3は、端末及びサーバの機能ブロックの例を示す図である。
【
図4】
図4は、第一実施形態に係る操作装置の斜視図である。
【
図5】
図5は、
図4に示す操作装置の機能ブロックの例を示す図である。
【
図6】
図6の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図6のユーザ動作は、
図6の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図7】
図7の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図7のユーザ動作は、
図7の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図8】
図8の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図8のユーザ動作は、
図8の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図9】
図9の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図9のユーザ動作は、
図9の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図10】
図10の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図10のユーザ動作は、
図10の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図11】
図11の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図11のユーザ動作は、
図11の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図12】
図12は、第二実施形態に係る操作装置の斜視図である。
【
図14】
図14の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図14のユーザ動作は、
図14の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図15】
図15の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図15のユーザ動作は、
図15の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図16】
図16の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図16のユーザ動作は、
図16の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図17】
図17の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図17のユーザ動作は、
図17の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図18】
図18の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図18のユーザ動作は、
図18の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図19】
図19の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図19のユーザ動作は、
図19の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図20】
図20は、第三実施形態に係る操作装置を示す図である。
【
図21】
図21は、操作装置がユーザの指に装着されている状態を示す図である。
【
図22】
図22は、操作装置の機能ブロックの例を示す図である。
【
図23】
図23の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図23のユーザ動作は、
図23の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図24】
図24の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図24のユーザ動作は、
図24の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図25】
図25の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図25のユーザ動作は、
図24の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図26】
図26の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図26のユーザ動作は、
図26の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図27】
図27の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図27のユーザ動作は、
図27の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図28】
図28の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図28のユーザ動作は、
図28の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図29】
図29は、第四実施形態に係る操作装置の斜視図である。
【
図31】
図31の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図31のユーザ動作は、
図31の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図32】
図32の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図32のユーザ動作は、
図32の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図33】
図33の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図33のユーザ動作は、
図33の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【
図34】
図34の動作パターンは、耳アニメーションの動作の一例を示す図であり、
図34のユーザ動作は、
図34の動作パターンに示す耳アニメーションを動作させるときのユーザの手の動きの一例を示す図である。
【発明を実施するための形態】
【0006】
[本開示が解決しようとする課題]
ビデオ会議(WEB会議)等では、通信環境(帯域制限等)やプライバシーの観点から、カメラを使用せずに、音声のみで会議に参加する場合がある。この場合、各ユーザの端末には、会議に参加しているユーザのアイコン等が表示される。アイコン等の表示からは、通話相手が発話に対して関心を示しているか等の状態・状況を認識(把握)することが困難である。そのため、円滑なコミュニケーションを図ることが難しい。
【0007】
そこで、円滑なコミュニケーションを図るために、ユーザの状態を耳アニメーション(動物の耳を模したアニメーション)で示す方法がある。アニメーションは、端末によって取得された音声データ及び画像データに基づいて、ユーザの状態を推定して生成される。この場合、ユーザの状態がアニメーションにリアルタイムで反映されるため、通話相手である他のユーザの状態を認識することができる。そのため、端末を用いて行う通話において円滑なコミュニケーションの実現が可能となり得る。
【0008】
ここで、ユーザの状態がリアルタイムでアニメーションに反映されることが、必ずしも好ましい形態とはならない場合もある。例えば、ユーザがビデオ会議中に他の動作(メールの確認等)を行っている場合、他の動作を行いながらビデオ会議に参加していることを他のユーザに知られたくない場合もある。また、ユーザの状態が推定されてリアルタイムでアニメーションに反映される場合、ユーザが緊張感を覚えることがある。そのため、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることが望まれる。
【0009】
本開示の一側面は、ユーザの意図に応じてアニメーションを動作させることができるアニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システムを提供することを目的とする。
【0010】
[本開示の効果]
本開示の一側面によれば、ユーザの意図に応じてアニメーションを動作させることができる。
【0011】
[本開示の実施形態の説明]
最初に、本開示の実施形態の内容を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
【0012】
(1)本開示の一側面に係るアニメーション操作方法は、非言語情報を表現する耳を模したアニメーションの動作を操作する操作方法であって、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。
【0013】
本開示の一側面に係るアニメーション操作方法では、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。これにより、ユーザの動作が所定の動作が検出装置によって検出されない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置において特定の動作が検出された場合に動作する。そのため、例えば、単に手や指を移動させたりするような動作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。
【0014】
(2)上記(1)において、所定のアニメーションの動作と、ユーザの手及び指の少なくとも一方の所定の動作とが類似していてもよい。これにより、所定のアニメーションに類似(関連)する所定の動作を行うことによって、所定のアニメーションが実行される。したがって、直感的な操作が可能となる。
【0015】
(3)上記(1)又は(2)において、ユーザの指の動作を検出する検出装置を使用し、検出装置によって検出されるユーザの指の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、指の所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させてもよい。これにより、所定のアニメーションは、検出装置において特定の指の動作が検出された場合に動作する。そのため、例えば、単に指を動かすような動作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。
【0016】
(4)上記(1)又は(2)において、検出装置の角速度を検出する角速度検出部を有する検出装置を使用し、角速度検出部によって検出される角速度の所定値に対して、予め設定された所定のアニメーションの動作が対応付けられており、ユーザによる検出装置の操作により、所定値の角速度が角速度検出部によって検出された場合、所定値に対応する所定のアニメーションの動作を実行させてもよい。これにより、ユーザによって検出装置の操作が行われない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置の角速度が所定値となるような特定の操作が行われた場合に動作する。そのため、例えば、検出装置を単に移動させるような操作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。
【0017】
(5)上記(4)において、ユーザの指に検出装置を装着して使用してもよい。これにより、ユーザの指(手)の動作によって、アニメーションの動作を操作することができる。
【0018】
(6)上記(4)において、ユーザの手に検出装置を保持して使用してもよい。これにより、ユーザの手の動作によって、アニメーションの動作を操作することができる。
【0019】
(7)上記(4)~(6)のいずれかにおいて、アニメーションを表示する表示部を有する検出装置を使用してもよい。これにより、検出装置の表示部にアニメーションが表示されるため、アニメーションを確認しながら検出装置を操作することができる。
【0020】
(8)上記(4)から(7)のいずれかにおいて、所定のアニメーションの動作を実行させるための所定の入力又は操作がユーザによって行われた場合に、所定のアニメーションの動作を実行させてもよい。これにより、所定の入力又は操作がユーザによって行われない場合には、所定のアニメーションが動作しない。そのため、ユーザの意図に反してアニメーションが動作することを回避できる。
【0021】
(9)上記(8)において、ユーザによって押下される押下部を有する検出装置を使用し、ユーザによって押下部が押下された場合に、所定のアニメーションの動作を実行させてもよい。このように、ユーザによる所定の動作として、検出装置の押下部が押下された場合に、所定のアニメーションの動作を実行させる。これにより、ユーザによって押下部が押下されない場合には、所定のアニメーションが動作しない。そのため、ユーザの意図に反してアニメーションが動作することを回避できる。
【0022】
(10)上記(8)において、ユーザの音声を入力する入力部を有する検出装置を使用し、ユーザの音声が入力部に入力された場合に、所定のアニメーションの動作を実行させてもよい。このように、ユーザによる所定の動作として、検出装置の入力部にユーザの音声が入力された場合に、所定のアニメーションの動作を実行させる。これにより、ユーザによって音声が入力されない場合には、所定のアニメーションが動作しない。そのため、ユーザの意図に反してアニメーションが動作することを回避できる。
【0023】
(11)上記(8)において、ユーザによる検出装置の操作によって、角速度検出部により検出される角速度が一定値以上となった場合に、所定のアニメーションの動作を実行させてもよい。角速度の一定値は、角速度の上記所定値以上に設定され得る。これにより、ユーザが特別の操作(ボタンの押下等)を行わなくても、所定のアニメーションの動作を操作することができる。
【0024】
(12)上記(1)~(11)のいずれかにおいて、検出装置の加速度を検出する加速度検出部を有する検出装置を使用し、加速度検出部によって検出される加速度の所定値に対して、予め設定された所定のアニメーションの動作が対応付けられており、ユーザによる検出装置の操作により、所定値の加速度が加速度検出部によって検出された場合、所定値に対応する所定の前記アニメーションの動作を実行させてもよい。これにより、ユーザによって検出装置の操作が行われない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置の加速度が所定値となるような特定の操作が行われた場合に動作する。そのため、例えば、検出装置を単に移動させるような操作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。
【0025】
(13)上記(1)~(12)のいずれかにおいて、ユーザの手及び指の少なくとも一方の、動作速度及び移動量の少なくとも一方を検出する検出装置を使用し、動作速度及び移動量の少なくとも一方に基づいて、所定のアニメーションの動作を変化させてもよい。この方法では、アニメーションは、動作速度又は移動量によって、動作速度が変化したり、動作量が変化したりする。これにより、アニメーションにおいて、ユーザの状況に応じた機微な非言語情報の表現(表出)を行うことができる。そのため、ユーザの感情(気持ち)がよりアニメーションに表現されるため、円滑なコミュニケーションを実現することができる。
【0026】
(14)本開示の一側面に係るアニメーション操作プログラムは、非言語情報を表現する耳を模したアニメーションの動作を操作する操作プログラムであって、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させるステップを、コンピュータに実行させる。
【0027】
本開示の一側面に係るアニメーション操作プログラムでは、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。これにより、ユーザの動作が所定の動作が検出装置によって検出されない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置において特定の動作が検出された場合に動作する。そのため、例えば、単に手や指を移動させたりするような動作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。
【0028】
(15)本開示の一側面に係るアニメーション操作システムは、非言語情報を表現する耳を模したアニメーションの動作を操作する操作システムであって、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。
【0029】
本開示の一側面に係るアニメーション操作システムでは、検出装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が検出装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。これにより、ユーザの動作が所定の動作が検出装置によって検出されない場合には、アニメーションは動作しない。また、所定のアニメーションは、検出装置において特定の動作が検出された場合に動作する。そのため、例えば、単に手や指を移動させたりするような動作の場合には、アニメーションは動作しない。このように、ユーザの意図するタイミングにおいて、必要な動作だけをアニメーションに反映させることができる。したがって、ユーザの意図に応じてアニメーションを動作させることができる。
【0030】
[本開示の実施形態の詳細]
本開示の実施形態の具体例を、以下に図面を参照しつつ説明する。本開示はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0031】
図1は、コミュニケーション支援システム(アニメーション操作システム)(以下、単に「システム」という場合もある。)の概略構成の例を示す図である。システム100は、コミュニケーションを支援するコンピュータシステムである。コミュニケーションの例は、テレビ会議、診察、カウンセリング、面接(人物評価)、テレワーク等、他のユーザとの通話を伴うものである。
【0032】
<システムの構成>
システム100は、端末10、端末20及び端末30を含む。
図1に示される例では、端末10は、ユーザU1が使用するラップトップ型のパーソナルコンピュータ(PC)である。端末20は、ユーザU2が使用する携帯電話機(スマートフォン等)である。端末30は、ユーザU3が使用するデスクトップ型のPCである。端末10、端末20及び端末30は、ネットワークNに接続可能である。この例では、端末10はアクセスポイントAPを介して、端末20は基地局BSを介して、端末30は有線(不図示)により、それぞれネットワークNに接続される。端末10、端末20及び端末30には、上述のPC、携帯電話機以外にも、タブレット端末、ウェアラブル端末、ヘッドマウントディスプレイ(HMD)端末、その他さまざまな端末が用いられてよい。なお、システム100に含まれる端末の数は、
図1の例に限定されない。
【0033】
システム100は、サーバ40を含む。サーバ40は、ネットワークNに接続される。したがって、端末10、端末20、端末30及びサーバ40は、ネットワークNを介して互いに通信可能である。なお、システム100に含まれるサーバの数は、
図1の例に限定されない。
【0034】
ネットワークNの構成は限定されない。例えば、ネットワークNは、インターネット(公衆網)、通信キャリアネットワーク、事業者ネットワーク等を含んで構成されてよい。
【0035】
図2は、システム100によって提供されるコミュニケーションの例を示す図である。コミュニケーションは、コンピュータによって表現される通話画面Gで行われる。通話画面Gは、端末10、端末20及び端末30に表示されることで、ユーザU1、ユーザU2及びユーザU3に提示される。ユーザU1,U2,U3は、互いにコミュニケーション対象である。
図2に示す例では、ユーザU1のキャラクタC1、ユーザU2のキャラクタC2及びユーザU3のキャラクタC3が、コミュニケーションの参加者として通話画面Gに現れている。キャラクタC1,C2,C3は、例えば、同じサイズで通話画面Gに表示される。
【0036】
図2に示す例では、キャラクタC1,C2,C3は、一つの空間(連続背景空間)に表示されている。一つの空間には、例えば、オブジェクトとしてテーブルTが表示されている。キャラクタC1,C2,C3は、テーブルTを囲んで向かい合うように表示される。キャラクタC1,C2,C3は、テーブルTにおいて、例えば、等間隔(60°間隔)で配置される。
図2に示す例では、キャラクタC1とキャラクタC2とは、斜めを向いた状態で、テーブルTを囲んで向かい合うように表示される。キャラクタC3は、画面中央において、背後側となるように表示される。
図2に示される画面がユーザU3の端末30の画面である場合、デフォルトとして、ユーザU3のキャラクタC3が背後となるように表示されるようにしてもよい。この場合、他のユーザU1,U2のキャラクタC1,C2の耳アニメーションEが見易くなるため、他のユーザU1,U2の状態を正確に把握することができる。
【0037】
テーブルTを回転させることにより、キャラクタC1,C2,C3の位置を変更することができる。また、観察視点を変更することができる。例えば、キャラクタC1,C2,C3を上方から見下ろすような視点(鳥瞰的視点、俯瞰的視点)に変更することができる。視点の変更は、キーボード等における手動操作によって行われてもよいし、ウェアラブルセンサのセンシングに基づいて行われてもよい。このように、連続した一つの空間にキャラクタC1、キャラクタC2及びキャラクタC3を表示させることにより、同一空間での存在感を生成することができる。これにより、臨場感、一体感のある会話を実現することができる。
【0038】
キャラクタC1,C2,C3は、通話画面GにおいてユーザU1,U2,U3を示すものである。キャラクタC1,C2,C3は、ダイナミックなキャラクタである。キャラクタC1,C2,C3は、ユーザU1,U2,U3の実際の像(撮像データ等)とは独立した画像素材によって生成される。画像素材は、アニメーションキャラクタを生成するための素材である。キャラクタC1,C2,C3は二次元又は三次元のコンピュータグラフィック(CG)によって描画されてもよい。
【0039】
キャラクタC1,C2,C3は、ボディB及び耳アニメーションEを含んで構成される。キャラクタC1,C2,C3では、ボディBと耳アニメーションEとが通話画面Gにおいて、一体的に表示される。一体的に表示されるとは、キャラクタC1,C2,C3を見たときに、視覚的にボディBと耳アニメーションEとが一つのまとまりとして認識されることを意味する。すなわち、一体的に表示されるとは、ボディBと耳アニメーションEとが結びついている(対応している)ことを一見して認識できる状態であればよい。そのため、一体的に表示されるとは、ボディBと耳アニメーションEとが接触している状態であってもよいし、ボディBと耳アニメーションEとが離隔している状態であってもよい。
【0040】
ボディBは、通話相手であるユーザを識別可能な識別情報である。ボディBは、ユーザを示す画像及びユーザを示すテキストの少なくとも一方を含む。キャラクタC1,C2,C3には、影が表示される。ボディBは、球状を呈しており、ユーザを識別可能なテキスト(「A」、「B」、「C」)を含んでいる。キャラクタC1,C2,C3は、発話アニメーション(図示省略)を含んで構成されていてもよいし、腕アニメーションAを含んで構成されていてもよい。
【0041】
耳アニメーションEは、非言語情報を表現するアニメーションである。耳アニメーションEは、ユーザの状態(動作)を示すアニメーションである。耳アニメーションEは、ユーザの状態を、ユーザの実際の動作部位とは異なる形態で表現したアニメーションである。耳アニメーションEは、動的に変化する顔表情を含まない。耳アニメーションEは、ボディBの表示領域の外側に表示領域から突出するように表示される。耳アニメーションEは、動物(例えば、うさぎ等)の耳を模したアニメーションであり、ユーザの状態の変化に応じて動作する。耳アニメーションEは、ユーザの動作に応じて動作する。耳アニメーションEは、例えば、伸縮、折り曲げ、揺動等の動作をする。
【0042】
システム100では、通話画面Gに表示されるキャラクタC1,C2,C3の耳アニメーションEによって、ユーザU1,U2,U3の状態、リアクション等を確認することができる。
【0043】
図3は、端末10、端末20、端末30、及びサーバ40の機能ブロックの例を示す図である。端末20及び端末30の機能ブロックは、端末10の機能ブロックと同様であるので、以下では端末10及びサーバ40について説明する。はじめに端末10について説明し、次にサーバ40について説明する。
【0044】
<端末の構成>
端末10は、入力部11を含む。入力部11は、ユーザU1の音声データ及び画像データが入力される部分である。入力部11は、ユーザU1の映像データが入力されてもよい。映像は、ユーザU1の音声データ及び画像データを含む。
【0045】
端末10は、制御部12を含む。制御部12は、ユーザU1の制御データを生成する部分である。ユーザU1の制御データは、操作装置(検出装置)50から出力された動作データに基づいて生成される。本実施形態では、制御データとして、キャラクタC1の耳アニメーションEを、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」及び「驚き」の6つの動作をさせるデータを生成する。
【0046】
制御データは、動作データに対応付けられている。本実施形態では、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」及び「驚き」のそれぞれの制御データに対して、動作データが対応付けられている。動作データは、操作装置50から送信されるデータである。制御部12は、動作データが制御データに対応している場合、制御データを生成する。
【0047】
制御データは、入力部11に入力されたユーザU1の音声データ及び画像データに基づいて生成されてもよい。画像データは、連続する複数の単位フレームによって構成される。単位フレームは、通常、ユーザU1の画像情報を含む。例えば60フレーム/秒の画像データは、一秒間に60個の単位フレームを含む。制御部12による制御データの生成の詳細については後述する。
【0048】
制御部12は、画像データに基づいて検出されたユーザの視線に基づいて、キャラクタC1の動作を制御する制御データを生成する。例えば、ユーザU1がキャラクタC2を見つめている場合には、キャラクタC1がキャラクタC2を向くようにする。すなわち、キャラクタC1のボディB及び耳アニメーションEをZ軸(鉛直方向の軸)を中心に例えば30°回転させて、キャラクタC1がキャラクタC2を向くようにする。これにより、キャラクタC1の耳アニメーションEがキャラクタC2と正対する。ユーザU1の視線がキャラクタC2,C3上にない場合には、キャラクタC1は、前を向くようにしてもよい。
【0049】
視線に係る情報に基づくキャラクタC1の動作は、ユーザU1の視線と完全に一致していなくてもよい。例えば、ユーザU1がキャラクタC2に視線を合わせた後、直ぐに視線を外した場合であっても、一定時間はキャラクタC1がキャラクタC2を向いているようにしてもよい。すなわち、一定時間向き合った状態で停止するように、停止時間が設定できるようにしてもよい。また、ユーザU1がキャラクタC2に視線を移動させる速度と、キャラクタC1が回転する速度とが一致していなくてもよい。すなわち、キャラクタC1の回転速度を設定できるようにしてもよい。これらの設定により、ユーザU1の視線に合わせてキャラクタC1が頻繁に動作(回転)しないようにできるため、キャラクタC1の動きが会話の妨げとなることを回避できる。
【0050】
制御部12は、ユーザU1の視線に係る情報を含む視線データ生成する。制御部12は、視線データを通信部14に出力する。
【0051】
制御部12は、上記の制御データにおいて、キャラクタC1の動作のリズムを制御する内容を含めることができる。制御部12は、耳アニメーションEの動作(折り曲げ、伸縮、振動、色変化等)に対して、リズムを調整(設定)した制御データを生成する。
【0052】
制御部12は、音声データに基づいて発話速度を検出し、耳アニメーションEの動作に発話速度に基づくリズムを反映させる。制御部12は、音声モデル又は音響モデルに基づいて音声データをサブワード分割し、発話速度を検出し得る。制御部12は、キャラクタC1の耳アニメーションEの動作に、ユーザU1の発話速度に基づくリズムを反映させる。
【0053】
制御部12は、画像データに基づいてユーザU1の身体の動作(揺れ等)速度を検出し、耳アニメーションEの動作に動作速度に基づくリズムを反映させる。制御部12は、姿勢推定モデルに基づいてキーポイント(身体の関節点)を検出し、時系列のシーンから所定時間の間隔での同一キーポイントの動きの軌跡を検出し、動作速度を検出し得る。制御部12は、キャラクタC1の耳アニメーションEの動作に、ユーザU1の動作速度に基づくリズムを反映させる。
【0054】
制御部12は、制御データに基づいて、キャラクタC1,C2,C3の動作を制御する部分でもある。制御部12は、生成した制御データ及び受信した制御データに基づいて、通話画面GにキャラクタC1,C2,C3を表示させると共に、キャラクタC1,C2,C3の耳アニメーションEの動作を制御する。
【0055】
制御部12は、ユーザU1が受話者(聞き手)である場合、受信した制御データに基づいて、キャラクタC1の耳アニメーションEの動作を、発話者のキャラクタC2又はキャラクタC3の発話速度に基づくリズムに同調させてもよい。制御部12は、発話者が存在していない(ユーザが発言していない)場合、規定のリズム(全てのユーザのキャラクタに適用されるリズム)で、キャラクタC1,C2,C3の耳アニメーションEを動作させる。
【0056】
制御部12は、通話画面Gの映像データを生成する部分でもある。通話画面Gの映像データは、制御データに基づいて制御されるキャラクタC1、キャラクタC2及びキャラクタC3の映像データを含む。この他に、通話画面Gに現れるさまざまなオブジェクトが、通話画面Gの映像データに含まれてよい。
【0057】
端末10は、記憶部13を含む。記憶部13は、端末10の制御(処理)に必要な情報を記憶する部分である。
図3には、記憶部13に記憶される情報として、端末プログラム13Pが例示される。端末プログラム13Pは、端末10を動作させるためのプログラムであり、制御部12による制御等が実行されるようにコンピュータを動作させる。システム100がコミュニケーション支援システムであるので、端末プログラム13Pは、コミュニケーション支援プログラム(アニメーション操作プログラム)ともいえる。
【0058】
端末10は、通信部14を含む。通信部14は、ネットワークN(
図1参照)を介して、端末10の外部装置と通信する部分である。端末10の外部装置の例は、端末20、端末30、サーバ40及び操作装置50である。通信部14は、音声データ及び制御部12が生成した制御データをサーバ40に送信したり、音声データ及び制御データをサーバ40から受信したりする。通信部14は、操作装置50と通信する部分である。通信部14は、視線データを操作装置50に送信したり、動作データを操作装置50から受信したりする。
【0059】
端末10は、出力部15を含む。出力部15は、通話画面Gの映像を出力する。通話画面Gの映像は、制御部12によって生成された通話画面Gの映像データに基づく映像である。
【0060】
<サーバの構成>
サーバ40は、制御部42を含む。制御部42は、サーバ40の動作を制御する。サーバ40は、記憶部43を含む。記憶部43は、サーバ40の制御に必要な情報を記憶する部分である。
図3には、記憶部43に記憶される情報として、サーバプログラム43P及び受信データ43Sが例示される。サーバプログラム43Pは、サーバ40を動作させるためのプログラムであり、制御部42による制御等が実行されるようにコンピュータを動作させる。受信データ43Sは、端末10、端末20及び端末30からサーバ40に送られるデータであり、端末10、端末20及び端末30が生成した制御データを含み得る。
【0061】
サーバ40は、通信部44を含む。通信部44は、ネットワークN(
図1参照)を介して、サーバ40の外部装置と通信する部分である。サーバ40の外部装置の例は、端末10、端末20及び端末30である。通信部44は、ユーザU1の制御データ、ユーザU2の制御データ及びユーザU3の制御データを端末10、端末20及び端末30からそれぞれ受信したり、端末10、端末20及び端末30が生成した制御データを端末10、端末20及び端末30のそれぞれに送信したりする。
【0062】
<ハードウェア構成>
端末10及びサーバ40の各機能部分に関するハードウェア構成の例を説明する。サーバ40の通信部44は、ネットワークNにアクセスできるように、ネットワークカード又は無線通信デバイスを用いて構成され得る。サーバ40の制御部42は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部42は、プロセッサ、クロック、内蔵メモリ、記憶部43及び通信部44を集積した一つのハードウェア(SoC:System On a Chip)として構成されてもよい。制御部42は、サーバプログラム43Pに基づいて動作することで、サーバコンピュータをサーバ40として動作させる。サーバ40の記憶部43は、フラッシュメモリ、ハードディスク、SSD(Solid State Disk)等の不揮発性記憶媒体を用いて構成され得る。
【0063】
端末10の入力部11は、マイクロフォン、カメラ等を用いて構成され得る。マイクロフォンにより、ユーザU1の音声が取得される。すなわち、マイクロフォンは、音声を取得する音声センサの一種である。カメラにより、ユーザU1の画像が取得される。すなわち、カメラは、画像を取得する画像センサの一種である。さらに、入力部11は、キーボード、マウス、タッチパネルの操作デバイスも用いて構成されてよい。端末10の制御部12は、サーバ40の制御部42と同様に構成され得る。制御部12は、端末プログラム13Pに基づいて動作することで、汎用コンピュータを端末10として動作させる。端末10の記憶部13は、サーバ40の記憶部43と同様に構成され得る。端末10の通信部14は、サーバ40の通信部44と同様に構成され得る。端末10の出力部15は、液晶パネル、有機ELパネル等(タッチパネルでもよい)等のディスプレイ装置を用いて構成され得る。さらに、出力部15は、スピーカも用いて構成されてよい。
【0064】
[第一実施形態]
<操作装置の構成>
図4は、第一実施形態に係る操作装置50の斜視図である。
図4では、操作装置50がユーザU1,U2,U3の指Fによって操作されている状態を示す図である。操作装置50は、ユーザU1,U2,U3によって操作される装置である。ユーザU1,U2,U3による操作装置50の操作によって、耳アニメーションEが動作する。操作装置50は、タッチパッドである。タッチパッドの方式としては、静電容量方式、感圧タッチ式、超音波方式等を採用することができる。
【0065】
図4に示されるように、操作装置50は、ハードウェア構成として、本体51を備えている。本体51は、操作面51Aを有する。操作装置50は、ユーザU1,U2,U3の手Hの指Fによって操作される。操作装置50は、単体で設けられていてもよいし、テレビディスプレイ等を操作するリモコンの一部に設けられていてもよい。すなわち、操作装置50は、機器の一部であってもよい。
【0066】
図5は、操作装置50の機能ブロックの例を示す図である。
図5に示されるように、操作装置50は、通信部52を含む。通信部52は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、LAN、Bluetooth(登録商標)、Wifi等である。外部装置の例は、端末10、端末20及び端末30である。通信部52は、制御部54から出力された動作データを端末10、端末20及び端末30に送信したり、視線データを端末10、端末20及び端末30から受信したりする。
【0067】
操作装置50は、入力部53を含む。入力部53は、操作面51AにおけるユーザU1,U2,U3の操作を入力する部分である。入力部53は、ユーザU1,U2,U3による操作面51Aの操作(ジェスチャ)を検出する。操作としては、クリック、タップ、スライド、スクロール等が挙げられる。入力部53は、操作信号を制御部54に出力する。
【0068】
操作装置50は、制御部54を含む。制御部54は、入力部53の操作信号に基づいて、動作データを生成する。制御部54は、動作データを通信部52に出力する。制御部54は、通信部14から視線データが出力された場合、振動部55を所定時間振動させる。振動部55を振動させる所定時間は、適宜設定される。
【0069】
制御部54は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部54は、プロセッサ、クロック、内蔵メモリ、通信部52を集積した一つのハードウェア(SoC:System On a Chip)として構成されてもよい。
【0070】
操作装置50は、振動部55を含む。振動部55は、本体51の操作面51Aを振動させる。振動部55は、モータ、圧電素子等によって構成され得る。振動部55は、制御部54により制御される。
【0071】
操作装置50は、バッテリ56を含む。バッテリ56は、操作装置50の各部に電力を供給する。バッテリ56は、本体51に充電ケーブルが装着されることによって充電される。なお、操作装置50が端末10,20,30にケーブルによって接続される場合には、端末10,20,30から電力が供給されてもよい。すなわち、操作装置50が端末10,20,30にケーブルによって接続される場合には、操作装置50はバッテリ56を含んでいなくてもよい。
【0072】
続いて、キャラクタC(C1,C2,C3)の耳アニメーションEを、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」として動作させる場合の、ユーザU1,U2,U3による操作装置50の操作について説明する。すなわち、キャラクタCの耳アニメーションEの動作と、操作装置50によって検出されるユーザU1,U2,U3の動作との関係について説明する。耳アニメーションEの動作と、耳アニメーションEを動作させるためのユーザU1,U2,U3の指Fの動作とは類似(関連)している。例えば、「うなずき」の耳アニメーションEを動作させる場合には、うなずく動作に似た動作を操作装置50の操作面51A上で指Fによって行う。すなわち、ユーザU1,U2,U3は、動作させたい耳アニメーションEと似た動作を操作装置50において行うことで、耳アニメーションEを動作させることができる。類似動作は、耳アニメーションEの動作を連想させたり、表出イメージに対応していたりするものであり、容易に動作の区分けが理解できるような動きである。
【0073】
図6の動作パターン~
図11の動作パターンは、耳アニメーションEの動作の一例を示す図である。
図6のユーザ動作~
図11のユーザ動作は、
図6の動作パターン~
図11の動作パターンに示す耳アニメーションEを動作させるときのユーザU1,U2,U3の指Fの動きの一例を示す図である。
【0074】
図6の動作パターンでは、耳アニメーションEにおける「うなずき」の動作を示している。
図6の動作パターンに示されるように、「うなずき」の動作では、キャラクタCの耳アニメーションEにおいて、耳の上部1/2部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図6のユーザ動作に示されるように、操作装置50の本体51の操作面51Aを二本の指F(例えば、人差し指、中指)でタッチする。或いは、ユーザU1,U2,U3は、操作面51Aに二本の指Fをタッチさせた状態で、二本の指Fをスライドさせる。指Fをスライドさせるスライド量は、例えば、1cm~2cmである。
【0075】
操作装置50は、
図6のユーザ動作に示される動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「うなずき」として動作させる制御データを生成する。なお、
図6のユーザ動作において指Fをスライドさせて場合において、指Fのスライド後に指Fの動作が停止された場合には、耳アニメーションEにおいて耳が折れ曲がった状態で停止するようにしてもよい。
【0076】
図7の動作パターンでは、耳アニメーションEにおける「同意」の動作を示している。「同意」の動作では、キャラクタCの耳アニメーションEにおいて、耳が全体的に前方に折り曲がる。「同意」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図7のユーザ動作に示されるように、ユーザU1,U2,U3は、操作面51Aに二本の指F(例えば、人差し指、中指)をタッチさせた状態で、二本の指Fをスライドさせる。指Fをスライドさせるスライド量は、例えば、2cmよりも長く、例えば、3cm~4cmである。すなわち、「同意」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、「うなずき」の動作を耳アニメーションEに実行させる場合よりも、指Fのスライド量を長くする。
【0077】
操作装置50は、7のユーザ動作に示される動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「同意」として動作させる制御データを生成する。
【0078】
図8の動作パターンでは、耳アニメーションEにおける「拍手(賞賛)」の動作を示している。「拍手(賞賛)」の動作では、キャラクタCの耳アニメーションEにおいて、耳が近づいたり離れたりする。「拍手(賞賛)」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図8のユーザ動作に示されるように、操作面51Aに二本の指F(例えば、親指と人差し指、又は、人差し指と中指)をタッチさせた状態で、二本の指Fを近接(接触)させたり離間させたりする。
【0079】
操作装置50は、
図25のユーザ動作に示される動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「拍手(賞賛)」として動作させる制御データを生成する。端末10,20,30の制御部12は、二本の指Fを近接させたり離間させたりする一回の動作に係る動作データに対して、複数回拍手するように制御データを生成してもよい。
【0080】
図9の動作パターンでは、耳アニメーションEにおける「質問」の動作を示している。「質問」の動作では、キャラクタCの耳アニメーションEにおいて、耳が絡まる。「質問」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図9のユーザ動作に示されるように、操作面51Aに二本の指F(例えば、人差し指と中指)をタッチさせた状態で、半円(円弧)を描くようにスライドさせる。
【0081】
操作装置50は、
図9のユーザ動作に示される動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「質問」として動作させる制御データを生成する。
【0082】
図10の動作パターンでは、耳アニメーションEにおける「挙手」の動作を示している。「挙手」の動作では、キャラクタCの耳アニメーションEにおいて、耳が伸びる。「挙手」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図10のユーザ動作に示されるように、ユーザU1,U2,U3は、操作面51Aに二本の指F(例えば、人差し指、中指)をタッチさせた状態で、一方の指F(中指)のみを上方にスライドさせる。
【0083】
操作装置50は、
図10のユーザ動作に示される動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「挙手」として動作させる制御データを生成する。
【0084】
図11の動作パターンでは、耳アニメーションEにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタCの耳アニメーションEにおいて、耳の先端が大きくなる。このとき、キャラクタCのボディBが後ろに反る。「驚き」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図11のユーザ動作に示されるように、操作面51Aに二本の指F(例えば、人差し指、中指)をタッチさせた状態で、二本の指Fをスライドさせつつ離間させる。
【0085】
操作装置50は、
図11のユーザ動作に示される動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「驚き」として動作させる制御データを生成する。
【0086】
なお、操作装置50は、
図6のユーザ動作、
図7のユーザ動作、
図8のユーザ動作、
図9のユーザ動作、
図10のユーザ動作又は
図11のユーザ動作の何れかに示される動作において、操作面51Aが一本又は三本以上の指Fによって操作された場合には、動作データを生成しない。すなわち、操作装置50は、操作面51Aにおいて、二本の指Fによって所定の操作がされた場合にのみ、動作データを生成する。
【0087】
<耳アニメ-ションの動作の操作方法>
続いて、キャラクタCの耳アニメーションEの動作の操作方法について説明する。耳アニメーションEを操作する場合には、ユーザU1,U2,U3は、
図6のユーザ動作、
図7のユーザ動作、
図8のユーザ動作、
図9のユーザ動作、
図10のユーザ動作又は
図11のユーザ動作の何れかに示される動作を行う。これにより、操作装置50において動作データが生成される。操作装置50は、動作データを端末10,20,30に送信する。
【0088】
端末10,20,30は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末10,20,30の通話画面Gにおいて、キャラクタC1,C2,C3の耳アニメーションEが、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」の何れかの動作を行う。このように、ユーザU1,U2,U3による操作装置50の操作により、キャラクタCの耳アニメーションEの動作を操作する。
【0089】
[効果]
以上説明したように、本実施形態に係るシステム100では、操作装置50を備えている。操作装置50は、ユーザU1,U2,U3の指Fの動作を検出し、動作データを生成して端末10,20,30に送信する。端末10,20,30は、動作データに対応する制御データを生成し、耳アニメーションEの動作を実行させる。これにより、システム100では、ユーザU1,U2,U3によって操作装置50の操作が行われない場合には、耳アニメーションEは動作しない。また、耳アニメーションEは、操作装置50において特定の操作が行われた場合に動作する。そのため、例えば、操作装置50に単に接触するような操作の場合には、耳アニメーションEは動作しない。このように、ユーザU1,U2,U3の意図するタイミングにおいて、必要な動作だけを耳アニメーションEに反映させることができる。したがって、ユーザU1,U2,U3の意図に応じて耳アニメーションEを動作させることができる。
【0090】
例えば、マイクやカメラによって取得される音声データ及び画像データに基づいて、ユーザU1,U2,U3の状態を推定して耳アニメーションEを動作させる形態において、ユーザU1,U2,U3の意図に応じて耳アニメーションEを動作させるために、耳アニメーションEを動作させたいときにマイクやカメラをオンにする、あるいは、耳アニメーションEを動作させないときにマイクやカメラをオフにする方法が考えられる。しかしながら、その都度カメラやマイクをオン/オフにすることは、煩に堪えない。また、マイクやカメラをオフにし忘れた場合、ユーザU1,U2,U3の意図に反して耳アニメーションEが動作する。これに対して、システム100では、ユーザU1,U2,U3によって、操作装置50において特定の操作が行われた場合にのみ耳アニメーションEの動作が実行される。そのため、システム100では、煩わしい操作を行うことなく、ユーザU1,U2,U3の意図に応じて耳アニメーションEを動作させることができる。
【0091】
本実施形態に係るシステム100では、耳アニメーションEの動作と、ユーザU1,U2,U3の指Fの所定の動作とが類似している。これにより、耳アニメーションEに類似(関連)する所定の動作を行うことによって、耳アニメーションEが実行される。したがって、直感的な操作が可能となる。
【0092】
本実施形態に係るシステム100では、端末10,20,30は、ユーザU1,U2,U3の視線に係る情報を含む視線データ生成し、視線データを操作装置50に送信する。操作装置50は、視線データに基づいて、振動部55を一定時間振動させる。これにより、操作装置50を操作しているユーザU1,U2,U3は、自身のキャラクタC1,C2,C3に他のユーザU1,U2,U3の視線が向けられていることを体感的に感じることができる。
【0093】
本実施形態に係るシステム100では、操作装置50は、操作面51Aにおいて、予め設定された本数(本実施形態では二本)の指Fによって所定の操作がされた場合にのみ、動作データを生成する。これにより、ユーザU1,U2,U3の指Fが操作装置50の操作面51Aに無意識に接触したような場合等には動作データが生成されないため、耳アニメーションEは動作しない。したがって、ユーザU1,U2,U3の意図するタイミングにおいて、必要な動作だけを耳アニメーションEに反映させることができるため、ユーザU1,U2,U3の意図に応じて耳アニメーションEを動作させることができる。
【0094】
[第二実施形態]
続いて、第二実施形態について説明する。第二実施形態では、操作装置の構成が第一実施形態と異なっている。第二実施形態において、制御部12は、ユーザU1の制御データを生成する部分である。ユーザU1の制御データは、操作装置(検出装置)60から出力された動作データに基づいて生成される。本実施形態では、制御データとして、キャラクタC1の耳アニメーションEを、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」及び「驚き」の6つの動作をさせるデータを生成する。
【0095】
制御データは、動作データに対応付けられている。本実施形態では、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」及び「驚き」のそれぞれの制御データに対して、動作データが対応付けられている。動作データは、操作装置60から送信されるデータである。動作データは、操作装置(検出装置)60の加速度センサ65によって検出された値、及び、ジャイロセンサ66によって検出された値を含む。加速度センサ65によって検出される加速度の所定値、及び、ジャイロセンサ66によって検出される角速度の所定値に対して、予め設定された所定の耳アニメーションEが対応付けられている。例えば、「うなずき」の動作の場合、ジャイロセンサ66によって検出される角速度の所定値は、180deg/s程度に設定され得る。「同意」の場合、ジャイロセンサ66によって検出される角速度の所定値は、90deg/s程度に設定され得る。所定値は、所定の数値範囲を含み得る。具体的には、所定値は、加速度である場合は〇〇m/s2~〇〇m/s2、角速度である場合は〇〇deg/s~〇〇deg/sのように設定されていてもよい。制御部12は、動作データが制御データに対応している場合、制御データを生成する。
【0096】
図12は、第二実施形態に係る操作装置60の斜視図である。
図12は、操作装置70がユーザU1,U2,U3の指Fに装着されている状態を示す図である。
図12に示されるように、操作装置60は、ハードウェア構成として、本体61と、スイッチ62と、を備えている。操作装置60は、ユーザU1,U2,U3によって操作される装置である。ユーザU1,U2,U3による操作装置60の操作によって、耳アニメーションEが動作する。
【0097】
本体61は、ユーザU1,U2,U3によって保持される。本実施形態では、本体61は、ユーザU1,U2,U3の手H(14のユーザ動作参照)に把持される。本体61は、十字状を呈している。本体61は、樹脂、金属等によって形成することができる。本実施形態では、本体61は、第一本体部61Aと、第二本体部61Bと、突起部61Cと、を有している。第一本体部61A及び第二本体部61Bは、長尺の直方体形状を呈している。第一本体部61Aと第二本体部61Bとは、その延在方向が互いに直交するように配置されている。突起部61Cは、例えば、円柱状を呈している。突起部61Cは、第一本体部61Aと第二本体部61Bとが交差する部分において、第一本体部61A及び第二本体部61Bの表面から突出している。
【0098】
スイッチ62は、本体61の第二本体部61Bの側面(端面)に配置されている。スイッチ62は、例えば、機械式のスイッチである。スイッチ62は、第二本体部61Bの側面から突出している。スイッチ62は、ユーザU1,U2,U3によって押下されると、作動信号を入力部64に出力する。
【0099】
操作装置60の本体61は、ユーザU1,U2,U3の手Hに把持される。具体的には、操作装置60は、例えば、ユーザU1,U2,U3の左手に把持される。詳細には、操作装置60は、突起部61Cが左手の人差し指と中指との間に挿入され、第二本体部61Bが指の第三関節に位置するように把持される。これにより、操作装置60のスイッチ62が親指側を向くように把持される。そのため、親指によってスイッチ62を操作することができる。
【0100】
図13は、操作装置60の機能ブロックの例を示す図である。
図13に示されるように、操作装置60は、通信部63を含む。通信部63は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、LAN、Bluetooth(登録商標)、Wifi等である。外部装置の例は、端末10、端末20及び端末30である。通信部63は、制御部67から出力された動作データを端末10、端末20及び端末30に送信したり、視線データを端末10、端末20及び端末30から受信したりする。
【0101】
操作装置60は、入力部64を含む。入力部64は、スイッチ62の作動信号を入力する部分である。入力部64は、作動信号を制御部67に出力する。
【0102】
操作装置60は、加速度センサ(加速度検出部)65を含む。加速度センサ65は、本体61の加速度を検出する。すなわち、加速度センサ65は、操作装置60を把持したユーザU1,U2,U3の手Hの加速度を検出する。加速度センサ65の検出感度は、適宜設定することができる。加速度センサ65は、検出値を制御部67に出力する。
【0103】
操作装置60は、ジャイロセンサ(角速度検出部)66を含む。ジャイロセンサ66は、本体61の角速度を検出する。ジャイロセンサ66は、三軸(X軸、Y軸、Z軸)のジャイロセンサである。ジャイロセンサ66は、本体61の回転や向きの変化を角速度として検出する。すなわち、ジャイロセンサ66は、操作装置60を把持したユーザU1,U2,U3の手Hの角速度を検出する。ジャイロセンサ66の検出感度は、適宜設定することができる。ジャイロセンサ66は、検出値を制御部67に出力する。
【0104】
操作装置60は、制御部67を含む。制御部67は、加速度センサ65及びジャイロセンサ66の検出結果に基づいて、動作データを生成する。制御部67は、入力部64から作動信号が出力された場合、動作データを生成する。制御部67は、作動信号が出力された場合、作動信号が入力されてからの所定時間(例えば、5秒)内に加速度センサ65及びジャイロセンサ66から出力された検出結果を含む動作データを生成する。すなわち、制御部67は、スイッチ62が押下されたことをトリガーとして、動作データを生成する。所定時間は、ユーザによって適宜設定することができる。制御部67は、動作データを通信部63に出力する。
【0105】
なお、制御部67は、スイッチ62が押下されている間、すなわち作動信号が出力されている間に、加速度センサ65及びジャイロセンサ66から出力された検出結果を含む動作データを生成してもよい。また、制御部67は、スイッチ62が押下されてから、もう一度スイッチ62が押下されるまでの間に、加速度センサ65及びジャイロセンサ66から出力された検出結果を含む動作データを生成してもよい。
【0106】
制御部67は、通信部14から視線データが出力された場合、振動部68を所定時間振動させる。振動部68を振動させる所定時間は、適宜設定される。
【0107】
制御部67は、CPU、GPU等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部77は、プロセッサ、クロック、内蔵メモリ、通信部63を集積した一つのハードウェアとして構成されてもよい。
【0108】
操作装置60は、振動部68を含む。振動部68は、本体61を振動させる。振動部68は、モータ、圧電素子等によって構成され得る。振動部68は、制御部67により制御される。
【0109】
操作装置60は、バッテリ69を含む。バッテリ69は、操作装置60の各部に電力を供給する。バッテリ69は、本体61に充電ケーブルが装着されることによって充電されてもよい、ワイヤレス電力伝送によって充電されてもよい。
【0110】
続いて、キャラクタC(C1,C2,C3)の耳アニメーションEを、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」として動作させる場合の、ユーザU1,U2,U3による操作装置60の操作について説明する。すなわち、キャラクタCの耳アニメーションEの動作と、操作装置60によって検出されるユーザU1,U2,U3の動作との関係について説明する。
図14の動作パターン~
図19の動作パターンは、耳アニメーションEの動作の一例を示す図である。
図14のユーザ動作~
図19のユーザ動作は、
図14の動作パターン~
図19の動作パターンに示す耳アニメーションEを動作させるときのユーザU1,U2,U3の手Hの動きの一例を示す図である。
【0111】
図14の動作パターンでは、耳アニメーションEにおける「うなずき」の動作を示している。
図14の動作パターンに示されるように、「うなずき」の動作では、キャラクタCの耳アニメーションEにおいて、耳の上部1/2部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図14のユーザ動作に示されるように、操作装置60を把持した手Hを、手首を中心に前方に軽く折り曲げる。
【0112】
操作装置60は、
図14のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ65及びジャイロセンサ66で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「うなずき」として動作させる制御データを生成する。なお、
図14のユーザ動作に示される位置で手Hの動作が停止された場合には、耳アニメーションEにおいて耳が折れ曲がった状態で停止するようにしてもよい。
【0113】
図15の動作パターンでは、耳アニメーションEにおける「同意」の動作を示している。「同意」の動作では、キャラクタCの耳アニメーションEにおいて、耳が全体的に前方に折り曲がる。「同意」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図15のユーザ動作に示されるように、操作装置60が装着された手Hを前方に深く折り曲げる。深く折り曲げるとは、
図14のユーザ動作に示される動作よりも深く折り曲げることを意味する。
【0114】
操作装置60は、
図15のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ65及びジャイロセンサ66で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「同意」として動作させる制御データを生成する。
【0115】
図16の動作パターンでは、耳アニメーションEにおける「拍手(賞賛)」の動作を示している。「拍手(賞賛)」の動作では、キャラクタCの耳アニメーションEにおいて、耳が近づいたり離れたりする。「拍手(賞賛)」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図16のユーザ動作に示されるように、操作装置60を把持した手Hを左右(前後)に水平移動させる。なお、ユーザU1,U2,U3は、操作装置60を把持した手Hともう一方の手とにより拍手する動作を行ってもよい。
【0116】
操作装置60は、
図16のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ65及びジャイロセンサ66で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「拍手(賞賛)」として動作させる制御データを生成する。
【0117】
図17の動作パターンでは、耳アニメーションEにおける「質問」の動作を示している。「質問」の動作では、キャラクタCの耳アニメーションEにおいて、耳が絡まる。「質問」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図17のユーザ動作に示されるように、操作装置60を把持した手Hを手首を軸として往復回転させる動作を行う。
【0118】
操作装置60は、
図17のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ65及びジャイロセンサ66で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「質問」として動作させる制御データを生成する。
【0119】
図18の動作パターンでは、耳アニメーションEにおける「挙手」の動作を示している。「挙手」の動作では、キャラクタCの耳アニメーションEにおいて、耳が伸びる。「挙手」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図18のユーザ動作に示されるように、操作装置60を把持した手Hを上方に挙げる動作を行う。
【0120】
操作装置60は、
図18のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ65及びジャイロセンサ66で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「挙手」として動作させる制御データを生成する。
【0121】
図19の動作パターンでは、耳アニメーションEにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタCの耳アニメーションEにおいて、耳の先端が大きくなる。このとき、キャラクタCのボディBが後ろに反る。「驚き」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図19のユーザ動作に示されるように、操作装置60を把持した手Hを手首を中心に後方に反らせる。
【0122】
操作装置60は、
図19のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ65及びジャイロセンサ66で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「驚き」として動作させる制御データを生成する。
【0123】
<耳アニメ-ションの動作の操作方法>
続いて、キャラクタCの耳アニメーションEの動作の操作方法について説明する。耳アニメーションEを操作する場合には、ユーザU1,U2,U3は、操作装置60のスイッチ62を押下する。ユーザU1,U2,U3は、操作装置60のスイッチ62を押下してから所定の時間内に、
図14のユーザ動作、
図15のユーザ動作、
図16のユーザ動作、
図17のユーザ動作、
図18のユーザ動作又は
図19のユーザ動作の何れかに示される動作を行う。これにより、操作装置60において動作データが生成される。操作装置60は、動作データを端末10,20,30に送信する。
【0124】
端末10,20,30は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末10,20,30の通話画面Gにおいて、キャラクタC1,C2,C3の耳アニメーションEが、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」の何れかの動作を行う。このように、ユーザU1,U2,U3による操作装置60の操作により、キャラクタCの耳アニメーションEの動作を操作する。
【0125】
[効果]
以上説明したように、本実施形態に係る操作装置60は、加速度センサ65及びジャイロセンサ66を有している。操作装置60は、操作装置60を把持したユーザU1,U2,U3の動作を加速度センサ65及びジャイロセンサ66によって検出し、動作データを生成して端末10,20,30に送信する。端末10,20,30は、動作データに対応する制御データを生成し、耳アニメーションEの動作を実行させる。これにより、システム100では、ユーザU1,U2,U3によって操作装置60の操作が行われない場合には、耳アニメーションEは動作しない。また、耳アニメーションEは、操作装置60の加速度及び角速度が所定値となるような特定の操作が行われた場合に動作する。そのため、例えば、操作装置60を単に移動させるような操作の場合には、耳アニメーションEは動作しない。このように、ユーザU1,U2,U3の意図するタイミングにおいて、必要な動作だけを耳アニメーションEに反映させることができる。したがって、ユーザU1,U2,U3の意図に応じて耳アニメーションEを動作させることができる。
【0126】
本実施形態に係る操作装置60は、ユーザU1,U2,U3の手Hに把持される。そのため、ユーザU1,U2,U3は、手Hの動きによって、耳アニメーションEの動作を操作することができる。そのため、操作装置50を操作するための広い操作スペースが必要とならない。また、ユーザU1,U2,U3による手Hの動きによって操作装置60を操作するため、自然と楽に操作することができる。また、手Hは多様な動作が可能であるため、動作データに対応する耳アニメーションEのバリエーションを増やすことができる。
【0127】
本実施形態に係る操作装置60は、スイッチ62を有している。操作装置60では、スイッチ62が押下された場合に動作データを生成して、動作データを端末10,20,30に送信する。このように、操作装置60では、スイッチ62が押下された場合にのみ、動作データを生成する。すなわち、スイッチ62が押下されない場合には、操作装置60において特定の操作が行われた場合であっても、動作データが生成されない。そのため、操作装置60では、ユーザU1,U2,U3の意図に反して動作データが生成されることがない。したがって、ユーザU1,U2,U3の意図に応じて耳アニメーションEを動作させることができる。
【0128】
本実施形態では、端末10,20,30は、ユーザU1,U2,U3の視線に係る情報を含む視線データ生成し、視線データを操作装置60に送信する。操作装置60は、視線データに基づいて、振動部68を一定時間振動させる。これにより、操作装置60を装着しているユーザU1,U2,U3は、自身のキャラクタC1,C2,C3に他のユーザU1,U2,U3の視線が向けられていることを体感的に感じることができる。
【0129】
[第三実施形態]
続いて、第三実施形態について説明する。第三実施形態では、操作装置の構成が第一実施形態及び第二実施形態と異なっている。第三実施形態において、制御部12は、ユーザU1の制御データを生成する部分である。ユーザU1の制御データは、操作装置(検出装置)70から出力された動作データに基づいて生成される。本実施形態では、制御データとして、キャラクタC1の耳アニメーションEを、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」及び「驚き」の6つの動作をさせるデータを生成する。
【0130】
制御データは、動作データに対応付けられている。本実施形態では、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」及び「驚き」のそれぞれの制御データに対して、動作データが対応付けられている。動作データは、操作装置70から送信されるデータである。動作データは、操作装置70の加速度センサ75によって検出された値、及び、ジャイロセンサ76によって検出された値を含む。加速度センサ75によって検出される加速度の所定値、及び、ジャイロセンサ76によって検出される角速度の所定値に対して、予め設定された所定の耳アニメーションEが対応付けられている。例えば、「うなずき」の動作の場合、ジャイロセンサ76によって検出される角速度の所定値は、180deg/s程度に設定され得る。「同意」の場合、ジャイロセンサ76によって検出される角速度の所定値は、90deg/s程度に設定され得る。所定値は、所定の数値範囲を含み得る。具体的には、所定値は、加速度である場合は〇〇m/s2~〇〇m/s2、角速度である場合は〇〇deg/s~〇〇deg/sのように設定されていてもよい。制御部12は、動作データが制御データに対応している場合、制御データを生成する。
【0131】
<操作装置の構成>
図20は、第三実施形態に係る操作装置70を示す図である。
図21は、操作装置70がユーザU1,U2,U3の指Fに装着されている状態を示す図である。
図20に示されるように、操作装置70は、ハードウェア構成として、本体71と、スイッチ72と、を備えている。操作装置70は、ユーザU1,U2,U3によって操作される装置である。ユーザU1,U2,U3による操作装置70の操作によって、耳アニメーションEが動作する。
【0132】
本体71は、ユーザU1,U2,U3の身体に装着される。本実施形態では、本体71は、ユーザU1,U2,U3の手Hの指F(
図21参照)に装着される。本体71は、指輪のような形状を呈している。本体71は、樹脂、金属等によって形成することができる。本実施形態では、本体71は、一対のアーム71A,71Bを有している。一対のアーム71A,71Bによって、指Fが挿入される開口部71Cが形成されている。一対のアーム71A,71Bは、弾性部材によって形成されていることが好ましい。この場合、一対のアーム71A,71Bを広げることができるため、装着性の向上が図れる。
【0133】
スイッチ72は、本体71のアーム71Aの側面に配置されている。スイッチ72は、例えば、機械式のスイッチである。スイッチ72は、アーム71Aの側面から突出している。スイッチ72は、ユーザU1,U2,U3によって押下されると、作動信号を入力部74に出力する。
【0134】
図21に示されるように、操作装置70の本体71は、ユーザU1,U2,U3の手Hの指Fに装着される。具体的には、操作装置70は、例えば、人差し指Fに装着される。詳細には、操作装置70は、人差し指Fの第二関節の上方に装着することができる。操作装置70は、スイッチ72が親指側を向くように装着される。これにより、親指によってスイッチ72を操作することができる。
【0135】
図22は、操作装置70の機能ブロックの例を示す図である。
図22に示されるように、操作装置70は、通信部73を含む。通信部73は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、LAN、Bluetooth(登録商標)、Wifi等である。外部装置の例は、端末10、端末20及び端末30である。通信部73は、制御部77から出力された動作データを端末10、端末20及び端末30に送信したり、視線データを端末10、端末20及び端末30から受信したりする。
【0136】
操作装置70は、入力部74を含む。入力部74は、スイッチ72の作動信号を入力する部分である。入力部74は、作動信号を制御部77に出力する。
【0137】
操作装置70は、加速度センサ(加速度検出部)75を含む。加速度センサ75は、本体71の加速度を検出する。すなわち、加速度センサ75は、操作装置70を装着したユーザU1,U2,U3の指Fの加速度を検出する。加速度センサ75の検出感度は、適宜設定することができる。加速度センサ75は、検出値を制御部77に出力する。
【0138】
操作装置70は、ジャイロセンサ(角速度検出部)76を含む。ジャイロセンサ76は、本体71の角速度を検出する。ジャイロセンサ76は、三軸(X軸、Y軸、Z軸)のジャイロセンサである。ジャイロセンサ76は、本体71の回転や向きの変化を角速度として検出する。すなわち、ジャイロセンサ76は、操作装置70を装着したユーザU1,U2,U3の指Fの角速度を検出する。ジャイロセンサ76の検出感度は、適宜設定することができる。ジャイロセンサ76は、検出値を制御部77に出力する。
【0139】
操作装置70は、制御部77を含む。制御部77は、加速度センサ75及びジャイロセンサ76の検出結果に基づいて、動作データを生成する。制御部77は、入力部74から作動信号が出力された場合、動作データを生成する。制御部77は、作動信号が出力された場合、作動信号が入力されてからの所定時間(例えば、5秒)内に加速度センサ75及びジャイロセンサ76から出力された検出結果を含む動作データを生成する。すなわち、制御部77は、スイッチ72が押下されたことをトリガーとして、動作データを生成する。所定時間は、ユーザによって適宜設定することができる。制御部77は、動作データを通信部73に出力する。
【0140】
なお、制御部77は、スイッチ72が押下されている間、すなわち作動信号が出力されている間に、加速度センサ75及びジャイロセンサ76から出力された検出結果を含む動作データを生成してもよい。また、制御部77は、スイッチ72が押下されてから、もう一度スイッチ72が押下されるまでの間に、加速度センサ75及びジャイロセンサ76から出力された検出結果を含む動作データを生成してもよい。
【0141】
制御部77は、通信部14から視線データが出力された場合、振動部78を所定時間振動させる。振動部78を振動させる所定時間は、適宜設定される。
【0142】
制御部77は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部77は、プロセッサ、クロック、内蔵メモリ、通信部73を集積した一つのハードウェア(SoC:System On a Chip)として構成されてもよい。
【0143】
操作装置70は、振動部78を含む。振動部78は、本体71を振動させる。振動部78は、モータ、圧電素子等によって構成され得る。振動部78は、制御部77により制御される。
【0144】
操作装置70は、バッテリ79を含む。バッテリ79は、操作装置70の各部に電力を供給する。バッテリ79は、本体71に充電ケーブルが装着されることによって充電されてもよい、ワイヤレス電力伝送によって充電されてもよい。
【0145】
続いて、キャラクタC(C1,C2,C3)の耳アニメーションEを、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」として動作させる場合の、ユーザU1,U2,U3による操作装置70の操作について説明する。すなわち、キャラクタCの耳アニメーションEの動作と、操作装置70によって検出されるユーザU1,U2,U3の動作との関係について説明する。
図23の動作パターン~
図28の動作パターンは、耳アニメーションEの動作の一例を示す図である。
図23のユーザ動作~
図28のユーザ動作は、
図23の動作パターン~
図28の動作パターンに示す耳アニメーションEを動作させるときのユーザU1,U2,U3の手H(指F)の動きの一例を示す図である。
【0146】
図23の動作パターンでは、耳アニメーションEにおける「うなずき」の動作を示している。
図23の動作パターンに示されるように、「うなずき」の動作では、キャラクタCの耳アニメーションEにおいて、耳の上部1/2部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図23のユーザ動作に示されるように、操作装置70が装着された指Fを前方に軽く折り曲げる。
【0147】
操作装置70は、
図23のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ75及びジャイロセンサ76で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「うなずき」として動作させる制御データを生成する。なお、
図23のユーザ動作に示される位置で指Fの動作が停止された場合には、耳アニメーションEにおいて耳が折れ曲がった状態で停止するようにしてもよい。
【0148】
図24の動作パターンでは、耳アニメーションEにおける「同意」の動作を示している。「同意」の動作では、キャラクタCの耳アニメーションEにおいて、耳が全体的に前方に折り曲がる。「同意」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図24のユーザ動作に示されるように、操作装置70が装着された指Fを前方に深く折り曲げる。深く折り曲げるとは、
図23のユーザ動作に示される動作よりも深く折り曲げることを意味する。
【0149】
操作装置70は、
図24のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ75及びジャイロセンサ76で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「同意」として動作させる制御データを生成する。
【0150】
図25の動作パターンでは、耳アニメーションEにおける「拍手(賞賛)」の動作を示している。「拍手(賞賛)」の動作では、キャラクタCの耳アニメーションEにおいて、耳が近づいたり離れたりする。「拍手(賞賛)」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図25のユーザ動作に示されるように、操作装置70が装着された手Hで拍手する動作を行う。なお、ユーザU1,U2,U3は、操作装置70が装着された手Hで机等を叩いてもよい。
【0151】
操作装置70は、
図25のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ75及びジャイロセンサ76で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「拍手(賞賛)」として動作させる制御データを生成する。
【0152】
図26の動作パターンでは、耳アニメーションEにおける「質問」の動作を示している。「質問」の動作では、キャラクタCの耳アニメーションEにおいて、耳が絡まる。「質問」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図26のユーザ動作に示されるように、操作装置70が装着された手Hを手首を軸として往復回転させる動作を行う。
【0153】
操作装置70は、
図26のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ75及びジャイロセンサ76で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「質問」として動作させる制御データを生成する。
【0154】
図27の動作パターンでは、耳アニメーションEにおける「挙手」の動作を示している。「挙手」の動作では、キャラクタCの耳アニメーションEにおいて、耳が伸びる。「挙手」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図27のユーザ動作に示されるように、操作装置70が装着された手Hを上方に挙げる動作を行う。
【0155】
操作装置70は、
図27のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ75及びジャイロセンサ76で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「挙手」として動作させる制御データを生成する。
【0156】
図28の動作パターンでは、耳アニメーションEにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタCの耳アニメーションEにおいて、耳の先端が大きくなる。このとき、キャラクタCのボディBが後ろに反る。「驚き」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図28のユーザ動作に示されるように、操作装置70が装着された手Hを手首を中心に後方に反らせる。
【0157】
操作装置70は、
図28のユーザ動作に示される動作が行われた場合、当該動作を加速度センサ75及びジャイロセンサ76で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「驚き」として動作させる制御データを生成する。
【0158】
<耳アニメ-ションの動作の操作方法>
続いて、キャラクタCの耳アニメーションEの動作の操作方法について説明する。耳アニメーションEを操作する場合には、ユーザU1,U2,U3は、操作装置70のスイッチ72を押下する。ユーザU1,U2,U3は、操作装置70のスイッチ72を押下してから所定の時間内に、
図23のユーザ動作、
図24のユーザ動作、
図25のユーザ動作、
図26のユーザ動作、
図27のユーザ動作又は
図28のユーザ動作の何れかに示される動作を行う。これにより、操作装置70において動作データが生成される。操作装置70は、動作データを端末10,20,30に送信する。
【0159】
端末10,20,30は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末10,20,30の通話画面Gにおいて、キャラクタC1,C2,C3の耳アニメーションEが、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」の何れかの動作を行う。このように、ユーザU1,U2,U3による操作装置70の操作により、キャラクタCの耳アニメーションEの動作を操作する。
【0160】
[効果]
以上説明したように、本実施形態に係るシステム100では、操作装置70を備えている。操作装置70は、加速度センサ75及びジャイロセンサ76を有している。操作装置70は、操作装置70を装着したユーザU1,U2,U3の動作を加速度センサ75及びジャイロセンサ76によって検出し、動作データを生成して端末10,20,30に送信する。端末10,20,30は、動作データに対応する制御データを生成し、耳アニメーションEの動作を実行させる。これにより、システム100では、ユーザU1,U2,U3によって操作装置70の操作が行われない場合には、耳アニメーションEは動作しない。また、耳アニメーションEは、操作装置70の加速度及び角速度が所定値となるような特定の操作が行われた場合に動作する。そのため、例えば、操作装置70を単に移動させるような操作の場合には、耳アニメーションEは動作しない。このように、ユーザU1,U2,U3の意図するタイミングにおいて、必要な動作だけを耳アニメーションEに反映させることができる。したがって、ユーザU1,U2,U3の意図に応じて耳アニメーションEを動作させることができる。
【0161】
例えば、マイクやカメラによって取得される音声データ及び画像データに基づいて、ユーザU1,U2,U3の状態を推定して耳アニメーションEを動作させる形態において、ユーザU1,U2,U3の意図に応じて耳アニメーションEを動作させるために、耳アニメーションEを動作させたいときにマイクやカメラをオンにする、あるいは、耳アニメーションEを動作させないときにマイクやカメラをオフにする方法が考えられる。しかしながら、その都度カメラやマイクをオン/オフにすることは、煩に堪えない。また、マイクやカメラをオフにし忘れた場合、ユーザU1,U2,U3の意図に反して耳アニメーションEが動作する。これに対して、システム100では、ユーザU1,U2,U3によって、操作装置70において特定の操作が行われた場合にのみ耳アニメーションEの動作が実行される。そのため、システム100では、煩わしい操作を行うことなく、ユーザU1,U2,U3の意図に応じて耳アニメーションEを動作させることができる。
【0162】
本実施形態に係る操作装置70は、ユーザU1,U2,U3の指Fに装着される。そのため、ユーザU1,U2,U3は、指Fの動きによって、耳アニメーションEの動作を操作することができる。そのため、操作装置70を操作するための広い操作スペースが必要とならない。また、ユーザU1,U2,U3による指Fの動きによって操作装置70を操作するため、自然と楽に操作することができる。また、指Fは多様な動作が可能であるため、動作データに対応する耳アニメーションEのバリエーションを増やすことができる。
【0163】
本実施形態に係る操作装置70は、スイッチ72を有している。操作装置70では、スイッチ72が押下された場合に動作データを生成して、動作データを端末10,20,30に送信する。このように、操作装置70では、スイッチ72が押下された場合にのみ、動作データを生成する。すなわち、スイッチ72が押下されない場合には、操作装置70において特定の操作が行われた場合であっても、動作データが生成されない。そのため、操作装置70では、ユーザU1,U2,U3の意図に反して動作データが生成されることがない。したがって、ユーザU1,U2,U3の意図に応じて耳アニメーションEを動作させることができる。
【0164】
本実施形態に係るシステム100では、端末10,20,30は、ユーザU1,U2,U3の視線に係る情報を含む視線データ生成し、視線データを操作装置70に送信する。操作装置70は、視線データに基づいて、振動部78を一定時間振動させる。これにより、操作装置70を装着しているユーザU1,U2,U3は、自身のキャラクタC1,C2,C3に他のユーザU1,U2,U3の視線が向けられていることを体感的に感じることができる。
【0165】
[第四実施形態]
<操作装置の構成>
図29は、第四実施形態に係る操作装置80の斜視図である。
図29では、操作装置80がユーザU1,U2,U3の指Fによって操作されている状態を示す図である。操作装置80は、ユーザU1,U2,U3によって操作される装置である。ユーザU1,U2,U3による操作装置80の操作によって、耳アニメーションEが動作する。操作装置80は、マウスである。マウスの方式としては、光学式、レーザ式、Blue LED、IR LED、ボール式等を採用することができる。操作装置80は、本体81と、右ボタン82と、左ボタン83と、ホイール84と、を有している。
【0166】
図30は、操作装置80の機能ブロックの例を示す図である。
図30に示されるように、操作装置80は、通信部85を含む。通信部85は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、Bluetooth(登録商標)、2.4GHz方式等である。外部装置の例は、端末10、端末20及び端末30である。通信部85は、制御部87から出力された動作データを端末10、端末20及び端末30に送信したり、視線データを端末10、端末20及び端末30から受信したりする。
【0167】
操作装置80は、入力部86を含む。入力部86は、ユーザU1,U2,U3の操作を入力する部分である。入力部86は、ユーザU1,U2,U3による右ボタン82、左ボタン83及びホイール84の操作を検出する。入力部86は、操作信号を制御部87に出力する。
【0168】
操作装置80は、制御部87を含む。制御部87は、入力部86の操作信号に基づいて、動作データを生成する。制御部87は、動作データを通信部85に出力する。制御部87は、通信部14から視線データが出力された場合、振動部88を所定時間振動させる。振動部88を振動させる所定時間は、適宜設定される。
【0169】
制御部87は、CPU、GPU等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部87は、プロセッサ、クロック、内蔵メモリ、通信部85を集積した一つのハードウェア(SoC:System On a Chip)として構成されてもよい。
【0170】
操作装置80は、振動部88を含む。振動部88は、本体81を振動させる。振動部88は、モータ、圧電素子等によって構成され得る。振動部88は、制御部87により制御される。
【0171】
操作装置80は、無線通信を行う場合、バッテリ89を含む。バッテリ89は、操作装置80の各部に電力を供給する。
【0172】
続いて、キャラクタC(C1,C2,C3)の耳アニメーションEを、「うなずき」、「同意」、「驚き」、「賞賛(拍手)」又は「質問」として動作させる場合の、ユーザU1,U2,U3による操作装置80の操作について説明する。すなわち、キャラクタCの耳アニメーションEの動作と、操作装置80によって検出されるユーザU1,U2,U3の動作との関係について説明する。
【0173】
図31の動作パターン~
図34の動作パターンは、耳アニメーションEの動作の一例を示す図である。
図31のユーザ動作~
図34のユーザ動作は、
図31の動作パターン~
図34の動作パターンに示す耳アニメーションEを動作させるときのユーザU1,U2,U3の指Fの動きの一例を示す図である。
【0174】
図31の動作パターンでは、耳アニメーションEにおける「うなずき」の動作を示している。
図31の動作パターンに示されるように、「うなずき」の動作では、キャラクタCの耳アニメーションEにおいて、耳の上部1/2部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図31のユーザ動作に示されるように、操作装置80のホイール84を指F(例えば、人差し指)によって後方に回転させる。
【0175】
操作装置80は、
図30のユーザ動作に示される動作が行われた場合、当該動作を入力部86で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「うなずき」として動作させる制御データを生成する。なお、
図31のユーザ動作において、ホイール84の回転速度に基づいて耳アニメーションEの動作速度が変化するようにしてもよい。例えば、ホイール84の回転速度が遅い場合には、耳アニメーションEの動作速度を遅くしてもよい。また、ホイール84の回転量に基づいて耳アニメーションEの動作が変化してもよい。例えば、ホイール84の回転量が所定値未満である場合には、「うなずき」の動作を行い、ホイール84の回転量が所定値以上である場合には、「同意」の動作を行うようにしてもよい。
【0176】
図32の動作パターンでは、耳アニメーションEにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタCの耳アニメーションEにおいて、耳の先端が大きくなる。このとき、キャラクタCのボディBが後ろに反る。「驚き」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図32のユーザ動作に示されるように、ホイール84を指F(例えば、人差し指)によって前方に回転させる。
【0177】
操作装置80は、
図32のユーザ動作に示される動作が行われた場合、当該動作を入力部86で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「驚き」として動作させる制御データを生成する。
【0178】
図33の動作パターンでは、耳アニメーションEにおける「拍手(賞賛)」の動作を示している。「拍手(賞賛)」の動作では、キャラクタCの耳アニメーションEにおいて、耳が近づいたり離れたりする。「拍手(賞賛)」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図33のユーザ動作に示されるように、右ボタン82及び左ボタン83を二本の指F(例えば、人差し指と中指)によって同時にクリックする。
【0179】
操作装置80は、
図33のユーザ動作に示される動作が行われた場合、当該動作を入力部86で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「拍手(賞賛)」として動作させる制御データを生成する。端末10,20,30の制御部12は、右ボタン82及び左ボタン83を一回クリックする動作に係る動作データに対して、複数回拍手するように制御データを生成してもよい。
【0180】
図34の動作パターンでは、耳アニメーションEにおける「質問」の動作を示している。「質問」の動作では、キャラクタCの耳アニメーションEにおいて、耳が絡まる。「質問」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、
図34のユーザ動作に示されるように、右ボタン82及び左ボタン83を二本の指F(例えば、人差し指と中指)によって交互にクリックする。
【0181】
操作装置80は、
図34のユーザ動作に示される動作が行われた場合、当該動作を入力部86で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「質問」として動作させる制御データを生成する。
【0182】
<耳アニメ-ションの動作の操作方法>
続いて、キャラクタCの耳アニメーションEの動作の操作方法について説明する。耳アニメーションEを操作する場合には、ユーザU1,U2,U3は、
図31のユーザ動作、
図32のユーザ動作、
図33のユーザ動作又は
図34のユーザ動作の何れかに示される動作を行う。これにより、操作装置80において動作データが生成される。操作装置80は、動作データを端末10,20,30に送信する。
【0183】
端末10,20,30は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末10,20,30の通話画面Gにおいて、キャラクタC1,C2,C3の耳アニメーションEが、「うなずき(同意)」、「驚き」、「賞賛(拍手)」又は「質問」の何れかの動作を行う。このように、ユーザU1,U2,U3による操作装置80の操作により、キャラクタCの耳アニメーションEの動作を操作する。
【0184】
[効果]
以上説明したように、本実施形態に係る操作装置80は、右ボタン82、左ボタン83及びホイール84を有している。操作装置80は、ユーザU1,U2,U3の動作を右ボタン82、左ボタン83又はホイール84によって検出し、動作データを生成して端末10,20,30に送信する。端末10,20,30は、動作データに対応する制御データを生成し、耳アニメーションEの動作を実行させる。これにより、システム100では、ユーザU1,U2,U3によって操作装置80の操作が行われない場合には、耳アニメーションEは動作しない。また、例えば、操作装置80を単に移動させるような操作の場合には、耳アニメーションEは動作しない。このように、ユーザU1,U2,U3の意図するタイミングにおいて、必要な動作だけを耳アニメーションEに反映させることができる。したがって、ユーザU1,U2,U3の意図に応じて耳アニメーションEを動作させることができる。
【0185】
以上、本発明の実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。
【0186】
上記実施形態では、耳アニメーションEを、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」の何れかで動作させる形態を一例に説明した。しかし、ユーザの動作に応じた耳アニメーションEの動作はこれに限定されない。耳アニメーションEの動作は、他の動作であってもよいし、更に他の動作を含んでいてもよい。例えば、耳アニメーションEにおいて「OK」の動作をさせてもよい。第一実施形態において、「OK」の動作を耳アニメーションEに動作させる場合には、ユーザU1,U2,U3が操作面51Aに二本の指F(例えば、人差し指と中指)をタッチさせた状態で、例えば円を描くようにスライドさせる。
【0187】
また、耳アニメーションEを、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」の何れかで動作させる場合のユーザU1,U2,U3の動作について、動作パターンとユーザ動作との対応関係は上記実施形態の一例に限定されない。例えば、第一実施形態において、
図9の「質問」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3が操作面51Aに二本の指F(例えば、人差し指と中指)をタッチさせた状態で、半円(円弧)を描くようにスライドさせる形態を一例に説明したが、∞(無限)を描くようスライドさせてもよい。動作パターンとユーザ動作との対応関係は、適宜設定可能である。
【0188】
上記実施形態では、操作装置50、操作装置60、操作装置70及び操作装置80のいずれかによってユーザU1,U2,U3の手H又は指Fの動作を検出する形態を一例に説明した。しかし、ユーザU1,U2,U3の手H又は指Fは、画像センサ(カメラ、レーザ等)によって検出してもよい。
【0189】
上記実施形態において、操作装置は、加速度及び角速度を検出できるものであればよい。操作装置は、例えば、耳アニメーションEを表示するディスプレイ(表示部)を有する携帯電話機(スマートフォン等)であってもよい。携帯電話機である場合、操作装置50,60,70,80と同様に携帯電話機を操作することによって、動作データが生成される。
【0190】
具体的には、「うなずき」の動作を耳アニメーションEに実行させる場合には、例えば、携帯電話機を前方に傾ける。「同意」の動作を耳アニメーションEに実行させる場合には、携帯電話機を「うなずき」よりも深く前方に傾ける。「賞賛(拍手)」の動作を耳アニメーションEに実行させる場合には、携帯電話機を小刻みに振る。「質問」の動作を耳アニメーションEに実行させる場合には、携帯電話機を往復回転させる。「挙手」の動作の耳アニメーションEを実行させる場合には、携帯電話機を上方に持ち上げる。
【0191】
操作装置が携帯電話機である場合には、操作装置のディスプレイに耳アニメーションE(キャラクタC)が表示されるため、耳アニメーションEを確認しながら操作装置を操作することができる。また、操作装置と耳アニメーションEを表示するディスプレイとが一体化されているため、構成の簡易化を図ることができる。
【0192】
上記第一実施形態では、操作装置50が振動部55を有し、視線データに基づいて振動部55を作動させる(本体51をバイブレーションさせる)形態を一例に説明した。しかし、操作装置50は、振動部55を有していなくてもよい。また、操作装置50は、例えば、発光部(例えば、LED)等を有していてもよい。この構成では、視線データに基づいて発光部を発光させる。
【0193】
上記第一実施形態に加えて、操作装置50は、動作データに基づいて、振動部55を振動させてもよい。動作データに対応して、振動パターンを設定することができる。振動パターンは、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」のそれぞれに対応して設定することができる。例えば、「うなずき」の場合には短時間の振動、「同意」の場合には「うなずき」の振動よりも長時間の振動にすることができる。この構成では、ユーザU1,U2,U3の意図に応じて操作装置50が振動するため、動作の一体感を得ることができる。
【0194】
上記第一実施形態において、耳アニメーションEは、操作装置50におけるユーザU1,U2,U3の指F(手H)の動作速度及び移動量の少なくとも一方に基づいて、動作が変化してもよい。すなわち、操作装置50におけるユーザU1,U2,U3の指F(手H)の動作速度及び移動量の少なくとも一方を、耳アニメーションEの動作に反映させてもよい。
【0195】
例えば、耳アニメーションEの動作速度は、指Fの動作速度に応じて変化してもよい。具体的には、例えば、
図6の動作パターンに示される「うなずき」の動作において、ユーザU1,U2,U3が操作装置50の操作面51Aをスライドさせる指Fの速度を速くした場合には、耳アニメーションEにおいて、耳が折り曲がる速度を速くし、操作面51Aをスライドさせる指Fの速度を遅くした場合には、耳が折り曲がる速度を遅くしてもよい。また、例えば、
図6の動作パターンに示される「うなずき」の動作において、ユーザU1,U2,U3が操作面51Aのスライド量(移動量)を大きくした場合には、耳アニメーションEにおいて、耳が折り曲がる角度を大きくし、操作面51Aのスライド量を小さくした場合には、耳が折り曲がる角度を小さくしてもよい。他の耳アニメーションEの動作についても、適宜設定することができる。操作装置50におけるユーザU1,U2,U3の指F(手H)の動作速度及び移動量に対する耳アニメーションEの動作の感度の設定は、耳アニメーションEの動作を実際に確認しながら行うことができる。
【0196】
上記のように、ユーザU1,U2,U3の手H及び指Fの少なくとも一方の、動作速度及び移動量の少なくとも一方を検出する操作装置50を使用し、動作速度及び移動量の少なくとも一方に基づいて、耳アニメーションEの動作を変化させる。この方法では、耳アニメーションEは、動作速度又は移動量によって、動作速度が変化したり、動作量が変化したりする。これにより、耳アニメーションEにおいて、ユーザU1,U2,U3の状況(会話内容、文脈等も含む)に応じた機微な非言語情報の表現(表出)を行うことができる。そのため、ユーザU1,U2,U3の感情(気持ち)がより耳アニメーションEに表現されるため、円滑なコミュニケーションを実現することができる。他の実施形態についても、ユーザU1,U2,U3の手H及び指Fの少なくとも一方の、動作速度及び移動量の少なくとも一方を操作装置60,70,80によって検出し、動作速度及び移動量の少なくとも一方に基づいて、耳アニメーションEの動作を変化させることができる。
【0197】
上記第二実施形態では、操作装置60を手Hに一つ把持して耳アニメーションEの動作を操作する形態を一例に説明した。しかし、操作装置60を複数把持して耳アニメーションEの動作を操作してもよい。例えば、操作装置60は、両手のそれぞれに把持することができる。この構成では、二つの操作装置60において生成される動作データを連携させて、耳アニメーションEの動作の多様化を図ることができる。
【0198】
上記第二実施形態では、操作装置60が加速度センサ65を有している形態を一例に説明した。しかし、操作装置60は、加速度センサ65を有していなくてもよい。すなわち、操作装置60は、ジャイロセンサ66のみを有していてもよい。
【0199】
上記第二実施形態では、操作装置60がスイッチ62を備える形態を一例に説明した。しかし、操作装置60は、スイッチ62を備えていなくてもよい。この構成では、操作装置60の加速度センサ65及び/又はジャイロセンサ66において検出される値が一定値以上となった場合に、制御部67が動作データを生成してもよい。一定値は、加速度センサ65及び/又はジャイロセンサ66の上記所定値以上に設定され得る。これにより、ユーザU1,U2,U3が特別の操作を行わなくても、耳アニメーションEの動作を操作することができる。
【0200】
また、操作装置60が、ユーザU1,U2,U3の音声を入力する入力部を有していてもよい。この構成では、ユーザU1,U2,U3の音声が入力部に入力された場合に、動作データを生成する。操作装置60は、入力部において所定の音声、例えば「うんうん」等が入力されて場合に、動作データを生成する。動作データを生成するために入力される音声は、他のユーザに伝送されないようにしてもよい。
【0201】
上記第二実施形態では、操作装置60が振動部68を有し、視線データに基づいて振動部68を作動させる(本体61をバイブレーションさせる)形態を一例に説明した。しかし、操作装置60は、振動部68を有していなくてもよい。また、操作装置60は、例えば、発光部(例えば、LED)等を有していてもよい。この構成では、視線データに基づいて発光部を発光させる。
【0202】
上記第二実施形態に加えて、操作装置60は、動作データに基づいて、振動部68を振動させてもよい。動作データに対応して、振動パターンを設定することができる。振動パターンは、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」及び「驚き」のそれぞれに対応して設定することができる。例えば、「うなずき」の場合には短時間の振動、「同意」の場合には「うなずき」の振動よりも長時間の振動にすることができる。この構成では、ユーザU1,U2,U3の意図に応じて操作装置60が振動するため、動作の一体感を得ることができる。
【0203】
上記第三実施形態では、操作装置70を指Fに一つ装着して耳アニメーションEの動作を操作する形態を一例に説明した。しかし、操作装置70を複数装着して耳アニメーションEの動作を操作してもよい。例えば、操作装置70は、人差し指と中指とに装着してもよいし、両手の指のそれぞれに装着することもできる。この構成では、二つの操作装置70において生成される動作データを連携させて、耳アニメーションEの動作の多様化を図ることができる。
【0204】
上記第三実施形態では、操作装置70が加速度センサ75を有している形態を一例に説明した。しかし、操作装置70は、加速度センサ75を有していなくてもよい。すなわち、操作装置70は、ジャイロセンサ76のみを有していてもよい。
【0205】
上記実施形態では、操作装置70がスイッチ72を備える形態を一例に説明した。しかし、操作装置70は、スイッチ72を備えていなくてもよい。この構成では、操作装置70の加速度センサ75及び/又はジャイロセンサ76において検出される値が一定値以上となった場合に、制御部77が動作データを生成してもよい。一定値は、加速度センサ75及び/又はジャイロセンサ76の上記所定値以上に設定され得る。これにより、ユーザU1,U2,U3が特別の操作を行わなくても、耳アニメーションEの動作を操作することができる。
【0206】
また、操作装置70が、ユーザU1,U2,U3の音声を入力する入力部を有していてもよい。この構成では、ユーザU1,U2,U3の音声が入力部に入力された場合に、動作データを生成する。操作装置70は、入力部において所定の音声、例えば「うんうん」等が入力されて場合に、動作データを生成する。動作データを生成するために入力される音声は、他のユーザに伝送されないようにしてもよい。
【0207】
上記実施形態では、操作装置70が振動部78を有し、視線データに基づいて振動部78を作動させる(本体71をバイブレーションさせる)形態を一例に説明した。しかし、操作装置70は、振動部78を有していなくてもよい。また、操作装置70は、例えば、発光部(例えば、LED)等を有していてもよい。この構成では、視線データに基づいて発光部を発光させる。
【0208】
上記実施形態に加えて、操作装置70は、動作データに基づいて、振動部78を振動させてもよい。動作データに対応して、振動パターンを設定することができる。振動パターンは、「うなずき」、「同意」、「賞賛(拍手)」、「質問」及び「挙手」のそれぞれに対応して設定することができる。例えば、「うなずき」の場合には短時間の振動、「同意」の場合には「うなずき」の振動よりも長時間の振動にすることができる。この構成では、ユーザU1,U2,U3の意図に応じて操作装置70が振動するため、動作の一体感を得ることができる。
【0209】
上記第四実施形態では、操作装置80が振動部88を有し、視線データに基づいて振動部88を作動させる(本体81をバイブレーションさせる)形態を一例に説明した。しかし、操作装置80は、振動部88を有していなくてもよい。また、操作装置80は、例えば、発光部(例えば、LED)等を有していてもよい。この構成では、視線データに基づいて発光部を発光させる。
【0210】
上記第四実施形態に加えて、操作装置80は、動作データに基づいて、振動部88を振動させてもよい。動作データに対応して、振動パターンを設定することができる。振動パターンは、「うなずき」、「驚き」、「賞賛(拍手)」及び「質問」のそれぞれに対応して設定することができる。この構成では、ユーザU1,U2,U3の意図に応じて操作装置80が振動するため、動作の一体感を得ることができる。
【0211】
上記実施形態では、端末10、端末20及び端末30において制御データを生成する形態を一例に説明した。しかし、制御データは、サーバ40によって生成されてもよい。この構成では、端末10、端末20及び端末30は、動作データをサーバ40に送信し、サーバ40は、動作データに基づいて、制御データを生成する。
【0212】
上記実施形態では、キャラクタC1,C2,C3のボディBが球状である形態を一例に説明した。しかし、キャラクタC1,C2,C3のボディBの形状は球状に限定されない。ボディBは、ディスプレイを模した形態であってもよい。この場合、例えば、ボディBに、資料、発話者の発話内容の翻訳文(例えば、「Hello!」等)、ユーザU1,U2,U3の顔画像等が表示されるようにしてもよい。また、発話内容をAIとリンクさせて、会話に応じた図、テキスト、動画又は音声等をボディBのディスプレイに自動的に表示させてもよい。
【0213】
また、ボディBは、車を模した形状であってもよいし、目覚まし時計を模した形状であってもよいし、木を模した形状であってもよい。ボディBは、ユーザの状態等に応じて、変化、変形等してもよい。また、キャラクタC1,C2,C3は、ロボット等の頭部に耳アニメーションEが表示される形態であってもよい。この場合、耳アニメーションEに加えて、ボディBの一部(例えば、半円形状)が表示されてもよい。この構成では、ロボット等の頭部に、耳アニメーションEの帽子が被されるように表示され得る。この場合、ボディBは、ディスプレイになってよい。なお、耳アニメーションEを有するヘッドフォン等がロボット等と一緒に表示されてもよい。さらに、キャラクタC1,C2,C3は、足のアニメーションを有していてもよい。この場合、ユーザU1,U2,U3の足の動きを検出するセンサの検出結果に基づいて、キャラクタC1,C2,C3の足のアニメーションが動作してもよい。
【0214】
上記実施形態では、
図2に示されるように、コミュニケーションに参加する全てのユーザU1,U2,U3のキャラクタC1,C2,C3が通話画面Gに表示される形態を一例に説明した。しかし、コミュニケーション対象であるユーザのキャラクタのみが通話画面に表示されてもよい。例えば、ユーザU1の端末10の通話画面Gには、ユーザU2のキャラクタC2及びユーザU3のキャラクタC3のみが表示されてもよい。
【0215】
また、
図2では、キャラクタC1,C2,C3が、テーブルTを囲んで向かい合うように表示される形態を例示している。しかし、キャラクタC1,C2,C3の配置等は、これに限定されない。例えば、キャラクタC1,C2,C3がステージに配置されていてもよい。ステージは、移動可能であってもよい。ステージ上において、キャラクタC1,C2,C3は、ユーザU1,U2,U3の操作に応じて、ダンスや体操を行うことができる。
【0216】
また、ボディBがディスプレイを模した形態である場合において、通話画面Gには、資料等が表示されるディスプレイが表示されてもよい。これにより、講義、研修会、講演会等を行うことができる。このとき、ボディBのディスプレイには、ユーザU1,U2,U3の属性(国籍、居住国等)に応じた翻訳文を表示することができる。
【0217】
上記実施形態では、端末10,20,30の通話画面GにボディB及び耳アニメーションE等が表示される形態を一例に説明した。しかし、端末がウェアラブル端末、ヘッドマウントディスプレイ(HMD)端末である場合には、ボディB及び耳アニメーションE等がレンズ等に表示されてもよいし、ホログラムで表示されてもよい。すなわち、サイバー空間において、キャラクタC1,C2,C3を表示させる。サイバー空間には、VR(Virtual Reality:仮想現実)、AR(Augmented Reality:拡張現実)、MR(Mixed Reality:混合現実)が含まれ得る。
【0218】
上記実施形態では、テレビ会議等において通話画面Gに表示されるキャラクタC1,C2,C3の耳アニメーションEの動作を操作する形態を一例に説明した。しかし、アニメーション操作方法は、ダンスや歌のパフォーマンスを行うキャラクタの耳アニメーションの動作の操作に適用されてもよい。
【符号の説明】
【0219】
10…端末、11…入力部、12…制御部、13…記憶部、13P…端末プログラム、14…通信部、15…出力部、20…端末、30…端末、40…サーバ、42…制御部、43…記憶部、43P…サーバプログラム、43S…受信データ、44…通信部、50…操作装置(検出装置)、51…本体、51A…操作面、52…通信部、53…入力部、54…制御部、55…振動部、56…バッテリ、58…振動部、60…操作装置(検出装置)、61A…第一本体部、61B…第二本体部、61C…突起部、62…スイッチ、63…通信部、64…入力部、65…加速度センサ(加速度検出部)、66…ジャイロセンサ(角速度検出部)、67…制御部、68…振動部、69…バッテリ、70…操作装置(検出装置)、71A…アーム、71B…アーム、71C…開口部、72…スイッチ、73…通信部、74…入力部、75…加速度センサ(加速度検出部)、76…ジャイロセンサ(角速度検出部)、77…制御部、78…振動部、79…バッテリ、80…操作装置(検出装置)、81…本体、82…右ボタン、83…左ボタン、84…ホイール、85…通信部、86…入力部、87…制御部、88…振動部、89…バッテリ、100…システム、A…腕アニメーション、AP…アクセスポイント、B…ボディ、BS…基地局、C…キャラクタ、C1…キャラクタ、C2…キャラクタ、C3…キャラクタ、E…耳アニメーション、F…指、G…通話画面、H…手、N…ネットワーク、T…テーブル、U1…ユーザ、U2…ユーザ、U3…ユーザ。
【要約】
アニメーション操作方法は、操作装置によって検出されるユーザの手及び指の少なくとも一方の所定の動作に対して、予め設定された所定のアニメーションの動作が対応付けられており、所定の動作が操作装置によって検出された場合、所定の動作に対応する所定のアニメーションの動作を実行させる。