ホーム > 特許ランキング > 株式会社ＪＶＣケンウッド
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024008130
(43)【公開日】2024-01-19
(54)【発明の名称】アバター制御装置
(51)【国際特許分類】
G06T 13/40 20110101AFI20240112BHJP
G06F 3/01 20060101ALI20240112BHJP
G06F 3/04815 20220101ALI20240112BHJP
【ＦＩ】
G06T13/40
G06F3/01 510
G06F3/04815
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022109720
(22)【出願日】2022-07-07
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社ＪＶＣケンウッド
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】山本 俊輔
(72)【発明者】
【氏名】滝脇 愛子
(72)【発明者】
【氏名】藤島 もゑ
(72)【発明者】
【氏名】松本 祐一
(72)【発明者】
【氏名】キム ヒョンジュン
(72)【発明者】
【氏名】林下 裕
(72)【発明者】
【氏名】佐藤 由佳子
(72)【発明者】
【氏名】関 和哉
(72)【発明者】
【氏名】志賀 実
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050BA09
5B050BA12
5B050CA07
5B050DA04
5B050EA07
5B050EA12
5E555AA04
5E555AA62
5E555BA02
5E555BA06
5E555BB02
5E555BB06
5E555BC04
5E555BD01
5E555BE16
5E555CA42
5E555CB23
5E555CB80
5E555CC01
5E555DA02
5E555DB32
5E555DC19
5E555DD06
5E555EA14
5E555EA22
5E555FA00
(57)【要約】
【課題】メタバース内のアバターを操作する利用者の煩わしさを低減させる。
【解決手段】仮想空間内に表示されるアバターを制御する装置であって、カメラによって撮影されたユーザの顔画像を取得し、前記ユーザの顔の基準姿勢を示す初期設定情報を取得し、前記顔画像に基づいて、前記カメラに対する前記ユーザの顔の姿勢を示す姿勢情報を取得し、前記初期設定情報と前記姿勢情報とが示す、前記カメラと前記ユーザの顔との距離に基づいて、前記仮想空間内におけるアバターの前後方向の移動を制御する。
【選択図】図１
【解決手段】仮想空間内に表示されるアバターを制御する装置であって、カメラによって撮影されたユーザの顔画像を取得し、前記ユーザの顔の基準姿勢を示す初期設定情報を取得し、前記顔画像に基づいて、前記カメラに対する前記ユーザの顔の姿勢を示す姿勢情報を取得し、前記初期設定情報と前記姿勢情報とが示す、前記カメラと前記ユーザの顔との距離に基づいて、前記仮想空間内におけるアバターの前後方向の移動を制御する。
【選択図】図１
【特許請求の範囲】
【請求項1】
仮想空間内に表示されるアバターを制御する装置であって、
カメラによって撮影されたユーザの顔画像を取得し、
前記ユーザの顔の基準姿勢を示す初期設定情報を取得し、
前記顔画像に基づいて、前記カメラに対する前記ユーザの顔の姿勢を示す姿勢情報を取得し、
前記初期設定情報と前記姿勢情報とが示す、前記カメラと前記ユーザの顔との距離に基づいて、前記仮想空間内におけるアバターの前後方向の移動を制御する
アバター制御装置。
カメラによって撮影されたユーザの顔画像を取得し、
前記ユーザの顔の基準姿勢を示す初期設定情報を取得し、
前記顔画像に基づいて、前記カメラに対する前記ユーザの顔の姿勢を示す姿勢情報を取得し、
前記初期設定情報と前記姿勢情報とが示す、前記カメラと前記ユーザの顔との距離に基づいて、前記仮想空間内におけるアバターの前後方向の移動を制御する
アバター制御装置。
【請求項2】
仮想空間内にユーザの分身として表示されるアバターを制御する装置であって、
表示部に表示された仮想空間の画像を視認するユーザの顔がカメラによって撮影された画像である顔画像を取得し、
前記ユーザの顔の基準姿勢を示す初期設定情報を取得し、
前記顔画像に基づいて、前記カメラに対する前記ユーザの顔の姿勢を示す姿勢情報を取得し、
前記初期設定情報と前記姿勢情報とが示す、前記ユーザの顔の前記基準姿勢からの変位方向に基づいて、前記仮想空間内におけるアバターの横方向の移動を制御する
アバター制御装置。
表示部に表示された仮想空間の画像を視認するユーザの顔がカメラによって撮影された画像である顔画像を取得し、
前記ユーザの顔の基準姿勢を示す初期設定情報を取得し、
前記顔画像に基づいて、前記カメラに対する前記ユーザの顔の姿勢を示す姿勢情報を取得し、
前記初期設定情報と前記姿勢情報とが示す、前記ユーザの顔の前記基準姿勢からの変位方向に基づいて、前記仮想空間内におけるアバターの横方向の移動を制御する
アバター制御装置。
【請求項3】
前記カメラと前記ユーザの顔との距離の大きさ、または当該距離の変化速度に応じて、前後方向の移動速度または加速度を制御する
請求項１に記載のアバター制御装置。
請求項１に記載のアバター制御装置。
【請求項4】
前記カメラに対する前記ユーザの顔の向きに基づいて、前記仮想空間内におけるアバターの移動方向を制御する
請求項１または請求項２に記載のアバター制御装置。
請求項１または請求項２に記載のアバター制御装置。
【請求項5】
前記カメラによって撮影された前記ユーザの所定の動作を検出し、
前記所定の動作が検出された場合、アバターの移動制御を行わない
請求項１または請求項２に記載のアバター制御装置。
前記所定の動作が検出された場合、アバターの移動制御を行わない
請求項１または請求項２に記載のアバター制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アバター制御装置に関する。
【背景技術】
【0002】
従来、メタバース（仮想空間）内において、利用者の分身であるアバターを操作する技術が提案されている。例えば、利用者にヘッドマウント型の装置を装着することにより、利用者の操作を検出する技術が提案されている（例えば、特許文献１を参照。）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－１４４０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来の技術のように、操作検出装置（例えば、ヘッドマウント型の装置）を体に装着することや、コントローラを手に持って操作することは、利用者にとって煩わしいものであった。
【0005】
本発明は、このような状況に鑑みてなされたものであって、メタバース内のアバターを操作する利用者の煩わしさを低減させることができるアバター制御装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様は、仮想空間内に表示されるアバターを制御する装置であって、カメラによって撮影されたユーザの顔画像を取得し、前記ユーザの顔の基準姿勢を示す初期設定情報を取得し、前記顔画像に基づいて、前記カメラに対する前記ユーザの顔の姿勢を示す姿勢情報を取得し、前記初期設定情報と前記姿勢情報とが示す、前記カメラと前記ユーザの顔との距離に基づいて、前記仮想空間内におけるアバターの前後方向の移動を制御するアバター制御装置である。
【0007】
本発明の一態様は、仮想空間内にユーザの分身として表示されるアバターを制御する装置であって、表示部に表示された仮想空間の画像を視認するユーザの顔がカメラによって撮影された画像である顔画像を取得し、前記ユーザの顔の基準姿勢を示す初期設定情報を取得し、前記顔画像に基づいて、前記カメラに対する前記ユーザの顔の姿勢を示す姿勢情報を取得し、前記初期設定情報と前記姿勢情報とが示す、前記ユーザの顔の前記基準姿勢からの変位方向に基づいて、前記仮想空間内におけるアバターの横方向の移動を制御するアバター制御装置である。
【0008】
本発明の一態様に係るアバター制御装置は、前記カメラと前記ユーザの顔との距離の大きさ、または当該距離の変化速度に応じて、前後方向の移動速度または加速度を制御する。
【0009】
本発明の一態様に係るアバター制御装置は、前記カメラに対する前記ユーザの顔の向きに基づいて、前記仮想空間内におけるアバターの移動方向を制御する。
【0010】
本発明の一態様に係るアバター制御装置は、前記カメラによって撮影された前記ユーザの所定の動作を検出し、前記所定の動作が検出された場合、アバターの移動制御を行わない。
【発明の効果】
【0011】
本発明によれば、メタバース（仮想空間）内のアバターを操作する利用者の煩わしさを低減させることができる。
【図面の簡単な説明】
【0012】
【図1】本実施形態のアバター制御システムの機能構成の一例を示す図である。
【図2】本実施形態のアバターの構成の一例を示す図である。
【図3】本実施形態の初期設定モードにおける処理の流れの一例を示す図である。
【図4】本実施形態のアバター制御モードにおける処理の流れの一例を示す図である。
【図5】本実施形態の撮影画像の一例を示す図である。
【図6】本実施形態の顔画像の一例を示す図である。
【図7】本実施形態の顔画像の特徴点の一例を示す図である。
【図8】基準位置にいるユーザとカメラとの相対的な位置関係の一例を示す図である。
【図9】基準位置にいるユーザをカメラが撮影した撮影画像の一例を示す図である。
【図10】ユーザが基準位置にいる場合のアバターの移動制御の結果の一例を示す図である。
【図11】基準位置よりも顔を前にずらした場合のユーザとカメラとの相対的な位置関係の一例を示す図である。
【図12】基準位置よりも顔を前にずらした場合のカメラが撮影した撮影画像の一例を示す図である。
【図13】基準位置よりも顔を前にずらした場合のアバターの移動制御の結果の一例を示す図である。
【図14】基準位置よりも顔を後ろにずらした場合のユーザとカメラとの相対的な位置関係の一例を示す図である。
【図15】基準位置よりも顔を後ろにずらした場合のカメラが撮影した撮影画像の一例を示す図である。
【図16】基準位置よりも顔を後ろにずらした場合のアバターの移動制御の結果の一例を示す図である。
【図17】基準位置にいるユーザとカメラとの相対的な位置関係の一例を示す図である。
【図18】基準位置にいるユーザをカメラが撮影した撮影画像の一例を示す図である。
【図19】ユーザが基準位置にいる場合のアバターの移動制御の結果の一例を示す図である。
【図20】左方向に頭を回転させた場合のユーザとカメラとの相対的な位置関係の一例を示す図である。
【図21】左方向に頭を回転させたユーザをカメラが撮影した撮影画像の一例を示す図である。
【図22】左方向に頭を回転させた場合のアバターの移動制御の結果の一例を示す図である。
【図23】右方向に頭を回転させた場合のユーザとカメラとの相対的な位置関係の一例を示す図である。
【図24】右方向に頭を回転させたユーザをカメラが撮影した撮影画像の一例を示す図である。
【図25】右方向に頭を回転させた場合のアバターの移動制御の結果の一例を示す図である。
【図26】特徴点間の距離の変化の大きさに基づく制御の切り替えの一例を示す図である。
【図27】右方向に頭を傾げたユーザをカメラが撮影した撮影画像の一例を示す図である。
【図28】右方向に頭を傾げた場合のアバターの移動制御の結果の一例を示す図である。
【図29】左方向に頭を傾げたユーザをカメラが撮影した撮影画像５０の一例を示す図である。
【図30】左方向に頭を傾げた場合のアバターの移動制御の結果の一例を示す図である。
【図31】左方向に移動したユーザをカメラが撮影した撮影画像の一例を示す図である。
【図32】右方向に移動したユーザをカメラが撮影した撮影画像の一例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について、図面を参照しながら説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
【0014】
［アバター制御システム１の機能構成］
図１は、本実施形態のアバター制御システム１の機能構成の一例を示す図である。アバター制御システム１は、ネットワークＮを介して、制御装置１０（アバター制御装置）と、端末装置２０とが双方向通信することにより、ユーザ３０が仮想空間ＶＳ内のアバター４０を制御する。アバター４０の構成の一例について、図２を参照して説明する。
図１は、本実施形態のアバター制御システム１の機能構成の一例を示す図である。アバター制御システム１は、ネットワークＮを介して、制御装置１０（アバター制御装置）と、端末装置２０とが双方向通信することにより、ユーザ３０が仮想空間ＶＳ内のアバター４０を制御する。アバター４０の構成の一例について、図２を参照して説明する。
【0015】
［アバター４０の構成］
図２は、本実施形態のアバター４０の構成の一例を示す図である。アバター４０は、顔パーツ４１と、手パーツ４２と、状態表示パーツ４３とを有する。
顔パーツ４１は、ユーザ３０の顔を撮影（撮像ともいう。以下の説明において同じ。）することによって得られる画像（すなわち、顔画像５１）に基づいて生成される。顔パーツ４１は、アバター４０の正面に配置され、仮想空間ＶＳ内におけるアバター４０の向きを表す。顔パーツ４１が示すアバター４０の表情は、ユーザ３０の表情の変化に伴ってリアルタイムに更新されてもよい。
手パーツ４２は、アバター４０の左右に配置され、アバター４０の仮想的な手として機能する。例えば、手パーツ４２は、仮想空間ＶＳ内に配置される仮想物体や他のアバター４０に触れるなどの機能を有する。なお、手パーツ４２は、必要な場合に表示されればよく、常時表示されていなくてもよい。
状態表示パーツ４３は、アバター４０の状態を示す仮想パーツである。状態表示パーツ４３は、例えば、形状や色彩の変化によって、アバター４０の状態（例えば、うれしい、悲しいなどの心理状態）を表現する。状態表示パーツ４３は、アバター４０を操作するユーザ３０の状態（例えば、心理状態）と連動して変化してもよい。
なお、アバターの形状は同図に示すように、顔パーツ４１によってアバターの向きが認識できる形状であれば、どのような形状であってもよい。例えば、アバターの形状は人間の身体を模した形状でもよい。アバターの形状は、ユーザ３０によって選択可能としてもよく、後述するカメラ２１によって撮影されるユーザの画像（例えば、顔画像５１）を顔パーツ４１に反映させてもよい。
図２は、本実施形態のアバター４０の構成の一例を示す図である。アバター４０は、顔パーツ４１と、手パーツ４２と、状態表示パーツ４３とを有する。
顔パーツ４１は、ユーザ３０の顔を撮影（撮像ともいう。以下の説明において同じ。）することによって得られる画像（すなわち、顔画像５１）に基づいて生成される。顔パーツ４１は、アバター４０の正面に配置され、仮想空間ＶＳ内におけるアバター４０の向きを表す。顔パーツ４１が示すアバター４０の表情は、ユーザ３０の表情の変化に伴ってリアルタイムに更新されてもよい。
手パーツ４２は、アバター４０の左右に配置され、アバター４０の仮想的な手として機能する。例えば、手パーツ４２は、仮想空間ＶＳ内に配置される仮想物体や他のアバター４０に触れるなどの機能を有する。なお、手パーツ４２は、必要な場合に表示されればよく、常時表示されていなくてもよい。
状態表示パーツ４３は、アバター４０の状態を示す仮想パーツである。状態表示パーツ４３は、例えば、形状や色彩の変化によって、アバター４０の状態（例えば、うれしい、悲しいなどの心理状態）を表現する。状態表示パーツ４３は、アバター４０を操作するユーザ３０の状態（例えば、心理状態）と連動して変化してもよい。
なお、アバターの形状は同図に示すように、顔パーツ４１によってアバターの向きが認識できる形状であれば、どのような形状であってもよい。例えば、アバターの形状は人間の身体を模した形状でもよい。アバターの形状は、ユーザ３０によって選択可能としてもよく、後述するカメラ２１によって撮影されるユーザの画像（例えば、顔画像５１）を顔パーツ４１に反映させてもよい。
【0016】
アバター４０は、ユーザ３０の分身として仮想空間ＶＳ内に表示される。アバター４０は、制御装置１０の制御に基づいて、仮想空間ＶＳ内を移動する。複数のユーザ３０がアバター制御システム１を利用している場合、仮想空間ＶＳ内には、ユーザ３０に対応する複数のアバター４０が配置される。同図の一例では、仮想空間ＶＳ内には、第１ユーザ（ユーザ３０－１）のアバター４０であるアバター４０－１と、第２ユーザ（ユーザ３０－２）のアバター４０であるアバター４０－２と、第３ユーザ（ユーザ３０－３）のアバター４０であるアバター４０－３とが配置されている。
以下の説明において、これら複数のユーザ３０－１～ユーザ３０－３を区別しない場合には、ユーザ３０と総称する。また、これら複数のアバター４０－１～アバター４０－３を区別しない場合には、アバター４０と総称する。
以下の説明において、これら複数のユーザ３０－１～ユーザ３０－３を区別しない場合には、ユーザ３０と総称する。また、これら複数のアバター４０－１～アバター４０－３を区別しない場合には、アバター４０と総称する。
【0017】
図１に戻り、アバター制御システム１の構成についての説明を続ける。アバター制御システム１は、ユーザ３０の顔の動きに応じて、仮想空間ＶＳ内のアバター４０の移動を制御する機能（つまり、フェイストラッキング機能）を備える。制御装置１０および端末装置２０は、フェイストラッキング機能を実現するための構成を備える。
【0018】
端末装置２０は、例えば、スマートフォンやパーソナルコンピュータなどのコンピュータ装置であり、カメラ２１と、表示部２２と、通信部２３と、制御部２４とを備える。
制御部２４は、例えば、中央演算処理装置（ＣＰＵ）などの演算機能を備えており、端末装置２０の各部を制御する。
通信部２３は、通信回路を備えており、制御部２４の制御に基づいて、ネットワークＮを介して制御装置１０との間において情報通信する。
制御部２４は、例えば、中央演算処理装置（ＣＰＵ）などの演算機能を備えており、端末装置２０の各部を制御する。
通信部２３は、通信回路を備えており、制御部２４の制御に基づいて、ネットワークＮを介して制御装置１０との間において情報通信する。
【0019】
表示部２２は、例えば、液晶ディスプレイを備えており、制御部２４の制御に基づいて画像を表示する。
本実施形態の一例では、上述した仮想空間ＶＳの様子を示す情報が、制御装置１０から端末装置２０に送信される。通信部２３が仮想空間ＶＳの様子を示す情報を制御装置１０から受信すると、制御部２４は、表示部２２に仮想空間ＶＳの様子を示す画像を表示させる。表示部２２には、仮想空間ＶＳの様子が表示される。
カメラ２１は、画像を撮影し、撮影した画像を制御部２４に出力する。本実施形態のカメラ２１は、表示部２２に表示された仮想空間ＶＳの画像を視認するユーザ３０の顔が撮影できる位置に配置されている。例えば、端末装置２０がスマートフォンである場合、カメラ２１は、いわゆるインカメラとして、表示部２２が配置される面と同じ面に配置される。
本実施形態の一例では、上述した仮想空間ＶＳの様子を示す情報が、制御装置１０から端末装置２０に送信される。通信部２３が仮想空間ＶＳの様子を示す情報を制御装置１０から受信すると、制御部２４は、表示部２２に仮想空間ＶＳの様子を示す画像を表示させる。表示部２２には、仮想空間ＶＳの様子が表示される。
カメラ２１は、画像を撮影し、撮影した画像を制御部２４に出力する。本実施形態のカメラ２１は、表示部２２に表示された仮想空間ＶＳの画像を視認するユーザ３０の顔が撮影できる位置に配置されている。例えば、端末装置２０がスマートフォンである場合、カメラ２１は、いわゆるインカメラとして、表示部２２が配置される面と同じ面に配置される。
【0020】
以下の説明において、カメラ２１が撮影したユーザ３０の顔の画像のことを、顔画像５１ともいう。すなわち、顔画像５１とは、表示部２２に表示された仮想空間ＶＳの画像を視認するユーザ３０の顔がカメラ２１によって撮影された画像である。
制御部２４は、カメラ２１が撮影した顔画像５１を、通信部２３を介して制御装置１０に送信する。
制御部２４は、カメラ２１が撮影した顔画像５１を、通信部２３を介して制御装置１０に送信する。
【0021】
制御装置１０は、例えば、サーバコンピュータ装置であり、記憶部１１と、通信部１２と、制御部１３とを備える。
制御部１３は、例えば、中央演算処理装置（ＣＰＵ）などの演算機能を備えており、制御装置１０の各部を制御する。
記憶部１１は、半導体メモリなどの記憶装置を備えており、各種の情報を記憶する。
通信部１２は、通信回路を備えており、制御部１３の制御に基づいて、ネットワークＮを介して端末装置２０との間において情報通信する。
制御部１３は、例えば、中央演算処理装置（ＣＰＵ）などの演算機能を備えており、制御装置１０の各部を制御する。
記憶部１１は、半導体メモリなどの記憶装置を備えており、各種の情報を記憶する。
通信部１２は、通信回路を備えており、制御部１３の制御に基づいて、ネットワークＮを介して端末装置２０との間において情報通信する。
【0022】
［制御部の動作モードについて］
制御部１３は、「初期設定モード」と「アバター制御モード」との２種類の動作モードを有する。
初期設定モードとは、ユーザ３０の顔画像５１に基づいて、ユーザ３０の顔の基準姿勢を示す情報（初期設定情報）を、記憶部１１に記憶させる動作モードである。
アバター制御モードとは、フェイストラッキング機能によって、仮想空間ＶＳ内のアバター４０を移動させる動作モードである。アバター制御モードにおいて、制御部１３は、記憶部１１に記憶された初期設定情報（つまり、ユーザ３０の顔の基準姿勢）と、端末装置２０において撮影された顔画像５１とに基づいて、ユーザ３０の操作内容を判定することにより、ユーザ３０の操作内容に応じて、仮想空間ＶＳ内のアバター４０を移動させる。この制御部１３の機能構成の詳細について説明する。なお、以下の説明において、仮想空間ＶＳ内におけるアバター４０の位置、移動方向、移動速度などを制御することを単に、アバター４０を制御する、またはアバター４０を移動させる、ともいう。
制御部１３は、「初期設定モード」と「アバター制御モード」との２種類の動作モードを有する。
初期設定モードとは、ユーザ３０の顔画像５１に基づいて、ユーザ３０の顔の基準姿勢を示す情報（初期設定情報）を、記憶部１１に記憶させる動作モードである。
アバター制御モードとは、フェイストラッキング機能によって、仮想空間ＶＳ内のアバター４０を移動させる動作モードである。アバター制御モードにおいて、制御部１３は、記憶部１１に記憶された初期設定情報（つまり、ユーザ３０の顔の基準姿勢）と、端末装置２０において撮影された顔画像５１とに基づいて、ユーザ３０の操作内容を判定することにより、ユーザ３０の操作内容に応じて、仮想空間ＶＳ内のアバター４０を移動させる。この制御部１３の機能構成の詳細について説明する。なお、以下の説明において、仮想空間ＶＳ内におけるアバター４０の位置、移動方向、移動速度などを制御することを単に、アバター４０を制御する、またはアバター４０を移動させる、ともいう。
【0023】
［制御部の機能構成］
本実施形態の制御部１３は、画像取得部１３１と、初期設定情報取得部１３２と、姿勢情報取得部１３３と、移動制御部１３４と、画像生成部１３５とを、ソフトウエア機能部あるいはハードウエア機能部として備える。
本実施形態の制御部１３は、画像取得部１３１と、初期設定情報取得部１３２と、姿勢情報取得部１３３と、移動制御部１３４と、画像生成部１３５とを、ソフトウエア機能部あるいはハードウエア機能部として備える。
【0024】
画像取得部１３１は、端末装置２０が送信したユーザ３０の顔画像５１を取得する。上述したように、顔画像５１とは、表示部２２に表示された仮想空間ＶＳの画像を視認するユーザ３０の顔がカメラ２１によって撮影された画像である。
【0025】
初期設定モードにおいて、画像取得部１３１は、取得した顔画像５１を初期設定情報取得部１３２に出力する。
初期設定情報取得部１３２は、画像取得部１３１が出力した顔画像５１に基づいて、ユーザ３０の顔の基準姿勢を取得する。初期設定情報取得部１３２は、例えば、後述するユーザ３０の顔の基準方向、ユーザ３０の顔の基準特徴点間距離などを、ユーザ３０の基準姿勢を示す情報として取得する。初期設定情報取得部１３２は、ユーザ３０の顔の基準方向、ユーザ３０の顔の基準特徴点間距離などから得られる基準姿勢を初期設定情報として、記憶部１１に記憶させる。
初期設定情報取得部１３２は、画像取得部１３１が出力した顔画像５１に基づいて、ユーザ３０の顔の基準姿勢を取得する。初期設定情報取得部１３２は、例えば、後述するユーザ３０の顔の基準方向、ユーザ３０の顔の基準特徴点間距離などを、ユーザ３０の基準姿勢を示す情報として取得する。初期設定情報取得部１３２は、ユーザ３０の顔の基準方向、ユーザ３０の顔の基準特徴点間距離などから得られる基準姿勢を初期設定情報として、記憶部１１に記憶させる。
【0026】
アバター制御モードにおいて、初期設定情報取得部１３２は、記憶部１１に記憶されている初期設定情報を取得する。すなわち、初期設定情報取得部１３２は、ユーザ３０の顔の基準姿勢を示す初期設定情報を取得する。
画像取得部１３１は、取得した顔画像５１を姿勢情報取得部１３３に出力する。
姿勢情報取得部１３３は、顔画像５１に基づいて、カメラ２１に対するユーザ３０の顔の姿勢を判定する。姿勢情報取得部１３３は、ユーザ３０の顔の姿勢の判定結果を、姿勢情報として取得する。すなわち、姿勢情報取得部１３３は、顔画像５１に基づいて、カメラ２１に対するユーザ３０の顔の姿勢を示す姿勢情報を取得する。
画像取得部１３１は、取得した顔画像５１を姿勢情報取得部１３３に出力する。
姿勢情報取得部１３３は、顔画像５１に基づいて、カメラ２１に対するユーザ３０の顔の姿勢を判定する。姿勢情報取得部１３３は、ユーザ３０の顔の姿勢の判定結果を、姿勢情報として取得する。すなわち、姿勢情報取得部１３３は、顔画像５１に基づいて、カメラ２１に対するユーザ３０の顔の姿勢を示す姿勢情報を取得する。
【0027】
移動制御部１３４は、初期設定情報と姿勢情報とに基づいて、仮想空間ＶＳ内におけるアバター４０の移動を制御する。具体的には、移動制御部１３４は、姿勢情報が示すユーザ３０の顔の位置や方向と、初期設定情報が示すユーザ３０の顔の基準姿勢とを比較する。移動制御部１３４は、比較の結果として得られる、基準姿勢からのユーザ３０の顔の位置や方向のずれを、ユーザ３０の操作内容として判定する。移動制御部１３４は、あらかじめ定められた規則に基づいて、ユーザ３０の操作内容をアバター４０の移動方向や移動量に変換する。移動制御部１３４は、算出したアバター４０の移動方向や移動量を、画像生成部１３５に出力する。
画像生成部１３５は、移動制御部１３４が算出したアバター４０の移動方向や移動量に基づいて、仮想空間ＶＳ内でのアバター４０の方向や位置を求め、仮想空間ＶＳ内にアバター４０を配置した画像を生成する。画像生成部１３５は、生成した画像を、通信部１２を介して端末装置２０に送信する。
この結果、端末装置２０の表示部２２には、ユーザ３０の操作意思に対応したアバター４０の画像が表示される。
上述した初期設定モードおよびアバター制御モードにおける各処理の具体的な流れについて、図３および図４を参照して説明する。
画像生成部１３５は、移動制御部１３４が算出したアバター４０の移動方向や移動量に基づいて、仮想空間ＶＳ内でのアバター４０の方向や位置を求め、仮想空間ＶＳ内にアバター４０を配置した画像を生成する。画像生成部１３５は、生成した画像を、通信部１２を介して端末装置２０に送信する。
この結果、端末装置２０の表示部２２には、ユーザ３０の操作意思に対応したアバター４０の画像が表示される。
上述した初期設定モードおよびアバター制御モードにおける各処理の具体的な流れについて、図３および図４を参照して説明する。
【0028】
【0029】
図５は、本実施形態の撮影画像５０の一例を示す図である。カメラ２１は、表示部２２を視認するユーザ３０の顔を含む領域を撮影する。カメラ２１が撮影した画像を撮影画像５０ともいう。カメラ２１は、撮影画像５０を制御部２４に出力する。
制御部２４は、撮影画像５０の中から、ユーザ３０の顔の部分を切り出して顔画像５１を生成する。
制御部２４は、撮影画像５０の中から、ユーザ３０の顔の部分を切り出して顔画像５１を生成する。
【0030】
図６は、本実施形態の顔画像５１の一例を示す図である。制御部２４は、撮影画像５０から切り出した顔画像５１を、制御装置１０に送信する。ここで、初期設定モードにおいて切り出された顔画像５１のことを、基準顔画像ともいう。すなわち、制御部２４は、基準顔画像を、制御装置１０に送信する。制御装置１０の画像取得部１３１は、基準顔画像を取得する。
【0031】
（ステップＳ２０）図３に戻り、制御装置１０の初期設定情報取得部１３２は、ステップＳ１０において画像取得部１３１が取得した顔画像５１（つまり、基準顔画像）に含まれる特徴点Ｐを検出する。特徴点Ｐとは、顔画像５１に含まれる点のうち、ユーザ３０の顔の位置や方向を示す際に用いられる点である。例えば、特徴点Ｐには、ユーザ３０の左右の目、左右の頬骨、あご先などが含まれる。
【0032】
図７は、本実施形態の顔画像５１の特徴点Ｐの一例を示す図である。この一例において、顔画像５１には、特徴点Ｐ１１（右目）と、特徴点Ｐ１２（左目）とが含まれる。初期設定情報取得部１３２は、顔画像５１から特徴点Ｐ１１と特徴点Ｐ１２とを検出する。初期設定情報取得部１３２は、検出した２つの特徴点Ｐどうしを結ぶ線分に直交する軸を垂直軸ａｘ１とし、平行な軸を水平軸ａｘ２とすることにより、顔画像５１の垂直軸ａｘ１と水平軸ａｘ２とを算出する。
【0033】
なお、顔画像５１の方向は、顔座標軸（ｆｘ、ｆｙ、ｆｚ）の三次元直交座標系によって示される。顔座標軸ｆｚは、垂直軸ａｘ１に平行な軸であり、顔の上下方向を示す。顔座標軸ｆｘは、水平軸ａｘ２に平行な軸であり、顔の左右方向を示す。顔座標軸ｆｙは、垂直軸ａｘ１と水平軸ａｘ２とがなす平面の法線方向の軸であり、顔の前後方向を示す。
【0034】
初期設定情報取得部１３２は、算出した垂直軸ａｘ１と水平軸ａｘ２とがなす平面の法線（つまり、顔座標軸ｆｙ）の方向を、ユーザ３０の顔の方向として算出する。初期設定情報取得部１３２は、算出した顔の方向を基準方向として定める。
【0035】
（ステップＳ３０）図３に戻り、初期設定情報取得部１３２は、基準顔画像における、特徴点Ｐ１１と特徴点Ｐ１２と間の距離Ｌ１を、特徴点Ｐ間の基準長さとして算出する。特徴点Ｐ間の基準長さのことを、基準特徴点間距離ともいう。
【0036】
なお、特徴点Ｐは、特徴点Ｐ１１（右目）と特徴点Ｐ１２（左目）との２点だけに限られない。例えば、特徴点Ｐ２１（眉間）、特徴点Ｐ２２（右頬骨）、及び特徴点Ｐ２３（左頬骨）の３点を、特徴点Ｐとしてもよい。すなわち、初期設定情報取得部１３２は、特徴点Ｐ２１、特徴点Ｐ２２及び特徴点Ｐ２３がなす三角形を検出することによって、基準方向を定めてもよい。この場合、初期設定情報取得部１３２は、特徴点Ｐ２１、特徴点Ｐ２２及び特徴点Ｐ２３がなす三角形に基づいて、垂直軸ａｘ１と水平軸ａｘ２とを算出する。初期設定情報取得部１３２は、算出した垂直軸ａｘ１と水平軸ａｘ２とがなす平面の法線（つまり、顔座標軸ｆｙ）の方向を、ユーザ３０の顔の方向として算出する。
また、初期設定情報取得部１３２は、基準顔画像における、特徴点Ｐ２１と特徴点Ｐ２２との間の距離Ｌ２２、特徴点Ｐ２２と特徴点Ｐ２３と間の距離Ｌ２３、特徴点Ｐ２３と特徴点Ｐ２１との間の距離Ｌ２１を、それぞれ特徴点Ｐ間の基準長さ（つまり、基準特徴点間距離）として算出する。
また、初期設定情報取得部１３２は、基準顔画像における、特徴点Ｐ２１と特徴点Ｐ２２との間の距離Ｌ２２、特徴点Ｐ２２と特徴点Ｐ２３と間の距離Ｌ２３、特徴点Ｐ２３と特徴点Ｐ２１との間の距離Ｌ２１を、それぞれ特徴点Ｐ間の基準長さ（つまり、基準特徴点間距離）として算出する。
【0037】
（ステップＳ４０）初期設定情報取得部１３２は、ステップＳ２０で算出されたユーザ３０の顔の基準方向と、ステップＳ３０で算出された特徴点Ｐ間の基準長さ、すなわち基準特徴点間距離とを記憶部１１に記憶させて、初期設定モードの処理を終了する。この結果、記憶部１１には、ユーザ３０の顔が基準方向に向いた場合の基準特徴点間距離が記憶される。ユーザ３０の顔の基準方向と、基準特徴点間距離とに幾何学的な演算を施すことにより、ユーザ３０の顔の基準姿勢を求めることができる。換言すれば、初期設定情報取得部１３２は、ユーザ３０の顔の基準方向と、基準特徴点間距離とを、ユーザ３０の顔の基準姿勢を示す情報として記憶部１１に記憶させる。
【0038】
［アバター制御モードでの処理の流れ］
図４は、本実施形態のアバター制御モードにおける処理の流れの一例を示す図である。
（ステップＳ１１０）端末装置２０は、カメラ２１によってユーザ３０の顔を撮影する。制御部２４は、撮影された画像からユーザ３０の顔の部分を切り出して、顔画像５１を生成する。制御部２４は、生成した顔画像５１を、制御装置１０に送信する。
制御装置１０の画像取得部１３１は、端末装置２０が送信した顔画像５１を取得する。
図４は、本実施形態のアバター制御モードにおける処理の流れの一例を示す図である。
（ステップＳ１１０）端末装置２０は、カメラ２１によってユーザ３０の顔を撮影する。制御部２４は、撮影された画像からユーザ３０の顔の部分を切り出して、顔画像５１を生成する。制御部２４は、生成した顔画像５１を、制御装置１０に送信する。
制御装置１０の画像取得部１３１は、端末装置２０が送信した顔画像５１を取得する。
【0039】
（ステップＳ１２０）姿勢情報取得部１３３は、画像取得部１３１が取得した顔画像５１に含まれる特徴点Ｐを検出する。
（ステップＳ１３０）姿勢情報取得部１３３は、検出した特徴点Ｐ間の距離を算出する。
なお、姿勢情報取得部１３３による特徴点Ｐの検出手順および特徴点Ｐ間の距離の算出手順は、上述した初期設定モードにおいて、初期設定情報取得部１３２が行う特徴点Ｐの検出手順および特徴点Ｐ間の距離の算出手順と同様であるため、説明を省略する。
（ステップＳ１３０）姿勢情報取得部１３３は、検出した特徴点Ｐ間の距離を算出する。
なお、姿勢情報取得部１３３による特徴点Ｐの検出手順および特徴点Ｐ間の距離の算出手順は、上述した初期設定モードにおいて、初期設定情報取得部１３２が行う特徴点Ｐの検出手順および特徴点Ｐ間の距離の算出手順と同様であるため、説明を省略する。
【0040】
ここで、特徴点Ｐ間の距離は、カメラ２１に対するユーザ３０の姿勢の変化に応じて変化する。例えば、ユーザ３０がカメラ２１に近づけば、カメラ２１の画角の範囲内に占めるユーザ３０の顔の面積の割合が増加し、特徴点Ｐ間の距離は大きくなる。また、ユーザ３０がカメラ２１から遠ざかれば、特徴点Ｐ間の距離は小さくなる。すなわち、特徴点Ｐ間の距離は、ユーザ３０の顔の姿勢を示す姿勢情報として機能する。
姿勢情報取得部１３３は、特徴点Ｐ間の距離を、ユーザ３０の姿勢情報として取得する。
換言すれば、姿勢情報取得部１３３は、顔画像５１に基づいて、カメラ２１に対するユーザ３０の顔の姿勢を示す姿勢情報を取得する。
姿勢情報取得部１３３は、特徴点Ｐ間の距離を、ユーザ３０の姿勢情報として取得する。
換言すれば、姿勢情報取得部１３３は、顔画像５１に基づいて、カメラ２１に対するユーザ３０の顔の姿勢を示す姿勢情報を取得する。
【0041】
（ステップＳ１４０）姿勢情報取得部１３３は、ステップＳ１３０において算出した特徴点Ｐ間の距離が、所定値以上変化したか否かを判定する。姿勢情報取得部１３３は、特徴点Ｐ間の距離が、所定値以上変化したと判定した場合（ステップＳ１４０；ＹＥＳ）には、処理をステップＳ１５０に進める。姿勢情報取得部１３３は、特徴点Ｐ間の距離が、所定値以上変化していないと判定した場合（ステップＳ１４０；ＮＯ）には、処理をステップＳ１１０に戻す。
上述のように構成された制御装置１０によれば、ユーザ３０が意図していない小さな動きを、アバター４０の移動制御から除外することができる。
上述のように構成された制御装置１０によれば、ユーザ３０が意図していない小さな動きを、アバター４０の移動制御から除外することができる。
【0042】
なお、特徴点Ｐ間の距離が所定値以上変化したか否かの判定は、基準顔画像の特徴点Ｐ間の距離との比較によって行ってもよいし、互いに異なるタイミングで撮影された顔画像５１どうしの比較（例えば、数フレーム前の顔画像５１と、最新フレームの顔画像５１との比較）によって行ってもよい。
【0043】
（ステップＳ１５０）姿勢情報取得部１３３は、カメラ２１によって撮影された画像に、所定の動作が含まれているか否かを判定する。
ここで、所定の動作とは、例えば、ユーザ３０が目を閉じている時間が所定時間以上である場合や、ユーザ３０が顔を左右に素早く振る動作や、ユーザ３０がカメラ２１に対して所定の距離以下に顔を近づける動作などが含まれる。
ここで、所定の動作とは、例えば、ユーザ３０が目を閉じている時間が所定時間以上である場合や、ユーザ３０が顔を左右に素早く振る動作や、ユーザ３０がカメラ２１に対して所定の距離以下に顔を近づける動作などが含まれる。
【0044】
なお、制御装置１０が、顔画像５１だけではなく、カメラ２１が撮影した撮影画像５０を端末装置２０から受信している場合には、撮影画像５０に含まれるユーザ３０の動作を、所定の動作の対象にしてもよい。例えば、ユーザ３０が手で顔を覆う動作、ユーザ３０が両手を広げる動作や、ユーザ３０が腕組みする動作や手を挙げる動作などが、所定の動作に含まれていてもよい。
【0045】
姿勢情報取得部１３３は、カメラ２１によって撮影された画像に、所定の動作が含まれていると判定した場合（ステップＳ１５０；ＹＥＳ）には、処理をステップＳ１１０に戻す。姿勢情報取得部１３３は、所定の動作が含まれていないと判定した場合（ステップＳ１５０；ＮＯ）には、処理をステップＳ１６０に進める。
【0046】
ここで、ステップＳ１６０以降の処理は、アバター４０の移動制御に関する処理である。つまり、姿勢情報取得部１３３は、ユーザ３０が所定の動作をしたか否かに基づいて、アバター４０の移動制御を行うか行わないかを判定する。姿勢情報取得部１３３は、カメラ２１によって撮影されたユーザ３０の所定の動作を検出し、所定の動作が検出された場合、アバター４０の移動制御を行わない。あるいは、姿勢情報取得部１３３は、所定の動作が所定時間以上継続した場合に、アバター４０の移動制御を行わない。
また、姿勢情報取得部１３３は、ユーザ３０が所定の動作を行っている間、アバター４０の移動制御を行わないように構成されていてもよい。
また、姿勢情報取得部１３３は、ユーザ３０が所定の動作を行っている間、アバター４０の移動制御を行わないように構成されていてもよい。
【0047】
例えば、ユーザ３０による所定の動作を、アバター４０の移動制御以外の制御に割り当てることにより、アバター４０の移動制御をするか、アバター４０の移動制御以外の制御をするかを、ユーザ３０が選択することができる。このように構成された制御装置１０によれば、ユーザ３０の動作によって様々な種類の制御を行うことができる。
【0048】
また、姿勢情報取得部１３３は、ユーザ３０が急な動作を行った場合には、アバター４０の移動制御を行わないように構成されていてもよい。ユーザ３０の急な動作とは、例えば、ユーザ３０の顔の方向や傾き、または顔とカメラ２１との距離等が、所定時間内に、所定のしきい値以上の変化があった場合をいう。
【0049】
［アバターの移動制御（前後方向の移動）］
ステップＳ１６０～ステップＳ１９０における、アバター４０の移動制御の具体例について説明する。
ステップＳ１６０～ステップＳ１９０における、アバター４０の移動制御の具体例について説明する。
【0050】
図８は、基準位置にいるユーザ３０とカメラ２１との相対的な位置関係の一例を示す図である。基準位置とは、上述した初期設定モードにおいて基準顔画像が撮影された際の位置のことである。
同図に示すようにユーザ３０とカメラ２１とが対向している場合において、実空間内におけるユーザ３０の顔の位置や方向は、実空間座標軸（ｘ、ｙ、ｚ）の三次元直交座標系によって示される。実空間座標軸ｚは、ユーザ３０の上下方向を示す。実空間座標軸ｘは、ユーザ３０の左右方向を示す。実空間座標軸ｙは、ユーザ３０の前後方向を示す。
同図に示すようにユーザ３０とカメラ２１とが対向している場合において、実空間内におけるユーザ３０の顔の位置や方向は、実空間座標軸（ｘ、ｙ、ｚ）の三次元直交座標系によって示される。実空間座標軸ｚは、ユーザ３０の上下方向を示す。実空間座標軸ｘは、ユーザ３０の左右方向を示す。実空間座標軸ｙは、ユーザ３０の前後方向を示す。
【0051】
図９は、基準位置にいるユーザ３０をカメラ２１が撮影した撮影画像５０の一例を示す図である。撮影画像５０には、ユーザ３０の顔の特徴点Ｐ１１（右目）と特徴点Ｐ１２（左目）とが撮影されている。ユーザ３０が基準位置にいる場合、特徴点Ｐ１１（右目）と特徴点Ｐ１２（左目）との間の距離は、距離Ｌ１（つまり、基準特徴点間距離）である。
【0052】
図１０は、ユーザ３０が基準位置にいる場合のアバター４０の移動制御の結果の一例を示す図である。ここで、仮想空間ＶＳ内におけるアバター４０の位置や方向は、アバター座標軸（ｖｘ、ｖｙ、ｖｚ）の三次元直交座標系によって示される。アバター座標軸ｖｚは、アバター４０の上下方向を示す。アバター座標軸ｖｘは、アバター４０の左右方向を示す。アバター座標軸ｖｙは、アバター４０の前後方向を示す。
ユーザ３０が基準位置にいる場合、アバター４０は、アバター座標軸（ｖｘ、ｖｙ、ｖｚ）のいずれの方向にも移動しない。ユーザ３０が基準位置からずれた位置に顔を動かした場合に、制御装置１０は、アバター４０を移動させる。アバター４０の移動制御の具体例について、図４のステップＳ１６０～ステップＳ１９０を参照して説明する。
ユーザ３０が基準位置にいる場合、アバター４０は、アバター座標軸（ｖｘ、ｖｙ、ｖｚ）のいずれの方向にも移動しない。ユーザ３０が基準位置からずれた位置に顔を動かした場合に、制御装置１０は、アバター４０を移動させる。アバター４０の移動制御の具体例について、図４のステップＳ１６０～ステップＳ１９０を参照して説明する。
【0053】
（ステップＳ１６０）姿勢情報取得部１３３は、ステップＳ１３０において算出した特徴点Ｐ間の距離の変化に基づいて、アバター４０の移動を制御する。具体的には、姿勢情報取得部１３３は、特徴点Ｐ間の距離が大きくなったと判定した場合（ステップＳ１６０；ＹＥＳ）には、処理をステップＳ１７０に進める。姿勢情報取得部１３３は、特徴点Ｐ間の距離が大きくなっていないと判定した場合（ステップＳ１６０；ＮＯ）には、処理をステップＳ１８０に進める。
【0054】
図１１は、基準位置よりも顔を前にずらした場合のユーザ３０とカメラ２１との相対的な位置関係の一例を示す図である。ユーザ３０が基準位置よりも前（＋ｙ方向）に顔をずらした場合、ユーザ３０の顔とカメラ２１とが接近する。
【0055】
図１２は、基準位置よりも顔を前にずらした場合のカメラ２１が撮影した撮影画像５０の一例を示す図である。ユーザ３０の顔とカメラ２１とが接近すると、カメラ２１の画角に占めるユーザ３０の顔の面積の割合が増加する。この場合、ユーザ３０の特徴点Ｐ１１と特徴点Ｐ１２との間の距離が、距離Ｌ１－１になる。距離Ｌ１－１は、図９に示した距離Ｌ１（すなわち、基準距離）よりも大きい。つまり、ユーザ３０の顔とカメラ２１とが接近すると、ユーザ３０の特徴点Ｐ１１と特徴点Ｐ１２との間の距離が大きくなる。
【0056】
（ステップＳ１７０）特徴点Ｐ間の距離が大きくなった場合、移動制御部１３４は、アバター４０を前進させる。画像生成部１３５は、移動制御部１３４が前進させたアバター４０の画像を生成して、端末装置２０に送信する。
【0057】
図１３は、基準位置よりも顔を前にずらした場合のアバター４０の移動制御の結果の一例を示す図である。図１３に示すように、アバター４０は、アバター座標軸ｖｙの＋（プラス）方向に移動する。すなわち、ユーザ３０がカメラ２１に顔を近づけると、アバター４０は、前進する。
【0058】
（ステップＳ１８０）姿勢情報取得部１３３は、ステップＳ１３０において算出した特徴点Ｐ間の距離の変化に基づいて、アバター４０の移動を制御する。具体的には、姿勢情報取得部１３３は、特徴点Ｐ間の距離が小さくなったと判定した場合（ステップＳ１８０；ＹＥＳ）には、処理をステップＳ１９０に進める。姿勢情報取得部１３３は、特徴点Ｐ間の距離が小さくなっていないと判定した場合（ステップＳ１８０；ＮＯ）には、処理をステップＳ２００に進める。
【0059】
図１４は、基準位置よりも顔を後ろにずらした場合のユーザ３０とカメラ２１との相対的な位置関係の一例を示す図である。ユーザ３０が基準位置よりも後ろ（－ｙ方向）に顔をずらした場合、ユーザ３０の顔とカメラ２１とが離れる。
【0060】
図１５は、基準位置よりも顔を後ろにずらした場合のカメラ２１が撮影した撮影画像５０の一例を示す図である。ユーザ３０の顔とカメラ２１とが離れると、カメラ２１の画角に占めるユーザ３０の顔の面積の割合が減少する。この場合、ユーザ３０の特徴点Ｐ１１と特徴点Ｐ１２との間の距離が、距離Ｌ１－２になる。距離Ｌ１－２は、図９に示した距離Ｌ１（すなわち、基準距離）よりも小さい。つまり、ユーザ３０の顔とカメラ２１とが離れると、ユーザ３０の特徴点Ｐ１１と特徴点Ｐ１２との間の距離が小さくなる。
【0061】
（ステップＳ１９０）特徴点Ｐ間の距離が小さくなった場合、移動制御部１３４は、アバター４０を後退させる。画像生成部１３５は、移動制御部１３４が後退させたアバター４０の画像を生成して、端末装置２０に送信する。
【0062】
図１６は、基準位置よりも顔を後ろにずらした場合のアバター４０の移動制御の結果の一例を示す図である。図１６に示すように、アバター４０は、アバター座標軸ｖｙの－（マイナス）方向に移動する。すなわち、ユーザ３０がカメラ２１から顔を遠ざけると、アバター４０は、後退する。
【0063】
（ステップＳ２００）制御部１３は、アバター４０の移動制御を終了するか否かを判定する。制御部１３は、アバター４０の移動制御を終了しないと判定した場合（ステップＳ２００；ＮＯ）には、処理をステップＳ１１０に戻す。制御部１３は、アバター４０の移動制御を終了すると判定した場合（ステップＳ２００；ＹＥＳ）には、一連のアバター４０の移動制御処理を終了する。
【0064】
上述した一例において、移動制御部１３４は、初期設定情報が示す特徴点Ｐ間の基準長さ（基準特徴点間距離ともいう。例えば、距離Ｌ１。）と、姿勢情報が示す特徴点Ｐ間の距離（例えば、距離Ｌ１－１や距離Ｌ１－２）とに基づいて、アバター４０の前後方向の移動を制御する。つまり、移動制御部１３４は、カメラ２１とユーザ３０の顔との距離に基づいて、仮想空間ＶＳ内におけるアバター４０の前後方向の移動を制御する。
【0065】
上述のようにアバター制御システム１は、ユーザ３０の顔をトラッキングすることでアバター４０の移動を制御する。このように構成されたアバター制御システム１によれば、ユーザ３０がコントローラを操作したり、操作を検出するヘッドセットをユーザ３０に装着したりしなくても、ユーザ３０の操作をアバター４０の移動制御に反映させることができる。
【0066】
なお、姿勢情報取得部１３３は、カメラ２１とユーザ３０の顔との距離の大きさ、または当該距離の変化速度を検出してもよい。この場合、移動制御部１３４は、カメラ２１とユーザ３０の顔との距離の大きさ、または当該距離の変化速度に応じて、前後方向の移動速度または加速度を制御するように構成されていてもよい。
【0067】
また、姿勢情報取得部１３３は、カメラ２１とユーザ３０の顔との距離が近づくほど、アバター４０の前進速度を速めてもよい。姿勢情報取得部１３３は、カメラ２１とユーザ３０の顔との距離が遠ざかるほど、アバター４０の後退速度を速めてもよい。
姿勢情報取得部１３３は、カメラ２１とユーザ３０の顔との距離の変化に基づいて、アバター４０の移動速度を連続的に変化させてもよい。また、姿勢情報取得部１３３は、カメラ２１とユーザ３０の顔との距離を複数の所定範囲に区切り、カメラ２１とユーザ３０の顔との距離に応じて、アバター４０の移動速度を段階的に変化させてもよい。
姿勢情報取得部１３３は、カメラ２１とユーザ３０の顔との距離の変化に基づいて、アバター４０の移動速度を連続的に変化させてもよい。また、姿勢情報取得部１３３は、カメラ２１とユーザ３０の顔との距離を複数の所定範囲に区切り、カメラ２１とユーザ３０の顔との距離に応じて、アバター４０の移動速度を段階的に変化させてもよい。
【0068】
また、上述した一例では、カメラ２１とユーザ３０との距離が小さくなるとアバター４０が前進し、カメラ２１とユーザ３０との距離が大きくなるとアバター４０が後退するとして説明したが、これに限られない。制御装置１０は、例えば、カメラ２１とユーザ３０との距離が小さくなるとアバター４０を後退させ、カメラ２１とユーザ３０との距離が大きくなるとアバター４０を前進させてもよい。
また、表示部２２に表示されるアバター４０の画像の視点が、アバター４０から見た画像（いわゆる一人称視点）の場合と、アバター４０を俯瞰した画像（いわゆる三人称視点）の場合とがある。この場合、制御装置１０は、一人称視点の場合には、カメラ２１とユーザ３０との距離が小さくなるとアバター４０を前進させ、三人称視点の場合には、カメラ２１とユーザ３０との距離が小さくなるとアバター４０を後退させる、というように、表示部２２に表示されている仮想空間ＶＳのアバター４０の画像の視点に基づいて操作方向を切り替えてもよい。
また、複数のユーザ３０が仮想空間ＶＳを利用している場合、第１ユーザ（ユーザ３０－１）の操作によってアバター４０－１が移動する様子を、他のユーザ３０（例えば、第２ユーザ（ユーザ３０－２）…第ｎユーザ（ユーザ３０－ｎ））が視認する仮想空間ＶＳ内の画像に反映させてもよい。
また、表示部２２に表示されるアバター４０の画像の視点が、アバター４０から見た画像（いわゆる一人称視点）の場合と、アバター４０を俯瞰した画像（いわゆる三人称視点）の場合とがある。この場合、制御装置１０は、一人称視点の場合には、カメラ２１とユーザ３０との距離が小さくなるとアバター４０を前進させ、三人称視点の場合には、カメラ２１とユーザ３０との距離が小さくなるとアバター４０を後退させる、というように、表示部２２に表示されている仮想空間ＶＳのアバター４０の画像の視点に基づいて操作方向を切り替えてもよい。
また、複数のユーザ３０が仮想空間ＶＳを利用している場合、第１ユーザ（ユーザ３０－１）の操作によってアバター４０－１が移動する様子を、他のユーザ３０（例えば、第２ユーザ（ユーザ３０－２）…第ｎユーザ（ユーザ３０－ｎ））が視認する仮想空間ＶＳ内の画像に反映させてもよい。
【0069】
［操作の変形例］
これまで、ユーザ３０の顔の前後方向の動きに基づいて、アバター４０の前後方向の移動を制御する場合について説明したが、これに限られない。図１７から図３２を参照して、アバター４０の操作の変形例について説明する。
これまで、ユーザ３０の顔の前後方向の動きに基づいて、アバター４０の前後方向の移動を制御する場合について説明したが、これに限られない。図１７から図３２を参照して、アバター４０の操作の変形例について説明する。
【0070】
［回転移動］
制御装置１０は、ユーザ３０の顔の実空間座標軸ｚ周りの回転に応じて、アバター座標軸ｖｚ周りのアバター４０の向きを制御してもよい。
制御装置１０は、ユーザ３０の顔の実空間座標軸ｚ周りの回転に応じて、アバター座標軸ｖｚ周りのアバター４０の向きを制御してもよい。
【0071】
図１７は、基準位置にいるユーザ３０とカメラ２１との相対的な位置関係の一例を示す図である。
図１８は、基準位置にいるユーザ３０をカメラ２１が撮影した撮影画像５０の一例を示す図である。撮影画像５０には、ユーザ３０の顔の特徴点Ｐ１１（右目）と特徴点Ｐ１２（左目）とが撮影されている。ユーザ３０が基準位置にいる場合、特徴点Ｐ１１と特徴点Ｐ１２との間の距離は、距離Ｌ１（つまり、基準特徴点間距離）である。
図１９は、ユーザ３０が基準位置にいる場合のアバター４０の移動制御の結果の一例を示す図である。ユーザ３０が基準位置にいる場合、仮想空間ＶＳ内におけるアバター４０は、正面（例えば、アバター座標軸ｖｙの＋（プラス）方向）を向いている。
図１８は、基準位置にいるユーザ３０をカメラ２１が撮影した撮影画像５０の一例を示す図である。撮影画像５０には、ユーザ３０の顔の特徴点Ｐ１１（右目）と特徴点Ｐ１２（左目）とが撮影されている。ユーザ３０が基準位置にいる場合、特徴点Ｐ１１と特徴点Ｐ１２との間の距離は、距離Ｌ１（つまり、基準特徴点間距離）である。
図１９は、ユーザ３０が基準位置にいる場合のアバター４０の移動制御の結果の一例を示す図である。ユーザ３０が基準位置にいる場合、仮想空間ＶＳ内におけるアバター４０は、正面（例えば、アバター座標軸ｖｙの＋（プラス）方向）を向いている。
【0072】
図２０は、左方向に頭を回転させた場合のユーザ３０とカメラ２１との相対的な位置関係の一例を示す図である。
図２１は、左方向に頭を回転させたユーザ３０をカメラ２１が撮影した撮影画像５０の一例を示す図である。撮影画像５０には、ユーザ３０の顔の特徴点Ｐ１１（右目）と特徴点Ｐ１２（左目）とが撮影されている。ユーザ３０が左方向に（つまり、実空間座標軸ｚを上から見込んだ場合の反時計周りに）頭を回転させた場合、カメラ２１の画角内の特徴点Ｐ１１と特徴点Ｐ１２との間の距離が、距離Ｌ１－３になる。距離Ｌ１－３は、図１８に示した距離Ｌ１（すなわち、基準距離）よりも小さい。つまり、ユーザ３０の頭が実空間座標軸ｚ周りに回転すると、特徴点Ｐ１１と特徴点Ｐ１２との間の距離が小さくなる。
図２１は、左方向に頭を回転させたユーザ３０をカメラ２１が撮影した撮影画像５０の一例を示す図である。撮影画像５０には、ユーザ３０の顔の特徴点Ｐ１１（右目）と特徴点Ｐ１２（左目）とが撮影されている。ユーザ３０が左方向に（つまり、実空間座標軸ｚを上から見込んだ場合の反時計周りに）頭を回転させた場合、カメラ２１の画角内の特徴点Ｐ１１と特徴点Ｐ１２との間の距離が、距離Ｌ１－３になる。距離Ｌ１－３は、図１８に示した距離Ｌ１（すなわち、基準距離）よりも小さい。つまり、ユーザ３０の頭が実空間座標軸ｚ周りに回転すると、特徴点Ｐ１１と特徴点Ｐ１２との間の距離が小さくなる。
【0073】
姿勢情報取得部１３３は、特徴点Ｐ１１と特徴点Ｐ１２との間の距離が小さくなったことを検出すると、ユーザ３０の頭が回転したと判定する。
なお、姿勢情報取得部１３３は、他の特徴点Ｐ（例えば、左右の頬骨、あご先）の位置の変化を組み合わせて、ユーザ３０の頭の回転方向を判定してもよい。
なお、姿勢情報取得部１３３は、他の特徴点Ｐ（例えば、左右の頬骨、あご先）の位置の変化を組み合わせて、ユーザ３０の頭の回転方向を判定してもよい。
【0074】
図２２は、左方向に頭を回転させた場合のアバター４０の移動制御の結果の一例を示す図である。移動制御部１３４は、アバター座標軸ｖｚを上から見込んだ場合の反時計周りに、アバター４０の方向を変更する。すなわち、ユーザ３０が頭を左方向に回転させると、アバター４０も左方向に回転する。
【0075】
ここまで、ユーザ３０が左方向に頭を回転させた場合の制御例について説明した。制御装置１０は、ユーザ３０が右方向に頭を回転させた場合も同様にしてアバター４０を制御する。
【0076】
図２３は、右方向に頭を回転させた場合のユーザ３０とカメラ２１との相対的な位置関係の一例を示す図である。
図２４は、右方向に頭を回転させたユーザ３０をカメラ２１が撮影した撮影画像５０の一例を示す図である。ユーザ３０が右方向に（つまり、実空間座標軸ｚを上から見込んだ場合の時計周りに）頭を回転させた場合、カメラ２１の画角内の特徴点Ｐ１１と特徴点Ｐ１２との間の距離が、距離Ｌ１－４になる。距離Ｌ１－４は、図１８に示した距離Ｌ１（すなわち、基準距離）よりも小さい。
図２５は、右方向に頭を回転させた場合のアバター４０の移動制御の結果の一例を示す図である。移動制御部１３４は、アバター座標軸ｖｚを上から見込んだ場合の時計周りに、アバター４０の方向を変更する。すなわち、ユーザ３０が頭を右方向に回転させると、アバター４０も右方向に回転する。
より具体的な制御手順は、左方向に頭を回転させた場合と同様であるので、説明を省略する。
図２４は、右方向に頭を回転させたユーザ３０をカメラ２１が撮影した撮影画像５０の一例を示す図である。ユーザ３０が右方向に（つまり、実空間座標軸ｚを上から見込んだ場合の時計周りに）頭を回転させた場合、カメラ２１の画角内の特徴点Ｐ１１と特徴点Ｐ１２との間の距離が、距離Ｌ１－４になる。距離Ｌ１－４は、図１８に示した距離Ｌ１（すなわち、基準距離）よりも小さい。
図２５は、右方向に頭を回転させた場合のアバター４０の移動制御の結果の一例を示す図である。移動制御部１３４は、アバター座標軸ｖｚを上から見込んだ場合の時計周りに、アバター４０の方向を変更する。すなわち、ユーザ３０が頭を右方向に回転させると、アバター４０も右方向に回転する。
より具体的な制御手順は、左方向に頭を回転させた場合と同様であるので、説明を省略する。
【0077】
すなわち、移動制御部１３４は、カメラ２１に対するユーザ３０の顔の向きに基づいて、仮想空間ＶＳ内におけるアバター４０の移動方向を制御する。
【0078】
［特徴点間距離の変化の大きさに基づく制御］
移動制御部１３４は、特徴点Ｐ間の距離の変化の大きさに基づいて制御を切り替えてもよい。
図２６は、特徴点Ｐ間の距離の変化の大きさに基づく制御の切り替えの一例を示す図である。移動制御部１３４は、特徴点Ｐ間の距離の変化がしきい値ｔｈ１未満（つまり、領域Ａ１）の場合、あるいは、しきい値ｔｈ２未満（つまり、領域Ａ２）の場合には、ユーザ３０の顔の向き（頭の向き）が変化したと判定する。また、移動制御部１３４は、特徴点Ｐ間の距離の変化がしきい値ｔｈ１以上（つまり、領域Ｂ１）の場合、あるいは、しきい値ｔｈ２以上（つまり、領域Ｂ２）の場合には、ユーザ３０の顔とカメラ２１との距離が変化したと判定する。
すなわち、移動制御部１３４は、特徴点Ｐ間の距離の変化がしきい値ｔｈ未満である場合には、上述した回転移動の制御を行い、特徴点Ｐ間の距離の変化がしきい値ｔｈ以上である場合には、上述した前後移動の制御を行う。
移動制御部１３４は、特徴点Ｐ間の距離の変化の大きさに基づいて制御を切り替えてもよい。
図２６は、特徴点Ｐ間の距離の変化の大きさに基づく制御の切り替えの一例を示す図である。移動制御部１３４は、特徴点Ｐ間の距離の変化がしきい値ｔｈ１未満（つまり、領域Ａ１）の場合、あるいは、しきい値ｔｈ２未満（つまり、領域Ａ２）の場合には、ユーザ３０の顔の向き（頭の向き）が変化したと判定する。また、移動制御部１３４は、特徴点Ｐ間の距離の変化がしきい値ｔｈ１以上（つまり、領域Ｂ１）の場合、あるいは、しきい値ｔｈ２以上（つまり、領域Ｂ２）の場合には、ユーザ３０の顔とカメラ２１との距離が変化したと判定する。
すなわち、移動制御部１３４は、特徴点Ｐ間の距離の変化がしきい値ｔｈ未満である場合には、上述した回転移動の制御を行い、特徴点Ｐ間の距離の変化がしきい値ｔｈ以上である場合には、上述した前後移動の制御を行う。
【0079】
［左右方向の移動操作］
ユーザ３０が頭を左右に傾げる動作に基づいて、アバター４０を左右方向に移動させる制御について説明する。姿勢情報取得部１３３は、撮影画像５０の鉛直軸と、特徴点Ｐ間を結ぶ線分とがなす角度が所定範囲を超えた場合に、ユーザ３０が頭を左右に傾げたことを検出する。
ユーザ３０が頭を左右に傾げる動作に基づいて、アバター４０を左右方向に移動させる制御について説明する。姿勢情報取得部１３３は、撮影画像５０の鉛直軸と、特徴点Ｐ間を結ぶ線分とがなす角度が所定範囲を超えた場合に、ユーザ３０が頭を左右に傾げたことを検出する。
【0080】
図２７は、右方向に頭を傾げたユーザ３０をカメラ２１が撮影した撮影画像５０の一例を示す図である。姿勢情報取得部１３３は、ユーザ３０が右方向に（つまり、実空間座標軸ｙを上から見込んだ場合の反時計周りに）頭を傾げたことを検出する。
図２８は、右方向に頭を傾げた場合のアバター４０の移動制御の結果の一例を示す図である。移動制御部１３４は、アバター４０を右方向（つまり、アバター座標軸ｖｘの＋（プラス）方向）に移動させる。すなわち、ユーザ３０が頭を右方向に頭を傾げると、アバター４０も右方向に移動する。
図２８は、右方向に頭を傾げた場合のアバター４０の移動制御の結果の一例を示す図である。移動制御部１３４は、アバター４０を右方向（つまり、アバター座標軸ｖｘの＋（プラス）方向）に移動させる。すなわち、ユーザ３０が頭を右方向に頭を傾げると、アバター４０も右方向に移動する。
【0081】
図２９は、左方向に頭を傾げたユーザ３０をカメラ２１が撮影した撮影画像５０の一例を示す図である。姿勢情報取得部１３３は、ユーザ３０が左方向に（つまり、実空間座標軸ｙを上から見込んだ場合の時計周りに）頭を傾げたことを検出する。
図３０は、左方向に頭を傾げた場合のアバター４０の移動制御の結果の一例を示す図である。移動制御部１３４は、アバター４０を左方向（つまり、アバター座標軸ｖｘの－（マイナス）方向）に移動させる。すなわち、ユーザ３０が頭を左方向に頭を傾げると、アバター４０も左方向に移動する。
図３０は、左方向に頭を傾げた場合のアバター４０の移動制御の結果の一例を示す図である。移動制御部１３４は、アバター４０を左方向（つまり、アバター座標軸ｖｘの－（マイナス）方向）に移動させる。すなわち、ユーザ３０が頭を左方向に頭を傾げると、アバター４０も左方向に移動する。
【0082】
すなわち、移動制御部１３４は、ユーザ３０の顔の基準姿勢からの変位方向に基づいて、仮想空間ＶＳ内におけるアバター４０の横方向の移動を制御する。
【0083】
［左右方向の移動操作（変形例）］
姿勢情報取得部１３３は、顔画像５１の左右方向の位置が、撮影画像５０の中心線ＣＬから所定の距離離れた場合に、ユーザ３０が左右に移動したことを検出する。
姿勢情報取得部１３３は、顔画像５１の左右方向の位置が、撮影画像５０の中心線ＣＬから所定の距離離れた場合に、ユーザ３０が左右に移動したことを検出する。
【0084】
図３１は、左方向に移動したユーザ３０をカメラ２１が撮影した撮影画像５０の一例を示す図である。姿勢情報取得部１３３は、ユーザ３０が左方向（つまり、実空間座標軸ｘの－（マイナス）方向）に移動したことを検出する。この場合、移動制御部１３４は、アバター４０を左方向（つまり、アバター座標軸ｖｘの－（マイナス）方向）に移動させる。
【0085】
図３２は、右方向に移動したユーザ３０をカメラ２１が撮影した撮影画像５０の一例を示す図である。姿勢情報取得部１３３は、ユーザ３０が右方向（つまり、実空間座標軸ｘの＋（プラス）方向）に移動したことを検出する。この場合、移動制御部１３４は、アバター４０を右方向（つまり、アバター座標軸ｖｘの＋（プラス）方向）に移動させる。
【0086】
以上説明したように、本実施形態のアバター制御システム１は、ユーザ３０の頭や顔をトラッキングすることにより、ユーザ３０の操作意思を検出する。本実施形態のアバター制御システム１によれば、装着型の操作検出装置や、手持ちのコントローラなどを使用しなくても、仮想空間ＶＳ内のアバター４０の移動を制御できる。
したがって、本実施形態のアバター制御システム１によれば、メタバース（仮想空間）内のアバターを操作する利用者の煩わしさを低減させることができる。
したがって、本実施形態のアバター制御システム１によれば、メタバース（仮想空間）内のアバターを操作する利用者の煩わしさを低減させることができる。
【0087】
なお、上述した実施形態におけるアバター制御システム１を構成する制御装置１０（アバター制御装置）と端末装置２０との機能の切り分けは一例であって、図１に示した例に限られない。例えば、制御装置１０が、初期設定情報取得部１３２と、姿勢情報取得部１３３と、移動制御部１３４とを備えるとして説明したが、これに限られない。端末装置２０が、初期設定情報取得部１３２、姿勢情報取得部１３３および移動制御部１３４に相当する機能を備えていてもよい。
【0088】
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能であり、また、上述した各実施形態を適宜組み合わせてもよい。
【0089】
なお、上述した実施形態におけるアバター制御システム１の各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウエアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【0090】
１…アバター制御システム、１０…制御装置、１３…制御部、２０…端末装置、３０…ユーザ、４０…アバター、１３１…画像取得部、１３２…初期設定情報取得部、１３３…姿勢情報取得部、１３４…移動制御部、１３５…画像生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】