特許 7273752 表情制御プログラム、記録媒体、表情制御装置、表情制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-02

(45)【発行日】2023-05-15

(54)【発明の名称】表情制御プログラム、記録媒体、表情制御装置、表情制御方法

(51)【国際特許分類】

   G06T 13/40 20110101AFI20230508BHJP

【ＦＩ】

G06T13/40

【請求項の数】 7

(21)【出願番号】P 2020037104

(22)【出願日】2020-03-04

(62)【分割の表示】P 2018187576の分割

【原出願日】2018-10-02

(65)【公開番号】P2020091909

(43)【公開日】2020-06-11

【審査請求日】2021-10-04

(73)【特許権者】

【識別番号】308033283

【氏名又は名称】株式会社スクウェア・エニックス

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】岩渕 栄太郎

【審査官】板垣 有紀

(56)【参考文献】

【文献】特開２０１８－０９２５２３（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１１－００７５３７２（ＫＲ，Ａ）

【文献】特開２０１８－１５１９６６（ＪＰ，Ａ）

【文献】xsinryux_x，FaceRig実用モデル，2018年06月11日，第１頁－第１３頁，<URL:https://forum.live2d.com/discussion/569/facerig%E5%AE%9F%E7%94%A8%E3%83%A2%E3%83%87%E3%83%AB>，[検索日：2022年9月30日]

【文献】xsinryux_x，Facerigで使いたい効果，2016年04月08日，第１頁－第３頁，<URL:https://forum.live2d.com/discussion/347/facerig%E3%81%A7%E4%BD%BF%E3%81%84%E3%81%9F%E3%81%84%E5%8A%B9%E6%9E%9C>，[検索日：2022年9月30日]

【文献】いちから始めるVTuberデビューのためのFaceRig・Live2D入門 実際にやってみた，PANORA，2018年05月11日，第１頁－第９頁，<URL:https://panora.tokyo/panora.tokyo/57846/HPC-index.html>，[検索日：2022年9月30日]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １３／４０

Ｇ０６Ｔ １／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ａ６３Ｆ １３／００ － １３／９８

(57)【特許請求の範囲】

【請求項1】

ユーザの表情変化に応じてコンピュータグラフィックス（ＣＧ）キャラクタの表情を制御する表情制御プログラムであって、
コンピュータに、
ユーザの顔面の状態を実測して出力された顔面情報を取得する処理と、
取得された前記顔面情報に基づいて、前記ＣＧキャラクタの表情構成物の状態を制御する処理と、
予め定められた表情を、前記ＣＧキャラクタに適用するか否かを判断する処理と、
を実行させ、
前記予め定められた表情を前記ＣＧキャラクタに適用すると判断された場合に、前記ＣＧキャラクタの一部の表情構成物の状態を、該予め定められた表情について設定された状態と前記顔面情報とに基づいて制御し、
前記表情制御プログラムは、前記予め定められた表情を前記ＣＧキャラクタに適用する際の、前記一部の表情構成物に対する前記顔面情報に基づく状態変更の適用率を調整する処理を、前記コンピュータにさらに実行させる表情制御プログラム。

【請求項2】

前記予め定められた表情を前記ＣＧキャラクタに適用すると判断された場合に、該予め定められた表情について設定された状態に変更した表情構成物と、前記顔面情報に基づいて変更した表情構成物とを合成することで、前記ＣＧキャラクタの表情構成物の状態を制御する請求項１に記載の表情制御プログラム。

【請求項3】

前記予め定められた表情は、複数種類設けられており、
前記表情制御プログラムは、複数種類の前記予め定められた表情のうちから、前記ＣＧキャラクタに適用する１つの前記予め定められた表情を選択する処理を、前記コンピュータにさらに実行させる請求項１または２に記載の表情制御プログラム。

【請求項4】

前記予め定められた表情は、表情を構成する一部の表情構成物の位置及び形状の少なくともいずれかが、ユーザの表情変化では物理的に到達し得ない状態である請求項１乃至３のいずれか１項に記載の表情制御プログラム。

【請求項5】

請求項１乃至４のいずれか１項に記載の表情制御プログラムを記録した、コンピュータ読み取り可能な記録媒体。

【請求項6】

ユーザの表情変化に応じてコンピュータグラフィックス（ＣＧ）キャラクタの表情を制御する表情制御装置であって、
ユーザの顔面の状態を実測して出力された顔面情報を取得する取得手段と、
前記取得手段により取得された前記顔面情報に基づいて、前記ＣＧキャラクタの表情構成物の状態を制御する制御手段と、
予め定められた表情を、前記ＣＧキャラクタに適用するか否かを判断する判断手段と、
を有し、
前記制御手段は、前記判断手段により前記予め定められた表情を前記ＣＧキャラクタに適用すると判断された場合に、前記ＣＧキャラクタの一部の表情構成物の状態を、該予め定められた表情について設定された状態と前記顔面情報とに基づいて制御し、
前記表情制御装置は、前記予め定められた表情を前記ＣＧキャラクタに適用する際の、前記一部の表情構成物に対する前記顔面情報に基づく状態変更の適用率を調整する調整手段を、さらに有する表情制御装置。

【請求項7】

ユーザの表情変化に応じてコンピュータグラフィックス（ＣＧ）キャラクタの表情を制御する表情制御方法であって、
ユーザの顔面の状態を実測して出力された顔面情報を取得する取得工程と、
前記取得工程において取得された前記顔面情報に基づいて、前記ＣＧキャラクタの表情構成物の状態を制御する制御工程と、
予め定められた表情を、前記ＣＧキャラクタに適用するか否かを判断する判断工程と、
を有し、
前記判断工程において前記予め定められた表情を前記ＣＧキャラクタに適用すると判断された場合に、前記制御工程において、該予め定められた表情について設定された状態と前記顔面情報とに基づいて、前記ＣＧキャラクタの一部の表示構成物の状態が制御され、
前記表情制御方法は、前記予め定められた表情を前記ＣＧキャラクタに適用する際の、前記一部の表情構成物に対する前記顔面情報に基づく状態変更の適用率を調整する工程をさらに有する表情制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、描画プログラム、記録媒体、描画制御装置、描画制御方法に関し、特に人間の表情と連動してＣＧキャラクタの表情を制御する描画技術に関する。

【背景技術】

【0002】

コンピュータグラフィックス（ＣＧ）の分野では、人物等のＣＧキャラクタの身体表現について現実感を鑑賞者に与えるべく、モーションキャプチャによって実際に演者（アクター）に行わせた動作を計測し、該計測データを適用することがなされている。また、このようなアクターによって実際に行われた動作をＣＧキャラクタに反映する技術は、ＣＧキャラクタの全身の身体表現に限られるものではなく、ＣＧキャラクタの細部の描画表現にも応用されている。例えば、アクターの表情を撮像して各パーツの動きを解析する、所謂フェイシャルキャプチャを用いることで、より自然な表情表現を行うＣＧキャラクタを鑑賞させることが可能になる（特許文献１）。

【0003】

近年では、フェイシャルキャプチャと所定の動画配信プラットフォームとを用いることで、アクターが会話をしながら動作する様を、リアルタイムにＣＧキャラクタに反映させたＣＧアニメーションを配信することも可能となっており、その需要が高まっている。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２０１３－５３５０５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一方で、フェイシャルキャプチャを用いる場合、アクターの表情を忠実にＣＧキャラクタに反映することができる反面、漫画やアニメーション等で用いられているような特有の表情を再現することが困難であった。即ち、このような手法では、ＣＧキャラクタの表情表現は、アクターとなる人物が作ることが可能な表情に制限されるため、例えば図２に示されるような表情をＣＧキャラクタに適用させることが困難であった。また、アクターが瞬間的にこのような表情をこのような表情を作れたとしても、これを維持しつつ会話をすることは困難である可能性があった。

【0006】

また、通常作ることが困難な表情表現が可能となるように、キャリブレーションの時点で補正することも可能であるが、その他の表情表現に影響を及ぼす可能性があった。

【0007】

本発明の少なくとも１つの実施形態は、上述の問題点に鑑みてなされたものであり、ＣＧキャラクタの描画において所望の表情表現を可能ならしめる描画プログラム、記録媒体、描画制御装置、描画制御方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

前述の目的を達成するために、本発明の少なくとも１つの実施形態に係る表情制御プログラムは、ユーザの表情変化に応じてコンピュータグラフィックス（ＣＧ）キャラクタの表情を制御する表情制御プログラムであって、コンピュータに、ユーザの顔面の状態を実測して出力された顔面情報を取得する処理と、取得された顔面情報に基づいて、ＣＧキャラクタの表情構成物の状態を制御する処理と、予め定められた表情を、ＣＧキャラクタに適用するか否かを判断する処理と、を実行させ、予め定められた表情をＣＧキャラクタに適用すると判断された場合に、ＣＧキャラクタの表情構成物の状態を、該予め定められた表情について設定された状態と顔面情報とに基づいて制御する。

【発明の効果】

【0009】

このような構成により本発明の少なくとも１つの実施形態によれば、ＣＧキャラクタの描画において所望の表情表現を可能ならしめることが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係るスマートフォン１００の機能構成を示したブロック図

【図2】本発明の実施形態に係るＣＧキャラクタの表情表現を説明するための図

【図3】従来方式において、ユーザの表情変化に応じて提示されるＣＧキャラクタの表情表現を説明するための図

【図4】本発明の実施形態に係るＣＧキャラクタの表情表現を説明するための別の図

【図5】本発明の実施形態に係るキャラクタ提示アプリケーションで実現される配信処理を例示したフローチャート

【発明を実施するための形態】

【0011】

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、描画制御装置の一例としての、フェイシャルキャプチャ機能を備えたスマートフォンに、本発明を適用した例を説明する。しかし、本発明は、ユーザの顔面の状態を実測して出力された顔面情報を取得可能に構成された任意の機器に適用可能である。

【0012】

《スマートフォン１００の構成》
図１は、本発明の実施形態に係るスマートフォン１００の機能構成を示すブロック図である。

【0013】

制御部１０１は、例えばＣＰＵであり、スマートフォン１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、例えば記録媒体１０２に記録されている各ブロックの動作プログラムや本発明のＣＧキャラクタ提示に係るアプリケーションプログラム（キャラクタ提示アプリケーション）を読み出し、メモリ１０３に展開して実行することにより各ブロックの動作を制御する。

【0014】

記録媒体１０２は、例えば不揮発性メモリやＨＤＤ等の恒久的にデータを保持可能な記録装置である。記録媒体１０２は、スマートフォン１００が有する各ブロックの動作プログラムに加え、各ブロックの動作において必要となるパラメータ等や、本実施形態のキャラクタ提示アプリケーションに係るプログラム及び該アプリケーションに係る画面提示に使用される各種のＧＵＩや描画オブジェクト等の情報を記録する。メモリ１０３は、例えば揮発性メモリ等の一時的なデータ記憶に使用される記憶装置である。メモリ１０３は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力されたデータ等を一時的に記憶する格納領域としても用いられる。

【0015】

ここで、本実施形態に係るキャラクタ提示アプリケーションは、３次元モデルで構成されたＣＧキャラクタの動作する様を提示する、一連のゲーム画面を間欠的に生成して提示するアプリケーションである。より詳しくは、提示されるＣＧキャラクタの表情は、該キャラクタの演者となるユーザ（スマートフォン１００の使用者）の顔面の状態に連動して変化するよう構成されており、ユーザの状態をＣＧキャラクタを介して表現することが可能に構成されている。キャラクタ提示アプリケーションは、所定の動画配信サービスを介することで、該ＣＧキャラクタが動作する様を提示する一連の画面をリアルタイムに配信することが可能に構成されており、ユーザは、表情変化や発話を行う様、あるいは種々の身体的表現を反映させたＣＧキャラクタを、該配信を鑑賞する他のユーザ（鑑賞者）に提示することができ、少なくともユーザから鑑賞者方向のリアルタイムコミュニケーションを提供するツールとして機能する。

【0016】

撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を有する撮像装置ユニットであり、提示されるＣＧキャラクタの表情制御に用いられる、ユーザの顔面を撮像した画像を取得する手段として機能する。キャラクタ提示アプリケーションの実行中、撮像部１０４は、現実世界（実空間）に存在するユーザの顔面を間欠的に撮像し、撮像画像（顔画像）を順次出力する。本実施形態では、撮像部１０４は、通常の光学像の撮像機能に加え、深度情報も取得可能に構成されており、撮像画像に加えて、深度画像（各ピクセルに、被写体までの距離を示す深度情報（デプス値）が格納）が出力されるものとする。

【0017】

顔面状態計測部１０５は、撮像部１０４により出力された撮像画像及び深度画像に基づいて、ユーザの顔面の状態を実測し、顔面情報を出力する。本実施形態では、顔面の状態は、例えば眉、目、瞳、鼻、口のそれぞれについて予め定められた特徴点ごとに、所定の座標系での空間座標が導出されることをもって「実測される」ものとして扱う。該導出には、撮像画角の情報等、他の情報が用いられるものであってよい。顔面情報は、例えばこれら特徴点の空間座標で構成されるものであってよい。

【0018】

本実施形態のキャラクタ提示アプリケーションでは、このような手法でユーザの顔面の状態を実測するものとして説明するが、実測方法、顔面情報の構成はこれに限られるものではない。即ち、本発明において顔面情報は、ユーザの表情変化に応じたＣＧキャラクタの表情を構成可能な情報であればよく、本実施形態のようにスマートフォン１００が深度情報も出力可能な撮像部１０４を備えることで必要な情報を導出可能に構成されているものである必要はなく、単に撮像画像の画像解析に基づく特徴点抽出、及び撮像画像中の特徴点の２次元座標を導出可能に構成されているものであってもよい。また、ＣＧキャラクタの表情を構成可能な情報は、ユーザの顔面全体を撮像して得られた画像情報に基づいて導出されるものに限られるものではなく、表情変化に伴ってユーザに生じる筋電位や眼電位等の変化の検出、視線追跡、音声解析に伴う口唇形状推定等に基づいて生成されるものであってもよい。従って、顔面情報を取得する機器は、本実施形態のようなスマートフォン１００に限られるものではなく、実測に用いられるあらゆる機器で代替されるものであってよい。また、本発明の実施において、キャラクタ提示アプリケーションを実行する機器自体に顔面情報の構成機能が備わっている必要はなく、該実行機器とは異なる外部の機器によって構成され、出力された顔面情報を取得する構成であってもよい。

【0019】

表情構成部１０６は、顔面状態計測部１０５により出力された顔面情報に基づき、提示されるＣＧキャラクタの表情を構成する。本実施形態のキャラクタ提示アプリケーションでは、ＣＧキャラクタの顔面を構成する各パーツの制御は、基本的には該パーツが対応付けられた顔面の部位の状態に応じて行われる。即ち、提示されるＣＧキャラクタの表情を形成する各パーツの位置や形状は、対応付けられた顔面の部位に含まれる特徴点について実測によって得られた、空間座標の情報に基づいて決定される。

【0020】

描画部１０７は、例えばＧＰＵ等の描画装置を含み、表示部１２０に表示される画面や配信用に出力する動画像のフレームを生成する描画処理を行う。具体的には描画部１０７は、キャラクタ提示アプリケーションの実行中において、制御部１０１により行われた処理や命令、及び表情構成部１０６により構成されたＣＧキャラクタの表情に基づいて、描画処理を行う。より詳しくは描画部１０７は、表情構成部１０６により構成された表情を、ＣＧキャラクタの３次元モデル自体の形状、もしくはＣＧキャラクタの３次元モデルの顔面に適用するテクスチャに反映することで、ＣＧキャラクタを描画する。本実施形態では簡単のため、ＣＧキャラクタに対して適用する状態制御は、顔面情報に基づく表情変化のみであるものとして説明するが、本発明の実施はこれに限られるものではない。例えば、キャラクタ提示アプリケーションの実行中、ユーザの頭部や胴部の姿勢変化を検出するものであってよく、このような状態変化を適用可能に構成されているものであってもよいことは言うまでもない。

【0021】

表示制御部１０８は、スマートフォン１００における情報提示の一態としての、表示部１２０への表示制御を司る。より詳しくは、キャラクタ提示アプリケーションの実行中において、表示制御部１０８は、描画部１０７により生成された画面を表示部１２０に表示することで、ＣＧキャラクタを提示する。表示部１２０は、例えばＬＣＤ等のスマートフォン１００が有する表示装置である。本実施形態ではスマートフォン１００単体で、ユーザの顔面の状態の計測を行い、かつ該顔面の状態を反映した表情を有するＣＧキャラクタを提示するため、表示部１２０はスマートフォン１００に内蔵され、一体となっているものとして説明する。しかしながら、本発明の実施の態様はこれに限られるものではなく、上述したようにユーザの顔面の状態の計測を行って顔面情報を出力する装置と、該顔面情報に基づいてＣＧキャラクタを描画した画面を生成する装置とは分離されているものであってよい。この場合、ＣＧキャラクタを表示する表示装置は、後者の装置に内蔵されていてもよいし、該装置に有線無線を問わず着脱可能に接続されていてもよい。あるいは、本実施形態のようにＣＧキャラクタを描画した画像（動画像）を配信する態様では、該画像を生成する装置が表示装置を有している必要はなく、該画像が配信される先の装置が有していればよい。

【0022】

操作入力部１０９は、例えばタッチパネルやボタン等のスマートフォン１００が有するユーザインタフェースである。操作入力部１０９は、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号を制御部１０１に出力する。

【0023】

音声入力部１１０は、例えばマイク等のスマートフォン１００が有する音声入力インタフェースである。本実施形態では、キャラクタ提示アプリケーションと動画配信サービスとを利用したリアルタイムコミュニケーションを実現するために、音声入力部１１０を介して入力された音声をＣＧキャラクタに係る動画像とともに配信するものとして説明する。

【0024】

通信部１１１は、スマートフォン１００が有する、他の装置との通信を行うための通信インタフェースである。通信部１１１は、有線無線を問わず、所定の通信方式により例えばネットワーク上に存在する他のサーバ等に接続し、データの送受信を行う。キャラクタ提示アプリケーションのプログラムや、使用するＣＧキャラクタ検出の３次元モデル等の情報は、通信部１１１を介して外部の装置から受信可能に構成されるものであってよい。

【0025】

《表情制御》
上述したように、漫画やアニメーション等で用いられているような特有の表情には、ユーザの表情変化では物理的に到達し得ない状態や、そのような状態を維持して会話を行うことが困難なものが存在する。即ち、ユーザについて取得された顔面情報に基づいて表情を構成したＣＧキャラクタを描画する態様において、所望の表情表現が提示されない場合がある。換言すれば、特定の感情を表現するために適切な表情は、現実の人間と描画されたＣＧキャラクタとでは乖離しており、後者を優先し、所望の表情表現をユーザの顔面を実測した情報に基づいて実現しようとした場合、ユーザの表情筋では物理的にこれに到達し得ないことがある。

【0026】

また、このような態様でのＣＧキャラクタの表情表現は、該ＣＧキャラクタの演者であるユーザの表情に依存するものであるため、例えばユーザは配信を行っている間、ＣＧキャラクタが好ましい表情となるように、会話に対する感情を意識して自身の表情を作る必要があり、その他別の作業等を行うことができなかった。例えば、図２（ａ）に示されるような表情をＣＧキャラクタにさせるべく、ユーザが目を瞑る表情を作ったとしても、図３に示されるような表情しかＣＧキャラクタにとらせることができなかった。

【0027】

このため、本実施形態のキャラクタ提示アプリケーションでは、ＣＧキャラクタについて、ユーザの表情変化では物理的に到達し得ない状態を含む、予め定められた表情を設ける。該予め定められた表情は、例えば笑顔、悲しい顔、驚き顔、怒り顔、混乱顔等、複数種類設けられるものであってよく、操作入力部１０９を用いて所定の操作を行うことで、ユーザがこれらの使用有無を切り替え可能に構成される。

【0028】

例えば笑顔であれば、図２（ａ）に示されるように、瞼を閉じた状態での目の形が、目尻が下がってアーチ形状となり、かつ口が比較的横に大きく開き、口角が上がった状態となる。また例えば悲しい顔であれば、図２（ｂ）に示されるように、眉がハの字形状となり、目は伏し目がちに、かつ口が比較的下の位置に配置され、横の開きも少ない状態となる。また例えば驚き顔であれば、図２（ｃ）に示されるように、顔のパーツが全体的に間隔を開けて配置され、目が見開いた状態、かつ口が縦に開いた状態となる。また例えば怒り顔であれば、図２（ｄ）に示されるように、眉が逆ハの字形状となり、目に近づいて配置され、かつ口角が下がり気味の状態となる。また例えば混乱顔であれば、図２（ｅ）に示されるように、眉がハの字形状となり、瞳の動きの移動量が大きくなり、かつ口が横に拡がって開いた状態となる。

【0029】

図示したように、予め定められた表情はいずれも、眉、目、瞼、瞳（眼球）、口の形状や位置等、表情を構成する各種パーツが、ＣＧキャラクタの表情表現として好適な状態にある反面、ユーザの顔面の状態を変更することでこれら全てを使い分ける、また表現することが困難な表情となっている。

【0030】

ところで、このような固定的な表情を設けて切り替えて使用すれば、好適な表情表現のＣＧキャラクタの提示を実現できるが、このようなプリセットの表情そのものを使用するのでは、リアルタイムコミュニケーションツールとしては好適ではない。即ち、たとえ顔や身体の姿勢変化等を反映したとしても、固定的な表情をそのまま提示するのでは、人間味の表現が失われるため、本実施形態のキャラクタ提示アプリケーションでは、予め定められた表情をＣＧキャラクタに適用する場合であっても、表情を構成する顔面の一部のパーツについては、ユーザの該当パーツの実測の状態に基づく変更を加えることで、人間味に相当する表現を実現する。

【0031】

実測の状態に基づく変更を加えた予め定められた表情のＣＧキャラクタの表情生成は、例えば、ブレンドシェイプや骨格構造の合成等を用いることによって実現されるものであってよい。より詳しくは、予め定められた表情の使用が選択された場合には、表情構成部１０６は、該表情について設定された状態に顔面の各パーツを調整して構成したシェイプと、ユーザの顔面を実測した状態に基づいて各パーツを調整して構成したシェイプとを合成することによって、ＣＧキャラクタの表情を構成する。

【0032】

このとき、表情構成部１０６は、全てのパーツについて実測の状態に基づくシェイプの合成を行うのではなく、各表情について定められた一部のパーツについてのみ、実測の状態のシェイプの合成を行う。人間味の表現を提供するため、本実施形態のキャラクタ提示アプリケーションでは、基本的には合成して反映される実測の状態は、瞳の移動、瞼の開閉、及び口の開閉であるものとする。

【0033】

しかしながら、図２で例示したように、所定の表情表現において好適な各パーツの形状があるため、該表情表現が担保されるよう、それぞれの変化の適用率が設定されているものとする。例えば、笑顔であれば、瞳の移動及び瞼の開閉は実測の状態が優先されるように、予め定められた表情の同パーツのブレンド率は０％、実測の状態のブレンド率が１００％に設定される。一方で、目の形状は、ＣＧキャラクタが鑑賞者に与える印象に直接的に寄与するため、予め定められた表情の同パーツのブレンド率が１００％、実測の状態のブレンド率は０％に設定される。また口の形状は、ＣＧキャラクタが鑑賞者に与える印象に直接的に寄与するものであるが、発話中に変動しないことはかえって不自然となるため、予め定められた表情の同パーツに対し、実測の同パーツの状態を３０％ブレンドするよう設定される。

【0034】

このようにすることで、予め定められた表情が本来与える印象を維持しつつ、より人間味を提示する状態でＣＧキャラクタの表情を構成することが可能となる。図４に示される例は、予め定められた表情のうちの笑顔が選択された場合に、図２（ａ）に示した表情に対して実測の状態に基づく変更を適用して構成した表情であり、鑑賞者に笑顔で与える印象を保ちながら、眼球の動き、瞼の開閉、口の開口状態を適用した、自然な発話状態を提示することができる。

【0035】

なお、実測の状態に基づく変更の適用率（ブレンド率）、及び変更を行うパーツの少なくともいずれかは、複数種類設けられた予め定められた表情ごとに設定されるものであってよい。即ち、例えば笑顔と混乱顔では、実測の状態に基づく変更を適用する際に、眼球の移動の適用率は後者の方が１．５倍多く設定され、口の開閉の適用率は前者が１．２５倍多く設定される等、パーツごとにその適用率が異なるよう構成されていてもよい。あるいは、これらのパーツごとの実測の状態に基づく変更の適用率が、ユーザによって調整可能に構成されるものであってよい。即ち、瞼の開閉や口の開閉の大きさは、ユーザによって絶対的な表情変化量が異なるものであるため、予め定められた表情に合成する際の同パーツの実測状態の適用率を、ユーザが変更可能に構成されていてよい。この他、例えば笑顔のように、瞼を閉じた状態である方が、鑑賞者に好適な印象を与える。

【0036】

《配信処理》
このような構成をもつ本実施形態のキャラクタ提示アプリケーションを用いて、ユーザの顔面の状態に基づく表情表現を提示した、ＣＧキャラクタを介したリアルタイムコミュニケーション映像を配信する配信理について、図５のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば記録媒体１０２に記憶されている対応する処理プログラムを読み出し、メモリ１０３に展開して実行することにより実現することができる。

【0037】

なお、本配信処理は、例えばキャラクタ提示アプリケーションが実行され、所定の配信設定が完了した後に、配信プラットフォームを指定して配信開始を指示する操作入力がなされた際に開始されるものとして説明する。また本配信処理の実行中、ユーザは任意のタイミングで、予め定められた表情を用いてＣＧキャラクタの表情制御を行うか否かの操作入力を入力可能であるものとする。

【0038】

Ｓ５０１で、制御部１０１は、撮像部１０４に撮像を開始させ、撮像画像及び深度画像が得られるたびに、これらに基づく顔面情報を顔面状態計測部１０５に生成させる。また制御部１０１は、音声入力部１１０に音声取得を開始させる。以降、表示部１２０における、ＣＧキャラクタを含む画面の表示更新頻度に合わせて、Ｓ５０２～Ｓ５０７の処理が繰り返し実行される。換言すれば、画面表示の１フレームごとに、Ｓ５０２～Ｓ５０７の処理は実行される。

【0039】

Ｓ５０２で、制御部１０１は、予め定められた表情の使用設定がなされているか否かを判断する。予め定められた表情の使用設定の情報は、例えばメモリ１０３に格納されているものであってよく、使用設定がなされている場合には、少なくとも対応する表情を特定する識別情報を含んで構成されるものであってよい。本実施形態のキャラクタ提示アプリケーションでは、予め定められた表情の使用有無は、予め定められた表情のいずれかを使用する旨の操作入力がなされたこと、または予め定められた表情の使用を終了する旨の操作入力がなされたことに応じて変更されるものとして説明する。即ち、本実施形態では予め定められた表情の使用有無は、ユーザによる任意の選択操作によって切り替えることが可能であるものとして説明するが、本発明の実施はこれに限られるものではない。例えば、予め定められた音声入力やテキスト入力を検出した場合等、使用有無を直接的に決定する操作入力に依らず、制御部１０１が判断して使用有無を決定するものであってよい。制御部１０１は、予め定められた表情の使用設定がなされていると判断した場合は処理をＳ５０３に移し、なされていないと判断した場合は処理をＳ５０４に移す。

【0040】

Ｓ５０３で、表情構成部１０６は制御部１０１の制御の下、使用設定がなされている予め定められた表情の情報と、Ｓ５０２において取得された顔面情報に基づいてＣＧキャラクタの表情を構成する。本ステップにおける表情の構成は、上述したように予め定められた表情に係り構成されたＣＧキャラクタの表情をベースとして、このうちの一部のパーツに対してのみ、所定の適用率で顔面情報に基づく状態変更、即ち、該当パーツの実測の状態に基づく変更を適用する。

【0041】

一方で、Ｓ５０２において予め定められた表情の使用設定がなされていないと判断した場合は、表情構成部１０６はＳ５０４で、制御部１０１の制御の下、Ｓ５０２において取得された顔面情報に基づいてＣＧキャラクタの表情を構成する。

【0042】

Ｓ５０５で、描画部１０７は制御部１０１の制御の下、Ｓ５０３またはＳ５０４で構成された表情に基づいて、ＣＧキャラクタを描画した画面を生成する。また表示制御部１０８は、生成された画面を表示部１２０に表示するよう制御する。

【0043】

Ｓ５０６で、制御部１０１は、Ｓ５０５において表示された画面と現在のフレームについて取得された音声情報とを符号化し、通信部１１１を介して配信プラットフォームに係るサーバ（不図示）に送出する。これにより、配信動画を鑑賞する機器に対して、スマートフォン１００のユーザの顔面の状態に応じた表情変化を行う、ＣＧキャラクタの動画を提供することができる。

【0044】

Ｓ５０７で、制御部１０１は、配信停止条件が満たされたか否かを判断する。配信停止条件は、キャラクタ提示アプリケーションの終了、配信停止操作がなされたこと、所定の配信時間が経過したこと等をもって満たされるものであってよい。制御部１０１は、配信停止条件が満たされたと判断した場合は処理を、Ｓ５０８で各種の終了処理を行った後、本配信処理を完了する。また制御部１０１は、配信停止条件が満たされていないと判断した場合は処理をＳ５０２に戻し、次のフレームに係る処理を行う。

【0045】

以上説明したように、本実施形態の描画制御装置によれば、ＣＧキャラクタの描画において所望の表情表現を可能ならしめることが可能となる。より詳しくは、ユーザの顔面の状態を実測した結果に基づいてＣＧキャラクタの表情を変化させて提示する態様において、特にユーザの表情変化では物理的に到達し得ない状態や、好適な表情をＣＧキャラクタに維持させた状態で発話することが困難な状態であっても、ベースとなる表情を予め設け、これに対して、一部のパーツのみを実測の状態に基づいて変更することで、好適な表情表現を実現する。

【0046】

なお、本実施形態では顔面情報に基づいて表情を構成したＣＧキャラクタを、スマートフォン１００が有する表示部１２０及び配信先の鑑賞機器に提示する態様について説明したが、本発明の実施はこれに限られるものではない。即ち、本発明は、顔面情報に基づいて表情を構成したＣＧキャラクタを描画するものであればよく、描画されたＣＧキャラクタは、例えば顔面情報に基づいて表情の構成した機器に接続されたディスプレイやプロジェクタ等の装置を用いて鑑賞者やユーザに提示される等、特定の態様に限定されるものではない。

【0047】

［その他の実施形態］
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係る描画制御装置は、１以上のコンピュータを該描画制御装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供／配布することができる。

【符号の説明】

【0048】

１００：スマートフォン、１０１：制御部、１０２：記録媒体、１０３：メモリ、１０４：撮像部、１０５：顔面状態計測部、１０６：表情構成部、１０７：描画部、１０８：表示制御部、１０９：操作入力部、１１０：音声入力部、１１１：通信部、１２０：表示部

【図1】

【図2】

【図3】

【図4】

【図5】