特許 7529242 プログラム、情報処理方法、情報処理装置、及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】プログラム、情報処理方法、情報処理装置、及び情報処理システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240730BHJP

   G06F 3/0488 20220101ALI20240730BHJP

【ＦＩ】

G06F3/01 510

G06F3/0488

G06F3/01 570

【請求項の数】 12

(21)【出願番号】P 2020081843

(22)【出願日】2020-05-07

(65)【公開番号】P2021177277

(43)【公開日】2021-11-11

【審査請求日】2023-03-15

【前置審査】

(73)【特許権者】

【識別番号】506159699

【氏名又は名称】株式会社ジンズホールディングス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】渡辺 寛紀

【審査官】赤坂 祐樹

(56)【参考文献】

【文献】特開２０１６－１２６５００（ＪＰ，Ａ）

【文献】特開２０１７－０７０６０２（ＪＰ，Ａ）

【文献】特開２０１８－１６３６１７（ＪＰ，Ａ）

【文献】米国特許第０５５１７０２１（ＵＳ，Ａ）

【文献】まばたき・視線でデバイス操作、「JINS MEME」がアプリ開発プラットフォーム，ケータイ Watch [online]，2016年12月15日，URL: <https://k-tai.watch.impress.co.jp/docs/news/1035327.html>，[令和５年９月２６日検索日]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１ー ３／４８９５

Ａ６３Ｆ １３／００－１３／９８

(57)【特許請求の範囲】

【請求項1】

情報処理装置に、
ユーザの頭部に装着された他の装置から眼電位信号を少なくとも取得し、
前記眼電位信号に基づいて前記ユーザの眼の動きを少なくとも検出し、
画面に表示中の画像にキャラクターを重畳して前記キャラクターの胴体に関する基本動作を選択可能なＵＩ部品を、前記画面に表示制御し、
前記ＵＩ部品を用いて選択された前記キャラクターの胴体に関する基本動作と、前記眼の動きの検出結果に基づく前記キャラクターの頭部に関する動作とに基づいて、前記キャラクターの動作を制御する、処理を実行させるプログラム。

【請求項2】

前記表示制御することは、
前記ユーザが利用する前記情報処理装置の前記画面に表示中の前記画像であって、撮影装置により撮影中の前記画像に前記キャラクターを重畳して表示制御することを含む、請求項１に記載のプログラム。

【請求項3】

前記取得することは、
前記他の装置に搭載される加速度センサ及び／又は角速度センサによりセンシングされたセンサ信号を取得することを含み、
前記検出することは、
前記センサ信号に基づいて、前記ユーザの頭の動きを検出することを含み、
前記動作を制御することは、
前記眼の動き及び前記頭の動きの検出結果に基づいて、前記キャラクターの動作を制御することを含む、請求項１又は２に記載のプログラム。

【請求項4】

前記検出することは、
前記眼電位信号に基づく瞬目、又は視線移動を検出することを含み、
前記動作を制御することは、
前記瞬目に関連付けられた第１動作パラメータ、又は前記視線移動に関連付けられた第２動作パラメータに基づいて前記キャラクターの動作を制御することを含む、請求項１乃至３のいずれか一項に記載のプログラム。

【請求項5】

前記検出することは、
前記眼電位信号に基づく瞬目の強度、又は視線移動の速さを検出することを含み、
前記動作を制御することは、
前記瞬目の強度に関連付けられた第３動作パラメータ、又は前記視線移動の速さに関連付けられた第４動作パラメータに基づいて前記キャラクターの動作を制御することを含む、請求項１乃至４のいずれか一項に記載のプログラム。

【請求項6】

前記動作を制御することは、
前記検出結果に含まれる前記頭の動きに応じて、前記画面に対する奥行き方向の前記キャラクターの位置を変更することを含む、請求項３に記載のプログラム。

【請求項7】

前記キャラクターの動作は、自動で動作する能動動作を含み、
前記動作を制御することは、
前記検出結果に基づいて、前記能動動作に関するパラメータの値を決定することを含む、請求項１乃至６のいずれか一項に記載のプログラム。

【請求項8】

前記検出することは、
前記眼電位信号に基づき検出される瞬目を用いて、ユーザの集中度合、又は落ち着き度合を検出することを含み、
前記動作を制御することは、
前記検出結果に含まれる前記集中度合又は前記落ち着き度合に基づいて、前記キャラクターの動作を制御することを含む、請求項１乃至７のいずれか一項に記載のプログラム。

【請求項9】

前記情報処理装置は携帯端末であり、前記他の装置はアイウエアである、請求項１乃至８のいずれか一項に記載のプログラム。

【請求項10】

情報処理装置が、
ユーザの頭部に装着された他の装置から眼電位信号を少なくとも取得し、
前記眼電位信号に基づいて前記ユーザの眼の動きを少なくとも検出し、
画面に表示中の画像にキャラクターを重畳して前記キャラクターの胴体に関する基本動作を選択可能なＵＩ部品を、前記画面に表示制御し、
前記ＵＩ部品を用いて選択された前記キャラクターの胴体に関する基本動作と、前記眼の動きの検出結果に基づく前記キャラクターの頭部に関する動作とに基づいて、前記キャラクターの動作を制御する、処理を実行する情報処理方法。

【請求項11】

１又は複数のプロセッサを含む情報処理装置であって、
前記１又は複数のプロセッサが、
ユーザの頭部に装着された他の装置から眼電位信号を少なくとも取得し、
前記眼電位信号に基づいて前記ユーザの眼の動きを少なくとも検出し、
画面に表示中の画像にキャラクターを重畳して前記キャラクターの胴体に関する基本動作を選択可能なＵＩ部品を、前記画面に表示制御し、
前記ＵＩ部品を用いて選択された前記キャラクターの胴体に関する基本動作と、前記眼の動きの検出結果に基づく前記キャラクターの頭部に関する動作とに基づいて、前記キャラクターの動作を制御する、処理を実行する情報処理装置。

【請求項12】

データ通信可能に接続されるアイウエアと情報処理装置とを含む情報処理システムであって、
前記アイウエアは、
複数の生体電極と、
前記複数の生体電極から取得される眼電位信号を前記情報処理装置に送信する送信部と、を備え、
ユーザが利用する前記情報処理装置は、
前記アイウエアから前記眼電位信号を少なくとも受信する通信部と、
前記眼電位信号に基づいて前記ユーザの眼の動きを少なくとも検出する検出部と、
画面に表示中の画像にキャラクターを重畳して前記キャラクターの胴体に関する基本動作を選択可能なＵＩ部品を、前記画面に表示制御し、前記ＵＩ部品を用いて選択された前記キャラクターの胴体に関する基本動作と、前記眼の動きの検出結果に基づく前記キャラクターの頭部に関する動作とに基づいて、前記キャラクターの動作を制御する制御部と、を備える、情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理方法、情報処理装置、及び情報処理システムに関する。

【背景技術】

【0002】

従来、ユーザの頭部に装着されたヘッドマウントディスプレイ（ＨＭＤ）により検出されるユーザの頭の動き等に基づいて、拡張現実として重畳されるアバターを制御することが知られている（例えば、特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６４７０８５９号公報

【文献】特開２０１８－０６９０６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、ＨＭＤで検出した頭部の動きを利用してアバター（キャラクター）を制御し、顔の部位の動きを利用する場合にはカメラでの撮影が行われているため、画像にアバターを簡便に重畳することができず、インタラクティブなキャラクター制御についてユーザビリティが必ずしも高くなかった。

【0005】

そこで、開示技術は、インタラクティブにキャラクターを制御する際のユーザビリティを向上させることを目的とする。

【課題を解決するための手段】

【0006】

開示技術の一態様におけるプログラムは、情報処理装置に、ユーザの頭部に装着された他の装置から眼電位信号を少なくとも取得し、前記眼電位信号に基づいてユーザの眼の動きを少なくとも検出し、画面に表示中の画像にキャラクターを重畳して表示制御し、前記眼の動きの検出結果に基づいて、前記キャラクターの動作を制御する、処理を実行させる。

【発明の効果】

【0007】

開示技術によれば、インタラクティブにキャラクターを制御する際のユーザビリティを向上させることができる。

【図面の簡単な説明】

【0008】

【図1】実施例における情報処理システムの一例を示す図である。

【図2】実施例における情報処理装置のハードウェア構成を示す概略構成図である。

【図3】実施例における処理装置の構成の一例を示すブロック図である。

【図4】実施例における情報処理装置の構成の一例を示す図である。

【図5】実施例におけるアプリケーションＡの表示画面の例１を示す図である。

【図6】実施例におけるアプリケーションＡの表示画面の例２を示す図である。

【図7】実施例におけるアプリケーションＡの表示画面の例３を示す図である。

【図8】実施例におけるアプリケーションＡの表示画面の例４を示す図である。

【図9】実施例におけるアプリケーションＡの表示画面の例５を示す図である。

【図10】実施例におけるアプリケーションＡの表示画面の例６を示す図である。

【図11】実施例におけるアプリケーションＡに関する処理の一例を示すシーケンス図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

【0010】

［実施例］
実施例では、加速度センサ及び角速度センサ、生体電極を搭載するウエアラブル端末の対象として、アイウエアを例に挙げるが、これに限られない。図１は、実施例における情報処理システム１の一例を示す図である。図１に示す情報処理システム１は、情報処理装置１０と、アイウエア３０とを含み、情報処理装置１０と、アイウエア３０とは、ネットワークを介して接続され、データ通信可能になっている。

【0011】

アイウエア３０は、例えばブリッジ部分に処理装置２０を搭載する。処理装置２０は、一対のノーズパッド及びブリッジ部を含み、それぞれに生体電極３２、３４、３６を有する。処理装置２０は、３軸加速度センサ及び３軸角速度センサ（６軸センサでもよい）を含んでもよい。

【0012】

処理装置２０は、センサ信号や眼電位信号等を検出して情報処理装置１０に送信する。処理装置２０の設置位置は、必ずしもブリッジ部分である必要はないが、アイウエア３０が装着された際に、眼電位信号を取得可能な位置に位置決めされればよい。また、処理装置２０は、ブリッジ部分に取り外し可能に設けられてもよい。

【0013】

情報処理装置１０は、通信機能を有する情報処理装置である。例えば、情報処理装置１０は、ユーザが所持するスマートフォン等の携帯端末が好適であり、その他パーソナルコンピュータ、タブレット端末等である。情報処理装置１０は、処理装置２０から受信した眼電位信号やセンサ信号等に基づいて、ユーザの眼の動き、頭の動きを検出し、検出結果に基づいて、画面に表示中の画像に重畳するキャラクター（例えばアバター）を制御する。

【0014】

＜情報処理装置１０のハードウェア構成＞
図２は、実施例における情報処理装置１０のハードウェア構成を示す概略構成図である。情報処理装置１０の典型的な一例は、スマートフォンなどの携帯端末であるが、この他、ネットワークに無線又は有線接続可能な携帯端末、あるいはタブレット型端末のようなタッチパネルを搭載した電子機器など、ネットワークを使って通信しながらデータ処理しつつ画面表示可能な汎用機器なども実施形態における情報処理装置１０に該当しうる。

【0015】

実施形態における情報処理装置１０は、例えば、図示しない矩形の薄形筐体を備え、その筐体の一方の面には、タッチパネル１０２が構成される。情報処理装置１０では、各構成要素が主制御部１５０に接続されている。主制御部１５０は、例えば１又は複数のプロセッサである。

【0016】

主制御部１５０には、移動体通信用アンテナ１１２、移動体通信部１１４、無線ＬＡＮ通信用アンテナ１１６、無線ＬＡＮ通信部１１８、記憶部１２０、スピーカ１０４、マイクロフォン１０６、ハードボタン１０８、ハードキー１１０及び６軸センサ１１１が接続されている。また、主制御部１５０には、さらに、タッチパネル１０２、カメラ１３０、及び外部インターフェース１４０が接続されている。外部インターフェース１４０は、音声出力端子１４２を含む。

【0017】

タッチパネル１０２は、表示装置及び入力装置の両方の機能を備え、表示機能を担うディスプレイ（表示画面）１０２Ａと、入力機能を担うタッチセンサ１０２Ｂとで構成される。ディスプレイ１０２Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどの一般的な表示デバイスにより構成される。タッチセンサ１０２Ｂは、ディスプレイ１０２Ａの上面に配置された接触操作を検知するための素子及びその上に積層された透明な操作面を備えて構成される。タッチセンサ１０２Ｂの接触検知方式としては、静電容量式、抵抗膜式（感圧式）、電磁誘導式など既知の方式のうちの任意の方式を採用することができる。

【0018】

表示装置としてのタッチパネル１０２は、主制御部１５０によるプログラム１２２の実行により生成されるアプリケーションの画像を表示する。入力装置としてのタッチパネル１０２は、操作面に対して接触する接触物（プレイヤの指やスタイラスなどを含む。以下、「指」である場合を代表例として説明する。）の動作を検知することで、操作入力を受け付け、その接触位置の情報を主制御部１５０に与える。指の動作は、接触点の位置または領域を示す座標情報として検知され、座標情報は、例えば、タッチパネル１０２の短辺方向及び長辺方向の二軸上の座標値として表される。

【0019】

記憶部１２０は、表示中の画像に重畳されるキャラクターに関する処理を実行するプログラム１２２を記憶する。この記憶部１２０は、情報処理装置１０と別体であってもよく、例えば、ＳＤカードやＣＤ－ＲＡＭ等の記録媒体、又は非一時的な記録媒体であってもよい。

【0020】

情報処理装置１０は、移動体通信用アンテナ１１２や無線ＬＡＮ通信用アンテナ１１６を通じてネットワークＮに接続され、処理装置２０との間でデータ通信をすることが可能である。

【0021】

＜処理装置２０の構成＞
図３は、実施例における処理装置２０の構成の一例を示すブロック図である。図３に示すように、処理装置２０は、処理部２０２、送信部２０４、６軸センサ２０６、電源部２０８、及び各生体電極３２、３４、３６を有する。また、各生体電極３２、３４、３６は、例えば増幅部を介して電線を用いて処理部２０２に接続される。

【0022】

６軸センサ２０６は、３軸加速度センサ及び３軸角速度センサである。また、これらの各センサは別個に設けられてもよい。６軸センサ２０６は、検出したセンサ信号を処理部２０２に出力する。

【0023】

処理部２０２は、６軸センサ２０６から得られるセンサ信号や、各生体電極３２、３４、３６から得られる眼電位信号を必要に応じて処理し、例えば、センサ信号や眼電位信号をパケット化して、このパケットを送信部２０４に出力する。また、処理部２０２は、プロセッサを含み、例えば、処理部２０２は、眼電位信号を用いて、瞬目に関する第１生体情報、視線移動に関する第２生体情報を算出してもよい。

【0024】

また、処理部２０２は、６軸センサ２０６からのセンサ信号を用いて、頭部の動きに関する第３生体情報を算出してもよい。頭部の動きに関する情報は、例えば頭部の前後左右への動きに関する情報である。また、処理部２０２は、６軸センサ２０６から得られるセンサ信号を増幅等するだけでもよい。以下では、処理部２０２は、眼電位信号、センサ信号をパケット化する処理を行うものとして説明する。

【0025】

送信部２０４は、処理部２０２によりパケット化された眼電位信号及び／又はセンサ信号を情報処理装置１０に送信する。例えば、送信部２０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の無線通信、又は有線通信によって、眼電位信号やセンサ信号を情報処理装置１０に送信する。電源部２０８は、処理部２０２、送信部２０４、６軸センサ２０６等に電力を供給する。

【0026】

＜情報処理装置１０の構成＞
次に、情報処理装置１０の構成について説明する。図４は、実施例における情報処理装置１０の構成の一例を示す図である。情報処理装置１０は、記憶部３０２、通信部３０４、及び制御部３０６を有する。

【0027】

記憶部３０２は、例えば、図２に示す記憶部１２０等により実現されうる。記憶部３０２は、一例として、キャラクターをＡＲ(Augmented Reality)技術を用いて重畳した画像を生成するための処理を実行するアプリケーション（以下、アプリケーションＡとも称す。）に関するデータ等を記憶する。アプリケーションＡに関するデータは、例えば、処理装置２０から受信したデータや、キャラクターの表示や制御に関する情報、キャラクターを重畳する画像データ、画面に表示される画面情報等である。キャラクターは、例えばアバターを含み、画像は、静止画像又は動画像を含む。

【0028】

通信部３０４は、例えば移動体通信部１１４や無線ＬＡＮ通信部１１８等により実現されうる。通信部３０４は、例えば処理装置２０からデータを受信する。また、通信部３０４は、情報処理装置１０において処理されたデータをサーバに送信したりしてもよい。すなわち、通信部３０４は、送信部と受信部としての機能を有する。

【0029】

制御部３０６は、例えば主制御部１５０等により実現されうる。制御部３０６は、アプリケーションＡを実行する。実施例におけるアプリケーションＡは、眼電位信号及び／又はセンサ信号を取得し、それぞれの信号に基づいてユーザの眼の動き、頭部の動きを検出し、この検出結果に基づいてキャラクターの動作を制御する。また、制御部３０６は、制御されるキャラクターを画像に重畳し、このキャラクターを含む画像を生成し、保存する。この機能を実現するため、制御部３０６は、取得部３１２、検出部３１４、表示制御部３１６、キャラクター制御部３１８、及び操作検知部３２０を有する。

【0030】

取得部３１２は、通信部３０４により受信された信号を取得する。例えば、取得部３１２は、ユーザの頭部に装着された他の装置（例えばアイウエア３０）から眼電位信号を少なくとも取得する。

【0031】

検出部３１４は、取得部３１２により取得された眼電位信号に基づいて、ユーザの眼の動きを少なくとも検出する。例えば、検出部３１４は、公知の技術により、眼電位信号に基づいて瞬目や視線移動などを含む眼の動きを検出する。

【0032】

表示制御部３１６は、情報処理装置１０の画面（ディスプレイ１０２Ａ）に表示中の画像にキャラクターを重畳して表示制御する。画像は、ユーザにより選択された画像でもよいし、カメラ３０により撮影中の画像でもよい。

【0033】

キャラクター制御部３１８は、検出部３１４による眼の動きの検出結果及び／又は後述するコマンドに基づいて、キャラクターの動作を制御する。例えば、キャラクター制御部３１８は、検出された瞬目、視線移動に同期させて、画像に重畳されるキャラクターの瞬目、視線移動を制御する。キャラクターは、例えば、予め設定されたアバターでもよいし、ユーザにより選択されたアバターでもよい。

【0034】

キャラクター制御部３１８は、キャラクターの動きを制御する複数の動作パラメータを有しており、ユーザの瞬目、視線移動、頭部の動きをそれぞれ、キャラクターの各動作パラメータに関連付けてもよい。この関連付けは、ユーザ操作に応じて行われてもよい。複数の動作パラメータは、例えば、キャラクターの眼の瞬目に関するパラメータ、視線移動に関するパラメータ、頭部の動きに関するパラメータ、胴体の動きに関するパラメータ、キャラクターのズームアウト、ズームインに関するパラメータ、キャラクターの手の動きに関するパラメータなどを含む。

【0035】

操作検知部３２０は、画面上に表示されたＵＩ部品に対するユーザの操作を検知し、このユーザ操作に応じて、各種命令を、対応する部に出力する。例えば、操作検知部３２０は、キャラクター選択ボタンや、キャラクターの基本動作ボタン、キャラクターの表情ボタン等の操作を検知すると、検知した操作に対応するコマンドをキャラクター制御部３１８に出力する。

【0036】

以上より、カメラで顔を撮影することなく、キャラクターの制御を指示するユーザから取得される眼電位信号に基づいて、インタラクティブにキャラクターを制御する際のユーザビリティを向上させることができる。例えば、眼電位信号に基づくことで、様々な制御が可能になり、また、キャラクターの眼の動き等をより精細に制御することが可能になる。

【0037】

また、取得部３１２は、他の装置（例えばアイウエア３０）に搭載される加速度センサ及び／又は角速度センサによりセンシングされたセンサ信号を取得することを含んでもよい。この場合、検出部３１４は、センサ信号に基づいて、ユーザの頭の動きを検出することを含んでもよい。また、キャラクター制御部３１８は、ユーザの眼の動き及び頭の動きの検出結果に基づいて、キャラクターの動作を制御してもよい。

【0038】

キャラクターの動作は、例えば、ユーザの瞬目、視線移動に同期させてキャラクターの瞬目、視線移動を制御することや、ユーザの頭部の動きに同期させてキャラクターの頭部の動きを制御することを含む。また、キャラクターの動作は、例えば、ユーザの瞬目、視線移動に基づきキャラクターの所定動作Ａを制御する各動作パラメータを決定することや、ユーザの頭部の動きに基づいてキャラクターの所定動作Ｂを制御する動作パラメータを決定することを含んでもよい。

【0039】

これにより、キャラクターの制御を指示するユーザの頭部の動きにも基づいて、インタラクティブにキャラクターを制御する際のユーザビリティを向上させることができる。例えば、眼電位信号及び頭部の動きに基づくことで、制御対象のバリエーションを増やすことが可能になる。

【0040】

表示制御部３１６は、キャラクターの胴体に関する基本動作を選択可能なＵＩ部品を、情報処理装置１０の画面に表示制御してもよい。この場合、キャラクター制御部３１８は、ＵＩ部品を用いてユーザにより選択されたキャラクターの胴体に関する基本動作と、検出結果に基づくキャラクターの頭部に関する動作とに基づいて、キャラクターの動作を制御することを含んでもよい。

【0041】

例えば、表示制御部３１６は、予め設定されたキャラクターの胴体に関する基本動作をユーザに選択させるための選択ボタンを画面に表示するように制御する。また、キャラクター制御部３１８は、操作検知部３２０により選択されたボタンに対応するコマンドに基づく基本動作を、表示中のキャラクターの胴体の基本動作に反映させるよう制御する。

【0042】

これにより、キャラクターの動作について、頭部の動作と胴体の動作とに分けて、頭部の動作は、ユーザの眼の動き、頭部の動きに応じて制御しつつ、胴体の動作は、画面上のＵＩ部品で容易に制御することが可能になる。その結果、インタラクティブにキャラクターを制御する際のユーザビリティを向上させることができる。

【0043】

上記のとおり、生体情報計測システムを備えたアイウエア３０を用いることで、アバターの頭部操作と胴体に関する操作の役割を分離することが可能である。そのため、キャラクターの身体操作インターフェースを画面上に表示することにより、複雑かつ複合的な操作でも、高価な外部ウエアラブル端末との連携を必要とせず、直感的なキャラクターの操作を可能にする。

【0044】

また、表示制御部３１６は、撮影装置（例えばカメラ１３０）により撮影中の画像にキャラクターを重畳して表示制御してもよい。例えば、ユーザによりカメラ１３０が起動され、表示制御部３１６は、撮影中の画像にキャラクターを、ＡＲ技術を用いて重畳し、キャラクター制御部３１８は、この重畳されたキャラクターの動作を制御し、制御部３０６は、重畳されたキャラクターを含む画像を保存してもよい。

【0045】

これにより、ユーザの眼の動き等をカメラ１３０で撮影する必要がないため、カメラ３０は、キャラクターを重畳する画像を撮影することが可能になり、リアルタイムでの画像の撮影、キャラクターの重畳及び制御を容易に実現することができる。例えば、携帯端末のアウトカメラを用いて動画を撮影しつつ、重畳中のキャラクターの制御をインタラクティブに実行することが可能になる。

【0046】

また、検出部３１４は、眼電位信号に基づく瞬目、又は視線移動を検出することを含んでもよい。瞬目又は視線移動の検出方法は、公知の方法を用いればよい。この場合、キャラクター制御部３１８は、瞬目に関連付けられた第１動作パラメータ、又は視線移動に関連付けられた第２動作パラメータに基づいてキャラクターの動作を制御することを含んでもよい。例えば、キャラクター制御部３１８は、ユーザの瞬目又は視線移動を、キャラクターの瞬目（第１動作パラメータ）又は視線移動（第２動作パラメータ）にリアルタイムに反映させるように制御してもよい。また、キャラクター制御部３１８は、ユーザの瞬目又は視線移動を、他の２つのキャラクターの動作パラメータに対応付けて制御してもよく、例えば、キャラクターの胴体の動作に関する第１動作パラメータ又は第２動作パラメータに対応付けて制御してもよい。

【0047】

これにより、瞬目や視線移動などの眼電位信号から取得される検出結果を用いて、インタラクティブにキャラクターを制御する際のユーザビリティを向上させることができる。また、制御対象のバリエーションを増やすことが可能になる。

【0048】

また、検出部３１４は、眼電位信号に基づく瞬目の強度、又は視線移動の速さを検出することを含んでもよい。例えば、検出部３１４は、眼電位信号に基づき、信号強度に複数の閾値を設けて、瞬目を複数のレベルに分けて強度を検出してもよいし、視線移動の速さについては、水平方向の移動速度に複数の閾値を設けて、視線移動を複数のレベルに分けて速さを検出してもよい。

【0049】

この場合、キャラクター制御部３１８は、瞬目の強度に関連付けられた第３動作パラメータ、又は視線移動の速さに関連付けられた第４動作パラメータに基づいてキャラクターの動作を制御してもよい。瞬目の強度、視線移動の速さにどの動作パラメータを関連付けるかは、ユーザに事前に設定されていてもよい。キャラクター制御部３１８は、例えば、瞬目の強度に応じて、キャラクターの動作の大きさを変えてもよく、一例として、瞬目の強度が強いほど、キャラクターが手を振る幅が大きくなってもよい。また、キャラクター制御部３１８は、例えば、視線移動の速さに応じて、キャラクターの動作の速さを変えてもよく、一例として、視線移動が速いほど、キャラクターの揺れる周期が速くなってもよい。

【0050】

これにより、瞬目の強度や視線移動の速さなどの眼電位信号特有のパラメータを用いて、インタラクティブにキャラクターを制御する際のユーザビリティを向上させることができる。また、制御対象のバリエーションを増やすことが可能になる。

【0051】

また、キャラクター制御部３１８は、検出結果に含まれる頭部の動きに応じて、画面に対する奥行き方向のキャラクターの位置を変更することを含んでもよい。例えば、キャラクター制御部３１８は、情報処理装置１０の画面前方（画面を視聴するユーザ側）の所定位置に仮想カメラを設定し、ユーザが頭部を前方に傾けると、キャラクターが仮想カメラに対して近づき、画面上のキャラクターのサイズが大きくなるよう制御し、ユーザが頭部を後方に傾けると、キャラクターが仮想カメラに対して離れていき、画面上のキャラクターのサイズが小さくなるように制御する。

【0052】

なお、制御されるキャラクターの部位は、表示されるキャラクター全体、胴体より上の部分、又は頭部であり、予めいずれか一つが決定されていてもよいし、ユーザの頭部の傾きの程度に応じて制御されるキャラクターの部位が増えてもよい。例えば、ユーザの頭部の傾きが大きくなるにつれ、制御されるキャラクターの部位は、頭部、胴体より上の部分、表示されるキャラクター全体の順で増えてもよい。

【0053】

これにより、ユーザの頭部の動きを用いて、キャラクターの遠近やサイズを制御することが可能になり、インタラクティブにキャラクターを制御する際のユーザビリティを向上させることができる。

【0054】

また、キャラクターの動作は、所定の指示や命令を受けて、所定の動作を所定期間繰り返し実行するような、キャラクターが自動で動作する能動動作、指示を受けるたびに動作する受動動作を含んでもよい。能動動作は、例えば、ユーザにより能動動作が設定されると、ゆらゆら揺れるような一定の動きを繰り返す動作を含む。また、受動動作は、例えば、所定の指示や命令を受けて、挨拶や驚きのしぐさなどの所定の動作を実行し、次の指示や命令を受けるまで動作をしない動作を含む。

【0055】

この場合、キャラクター制御部３１８は、検出結果に基づいて、能動動作に関するパラメータの値を決定することを含んでもよい。例えば、能動動作がゆらゆら動く動作の場合、キャラクター制御部３１８は、ゆらゆら動く周期に関するパラメータを、所定期間における瞬目の回数などに基づき決定するようにしてもよい。

【0056】

これにより、キャラクターが自動で動作するような場合であっても、ユーザの眼の動き又は頭部の動きを用いて、ユーザの無意識な動作をキャラクターに反映させることが可能であり、インタラクティブにキャラクターを制御する際のユーザビリティを向上させることができる。

【0057】

また、検出部３１４は、眼電位信号に基づき検出される瞬目に基づき、公知の技術を用いて、ユーザの集中度合、又は落ち着き度合を検出することを含んでもよい。公知の技術は、例えば、同出願人による特開２０１７－７０６０２に記載の技術であり、この文献には、瞬目や視線移動を用いて集中度合（フォーカス）や落ち着き度合（カーム）を検出することが記載されている。

【0058】

また、キャラクター制御部３１８は、検出結果に含まれる集中度合又は落ち着き度合に基づいて、キャラクターの動作を制御してもよい。例えば、キャラクター制御部３１８は、キャラクターの動作制御の一例として、ユーザが集中していると判定された場合、キャラクターの表情を集中している表情に変化させたり、ユーザが落ち着いていると判定された場合、キャラクターの表情をリラックスした表情に変化させたり、ユーザの集中又は落ち着きに応じてキャラクターの顔色やキャラクターを含む画面の明度や彩度を変化させたりしてもよい。

【0059】

これにより、ユーザがあまり意識しない心理状態（集中、落ち着きなど）を用いて、ユーザの心理状態をキャラクターに反映させることが可能であり、インタラクティブにキャラクターを制御する際のキャラクターの動作の円滑性を向上させることができる。

【0060】

また、情報処理装置１０は携帯型処理端末の一例であるスマートフォンなどの携帯端末であり、他の装置はウエアラブル端末の一例であるアイウエア３０であってもよい。

【0061】

これにより、携帯端末はユーザが通常所有しているものであるため携帯性や汎用性が高く、眼電位信号等をセンシングしながらの移動等も可能になり、キャラクターを重畳する動画像のバリエーションを増やすことができる。例えば、携帯端末のアウトカメラを用いて動画を撮影しつつ、重畳中のキャラクターの制御をインタラクティブに実行することが可能になる。

【0062】

また、キャラクター制御３１８は、視線移動を用いて、キャラクターを他のキャラクターに変更するようにしてもよい。例えば、キャラクター制御部３１８は、視線移動の移動量に閾値を設け、閾値以上の移動量の場合、画面に表示中のキャラクターを変更する。なお、事前にユーザによりキャラクター変更ボタンが押下された場合に、キャラクター制御３１８は、視線移動によりキャラクターを変更する処理を開始してもよい。このように、キャラクター制御部３１８は、ユーザの眼の動きを、キャラクターに関する様々な操作に関連付けてもよい。

【0063】

これにより、ユーザの眼の動きを、キャラクターに関する様々な操作に関連付けることで、キャラクターを制御する際のユーザビリティを向上させることができる。

【0064】

＜画面例＞
次に、実施例におけるアプリケーションＡの画面例について図５～１０を用いて説明する。図５は、実施例におけるアプリケーションＡの表示画面の例１を示す図である。図５に示す画面Ｄ１０には、例えば、左が顔アクション（例えば５種類）の選択ボタンＢ１０、右が体アクション（例えば２７種類）の選択リボルバーＢ１２が表示される。この画面における操作を、操作検知部３２０が検知することで、キャラクター制御部３１８は、キャラクターＣ１０の顔の基本表情（基本動作）を決定したり、キャラクターＣ１０の胴体に関する基本動作を決定したりする。

【0065】

図６は、実施例におけるアプリケーションＡの表示画面の例２を示す図である。図６に示す画面Ｄ２０は、ワイプボタンで左上部にキャラクターＣ２０がワイプ抜きされた画面例を示す。このとき、ワイプ抜きされた後であっても、キャラクター制御部３１８により顔と体のアクションは実行可能である。

【0066】

図７は、実施例におけるアプリケーションＡの表示画面の例３を示す図である。図７に示す画面Ｄ３０は、右上部のボタン領域が表示され、このボタン領域から歯車ボタンＢ３０がタップされるときの画面例を示す。歯車ボタンＢ３０がタップされると、キャラクターを重畳する画像を選択することが可能になる。

【0067】

例えば、ユーザは、静止画像を取込みたい場合、「Ｉｍｐｏｒｔｐｈｏｔｏ」をタップし、動画像を取込みたい場合、「Ｉｍｐｏｒｔｖｉｄｅｏ」をタップする。また、ユーザはアウトカメラを使用して動画像等を取得したい場合、「Ｕｓｅｃａｍｅｒａ」をタップする。なお、白背景は、選択対象の初期設定に含まれてもよい。また、取り込んだ写真、動画像は画面Ｄ３０に自動で追加されるので、ユーザは、タップすることで、使用したい画像を選択することが可能である。

【0068】

図８は、実施例におけるアプリケーションＡの表示画面の例４を示す図である。図８に示す画面Ｄ４０は、右上部のボタン領域が表示され、このボタン領域からヒト型ボタンＢ４０がタップされるときの画面例を示す。この例では、ヒト型ボタンＢ４０がタップされると、キャラクターの胴体に関する基本動作を選択することが可能になる。胴体（体）に関する基本動作は、例えば、全部で２７種類用意される。例えば、ユーザは、２７種類の中から１２種類を選ぶと、図５に示す選択リボルバーＢ１２に１２種類の基本動作が選択可能に追加される。

【0069】

なお、基本動作（アクション）は、上述したように、「能動動作」と、「受動動作」の２種類を含んでもよい。「能動動作」には、「ゆらゆら」、「行進」、「走る」、「所定の座り方」、「ゲームをする」、「空気椅子」、「ご飯を食べる」、「起立する」などを含む。「受動動作」は、基本的に「能動動作」以外の動作を含む。

【0070】

図９は、実施例におけるアプリケーションＡの表示画面の例５を示す図である。図９に示す画面Ｄ５０は、右上部のボタン領域が表示され、このボタン領域からモデルボタンＢ５０がタップされるときの画面例を示す。この例では、モデルボタンＢ５０がタップされると、キャラクターのモデルを選択することが可能になる。

【0071】

キャラクターのモデルは、このアプリケーションＡにおいて予め設定されたデフォルトのモデルと、３Ｄアバター用のＶＲＭファイルで作成されたモデルなどを含む。ユーザは、事前に所定のＶＲＭファイルをこのアプリケーションＡにインポートすることが可能である。ＶＲＭファイルがインポートされている場合、ユーザは、「Ｉｍｐｏｒｔｖｒｍ」をタップして使用することが可能である。

【0072】

図１０は、実施例におけるアプリケーションＡの表示画面の例６を示す図である。図１０に示す画面Ｄ６０は、右上部のボタン領域が表示され、このボタン領域からフィルムボタンＢ６０がタップされるときの画面例を示す。この例では、フィルムボタンＢ６０がタップされると、ユーザが作成したキャラクターを重畳した画像データを選択し、閲覧することが可能になる。撮影した動画像や写真（静止画像）などの画像は、情報処理装置１０の写真アプリ内に同時に保存されてもよい。なお、キャラクターが重畳された画像ファイルは、ＭＰ４ファイル形式で出力されるので、取出し、ＳＮＳなどにシェア、加工をすることは容易である。

【0073】

＜動作＞
次に、実施例における情報処理システム１の各処理について説明する。図１１は、実施例におけるアプリケーションＡに関する処理の一例を示すシーケンス図である。

【0074】

図１１に示すステップＳ１０２で、制御部３０６は、ユーザの操作に応じてアプリケーションＡを起動する。

【0075】

ステップＳ１０４で、制御部３０６は、アイウエア３０との通信を確立する。通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉｆｉ（登録商標）などである。

【0076】

ステップＳ１０６で、アイウエア３０の処理装置２０は、生体電極３２、３４、３６を用いてユーザの眼電位の計測を行う。また、処理装置２０に加速度センサ／角速度センサが含まれる場合は、これらのセンサによる計測も行う。

【0077】

ステップＳ１０８で、アイウエア３０の処理装置２０は、取得された眼電位信号及び／又はセンサ信号を情報処理装置１０に送信する。

【0078】

ステップＳ１１０で、情報処理装置１０の取得部３１２は、ユーザの頭部に装着されたアイウエア３０から送信された眼電位信号を取得する。また、取得部３１２は、ユーザの頭部の動きを示すセンサ信号を取得してもよい。

【0079】

ステップＳ１１２で、情報処理装置１０の検出部３１４は、取得された眼電位信号に基づいてユーザの眼の動きを検出する。また、検出部３１４は、眼の動きとして瞬目や視線移動を検出してもよく、センサ信号が取得される場合は、頭部の動き（顔に対する前後方向、顔に対する横方向、顔に対する上下方向等）を検出し、検出結果に含めてもよい。

【0080】

ステップＳ１１４で、表示制御部３１６は、画面に表示中の画像にキャラクターを重畳して表示制御する。なお、表示される画像はユーザにより選択されてもよい。

【0081】

ステップＳ１１６で、キャラクター制御部３１８は、ユーザの眼の動きの検出結果に基づいて、画像に重畳して表示されるキャラクターの動作を制御する。また、キャラクター制御部３１８は、検出結果にユーザの頭部の動きが含まれる場合は、この頭部の動きに応じてキャラクターの動作を制御してもよい。

【0082】

ステップＳ１１８で、制御部３０６は、重畳されたキャラクターの動作を含む画像データを情報処理装置１０の記憶部１２０に記憶する。例えば画像データは、ＭＰ４形式で保存されるがこの限りではなく、目的に応じたファイル形式で保存されればよい。

【0083】

ステップＳ１２０で、制御部３０６は、保存され、重畳されたキャラクターを含む画像データを、ＳＮＳにアップロードしたりやメールに添付したりするため外部の装置等に出力する。

【0084】

なお、図１１で説明した処理のフローに含まれる各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。

【0085】

以上、実施例によれば、インタラクティブにキャラクターを制御する際のユーザビリティを向上させることができる。また、３Ｄモデルが制御される場合、実施例によれば、ヒューマノイドに登録されたＶＲＭデータモデルをインポートすることで、ユーザが所望するキャラクター（例えばアバター）を用いて画像に重畳することができる。

【0086】

また、ユーザは、目と頭を動かして、画像に重畳されるキャラクターを制御することが可能になる。また、実施例によれば、ユーザは、ゲームコントローラー感覚で、キャラクターの顔と体のアクションを操作することが可能になる（例えば図５－１０参照）。

【0087】

また、重畳される画像に関し、携帯端末等のアウトカメラを使用した、ＡＲ合成動画像の撮影と、静止画像の撮影とが可能になる。また、既に撮影してある動画像や静止画像を背景に、キャラクター（例えばアバター）をＡＲ合成してキャラクターを操作することが可能になる。

【0088】

また、上述したキャラクター制御によれば、制御の一部を、生体情報計測システムを備えたアイウエア３０に移管することで、カメラを用いない直感的な操作が可能になり、センシング、および画像を撮影する装置の携帯移動を可能にする。

【0089】

また、生体情報計測システムを備えたアイウエア３０を用いることで、情報処理装置１０のアプリケーションＡとしては、ＡＲ合成の為に編集リテラシーを必要とせず、編集が容易なＵＩを用いてＡＲ合成を可能にする。

【0090】

また、上述したとおり、情報処理装置１０のアウトカメラを用いて画像を撮影することが可能であり、ＡＲ合成時に、画像を撮影しながら、直感的に制御可能なキャラクターを制御することが可能になる可能性がある。

【0091】

また、従来のようなＡＲを用いた鑑賞用キャラクター撮影アプリケーションではなく、ＡＲを用いた三人称視点、かつインタラクティブな撮影用キャラクター制御アプリケーションを実現することが可能である。

【0092】

なお、実施例において、アイウエア３０がメガネである場合について説明した。しかし、アイウエアはこれに限定されない。アイウエアは、眼に関連する装具であればよく、メガネ、サングラス、ゴーグル及びヘッドマウントディスプレイならびにこれらのフレームなどの顔面装着具又は頭部装着具であってよい。

【0093】

なお、実施例において、アイウエア３０に搭載された６軸センサからのセンサ信号を用いて説明したが、情報処理装置１０に搭載された６軸センサ１１１からのセンサ信号を用いても、実施例において説明したアプリケーションを実行することが可能である。すなわち、６軸センサは頭部だけではなく、人体のいずれかの位置に装着されていればよい。

【0094】

以上、本発明について実施例を用いて説明したが、本発明の技術的範囲は上記実施例に記載の範囲には限定されない。上記実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【符号の説明】

【0095】

１０ 情報処理装置
２０ 処理装置
３０ アイウエア
３０２ 記憶部
３０４ 通信部
３０６ 制御部
３１２ 取得部
３１４ 検出部
３１６ 表示制御部
３１８ キャラクター制御部
３２０ 操作検知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】