特許 7414731 画像処理装置、画像処理システム、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法、及びプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240109BHJP

   G09G 5/18 20060101ALI20240109BHJP

   H04N 5/66 20060101ALI20240109BHJP

【ＦＩ】

G09G5/00 550C

G09G5/00 550B

G09G5/18

H04N5/66 Z

【請求項の数】 12

(21)【出願番号】P 2020559145

(86)(22)【出願日】2019-11-29

(86)【国際出願番号】 JP2019046822

(87)【国際公開番号】W WO2020116348

(87)【国際公開日】2020-06-11

【審査請求日】2022-11-28

(31)【優先権主張番号】P 2018227190

(32)【優先日】2018-12-04

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100122275

【弁理士】

【氏名又は名称】竹居 信利

(72)【発明者】

【氏名】ラヴィ クマール

(72)【発明者】

【氏名】畑田 敬志

【審査官】西島 篤宏

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１７８４０８（ＵＳ，Ａ１）

【文献】特開２０１３－１１０６６２（ＪＰ，Ａ）

【文献】特表２０１８－５１４００５（ＪＰ，Ａ）

【文献】特開２０１７－４２２６９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０１３４５４３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

Ｈ０４Ｎ ５／６６

(57)【特許請求の範囲】

【請求項1】

動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の瞬きの頻度が異常に変化する異常パターンを検出して取得する目情報取得部と、
前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、
前記決定された描画条件に従って前記動画像を描画する動画像描画部と、
を含み、
前記描画条件決定部は、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
ことを特徴とする画像処理装置。

【請求項2】

動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の目の視線移動が異常に変化する異常パターンを検出して取得する目情報取得部と、
前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、
前記決定された描画条件に従って前記動画像を描画する動画像描画部と、
を含み、
前記目情報取得部は、前記閲覧者の左右の目の視線移動の差分に基づいて、前記異常パターンを検出し、
前記描画条件決定部は、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
ことを特徴とする画像処理装置。

【請求項3】

請求項１又は２に記載の画像処理装置において、
前記目情報取得部は、前記閲覧者の瞬きのタイミングに関する目情報を取得し、
前記描画条件決定部は、前記目情報に応じて決まる時間、前記動画像の描画処理を制限する
ことを特徴とする画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記目情報取得部は、前記閲覧者が瞬きを開始するタイミングを特定し、
前記描画条件決定部は、前記瞬きの開始に応じて、前記動画像の描画処理の制限を開始する
ことを特徴とする画像処理装置。

【請求項5】

請求項４に記載の画像処理装置において、
前記目情報取得部は、前記閲覧者が瞬きを終了するタイミングを特定し、
前記描画条件決定部は、前記瞬きの終了に応じて、前記動画像の描画処理の制限を終了する
ことを特徴とする画像処理装置。

【請求項6】

請求項１から５のいずれか一項に記載の画像処理装置において、
前記目情報取得部は、前記閲覧者に取り付けられた眼電位センサーの検出結果を用いて、前記目情報を取得する
ことを特徴とする画像処理装置。

【請求項7】

動画像を閲覧する閲覧者の目の状態を検出するセンサーと、
前記センサーの検出結果を用いて、前記閲覧者の目の状態に関する目情報として、前記閲覧者の瞬きの頻度が異常に変化する異常パターンを検出して取得する目情報取得部と、
前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、
前記決定された描画条件に従って前記動画像を描画する動画像描画部と、
を含み、
前記描画条件決定部は、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
ことを特徴とする画像処理システム。

【請求項8】

動画像を閲覧する閲覧者の目の状態を検出するセンサーと、
動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の目の視線移動が異常に変化する異常パターンを検出して取得する目情報取得部と、
前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、
前記決定された描画条件に従って前記動画像を描画する動画像描画部と、
を含み、
前記目情報取得部は、前記閲覧者の左右の目の視線移動の差分に基づいて、前記異常パターンを検出し、
前記描画条件決定部は、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
ことを特徴とする画像処理システム。

【請求項9】

動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の瞬きの頻度が異常に変化する異常パターンを検出して取得するステップと、
前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、
前記決定された描画条件に従って前記動画像を描画するステップと、
を含み、
前記描画条件を決定するステップでは、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
ことを特徴とする画像処理方法。

【請求項10】

動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の目の視線移動が異常に変化する異常パターンを検出して取得するステップと、
前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、
前記決定された描画条件に従って前記動画像を描画するステップと、
を含み、
前記目情報を取得するステップでは、前記閲覧者の左右の目の視線移動の差分に基づいて、前記異常パターンを検出し、
前記描画条件を決定するステップでは、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
ことを特徴とする画像処理方法。

【請求項11】

動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の瞬きの頻度が異常に変化する異常パターンを検出して取得するステップと、
前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、
前記決定された描画条件に従って前記動画像を描画するステップと、
をコンピュータに実行させるためのプログラムであって、
前記描画条件を決定するステップでは、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
プログラム。

【請求項12】

動画像を閲覧する閲覧者の目の状態に関する目情報として、前記閲覧者の目の視線移動が異常に変化する異常パターンを検出して取得するステップと、
前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、
前記決定された描画条件に従って前記動画像を描画するステップと、
をコンピュータに実行させるためのプログラムであって、
前記目情報を取得するステップでは、前記閲覧者の左右の目の視線移動の差分に基づいて、前記異常パターンを検出し、
前記描画条件を決定するステップでは、前記異常パターンが検出される場合に、前記閲覧者の酔いを低減させるように前記動画像の描画条件を決定する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像を描画する画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

動画像を描画して閲覧者に提示する画像処理システムにおいては、近年、仮想現実を実現するなどの目的で、ますます高解像度、高フレームレートの動画像を描画する要求が高まっている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

高解像度、高フレームレートの動画像を描画し、表示させようとすると、描画処理を行うプロセッサの処理負荷などに対する要求性能が高くなってしまう。

【0004】

本発明は上記実情を考慮してなされたものであって、その目的の一つは、閲覧者が閲覧する動画像の品質に影響を及ぼさないようにしつつ描画処理による負荷を軽減することのできる画像処理装置、画像処理システム、画像処理方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0005】

本発明に係る画像処理装置は、動画像を閲覧する閲覧者の目の状態に関する目情報を取得する目情報取得部と、前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、前記決定された描画条件に従って前記動画像を描画する動画像描画部と、を含むことを特徴とする。

【0006】

本発明に係る画像処理システムは、動画像を閲覧する閲覧者の目の状態を検出するセンサーと、前記センサーの検出結果を用いて、前記閲覧者の目の状態に関する目情報を取得する目情報取得部と、前記取得した目情報に応じて、前記動画像の描画条件を決定する描画条件決定部と、前記決定された描画条件に従って前記動画像を描画する動画像描画部と、を含むことを特徴とする。

【0007】

本発明に係る画像処理方法は、動画像を閲覧する閲覧者の目の状態に関する目情報を取得するステップと、前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、前記決定された描画条件に従って前記動画像を描画するステップと、を含むことを特徴とする。

【0008】

本発明に係るプログラムは、動画像を閲覧する閲覧者の目の状態に関する目情報を取得するステップと、前記取得した目情報に応じて、前記動画像の描画条件を決定するステップと、前記決定された描画条件に従って前記動画像を描画するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態に係る画像処理システムの全体概要図である。

【図2】表示装置の一例を示す図である。

【図3】本発明の実施の形態に係る画像処理装置の機能を示す機能ブロック図である。

【図4】垂直方向に沿った目の動きの検出結果の一例を示す図である。

【図5】フレーム画像の描画時間の一例を示す図である。

【図6】異常パターンが現れている垂直方向の目の動きの検出結果の一例を示す図である。

【図7】左右の目の視線方向のずれを示す検出結果の一例を示す図である。

【図8】描画条件決定部が実行する処理の流れの一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面に基づき詳細に説明する。

【0011】

図１は、本発明の一実施形態に係る画像処理システム１の全体概要図である。画像処理システム１は、図１に示すように、画像処理装置１０と、表示装置２０と、を含んで構成されている。

【0012】

画像処理装置１０は、パーソナルコンピュータや家庭用ゲーム機などの情報処理装置であって、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成されている。制御部１１は少なくとも一つのプロセッサを含んで構成され、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。

【0013】

インタフェース部１３は、表示装置２０との間のデータ通信のためのインタフェースである。画像処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかで表示装置２０と接続される。具体的にインタフェース部１３は、画像処理装置１０によって描画された動画像のデータを表示装置２０に送信するために、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等のマルチメディアインタフェースを含むこととする。また、後述する眼電位センサー２１によって検出された検出信号を受信するために、ＵＳＢ（Universal Serial Bus）等のデータ通信インタフェースを含んでいる。

【0014】

表示装置２０は、閲覧者に提示する動画像を表示するデバイスである。本実施形態では、表示装置２０は閲覧者が頭部に装着して使用する頭部装着型の表示装置であることとする。表示装置２０の閲覧者に相対する面には、眼電位センサー２１が配置されている。

【0015】

図２は、表示装置２０を閲覧者に相対する側から見た様子の一例を示している。眼電位センサー２１は、眼電位と呼ばれる人の目の周囲に生じる電位差を測定するセンサーである。このセンサーの検出結果を解析することで、閲覧者の視線の動きや瞬きなど、目の状態や動きを特定することができる。眼電位センサー２１は、例えば閲覧者の鼻梁近傍や、左右の目のさらに外側のこめかみ近傍など、閲覧者の目の周囲の皮膚に接触するように配置される。眼電位センサー２１の検出結果は、リアルタイムで画像処理装置１０に送信される。

【0016】

以下、本実施形態において画像処理装置１０が実現する機能について、図３に基づいて説明する。図３に示されるように、画像処理装置１０は、機能的に、目情報取得部３１と、描画条件決定部３２と、動画像描画部３３と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に格納されているプログラムを実行することで実現される。このプログラムは、インターネット等の通信ネットワークを介して画像処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

【0017】

目情報取得部３１は、表示装置２０が動画像を表示している間、この動画像を閲覧中の閲覧者の目の状態に関する情報を取得する。特に本実施形態では、目情報取得部３１は、閲覧者の瞬きのタイミングに関する情報（以下、瞬き情報という）をリアルタイムで取得し、描画条件決定部３２に通知する。目情報取得部３１は、眼電位センサー２１の出力を解析することによって瞬き情報を取得することができる。

【0018】

図４は、眼電位センサー２１の検出結果から得られる眼電位図（ＥＯＧ：electrooculogram）の一例である。このグラフにおいては、垂直方向（閲覧者の顔の上下方向）に沿った目の動きに関するＥＯＧが示されている。なお、このＥＯＧの値は、眼電位センサー２１の検出結果に対してハイパスフィルタなど所定のフィルタリング処理を適用したものであってよい。また、ここでは閲覧者の左右それぞれの目について得られた検出結果を平均して得られる波形が示されている。

【0019】

この図に示すように、閲覧者が行う無意識の瞬きにより、垂直方向の眼電位図は周期的な波形を示す。この波形において、ピークの立ち上がりが開始するタイミング（図中のＴｃ）が、閲覧者が瞬きにより目を閉じ始めるタイミングを示している。また、ピークの立ち下がりが終わって再び値が増加し始めるタイミング（図中のＴｏ）が、閲覧者が目を開き始めるタイミングを示している。このような波形を解析することにより、瞬きによって閲覧者が目を閉じ始めるタイミング、及び目を開き始めるタイミングをそれぞれ特定することができる。そこで目情報取得部３１は、ＥＯＧの値の絶対値、及び／又は単位時間あたりの変化量などを監視し、目を閉じ始めるタイミング、及び開き始めるタイミングを特定した場合、直ちにその旨を瞬き情報として描画条件決定部３２に通知する。

【0020】

描画条件決定部３２は、目情報取得部３１が取得した瞬き情報を用いて、表示装置２０に表示させている動画像の描画条件を決定する。特に描画条件決定部３２は、所定時間おきに、動画像を構成するフレーム画像の描画を動画像描画部３３に対して指示するものとする。後述する動画像描画部３３は、描画条件決定部３２からの描画指示を受け付けるごとに、次に表示すべき新たなフレーム画像を描画する。

【0021】

さらに本実施形態において、描画条件決定部３２は、閲覧者が無意識に瞬きを行って目を閉じている間、動画像の描画を抑制する。具体的に描画条件決定部３２は、閲覧者が瞬きにより目を閉じ始めたことが目情報取得部３１から通知されると、定期的なフレーム画像の描画指示を中断する。また、閲覧者が目を開き始めたことが目情報取得部３１から通知されると、フレーム画像の描画指示を再開する。このような制御によれば、瞬きによって閲覧者が目を閉じていると想定される時間帯において、動画像を構成するフレーム画像の更新が中断されることになる。

【0022】

動画像描画部３３は、描画条件決定部３２が決定した描画条件に従って、動画像の描画を行う。なお、動画像描画部３３の少なくとも一部の機能は、例えばＧＰＵ（Graphics Processing Unit）などのように描画条件決定部３２の機能を実現するプロセッサとは別のプロセッサによって実現されてもよい。具体的に、動画像描画部３３は、描画条件決定部３２から描画指示を受け付けるごとに、動画像を構成する新たなフレーム画像を描画し、表示装置２０に対して出力する。一方、描画条件決定部３２がフレーム画像の更新指示を中断している間は、フレーム画像を更新せず、直近の過去に描画されたフレーム画像を再表示し続けることとする。

【0023】

図５は、フレーム画像の描画時間を示すグラフであり、図４の眼電位図が取得された時間帯におけるフレーム画像の描画制御の様子を示している。この図に示されるように、閲覧者が目を閉じ始めたタイミングから、閲覧者が目を開き始めたタイミングまでの間の時間帯は、描画条件決定部３２の制御によってフレーム画像の描画が中断されている。これにより、フレーム画像の描画に伴うプロセッサの処理負荷や消費電力などを低減することができる。さらに、全体としてフレーム画像の描画頻度が低下することから、処理待ち時間を含めた各フレーム画像の描画時間（描画指示を受けてからフレーム画像を描画し終えるまでの時間）の平均を短縮することができる。

【0024】

このような制御によれば、常に決まった時間間隔でフレーム画像の更新を継続する場合と比較して、フレーム画像の更新頻度（フレームレート）を全体として低くすることができ、描画処理に伴う処理負荷を軽減することができる。一方で、フレーム画像の更新が行われなくなるのは閲覧者が目を閉じているタイミングなので、フレームレートの低下が閲覧者に気づかれるおそれは低く、閲覧者が感じる動画像の品質には影響が少ない。

【0025】

なお、動画像描画部３３は、フレーム画像の更新を完全に中断してしまうのではなく、他の時間帯よりも低解像度でフレーム画像を描画することとしてもよい。この場合、描画条件決定部３２は、閲覧者が瞬きにより目を閉じていると想定されている間は、低解像度でのフレーム画像の描画を動画像描画部３３に指示する。低解像度で描画されたフレーム画像は、拡大されて他のフレーム画像と同じサイズで表示装置２０に表示される。このような処理によっても、閲覧者が閲覧する動画像の品質に影響が生じないようにしつつ、描画処理に伴う処理負荷を低減できる。

【0026】

また、以上の説明では閲覧者が目を閉じ始めたと特定されたタイミングでフレーム画像の描画処理を中断し、閲覧者が目を開き始めたと特定されたタイミングでフレーム画像の描画処理を再開することとした。しかしながらこれに限らず、描画条件決定部３２は、フレーム画像の描画処理を中断し始めたタイミングから予め定められた時間が経過した際には、その時点における瞬き情報に関係なく、フレーム画像の描画処理を再開してもよい。閲覧者の意志に関係なく反射的に生じる瞬きの時間は、ほぼ一定であると想定される。そのため、フレーム画像の描画処理が中断される時間が予め定められた時間を超えないようにすることで、閲覧者が目を開き始めたタイミングが正確に特定できない場合にも、閲覧者が目を閉じていると推定される間だけフレーム画像の描画処理を中断させることができる。

【0027】

描画条件決定部３２は、以上説明したような瞬きのタイミングに応じてフレーム画像の描画処理を中断させる制御だけでなく、閲覧者の目の状態に関する情報を用いて閲覧者の酔いを低減する処理を実行してもよい。これにつき、以下に説明する。

【0028】

頭部装着型の表示装置２０が臨場感のある立体映像などを表示する場合、閲覧者が乗り物酔いのような症状を感じることがある。このような症状が発生する場合に、閲覧者が酔いの症状を自覚するよりも早い段階で、閲覧者の視線の動きや瞬きなどの無意識の目の動きに異常が現れることを本願発明者らは発見した。そこで本実施形態に係る画像処理装置１０は、閲覧者の目の状態が異常に変化する異常パターンを検出し、このような異常パターンの検出に応じて酔いの症状を低減するような表示制御を行うことで、早期に酔いの症状を解消することができる。

【0029】

この例において目情報取得部３１は、閲覧者が動画像を閲覧している間、前述したような垂直方向のＥＯＧの波形を監視する。そして、瞬きの発生頻度が変化するなど、ＥＯＧの波形に正常時の瞬きによるものと異なるパターン（異常パターン）が現れた場合、その旨を描画条件決定部３２に通知する。このような判定を行うため、目情報取得部３１は、閲覧者が表示装置２０の使用を開始した直後など、まだ酔いが発生していないと想定されるタイミングで、正常時の瞬きのパターンを示すパラメータ（瞬きの発生間隔、ピークの大きさなど）の値を取得しても良い。こうすれば、正常時のパターンと比較して所定の閾値以上パラメータの値が異なる波形が観測された場合、異常パターンが発生したと判定することができる。

【0030】

図６は、垂直方向のＥＯＧに対して酔いによる異常パターンが発生している一例を示している。この図においてＴｘで示したタイミングで、通常の周期的な瞬きが開始せず、それまでと異なる異常パターンの波形が現れている。

【0031】

ただし、閲覧者が意図的に瞬きをしたり、逆に瞬きを故意に止めたりするなど、酔いに起因する異常パターン以外にも他の要因で瞬きの異常パターンが発生することもある。そのため、描画条件決定部３２は、異常パターンが検出された場合に直ちに酔いの低減処理を行うのではなく、異常パターンの波形が所定期間内に繰り返し検出された場合など、予め定められた条件を満たした場合に酔いの低減処理を行うこととしてもよい。また、瞬きの異常パターンの検出を、他の測定結果と組み合わせて、酔いの低減処理を行うか否か決定することとしてもよい。

【0032】

具体例として、描画条件決定部３２は、垂直方向のＥＯＧによって特定される瞬きの異常パターンに加えて、水平方向（顔の左右方向）に沿った視線の動きの異常パターンに基づいて、酔いの症状が現れているか否かを判定してもよい。この例では、目情報取得部３１は、垂直方向のＥＯＧと同様に水平方向のＥＯＧについても監視し、その検出結果に所定の異常パターンが検出された場合に、その旨を描画条件決定部３２に通知する。水平方向のＥＯＧは、主として閲覧者の左右それぞれの目の視線の動きを示している。

【0033】

ここで、目情報取得部３１は、左右それぞれの目についての水平方向のＥＯＧの値の差分を算出することとする。図７は、このような水平方向のＥＯＧの左右の差分の時間変動を示している。この差分の値は、左右の目の動きのずれを示しており、ずれが生じている場合、左右の目が互いに異なる動きをしていることになる。人が水平方向に沿っていずれかの方向に視線を向ける場合、左右の目の視線方向は同じように変化すると想定される。そのため、差分値に変化が生じた場合、人が意図的に視線の向きを変化させているのではなく、異常なマイクロサッカードが生じているなど、酔いに起因する症状が現れていると推定される。そこで目情報取得部３１は、ＥＯＧの差分値によって示される左右の目の動きのずれが所定の閾値以上になった場合などに、視線移動についての異常パターンが発生したと判定し、その旨を描画条件決定部３２に通知することとする。図７におけるＴｙは、このような異常パターンが現れたタイミングを示している。例えば描画条件決定部３２は、瞬きの異常パターン、及び視線移動の異常パターンの双方が所定時間内に発生した場合に、酔いの初期症状が現れていると判定する。

【0034】

描画条件決定部３２は、目情報取得部３１が通知する瞬きの異常パターンや視線移動の異常パターンに基づいて酔いの症状が現れていると判定した場合、酔いの低減処理を実行する。具体的には、酔いが生じにくくなるような動画像の描画処理を実行するよう、動画像描画部３３に対して指示する。

【0035】

このような酔いの低減処理の具体例としては、フレームレートを増加させる（フレーム画像の描画頻度を高くする）、ブラー効果などによりフレーム画像全体をぼかす、全体的なコントラストや彩度を下げるようにフレーム画像の色を変化させる、などの処理が挙げられる。また、各種のオブジェクトが配置された仮想空間内の様子を示す動画像が描画されている場合、仮想空間内の様子を描画する際の基準となる視点位置（視点カメラ）の移動速度を制御してもよい。具体的には、視点カメラの移動速度を低下させることで、酔いの症状を生じにくくさせることができる。

【0036】

さらに、酔いの低減処理が実行されている間も、目情報取得部３１は瞬きや視線移動の異常パターンを監視し続けることとする。描画条件決定部３２は、所定時間にわたって異常パターンが発生しない状態が続けば、酔いの低減処理によって酔いの症状が緩和されたと判定し、酔いの低減処理を終了してもよい。

【0037】

図８は、以上説明した描画条件決定部３２が実行する処理の流れの一例を示している。この図では、所定のフレーム更新時間が経過するごとに描画条件決定部３２が実行する処理の流れが示されている。まず描画条件決定部３２は、現在描画処理を中断している状態か否かに応じて処理を分岐させる（Ｓ１）。描画処理を中断している状態でなければ、瞬きの開始（目を閉じ始めるタイミング）が目情報取得部３１から通知されたか否かを判定する（Ｓ２）。瞬きの開始が通知されれば、フレーム画像の描画処理を中断する状態に遷移して(Ｓ３)、そのフレームの処理を終了する。一方、瞬きの開始が通知されていなければ、後述するＳ５に進んでフレーム画像の描画指示を行う。

【0038】

Ｓ１で描画処理を中断している状態と判断された場合、瞬きの終了（目を開き始めるタイミング）が目情報取得部３１から通知されたか否かを判定する（Ｓ４）。瞬きの終了が通知されれば、フレーム画像の描画処理を中断する状態を終了し、Ｓ５に進んで描画処理を再開する。一方、瞬きの終了が通知されていなければ、フレーム画像の描画処理を中断する状態を維持するので、そのフレームの処理は終了する。

【0039】

フレーム画像の描画処理を実行する場合、続いて描画条件決定部３２は、現在酔いの低減処理を実行中か否かに応じて処理を分岐させる（Ｓ５）。酔いの低減処理を実行中でない場合、酔いの初期症状を示す瞬きや視線移動の異常パターンが検出されたか否かを判定する（Ｓ６）。酔いに起因する異常パターンが発生していると判定される場合、酔いの低減処理を実行する状態に遷移し（Ｓ７）、酔いを低減するような条件でフレーム画像の描画を行うよう動画像描画部３３に指示する（Ｓ８）。一方、酔いによる異常パターンが検出されていなければ、通常の条件でのフレーム画像描画を動画像描画部３３に対して指示する（Ｓ９）。

【0040】

Ｓ５で酔いの低減処理を実行中と判断された場合、目情報取得部３１からの通知に基づいて酔いの症状が解消されたか否かを判定する（Ｓ１０）。酔いに起因する異常パターンが所定時間検出されていないなど、酔いの症状が解消されたと判定される場合には、酔いの低減処理を終了し（Ｓ１１）、通常の条件でのフレーム画像描画を動画像描画部３３に対して指示する（Ｓ９）。一方、酔いの症状が解消されていない場合には、酔いの低減処理を継続する（Ｓ８）。

【0041】

異常説明した本発明の実施形態に係る画像処理装置１０によれば、閲覧者の瞬きの情報を用いてフレーム画像の描画を抑制することによって、描画に伴う処理負荷を軽減できる。また、閲覧者の目の状態に関する情報を利用することで、酔いの症状を早期に発見し、その対処を行うことができる。

【0042】

なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では、表示装置２０は頭部装着型の表示装置であることとしたが、これに限らず、表示装置２０は据え置き型のものであってもよい。その場合、眼電位センサー２１は表示装置２０とは分離独立したデバイスとして閲覧者に取り付けられるものであってよい。

【0043】

また、閲覧者の目の動きに関する情報は、眼電位センサーに限らずその他のセンサーで取得されてもよい。例えば画像処理システム１は、閲覧者の目の位置に向けられたカメラデバイスによって撮像された映像を解析することによって、閲覧者の瞬きのタイミングや視線の動きを特定してもよい。

【符号の説明】

【0044】

１ 画像処理システム、１０ 画像処理装置、１１ 制御部、１２ 記憶部、１３ インタフェース部、２０ 表示装置、２１ 眼電位センサー、３１ 目情報取得部、３２ 描画条件決定部、３３ 動画像描画部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】