特許 7543187 画像表示制御装置、画像表示制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-23

(45)【発行日】2024-09-02

(54)【発明の名称】画像表示制御装置、画像表示制御方法、及びプログラム

(51)【国際特許分類】

   G01C 21/34 20060101AFI20240826BHJP

   G08G 1/16 20060101ALI20240826BHJP

   G06T 19/00 20110101ALI20240826BHJP

   G06F 3/01 20060101ALI20240826BHJP

【ＦＩ】

G01C21/34

G08G1/16 D

G06T19/00 600

G06F3/01 510

【請求項の数】 7

(21)【出願番号】P 2021042762

(22)【出願日】2021-03-16

(65)【公開番号】P2022142553

(43)【公開日】2022-09-30

【審査請求日】2023-11-07

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】陳 放歌

【審査官】増子 真

(56)【参考文献】

【文献】特開２０２０－０６１６４２（ＪＰ，Ａ）

【文献】特開２００３－２９１６８８（ＪＰ，Ａ）

【文献】特開２０１４－１７４８７９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１９４１１０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０１Ｃ ２３／００ － ２５／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０ － １３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００ － １９／２０

(57)【特許請求の範囲】

【請求項1】

現実空間又は現実空間の撮像画像に、ユーザが視認可能な対象画像を重畳してディスプレイに表示させる画像表示制御部と、
前記ユーザの視線を計測する計測装置から出力される情報に基づいて、前記ユーザが注視している領域である視界領域を演算する視界領域演算部と、
前記ディスプレイ上に前記視界領域が存在する場合に、前記ディスプレイ上の前記対象画像の表示位置を前記視界領域の外側に移動させる移動経路を生成する移動経路生成部と、を備え、
前記画像表示制御部は、前記移動経路に沿って前記表示位置を移動させ、
前記視界領域演算部は、新たな前記視界領域となり得る前記ユーザの予測視界領域を予測する視界領域予測部を有し、
前記視界領域は、前記予測視界領域を含む、画像表示制御装置。

【請求項2】

前記視界領域予測部は、
前記ユーザの視線方向を撮像する第１撮像装置から撮像画像を取得し、
前記ユーザの視線方向の撮像画像から、所定時間が経過した後に前記ユーザが注視する可能性のある注視対象物を特定し、
前記注視対象物に基づいて、前記予測視界領域を予測する、請求項１に記載の画像表示制御装置。

【請求項3】

前記視界領域予測部は、
前記計測装置から、前記ユーザの瞳の位置情報を取得し、
前記ユーザの瞳の位置から前記注視対象物の方向を、前記ユーザが前記注視対象物を視認した場合の前記ユーザの予測視線として予測し、
前記ユーザの予測視線に基づいて、前記予測視界領域を予測する、請求項２に記載の画像表示制御装置。

【請求項4】

前記視界領域予測部は、前記移動経路が生成された後に、新たな前記予測視界領域を予測し、
前記移動経路生成部は、前記移動経路と前記新たな予測視界領域が重なる場合、前記新たな予測視界領域の外側に、新たな前記移動経路を生成する、請求項１に記載の画像表示制御装置。

【請求項5】

前記ユーザは、車両の乗員であり、
前記注視対象物は、前記車両の周辺に存在する移動体、前記車両が走行する道路の交通規則を示す情報提示物、前記車両の走行を妨げる障害物、及び前記車両に搭載され、前記乗員が操作可能な車載機器のうち少なくとも一つを含む、請求項２又は３に記載の画像表示制御装置。

【請求項6】

請求項１～５のいずれか一項に記載の画像表示制御装置としてコンピュータを機能させる、プログラム。

【請求項7】

コンピュータにより実行される画像表示制御方法であって、
現実空間又は現実空間の撮像画像に、ユーザが視認可能な対象画像を重畳して表示する画像信号をディスプレイに出力し、
前記ユーザの視線を計測する計測装置から出力される情報に基づいて、前記ユーザが注視している領域である視界領域を演算し、
前記ディスプレイ上に前記視界領域が存在する場合に、前記ディスプレイ上の前記対象画像の表示位置を前記視界領域の外側に移動させる移動経路を生成し、
前記移動経路に沿って前記表示位置を移動させ、
新たな前記視界領域となり得る前記ユーザの予測視界領域を予測し、
前記視界領域は、前記予測視界領域を含む、画像表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像表示制御装置、画像表示制御方法、及びプログラムに関する。

【背景技術】

【0002】

現実の空間を模した仮想空間に画像を展示する画像表示装置が知られている（例えば、特許文献１）。特許文献１に記載の画像表示装置は、画像と画像の鑑賞者を表すアバターを仮想空間内に表示する表示部と、仮想空間内でアバターを移動させるためのアバター制御部と、画像とアバターとの相対的な位置関係に応じて画像の表示態様を変化させる表示制御部と、を備える。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２７１６１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の画像表示装置では、現実空間にいるユーザの視界を考慮して、アバターを移動させることができない。このため、ユーザが現実空間と仮想対象物とを同時に視認可能な拡張現実において、ユーザの視界に含まれないように仮想対象物であるアバターを移動させることが難しい、という問題がある。

【0005】

本発明が解決しようとする課題は、拡張現実において、ユーザの視界に含まれないように仮想対象物を移動させることができる画像表示装置、画像表示方法、及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

本発明は、現実空間又は現実空間の撮像画像に、ユーザが視認可能な対象画像を重畳してディスプレイに表示させ、ユーザの視線を計測する計測装置から出力される情報に基づいて、ユーザが注視している領域である視界領域を演算し、ディスプレイ上に視界領域が存在する場合に、ディスプレイ上の対象画像の表示位置をユーザの視界領域の外側に移動させるための移動経路を生成し、移動経路に沿って対象画像の表示位置を移動させる場合に、視界領域に、新たな視界領域となり得るユーザの予測視界領域を含めることで、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、ユーザの視界を考慮して、仮想対象物を移動させるための移動経路を生成することができるため、拡張現実において、ユーザの視界に含まれないように仮想対象物を移動させることができる。

【図面の簡単な説明】

【0008】

【図1】本発明の画像表示装置、画像表示方法、及びプログラムを適用した画像表示システムを示すブロック図である。

【図2】移動経路生成部による移動経路の生成方法を説明するための説明図である。

【図3】画像表示システムにより実行される、アバターが移動するまでのフローを示すフローチャートである。

【図4】図３に示すフローチャートの続きを示すフローチャートである。

【図5】変形例に係る画像表示システムにより実行される、アバターが移動するまでのフローを示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。

【0010】

本実施形態は、本発明に係る画像表示制御装置、画像表示制御方法、及びプログラムを適用した画像表示システムに関するものである。本実施形態に係る画像表示システムは、現実空間又は現実空間の撮像画像に対して、現実空間に存在しない仮想の対象物や仮想の物体（以降、これらの総称として仮想対象物という）をディスプレイに重畳して表示させることで、ユーザに現実空間及び仮想対象物を視認させるシステム、いわゆる拡張現実（Argument Reality: AR）の技術を用いたシステムである。このような拡張現実を用いた画像表示システムでは、仮想対象物は、ユーザの行動とは関係なく移動する場合がある。本実施形態に係る画像表示システムは、ユーザには視認されていない仮想対象物が移動するにあたり、ユーザの視界の外側に、仮想対象物を移動させるための移動経路を生成することで、ユーザが仮想対象物の移動に気を取られるのを抑制できるシステムである。

【0011】

図１は、本実施形態に係る画像表示システム１００を示すブロック図である。本実施形態では、画像表示システム１００が車両に搭載されており、画像表示システム１００を利用するユーザとして、車両の乗員を例に挙げて説明する。以降の説明では、具体的に、車両の乗員のうち運転者を例に挙げて説明するが、ユーザは人間であればよく、運転者に限定されない。また、画像表示システム１００は、車載用の画像表示システムに限定されない。

【0012】

また本実施形態では、運転者が視認可能な仮想対象物として、遠隔地ユーザを模したアバターを例に挙げて説明する。遠隔地ユーザとは、車両の室内とは別の空間に位置するユーザである。アバターは、例えば、遠隔地ユーザの操作によって、運転者の行動とは無関係に移動することができる。なお、仮想対象物は、遠隔地ユーザを模したアバターに限られず、人口知能（Artificial intelligence： AI）により自律的に移動可能なアバターであってもよい。

【0013】

図１に示すように、画像表示システム１００は、車載カメラ１、視線計測装置２、ディスプレイ３、及び画像表示制御装置１０を含む。画像表示システム１００を構成する各装置の間は、有線又は無線により電気的に接続されており、情報（データ、信号ともいう）の授受が可能となっている。なお、本実施形態では、装置間の通信規格は、特に限定されず、本願出願時に知られた通信規格を適宜利用できるものとする。

【0014】

車載カメラ１は、車両に搭載され、車両の前方を撮像する撮像装置である。車載カメラ１は、運転者が視認できる範囲を撮像できるように設けるのが好ましく、車両の前方を撮像する前方カメラに加えて、車両の側方を撮像する側方カメラ、車両の後方を撮像する後方カメラを含んでいてもよい。車載カメラ１により撮像された撮像画像は、車両の周辺撮像画像データとして、画像表示制御装置１０に出力される。車載カメラ１は、運転者が視認できる範囲を撮像する装置又は機器であればよく、その形態、数、特性、設置場所などは特に限定されない。例えば、車載カメラ１は、複数のカメラ又は種別が複数のカメラで構成されていてもよい。

【0015】

視線計測装置２は、運転者の視線を計測する計測装置である。視線計測装置２は、運転者の視点の位置や、運転者の瞳の動きを逐次計測し、運転者の視線を追跡する。視線計測装置２は、運転者の視線を追跡する機器として、アイトラッカーとも称される。視線計測装置２は、運転者の視線を計測できる計測装置であればよく、その形態、数、特性、設置場所などは特に限定されない。例えば、視線計測装置２は、運転者が装着する拡張現実デバイス（例えば、AR Glass）に設けられ、運転者の瞳を撮像する視線計測用カメラ２０を有している。例えば、視線計測装置２は、車両の室内の所定の位置に設けられ、運転者の顔を撮像する視線計測用カメラ２０を有している。

【0016】

また視線計測装置２は、画像処理機能を備えており、画像処理によって撮像画像から運転者の視線を計測する。例えば、視線計測装置２が車両の室内に設けられている場合、視線計測装置２は、視線計測用カメラ２０により撮像された運転者の顔の撮像画像に対して、本願出願時に知られた画像処理を実行し、運転者の眼球の位置や、鼻や眉毛など運転者の顔の特徴点の位置を特定する。また、視線計測装置２は、特定した各特徴点の位置情報に基づき、運転者の顔の向き特定する。また、視線計測装置２は、運転者の眼球に対して、本願出願時に知られた画像処理を実行し、眼球のうち瞳の向きを特定する。このような画像処理を経て、視線計測装置２は、運転者の顔の向きに対する運転者の瞳の方向を特定し、運転者の瞳の方向を運転者の視線とする。視線計測装置２により計測された運転者の視線に関する情報は、所定の時間ごとに、画像表示制御装置１０に出力される。なお、上述した視線計測装置２による運転者の視線の計測方法は一例であって、視線計測装置２には、本願出願時に知られた視線追跡技術（アイトラッキング技術）を適用することができる。

【0017】

ディスプレイ３には、画像表示制御装置１０から画像信号が入力される。ディスプレイ３は、画像表示制御装置１０からの画像信号に基づき、現実空間又は現実空間の撮像画像に仮想対象物が重畳された画像を表示する。ディスプレイ３は、画像信号に含まれる仮想対象物の種別、仮想対象物を表示する向き、仮想対象物を表示する位置などの情報に基づき、仮想対象物を現実空間又は現実空間の撮像画像に重畳して表示する。ディスプレイ３としては、例えば、AR Glassなどの拡張現実デバイスに設けられ、眼鏡型のディスプレイが挙げられる。またディスプレイ３は、ユーザ毎に設けられたディスプレイに限られず、例えば、車両の室内に設けられ、複数の車両の乗員が共用可能なディスプレイであってもよい。

【0018】

画像表示制御装置１０は、アバターが移動する際の経路である移動経路を生成するためのプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成される。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。以降では、画像表示制御装置１０が実行するプログラムは、ＲＯＭに格納されたプログラムとして説明するが、プログラムの格納場所は画像表示制御装置１０の外部であってもよい。例えば、画像表示制御装置１０が実行するプログラムは、コンピュータが読み取り可能な記録媒体に格納されていてもよい。この場合、当該記録媒体と画像表示制御装置１０とを所定の規格を用いて接続することで、画像表示制御装置１０は、記録媒体に記録されたプログラムを実行することができる。本実施形態では、画像表示制御装置１０は、ユーザが装着する拡張現実デバイスに設けられているものとして説明する。

【0019】

図１に示すように、画像表示制御装置１０は、画像表示制御部１１、視線情報取得部１２、視界領域演算部１３、及び移動経路生成部１６を含み、これらのブロックは、ＲＯＭに記憶されたプログラムによって、後述する各機能を実現する。

【0020】

画像表示制御部１１は、現実空間又は現実空間の撮像画像に、ユーザが視認可能な仮想対象物を重畳した画像を表示するための画像信号をディスプレイ３に出力して、画像信号に応じた画像をディスプレイ３に表示させる。画像表示制御部１１には、本願出願時に知られた拡張現実の技術が適用することができる。例えば、光学シースルー方式の場合、画像表示制御部１１は、仮想対象物を表す画像と現実空間からの光をハーフミラーやプリズムなどの光学素子によって合成することで、現実空間に仮想対象物を重畳させて表示することができる。また例えば、ビデオシースルー方式の場合、画像表示制御部１１は、拡張現実デバイスに設けられたカメラ（図示しない）により撮像された現実空間の撮像画像と、仮想対象物を表す画像とを、仮想空間（映像空間ともいう）の中で合成することで、現実空間の撮像画像に仮想対象物を重畳させて表示することができる。本実施形態では、ビデオシースルー方式を例に挙げて説明する。

【0021】

例えば、画像表示制御部１１は、仮想空間として、車両の室内の様子を模した空間の三次元モデルをＲＯＭなどの記憶装置に記憶している。以降、便宜上、車両の室内空間を表した三次元モデルを、単に三次元モデルと称して説明する。例えば、三次元モデルは、車両の室内の撮像画像から生成され、予め記憶装置に記憶されている。画像表示制御部１１は、いわゆるレジストレーションと呼ばれる、現実空間の座標と三次元モデルの座標を一致させる処理を実行する。例えば、画像表示制御部１１は、視線計測装置２をキャリブレーションするためのメモリを有している。キャリブレーションとは、校正のことである。画像表示制御部１１は、画像表示制御の初期処理として、視線計測装置２の座標（現実に視線計測装置２が位置する場所）を三次元モデルの座標に変換する座標変換処理を実行して、三次元モデル内での視線計測装置２の座標を演算する。そして、画像表示制御部１１は、演算された三次元モデル内での視線計測装置２の座標をキャリブレーション用のメモリに記憶させる。

【0022】

視線情報取得部１２は、視線計測装置２から運転者の視線に関する情報を取得する。運転者の視線に関する情報は、運転者の瞳の位置、運転者の瞳が向く方向、及び運転者の顔の向きを含む。視線情報取得部１２は、所定の時間ごとに、視線計測装置２から運転者の視線に関する情報を取得する。

【0023】

また運転者が装着する拡張現実デバイスに視線計測装置２が設けられている場合、視線情報取得部１２は、拡張現実デバイスに設けられ、運転者の頭部の動きを検出するセンサ（例えば、ジャイロセンサ）から、所定の時間ごとに、視線計測装置２の位置情報（座標情報）を取得する。視線情報取得部１２により取得された視線計測装置２の位置情報は、画像表示制御部１１による座標変換処理、視界領域特定部１４による視界領域特定処理、及び視界領域予測部１５による視界領域予測処理に用いられる。視線計測装置２の位置情報を加味して、これらの処理を実行することで、運転者の頭部の動きに伴い、視線計測装置２が移動したとしても、三次元モデル内で視線計測装置２の座標を移動させ、運転者の視点の移動を三次元モデル内で再現させることができる。

【0024】

視界領域演算部１３は、視線情報取得部１２が取得した運転者の視線情報に基づいて、運転者の視界領域を演算する。本実施形態では、図１に示すように、視界領域演算部１３は、視界領域特定部１４及び視界領域予測部１５で構成されている。

【0025】

視界領域特定部１４は、視線情報取得部１２が取得した運転者の視線情報に基づいて、現在の運転者の視界領域を特定する。運転者の視界領域とは、運転者の視界を表した領域であって、高さ、幅、奥行き、及び方向の要素で構成される領域である。運転者の視界領域は、運転者が注視している領域であって運転者の視力が比較的高い中心視野、中心視野の外側の領域であって運転者の視力が比較的低い周辺視野を含む。

【0026】

例えば、視界領域特定部１４は、運転者の瞳の向きから、運転者の視線方向を特定すると、三次元モデル内に運転者の視界を表した画像を生成して、運転者の視野角及び運転者の視野の奥行を視覚化する。運転者の視界を視覚化した画像としては、例えば、頂点が運転者の瞳の中心に位置し、高さが運転者の視線に沿い、側面の中心角が３０度の円錐の画像が挙げられる。例えば、運転者の視界を視覚化した画像は、記憶装置に予め記憶されており、視界領域特定部１４は、記憶装置から円錐の画像を読み出し、運転者の瞳の中心の位置に円錐の頂点に合わせつつ、運転者の視線を円錐の高さを合わることで、三次元モデル内に運転者の視界領域を生成する。

【0027】

また、視界領域特定部１４は、視線情報取得部１２が視線計測装置２から経時的に取得した運転者の視線情報に基づいて、運転者の視線が移動することを検知するとともに、運転者の視線が移動する方向を特定する。例えば、視界領域特定部１４は、現在の運転者の視線方向と、所定時間前の運転者の視線方向とを比較し、所定時間前の運転者の視線方向と現在の運転者の視線方向が異なる場合、所定時間前の運転者の視線方向から現在の運転者の視線方向を、運転者の視線の移動方向として特定する。

【0028】

視界領域予測部１５は、所定時間が経過した後にユーザの視界領域となり得るユーザの予測視界領域を予測する。ユーザの予測視界領域とは、現在のユーザの視界領域とは異なる新たなユーザの視界領域である。所定時間は予め定められた時間である。所定時間としては、例えば、数秒程度が挙げられる。なお、所定時間が短いほど、視界領域予測部１５による処理回数が増え、画像表示制御装置１０の演算負荷が増える。一方、所定時間が長いほど、予測視界領域の予測精度が低下する。所定時間には、演算負荷と予測精度との関係から、実験的に求めた時間を用いるのが好ましい。

【0029】

視界領域予測部１５による予測視界領域の予測方法としては、例えば、車載カメラ１により撮像された撮像画像に基づいて予測する方法が挙げられる。これは、運転者の気を逸らす現実の対象物が存在する場合、運転者は当該対象物の方に視線を移動させ、運転者の視界が移動する、という観点に基づく。視界領域予測部１５は、本願出願時に知られた画像認識処理を実行することで、車載カメラ１により撮像された車両前方の撮像画像から、運転者が注視する可能性のある注視対象物の種別、及び運転者の瞳の位置に対する注視対象物の相対的な位置を特定する。注視対象物は、所定時間が経過した後に運転者が注視する可能性のある対象物である。注視対象物としては、例えば、車両の周辺に存在する移動体、車両が走行する道路の交通規則を示す情報提示物、車両の走行を妨げる障害物、車両に搭載され、運転者が操作可能な車載機器などが挙げられる。上述した移動体は、運転者が乗車する車両以外の他車両、歩行者、自動二輪車、及び自転車を含む。また上述した情報提示物は、道路標識、路面標示、及び信号機を含む。

【0030】

視界領域予測部１５は、撮像画像から運転者の注視対象物を特定すると、現実空間に対応させるように、三次元モデル内に注視対象物の画像を生成する。この際、視界領域予測部１５は、本願出願時に知られたレジストレーション技術により、現実空間での注視対象物の位置を三次元モデル内での注視対象物の位置に対応させている。視界領域予測部１５は、三次元モデル内に、運転者の瞳の位置から注視対象物の位置の方向を、運転者が注視対象物を視認した場合の運転者の予測視線として生成する。そして、視界領域予測部１５は、三次元モデル内に、中心が運転者の瞳の中心に位置し、高さが運転者の予測視線に沿い、側面の中心角が１５度の円錐の画像を生成し、運転者の予測視界領域とする。なお、運転者の予測視界領域は、視界領域特定部１４により特定された現在の運転者の視界領域と同じ形状であってもよいし、異なる形状であってもよい。

【0031】

移動経路生成部１６は、視界領域特定部１４により特定された現在の運転者の視界領域の外側、及び視界領域予測部１５により予測された運転者の予測視界領域の外側に、ディスプレイ３上の仮想対象物の表示位置を移動させるための移動経路を生成する。移動経路とは、現在の運転者の視界領域及び運転者の予測視界領域に重ならない経路である。別の言い方をすれば、移動経路とは、運転者の視界領域及び運転者の予測視界領域と交わらない経路である。

【0032】

図２は、移動経路生成部１６による移動経路の生成方法を説明するための説明図である。図２（Ａ）は、移動経路生成部１６によるデフォルト経路の生成方法を説明するための説明図である。図２（Ａ）は、三次元モデル内を示している。図２（Ａ）において、始点Ｐ１は、画像表示制御部１１により、ディスプレイ３に表示されている仮想対象物の現在位置を示し、終点Ｐ２は、仮想対象物の移動先である目標位置を示す。

【0033】

移動経路生成部１６は、移動経路を生成するにあたり、仮想対象物の現在位置から目標位置までの複数のデフォルト経路を生成する。図２（Ａ）に示すように、移動経路生成部１６は、始点Ｐ１から終点Ｐ２までの複数のデフォルト経路として、経路Ｒ０～経路Ｒ４を生成する。経路Ｒ０は、始点Ｐ１から終点Ｐ２までの直線形状の経路である。経路Ｒ１及び経路Ｒ２は、経路Ｒ０が属するランダム角度の平面上で曲率が小さい曲線形状の経路である。経路Ｒ３及び経路Ｒ４は、経路Ｒ０が属する同平面上で曲率が経路Ｒ１及び経路Ｒ２よりも大きい曲線形状の経路である。経路Ｒ１と経路Ｒ２は、同平面上において経路Ｒ０を中心にした線対象の関係にあり、経路Ｒ３と経路Ｒ４は、同平面上において経路Ｒ０を中心にした線対象の関係にあるものとする。なお、図２（Ａ）に示す経路Ｒ０～経路Ｒ４は、デフォルト経路を説明するための経路であって、移動経路生成部１６が生成するデフォルト経路の数、デフォルト経路の生成方法を限定するものではない。

【0034】

移動経路生成部１６は、複数のデフォルト経路を生成すると、各デフォルト経路について、デフォルト経路が現在の運転者の視界領域と重なる範囲及びデフォルト経路が運転者の予測視界領域と重なる範囲を特定し、特定した範囲に応じて、複数のデフォルト経路の中から一つのデフォルト経路を選択する。

【0035】

例えば、移動経路生成部１６は、デフォルト経路ごとに、デフォルト経路が現在の運転者の視界領域を通過する回数と、デフォルト経路が現在の運転者の視界領域を通過している距離を演算する。また例えば、移動経路生成部１６は、デフォルト経路ごとに、デフォルト経路が運転者の予測視界領域を通過する回数と、デフォルト経路が運転者の予測視界領域を通過している距離を演算する。移動経路生成部１６は、複数のデフォルト経路の中から、現在の運転者の視界領域及び予測視界領域を通過する回数が最も少ないデフォルト経路を選択する。なお、選択結果として、複数のデフォルト経路が得られた場合、一つのデフォルト経路に絞るために、移動経路生成部１６は、選択された複数のデフォルト経路の中から、現在の運転者の視界領域及び予測視界領域を通過する距離が最も短いデフォルト経路を選択する。

【0036】

移動経路生成部１６は、複数のデフォルト経路の中から、一つのデフォルト経路を選択すると、選択したデフォルト経路に基づいて、現在の運転者の視界領域及び運転者の予測視界領域を迂回する経路を、移動経路として生成する。図２（Ｂ）は、移動経路生成部１６による移動経路の生成方法を説明するための説明図である。図２（Ｂ）は、図２（Ａ）に対応した図であり、三次元モデル内を示している。図２（Ｂ）において、始点Ｐ１及び終点Ｐ２は、図２（Ａ）に示すものと同様のため、始点Ｐ１及び終点Ｐ２については図２（Ａ）での説明を援用する。なお、図２（Ｂ）において、視界領域Ａ（実線）は、視界領域特定部１４により特定された現在の運転者の視界領域を示し、予測視界領域Ｂ（破線）は、視界領域予測部１５により予測された運転者の予測視界領域を示めす。

【0037】

例えば、図２（Ｂ）において、移動経路生成部１６は、図２（Ａ）に示す複数の経路Ｒ０～経路Ｒ４の中から、視界領域Ａ及び予測視界領域Ｂを通過する回数が最も少ない経路として、経路Ｒ０を選択したとする。この場合、移動経路生成部１６は、経路Ｒ０が視界領域Ａを通過し始めた通過開始位置及び経路Ｒ０が視界領域Ａを通過し終わる通過終了位置を特定する。また移動経路生成部１６は、経路Ｒ０が予測視界領域Ｂを通過し始めた通過開始位置及び経路Ｒ０が予測視界領域Ｂを通過し終わる通過終了位置を特定する。そして、移動経路生成部１６は、特定した各位置に基づき、経路Ｒ０上に迂回開始位置Ｐ３及び迂回終了位置Ｐ４を設定する。

【0038】

例えば、図２（Ｂ）に示すように、移動経路生成部１６は、経路Ｒ０上で予測視界領域Ｂの通過開始位置よりも始点Ｐ１側に５ｃｍの位置に、迂回開始位置Ｐ３を設定する。また例えば、移動経路生成部１６は、経路Ｒ０上で視界領域Ａの通過終了位置よりも終点Ｐ２側に５ｃｍの位置に、迂回終了位置Ｐ４設定する。

【0039】

移動経路生成部１６は、迂回開始位置Ｐ３及び迂回終了位置Ｐ４を設定すると、運転者の視線が移動する方向とは反対方向を、経路Ｒ０が視界領域Ａ及び予測視界領域Ｂを迂回する方向として設定する。例えば、移動経路生成部１６は、視界領域特定部１４から、運転者の視線の移動方向の情報を取得する。図２（Ｂ）の例の場合、移動経路生成部１６は、白塗りの矢印の方向を、ユーザの視線の移動方向と特定している。移動経路生成部１６は、ユーザの視線の移動方向とは反対方向に経路Ｒ０の迂回方向を設定する。図２（Ｂ）の例の場合、移動経路生成部１６は、黒塗りの矢印の方向を、迂回方向に設定している。

【0040】

移動経路生成部１６は、経路Ｒ０の迂回方向を設定すると、経路Ｒ０が視界領域Ａ及び予測視界領域Ｂを通過しないように、経路Ｒ０を修正する。具体的には、移動経路生成部１６は、迂回開始位置Ｐ３から迂回方向側に視界領域Ａ及び予測視界領域Ｂを迂回して迂回終了位置Ｐ４に到達するように、経路Ｒ０を修正して、移動経路Ｒ０１を生成する。なお、図２（Ｂ）に示す迂回開始位置Ｐ３及び迂回終了位置Ｐ４の設定方法は一例であって、迂回開始位置Ｐ３及び迂回終了位置Ｐ４を限定するものではない。また、図２（Ｂ）に示す移動経路Ｒ０１は一例であって、移動経路Ｒ０１の曲率や形状を限定するものではない。

【0041】

次に、図３及び図４に示すフローチャートを用いて、画像表示システム１００により実行されるアバターが移動開始するまでのフローについて説明する。図３及び図４は、画像表示システム１００により実行されるアバターが移動開始するまでのフローを示すフローチャートである。図３及び図４に示すフローチャートに従った処理は、画像表示制御装置１０により実行される。

【0042】

ステップＳ１０１では、画像表示制御装置１０は、視線計測装置２のキャリブレーションが終了したか否かを判定する。例えば、画像表示制御装置１０は、視線計測用カメラ２０について、当該カメラのパラメータ（内部パラメータ、外部パラメータ、歪み係数など）がキャリブレーションされているか否かを判定する。画像表示制御装置１０により肯定的な判定がされた場合、ステップＳ１０２に進み、画像表示制御装置１０により否定的な判定がされた場合、ステップＳ１１８に進む。

【0043】

ステップＳ１０１で否定的な判定がされた場合、ステップＳ１１８に進む。ステップＳ１１８では、画像表示制御装置１０は、視線計測装置２のキャリブレーションを実行する。ステップＳ１１８での処理が終了すると、ステップＳ１０２に進む。

【0044】

ステップＳ１０１で肯定的な判定がされた場合、又はステップＳ１１８での処理が終了した場合、ステップＳ１０２に進む。ステップＳ１０２では、画像表示制御装置１０は、視線計測装置２から運転者の視線情報を取得する。運転者の視線情報は、運転者の瞳の位置、運転者の瞳が向く方向、及び運転者の顔の向きを含む。

【0045】

ステップＳ１０３では、画像表示制御装置１０は、ステップＳ１０２で取得した運転者の視線情報に基づいて、現在の運転者の視界領域を特定する。例えば、画像表示制御装置１０は、運転者の視線情報に基づいて、三次元モデル内での運転者の瞳の位置及び瞳の方向を特定する。画像表示制御装置１０は、記憶装置から視界領域用の円錐の画像を読み出し、運転者の瞳の中心の位置に円錐の頂点に合わせつつ、運転者の視線を円錐の高さを合わることで、三次元モデル内に運転者の視界領域を生成する。

【0046】

ステップＳ１０４では、画像表示制御装置１０は、車載カメラ１から車両の周辺画像を取得する。例えば、画像表示制御装置１０は、車載カメラ１により撮像され、運転者が視認している車両前方の撮像画像を取得する。なお、画像表示制御装置１０は、車両前方の撮像画像に限られず、車両側方の撮像画像及び車両後方の撮像画像を取得してもよい。

【0047】

ステップＳ１０５では、画像表示制御装置１０は、ステップＳ１０４で取得した車両の周辺画像に基づいて、所定時間が経過した後の運転者の視線を予測する。例えば、画像表示制御装置１０は、車両前方の撮像画像から、運転者が注視する可能性のある注視対象物として、車両前方を走行する先行車両を特定する。画像表示制御装置１０は、運転者の瞳の位置から先行車両の位置の方向を、所定時間後の運転者の視線として予測する。

【0048】

ステップＳ１０６では、画像表示制御装置１０は、ステップＳ１０５で予測した運転者の視線に基づいて、運転者の予想視界領域を予測する。例えば、画像表示制御装置１０は、記憶装置から予測視界領域用の円錐の画像を読み出し、運転者の瞳の中心の位置に円錐の頂点に合わせつつ、運転者の予測視線を円錐の高さを合わることで、三次元モデル内に運転者の予測視界領域を生成する。

【0049】

ステップＳ１０７では、画像表示制御装置１０は、アバターが移動する予定があるか否かを判定する。例えば、画像表示制御装置１０は、遠隔地ユーザがアバターを操作可能な入力装置から、遠隔地ユーザによる操作情報を取得することで、アバターがこれから移動するか否かを判定することができる。画像表示制御装置１０により肯定的な判定がされた場合、ステップＳ１０８に進み、画像表示制御装置１０により否定的な判定がされた場合、ステップＳ１０１に戻る。なお、このステップで対象となるアバターは、運転者には現在視認されていないアバターである。言い換えると、このステップで対象となるアバターは、ステップＳ１０３で特定した現在の運転者の視界領域の外側に位置するアバターである。

【0050】

ステップＳ１０７で肯定的な判定がされた場合、ステップＳ１０８に進む。ステップＳ１０８では、画像表示制御装置１０は、アバターの移動先の情報を取得する。アバターの移動先とは、三次元モデル内での位置であって、ディスプレイ３上でのアバターの目標表示位置である。例えば、画像表示制御装置１０は、遠隔地ユーザがアバターを移動可能な入力装置から、アバターの移動先の情報を取得する。ステップＳ１０８での処理が終了すると、図４に示すステップＳ１０９に進む。

【0051】

ステップＳ１０９では、ステップＳ１０８で取得したアバターの移動先の情報に基づいて、アバターを移動させるための経路として、複数のデフォルト経路を生成する。例えば、図２（Ａ）に示すように、画像表示制御装置１０は、始点Ｐ１から終点Ｐ２に至る複数の経路Ｒ０～経路Ｒ４を生成する。

【0052】

ステップＳ１１０では、画像表示制御装置１０は、ステップＳ１０９で生成した各デフォルト経路について、ステップＳ１０３で特定した現在の運転者の視界領域及びステップＳ１０６で予測した運転者の予測視界領域との重なり具合を判定する。例えば、画像表示制御装置１０は、デフォルト経路ごとに、デフォルト経路が現在の運転者の視界領域を通過する回数及びデフォルト経路が現在の運転者の視界領域を通過する距離を演算する。また例えば、画像表示制御装置１０は、デフォルト経路が運転者の予測視界領域を通過する回数及びデフォルト経路が運転者の予測視界領域を通過する距離を演算する。

【0053】

ステップＳ１１１では、画像表示制御装置１０は、ステップＳ１１０で判定した重なり具合に基づいて、ステップＳ１０９で生成した複数のデフォルト経路の中から、一つのデフォルト経路を選択する。例えば、画像表示制御装置１０は、複数のデフォルト経路の中から、現在の運転者の視界領域及び予測視界領域を通過する回数が最も少ないデフォルト経路を選択する。

【0054】

ステップＳ１１２では、画像表示制御装置１０は、ステップＳ１１１で選択したデフォルト経路が現在の運転者の視界領域又は運転者の予測視界領域と重なっているか否かを判定する。このステップにおいて、画像表示制御装置１０は、ステップＳ１１０での判定結果を用いてもよい。画像表示制御装置１０により肯定的な判定がされた場合、ステップＳ１１３に進み、画像表示制御装置１０により否定的な判定がされた場合、ステップＳ１１６に進む。

【0055】

ステップＳ１１２で肯定的な判定がされた場合、ステップＳ１１３に進む。ステップＳ１１３では、画像表示制御装置１０は、運転者の視線が移動する方向を特定する。例えば、画像表示制御装置１０は、ステップＳ１０２で取得した運転者の視線情報に基づいて、運転者の視線が移動する方向を特定する。画像表示制御装置１０は、現在の運転者の視線と、所定時間前の運転者の視線とを比較することで、運転者の視線がどの方向に移動しているかを特定することができる。

【0056】

ステップＳ１１４では、画像表示制御装置１０は、ステップＳ１１３で特定したユーザの視線の移動方向とは反対方向に、デフォルト経路を迂回させる方向を設定する。

【0057】

ステップＳ１１５では、画像表示制御装置１０は、ステップＳ１０３で特定した運転者の視界領域、ステップＳ１０６で予測した運転者の予測視界領域、及びステップＳ１１４で設定した迂回方向に基づいて、ステップＳ１１１で選択したデフォルト経路を修正する。例えば、画像表示制御装置１０は、図２（Ｂ）に示すように、現在の運転者の視界領域Ａ及び運転者の予測視界領域Ｂを迂回方向に迂回するように、デフォルト経路Ｒ０を修正する。

【0058】

ステップＳ１１６では、画像表示制御装置１０は、アバターを移動させるための移動経路を設定する。ステップＳ１１５からステップＳ１１６に進んだ場合、画像表示制御装置１０は、ステップＳ１１５で修正されたデフォルト経路を、アバターの移動経路として設定する。またステップＳ１１２からステップＳ１１６に進んだ場合、画像表示制御装置１０は、ステップＳ１１１で選択されたデフォルト経路を、アバターの移動経路として設定する。

【0059】

ステップＳ１１７では、画像表示制御装置１０は、アバターがステップＳ１１６で設定した移動経路に沿って移動を開始したか否かを判定する。画像表示制御装置１０により肯定的な判定がされた場合、図３及び図４に示すフローチャートでの処理を終了させる。一方、画像表示制御装置１０により否定的な判定がされた場合、画像表示制御装置１０は、アバターが移動を開始するまで、ステップＳ１１７で待機する。

【0060】

以上のように、本実施形態に係る画像表示制御装置１０は、現実空間又は現実空間の撮像画像に、運転者が視認可能なアバターを示す画像を重畳してディスプレイ３に表示させる画像表示制御部１１と、視線計測装置２から出力される情報に基づいて、運転者の視界領域を演算する視界領域演算部１３と、運転者の視界領域の外側に、ディスプレイ３上のアバターの表示位置を移動させるための移動経路を生成する移動経路生成部１６と、を備える。これにより、運転者が現実空間とアバターを同時に視認可能な拡張現実において、運転者の視界に含まれないようにアバターを移動させることができる。例えば、運転者が車両前方を視認しながら車両を運転し、アバターが助手席に位置する場面において、アバターが助手席から後部座席に移動する場合、運転者の視界に含まれないように、アバターを助手席から後部座席に移動させることができる。運転に集中している運転者の気を削ぐことなく、アバターを移動させることができる。

【0061】

また、本実施形態では、視界領域演算部１３は、現在の運転者の視界領域を特定する視界領域特定部１４を有している。視界領域演算部１３により演算される運転者の視界領域は、現在の運転者の視界領域を含む。これにより、現在の運転者の視界に含まれないように、アバターを移動させることができ、特定方向を一定時間視認しながら運転に集中している運転者の気を削ぐことなく、アバターを移動させることができる。

【0062】

さらに、本実施形態では、視界領域演算部１３は、新たな運転者の視界領域となり得る運転者の予測視界領域を予測する視界領域予測部１５を有している。視界領域演算部１３により演算される運転者の視界領域は、運転者の予測視界領域を含む。これにより、予測される運転者の視界に含まれないように、アバターを移動させることができ、視線を移動させながら運転に集中している運転者の気を削ぐことなく、アバターを移動させることができる。

【0063】

加えて、本実施形態では、移動経路生成部１６は、ディスプレイ３上の現在のアバターの表示位置から目標の表示位置までの移動経路として、現在の運転者の視界領域及び運転者の予測視界領域を迂回する前記移動経路を生成する。移動経路は、現在の運転者の視界領域及び運転者の予測視界領域を迂回して、現在の表示位置から目標の表示位置に至る経路になるため、運転者の視界に含まれないようにアバターを移動させることができる。

【0064】

また、本実施形態に係る画像表示制御装置１０は、視線計測装置２から運転者の視線を含む情報を経時的に取得する視線情報取得部１２を備える。移動経路生成部１６は、運転者の視線が移動する場合、運転者の視線の移動方向とは反対方向を、運転者の視界領域及び運転者の予測視界領域に対して迂回させる方向に設定する。これにより、移動するアバターが運転者の視界に含まれる確率を低減させることができる。

【0065】

また、本実施形態では、視界領域予測部１５は、運転者の視線方向を撮像する車載カメラ１から撮像画像を取得し、運転者の視線方向の撮像画像から、所定時間が経過した後に運転者が注視する可能性のある注視対象物を特定し、注視対象物に基づいて、運転者の予測視界領域を予測する。これにより、所定時間が経過した後の運転者の視界領域を精度よく予測することができる。

【0066】

さらに、本実施形態では、視界領域予測部１５は、視線計測装置２から、運転者の瞳の位置情報を取得し、運転者の瞳の位置から注視対象物の方向を、運転者が注視対象物を視認した場合の運転者の予測視線として予測し、運転者の予測視線に基づいて、運転者の予測視界領域を予測する。これにより、所定時間が経過した後における運転者の視認方向及び視認範囲を精度よく予測することができる。

【0067】

加えて、本実施形態では、視線計測装置２は、運転者の瞳を撮像する視線計測用カメラ２０を有し、運転者の瞳の撮像画像に基づいて、運転者の視線を計測する。視界領域特定部１４は、運転者の視線に基づいて、現在の運転者の視界領域を特定する。これにより、現在運転者が視認している領域を精度よく特定することができる。

【0068】

加えて、本実施形態では、現在の運転者の視界領域は、運転者の中心視野及び周辺視野の領域を含む。これにより、現在運転者が視認している領域を精度よく特定することができる。

【0069】

また、本実施形態では、運転者が視認可能な仮想対象物の画像は、移動可能なアバターを示す画像である。これにより、運転者の視界に含まれないようにアバターを移動させることができる。

【0070】

また、本実施形態では、画像表示システム１００を利用するユーザは、運転者であり、運転者の注視対象物は、車両の周辺に存在する移動体、車両が走行する道路の交通規則を示す情報提示物、車両の走行を妨げる障害物、及び車両に搭載され、運転者が操作可能な車載機器のうち少なくともいずれかを含む。これにより、所定時間が経過した後の運転者の視界領域を精度よく予測することができる。

【0071】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【0072】

例えば、上述した実施形態では、画像表示制御装置１０は、現実空間に存在する物体又は当該物体の撮像画像を考慮することなく、移動経路を生成する場合を例に挙げて説明したが、本発明の画像表示制御装置は、現実空間に存在する物体又は当該物体の撮像画像を考慮して移動経路を生成してもよい。図５を用いて、変形例に係る画像表示制御装置３０について説明する。画像表示制御装置３０の構成は、図１に示す画像表示制御装置１０と同様のため、図１のブロック図を援用する。

【0073】

図５は、変形例に係る画像表示制御装置３０により実行されるアバターが移動するまでのフローを示すフローチャートである。図５は、図３に示すフローチャート以降のフローチャートを示し、図４に示すフローチャートに対応する。画像表示制御装置３０は、上述した実施形態と同様に、図３に示すフローチャートの処理を実行するものとする。なお、図５において、図４と同じ処理については、図４に示す符号と同じ符号を付している。このため、図４と同じ処理については、図４での説明を援用する。

【0074】

図５を用いて、上述した画像表示制御装置１０では実行されず、変形例に係る画像表示制御装置３０が実行するステップＳ２０１～ステップＳ２０５について説明する。ステップＳ２０１～ステップＳ２０５の処理は、変形例に係る画像表示制御装置３０の移動経路生成部１６により実行される。

【0075】

ステップＳ１０９で画像表示制御装置３０により複数のデフォルト経路が生成されると、ステップＳ２０１に進む。ステップＳ２０１では、画像表示制御装置３０は、ステップＳ１０９で生成した各デフォルト経路について、現実空間の物体との重なり具合を判定する。現実空間の物体とは、現実に存在し、運転者が視認可能な物体である。例えば、画像表示制御装置３０は、デフォルト経路ごとに、デフォルト経路が現実空間の物体を通過する回数及びデフォルト経路が現実空間の物体を通過する距離を演算する。

【0076】

ステップＳ２０２では、画像表示制御装置３０は、ステップＳ２０１で判定した重なり具合に基づいて、ステップＳ１０９で生成した複数のデフォルト経路の中から、一つのデフォルト経路を選択する。例えば、画像表示制御装置３０は、複数のデフォルト経路の中から、現実空間の物体を通過する回数が最も少ないデフォルト経路を選択する。

【0077】

ステップＳ２０３では、画像表示制御装置３０は、ステップＳ２０２で選択したデフォルト経路が現実空間の物体と重なっているか否かを判定する。このステップにおいて、画像表示制御装置３０は、ステップＳ２０１での判定結果を用いてもよい。画像表示制御装置３０により肯定的な判定がされた場合、ステップＳ２０４に進み、画像表示制御装置３０により否定的な判定がされた場合、ステップＳ２０５に進む。

【0078】

ステップＳ２０３で肯定的な判定がされた場合、ステップＳ２０４に進む。ステップＳ２０４では、画像表示制御装置３０は、ステップＳ２０２で選択したデフォルト経路を修正する。例えば、画像表示制御装置３０は、ステップＳ２０３でデフォルト経路が重なる現実空間の物体を迂回対象として特定する。画像表示制御装置３０は、現実空間の物体と重ならないよう、現実空間の物体を迂回したデフォルト経路に修正する。

【0079】

ステップＳ２０４での処理が終了すると、ステップＳ２０５に進む。ステップＳ２０５は、図３に示すステップＳ１１０に対応する。ステップＳ２０５では、画像表示制御装置３０は、図３に示すステップＳ１１０でのデフォルト経路を、ステップＳ２０４で修正されたデフォルト経路、又はステップＳ２０２で選択されたデフォルト経路に代えたうえで、図３に示すステップＳ１１０と同様の処理を実行する。以降、画像表示制御装置３０は、図３に示すステップＳ１１２～ステップＳ１１７での処理を実行する。

【0080】

以上のように、変形例に係る画像表示制御装置３０において、移動経路生成部１６は、現実空間に存在する物体と重ならない移動経路を生成する。これにより、アバターは、現実空間の物体と重ならないように移動することができる。そのため、例えば、運転者以外の車両の乗員が移動経路に沿って移動するアバターを視認した場合、当該乗員に違和感を与えるのを抑制することができるため、拡張現実に対する当該乗員の没入感が損なわれるのを抑制することができる。なお、現実空間の物体に限られず、移動経路生成部１６は、現実空間に存在する物体の撮像画像と重ならない移動経路を生成してもよい。

【0081】

また、例えば、上述した実施形態では、移動経路の生成回数を一回の場合を例に挙げて説明したが、移動経路の生成回数は複数回であってもよい。例えば、視界領域特定部１４は、移動経路生成部１６により移動経路が生成された後に、新たな運転者の視界領域を特定してもよい。また移動経路生成部１６は、生成した移動経路と、視界領域特定部１４により特定された新たな運転者の視界領域とが重なる場合、新たな運転者の視界領域の外側に、新たな移動経路を生成してもよい。また例えば、視界領域予測部１５は、移動経路生成部１６により移動経路が生成された後に、新たな運転者の予測視界領域を予測してもよい。また移動経路生成部１６は、生成した移動経路と、視界領域予測部１５により予測された新たな運転者の予測視界領域とが重なる場合、新たな運転者の予測視界領域の外側に、新たな移動経路を生成してもよい。運転者の視線が時々刻々と変化する場合であっても、時間の経過に合わせて移動経路を複数回生成することで、運転者の視界に含まれないようにアバターを移動させることができる。

【0082】

また、例えば、上述した実施形態では、予測視界領域の予測方法として、所定時間が経過した後の運転者の視線を用いた予測方法を例に挙げて説明したが、予測視界領域の予測方法はこれに限定されない。例えば、運転者の視線の移り変わりなどを示すデータをニューラルネットワークに入力させ、ニューラルネットワークに運転者が視認する可能性のある注視対象物を学習させてもよい。車両の周辺画像を学習済みのニューラルネットワークに入力すると、運転者の予測視界領域が出力され、所定時間が経過した後の運転者の視線を予測することなく、自動的に予測視界領域を予測する方法であってもよい。

【0083】

また、例えば、上述した実施形態では、視界領域特定部１４及び視界領域予測部１５で視界領域演算部１３が構成される場合を例に挙げて説明したが、視界領域演算部１３は、視界領域特定部１４及び視界領域予測部１５のうち少なくともいずれかで構成されていればよい。例えば、視界領域演算部１３は、視界領域特定部１４のみで構成されていてもよく、この場合、移動経路生成部１６は、視界領域特定部１４により特定された現在の運転者の視界領域の外側に、移動経路を生成する。これにより、少なくとも現在の運転者の視界に含まれないように、アバターを移動させることができる。また、例えば、視界領域演算部１３は、視界領域予測部１５のみで構成されていてもよく、この場合、移動経路生成部１６は、視界領域予測部１５により予測された運転者の予測視界領域の外側に、移動経路を生成する。これにより、運転者の視線が移動した場合、移動先の運転者の視界に含まれないようにアバターを移動させることができる。

【0084】

また、例えば、上述した実施形態では、視界領域予測部１５により予測される運転者の予測視界領域が一つの場合を例に挙げて説明したが、運転者の予測視界領域の個数は複数であってもよい。この場合、移動経路生成部１６は、予測された複数の予測視界領域の外側に、移動経路を生成する。これにより、所定時間が経過した後、アバターが運転者の視界に含まれない確率を高めることができる。

【符号の説明】

【0085】

１００…画像表示システム
１…車載カメラ
２…視線計測装置
２０…視線計測用カメラ
３…ディスプレイ
１０…画像表示制御装置
１１…画像表示制御部
１２…視線情報取得部
１３…視界領域演算部
１４…視界領域特定部
１５…視界領域予測部
１６…移動経路生成部

【図1】

【図2】

【図3】

【図4】

【図5】