特許 7446888 画像生成装置及び画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-01

(45)【発行日】2024-03-11

(54)【発明の名称】画像生成装置及び画像生成方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240304BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 14

(21)【出願番号】P 2020060391

(22)【出願日】2020-03-30

(65)【公開番号】P2021157749

(43)【公開日】2021-10-07

【審査請求日】2022-11-08

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】志小田 雄宇

(72)【発明者】

【氏名】井上 裕史

(72)【発明者】

【氏名】寺口 剛仁

(72)【発明者】

【氏名】西山 乘

(72)【発明者】

【氏名】大久保 翔太

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２０１４－１０６５４３（ＪＰ，Ａ）

【文献】特許第５９７７９０９（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

ユーザが視認する現実空間又は前記現実空間に対応する画像に重畳して表示される表示画像を生成する画像生成装置であって、
前記現実空間に存在する物体の輪郭を認識する輪郭認識部と、
前記ユーザに視認させる対象物を示す前記表示画像である対象物画像、及び前記物体の輪郭の少なくとも一部を含む前記表示画像である輪郭画像を生成する画像生成部と、
前記物体の輪郭の位置と前記対象物の表示位置との相対関係に応じて、前記輪郭画像の要否を判定する判定部とを備える画像生成装置。

【請求項2】

請求項１記載の画像生成装置であって、
前記画像生成部は、前記輪郭画像として、前記物体の輪郭を拡張した画像又は前記物体の輪郭をぼかした画像を生成する画像生成装置。

【請求項3】

請求項１記載の画像生成装置であって、
前記判定部は、前記ユーザを基準としたときに、前記物体よりも遠くに位置するように前記対象物が表示される場合、前記輪郭画像の要否を判定する画像生成装置。

【請求項4】

請求項３記載の画像生成装置であって、
前記判定部は、
前記対象物が遮蔽物の少なくとも一部に重畳して表示される場合、前記輪郭画像が必要と判定し、
前記対象物が遮蔽物に重畳して表示されない場合、前記輪郭画像が不要と判定し、
前記遮蔽物は、前記ユーザが前記対象物を視認するのを阻害する前記物体である画像生成装置。

【請求項5】

請求項４に記載の画像生成装置であって、
前記画像生成部は、前記判定部により前記輪郭画像が必要と判定された場合、前記対象物画像として、前記対象物のうち前記遮蔽物に重畳する部分を除いた画像を生成する画像生成装置。

【請求項6】

請求項１～５の何れかに記載の画像生成装置であって、
前記表示画像を前記ユーザに表示させる表示部を備える画像生成装置。

【請求項7】

ユーザが視認する現実空間又は前記現実空間に対応する画像に重畳して表示される表示画像を生成する画像生成装置であって、
前記現実空間に存在する物体の輪郭を認識する輪郭認識部と、
前記ユーザに視認させる対象物を示す前記表示画像である対象物画像、及び前記物体の輪郭の少なくとも一部を含む前記表示画像である輪郭画像を生成する画像生成部とを備え、
前記ユーザは、車両に乗車しており、
前記物体は、前記車両の室内に位置し、
前記対象物は、前記車両の室外に位置するように表示される画像生成装置。

【請求項8】

請求項７記載の画像生成装置であって、
前記画像生成部は、前記輪郭画像として、前記物体の輪郭を所定の範囲だけ拡張させた画像又は前記物体の輪郭を所定の範囲だけぼかした画像を生成する前に、前記車両の速度、前記車両の加速度、前記車両の走行位置、及び前記車両のイグニッションスイッチの状態のうち少なくとも何れか一つに基づき、前記所定の範囲を設定する画像生成装置。

【請求項9】

請求項８記載の画像生成装置であって、
前記画像生成部は、前記速度が高いほど前記所定の範囲を大きく設定し、又は前記速度が所定の閾値速度以上の場合、前記速度が前記閾値速度よりも低い場合よりも前記所定の範囲を大きく設定する画像生成装置。

【請求項10】

請求項８又は９記載の画像生成装置であって、
前記画像生成部は、前記加速度が高いほど前記所定の範囲を大きく設定し、又は前記加速度が所定の閾値加速度以上の場合、前記加速度が前記閾値加速度よりも低い場合よりも前記所定の範囲を大きく設定する画像生成装置。

【請求項11】

請求項８～１０の何れかに記載の画像生成装置であって、
前記画像生成部は、前記車両が高速道路を走行している場合、前記車両が一般道路を走行している場合よりも前記所定の範囲を大きく設定する画像生成装置。

【請求項12】

請求項８～１１の何れかに記載の画像生成装置であって、
前記画像生成部は、前記イグニッションスイッチがオンの場合、前記イグニッションスイッチがオフの場合よりも前記所定の範囲を大きく設定する画像生成装置。

【請求項13】

ユーザが視認する現実空間又は前記現実空間に対応する画像に重畳して表示される表示画像を生成する画像生成装置により実行される画像生成方法であって、
前記画像生成装置は、
前記現実空間に存在する物体の輪郭を認識し、
仮想の対象物を示す前記表示画像である対象物画像、及び前記物体の輪郭の少なくとも一部を含む前記表示画像である輪郭画像を生成し、
前記物体の輪郭の位置と前記対象物の表示位置との相対関係に応じて、前記輪郭画像の要否を判定する画像生成方法。

【請求項14】

ユーザが視認する現実空間又は前記現実空間に対応する画像に重畳して表示される表示画像を生成する画像生成装置により実行される画像生成方法であって、
前記画像生成装置は、
前記現実空間に存在する物体の輪郭を認識し、
仮想の対象物を示す前記表示画像である対象物画像、及び前記物体の輪郭の少なくとも一部を含む前記表示画像である輪郭画像を生成し、
前記ユーザは、車両に乗車しており、
前記物体は、前記車両の室内に位置し、
前記対象物は、前記車両の室外に位置するように表示される画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実の分野で利用される画像生成装置及び画像生成方法に関する。

【背景技術】

【0002】

表示画面における拡張現実情報の表示位置を決定し、決定した表示位置に拡張現実情報を表示させる拡張現実情報表示装置が知られている（特許文献１）。この拡張現実情報表示装置は、拡張現実情報が対応付けられた現実位置に遮蔽物による視認阻害部分があると判定した場合、視認阻害部分に対応する部分の拡張現実情報を非表示にする。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１９１３７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この種の装置は、空間認識用のセンサやヘッドトラキング用のセンサなどのデバイスを用いて、表示位置の決定や遮蔽物の検知を行っている。特許文献１に記載された拡張現実情報表示装置では、デバイスの検出誤差により、拡張現実情報と現実空間に存在する物体との間に位置ずれが発生した場合、例えば、視認阻害部分によって本来非表示にするべき拡張現実情報が表示される等、拡張現実に対してユーザに違和感を与えるおそれがある。

【0005】

本発明が解決しようとする課題は、ユーザが現実空間と仮想の対象物とを視認した際に、ユーザに違和感を与えるのを抑制できる画像生成装置及び画像生成方法を提供することである。

【課題を解決するための手段】

【0006】

本発明は、ユーザが視認する現実空間又は現実空間に対応する画像に重畳して表示される表示画像を生成する画像生成装置により、現実空間に存在する物体の輪郭を認識し、仮想の対象物を示す表示画像である対象物画像、及び物体の輪郭の少なくとも一部を含む表示画像である輪郭画像を生成することで、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、デバイスの検出誤差により、仮想の対象物と現実空間に存在する物体との間に位置ずれが発生した場合であっても、輪郭画像により当該位置ずれを隠蔽できるため、ユーザが現実空間と仮想の対象物とを視認した際に、ユーザに違和感を与えるのを抑制できる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態に係る画像生成装置を含むＡＲシステムの一例を示すブロック構成図である。

【図2】図２は、本実施形態に係る画像生成装置の制御装置により実現可能な機能を模式的に表したブロック図である。

【図3A】図３Ａは、本実施形態に係る画像生成装置による隠蔽処理を説明するための図である。

【図3B】図３Ｂは、本実施形態に係る画像生成装置による隠蔽処理を説明するための図である。

【図4A】図４Ａは、対象物と現実物体との位置ずれの一例である。

【図4B】図４Ｂは、対象物と現実物体との位置ずれの他の例である。

【図5】図５は、本実施形態に係る画像生成装置により生成された輪郭画像の一例である。

【図6】図６は、対象物画像及び輪郭画像をディスプレイに表示させた場合の一例である。

【図7】図７は、本実施形態に係る画像生成装置の制御装置が実行する処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明に係る画像生成装置及び画像生成方法の一実施の形態を図面に基づいて説明する。

【0010】

本実施形態では、透過型表示装置に表示される画像を生成する画像生成装置を例に挙げて説明する。本実施形態の画像生成装置は、透過型表示装置を備える画像表示端末と通信可能となっている。画像生成装置により生成された画像が透過型表示装置に表示されると、ユーザは、透過型表示装置を介して、自身の目の前にある現実空間と生成された画像とを同時に視認することができる。このような技術は、情報の付加により現実空間を拡張する技術として、拡張現実（ＡＲ:Augmented Reality）と称されている。本発明に係る画像生成装置及び画像生成方法は、拡張現実の分野に利用される。また、本実施形態では、拡張現実を実現する方式として、透過型表示装置を用いて拡張現実を実現する、いわゆるシースルー方式を例に挙げて説明する。

【0011】

図１は、本実施形態に係る画像生成装置１を含むＡＲシステム１００（拡張現実システム１００）の一例を示すブロック構成図である。図１に示すＡＲシステム１００は、上記の透過型表示装置に所定の画像を表示させることで、ユーザに現実空間と当該画像で示される対象物を同時に視認させることが可能なシステムである。以降では、ユーザに視認させる対象物を示す画像を、対象物画像と称して説明する。対象物は、ユーザが視認する現実空間において実際には存在しない仮想の対象物である。また、対象物は、仮想対象物、仮想オブジェクト、仮想物体、アバター（ユーザの分身となるキャラクター）などを含む。

【0012】

また、本実施形態では、対象物を視認するユーザとして、車両の乗員を例に挙げて説明するが、対象物を視認するユーザは車両の乗員に限定されない。例えば、ユーザは、電車、飛行機、又は船の乗員であってもよい。また、ユーザは、これらの移動体に乗っていなくてもよい。ＡＲシステム１００は、徒歩で移動しているユーザ、又は移動を停止したユーザに対しても適用することもできる。

【0013】

図１に示すように、ＡＲシステム１００は、画像生成装置１、画像表示端末２、ＥＣＵ３、ＥＣＵ４、センサ群３０、イグニッションスイッチ３４、及びナビゲーションシステム４０を含む。ＥＣＵ３、ＥＣＵ４、センサ群３０、イグニッションスイッチ３４、及びナビゲーションシステム４０は、車両に搭載されており、各装置間は、車載ネットワークを介して、情報の授受が可能となっている。

【0014】

車両に搭載されている各装置について説明する。ＥＣＵ３は、電子コントロールユニット（ＥＣＵ：Electronic Control Unit)などの車載コンピュータである。例えば、ＥＣＵ３は、センサ群３０及びイグニッションスイッチ３４から、車両の走行状態に関する情報を取得し、取得した情報に基づいて車両の走行制御又は運転支援制御を行う。なお、ＥＣＵ３が実行する制御は、センサ群３０から取得した情報を用いた制御であればよく、車両の走行制御及び運転支援制御以外であってもよい。

【0015】

図１に示すように、センサ群３０としては、例えば、車速センサ３１、加速度センサ３２、ジャイロセンサ３３などが挙げられる。車速センサ３１は、ドライブシャフトなどの駆動系の回転速度を計測し、これに基づき車両の走行速度（以下、車速ともいう）を検出する。加速度センサ３２は、車両の前後方向、左右方向、及び上下方向のうち少なくともいずれか一つの車両の加速度を検出する。ジャイロセンサ３３は、車両のヨー方向の角速度（ヨー角速度）、車両のピッチ方向の角速度（ピッチ角速度）、及び車両のロール方向の角速度（ロール角速度）を検出する。なお、車速センサ３１、加速度センサ３２、及びジャイロセンサ３３は一例であって、センサ群３０は、車両の走行状態に関する情報を検出するその他のセンサを含んでいてもよい。

【0016】

ＥＣＵ３は、センサ群３０から、車両の走行状態に関する情報として、車両の速度、車両の一方向又は複数方向における加速度、車両のヨー角速度、車両のピッチ角速度及び車両のロール角速度を取得する。ＥＣＵ３は、車両の速度等から、例えば、車両の姿勢（車両の挙動ともいう）を予測することができる。なお、センサ群３０には、車速センサ３１、加速度センサ３２、及びジャイロセンサ３３以外のセンサが含まれていてもよい。

【0017】

また、ＥＣＵ３は、イグニッションスイッチ３４から、車両の走行状態に関する情報として、車両のイグニッション情報を取得する。車両のイグニッション情報としては、例えば、イグニッションスイッチ３４がオン又はオフしていることを示す情報が挙げられる。ＥＣＵ３は、イグニッションスイッチ３４のオン又はオフの状態から、例えば、車両が走行可能な状態か否かを判別することができる。

【0018】

ＥＣＵ４も、ＥＣＵ３と同様に、電子コントロールユニット（ＥＣＵ：Electronic Control Unit)などの車載コンピュータである。例えば、ＥＣＵ４は、ナビゲーションシステム４０から、車両の走行環境に関する情報を取得し、取得した情報に基づいて車両の走行に必要な情報の判断及び情報の取得を行う。例えば、ＥＣＵ４は、ナビゲーションシステム４０から取得した道路情報及び車両の現在位置情報に基づき、ＶＩＣＳ（Vehicle Information and Communication System）（登録商標）から渋滞情報を取得するように通信機器を制御する。なお、ＥＣＵ４が実行する制御は、ナビゲーションシステム４０から取得した情報を用いた制御であればよく、情報取得という制御以外であってもよい。

【0019】

ナビゲーションシステム４０は、車両が現在走行している位置や目的地への経路案内を車両の乗員に行うシステムである。ナビゲーションシステム４０は、地図情報を格納するデータベース（図示しない）と、車両の走行位置を検出する位置検出装置（図示しない）とを備えている。地図情報には、道路情報、施設情報、それらの属性を含む。道路情報及び道路の属性情報には、道路交通法における道路の種別、道路幅、曲率半径、路肩構造物、道路交通法規（制限速度、車線変更の可否）、道路の合流地点、分岐地点、車線数の増加・減少位置等の情報が含まれている。位置検出装置は、ＧＰＳ（Global Positioning System）ユニットから取得した情報に基づいて車両の現在位置を検出する。位置検出装置は、ＧＰＳユニットに代えて、ジャイロセンサ及びオドメトリユニットを用いて、車両の現在位置を推定してもよい。ナビゲーションシステム４０は、地図情報を参照し、位置検出装置により検出された現在位置から目的地までの走行経路を算出する。

【0020】

次に、ユーザが視認する画像の生成及び表示に関する構成について説明する。図１に示すように、本実施形態では、画像生成装置１は、車載ネットワーク５により、ＥＣＵ３及びＥＣＵ４と接続されており、各ＥＣＵとの間で情報の授受が可能になっている。車載ネットワーク５としては、例えば、ＣＡＮ（Controller Area Network）が挙げられるが、その他の車載ＬＡＮであってもよい。

【0021】

また、本実施形態では、画像生成装置１と画像表示端末２とは別体であり、所定のネットワークを介して互いに情報を送受信可能に構成されている。画像生成装置１と画像表示端末２とを接続するネットワークの種別は限定されない。ネットワークは、Ｗｉ－Ｆｉ（登録商標）に基づくネットワークのような、いわゆる無線のネットワークにより構成されていてもよい。また、ネットワークは、インターネット、専用線、ＬＡＮ（Local Area Network）、または、ＷＡＮ（Wide Area Network）等により構成されていてもよい。また、ネットワークは、複数のネットワークを含んでもよく、一部又は全部が有線のネットワークで構成されていてもよい。例えば、画像生成装置１と画像表示端末２とを接続するネットワークは、車載ネットワーク５を含んでいてもよい。この場合、画像生成装置１と画像表示端末２とは、車載ネットワーク５を介して、情報を送受信可能に構成される。

【0022】

画像表示端末２は、画像生成装置１により生成された画像を表示する端末である。画像表示端末２は、画像生成装置１から表示対象である画像を受信する。本実施形態では、画像表示端末２が受信する画像の対象は、上述した対象物画像だけでなく、画像生成装置１により生成された輪郭画像も含む。輪郭画像については後述する。

【0023】

また本実施形態では、画像表示端末２は、ユーザが装着可能な形態を有しており、車両とは別体の端末である。ユーザが装着可能な端末は、ウェアラブル端末ともいう。画像表示端末２の形状としては、例えば、ユーザが頭部に装着可能な眼鏡形状が挙げられる。本実施形態では、眼鏡形状の画像表示端末２を例に挙げて説明する。なお、画像表示端末２の形状は眼鏡形状に限られない。例えば、画像表示端末２の形状は、ユーザの頭部を覆う帽子形状又はヘルメット形状、ユーザの両目を覆うゴーグル形状であってもよい。

【0024】

図１に示すように、画像表示端末２は、カメラ群２１と、センサ群２２と、ディスプレイ２３と、制御装置２４を備えている。各装置間は、配線、ネットワーク、信号線などで接続されており、互いに情報を入出力可能に構成されている。

【0025】

カメラ群２１は、画像表示端末２がユーザの頭部に装着されたときに、ユーザの頭部が向く方向を撮像するカメラ（以降、第１カメラともいう）と、ユーザの眼球を撮像するカメラ（以降、第２カメラともいう）とで構成される。

【0026】

第１カメラは、例えば、画像表示端末２がユーザの頭部に装着されたときに、ユーザの両目近傍となる位置に設けられる。また、第１カメラは、ユーザの左目近傍に設けられたカメラと、ユーザの右目近傍に設けられたカメラで構成される。このような構成にすることで、後述する制御装置２４は、各カメラで撮像された撮像画像間の視差に基づき、画像表示端末２からユーザが視認する現実空間に存在する物体までの距離（深度ともいう）を算出することができる。なお、以降の説明では、現実空間に存在する物体を、現実物体、または単に物体ともいう。

【0027】

第２カメラは、例えば、画像表示端末２がユーザの頭部に装着されたときに、撮像範囲内にユーザの眼球を含む位置に設けられる。また、第２カメラは、ユーザの左の眼球を撮像するカメラと、ユーザの右の眼球を撮像するカメラで構成される。このような構成にすることで、後述する制御装置２４は、左の眼球が撮像された撮像画像と、当該撮像画像を撮像したカメラとの位置関係に基づき、ユーザの左目が向いている方向（左目の視線方向）を認識することができる。同様の方法により、制御装置２４は、右の眼球が撮像された撮像画像と、当該撮像画像を撮像したカメラとの位置関係に基づき、ユーザの右目が向いている方向（右目の視線方向）を認識することができる。

【0028】

なお、上記カメラ群２１の構成は一例であって、カメラ群２１を構成するカメラの個数、カメラの大きさ、カメラの形状、カメラの画角は特に限定されない。後述する制御装置２４の機能又は拡張現実を実現する方式などに応じて、カメラ群２１の構成を変更してもよい。カメラ群２１により撮像された撮像画像は、制御装置２４に出力されるとともに、画像生成装置１に送信される。

【0029】

センサ群２２は、画像表示端末２がユーザの頭部に装着されたときに、ユーザの頭部の動きを検出する。例えば、センサ群２２は、ヨー方向、ピッチ方向、及びロール方向のそれぞれにおける角速度を検出する３軸ジャイロセンサと、各方向における加速度を検出する３軸加速度センサとで構成される。センサ群２２は、所定の周期で各方向の角速度及び加速度を検出する。このような構成にすることで、後述する制御装置２４は、画像表示端末２がユーザの頭部に装着されたときのユーザの頭部の動きとして、ユーザの頭部の位置及びユーザの姿勢のうち少なくともいずれかの変化を認識することができる。センサ群２２により検出された各種情報は、制御装置２４に出力される。

【0030】

ディスプレイ２３は、画像生成装置１により生成された画像を表示する。画像生成装置１により生成された画像は、その種別を問わずディスプレイ２３に表示されるため、以降では、画像生成装置１により生成された画像を表示画像と称す。本実施形態では、ディスプレイ２３として、例えば、レンズ形状を有した透過型のディスプレイが挙げられる。ディスプレイ２３は、画像表示端末２がユーザの頭部に装着されたときに、ユーザの眼前に位置するように設けられている。本実施形態では、ディスプレイ２３は、眼鏡形状における左右のレンズ部分それぞれに設けられる。ユーザは、ディスプレイ２３を介して、ディスプレイ２３に対して自身と反対側に位置する現実空間を視認することができる。また、制御装置２４によってディスプレイ２３に画像が表示された場合、ユーザは、当該画像が現実空間に重畳されて表示されているように感じる。これにより、ユーザは現実空間を認識するとともに、画像により示される情報（対象物など）を認識することができる。

【0031】

制御装置２４は、ハードウェア及びソフトウェアを備えたコンピュータにより構成され、プログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成されている。

【0032】

本実施形態では、制御装置２４と後述する画像生成装置１の制御装置１０とで拡張現実（ＡＲ）が実現されるように、各制御装置で特徴とする機能が異なっている。制御装置２４は、ＲＯＭに格納されたプログラムがＣＰＵにより実行されることで、物体認識機能と、深度認識機能と、自己位置推定機能と、空間認識機能と、頭部姿勢認識機能と、視線認識機能と、表示制御機能とを実現することができる。

【0033】

制御装置２４は、物体認識機能により、ユーザの周辺空間に存在する現実物体を認識する。例えば、制御装置２４は、第１カメラにより撮像された撮像画像に対して、物体認識用の画像処理を実行することで、ユーザの視野に含まれる一又は複数の現実物体の存否、現実物体の種別を認識する。

【0034】

制御装置２４は、深度認識機能により、ユーザの周辺空間に存在する現実物体とユーザとの距離（深度）と、平面上での現実物体の位置を認識する。例えば、制御装置２４は、第１カメラのうちユーザの左目近傍に設けられたカメラが撮像した撮像画像と、第１カメラのうちユーザの右目近傍に設けられたカメラが撮像した撮像画像との間の視差に基づき、ユーザから現実物体までの距離及び現実物体の平面位置を認識する。

【0035】

制御装置２４は、自己位置推定機能により、自己位置の推定と周辺空間の地図作成を同時に行い、周辺空間内におけるユーザの位置を推定する（ＳＬＡＭ：Simultaneously Localization and Mapping）。例えば、制御装置２４は、第１カメラにより撮像された撮像画像を解析することで、周辺空間の地図を作成するとともに、空間内での自己位置を推定する。

【0036】

制御装置２４は、空間認識機能により、ユーザの周辺に存在する空間を認識する。例えば、制御装置２４は、深度認識機能により得られた認識結果と、自己位置推定機能により得られた推定結果に基づき、ユーザの周辺に存在する３次元空間における画像表示端末２の位置を認識する。これにより、ユーザを基準としたときに、ユーザと現実物体との相対的な位置関係（現実物体が存在する方向及び距離を含む）を把握することができる。

【0037】

制御装置２４は、頭部姿勢認識機能により、ユーザの頭部の姿勢（ユーザの頭部の動き及びユーザの姿勢のうち少なくともいずれか一方）を認識する。例えば、制御装置２４は、センサ群２２を構成する３軸ジャイロセンサ及び３軸加速度センサの検出結果に基づき、ユーザの頭部の位置及びユーザの姿勢のうち少なくともいずれかの変化を認識する。

【0038】

制御装置２４は、視線認識機能により、ユーザの左右の視線をそれぞれ認識する。例えば、制御装置２４は、左目の眼球を撮像する第２カメラの位置と、当該第２カメラの撮像画像との位置関係に基づき、左目の視線方向を認識する。また例えば、制御装置２４は、右目の眼球を撮像する第２カメラの位置と、当該第２カメラの撮像画像との位置関係に基づき、右目の視線方向を認識する。

【0039】

制御装置２４は、表示制御機能により、ディスプレイ２３による表示処理を制御する。例えば、制御装置２４は、画像生成装置１から対象物画像を受信すると、空間認識機能により認識された空間内での表示位置を算出する。そして、制御装置２４は、ディスプレイ２３における表示位置に対象物画像を表示させる。

【0040】

例えば、ユーザ周辺の空間内に存在する所定の現実物体よりも近くに位置するように対象物を表示させる場合、制御装置２４は、認識した３次元空間内において、ユーザから対象物までの距離がユーザから当該現実物体までの距離よりも近い位置を算出する。制御装置２４は、対象物を表示位置に表示させるための制御信号を、ディスプレイ２３に出力する。

【0041】

また例えば、ユーザ周辺の空間内に存在する所定の現実物体に対して遠くに位置するように対象物を表示させる場合、制御装置２４は、認識した３次元空間内において、ユーザから対象物までの距離がユーザから当該現実物体までの距離よりも遠い位置を算出する。制御装置２４は、対象物を表示位置に表示させるための制御信号を、ディスプレイ２３に出力する。

【0042】

なお、本実施形態では、対象物の表示位置を設定する主体は特に限定されない。表示位置の設定を行う主体は、画像表示端末２を装着するユーザであってもよいし、画像表示端末２を装着するユーザ以外の人間であってもよいし、あるいは、ソフトウェアであってもよい。例えば、対象物の表示位置は、画像表示端末２と一体又は別体として設けられた入力装置を介して、ユーザにより設定されてもよい。また例えば、対象物の表示位置は、拡張現実用のアプリケーションソフトにより設定されてもよい。

【0043】

また制御装置２４は、表示制御機能により、視線認識機能により認識されたユーザの視線方向及び頭部姿勢認識機能により認識されたユーザの頭部の視線に基づき、表示位置を調整する。例えば、ユーザの視線が移動した場合、制御装置２４は、ユーザの視線と対象物との相対的な位置関係が視線の移動前後でも変わらないように、表示位置を調整する。また、例えば、ユーザの頭部が移動した場合又はユーザの姿勢が変化した場合、制御装置２４は、ユーザの頭部と対象物との相対的な位置関係が頭部の移動前後又は姿勢の変化前後でも変わらないように、表示位置を調整する。

【0044】

また制御装置２４は、表示制御機能により、画像生成装置１から輪郭画像を受信すると、空間認識機能により認識された空間内での表示位置を算出する。そして、制御装置２４は、ディスプレイ２３における表示位置に輪郭画像を表示させる。例えば、制御装置２４は、輪郭画像に基づき、どの現実物体の輪郭であるかを判別する。制御装置２４は、空間認識機能により認識された空間内において、判別された現実物体の位置を特定するとともに、当該現実物体の位置を表示位置として設定する。制御装置２４は、輪郭画像を表示位置に表示させるための制御信号を、ディスプレイ２３に出力する。これにより、輪郭画像は対応する現実物体の位置に重畳して表示されるため、あたかも現実物体の輪郭が輪郭画像により示される輪郭であるかのように、ユーザを錯覚させることができる。

【0045】

また制御装置２４は、表示制御機能により、画像生成装置１から対象物画像及び輪郭画像を受信した場合、輪郭画像が対象物画像に重畳するようにディスプレイ２３に表示させる。これにより、輪郭画像及び対象物画像を同時に表示させた場合に、２つの画像で重複した領域が存在しても、対象物画像が輪郭画像に重畳して表示されることを防ぐことができる。

【0046】

次に、画像生成装置１について説明する。画像生成装置１は、ハードウェア及びソフトウェアを備えたコンピュータにより構成され、プログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成されている。なお、動作回路としては、ＣＰＵ（Central Processing Unit）に代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。図１に示す制御装置１０は、ＣＰＵに相当する。また本実施形態では、画像生成装置１は、車両と別体の装置であって、車両の室内の任意の場所に設けられているが、画像生成装置１は、車両と一体的に設けられた装置であってもよい。また画像生成装置１は、車両外部のサーバに設けられた装置であってもよい。この場合、画像生成装置１と、車両に搭載されたＥＣＵ３などの装置及び画像表示端末２とは、通信機器（図示しない）を介して、互いに情報を送受信可能に構成されている。

【0047】

図２は、画像生成装置１の制御装置１０により実現可能な機能を模式的に表したブロック図である。図２に示すように、制御装置１０は、情報取得部１１と、輪郭認識部１２と、要否判定部１３と、対象物画像生成部１４と、輪郭画像生成部１５と、画像出力部１６を含む。なお、図２では、制御装置１０が実現可能な機能が６つのブロックで構成されているが、制御装置１０が実現可能な機能は、６つよりも少ないブロック、又は６つよりも多いブロックで構成されていてもよい。例えば、後述する対象物画像生成部１４及び輪郭画像生成部１５は、「画像生成部」として一つのブロックで構成されていてもよい。

【0048】

情報取得部１１は、画像生成装置１と直接的に又は間接的に接続されている機器、装置又はシステムから各種情報を取得する。本実施形態では、情報取得部１１は、画像表示端末２から、カメラ群２１により撮像された撮像画像、制御装置２４により認識されたユーザ周辺の空間に関する情報を取得する。また情報取得部１１は、ＥＣＵ３を介して、センサ群３０により検出された検出結果及びイグニッションスイッチ３４の情報を取得する。さらに情報取得部１１は、ＥＣＵ４を介して、ナビゲーションシステム４０で検出又は推定された車両の位置情報、及び地図情報を取得する。情報取得部１１は、所定の周期ごとに、上記の機器等から情報を取得する。情報取得部１１により取得された各種情報は、以降に説明するブロックで利用される。

【0049】

輪郭認識部１２は、ユーザが視認する現実空間に存在する一又は複数の現実物体の輪郭（現実物体のふち、現実物体の端、現実物体のエッジともいう）を認識する。例えば、輪郭認識部１２は、第１カメラにより撮像された撮像画像に対して画像処理を行うことで、現実物体のうちどの部分が輪郭に相当するかを認識する。また輪郭認識部１２は、制御装置２４により認識された空間内において、認識した輪郭がどこに位置するかを認識する。輪郭認識部１２は、本発明の「輪郭認識部」の一例に相当する。

【0050】

要否判定部１３は、輪郭認識部１２により認識された各物体の輪郭の位置と対象物との表示位置との相対関係に応じて、後述する輪郭画像の要否を判定する。要否判定部１３は、ユーザを基準としたときに、現実物体よりも遠くに位置するように対象物がディスプレイ２３に表示される場合、輪郭画像の要否を判定する。別の言い方をすれば、要否判定部１３は、ユーザを基準としたときに、現実物体の位置が対象物の表示位置よりも近い場合、輪郭画像の要否を判定する。

【0051】

具体的な要否判定方法について説明する。要否判定部１３は、対象物が遮蔽物の少なくとも一部に重畳して表示される場合、輪郭画像が必要と判定する。また要否判定部１３は、対象物が遮蔽物に重畳して表示されない場合、輪郭画像が不要と判定する。遮蔽物とは、現実物体のうち、ユーザが対象物を視認するのを阻害する現実物体である。遮蔽物の数、遮蔽物の大きさは特に限定されない。例えば、遮蔽物は、対象物の一部分を阻害する現実物体であってもよいし、対象物の複数部分を阻害する現実物体でもよい。要否判定部１３は、本発明の「判定部」の一例に相当する。

【0052】

対象物画像生成部１４は、ユーザに視認させる対象物を示す画像である対象物画像を生成する。対象物画像としては、例えば、いわゆるコンピュータグラフィックである、２次元モデル（２Ｄ、２Ｄ ＣＧ等ともいう）の画像又は３次元モデル（３Ｄモデル、３Ｄ ＣＧ等）の画像が挙げられる。また、対象物画像は、コンピュータグラフィックに限られず、カメラなどの撮像装置により撮像された撮像画像（静止画及び動画を含む）でもよい。本実施形態では、対象物画像生成部１４による対象物画像の生成過程は特に限定されない。例えば、対象物画像生成部１４は、画像生成装置１の記憶装置に記憶された複数の対象物画像から、ディスプレイ２３に表示させる対象物画像を取得してもよい。また例えば、対象物画像生成部１４は、車両外部に設けられたサーバから、対象物画像を取得してもよい。

【0053】

また対象物画像生成部１４は、要否判定部１３により輪郭画像が必要と判定された場合、対象物画像として、対象物のうち遮蔽物に重畳する部分を除いた画像を生成する。上記のように、輪郭画像が必要と判定されるためには、対象物が遮蔽物の少なくとも一部に重畳された表示されるため、対象物画像生成部１４は、意図的に対象物の一部又は全部を非表示にさせる処理、いわゆる隠蔽処理を行う。

【0054】

図３Ａ及び図３Ｂを用いて、画像生成装置１による隠蔽処理の一例を説明する。図３Ａ及び図３Ｂは、画像生成装置１による隠蔽処理を説明するための図である。図３Ａ及び図３Ｂは、画像表示端末２のディスプレイ２３の画面を示す。このような画面が表示される場面としては、車両の乗員であるユーザが車両の室内で画像表示端末２を装着し、車両前方を視認している場面が一例として挙げられる。ユーザは、ディスプレイ２３を介して、現実空間に存在するフロントウィンド６及びインストルメントパネル７などを視認する。

【0055】

例えば、仮想オブジェクトである対象物８をフロントウィンド６及びインストルメントパネル７よりも遠くに位置するように表示させる場合、対象物画像生成部１４は、対象物８を示す対象物画像に対して隠蔽処理を行う。図３Ａに示すように、対象物８の全部がフロントウィンド６及びインストルメントパネル７に重畳して表示された場合、対象物８をフロントウィンド６及びインストルメントパネル７よりも遠くに位置するように表示させることができない。

【0056】

このため、対象物画像生成部１４は、図３Ｂに示すように、対象物８のうちインストルメントパネル７によりユーザの視認が阻害される部分を非表示となるよう隠蔽処理を行う。これにより、対象物８の一部分（図３Ａの非表示部分８ｂ）が表示されなくなるため、対象物８をフロントウィンド６及びインストルメントパネル７よりも遠くに位置するように表示させることができる。図３Ａ及び図３Ｂの例では、インストルメントパネル７は、ユーザが対象物８を視認するときに、対象物８への視認を阻害する現実物体であるため、遮蔽物に相当する。

【0057】

また、図３Ａ及び図３Ｂを用いて説明した例では、対象物８が遮蔽物であるインストルメントパネル７の少なくとも一部に重畳して表示されるため、要否判定部１３は、輪郭画像が必要と判定する。

【0058】

ここで、図４Ａ及び図４Ｂを用いて、センサ群２２などのデバイスの検出誤差に起因する対象物と現実物体との位置ずれについて説明する。図４Ａは、対象物と現実物体との位置ずれの一例であり、図４Ｂは、現実物体と対象物との位置ずれの他の例である。図４Ａ及び図４Ｂは、それぞれ、図３Ｂの場面と対応している。

【0059】

例えば、センサ群２２による検出結果に誤差が生じた場合、制御装置２４より認識されたユーザの頭部の位置及びユーザの姿勢のうち少なくともいずれかの変化にも誤差が生じる。その結果、制御装置２４により認識された３次元空間における現実物体の位置と、現実空間における現実物体の位置との間にずれ（誤差）が生じる。現実物体の位置にずれが生じた状態で、対象物をディスプレイ２３に表示させると、例えば、図４Ａのように、対象物８のうち表示部分８ａがインストルメントパネル７に重畳して表示されるおそれがある。また、例えば、図４Ｂのように、表示部分８ａとフロントウィンド６の輪郭６ａとの間に空間が生じるように表示部分８ａが表示されるおそれがある。センサ群２２による検出結果に誤差が生じた場合、図４Ａ及び図４Ｂの例に示すように、フロントウィンド６の輪郭６ａとインストルメントパネル７の輪郭７ａとの境界に表示部分８ａが接するように表示することができないおそれがある。この場合、対象物８と実際に存在するフロントウィンド６及びインストルメントパネル７との間に位置ずれが発生し、ユーザが対象物８を視認した際に、対象物８とフロントウィンド６及びインストルメントパネル７との位置関係により、ユーザに違和感を与えるおそれがある。

【0060】

そこで、本実施形態に係る画像生成装置１では、対象物８と現実物体（フロントウィンド６、インストルメントパネル７）との間に位置ずれが生じたとしても、以降で説明する輪郭画像をディスプレイ２３に表示させることで、ユーザが対象物８を視認した際に、拡張現実に対して違和感をもつのを抑制する。

【0061】

輪郭画像生成部１５は、輪郭認識部１２により認識された現実物体の輪郭の少なくとも一部を含む画像である輪郭画像を生成する。輪郭画像生成部１５は、要否判定部１３により輪郭画像が必要と判定された場合、輪郭画像を生成する。輪郭画像とは、輪郭認識部１２により認識された現実物体の輪郭を所定の範囲だけ拡張させた画像（輪郭拡張画像）である。

【0062】

輪郭画像生成部１５は、カメラ群２１により撮像された撮像画像に基づき、対象物のうちディスプレイ２３に表示させる表示部分とディスプレイ２３に表示させない非表示部分とを区別する境界を特定する。そして、輪郭画像生成部１５は、特定した境界を構成する現実物体を、輪郭の拡張対象に設定する。図３Ａ及び図３Ｂの例を用いて説明すると、輪郭画像生成部１５は、対象物８のうち表示部分８ａと非表示部分８ｂとを区別する境界がフロントウィンド６の輪郭６ａとインストルメントパネル７の輪郭７ａとで構成されていることを特定する。本実施形態では、輪郭画像生成部１５は、特定した境界を構成するフロントウィンド６及びインストルメントパネル７のうち、フロントウィンド６を輪郭拡張の対象に設定する。

【0063】

図５は、画像生成装置１により生成された輪郭画像の一例である。図５において、輪郭画像９は、輪郭画像生成部１５により生成された画像を示す。図５の例では、輪郭画像生成部１５は、輪郭画像９として、フロントウィンド６の輪郭６ａ～輪郭６ｄのそれぞれを幅Ｗだけ拡張させた画像を生成している。図５において、フロントウィンド６の輪郭６ａ～輪郭６ｄは、輪郭認識部１２により認識されたフロントウィンド６の輪郭である。なお、図５では、輪郭画像生成部１５は、輪郭画像９として、フロントウィンド６の輪郭６ａ～輪郭６ｄのそれぞれを拡張させた画像を生成しているが、拡張対象である現実物体の全ての輪郭を拡張させなくてもよい。輪郭画像生成部１５は、拡張対象である現実物体の全ての輪郭のうち、少なくとも対象物における表示部分と非表示部分とを区別する境界を構成する輪郭に対して、拡張させた画像を生成すればよい。図５の例を用いれば、輪郭画像は、少なくとも輪郭６ａを拡張させた画像であればよい。言い換えると、図５の例では、輪郭画像には、輪郭６ｂ～輪郭６ｄのうち少なくとも一つを拡張させた画像、及び輪郭６ｂ～輪郭６ｄを拡張させない画像が含まれる。

【0064】

次に、輪郭画像の生成方法の一例について説明する。例えば、輪郭画像生成部１５は、画像生成装置１の記憶装置に記憶された複数の輪郭画像から、フロントウィンド６の画像を取得する。輪郭画像生成部１５は、フロントウィンド６の画像に基づき、輪郭画像９を生成する。これにより、輪郭画像生成部１５は、フロントウィンド６の輪郭と同じ色及び同じ質感を表現した輪郭部分を有する輪郭画像９を生成することができる。なお、輪郭画像生成部１５は、車両外部に設けられたサーバから、フロントウィンド６の画像を取得してもよい。また、輪郭画像９における輪郭部分は、フロントウィンド６の輪郭と同じ色及び同じ質感でなくてもよい。また例えば、フロントウィンド６の輪郭と同じ色及び同じ質感でありつつ、非透過であってもよいし、半透過であってもよい。

【0065】

また輪郭画像生成部１５は、輪郭画像９を生成する前に、以下で説明する方法を用いて、フロントウィンド６の輪郭６ａ～輪郭６ｄを拡張させる範囲（以降、拡張範囲ともいう）を設定する。拡張範囲は、ベクトルで構成されており、具体的には、拡張させる大きさ（拡張値）及び拡張させる方向（拡張方向）で構成される。拡張範囲と拡張値の間には、拡張値が大きいほど拡張範囲が大きいという関係が成り立っている。図５の例では、拡張範囲は幅Ｗに相当する。また図５の例では、輪郭画像生成部１５は、輪郭６ａ～輪郭６ｄそれぞれに対して、拡張値（幅Ｗの長さ）及び拡張方向（幅Ｗの方向）を設定することで、拡張範囲を設定している。拡張方向を例に挙げると、図５では、輪郭画像生成部１５は、拡張方向として、拡張対象であるフロントウィンド６の外側及び内側を設定している。これにより、図５に示すように、輪郭画像９は、輪郭６ａ～輪郭６ｄがフロントウィンド６の内側及び外側に拡張された画像となる。

【0066】

なお、拡張方向は、図５で示す拡張方向に限られない。例えば、輪郭画像生成部１５は、拡張方向として、拡張対象であるフロントウィンド６の内側を設定してもよい。輪郭画像１９（図示しない）は、輪郭６ａ～輪郭６ｄがフロントウィンド６の内側に拡張された画像であってもよい。また例えば、輪郭画像生成部１５は、拡張方向として、拡張対象であるフロントウィンド６の外側を設定してもよい。輪郭画像２９（図示しない）は、輪郭６ａ～輪郭６ｄがフロントウィンド６の外側に拡張された画像であってもよい。また、輪郭画像生成部１５は、輪郭６ａ～輪郭６ｄに対して、同じ拡張方向を設定する必要はなく、輪郭ごとに拡張方向を変更してもよい。

【0067】

次に、拡張値の設定方法の一例について説明する。本実施形態では、輪郭画像生成部１５は、車両の速度、車両の加速度、車両の走行位置、及び車両のイグニッションスイッチの状態のうち少なくともいずれか一つに基づき、対象物と現実物体との位置ずれ量を算出する。そして、輪郭画像生成部１５は、車両の速度、車両の加速度、車両の走行位置、及び車両のイグニッションスイッチの状態のうち少なくとも何れか一つに基づき、拡張値を設定する。なお、以降の説明において、「対象物と現実物体との位置ずれ量」は、「対象物と現実物体との位置誤差量」又は「対象物の表示位置の精度」と読み替えてもよい。

【0068】

例えば、輪郭画像生成部１５は、上記の各パラメータをそれぞれ取り入れた複数の回帰モデルを構築し、回帰モデルに基づき対象物と現実物体との位置ずれ量を算出してもよい。また例えば、輪郭画像生成部１５は、対象物を表示させると、車両の室内に予め設定した基準点に対してどの程度の位置ずれ量があるかを算出し、算出した位置ずれ量を対象物の位置精度を算出してもよい。以降では、複数の例を挙げて、拡張値の設定方法を説明する。

【0069】

車両の速度を例に挙げると、輪郭画像生成部１５は、車両の速度が高いほど対象物と現実物体との位置ずれ量が大きくなるように算出し、車両の速度が所定の閾値速度よりも低い場合よりも対象物と現実物体との位置ずれ量が大きくなるように算出する。これは、車両の速度が高いほど、車両自体の振動が大きくなり、対象物と現実物体との位置ずれ量が大きくなるという観点に基づく。また車両の速度が所定の閾値速度以上の場合、車両の速度が所定の閾値速度よりも低い場合よりも、車両自体の振動が大きくなり、対象物と現実物体との位置ずれ量が大きくなるという観点に基づく。そして、輪郭画像生成部１５は、算出した位置ずれ量に基づき、車両の速度が高いほど拡張値を大きく設定し、又は車両の速度が所定の閾値速度以上の場合、車両の速度が所定の閾値速度よりも低い場合よりも拡張値を大きく設定する。図５の例では、輪郭画像生成部１５は、例えば、車両の速度が高いほど、幅Ｗを長く設定する。なお、所定の閾値速度は、拡張値を決めるための速度であって、予め定められた加速度である。

【0070】

車両の加速度を例に挙げると、輪郭画像生成部１５は、車両の加速度が高いほど対象物と現実物体との位置ずれ量が大きくなるように算出し、車両の加速度が所定の閾値加速度よりも低い場合よりも対象物と現実物体との位置ずれ量が大きくなるように算出する。これは、車両の加速度が高いほど、車両自体の振動が大きくなり、対象物と現実物体との位置ずれ量が大きくなるという観点に基づく。また車両の加速度が所定の閾値加速度以上の場合、車両の加速度が所定の閾値加速度よりも低い場合よりも、車両自体の振動が大きくなり、対象物と現実物体との位置ずれ量が大きくなるという観点に基づく。そして、輪郭画像生成部１５は、算出した位置ずれ量に基づき、車両の加速度が高いほど拡張値を大きく設定し、又は車両の加速度が所定の閾値加速度以上の場合、車両の加速度が所定の閾値加速度よりも低い場合よりも拡張値を大きく設定する。図５の例では、輪郭画像生成部１５は、例えば、車両の加速度が高いほど、幅Ｗを長く設定する。なお、所定の閾値加速度は、拡張値を決めるための加速度であって、予め定められた加速度である。

【0071】

車両の走行位置を例に挙げると、輪郭画像生成部１５は、車両が高速道路を走行している場合、車両が一般道路を走行している場合よりも対象物と現実物体との位置ずれ量が大きくなるように算出する。これは、車両が高速道路を走行している場合、車両が一般道路を走行している場合よりも、車両自体の振動が大きくなり、対象物と現実物体との位置ずれ量が大きくなるという観点に基づく。そして、輪郭画像生成部１５は、算出した位置ずれ量に基づき、車両が高速道路を走行している場合、車両が一般道路を走行している場合よりも拡張値を大きく設定する。図５の例では、輪郭画像生成部１５は、車両が高速道路を走行している場合、車両が一般道路を走行している場合よりも、幅Ｗを長く設定する。

【0072】

車両のイグニッションスイッチの状態を例に挙げると、輪郭画像生成部１５は、車両のイグニッションスイッチがオンの場合、車両のイグニッションスイッチがオフの場合よりも、対象物と現実物体との位置ずれ量が大きくなるように算出する。これは、イグニッションスイッチがオンの場合、イグニッションスイッチがオフの場合によりも、車両自体の振動が大きくなり、対象物と現実物体との位置ずれ量が大きくなるという観点に基づく。そして、輪郭画像生成部１５は、算出した位置ずれ量に基づき、車両のイグニッションスイッチがオンの場合、車両のイグニッションスイッチがオフの場合よりも拡張値を大きく設定する。図５の例では、輪郭画像生成部１５は、車両のイグニッションスイッチがオンの場合、車両のイグニッションスイッチがオフの場合よりも、幅Ｗを長く設定する。

【0073】

なお、上記の拡張値の設定方法は一例であって、拡張値の設定方法を限定するものではない。例えば、現実物体の輪郭の位置に応じて対象物と現実物体との位置ずれ量は変わるため、輪郭画像生成部１５は、現実物体の輪郭の位置に応じて、対象物と現実物体との位置ずれ量を算出してもよい。そして、輪郭画像生成部１５は、各位置ずれ量に応じて、輪郭ごとに拡張値を設定してもよい。図５の例では、輪郭画像生成部１５は、フロントウィンド６の輪郭６ａ～輪郭６ｄに対して一様に幅Ｗの長さだけ拡張させているが、輪郭６ａ～輪郭６ｄごとに対象物と現実物体との位置ずれ量を算出して、輪郭６ａ～輪郭６ｄごとに幅Ｗの長さを設定してもよい。

【0074】

また、具体的な拡張値の設定方法として、車両の速度、車両の加速度、車両の走行位置、及び車両のイグニッションスイッチの状態のうち少なくとも何れか一つに基づき、拡張値を設定する方法を例に挙げたが、輪郭画像生成部１５は、上記車両に関するパラメータに基づき、拡張方向を設定してもよい。例えば、対象物と現実物体との位置ずれにおいて、位置ずれの方向に車両の速度などに応じた傾向がある場合、輪郭画像生成部１５は、車両の速度、車両の加速度、車両の走行位置、及び車両のイグニッションスイッチの状態のうち少なくとも何れか一つに基づき、拡張方向を設定してもよい。対象物画像生成部１４及び輪郭画像生成部１５は、本発明の「画像生成部」の一例に相当する。

【0075】

画像出力部１６は、通信装置（図示しない）を介して、対象物画像生成部１４により生成された対象物画像及び輪郭画像生成部１５により生成された輪郭画像を画像表示端末２に出力する。なお、画像出力部１６は、要否判定部１３により輪郭画像が不要と判定された場合、対象物画像のみを画像表示端末２に出力する。

【0076】

図６は、対象物画像及び輪郭画像をディスプレイ２３に表示させた場合の一例である。図６の例では、ディスプレイ２３には、対象物８のうち表示部分８ａがフロントウィンド６に重畳して表示され、さらに輪郭画像９がフロントウィンド６及び表示部分８ａに重畳して表示されている。図６の例で示すような画像をディスプレイ２３に表示することで、対象物８と現実物体であるフロントウィンド６及びインストルメントパネル７との間に位置ずれが生じたとしても（図４Ａ、図４Ｂ参照）、輪郭画像９（図５参照）によって当該位置ずれを隠蔽することができる。その結果、対象物８がフロントウィンド６及びインストルメントパネル７よりも遠くに位置するように表示させることができ、ユーザが対象物８を視認した際に、ユーザに違和感を与えるのを防ぐことができる。

【0077】

図７を用いて、本実施形態に係る画像生成装置１の制御装置１０が実行する処理を説明する。図７は、画像生成装置１の制御装置１０が実行する処理を示すフローチャートである。

【0078】

ステップＳ１では、制御装置１０は、画像表示端末２から対象物に関する情報を取得する。図３Ａの例では、制御装置１０は、対象物８の種別、ディスプレイ２３における対象物８の表示位置（ユーザを基準としたときの表示方向及び深度を含む）を取得する。

【0079】

ステップＳ２では、制御装置１０は、ステップＳ１で取得した表示位置周辺に現実に存在する一又は複数の現実物体を認識する。図３Ａの例では、制御装置１０は、車両の室内に存在するフロントウィンド６、インストルメントパネル７、ステアリングなどを認識する。

【0080】

ステップＳ３では、制御装置１０は、対象物画像を生成する。例えば、制御装置１０は、画像生成装置１の記憶装置に記憶された複数の対象物画像から、ディスプレイ２３に表示させる対象物画像を取得する。

【0081】

ステップＳ４では、制御装置１０は、ステップＳ２で認識した現実物体よりも遠くに位置するように対象物を表示させるか否かを判定する。例えば、制御装置１０は、ステップＳ１で取得した対象物の表示位置とステップＳ２で認識した現実物体の位置関係に基づき、現実物体よりも遠くに位置するように対象物を表示させるか否かを判定する。現実物体よりも遠くに位置するように対象物を表示させると判定した場合、ステップＳ５に進み、対象物を現実物体よりも遠くに表示させないと判定した場合、ステップＳ１２に進む。

【0082】

ステップＳ４で現実物体よりも遠くに位置するように対象物を表示させると判定された場合、ステップＳ５に進む。ステップＳ５では、制御装置１０は、ステップＳ２で認識された各現実物体の輪郭の位置と対象物との表示位置との相対関係に応じて、輪郭画像の要否を判定する。例えば、制御装置１０は、ユーザの視認を阻害する遮蔽物の少なくとも一部に対象物が重畳して表示される場合、輪郭画像が必要と判定する。また制御装置１０は、対象物が遮蔽物に重畳して表示されない場合、輪郭画像が不要と判定する。輪郭画像が必要と判定された場合、ステップＳ６に進み、輪郭画像が不要と判定された場合、ステップＳ１２に進む。

【0083】

ステップＳ５で輪郭画像が必要と判定された場合、ステップＳ６に進む。ステップＳ６では、制御装置１０は、車両に搭載された機器、装置、又はシステムから、車両に関する情報を取得する。例えば、制御装置１０は、車両の速度、車両の加速度、車両の走行位置、及び車両のイグニッションスイッチの状態の情報を所得する。

【0084】

ステップＳ７では、制御装置１０は、ステップＳ６で取得した車両に関する情報に基づき、対象物と現実物体との位置ずれ量を算出する。例えば、制御装置１０は、車両の速度が高いほど、対象物と現実物体との位置ずれ量が大きくなるように算出する。

【0085】

ステップＳ８では、制御装置１０は、輪郭の拡張範囲を設定する。例えば、制御装置１０は、ステップＳ２で認識した一又は複数の現実物体のうち輪郭を拡張させる対象の現実物体を特定する。そして、制御装置１０は、輪郭の拡張方向として、特定した現実物体の内側及び外側を設定する。また、制御装置１０は、ステップＳ７で算出した位置ずれ量に基づき、輪郭の拡張値を設定する。車両の速度を例に挙げると、制御装置１０は、車両の速度が高いほど、拡張値を大きく設定する。

【0086】

ステップＳ９では、制御装置１０は、ステップＳ８で設定した拡張範囲に基づき、
現実物体の輪郭を拡張させた画像である輪郭画像を生成する。輪郭画像の一例としては、図５に示すようなフロントウィンド６の輪郭６ａ～輪郭６ｄを幅Ｗだけ拡張させた輪郭画像９が挙げられる。

【0087】

ステップＳ１０では、制御装置１０は、ステップＳ３で生成した対象物画像を加工する。制御装置１０は、対象物画像として、対象物のうち遮蔽物に重畳する部分を除いた画像を生成する。例えば、図３Ｂに示すように、制御装置１０は、対象物画像として、対象物８のうちインストルメントパネル７に重畳して表示される部分（図３Ａの非表示部分８ｂ）を除いた画像を生成する。

【0088】

ステップＳ１１では、制御装置１０は、ステップＳ９で生成した輪郭画像及びステップＳ１０で生成した対象物画像を画像表示端末２に出力する。これにより、画像表示端末２のディスプレイ２３に対象物画像及び輪郭画像が表示される。ステップＳ１１の処理が終了すると、制御装置１０は、図７に示す処理を終了させる。

【0089】

またステップＳ４で現実物体よりも遠くに位置するように対象物を表示させないと判定された場合、又はステップＳ５で輪郭画像が不要と判定された場合、ステップＳ１２に進む。ステップＳ１２では、制御装置１０は、ステップＳ３で生成した対象物画像を画像表示端末２に出力する。これにより、画像表示端末２のディスプレイ２３に対象物画像が表示される。ステップＳ１２の処理が終了すると、制御装置１０は、図７に示す処理を終了させる。

【0090】

以上のように、本実施形態に係る画像生成装置１は、ユーザが視認する現実空間に重畳して表示される表示画像を生成する画像生成装置であって、現実物体の輪郭を認識する輪郭認識部１２と、ユーザに視認させる対象物を示す表示画像である対象物画像、及び現実物体の輪郭の少なくとも一部を含む表示画像である輪郭画像を生成する対象物画像生成部１４及び輪郭画像生成部１５とを備える。これにより、センサ群２２などのデバイスの検出誤差により、対象物と現実物体との間に位置ずれが発生した場合であっても、輪郭画像により位置ずれを隠蔽できる。その結果、ユーザが現実空間と仮想の対象物とを視認した際に、ユーザに違和感を与えるのを抑制できる。特に、図３Ａ及び図３Ｂの例で挙げたように、現実物体よりも遠くに位置するように対象物を表示させる場面において、対象物のうち表示部分と非表示部分との境界を遮蔽物に接するように表示制御することは、デバイスの検出誤差をなくさない限り困難とされている。本実施形態に係る画像生成装置１によれば、輪郭画像によって、そのような技術的課題を簡便な方法で解決することができる。すなわち、現実物体よりも遠くに位置するように対象物を表示させる場面において、簡便な方法で、ユーザに違和感を与えずに、対象物のうち表示部分と非表示部分との境界を遮蔽物に接するように表示させることができる。

【0091】

また、本実施形態では、対象物画像生成部１４は、輪郭画像として、現実物体の輪郭を拡張させた画像を生成する。これにより、対象物と現実物体との位置ずれを拡張された輪郭によって隠蔽することができ、ユーザに違和感を与えるのを抑制しつつ、現実物体よりも遠くに位置するように対象物を表示させることができる。

【0092】

さらに、本実施形態では、画像生成装置１は、現実物体の輪郭の位置と対象物の表示位置との相対関係に応じて、輪郭画像の要否を判定する要否判定部１３を備える。これにより、輪郭画像の要否を適切に判定することができる。

【0093】

加えて、本実施形態では、要否判定部１３は、ユーザを基準としたときに、現実物体よりも遠くに位置するように対象物が表示される場合、輪郭画像の要否を判定する。これにより、現実物体よりも手前側に位置するように対象物が表示される場合、すなわち、対象物と現実物体との間に位置ずれが発生しても、ユーザに違和感を与えない場合、輪郭画像の要否判定が行われるのを防ぐことができる。その結果、不要な演算を削減することができ、演算負荷の軽減を図ることができる。

【0094】

また、本実施形態では、要否判定部１３は、対象物が遮蔽物の少なくとも一部に重畳して表示される場合、輪郭画像が必要と判定し、対象物が遮蔽物に重畳して表示されない場合、輪郭画像が不要と判定する。遮蔽物は、ユーザが対象物を視認するのを阻害する現実物体である。これにより、対象物と現実物体との間に位置ずれが発生し、ユーザに違和感を与える場合、輪郭画像が必要と判定することができる。また、対象物と現実物体との間に位置ずれが発生しても、ユーザに違和感を与えない場合、輪郭画像が不要と判定することができる。対象物と現実物体との間に位置ずれにより、ユーザに違和感を与える場合のみ、輪郭画像が必要と判定することができるため、不要な演算を削減することができ、演算負荷の軽減を図ることができる。

【0095】

さらに、本実施形態では、対象物画像生成部１４は、要否判定部１３により輪郭画像が必要と判定された場合、対象物画像として、対象物のうち遮蔽物に重畳する部分を除いた画像を生成する。これにより、対象物のうち遮蔽物によってユーザが視認できない部分が表示されるのを防ぐことができ、遮蔽物よりも遠くに位置するように対象物を表示させることができる。

【0096】

加えて、本実施形態では、ユーザは、車両に乗車しており、現実物体は、車両の室内に位置し、対象物は、車両の室外に位置するように表示される。これにより、例えば、ロケーションＡＲにより車両の室外に対象物を表示させる場面において、車両の室内に対象物の視認を阻害する遮蔽物が存在したとしても、ユーザが対象物を視認した際に、ユーザに違和感を与えるのを抑制できる。

【0097】

また、本実施形態では、輪郭画像生成部１５は、輪郭画像として、現実物体の輪郭を所定の拡張範囲だけ拡張させた画像を生成する前に、車両の速度、車両の加速度、車両の走行位置、及び車両のイグニッションスイッチの状態のうち少なくとも何れか一つに基づき、拡張範囲を設定する。これにより、拡張範囲を車両に関する各パラメータに応じた範囲に設定できるため、車両に関する各パラメータが変化した場合であっても、拡張範囲を適切な範囲に設定することができる。その結果、拡張範囲が適切に設定されず、位置ずれを隠蔽不可能な輪郭画像が生成されるのを防ぐことができる。

【0098】

さらに、本実施形態では、輪郭画像生成部１５は、車両の速度が高いほど拡張範囲を大きく設定し、又は車両の速度が所定の閾値速度以上の場合、車両の速度が所定の閾値速度よりも低い場合よりも拡張範囲を大きく設定する。これにより、車両の速度に応じた拡張範囲を設定することができるため、車両の速度が変化した場合であっても、拡張範囲を適切な範囲に設定することができる。その結果、拡張範囲が適切に設定されず、位置ずれを隠蔽不可能な輪郭画像が生成されるのを防ぐことができる。

【0099】

また、本実施形態では、輪郭画像生成部１５は、車両の加速度が高いほど拡張範囲を大きく設定し、又は車両の加速度が所定の閾値加速度以上の場合、車両の加速度が所定の閾値加速度よりも低い場合よりも拡張範囲を大きく設定する。車両の加速度に応じた拡張範囲を設定することができるため、車両の加速度が変化した場合であっても、拡張範囲を適切な範囲に設定することができる。その結果、拡張範囲が適切に設定されず、位置ずれを隠蔽不可能な輪郭画像が生成されるのを防ぐことができる。

【0100】

さらに、本実施形態では、輪郭画像生成部１５は、車両が高速道路を走行している場合、車両が一般道路を走行している場合よりも拡張範囲を大きく設定する。これにより、車両の走行位置に応じた拡張範囲を設定することができるため、車両の走行位置が変化した場合であっても、拡張範囲を適切な範囲に設定することができる。その結果、拡張範囲が適切に設定されず、位置ずれを隠蔽不可能な輪郭画像が生成されるのを防ぐことができる。

【0101】

加えて、本実施形態では、輪郭画像生成部１５は、イグニッションスイッチがオンの場合、イグニッションスイッチがオフの場合よりも拡張範囲を大きく設定する。これにより、車両のイグニッションスイッチの状態に応じた拡張範囲を設定することができるため、車両のイグニッションスイッチの状態が変化した場合であっても、拡張範囲を適切な範囲に設定することができる。その結果、拡張範囲が適切に設定されず、位置ずれを隠蔽不可能な輪郭画像が生成されるのを防ぐことができる。

【0102】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【0103】

例えば、上述した実施形態では、輪郭画像として、現実物体の輪郭を拡張した画像を例に挙げて説明したが、輪郭画像はこれに限定されない。輪郭画像生成部１５は、輪郭画像として、輪郭認識部１２により認識された現実物体の輪郭を所定の範囲だけぼかした画像（輪郭ぼかし画像ともいう）を生成してもよい。輪郭画像生成部１５は、車両の速度、車両の加速度、車両の走行位置、及び車両のイグニッションスイッチの状態のうち少なくとも何れか一つに基づき、現実物体の輪郭をぼかす範囲（ぼかし範囲ともいう）を設定してもよい。具体的なぼかし範囲の設定方法は、上述した実施形態における具体的な拡張範囲の設定方法と同じ方法を適用できるため、拡張範囲の設定方法での説明を援用する。具体的には、拡張範囲の説明において、「拡張範囲」を「ぼかし範囲」に、「拡張方向」を「ぼかし方向」に、「拡張値」を「ぼかし値」に置き換えることで、具体的なぼかし範囲の設定方法の説明となる。対象物と現実物体との位置ずれをぼかした輪郭により隠蔽することができ、ユーザに違和感を与えるのを抑制しつつ、対象物が現実物体よりも遠くに位置するように表示させることができる。

【0104】

また例えば、上述した実施形態では、表示画像を表示するディスプレイ２３について、画像表示端末２が備える構成を例に挙げて説明したが、画像生成装置１がディスプレイ２３に相当する表示部を備えていてもよい。画像生成装置１と画像表示端末２とが別体ではなく、画像表示端末２は画像生成装置１を含む構成でもよく、この場合、画像生成装置１は、表示画像をユーザに表示させる表示部を備えていてもよい。画像生成装置１により生成された表示画像は、所定のネットワークを介さずに、画像表示端末２に出力されるため、ネットワークの通信障害などにより表示画像が正常に表示されない可能性を低減することができる。

【0105】

また例えば、上述した実施形態では、表示画像を表示する透過型表示装置として、画像表示端末２のディスプレイ２３を例に挙げて説明したが、透過型表示装置はその他の機器又は装置であってもよい。例えば、透過型表示装置として、ディスプレイ２３の代わりに、車両のウィンドを適用してもよい。この場合、画像表示端末２は、画像生成装置１により生成された表示画像を車両のウィンドに表示させる。車両のウィンドに表示させる表示制御の技術は、本願出願時に知られた拡張現実の分野における表示制御技術を適用することができる。このような構成であっても、車両の乗員は、車両のウィンドを介して、現実空間と対象物とを同時に視認することができる。任意の表示装置の形態において、ユーザが現実空間と仮想の対象物とを視認した際に、ユーザに違和感を与えるのを抑制できる。

【0106】

また例えば、上述した実施形態では、拡張現実を実現する方式として、非透過型表示装置を用いる、いわゆるシースルー方式を例に挙げて説明したが、本発明に係る画像生成装置及び画像生成方法は、非透過型表示装置を用いて拡張現実を実現する、いわゆるビデオシースルー方式にも適用することができる。

【0107】

ビデオシースルー方式の場合、変形例に係る画像表示端末２のディスプレイ２３は、非透過型表示装置となる。この場合、画像表示端末２の形態としては、例えば、ヘッドマウントディスプレイが挙げられる。またビデオシースルー方式の場合、ディスプレイ２３には、カメラ群２１により撮像された画像であって、ユーザが視認する現実空間に対応する画像が表示される。さらにディスプレイ２３には、画像生成装置１により生成された表示画像が現実空間に対応する画像に重畳して表示される。これにより、画像表示端末２を頭部に装着したユーザは、カメラ群２１により撮像された画像により自身が視認する現実空間を認識するとともに、画像生成装置１により生成された表示画像を認識する。対象物と現実物体との間に発生する位置ずれは、デバイスの検出誤差に起因して発生するものであって、拡張現実の方式に起因するものではない。そのため、ビデオシースルー方式においても、対象物と現実空間との位置ずれは発生する。本発明に係る画像生成装置及び画像生成方法によれば、任意の拡張現実の実現方式において、ユーザが現実空間と仮想の対象物とを視認した際に、ユーザに違和感を与えるのを抑制できる。

【0108】

また例えば、上述した実施形態では、図５を用いて、輪郭拡張の対象がフロントウィンド６の場合を例に挙げて説明したが、輪郭拡張の対象はインストルメントパネル７であってもよい。輪郭画像生成部１５は、フロントウィンド６を輪郭拡張の対象とした場合と同様に、輪郭画像として、インストルメントパネル７の輪郭を拡張させた画像を生成してもよい。

【0109】

輪郭画像生成部１５は、対象物のうち表示部分と非表示部分をと区別する境界が複数の現実物体の輪郭で構成される場合、輪郭画像として、複数の現実物体のうちいずれか一つの現実物体の輪郭を拡張させた画像を生成する。表示部分とは、対象物のうち非表示部分以外の部分であり、非表示部分とは、対象物のうち遮蔽物によってユーザの視認が阻害される部分である。

【0110】

図５を用いて説明すると、例えば、輪郭画像生成部１５は、輪郭画像３９（図示しない）として、フロントウィンド６の輪郭６ａの代わりに、インストルメントパネル７の輪郭７ａを所定範囲だけ拡張させた画像を生成してもよい。これにより、対象物８とフロントウィンド６及びインストルメントパネル７との間に位置ずれが発生した場合であっても、インストルメントパネル７の輪郭画像により位置ずれを隠蔽できる。また、インストルメントパネル７の輪郭を拡張させた輪郭画像３９は、輪郭拡張画像に限られず、輪郭ぼかし画像であってもよい。輪郭画像生成部１５は、フロントウィンド６を輪郭拡張の対象とした場合と同様に、輪郭画像３９の拡張範囲又はぼかし範囲を設定してもよい。

【0111】

また、輪郭画像生成部１５は、対象物のうち表示部分と非表示部分とを区別する境界が一の現実物体の輪郭で構成される場合、輪郭画像として、一の現実物体の輪郭が拡張された画像を生成してもよい。上述の透過型表示装置として車両のウィンドを用いる変形例を例に挙げて説明する。例えば、車両の乗員が車両のウィンドを介して対象物と現実空間を同時に視認している際に、車両外側に一つの遮蔽物が出現したことで、ユーザが当該遮蔽物によって対象物の一部を視認できないとする。この場面において、対象物のうち表示部分と非表示部分を区別する境界は、出現した遮蔽物の輪郭で構成されるため、輪郭画像生成部１５は、輪郭画像として、当該遮蔽物の輪郭が拡張された画像を生成する。対象物のうち表示部分と非表示部分とを区別する境界を構成する現実物体の数にかかわらず、ユーザが対象物を視認した際に、ユーザに違和感を与えるのを抑制することができる。

【符号の説明】

【0112】

１…画像生成装置
１０…制御装置
１１…情報取得部
１２…輪郭認識部
１３…要否判定部
１４…対象物画像生成部
１５…輪郭画像生成部
１６…画像出力部
２…画像表示端末
２１…カメラ群
２２…センサ群
２３…ディスプレイ
２４…制御装置
３…ＥＣＵ
４…ＥＣＵ
５…車載ネットワーク
３０…センサ群
３１…車速センサ
３２…加速度センサ
３３…ジャイロセンサ
３４…イグニッションスイッチ
４０…ナビゲーションシステム
１００…ＡＲシステム

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】