特許7066271画像処理装置、画像処理方法及びヘッドアップディスプレイシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-02
(45)【発行日】2022-05-13
(54)【発明の名称】画像処理装置、画像処理方法及びヘッドアップディスプレイシステム
(51)【国際特許分類】
B60K 35/00 20060101AFI20220506BHJP
G02B 27/01 20060101ALI20220506BHJP
G09G 5/00 20060101ALI20220506BHJP
G09G 5/10 20060101ALI20220506BHJP
【ＦＩ】
B60K35/00 A
G02B27/01
G09G5/00 550C
G09G5/00 530H
G09G5/00 530D
G09G5/10 B
【請求項の数】
3
(21)【出願番号】P 2018100254
(22)【出願日】2018-05-25
(65)【公開番号】P2019202698
(43)【公開日】2019-11-28
【審査請求日】2021-01-08
(73)【特許権者】
【識別番号】000101732
【氏名又は名称】アルパイン株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】木村 豪
【審査官】楠永 吉孝
(56)【参考文献】
【文献】特開２０１５－００９６７７（ＪＰ，Ａ）
【文献】特開２０１７－００７４８１（ＪＰ，Ａ）
【文献】特開２０１５－２２１６５１（ＪＰ，Ａ）
【文献】特開２０１０－１２０６１７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｋ ３５／００
Ｇ０２Ｂ ２７／０１
Ｇ０９Ｇ ５／００
Ｇ０９Ｇ ５／１０
(57)【特許請求の範囲】
【請求項1】
車両のフロントガラスに投影することで、該車両の前方に位置する対象物がオブジェクトに囲まれているように視認される投影画像を出力する画像処理装置であって、前記車両の高さ方向の動作及び幅方向の動作を検出する検出部と、
前記検出部が、前記高さ方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの高さ方向の辺または面を残したまま高さ方向と略直交する方向の辺または面を非表示にし、または、視認しにくくし、前記検出部が、前記幅方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの幅方向の辺または面を残したまま幅方向と略直交する方向の辺または面を非表示にする、または、視認しにくくする補正部と
を有することを特徴とする画像処理装置。
【請求項2】
車両のフロントガラスに投影することで、該車両の前方に位置する対象物がオブジェクトに囲まれているように視認される投影画像を出力する画像処理方法であって、前記車両の高さ方向の動作及び幅方向の動作を検出する検出工程と、
前記検出工程において、前記高さ方向の動作が検出された場合に、前記投影画像に含まれる前記オブジェクトの高さ方向の辺または面を残したまま高さ方向と略直交する方向の辺または面を非表示にし、または、視認しにくくし、前記検出工程において、前記幅方向の動作が検出された場合に、前記投影画像に含まれる前記オブジェクトの幅方向の辺または面を残したまま幅方向と略直交する方向の辺または面を非表示にする、または、視認しにくくする補正工程と
を有することを特徴とする画像処理方法。
【請求項3】
車両の前方を撮影し、撮影画像を出力する撮像装置と、車両のフロントガラスに投影することで、該車両の前方に位置する対象物がオブジェクトに囲まれているように視認される投影画像を、前記撮影画像に基づいて生成し、出力する画像処理装置と、
出力された前記投影画像を前記車両のフロントガラスに投影する光学部材と、を有するヘッドアップディスプレイシステムであって、
前記画像処理装置は、
前記車両の高さ方向の動作及び幅方向の動作を検出する検出部と、
前記検出部が、前記高さ方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの高さ方向の辺または面を残したまま高さ方向と略直交する方向の辺または面を非表示にし、または、視認しにくくし、前記検出部が、前記幅方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの幅方向の辺または面を残したまま幅方向と略直交する方向の辺または面を非表示にする、または、視認しにくくする補正部と
を有することを特徴とするヘッドアップディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びヘッドアップディスプレイシステムに関する。
【背景技術】
【0002】
従来より、車両にヘッドアップディスプレイシステムを搭載し、運転者に通知する情報を、車両前方の虚像として視認させる投影技術が知られている。当該ヘッドアップディスプレイによれば、運転者は、運転中に視線を大きく動かすことなく情報を視認することができる。
【0003】
また、最近では、かかる投影技術を応用して、運転者がフロントウィンドウ越しに視認する実景（例えば、自車両の前方を走行する他車両）に、ＡＲ（Augmented Reality）マーカと呼ばれるオブジェクトを重ね合わせる画像処理技術も提案されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１５－２２１６５１号公報
【文献】特開２０１５－２２６３０４号公報
【文献】特開２０１５－００９６７７号公報
【文献】国際公開第２０１５／１２８９８５号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、前方を走行する他車両と自車両との相対的な位置関係は、例えば、路面の凹凸やバンクの有無等、走行環境によって大きく変動する。このような変動に対して、ＡＲマーカをリアルタイムに追従させることは困難であり、例えば、前方を走行する他車両に対してＡＲマーカが位置ずれを起こすことがある。このような位置ずれは、運転者に対して違和感を与える。
【0006】
本発明は上記課題に鑑みてなされたものであり、ヘッドアップディスプレイシステムにおいて、運転者に与える違和感を低減させることを目的とする。
【課題を解決するための手段】
【0007】
一態様によれば、画像処理装置は以下のような構成を備える。即ち、
車両のフロントガラスに投影することで、該車両の前方に位置する対象物がオブジェクトに囲まれているように視認される投影画像を出力する画像処理装置であって、
前記車両の高さ方向の動作及び幅方向の動作を検出する検出部と、
前記検出部が、前記高さ方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの高さ方向の辺または面を残したまま高さ方向と略直交する方向の辺または面を非表示にし、または、視認しにくくし、前記検出部が、前記幅方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの幅方向の辺または面を残したまま幅方向と略直交する方向の辺または面を非表示にする、または、視認しにくくする補正部とを有することを特徴とする。
車両のフロントガラスに投影することで、該車両の前方に位置する対象物がオブジェクトに囲まれているように視認される投影画像を出力する画像処理装置であって、
前記車両の高さ方向の動作及び幅方向の動作を検出する検出部と、
前記検出部が、前記高さ方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの高さ方向の辺または面を残したまま高さ方向と略直交する方向の辺または面を非表示にし、または、視認しにくくし、前記検出部が、前記幅方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの幅方向の辺または面を残したまま幅方向と略直交する方向の辺または面を非表示にする、または、視認しにくくする補正部とを有することを特徴とする。
【発明の効果】
【0008】
ヘッドアップディスプレイシステムにおいて、運転者に与える違和感を低減させることができる。
【図面の簡単な説明】
【0009】
【図1】第１の実施形態に係るヘッドアップディスプレイシステムのシステム構成の一例を示す図である。
【図2】第１の実施形態に係るヘッドアップディスプレイシステムを構成する各装置の配置例を示す図である。
【図3】ＡＲマーカを含む投影画像の投影例を示す第１の図である。
【図4】画像処理装置のハードウェア構成の一例を示す図である。
【図5】ＡＲマーカ部の機能構成の詳細を示す図である。
【図6】ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例を示す第１の図である。
【図7】車両動作検出部による処理の具体例を示す図である。
【図8】ＡＲマーカ補正部による処理の具体例を示す第１の図である。
【図9】ＡＲマーカ部によるＡＲマーカ処理の流れを示すフローチャートである。
【図10A】ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第１の図である。
【図10B】ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第２の図である。
【図10C】ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第３の図である。
【図11】第２の実施形態に係るヘッドアップディスプレイシステムを構成する各装置の配置例を示す図である。
【図12】ＡＲマーカを含む投影画像の投影例を示す第２の図である。
【図13】ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例を示す第２の図である。
【図14】ＡＲマーカ補正部による処理の具体例を示す第２の図である。
【図15】ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第４の図である。
【発明を実施するための形態】
【0010】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【0011】
［第１の実施形態］
＜ヘッドアップディスプレイシステムのシステム構成＞
はじめに、車両に搭載されるヘッドアップディスプレイシステムのシステム構成について説明する。図１は、第１の実施形態に係るヘッドアップディスプレイシステムのシステム構成の一例を示す図である。図１に示すように、ヘッドアップディスプレイシステム１００は、撮像装置１１０、車両動作検出センサ１２０、画像処理装置１３０、光学部材１５０を有する。なお、本実施形態において、ヘッドアップディスプレイシステム１００は、車両のイグニッションスイッチがＯＮ状態になることで起動し、ＯＦＦ状態になることで停止するものとする。ただし、ヘッドアップディスプレイシステム１００の起動、停止のタイミングはこれに限定されず、例えば、車両のイグニッションスイッチがＯＮ状態になった後で、車両の運転者の指示に基づいて起動、停止するように構成してもよい。
＜ヘッドアップディスプレイシステムのシステム構成＞
はじめに、車両に搭載されるヘッドアップディスプレイシステムのシステム構成について説明する。図１は、第１の実施形態に係るヘッドアップディスプレイシステムのシステム構成の一例を示す図である。図１に示すように、ヘッドアップディスプレイシステム１００は、撮像装置１１０、車両動作検出センサ１２０、画像処理装置１３０、光学部材１５０を有する。なお、本実施形態において、ヘッドアップディスプレイシステム１００は、車両のイグニッションスイッチがＯＮ状態になることで起動し、ＯＦＦ状態になることで停止するものとする。ただし、ヘッドアップディスプレイシステム１００の起動、停止のタイミングはこれに限定されず、例えば、車両のイグニッションスイッチがＯＮ状態になった後で、車両の運転者の指示に基づいて起動、停止するように構成してもよい。
【0012】
撮像装置１１０は車両の幅方向中央位置において前方を撮影し、撮影画像を画像処理装置１３０に送信する。車両動作検出センサ１２０は、車両の所定方向の動作を、基準位置からの変位を示す変位信号として検出し、画像処理装置１３０に送信する。なお、本実施形態では、車両動作検出センサ１２０として、６軸のジャイロセンサを用いるものとする。
【0013】
画像処理装置１３０には、ＡＲマーカプログラムがインストールされており、当該プログラムが実行されることで、画像処理装置１３０は、ＡＲマーカ部１４０として機能する。ＡＲマーカ部１４０は、撮影画像よりＡＲマーカ（オブジェクト）を重ね合わせる対象物（ＡＲマーカ対象物）を検出する。また、ＡＲマーカ部１４０は、検出したＡＲマーカ対象物の位置及び大きさに応じて、車両のフロントガラスに投影する投影画像（ＡＲマーカを含む投影画像）を生成し、出力する。
【0014】
また、ＡＲマーカ部１４０は、車両動作検出センサ１２０から送信される変位信号を監視し、車両の所定方向の動作を検出した場合に、投影画像に含まれるＡＲマーカの一部を、動作方向に応じて補正する。これにより、ＡＲマーカ部１４０によれば、車両の所定方向の動作により、車両の運転者により視認されるＡＲマーカがＡＲマーカ対象物に対して位置ずれを起こした場合でも、運転者に与える違和感を低減させることができる。
【0015】
光学部材１５０は、画像処理装置１３０から出力される投影画像を、車両のフロントガラスに投影する。光学部材１５０は、車両のフロントガラスに投影された投影画像が、車両前方の虚像として、運転者により視認されるように構成されている。これにより、実景のＡＲマーカ対象物がＡＲマーカに囲まれているように運転者に視認されることになる。
【0016】
＜ヘッドアップディスプレイシステムを構成する各装置の配置例＞
次に、ヘッドアップディスプレイシステム１００を構成する各装置の配置例について説明する。図２は、第１の実施形態に係るヘッドアップディスプレイシステムを構成する各装置の配置例を示す図である。
次に、ヘッドアップディスプレイシステム１００を構成する各装置の配置例について説明する。図２は、第１の実施形態に係るヘッドアップディスプレイシステムを構成する各装置の配置例を示す図である。
【0017】
図２に示すように、撮像装置１１０は、車両のフロントガラス１６０近傍であって、車両の幅方向中央位置の天井部分に、車両の前方に向けて配置される。これにより、撮像装置１１０は、車両の幅方向中央位置において前方を撮影することができる。また、車両動作検出センサ１２０、画像処理装置１３０は、車両のセンタコンソールの裏側または床下に配置される。
【0018】
図２に示すように、画像処理装置１３０より出力された投影画像は、光学部材１５０を構成するスクリーン１５１に描画され、反射ミラー１５２、１５３を介してフロントガラス１６０に投影される。これにより、運転者は、投影画像に含まれるＡＲマーカを、図２に示す虚像の位置において視認することになる。このため、ＡＲマーカ対象物の位置及び大きさに応じて、投影画像に含まれるＡＲマーカの位置及び大きさを制御することで、ＡＲマーカ対象物がＡＲマーカに囲まれているように運転者に視認させることができる。なお、図２に示すように、本実施形態においては、車両の高さ方向をｙ軸方向、車両の前後方向をｚ軸方向とおく。
【0019】
＜投影画像の投影例＞
次に、投影画像の投影例について説明する。図３は、ＡＲマーカを含む投影画像の投影例を示す第１の図である。図３に示すように、運転者は、車両のフロントガラス１６０を介して、自車両の前方の実景を視認することができる。運転者が視認する実景には、自車両の前方を走行する他車両３００が含まれる。本実施形態において他車両３００は、ＡＲマーカ対象物として検出される。
次に、投影画像の投影例について説明する。図３は、ＡＲマーカを含む投影画像の投影例を示す第１の図である。図３に示すように、運転者は、車両のフロントガラス１６０を介して、自車両の前方の実景を視認することができる。運転者が視認する実景には、自車両の前方を走行する他車両３００が含まれる。本実施形態において他車両３００は、ＡＲマーカ対象物として検出される。
【0020】
このため、投影画像には、他車両３００を囲むように構成されたＡＲマーカが含まれる。具体的には、図３に示すように、投影画像がフロントガラス１６０に投影されることで、運転者に視認されるＡＲマーカ３１０が他車両３００を囲むように、投影画像内のＡＲマーカの位置座標、幅方向長さ、高さ方向長さが算出される。なお、図３に示すように、本実施形態では、車両の幅方向をｘ軸とおく。
【0021】
＜画像処理装置のハードウェア構成＞
次に、画像処理装置１３０のハードウェア構成について説明する。図４は、画像処理装置のハードウェア構成の一例を示す図である。図４に示すように、画像処理装置１３０は、ＣＰＵ（Central Processing Unit）４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３を有する。また、画像処理装置１３０は、ＧＰＵ（Graphic Processing Unit）４０４、Ｉ／Ｆ（Interface）装置４０５を有する。なお、画像処理装置１３０の各部は、バス４０６を介して相互に接続されている。
次に、画像処理装置１３０のハードウェア構成について説明する。図４は、画像処理装置のハードウェア構成の一例を示す図である。図４に示すように、画像処理装置１３０は、ＣＰＵ（Central Processing Unit）４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３を有する。また、画像処理装置１３０は、ＧＰＵ（Graphic Processing Unit）４０４、Ｉ／Ｆ（Interface）装置４０５を有する。なお、画像処理装置１３０の各部は、バス４０６を介して相互に接続されている。
【0022】
ＣＰＵ４０１は、ＲＯＭ４０２にインストールされている各種プログラム（例えば、ＡＲマーカプログラム等）を実行するデバイスである。ＲＯＭ４０２は、不揮発性メモリであり、ＣＰＵ４０１によって実行される各種プログラムを格納する、主記憶デバイスとして機能する。ＲＡＭ４０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ４０３は、ＲＯＭ４０２にインストールされている各種プログラムがＣＰＵ４０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【0023】
ＧＰＵ４０４は、画像処理を行う専用の集積回路であり、第１の実施形態では、ＡＲマーカプログラムを実行するＣＰＵ４０１からの指示に基づき、投影画像の生成等を行う。Ｉ／Ｆ装置４０５は、撮像装置１１０及び車両動作検出センサ１２０と、画像処理装置１３０とを接続するための接続デバイスである。
【0024】
＜画像処理装置のＡＲマーカ部の機能構成＞
次に、画像処理装置１３０のＡＲマーカ部１４０の機能構成の詳細について説明する。図５は、ＡＲマーカ部の機能構成の詳細を示す図である。図５に示すように、ＡＲマーカ部１４０は、ＡＲマーカ対象検出部５０１、ＡＲマーカ生成部５０２、車両動作検出部５０３、ＡＲマーカ補正部５０４、ＡＲマーカ出力部５０５を有する。
次に、画像処理装置１３０のＡＲマーカ部１４０の機能構成の詳細について説明する。図５は、ＡＲマーカ部の機能構成の詳細を示す図である。図５に示すように、ＡＲマーカ部１４０は、ＡＲマーカ対象検出部５０１、ＡＲマーカ生成部５０２、車両動作検出部５０３、ＡＲマーカ補正部５０４、ＡＲマーカ出力部５０５を有する。
【0025】
ＡＲマーカ対象検出部５０１は、撮像装置１１０より撮影画像を取得し、撮影画像に含まれるＡＲマーカ対象物を検出する。また、ＡＲマーカ対象検出部５０１は、検出したＡＲマーカ対象物の位置座標、幅方向長さ、高さ方向長さを、ＡＲマーカ生成部５０２に通知する。
【0026】
ＡＲマーカ生成部５０２は、ＡＲマーカ対象検出部５０１より通知された、位置座標、幅方向長さ、高さ方向長さに基づいて、投影画像内におけるＡＲマーカの位置、大きさを算出し、ＡＲマーカを含む投影画像を生成する。また、ＡＲマーカ生成部５０２は、生成した投影画像を、ＡＲマーカ補正部５０４に通知する。
【0027】
車両動作検出部５０３は検出部の一例であり、車両動作検出センサより取得した変位信号を監視し、車両の所定方向の動作を検出する。また、車両動作検出部５０３は、車両の所定方向の動作を検出した場合に、検出結果をＡＲマーカ補正部５０４に通知する。
【0028】
ＡＲマーカ補正部５０４は補正部の一例である。ＡＲマーカ補正部５０４は、車両動作検出部５０３より所定方向の動作を検出した旨の検出結果を受信した場合に、ＡＲマーカ生成部５０２により生成された投影画像に含まれるＡＲマーカの少なくとも一部を、動作方向に応じて補正する。また、ＡＲマーカ補正部５０４は、少なくとも一部が補正された補正後のＡＲマーカを含む投影画像をＡＲマーカ出力部５０５に通知する。
【0029】
なお、ＡＲマーカ補正部５０４は、車両動作検出部５０３より所定方向の動作を検出した旨の検出結果を受信しなかった場合には、ＡＲマーカ生成部５０２により生成された投影画像に含まれるＡＲマーカを補正することなく、ＡＲマーカ出力部５０５に通知する。
【0030】
ＡＲマーカ出力部５０５は、ＡＲマーカ補正部５０４より通知された投影画像を出力する。これにより、車両のフロントガラス１６０には、ＡＲマーカを含む投影画像が投影される。
【0031】
＜ＡＲマーカ部の各部の処理の具体例＞
次に、ＡＲマーカ部１４０の各部（ＡＲマーカ出力部５０５を除く、ＡＲマーカ対象検出部５０１、ＡＲマーカ生成部５０２、車両動作検出部５０３、ＡＲマーカ補正部５０４）の処理の具体例について説明する。
次に、ＡＲマーカ部１４０の各部（ＡＲマーカ出力部５０５を除く、ＡＲマーカ対象検出部５０１、ＡＲマーカ生成部５０２、車両動作検出部５０３、ＡＲマーカ補正部５０４）の処理の具体例について説明する。
【0032】
（１）ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例
はじめに、ＡＲマーカ対象検出部５０１及びＡＲマーカ生成部５０２による処理の具体例について説明する。図６は、ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例を示す第１の図である。
はじめに、ＡＲマーカ対象検出部５０１及びＡＲマーカ生成部５０２による処理の具体例について説明する。図６は、ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例を示す第１の図である。
【0033】
【0034】
図６（ｂ）は、ＡＲマーカ対象検出部５０１により、撮影画像６００に含まれるＡＲマーカ対象物として、他車両３００が検出された様子を示している。図６（ｂ）の例は、ＡＲマーカ対象検出部５０１が、他車両３００の撮影画像６００内での位置座標（ｘｐ，ｙｐ）、幅方向長さ（ｗｐ）、高さ方向長さ（ｈｐ）を算出した様子を示している。
【0035】
図６（ｃ）は、撮影画像６００における他車両３００の位置座標、幅方向長さ、高さ方向長さに基づいて、ＡＲマーカ生成部５０２が、投影画像６１０内におけるＡＲマーカ６１１の、
・位置座標（ｘｄ、ｙｄ）、
・幅方向長さ（ｗｄ）
・高さ方向長さ（ｈｄ）
を算出した様子を示している。
・位置座標（ｘｄ、ｙｄ）、
・幅方向長さ（ｗｄ）
・高さ方向長さ（ｈｄ）
を算出した様子を示している。
【0036】
（２）車両動作検出部による処理の具体例
次に、車両動作検出部５０３による処理の具体例について説明する。図７は、車両動作検出部による処理の具体例を示す図である。このうち、図７（ａ）は、車両動作検出部５０３による、車両のｙ軸方向の動作の基準位置からの変位７１０と、変位信号７１１と、変位信号の処理結果７１２とを示した図である。
次に、車両動作検出部５０３による処理の具体例について説明する。図７は、車両動作検出部による処理の具体例を示す図である。このうち、図７（ａ）は、車両動作検出部５０３による、車両のｙ軸方向の動作の基準位置からの変位７１０と、変位信号７１１と、変位信号の処理結果７１２とを示した図である。
【0037】
図７（ａ）に示すように、車両動作検出部５０３は、車両のｙ軸方向の動作として、変位７１０を検出する。変位信号７１１において、横軸は時間を表し、縦軸はｙ軸方向の変位７１０を表している。更に、変位信号の処理結果７１２は、変位信号７１１を、単位時間ごとにｐ－ｐ（ピークｔｏピーク）の振幅値に変換することで得られた処理結果である。
【0038】
車両動作検出部５０３では、変位信号の処理結果７１２が閾値７１３を超えた場合に、車両のｙ軸方向の動作を検出した旨の検出結果を、ＡＲマーカ補正部５０４に通知する。図７（ａ）の例は、車両動作検出部５０３が、矢印７１４で示す時間帯（補正時間帯）において、車両のｙ軸方向の動作を検出した旨の検出結果を、ＡＲマーカ補正部５０４に通知した様子を示している。なお、図７（ａ）に示す処理結果７１２は、例えば、車両が、舗装された道路を走行した後に、舗装されていない砂利道等を一時的に走行し、再び、舗装された道路を走行した場合等に発生する。
【0039】
図７（ｂ）は、車両動作検出部５０３による、車両のｘ軸方向の動作の基準位置からの変位７２０と、変位信号７２２とを示した図である。図７（ｂ）に示すように、車両動作検出部５０３は、車両のｘ軸方向の動作として、変位７２０を検出する。変位信号７２２において、横軸は時間を表し、縦軸はｘ軸方向の変位７２０を表している。
【0040】
車両動作検出部５０３では、変位信号７２２が閾値７２３を超えた場合に、車両のｘ軸方向の動作を検出した旨の検出結果を、ＡＲマーカ補正部５０４に通知する。図７（ｂ）の例は、車両動作検出部５０３が、矢印７２４で示す時間帯（補正時間帯）において、車両のｘ軸方向の動作を検出した旨の検出結果を、ＡＲマーカ補正部５０４に通知した様子を示している。なお、図７（ｂ）に示す変位信号７２２は、例えば、車両が、直線の道路を走行した後に、一時的に右方向に急激なカーブを走行し、その後、再び、直線の道路を走行した場合等に発生する。
【0041】
図７（ｃ）は、車両動作検出部５０３による、車両のｚ軸周りの動作の基準位置からの変位７３０と、変位信号７３２とを示した図である。図７（ｃ）に示すように、車両動作検出部５０３は、車両のｚ軸周りの動作として、変位７３０を検出する。変位信号７３２において、横軸は時間を表し、縦軸はｚ軸周りの変位７３０を表している。
【0042】
車両動作検出部５０３では、変位信号７３２が閾値７３３を超えた場合に、車両のｚ軸周りの動作を検出した旨の検出結果を、ＡＲマーカ補正部５０４に通知する。図７（ｃ）の例は、車両動作検出部５０３が、矢印７３４で示す時間帯（補正時間帯）において、車両のｚ軸周りの動作を検出した旨の検出結果を、ＡＲマーカ補正部５０４に通知した様子を示している。なお、図７（ｃ）に示す変位信号７３２は、例えば、車両が、平坦な道路を走行した後に、バンクのついた左カーブを一時的に走行し、その後、再び、平坦な道路を走行した場合等に発生する。
【0043】
（３）ＡＲマーカ補正部による処理の具体例
次に、ＡＲマーカ補正部５０４による処理の具体例について説明する。図８は、ＡＲマーカ補正部による処理の具体例を示す第１の図である。図８において、"補正前"は、ＡＲマーカ生成部５０２より通知される投影画像に含まれるＡＲマーカを示している。図８に示すように、ＡＲマーカ生成部５０２より通知される投影画像に含まれるＡＲマーカは、矩形形状を有している。
次に、ＡＲマーカ補正部５０４による処理の具体例について説明する。図８は、ＡＲマーカ補正部による処理の具体例を示す第１の図である。図８において、"補正前"は、ＡＲマーカ生成部５０２より通知される投影画像に含まれるＡＲマーカを示している。図８に示すように、ＡＲマーカ生成部５０２より通知される投影画像に含まれるＡＲマーカは、矩形形状を有している。
【0044】
一方、図８において、"補正後"は、ＡＲマーカ補正部５０４により補正された後のＡＲマーカを示している。このうち、"ｙ軸方向"は、車両動作検出部５０３より、車両のｙ軸方向の動作を検出した旨の検出結果が通知された場合の補正後のＡＲマーカを示している。図８に示すように、車両のｙ軸方向の動作を検出した旨の検出結果が通知された場合、ＡＲマーカ補正部５０４では、ＡＲマーカに含まれる４辺のうち、ｙ軸方向に略直交する辺を非表示にする、または視認しにくくする、といった補正を施す。これにより、投影画像が投影されることで視認されるＡＲマーカの、ｙ軸方向に略直交する辺が変更されることになる。なお、視認しにくくする補正とは、例えば、輝度を下げる、色を変える等の補正を指す。
【0045】
また、"ｘ軸方向"は、車両動作検出部５０３より、車両のｘ軸方向の動作を検出した旨の検出結果が通知された場合の補正後のＡＲマーカを示している。図８に示すように、車両のｘ軸方向の動作を検出した旨の検出結果が通知された場合、ＡＲマーカ補正部５０４では、ＡＲマーカに含まれる４辺のうち、ｘ軸方向に略直交する辺を非表示にする、または視認しにくくする、といった補正を施す。これにより、投影画像が投影されることで視認されるＡＲマーカの、ｘ軸方向に略直交する辺が変更されることになる。
【0046】
更に、"ｚ軸周り"は、車両動作検出部５０３より、車両のｚ軸周りの動作を検出した旨の検出結果が通知された場合の補正後のＡＲマーカを示している。図８に示すように、車両のｚ軸周りの動作を検出した旨の検出結果が通知された場合、ＡＲマーカ補正部５０４では、ＡＲマーカの４隅を曲線にする、または、ＡＲマーカを楕円形状にする、といった補正を施す。これにより、投影画像が投影されることで視認されるＡＲマーカの辺が、曲線に変更されることになる。
【0047】
このように、ＡＲマーカ補正部５０４では、車両の所定方向の動作が検出されると、ＡＲマーカ生成部５０２により生成された投影画像に含まれるＡＲマーカの少なくとも一部を、車両動作検出部５０３より通知された動作方向に応じて補正する。
【0048】
＜ＡＲマーカ部によるＡＲマーカ処理の流れ＞
次に、ＡＲマーカ部１４０によるＡＲマーカ処理の流れについて説明する。図９は、ＡＲマーカ部によるＡＲマーカ処理の流れを示すフローチャートである。ヘッドアップディスプレイシステム１００が起動することにより、図９に示すフローチャートのうちのいずれかのフローチャートが実行される。
次に、ＡＲマーカ部１４０によるＡＲマーカ処理の流れについて説明する。図９は、ＡＲマーカ部によるＡＲマーカ処理の流れを示すフローチャートである。ヘッドアップディスプレイシステム１００が起動することにより、図９に示すフローチャートのうちのいずれかのフローチャートが実行される。
【0049】
このうち、図９（ａ）は、車両のｙ軸方向の動作に基づいて、ＡＲマーカを補正するＡＲマーカ処理の流れを示すフローチャートである。ステップＳ９０１において、ＡＲマーカ対象検出部５０１は、撮像装置１１０より撮影画像を取得する。ステップＳ９０２において、車両動作検出部５０３は、車両動作検出センサ１２０よりｙ軸方向の変位信号を取得する。
【0050】
ステップＳ９０３において、ＡＲマーカ対象検出部５０１は、取得した撮影画像から、ＡＲマーカ対象物を検出したか否かを判定する。ステップＳ９０３において、ＡＲマーカ対象物を検出していないと判定した場合には（ステップＳ９０３においてＮｏの場合には）、ステップＳ９０１に戻る。一方、ステップＳ９０３において、ＡＲマーカ対象物を検出したと判定した場合には（ステップＳ９０３においてＹｅｓの場合には）、ステップＳ９０４に進む。
【0051】
ステップＳ９０４において、ＡＲマーカ生成部５０２は、ステップＳ９０３において検出されたＡＲマーカ対象物の位置座標、幅方向長さ、高さ方向長さに基づいて、投影画像内におけるＡＲマーカの位置座標、幅方向長さ、高さ方向長さを算出する。また、ＡＲマーカ生成部５０２は、算出結果に基づくＡＲマーカを含む投影画像を生成する。
【0052】
ステップＳ９０５において、車両動作検出部５０３は、取得したｙ軸方向の変位信号に基づいてｐ－ｐの振幅値を算出し、算出したｐ－ｐの振幅値が所定の閾値７１３を超えたか否かを判定する。ステップＳ９０５において、閾値７１３を超えていないと判定した場合には（ステップＳ９０５においてＮｏの場合には）、ステップＳ９０７に進む。
【0053】
一方、ステップＳ９０５において、閾値７１３を超えたと判定した場合には（ステップＳ９０５においてＹｅｓの場合には）、ステップＳ９０６に進む。ステップＳ９０６において、ＡＲマーカ補正部５０４は、ステップＳ９０４において生成された投影画像においてＡＲマーカを構成する４辺のうち、ｙ軸方向に略直交する２辺に対して補正を施す。
【0054】
ステップＳ９０７において、ＡＲマーカ出力部５０５は、ＡＲマーカ生成部５０２において生成された投影画像、または、ＡＲマーカ補正部５０４においてＡＲマーカが補正された投影画像のいずれかを出力する。
【0055】
ステップＳ９０８において、ＡＲマーカ対象検出部５０１は、ＡＲマーカ処理を終了するか否かを判定する。ステップＳ９０８において、ＡＲマーカ処理を継続すると判定した場合には（ステップＳ９０８においてＮｏの場合には）、ステップＳ９０１に戻る。一方、ステップＳ９０８において、ＡＲマーカ処理を終了すると判定した場合には（ステップＳ９０８においてＹｅｓの場合には）、ＡＲマーカ処理を終了する。
【0056】
図９（ｂ）は、車両のｘ軸方向の動作に基づいて、ＡＲマーカを補正するＡＲマーカ処理の流れを示すフローチャートである。なお、図９（ｂ）のステップＳ９１１、Ｓ９１３、Ｓ９１４、Ｓ９１７、Ｓ９１８は、図９（ａ）のステップＳ９０１、Ｓ９０３、Ｓ９０４、Ｓ９０７、Ｓ９０８にそれぞれ対応しているため、ここでは、ステップＳ９１２、Ｓ９１５、Ｓ９１６について説明する。
【0057】
ステップＳ９１２において、車両動作検出部５０３は、車両動作検出センサ１２０よりｘ軸方向の変位信号を取得する。ステップＳ９１５において、車両動作検出部５０３は、取得したｘ軸方向の変位信号が所定の閾値７２３を超えたか否かを判定する。ステップＳ９１５において、閾値７２３を超えていないと判定した場合には（ステップＳ９１５においてＮｏの場合には）、ステップＳ９１７に進む。
【0058】
一方、ステップＳ９１５において、閾値７２３を超えたと判定した場合には（ステップＳ９１５においてＹｅｓの場合には）、ステップＳ９１６に進む。ステップＳ９１６において、ＡＲマーカ補正部５０４は、ステップＳ９１４において生成された投影画像においてＡＲマーカを構成する４辺のうち、ｘ軸方向に略直交する２辺に対して補正を施す。
【0059】
図９（ｃ）は、車両のｚ軸周りの動作に基づいて、ＡＲマーカを補正するＡＲマーカ処理の流れを示すフローチャートである。なお、図９（ｃ）のステップＳ９２１、Ｓ９２３、Ｓ９２４、Ｓ９２７、Ｓ９２８は、図９（ａ）のステップＳ９０１、Ｓ９０３、Ｓ９０４、Ｓ９０７、Ｓ９０８にそれぞれ対応しているため、ここでは、ステップＳ９２２、Ｓ９２５、Ｓ９２６について説明する。
【0060】
ステップＳ９２２において、車両動作検出部５０３は、車両動作検出センサ１２０よりｚ軸周りの変位信号を取得する。ステップＳ９２５において、車両動作検出部５０３は、取得したｚ軸周りの変位信号が所定の閾値７３３を超えたか否かを判定する。ステップＳ９２５において、閾値７３３を超えていないと判定した場合には（ステップＳ９２５においてＮｏの場合には）、ステップＳ９２７に進む。
【0061】
一方、ステップＳ９２５において、閾値７３３を超えたと判定した場合には（ステップＳ９２５においてＹｅｓの場合には）、ステップＳ９２６に進む。ステップＳ９２６において、ＡＲマーカ補正部５０４は、ステップＳ９２４において生成された投影画像においてＡＲマーカの４隅を曲線にする、または、ＡＲマーカを楕円形状にする補正を施す。
【0062】
なお、上記説明では、ヘッドアップディスプレイシステム１００が起動することにより、図９に示すフローチャートのうちのいずれかのフローチャートが実行されるものとした。しかしながら、実行されるフローチャートは、いずれか１つに限定されず、いずれか２つのフローチャートまたは３つのフローチャートを、並行して実行させてもよい。ただし、この場合、フローチャート間で重複する工程については、いずれか１の工程が実行されるものとする。また、ステップＳ９０６、Ｓ９１６、Ｓ９２６（ＡＲマーカの補正）については、例えば、ステップＳ９０６＞Ｓ９１６＞Ｓ９２６の優先度にしたがって、いずれか１の処理が実行されるものとする。
【0063】
＜補正時間帯における投影例＞
次に、補正時間帯における投影例について説明する。図１０Ａは、ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第１の図である。図１０Ａに示すように、車両が舗装されていない砂利道等を走行した場合、ＡＲマーカ補正部５０４には、ｙ軸方向の動作を検出した旨の検出結果が通知されることになる。このため、投影画像に含まれるＡＲマーカが補正され、車両のフロントウィンドウには、補正後のＡＲマーカを含む投影画像が投影されることになる。この結果、図１０Ａに示すＡＲマーカ１０００ａが視認されることになる。
次に、補正時間帯における投影例について説明する。図１０Ａは、ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第１の図である。図１０Ａに示すように、車両が舗装されていない砂利道等を走行した場合、ＡＲマーカ補正部５０４には、ｙ軸方向の動作を検出した旨の検出結果が通知されることになる。このため、投影画像に含まれるＡＲマーカが補正され、車両のフロントウィンドウには、補正後のＡＲマーカを含む投影画像が投影されることになる。この結果、図１０Ａに示すＡＲマーカ１０００ａが視認されることになる。
【0064】
ＡＲマーカ１０００ａの場合、前方を走行する他車両３００と自車両との間でｙ軸方向の相対的な位置関係が変動し、ｙ軸方向の位置ずれを起こしたとしても、ｙ軸方向に略直交する辺が変更されている。このため、運転者に対して与える、ｙ軸方向の位置ずれによる違和感を低減させることができる。
【0065】
図１０Ｂは、ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第２の図である。図１０Ｂに示すように、車両が右方向に急激なカーブを走行した場合、ＡＲマーカ補正部５０４には、ｘ軸方向の動作を検出した旨の検出結果が通知されることになる。このため、投影画像に含まれるＡＲマーカが補正され、車両のフロントウィンドウには、補正後のＡＲマーカを含む投影画像が投影されることになる。この結果、図１０Ｂに示すＡＲマーカ１０００ｂが視認されることになる。
【0066】
ＡＲマーカ１０００ｂの場合、前方を走行する他車両３００と自車両との間でｘ軸方向の相対的な位置関係が変動し、ｘ軸方向の位置ずれを起こしたとしても、ｘ軸方向に略直交する辺が変更されている。このため、運転者に対して与える、ｘ軸方向の位置ずれによる違和感を低減させることができる。
【0067】
図１０Ｃは、ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第３の図である。図１０Ｃに示すように、車両がバンクのついた左カーブを走行した場合、ＡＲマーカ補正部５０４には、ｚ軸周りの動作を検出した旨の検出結果が通知されることになる。このため、投影画像に含まれるＡＲマーカが補正され、車両のフロントウィンドウには、補正後のＡＲマーカを含む投影画像が投影されることになる。この結果、図１０Ｃに示すＡＲマーカ１０００ｃが視認されることになる。
【0068】
ＡＲマーカ１０００ｃの場合、前方を走行する他車両３００と自車両との間でｚ軸周りの相対的な位置関係が変動し、ｚ軸周りの位置ずれを起こしたとしても、形状が楕円形状に変更されている。このため、運転者に対して与える、ｚ軸周りの位置ずれによる違和感を低減させることができる。
【0069】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る画像処理装置１３０では、車両のフロントガラスに投影することで、車両の前方に位置するＡＲマーカ対象物がＡＲマーカに囲まれているように視認される投影画像を出力する際、
・車両の所定方向の変位信号を監視し、
・車両の所定方向の動作を検出した場合に、投影画像に含まれるＡＲマーカの少なくとも一部を、動作方向に応じて補正する。
以上の説明から明らかなように、第１の実施形態に係る画像処理装置１３０では、車両のフロントガラスに投影することで、車両の前方に位置するＡＲマーカ対象物がＡＲマーカに囲まれているように視認される投影画像を出力する際、
・車両の所定方向の変位信号を監視し、
・車両の所定方向の動作を検出した場合に、投影画像に含まれるＡＲマーカの少なくとも一部を、動作方向に応じて補正する。
【0070】
これにより、第１の実施形態によれば、ＡＲマーカ対象物に対してＡＲマーカが位置ずれを起こしたとしても、運転者に与える違和感を低減させることができる。
【0071】
［第２の実施形態］
上記第１の実施形態では、運転者に対して２次元のＡＲマーカを視認させる場合について説明した。これに対して、第２の実施形態では、運転者に対して３次元のＡＲマーカを視認させる場合について説明する。以下、第１の実施形態との相違点を中心に説明する。
上記第１の実施形態では、運転者に対して２次元のＡＲマーカを視認させる場合について説明した。これに対して、第２の実施形態では、運転者に対して３次元のＡＲマーカを視認させる場合について説明する。以下、第１の実施形態との相違点を中心に説明する。
【0072】
＜ヘッドアップディスプレイシステムを構成する各装置の配置例＞
はじめに、運転者に対して３次元のＡＲマーカを視認させるヘッドアップディスプレイシステムを構成する各装置の配置例について説明する。図１１は、第２の実施形態に係るヘッドアップディスプレイシステムを構成する各装置の配置例を示す図である。
はじめに、運転者に対して３次元のＡＲマーカを視認させるヘッドアップディスプレイシステムを構成する各装置の配置例について説明する。図１１は、第２の実施形態に係るヘッドアップディスプレイシステムを構成する各装置の配置例を示す図である。
【0073】
図２との相違点は、光学部材１１００を構成するスクリーン１１１０が可動する点である。このように、スクリーン１１１０が可動することにより、フロントガラス１６０までの光路長が変動する。これにより、虚像が視認される位置をｚ軸方向に動かすことが可能となる。この結果、第２の実施形態に係るヘッドアップディスプレイシステムによれば、虚像が視認される位置をｚ軸方向に１往復動かす間に、虚像の各位置に対応するＡＲマーカを投影画像に含めることで、運転者に、３次元のＡＲマーカを視認させることができる。
【0074】
＜投影画像の投影例＞
次に、投影画像の投影例について説明する。図１２は、ＡＲマーカを含む投影画像の投影例を示す第２の図である。図１２に示すように、他車両３００に対して、虚像の各位置でのＡＲマーカを投影画像に含めることで、運転者に、３次元のＡＲマーカ１２１０を視認させることができる。
次に、投影画像の投影例について説明する。図１２は、ＡＲマーカを含む投影画像の投影例を示す第２の図である。図１２に示すように、他車両３００に対して、虚像の各位置でのＡＲマーカを投影画像に含めることで、運転者に、３次元のＡＲマーカ１２１０を視認させることができる。
【0075】
＜ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例＞
次に、第２の実施形態におけるＡＲマーカ対象検出部５０１及びＡＲマーカ生成部５０２による処理の具体例について説明する。図１３は、ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例を示す第２の図である。
次に、第２の実施形態におけるＡＲマーカ対象検出部５０１及びＡＲマーカ生成部５０２による処理の具体例について説明する。図１３は、ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例を示す第２の図である。
【0076】
このうち、図１３（ａ）は、ＡＲマーカ対象検出部５０１が撮像装置１１０より取得した撮影画像１３００を示している。図１３（ａ）に示すように、撮影画像１３００には、自車両の前方を走行する他車両３００が含まれる。
【0077】
図１３（ｂ）は、ＡＲマーカ対象検出部５０１により、撮影画像１３００に含まれるＡＲマーカ対象物として、他車両３００が検出された様子を示している。図１３（ｂ）の例は、ＡＲマーカ対象検出部５０１が、他車両３００の先端の位置座標（ｘｐｆ，ｙｐｆ）～後端の位置座標（ｘｐｒ，ｙｐｒ）を算出した様子を示している。また、ＡＲマーカ対象検出部５０１が、他車両３００の先端の幅方向長さ（ｗｐｆ）～後端の幅方向長さ（ｗｐｒ）、他車両３００の先端の高さ方向長さ（ｈｐｆ）～後端の高さ方向長さ（ｈｐｒ）を算出した様子を示している。
【0078】
図１３（ｃ）は、撮影画像１３００における他車両３００の先後端の位置座標、幅方向長さ、高さ方向長さに基づいて、ＡＲマーカ生成部５０２が、虚像の各位置に対応する複数の投影画像それぞれにおけるＡＲマーカの、
・位置座標
・幅方向長さ
・高さ方向長さ
を算出した様子を示している。図１３（ｃ）の例は、６つの投影画像１３２０～１３２５それぞれにおけるＡＲマーカ１３３０～１３３５の位置座標、幅方向長さ、高さ方向長さを算出した様子を示している。
・位置座標
・幅方向長さ
・高さ方向長さ
を算出した様子を示している。図１３（ｃ）の例は、６つの投影画像１３２０～１３２５それぞれにおけるＡＲマーカ１３３０～１３３５の位置座標、幅方向長さ、高さ方向長さを算出した様子を示している。
【0079】
例えば、ＡＲマーカ生成部５０２では、投影画像１３２０内におけるＡＲマーカ１３３０の位置座標として、（ｘｄｆ，ｙｄｆ）を算出し、ＡＲマーカ１３３０の幅方向長さとして（ｗｄｆ）を算出し、高さ方向長さとして、（ｈｄｆ）を算出する。同様に、ＡＲマーカ生成部５０２では、投影画像１３２５内におけるＡＲマーカ１３３５の位置座標として、（ｘｄｒ，ｙｄｒ）を算出し、ＡＲマーカ１３３０の幅方向長さとして（ｗｄｒ）を算出し、高さ方向長さとして（ｈｄｒ）を算出する。
【0080】
＜ＡＲマーカ補正部による処理の具体例＞
次に、第２の実施形態におけるＡＲマーカ補正部５０４による処理の具体例について説明する。図１４は、ＡＲマーカ補正部による処理の具体例を示す第２の図である。図１４において、"補正前"は、ＡＲマーカ生成部５０２より通知される投影画像が投影されることで、該投影画像に含まれるＡＲマーカが視認された場合を示している。図１４に示すように、ＡＲマーカ生成部５０２より通知される投影画像が投影されることで視認されるＡＲマーカは、直方体形状を有している。
次に、第２の実施形態におけるＡＲマーカ補正部５０４による処理の具体例について説明する。図１４は、ＡＲマーカ補正部による処理の具体例を示す第２の図である。図１４において、"補正前"は、ＡＲマーカ生成部５０２より通知される投影画像が投影されることで、該投影画像に含まれるＡＲマーカが視認された場合を示している。図１４に示すように、ＡＲマーカ生成部５０２より通知される投影画像が投影されることで視認されるＡＲマーカは、直方体形状を有している。
【0081】
一方、図１４において、"補正後"は、ＡＲマーカ補正部５０４により補正された後のＡＲマーカが視認された場合を示している。このうち、"ｙ軸方向"は、車両動作検出部５０３より、車両のｙ軸方向の動作を検出した旨の検出結果が通知された場合の補正後のＡＲマーカが視認された場合を示している。
【0082】
図１４に示すように、車両のｙ軸方向の動作を検出した旨の検出結果が通知された場合、ＡＲマーカ補正部５０４では、ＡＲマーカに含まれる４辺のうち、ｙ軸方向に略直交する面を非表示にする、または視認しにくくする、といった補正を施す。これにより、投影画像が投影されることで視認されるＡＲマーカの、ｙ軸方向に略直交する面が変更されることになる。
【0083】
また、"ｘ軸方向"は、車両動作検出部５０３より、車両のｘ軸方向の動作を検出した旨の検出結果が通知された場合の補正後のＡＲマーカを示している。図１４に示すように、車両のｘ軸方向の動作を検出した旨の検出結果が通知された場合、ＡＲマーカ補正部５０４では、ＡＲマーカに含まれる４辺のうち、ｘ軸方向に略直交する面を非表示にする、または視認しにくくする、といった補正を施す。これにより、投影画像が投影されることで視認されるＡＲマーカの、ｘ軸方向に略直交する面が変更されることになる。
【0084】
更に、"ｚ軸周り"は、車両動作検出部５０３より、車両のｚ軸周りの動作を検出した旨の検出結果が通知された場合を示している。図１４に示すように、車両のｚ軸周りの動作を検出した旨の検出結果が通知された場合、ＡＲマーカ補正部５０４では、ＡＲマーカを円形状または楕円形状にする、といった補正を施す。これにより、投影画像が投影されることで視認されるＡＲマーカは、円柱形状（側面が曲面で、断面が円形状または楕円形状）に変更されることになる。
【0085】
このように、ＡＲマーカ補正部５０４では、車両の所定方向の動作が検出されると、ＡＲマーカ生成部５０２により生成された投影画像に含まれるＡＲマーカの少なくとも一部を、車両動作検出部５０３より通知された動作方向に応じて補正する。
【0086】
＜補正時間帯における投影例＞
次に、補正時間帯における投影例について説明する。図１５は、ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第４の図である。図１５に示すように、車両が舗装されていない砂利道等を走行した場合、ＡＲマーカ補正部５０４には、ｙ軸方向の動作を検出した旨の検出結果が通知されることになる。このため、投影画像に含まれるＡＲマーカが補正され、車両のフロントウィンドウには、補正後のＡＲマーカを含む投影画像が投影されることになる。この結果、図１５に示すＡＲマーカ１５００が視認されることになる。
次に、補正時間帯における投影例について説明する。図１５は、ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第４の図である。図１５に示すように、車両が舗装されていない砂利道等を走行した場合、ＡＲマーカ補正部５０４には、ｙ軸方向の動作を検出した旨の検出結果が通知されることになる。このため、投影画像に含まれるＡＲマーカが補正され、車両のフロントウィンドウには、補正後のＡＲマーカを含む投影画像が投影されることになる。この結果、図１５に示すＡＲマーカ１５００が視認されることになる。
【0087】
ＡＲマーカ１５００の場合、前方を走行する他車両３００と自車両との間でｙ軸方向の相対的な位置関係が変動し、ｙ軸方向の位置ずれを起こしたとしても、ｙ軸方向に略直交する面が変更されている。このため、運転者に対して与える、ｙ軸方向の位置ずれによる違和感を低減させることができる。
【0088】
＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る画像処理装置１３０では、車両のフロントウィンドウに投影することで、該車両の前方に位置する対象物が３次元のＡＲマーカに囲まれているように視認される投影画像を出力する際、
・車両の所定方向の変位信号を監視し、
・車両の所定方向の動作を検出した場合に、投影画像に含まれるＡＲマーカの少なくとも一部を、動作方向に応じて補正する。
以上の説明から明らかなように、第２の実施形態に係る画像処理装置１３０では、車両のフロントウィンドウに投影することで、該車両の前方に位置する対象物が３次元のＡＲマーカに囲まれているように視認される投影画像を出力する際、
・車両の所定方向の変位信号を監視し、
・車両の所定方向の動作を検出した場合に、投影画像に含まれるＡＲマーカの少なくとも一部を、動作方向に応じて補正する。
【0089】
これにより、第２の実施形態によれば、ＡＲマーカ対象物に対してＡＲマーカの位置ずれを起こしたとしても、運転者に与える違和感を低減させることができる。
【0090】
［その他の実施形態］
上記第１及び第２の実施形態では、ＡＲマーカ対象検出部５０１が、ＡＲマーカ対象物として、自車両の前方を走行する他車両３００を検出する場合について説明したが、ＡＲマーカ対象検出部５０１が検出するＡＲマーカ対象物は、他車両に限定されない。例えば、前方を歩行する歩行者を検出してもよい。また、ＡＲマーカ対象検出部５０１が検出する対象物は、動物体に限定されず、静止物体であってもよい。
上記第１及び第２の実施形態では、ＡＲマーカ対象検出部５０１が、ＡＲマーカ対象物として、自車両の前方を走行する他車両３００を検出する場合について説明したが、ＡＲマーカ対象検出部５０１が検出するＡＲマーカ対象物は、他車両に限定されない。例えば、前方を歩行する歩行者を検出してもよい。また、ＡＲマーカ対象検出部５０１が検出する対象物は、動物体に限定されず、静止物体であってもよい。
【0091】
また、上記第１及び第２の実施形態では、車両動作検出センサからの変位信号に基づいて、所定方向の動作を検出するものとして説明した。しかしながら、所定方向の動作を検出する方法はこれに限定されない。例えば、ステアリング装置の舵角を示す信号に基づいて、所定方向の動作を検出するようにしてもよい。
【0092】
また、上記第２の実施形態では、スクリーン１１１０が可動することでフロントガラス１６０までの光路長を変動させる構成としたが、光路長を変動させる構成はこれに限定されない。例えば、反射ミラーが可動することでフロントガラス１６０までの光路長を変動させる構成としてもよい。
【0093】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0094】
１００ ：ヘッドアップディスプレイシステム
１１０ ：撮像装置
１２０ ：車両動作検出センサ
１３０ ：画像処理装置
１４０ ：ＡＲマーカ部
１５０ ：光学部材
５０１ ：ＡＲマーカ対象検出部
５０２ ：ＡＲマーカ生成部
５０３ ：車両動作検出部
５０４ ：ＡＲマーカ補正部
５０５ ：ＡＲマーカ出力部
６１０ ：投影画像
６１１ ：ＡＲマーカ
１０００ ：ＡＲマーカ
１１００ ：光学部材
１３２０～１３２５ ：投影画像
１３３０～１３３５ ：ＡＲマーカ
１５００ ：ＡＲマーカ
１１０ ：撮像装置
１２０ ：車両動作検出センサ
１３０ ：画像処理装置
１４０ ：ＡＲマーカ部
１５０ ：光学部材
５０１ ：ＡＲマーカ対象検出部
５０２ ：ＡＲマーカ生成部
５０３ ：車両動作検出部
５０４ ：ＡＲマーカ補正部
５０５ ：ＡＲマーカ出力部
６１０ ：投影画像
６１１ ：ＡＲマーカ
１０００ ：ＡＲマーカ
１１００ ：光学部材
１３２０～１３２５ ：投影画像
１３３０～１３３５ ：ＡＲマーカ
１５００ ：ＡＲマーカ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11】
【図12】
【図13】
【図14】
【図15】