(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-26
(45)【発行日】2024-10-04
(54)【発明の名称】ＡＲ表示装置、ＡＲ表示方法、およびプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240927BHJP
B60K 35/40 20240101ALI20240927BHJP
【ＦＩ】
G06T19/00 600
B60K35/40
【請求項の数】
13
(21)【出願番号】P 2023069358
(22)【出願日】2023-04-20
(62)【分割の表示】P 2021150800の分割
【原出願日】2017-03-17
(65)【公開番号】P2023109754
(43)【公開日】2023-08-08
【審査請求日】2023-04-20
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】森 弘充
(72)【発明者】
【氏名】村田 誠治
(72)【発明者】
【氏名】川村 友人
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０１２－００６４６９（ＪＰ，Ａ）
【文献】特開２０１０－０６６０４２（ＪＰ，Ａ）
【文献】特開２０１６－０９５６８８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ １９／００
Ｂ６０Ｋ ３５／００－３５／９０
(57)【特許請求の範囲】
【請求項1】
拡張現実の画像情報であるＡＲ画像を表示するＡＲ表示装置であって、画像を取得する撮影手段と、
対象物体の画像を抽出する画像選択手段と、
前記対象物体に関する利用者の視認性を判断する視認性判断手段と、
画面に表示するためのＡＲ画像を調整する画像生成手段と、
前記ＡＲ画像を前記画面に表示させるＡＲ表示手段と、
を備え、
前記視認性判断手段は、前記対象物体の画像の位置に基づいて視認性を判断し、
前記視認性判断手段が、複数の対象物体の画像を視認性が低いと判断した場合、
前記画像生成手段は、前記複数の対象物体のうちの一部の対象物体のＡＲ画像を生成し、
前記ＡＲ表示手段は、前記画像生成手段により生成された前記ＡＲ画像を前記画面に表示し、
前記視認性判断手段は、前記画面の中心点からの前記対象物体の画像の相対位置と所定の閾値とを比較することにより、前記対象物体に関する前記利用者の視認性の高低を判断する、
ＡＲ表示装置。
【請求項2】
前記画像生成手段は、前記複数の対象物体のうち、所定の最大数以下の一部の対象物体のＡＲ画像を生成する、請求項１に記載のＡＲ表示装置。
【請求項3】
前記視認性判断手段が視認性を高いと判断した場合に、前記ＡＲ表示手段が前記ＡＲ画像を前記画面に表示しないように制御する、請求項１に記載のＡＲ表示装置。
【請求項4】
前記閾値は、前記画面の中心点からの所定の相対位置に基づいて設定される、請求項１に記載のＡＲ表示装置。
【請求項5】
前記ＡＲ表示手段は、前記対象物体の画像のサイズよりも大きいサイズで前記ＡＲ画像を表示する、請求項１に記載のＡＲ表示装置。
【請求項6】
前記ＡＲ表示手段は、前記対象物体の画像から、光学文字認識により文字情報を抽出し、前記文字情報に基づいて前記ＡＲ画像を生成する、請求項１に記載のＡＲ表示装置。
【請求項7】
拡張現実の画像情報であるＡＲ画像を表示するＡＲ表示装置におけるＡＲ表示方法であって、画像を取得する撮影手段により前記画像を取得するステップと、
対象物体の画像を抽出する画像選択ステップと、
前記対象物体に関する利用者の視認性を判断する視認性判断ステップと、
画面に表示するためのＡＲ画像を調整する画像生成ステップと、
前記ＡＲ画像を前記画面に表示させるＡＲ表示ステップと、
を備え、
前記視認性判断ステップは、前記対象物体の画像の位置に基づいて視認性を判断し、
前記視認性判断ステップにおいて複数の対象物体の画像を視認性が低いと判断した場合、
前記画像生成ステップは、前記複数の対象物体の一部の対象物体のＡＲ画像を生成し、
前記ＡＲ表示ステップは、前記画像生成ステップにおいて生成された前記ＡＲ画像を前記画面に表示し、
前記視認性判断ステップは、前記画面の中心点からの前記対象物体の画像の相対位置と所定の閾値とを比較することにより、前記対象物体に関する前記利用者の視認性の高低を判断する、
ＡＲ表示方法。
【請求項8】
前記画像生成ステップは、前記複数の対象物体のうち、所定の最大数以下の一部の対象物体のＡＲ画像を生成する、請求項７に記載のＡＲ表示方法。
【請求項9】
前記視認性判断ステップで視認性を高いと判断した場合に、前記ＡＲ表示ステップで前記ＡＲ画像を前記画面に表示しないように制御する、請求項７に記載のＡＲ表示方法。
【請求項10】
前記閾値は、前記画面の中心点からの所定の相対位置に基づいて設定される、請求項７に記載のＡＲ表示方法。
【請求項11】
前記ＡＲ表示ステップは、前記対象物体の画像のサイズよりも大きいサイズで前記ＡＲ画像を表示する、請求項７に記載のＡＲ表示方法。
【請求項12】
前記ＡＲ表示ステップは、前記対象物体の画像から、光学文字認識により文字情報を抽出し、前記文字情報に基づいて前記ＡＲ画像を生成する、請求項７に記載のＡＲ表示方法。
【請求項13】
ＡＲ表示装置に、請求項７に記載のＡＲ表示方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置の技術に関し、拡張現実（ＡＲ：Augmented Reality）の画像情報を利用者に提供する表示技術に関する。
【背景技術】
【0002】
ＡＲ画像情報を提供する機能を持つＡＲ表示装置やそのシステムとしては、例えば、自動車の車載システムにおいて、運転支援、ナビゲーション、関連情報提供等の目的でＡＲ画像情報を運転者に提示するものが挙げられる。例えば、車載のヘッドアップディスプレイ（ＨＵＤ：Head Up Display）装置で、ＡＲ表示機能を持つもの（ＡＲ－ＨＵＤ）がある。ＡＲ－ＨＵＤでは、運転席のフロントシールド等の画面に透過されている外界映像である運転者の視界の実景に対し、ＡＲ画像を虚像として重畳するように投射表示する。ＡＲ画像情報としては、車速等の車両情報、運転支援やナビゲーションのための車両進行方向矢印画像、歩行者等の注意情報、標識や看板等の情報、等の各種が挙げられる。ＡＲ画像情報の元データとしては、例えば車載のセンサの情報や、カーナビゲーションシステムの地図情報等が利用されている。
【0003】
ＡＲ表示装置に関する先行技術例として、特開２０１６－９５６８８号公報（特許文献１）が挙げられる。特許文献１には、車載用情報表示装置として、車載カメラによって車両の外の看板等を撮影した場合に、撮影した画像の中の看板等の画像を正確に認識し、認識結果をユーザが理解可能な画像に変換して表示する旨等が記載されている。特許文献１には、看板に含まれる文字列を翻訳して表示する旨等が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１６－９５６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の車載のＨＵＤ装置等のＡＲ表示装置では、画面のＡＲ画像を含む映像の提示に関して、以下のように、利用者（運転者等）による、物体及びＡＲ画像を含む映像の視認性に関して課題がある。言い換えると、利用者による認知や情報処理の容易性、ＡＲ利用の快適性、等に関して課題がある。
【0006】
例えば、従来の車載のＨＵＤ装置では、カメラが撮影した外界の物体を含む画像に基づいて、そのまま物体に関するＡＲ画像を生成し、画面に重畳表示させる。その際、例えば、画面及び視界内に運転者が興味ある看板等の物体があるが、その物体を運転者が視認しにくい場合や視認できない場合がある。あるいは、その物体に関するＡＲ画像が提示されても、そのＡＲ画像を視認しにくい場合や視認できない場合がある。例えば、運転状況等に応じて、看板等の物体に記載の文字を、運転者が判読できない場合等がある。また、例えば、自車から比較的遠くに看板があるが、ある程度近付かないとその看板の情報を視認できない場合がある。このような場合、運転者は、その物体を認知できない、あるいは、その物体に関する情報が得られず、不便である。
【0007】
本発明の目的は、ＡＲ表示装置に関して、利用者（運転者等）による、物体及びＡＲ画像を含む映像の視認性を高めて、好適なＡＲ提示が実現できる技術を提供することである。
【課題を解決するための手段】
【0008】
本発明のうち代表的な実施の形態は、ＡＲ表示装置であって、以下に示す構成を有することを特徴とする。
【0009】
一実施の形態のＡＲ表示装置は、外界の実景を透過する画面に対して拡張現実の画像情報を重畳表示するＡＲ機能を有するＡＲ表示装置であって、カメラで撮影された画像を入力し、前記画像から、所定の物体の領域を選択して抽出する画像選択部と、前記抽出された前記物体の領域に関する利用者の視認性を、指標値に基づいて判断する、視認性判断部と、前記物体の領域の視認性に基づいて、前記物体の領域に対する前記視認性を高めるための画像加工処理を施すことで、前記物体に関する前記拡張現実の画像情報であるＡＲ画像を生成するＡＲ画像生成部と、前記外界の実景を透過する画面に対して前記ＡＲ画像を重畳表示するＡＲ表示部と、を有し、前記視認性に応じて、前記ＡＲ画像の表示有無、及び前記画像加工処理の内容を変えるように制御する。
【発明の効果】
【0010】
本発明のうち代表的な実施の形態によれば、ＡＲ表示装置に関して、利用者による、物体及びＡＲ画像を含む映像の視認性を高めて、好適なＡＲ提示が実現できる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態１のＡＲ表示装置であるＨＵＤ装置を含む、車載システムの構成を示す図である。
【図2】実施の形態１で、自動車の運転座席付近を横から見た、各部の配置構成例を概略的に示す図である。
【図3】実施の形態１で、主要処理のフローを示す図である。
【図4】実施の形態１で、運転者から見た画面の例を示す図である。
【図5】実施の形態１で、画面の領域の例を示す図である。
【図6】実施の形態１で、画面でのＡＲ表示の例を示す図である。
【図7】実施の形態１で、視認性に応じたＡＲ表示制御の第１例を示す図である。
【図8】実施の形態１で、視認性に応じたＡＲ表示制御の第２例を示す図である。
【図9】実施の形態１で、ＡＲ機能のユーザ設定の例を示す図である。
【図10】本発明の実施の形態２のＡＲ表示装置であるＨＵＤ装置を示す図である。
【図11】実施の形態２で、画面の例を示す図である。
【図12】本発明の実施の形態３のＡＲ表示装置であるＨＵＤ装置を示す図である。
【図13】実施の形態３で、画面の例を示す図である。
【図14】本発明の実施の形態４のＡＲ表示装置であるＨＵＤ装置を示す図である。
【図15】実施の形態４で、画面の例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。
【0013】
（実施の形態１）
図１～図９を用いて、本発明の実施の形態１のＡＲ表示装置等について説明する。実施の形態１のＡＲ表示装置は、車載システムのＨＵＤ装置として実装される場合を示す。実施の形態１のＡＲ表示方法は、実施の形態１のＡＲ表示装置で実行されるステップを有する方法である。実施の形態１のＡＲ表示装置では、車外カメラの撮影画像から、看板等の物体を抽出し、運転者が視認しにくい物体について、画像加工によって、視認しやすいＡＲ画像を生成して提示する機能を有する。また、実施の形態１のＡＲ表示装置では、撮影画像内の物体の位置、サイズ、距離、姿勢、画質等に応じて、ＡＲ画像の提示の仕方を変えて、運転者の視認性を高める機能を有する。
図１～図９を用いて、本発明の実施の形態１のＡＲ表示装置等について説明する。実施の形態１のＡＲ表示装置は、車載システムのＨＵＤ装置として実装される場合を示す。実施の形態１のＡＲ表示方法は、実施の形態１のＡＲ表示装置で実行されるステップを有する方法である。実施の形態１のＡＲ表示装置では、車外カメラの撮影画像から、看板等の物体を抽出し、運転者が視認しにくい物体について、画像加工によって、視認しやすいＡＲ画像を生成して提示する機能を有する。また、実施の形態１のＡＲ表示装置では、撮影画像内の物体の位置、サイズ、距離、姿勢、画質等に応じて、ＡＲ画像の提示の仕方を変えて、運転者の視認性を高める機能を有する。
【0014】
［ＡＲ表示装置及び車載システム（１）］
図１は、実施の形態１のＡＲ表示装置であるＨＵＤ装置１を含む、車載システム１００の構成を示す。車載システム１００は、自動車に搭載されているシステムである。利用者である運転者は、車載システム１００及びＨＵＤ装置１を操作し利用する。このＨＵＤ装置１は、特にＡＲ機能を持つＡＲ－ＨＵＤ装置である。
図１は、実施の形態１のＡＲ表示装置であるＨＵＤ装置１を含む、車載システム１００の構成を示す。車載システム１００は、自動車に搭載されているシステムである。利用者である運転者は、車載システム１００及びＨＵＤ装置１を操作し利用する。このＨＵＤ装置１は、特にＡＲ機能を持つＡＲ－ＨＵＤ装置である。
【0015】
車載システム１００は、ＥＣＵ（Engine Control Unit：エンジン制御部）１０１、ＨＵＤ装置１、カメラ２を含む車外撮影部１０２、映像データ記憶部１０３、通信部１０４、ＧＰＳ受信器１０５、カーナビ部１０６、カメラ３を含む運転者撮影部１０７、センサ部１０８、ＤＢ部１０９等を有し、それらが車載バス及びＣＡＮ（Car Area Network）１１０に接続されている。車載システム１００は、その他図示しない操作部、電源部等を有する。
【0016】
ＨＵＤ装置１は、制御部１０、表示部２０、その他図示しない記憶部、操作部、音声出力部、電源部等を有する。制御部１０は、マイコン等で構成され、ＨＵＤ装置１の全体を制御する。表示部２０は、投射型表示装置で構成され、フロントシールド９へＡＲの虚像を形成するための映像光を投射する。これにより、フロントシールド９に画面５が構成され、画面５で透過実景上にＡＲの虚像が重畳表示される。操作部（例えば操作パネルを含む）を用いて、利用者による操作入力、例えばＡＲ機能のオン／オフが可能である。音声出力部を用いて、カーナビやＡＲ表示に伴う音声出力も可能である。
【0017】
表示部２０は、表示駆動回路２１、表示素子２２、光源２３、光学系２４等を有し、それらが接続されている。表示駆動回路２１は、制御部１０のＡＲ表示部１５からのＡＲデータである映像データに基づいて、ＡＲ表示制御のための表示信号を生成し、表示素子２２や光源２３を駆動する。光源２３は、表示信号に基づいて表示素子２２へ光を出射する。光源２３は、例えばＬＥＤ素子やレーザ素子等で構成される。表示素子２２は、例えば公知のＳＬＭ（Spatial Light Modulator：空間光変調器）、ＭＥＭＳミラー、ＤＭＤ（Digital Micromirror Device、登録商標）、またはＬＣＤ等から構成できる。表示素子２２は、表示信号及び光源２３からの光に基づいて映像光を生成し、光学系２４へ出射する。
【0018】
光学系２４は、表示素子２２からの映像光をフロントシールド９の画面５へ導く。光学系２４は、レンズやミラー等の素子、及びそれらを駆動するためのモータ等の駆動部を含む。光学系２４は、例えば表示部２０の制御またはユーザ操作に基づいてミラーを駆動してミラーの傾きの角度を変更する機能も有する。これにより、フロントシールド９の画面５（虚像の基本表示領域）の位置等を、運転者から見て上下左右等に移動するように基本調整が可能である。
【0019】
ＥＣＵ１０１は、エンジン運転制御を含む車両制御を行う。ＥＣＵ１０１は、運転支援や運転自動制御のための高度な機能（例えば車間距離制御機能）を有してもよい。その場合、ＥＣＵ１０１は、その運転支援等のための情報をＨＵＤ装置１に出力してＨＵＤ装置１を制御し、これによりＨＵＤ装置１に運転支援等のためのＡＲ表示（例えば車間距離情報出力）を行わせてもよい。
【0020】
車外撮影部１０２は、カメラ２を含み、自動車の停止中や走行中等に、１台以上のカメラ２を用いて自車の外界の実景を撮影して、映像データ（時系列の画像フレームを含む）及び車両周囲情報を取得し、映像データ記憶部１０３に格納したり、ＥＣＵ１０１へ出力したりする。カメラ２は、車外カメラ２であり、例えば、車両前部のバンパー、フロントシールド９の四辺付近、あるいは車両横部のバックミラー付近、等の所定の位置に設置されている。カメラ２は、所定の向きで所定の範囲を撮像する。カメラ２は、運転者の視界に対応する車両前方の実景を含む範囲を撮影する。
【0021】
車外撮影部１０２は、１台以上のカメラ２の画像を処理して、車両周囲情報を計算して得る信号処理部等を備えてもよいし、備えなくてもよい。その信号処理部等は、ＥＣＵ１０１やＨＵＤ装置１内に備えてもよい。車両周囲情報は、車両前方や側面付近を含む範囲の物体の近接等の状態を含む情報である。
【0022】
映像データ記憶部１０３は、カメラ２からの映像データ等を記憶する。映像データ記憶部１０３は、ＨＵＤ装置１内に備えてもよい。なお、情報セキュリティ等の観点から、映像データを、車内の映像データ記憶部１０３等に格納して残すのではなく、通信部１０４を通じて外部のデータセンタ等に格納し、外部でデータ管理を行う形態としてもよい。
【0023】
通信部１０４は、外部の移動体網やインターネット等に対する通信を行う通信インタフェース装置を含む部分である。通信部１０４は、ＨＵＤ装置１等からの制御に基づいて、例えばインターネット上のデータセンタ等のサーバと通信を行う。これにより、ＨＵＤ装置１は、サーバからＡＲ表示のための元データや関連情報等を参照、取得できる。
【0024】
ＧＰＳ受信器１０５は、外部のＧＰＳ衛星との通信に基づいて、自車の位置情報（例えば緯度及び経度等で表される）を得る。なお、図示しないが、他に公知のＶＩＣＳ受信機等を有する。
【0025】
カーナビ部１０６は、車に搭載されている既存のカーナビゲーションシステムの部分であり、地図情報や、ＧＰＳ受信器１０５を用いて取得した位置情報等を保持している。カーナビ部１０６は、ＧＰＳ受信器１０５を通じて、自車の位置情報を把握する。ＥＣＵ１０１及びＨＵＤ装置１は、ＧＰＳ受信器１０５やカーナビ部１０６から自車両の位置情報を取得する。ＨＵＤ装置１は、カーナビ部１０６から地図情報や目的地情報等を参照してＡＲ表示のための元データとして用いることもできる。例えば、ＨＵＤ装置１は、その元データに基づいて、ＡＲ画像例として、目的地へのナビゲーションのための、道路上の進行方向を表す矢印画像等を生成してもよい。
【0026】
運転者撮影部１０７は、カメラ３を含み、１台以上のカメラ３を用いて、運転者の目や顔を含む範囲を撮影し、所定の処理を行う。カメラ３は、運転者カメラ、車内カメラである。運転者撮影部１０７は、カメラ３で撮影された映像データを、映像データ記憶部１０３に格納してもよい。運転者撮影部１０７は、カメラ３の画像から所定の処理を行う信号処理部等を備える。その信号処理部等は、ＥＣＵ１０１やＨＵＤ装置１内に備えてもよい。運転者撮影部１０７は、公知技術を用いて構成できる。なお、実施の形態１では、運転者撮影部１０７を用いる必要は無く、実施の形態３等で用いる。
【0027】
運転者撮影部１０７は、所定の処理機能として例えば以下を有する。運転者撮影部１０７は、例えば、運転者の目のまばたき等の状態を判断することで、居眠り運転等を検出できる。運転者撮影部１０７は、例えば、空間内（車内）の運転者の目の位置を検出でき、また、目の位置から運転者の姿勢等を判断できる。運転者撮影部１０７は、例えば、運転者の目の中の瞳孔や光反射点を判断することで、運転者の視線を検出する機能（視線追跡機能）を有する。ＥＣＵ１０１やＨＵＤ装置１は、運転者撮影部１０７から視線等の運転者情報を取得して、制御を行うことができる。
【0028】
センサ部１０８は、自動車に搭載されている公知のセンサ群を有し、検出した車速等の車両情報を出力する。ＥＣＵ１０１やＨＵＤ装置１は、その車両情報を取得し、制御を行う。センサ部１０８は、センサ群として、車速計、加速度センサ、ジャイロセンサ、地磁気センサ、赤外線センサ等を備えている。センサ部１０８は、自車と物体との距離を計測する距離センサを備えてもよい。加速度センサやジャイロセンサは、自車の状態情報として加速度や角速度等を検出する。
【0029】
ＤＢ部１０９は、ストレージ等で構成され、ＡＲ表示に利用するためのデータや情報がＤＢに格納されている。このＤＢのデータや情報としては、ＡＲ画像を生成するための元データや、ＡＲ処理のための設定情報や、ユーザ設定情報等を含む。元データは、例えば運転支援やナビゲーションに用いるデータである。設定情報は、例えば物体の特徴情報や定義情報、あるいは画像マッチングの基準画像等である。ユーザ設定情報は、例えば、ＡＲ表示装置が提供する機能のオン／オフの設定情報や、ＡＲ表示対象情報のカテゴリの設定情報等がある。
【0030】
なお、ＤＢ部１０９及びそのＤＢは、車載システム１００内でＨＵＤ装置１外に設けているが、これに限らず、ＨＵＤ装置１内に設けてもよいし、車載システム１００の外部の通信網上のデータセンタ等に設けてもよい。このＤＢは、カーナビ部１０６のＤＢと併合でもよい。このＤＢには、通信部１０４を介して外部のサーバやＤＢ等から取得された情報が格納されてもよい。ＤＢが外部の通信網上にある場合、通信が必要になるが、車載システム１００内にＤＢを持つ必要がなく、メモリ容量の節約等ができる。ＤＢが車載システム１００内またはＨＵＤ装置１内にある場合、メモリ容量の確保が必要になるが、通信が不要で高速な検索ができる。
【0031】
フロントシールド９は、透過性及び剛性を持つガラス等で構成されている。フロントシールド９の画面５は、ＡＲ機能の非利用時には、全領域が透過状態であり、外界の実景が透過されている。画面５は、ＡＲ機能の利用時には、透過実景上にＡＲ画像が重畳表示されている。フロントシールド９は、反射及び透過機能を持つフィルム等で構成されてもよい。フロントシールド９は、無通電状態では透明で通電状態では発光する性質を持つ有機ＥＬ装置等で構成されてもよい。フロントシールド９は、可撓性を持つ有機ＥＬ表示装置等で構成されてもよい。フロントシールド９の手前に、別に、ＡＲ専用の表示板（コンバイナ等）が設けられてもよい。
【0032】
［ＡＲ表示装置及び車載システム（２）］
図２は、自動車の前部運転座席付近を横から見た場合の各部の配置構成例を概略的に示す。運転座席に運転者が座っている状態を示す。運転者の前方（Ｚ方向）に、曲面のフロントシールド９を有する。例えば、前部のダッシュボードの中央のコンソールの位置には、ＡＲ表示装置の表示部２０や、図示しないがカーナビ部１０６等が設置されている。図２では、表示素子２２と光学系２４のうちのミラー２４ａとを示している。表示素子２２から前方へ出射された光は、凹面鏡であるミラー２４ａでフロントシールド９の方へ反射され、その反射光は、フロントシールド９の内側面で運転者の目（点ｐ１）の方へ反射される。これにより、フロントシールド９の内側面の一部に画面５が構成される。運転者の目または視点の位置を点ｐ１で示す。運転者の視線Ｌ１を一点鎖線で示す。視線Ｌ１の先の画面５との交点である注視点を点ｐ４で示す。
図２は、自動車の前部運転座席付近を横から見た場合の各部の配置構成例を概略的に示す。運転座席に運転者が座っている状態を示す。運転者の前方（Ｚ方向）に、曲面のフロントシールド９を有する。例えば、前部のダッシュボードの中央のコンソールの位置には、ＡＲ表示装置の表示部２０や、図示しないがカーナビ部１０６等が設置されている。図２では、表示素子２２と光学系２４のうちのミラー２４ａとを示している。表示素子２２から前方へ出射された光は、凹面鏡であるミラー２４ａでフロントシールド９の方へ反射され、その反射光は、フロントシールド９の内側面で運転者の目（点ｐ１）の方へ反射される。これにより、フロントシールド９の内側面の一部に画面５が構成される。運転者の目または視点の位置を点ｐ１で示す。運転者の視線Ｌ１を一点鎖線で示す。視線Ｌ１の先の画面５との交点である注視点を点ｐ４で示す。
【0033】
自動車の前部の所定の位置、例えばバックミラー付近には、カメラ２が設置されている。カメラ２の位置を点ｐ２で示す。カメラ２は、自動車の前方の方向を撮影している。車内の前部の所定の位置、例えば運転座席の斜め上には、カメラ３が設置されている。カメラ３の位置を点ｐ３で示す。カメラ３は、運転座席及び運転者の顔の方向を撮影している。
【0034】
ＡＲ表示装置の表示部２０、カメラ２及びカメラ３の位置（３次元空間座標）や方向が予め設定されており、それらは所定の関係を有する。また、それらは、利用者の調整操作によって可変に設定できる。運転者は、運転座席を調整し、表示部２０による画面５の位置を調整する。
【0035】
運転者の視線Ｌ１の先には、実景内の物体（例えば路面マークや看板等）がある。画面５の点ｐ４には、その物体、またはその物体に対応付けられたＡＲ虚像としての物体が見える。車載システム１００及びＨＵＤ装置１は、実景内の物体と、車のカメラ２（点ｐ２）との距離（物体距離）を計測及び計算する機能を有する。また、その物体距離は、カメラ２の点ｐ２と視点の点ｐ１との位置関係に基づいて、視点と物体との距離として換算可能である。即ち、車載システム１００及びＨＵＤ装置１は、実景内の物体と、車及び運転者の視点との物体距離を計測可能である。また、自車の位置情報に基づいて、物体距離から、物体の空間内の位置も計算可能である。また、カメラ３がある形態の場合、変動する視点の点ｐ１の位置も計測可能である。その場合、変動する視点と物体との距離が把握可能である。ＨＵＤ装置１は、カメラ２、車及び運転者の視点と物体との距離情報を用いて、後述の視認性判断やＡＲ画像加工を行う。
【0036】
上記物体距離や位置の計測機能は、公知の各種の手段で実現可能であるが、例えば以下である。センサ部１０８に備える専用の距離センサを用いてもよい。例えば、センサから出射した光が物体に当たって戻ってくるまでの時間を計測し、その時間から物体距離を計算可能である。また、車外撮影部１０２に１つのカメラ２を備える場合、そのカメラ２の画像の画像内の物体の位置等と、他のセンサの情報とを用いて、計算で物体距離等が得られる。また、車外撮影部１０２に２つのカメラ２、即ちステレオカメラを備える場合、その２つのカメラ２の左右の２つの画像を用いて、計算で物体距離等が得られる。物体距離等の計算は、ＥＣＵ１０１内やＨＵＤ装置１内で行ってもよい。
【0037】
車外撮影部１０２は、カメラ２として、例えば１組のカメラレンズ及び受光素子から成る単眼カメラを用いてもよい。この場合、低コストで実現できる。車外撮影部１０２またはＨＵＤ装置１は、その単眼カメラの画像、及び他のセンサの情報等を用いて、公知の計算処理によって、物体距離を計測する。車外撮影部１０２は、カメラ２として、２組のカメラレンズ及び受光素子から成るステレオカメラを用いてもよい。車外撮影部１０２またはＨＵＤ装置１は、２つのカメラの画像を用いて、公知の計算処理によって、物体距離を計測する。
【0038】
カメラ２のレンズとしては、望遠レンズや広角レンズを用いてもよい。望遠レンズを用いる場合、運転者から遠い位置にある物体についても撮影でき、ＡＲの候補となる物体を増やすことができる。広角レンズを用いる場合、１つのカメラ２で広範囲を撮影できるので、低コストで実現できる。カメラ２のレンズまたは受光素子の手前に偏光フィルタを設けてもよい。これにより、物体からの不要反射光による検出精度低下を防止できる。
【0039】
［ＡＲ表示装置及び車載システム（３）］
制御部１０は、マイコンのソフトウェアプログラム処理等によって実現される各部として、画像選択部１１、視認性判断部１２、ＡＲ画像生成部１３、画像加工部１４、ＡＲ表示部１５を有する。ＡＲ画像生成部１３は画像加工部１４を含む。各部は、専用回路（例えばＦＰＧＡ）で実現されてもよい。
制御部１０は、マイコンのソフトウェアプログラム処理等によって実現される各部として、画像選択部１１、視認性判断部１２、ＡＲ画像生成部１３、画像加工部１４、ＡＲ表示部１５を有する。ＡＲ画像生成部１３は画像加工部１４を含む。各部は、専用回路（例えばＦＰＧＡ）で実現されてもよい。
【0040】
画像選択部１１は、カメラ２で撮影された映像データを映像データ記憶部１０３から入力し、その映像データの各画像フレームから、画像解析処理等に基づいて、その画像内に写っている所定の物体の領域（物体領域、物体画像、等と記載する場合がある）を選択して画像データとして抽出する。画像選択部１１の処理機能は、言い換えると、画像の全体領域を、物体として認識可能である単位に対応した画素領域に区分する処理機能である。画像選択部１１は、選択抽出した物体領域の画像データを、制御部１０内のメモリまたは映像データ記憶部１０３に格納する。
【0041】
画像選択部１１は、画像解析処理としては、画像からの特徴量の抽出や判断、あるいは画像マッチング等を行う。画像選択部１１は、抽出した特徴量と、予め設定されている物体の特徴情報や定義情報とを比較して、類似性から、物体領域を判断し、抽出する。あるいは、画像選択部１１は、画像マッチング処理として、画像内の領域と、予め設定されている基準画像とを比較して、類似性から、物体領域を判断し、抽出する。
【0042】
実施の形態１では、対象物体として少なくとも看板を含む。ＨＵＤ装置１内には、予め所定の物体の特徴情報や定義情報が設定されている。例えば、看板の特徴情報や定義情報としては、四角形等の形状やサイズ範囲、看板面の色、看板面に記載の文字や図像、等が規定されている。物体の特徴情報や定義情報は、矩形や多角形や楕円等の幾何図形としてもよいし、画素単位の細かい領域としてもよいし、基準画像としてもよい。
【0043】
例えば、対象物体が看板である場合、画像選択部１１は、画像内から抽出された境界線によって区切れる四角形の領域がある場合に、その領域を看板の物体領域として抽出してもよい。または、画像選択部１１は、その看板に相当する四角形の領域を包含するようにとった単純化した直角四角形を、看板の物体領域として抽出してもよい。物体領域を例えば単純な矩形とする場合、高速処理が可能である。物体領域を例えば画素単位の細かい画素領域とする場合、細かく抽出でき、ノイズ（その物体の周辺の他の物体の影響等）を低減でき、より精細なＡＲ提示ができる。これらの観点は、バランスをとって適宜設計すればよい。
【0044】
なお、後述のユーザ設定機能を用いて、対象物体の種類等についてユーザ設定可能である。例えば、対象物体を看板のみとする設定等が可能である。
【0045】
視認性判断部１２は、映像データや物体領域の画像データに基づいて、対象物体に関するＡＲ画像を表示するにあたっての、運転者の視認性の良否（高低）の度合いを判断する。この視認性は、実景内の物体自体の視認性と、その物体に関連付けるＡＲ画像の視認性とを含む。視認性判断部１２は、その判断のために、所定の方式で視認性指標値を計算する。視認性判断部１２は、視認性指標値に基づいて、画像内から抽出された物体のうちで運転者が視認しにくいと考えられる物体を、ＡＲ表示対象やＡＲ画像加工対象として決定する。視認性判断部１２は、視認性指標値に応じて、物体のＡＲ表示の仕方を決定する。
【0046】
ＡＲ画像生成部１３は、対象物体が運転者に視認しやすくなるように、画像加工部１４の画像加工処理を用いて、元の物体よりも視認性が高いＡＲ画像を生成する。ＡＲ画像生成部１３は、対象物体に関する視認性の判断結果、入力映像データまたは物体領域の画像データ、及びＡＲ画像用の元データ等に基づいて、ＡＲ画像を生成する。その際、ＡＲ画像生成部１３は、必要に応じて、画像加工部１４を用いて、対象物体の画像領域を加工処理し、その加工後画像を用いてＡＲ画像を生成する。ＡＲ画像生成部１３は、必要に応じて、元データとして、ＤＢ部１０９のＤＢのデータを参照して利用する。または、ＡＲ画像生成部１３は、ＥＣＵ１０１やセンサ部１０８からの車両情報、カーナビ部１０６からの地図情報、通信部１０４を介した外部の情報、等を参照して利用する。
【0047】
画像加工部１４は、視認性の判断結果、入力映像データまたは物体領域の画像データ、及び元データ等に基づいて、対象物体及びＡＲ画像に関して視認性を高めるための加工や変換等の画像処理を行う。加工処理は、例えば、拡大処理、先鋭化処理、コントラスト変更処理、色調変更処理、姿勢変更処理、ＯＣＲ処理等が挙げられる。画像加工部１４は、それらの各処理を行う機能を有する。加工処理は、物体画像を加工してＡＲ画像とする場合もあるし、元のＡＲ画像を更に加工してＡＲ画像とする場合もある。なお、実装上、それらのうち一部の加工処理の機能のみを有してもよい。
【0048】
ＡＲ表示部１５は、ＡＲ画像生成部１３で生成されたＡＲ画像のデータに基づいて、ＡＲ表示のためのＡＲデータを生成して表示部２０へ出力することで、表示部２０にＡＲ表示を行わせる。ＡＲデータは、画面５内のＡＲ画像の表示位置、表示サイズ等の情報を含む。これにより、画面５内の表示位置に、物体と関係付けられたＡＲ画像が所定の拡大率の表示サイズ等の状態で、虚像として重畳表示される。運転者の目には、物体に関係付けられたＡＲ画像として視認される。ＡＲ表示部１５は、情報処理上の概念的な画面である平面の座標系と、フロントシールド９の画面５である曲面の座標系とを対応させる変換処理等も行う。
【0049】
ＨＵＤ装置１は、光学文字認識（ＯＣＲ）機能も備えている。画像選択部１１は、入力画像またはそのうちの物体画像から、ＯＣＲ処理によって文字（英数字、かな漢字、記号等）を認識し、文字データを得て、制御部１０のメモリまたは映像データ記憶部１０３に格納する。画像選択部１１は、入力画像から所定の図像やマーク等、例えば交通標識や商標等を抽出してもよい。
【0050】
画像選択部１１等の各部は、ＨＵＤ装置１の制御部１０の処理で実現されているが、これに限らず可能である。それらの各部は、一部または全部が、ＨＵＤ装置１外のハードウェアやソフトウェアで実現されてもよい。
【0051】
【0052】
（Ｓ１） ＨＵＤ装置１の制御部１０は、通常時、ＡＲ機能のオン状態では、車外撮影部１０２のカメラ２をオン状態とし、車外撮影部１０２のカメラ２によって撮影された外界の映像データを、映像データ記憶部１０３に格納させる。制御部１０は、映像データ記憶部１０３からその映像データの画像を順に入力する。
【0053】
なお、変形例として、車載システム１００のＥＣＵ１０１等がカメラ２の動作を制御してもよい。また、ＨＵＤ装置１は、カメラ２から直接的に映像データを入力してもよい。
【0054】
（Ｓ２） 画像選択部１１は、Ｓ１の入力映像データの画像内から、所定の対象の物体（例えば看板）の領域を選択して抽出する。画像選択部１１は、選択抽出した物体領域の画像データを、制御部１０内のメモリまたは映像データ記憶部１０３に格納する。
【0055】
また、Ｓ２で、画像選択部１１は、画像から物体を抽出する際、画像解析処理に基づいて、物体の特徴量等を抽出する。特徴量の例としては、形状、大きさ、色、明るさ、コントラスト、ぼけ（周波数成分）等がある。
【0056】
また、Ｓ２で、画像選択部１１は、画像または抽出した物体領域に関して、ＯＣＲ処理を施して、文字を認識できる場合には、その文字情報を抽出してもよい。
【0057】
実施の形態１では、画像選択部１１は、画面５のＡＲ表示可能領域の全体、及びカメラ２の画像の全体を対象として、物体領域を抽出する。これに限らず可能であり、画面５及び画像の全体のうちの一部領域が、抽出対象領域として設定されてもよい。例えば、図５で、一部領域Ｒ６の設定例を示す。
【0058】
また、実施の形態１では、画像選択部１１は、カメラ２の画像内から、同時に所定数までの物体領域を抽出する。その際には、例えば、自車から距離が近い位置にある物体を優先して抽出するようにしてもよいし、画面５で中心点から近い位置にある物体を優先して抽出するようにしてもよい。
【0059】
（Ｓ３） 視認性判断部１２は、Ｓ２で抽出された物体について、運転者から見た視認性の度合いを判断するための指標値を、所定の方式で計算する。説明上、この指標値を「視認性指標値」（visibility index value）と定義する。この指標値は、例えば、視認がしやすいほど高い値、視認がしにくいほど低い値になるように計算される。視認性判断部１２は、例えば、画像から抽出した特徴情報や、センサ部１０８のセンサ等の情報を用いて、この指標値を計算する。この指標値は、実施の形態１の計算方式では、物体距離や、画面５及び画像内の物体の位置やサイズ等の少なくとも１つを用いて計算される。物体距離は、前述の自車のカメラ２や視点と対象物体との距離である。例えば、物体距離が相対的に大きいほど指標値が低くなる。また、例えば、画像内の物体サイズが相対的に小さいほど指標値が低くなる。例えば、画像内の物体の位置が相対的に中心から離れた周辺の位置になるほど指標値が低くなる。
【0060】
（Ｓ４） 視認性判断部１２は、Ｓ３の視認性指標値に基づいて、対象物体が運転者から見て視認しやすいか視認しにくいかを判断し、分類する。例えば、視認性判断部１２は、視認性指標値と閾値とを比較し、いくつかの場合に分類する。少なくとも２つの分類を有する。実施の形態１では、第１分類、第２分類を有する（後述の図７）。第１分類は、大別して視認しやすいと判断される場合である。第２分類は、大別して視認しにくいと判断される場合である。ＨＵＤ装置１は、物体距離や物体サイズ等に関する閾値の範囲を用いて分類を行う。
【0061】
例えば、物体距離を用いる場合、自車と物体との距離が閾値よりも大きい場合には、運転者の視認性が低いと推定できる。また、例えば、物体サイズを用いる場合、画像内の物体領域のサイズが閾値よりも小さい場合には、その物体が自車から遠くの位置にあると推定でき、そのことから運転者の視認性が低いと推定できる。
【0062】
例えば、ＨＵＤ装置１は、予め、運転者の視力、及びカメラ２のレンズの画角特性等に応じて、運転者が視認困難となる画像サイズ（画素単位での長さ）を、閾値として設定しておく。この閾値は、物体毎の標準の画像サイズに対する倍率等で設定されてもよい。ＨＵＤ装置１は、Ｓ２で抽出した物体領域のサイズと、その画像サイズの閾値とを比較し、視認可能か否か等を判断し、分類する。
【0063】
上記視認性の分類は、２つに限らず可能であり、視認しやすさや視認しにくさの段階に応じて、３つ以上の分類としてもよい（後述の図８）。例えば、視認しにくさの第１段階、第２段階に応じて、第２分類、第３分類を有する。
【0064】
（Ｓ５） 視認性判断部１２は、Ｓ４の視認性判断結果の分類に基づいて、対象物体に関するＡＲ表示の実行有無、ＡＲ画像、加工処理の有無や内容等（タイプ等と記載する）を決定する。例えば、分類が第１分類の場合には、第１タイプとしてＡＲ表示を行わないとし、第２分類の場合には、第２タイプとして画像加工処理有りでＡＲ表示を行うとする。
【0065】
Ｓ５及びＳ６の際には、ＡＲ表示に関する基本ルール（後述）も考慮される。例えば、基本ルールとして、画面５の中央領域ではＡＲ画像表示を避ける。また、基本ルールとして、画面５内に同時に表示するＡＲ画像を所定の最大数までに抑える。
【0066】
（Ｓ６） ＡＲ画像生成部１３は、Ｓ５のタイプの決定に基づいて、ＡＲ表示する物体に関するＡＲ画像を生成する。その際、ＡＲ画像生成部１３は、画像加工部１４を用いて、第２分類として視認性が低いとされた物体及びＡＲ画像に関して、視認性を高めるための画像加工処理を行う。画像加工部１４は、物体領域に対する画像加工処理として、タイプに応じた拡大処理等を適用し、加工後画像データを出力する。ＡＲ画像生成部１３は、加工後画像データを用いてＡＲ画像を構成する。
【0067】
画像加工部１４は、加工処理として、拡大処理、先鋭化処理、コントラスト変更処理、色調変更処理、姿勢変更処理、ＯＣＲ処理の少なくとも１つを適用する。画像加工部１４は、例えば拡大処理の場合、物体領域の画像を拡大し、ＡＲ画像とする。画像加工部１４は、例えばＯＣＲ処理（言い換えると文字画像への変換処理）の場合、物体領域からＯＣＲ処理で文字情報を抽出し、その文字のフォント、サイズ、色等を、目的の視認性のレベルとなるように選んで文字画像を生成し、ＡＲ画像とする。なお、このＯＣＲ処理では、Ｓ２で画像選択部１１によって抽出された文字情報を利用してもよい。
【0068】
ＡＲ画像生成部１３は、元データに対し、画像加工部１４によって加工処理を施して、ＡＲ画像を生成してもよい。例えば、元データとして、看板面に記載の文字情報や図像が得られたとする。画像加工部１４は、その文字や図像のサイズを拡大等して、視認性が高いＡＲ画像を作成する。
【0069】
また、Ｓ６の際、ＡＲ画像生成部１３は、生成したＡＲ画像について、所定の方式（後述）に基づいて、画面５内の表示位置や表示サイズ等を決定する。例えば、固定位置方式の場合、画面５内の所定の固定領域（例えば図６の下辺領域Ｒ３）で、空いている部分の位置が、表示位置として選択される。近隣位置方式の場合、画面５内で、対象物体の近隣の範囲内で、かつ中央領域の外で、空いている部分の位置が、表示位置として選択される。ＡＲ画像の表示サイズについては、基本的に、物体距離の変化に応じて表示サイズが変化することになる。
【0070】
また、Ｓ６の際、ＡＲ画像生成部１３は、画面５内の１つ以上のＡＲ画像の視認性を高めるために、ＡＲ画像の表示位置や表示サイズ、表示数等を調整してもよい。運転者の視認性は、個別の物体やＡＲ画像に関する視認性だけではなく、画面５を見た時の複数の物体や複数のＡＲ画像に関する総合的な視認性も関係する。そのため、ＨＵＤ装置１は、画面５での総合的な視認性も考慮してＡＲ画像を決定する。例えば、第２分類の複数の物体についての複数のＡＲ画像がある場合に、それらの総合的な視認性が高くなるように、それらの表示位置、表示サイズ、表示数等が決定される。例えば、表示位置について、複数のＡＲ画像の表示位置が近く密集している場合には、なるべく重ならないように、それらの間隔をある程度離すように調整される。例えば、表示数については、画面５内で同時に所定の最大数までのＡＲ画像になるように限定される。限定の際には、物体距離、あるいは物体及びＡＲ画像の優先度の規定（看板よりも交通標識の方が優先度が高い等）等を考慮して決定される。これらにより、画面５内のＡＲ画像の情報量が抑えられ、運転者が物体やＡＲ画像を認知しやすくなる。
【0071】
（Ｓ７） ＡＲ表示部１５は、Ｓ６で生成されたＡＲ画像データ及びその制御用情報を用いて、画面５内で対象物体に対して関連付けてＡＲ画像を重畳表示するためのＡＲデータを作成し、表示部２０へ出力する。ＡＲ表示部１５は、Ｓ６の矩形の平面の画面でのＡＲ画像のデータを、フロントシールド９の曲面の画面５に対応させるように変換を行う。表示部２０は、このＡＲデータに従って、画面５にＡＲ画像を重畳表示する。以上の処理が同様の繰り返しのループとして行われる。
【0072】
［画面、画像］
図４は、車内の運転席の運転者が前方のフロントシールド９の画面５を見た様子を概略的に示す。なお、実際のフロントシールド９及び画面５は、台形状に見える曲面であるが、図４では矩形の平面として簡略化して示す。画面５は、ＡＲ表示可能領域を含む。本例では、画面５の全体をＡＲ表示可能領域とする。画面５では、運転者の視界に対応する実景として、前方に延びる道路３１や、道路脇の建物３２ａ，３２ｂ，３２ｃや、背景の空３３等が透過で見えている。また、画面５の実景において、物体として、標識３４、看板４１～４４等を有する。
図４は、車内の運転席の運転者が前方のフロントシールド９の画面５を見た様子を概略的に示す。なお、実際のフロントシールド９及び画面５は、台形状に見える曲面であるが、図４では矩形の平面として簡略化して示す。画面５は、ＡＲ表示可能領域を含む。本例では、画面５の全体をＡＲ表示可能領域とする。画面５では、運転者の視界に対応する実景として、前方に延びる道路３１や、道路脇の建物３２ａ，３２ｂ，３２ｃや、背景の空３３等が透過で見えている。また、画面５の実景において、物体として、標識３４、看板４１～４４等を有する。
【0073】
看板は、例えば直角四角形の平板の正面において、店舗案内や広告等の文字や図像が描かれている。運転者の視点の位置と、その看板の向き及び位置との関係に応じて、運転者からその看板を見た場合の形状等が異なる。例えば、看板４４は、正面が、視線や車進行方向に対して概ね垂直に配置されている状態であるため、矩形として見えている。例えば、看板４１は、同様に、正面が矩形として見えているが、物体距離が比較的遠いため、小さいサイズで見えており、記載文字等が視認しにくい。例えば、看板４２は、正面が、道路３１に面する向き、視線及び車進行方向に対しては９０度に近い向きで配置されている。看板４２は、正面が、視線に対し、斜めの姿勢となっている。そのため、看板４２は、台形状に歪んだ領域として見える。このような歪みを持つ場合、運転者にとって視認しにくい場合がある。車両と物体の位置や方向の関係によっては、物体が全く視認できない場合もある。看板４３は、自車に対して左横付近の位置に配置されており、同様に斜めの姿勢となっている。
【0074】
対象物体となる看板としては、独立に設置された看板、建物に設置された看板等を含む。対象物体となる看板の面における記載情報の種類としては、文字、図像（ロゴ等を含む）等が含まれる。記載情報の例としては、一般広告、店舗等の建物の広告、案内や地図、等が挙げられる。看板は、時間で内容が変化するデジタル広告看板でもよい。看板は、設置位置が固定の看板に限らず、移動する看板、例えば移動体に搭載されている看板でもよい。
【0075】
［領域、基本ルール、表示位置の方式］
図５は、画面５の領域等を示す。説明上の領域として、画面５の中央付近にある中央領域Ｒ１、上辺付近にある上辺領域Ｒ２、下辺付近にある下辺領域Ｒ３、右辺付近にある右辺領域Ｒ４、左辺付近にある左辺領域Ｒ５を有する。
図５は、画面５の領域等を示す。説明上の領域として、画面５の中央付近にある中央領域Ｒ１、上辺付近にある上辺領域Ｒ２、下辺付近にある下辺領域Ｒ３、右辺付近にある右辺領域Ｒ４、左辺付近にある左辺領域Ｒ５を有する。
【0076】
中央領域Ｒ１は、実施の形態１で、ＡＲ表示に関する基本ルールとして、ＡＲ画像の表示を避ける領域である。中央領域Ｒ１は、楕円としているが、これに限らず矩形等に設定可能である。画面５の中央領域Ｒ１は、運転者が運転中に注視することが多い領域である。この中央領域Ｒ１は、基本的にＡＲ表示を行わない領域、あるいは、運転支援等のための重要な所定のＡＲ表示のための優先使用領域として規定される。重要なＡＲ表示の一例としては、路面マークや信号機に関する表示、進行方向矢印表示、速度制限表示、車間距離表示、歩行者や対向車等の注意表示、警告表示等が挙げられる。この領域は、中央領域Ｒ１に限らず、後述の視線追跡機能がある場合の視線中心領域としてもよい。基本ルールの設定は一例である。他の設定例としては、画面５内でＡＲ画像を表示する率を一定率以下とすること等が挙げられる。
【0077】
実施の形態１のＨＵＤ装置１は、看板等の物体に関するＡＲ表示を行うが、そのＡＲ画像の表示位置等を決める際、中央領域Ｒ１をなるべく避ける。即ち、看板のＡＲ画像の表示位置は、基本的に中央領域Ｒ１の外側の位置に決定される。これにより、車載システム１００では、交通安全のための運転支援等を優先確保した上で、看板等のＡＲ画像情報を、視認性が良い状態で好適に提示できる。なお、状況（例えば低速運転時や車両停止時）によっては、中央領域内Ｒ１に、看板等のＡＲ表示を行うようにしてもよい。
【0078】
画面５におけるＡＲ画像の表示位置の決め方の方式に関して、いくつか可能であり、以下が挙げられる。前述のＳ６でＡＲ画像生成部１３は、物体に関連付けて表示する画面５内のＡＲ画像の表示位置や表示サイズ等を決定する際、以下のいずれか方式を用いて決定する。
【0079】
表示位置の方式として、（１）固定位置方式、（２）近隣位置方式、（３）同位置方式を有する。
【0080】
（１）の固定位置方式では、予め、画面５のＡＲ表示可能領域内の中央領域Ｒ１の外に、ＡＲ画像表示用の固定領域を有する。図５の上辺領域Ｒ２や下辺領域Ｒ３は、固定位置方式に対応した固定領域の設定例である。固定領域内でＡＲ画像の表示位置が決定される。なお、詳しくは、固定領域毎に異なる種類のＡＲ画像が表示されるように設定されていてもよい。例えば、下辺領域Ｒ３では車両情報を表示し、上辺領域Ｒ４では看板の情報を表示する等。
【0081】
（２）の近隣位置方式では、ＡＲ画像の表示位置は、対象物体の近隣の範囲内から選択された位置に決定される。例えば、対象物体の位置を中心点として所定半径距離の円領域が仮に設定される。その円領域内で、かつ、中央領域Ｒ１の外側にある、いずれかの空いている位置が、ＡＲ画像の表示位置として選択される。また、特に、候補領域のうちで、他の物体やＡＲ画像が無いような、空いている位置がある場合には、その位置が選択される。例えば、対象物体が看板である場合、その看板の上側や横側において、背景が空３３等である空いている位置が、表示位置として選択される。
【0082】
また、この方式では、物体とＡＲ画像とを結ぶ線（引き出し線）を、ＡＲ画像の一部として表示してもよい。また、画像内の物体の位置に対し、比較的近い距離の範囲内でＡＲ画像の表示位置が確保できない場合には、物体からある程度以上の距離で離れた位置を表示位置として、その物体とＡＲ画像とを結ぶ線を表示してもよい。引き出し線が表示されることで、運転者は、物体とＡＲ画像との関連性をより認識しやすい。
【0083】
（３）の同位置方式では、画像内の物体の位置に対し、ＡＲ画像の表示位置をそのまま同じ位置とする。例えば、物体を覆い隠すようにＡＲ画像を重畳表示してもよいし、物体の外形を囲む枠のようなＡＲ画像を表示してもよい。例えば、図６で、物体が標識３５であり、その標識３５の存在を強調するために、標識３５を囲む枠をＡＲ画像として、同じ位置に表示する。
【0084】
［ＡＲ表示例］
図６は、画面５でのＡＲ画像の表示制御例等を示す。本例では、看板４１等に関するＡＲ画像の表示例を示す。まず、看板４４は、十分に大きく視認しやすい状態と判断されたため、ＡＲ画像が表示されていない。
図６は、画面５でのＡＲ画像の表示制御例等を示す。本例では、看板４１等に関するＡＲ画像の表示例を示す。まず、看板４４は、十分に大きく視認しやすい状態と判断されたため、ＡＲ画像が表示されていない。
【0085】
ＡＲ画像５１ａは、看板４１に関する第１表示例であり、固定位置方式で、下辺領域Ｒ３内に、看板４１の画像を拡大等して視認しやすい状態にして表示する例である。同様に、上辺領域Ｒ３内にＡＲ画像５１ａを表示するようにしてもよい。また、ＡＲ画像５１ａには、図示のように、看板４１から延びるように引き出し線５１ａ１（例えば破線矢印）を付けて表示してもよい。その引き出し線５１ａ１は、中央領域Ｒ１を避けて外側を迂回するように表示される。また、ＡＲ画像５１ａの表示サイズは、少なくとも元の看板４１の物体領域よりも大きく、下辺領域Ｒ３のサイズ（例えば縦幅）に合わせた所定のサイズとしてもよい。
【0086】
ＡＲ画像５１ｂは、看板４１に関する第２表示例であり、看板４１の近隣の所定半径距離の範囲内で、かつ中央領域Ｒ１の外側の空いている位置に、同様に看板４１の画像を拡大等して視認しやすい状態にして表示する例である。また、ＡＲ画像５１ｂには、図示のように、看板４１から延びるように引き出し線５１ｂ１（例えば実線）を付けて表示してもよい。その引き出し線５１ｂ１は、画面５の中心から周辺への方向で延びるように表示される。また、ＡＲ画像５１ｂの表示サイズは、少なくとも元の看板４１の物体領域よりも大きい。ＡＲ画像及び引き出し線は、吹き出し形式等の画像としてもよい。引き出し線等を付けることで、運転者が物体とＡＲ画像との関係をより認識しやすくなる。
【0087】
看板４２は、運転者の視点から見て斜めの姿勢であり、台形状に歪んで見えている。そのため、看板４２の正面の記載内容が視認しにくくなっている。看板４２に関するＡＲ画像５２は、同様に、看板４２の近隣の位置に引き出し線を付けて表示する例である。ＡＲ画像５２は、画像加工処理として拡大処理や姿勢変更処理が行われている。看板４２の物体領域の姿勢が、視点から見て正面の状態となるように変更されている。即ち、元の台形が直角四角形となるように変換されている。この姿勢変更により、看板４２の正面の記載文字が視認しやすくなっている。
【0088】
看板４３は、同様に、画面５及び視界の左端にあって斜めの姿勢状態であるため、視認しにくくなっている。看板４３に関するＡＲ画像５３は、下辺領域Ｒ３内に表示する例である。
【0089】
実施の形態１では、１つの機能として、看板４２等の例のように、画像内の物体の姿勢状態に応じたＡＲ画像を表示する機能を有する。ＨＵＤ装置１は、運転者の視点から見た物体の姿勢状態に応じた視認性を判断し、ＡＲ表示内容を選択決定する。例えば、看板４４のように、正面が運転者の視線の方向及び自車の進行方向に概ね沿っている向きである姿勢状態の場合、言い換えると画像内で物体領域が直角四角形に近い形状の場合には、相対的に視認性しやすいと判断できる。その場合、視認性指標値が相対的に高い値として計算される。一方、看板４２のように、正面が運転者の視線の方向及び自車の走行方向に対して交差する異なる方向に対応した斜めの姿勢状態の場合、言い換えると画像内で物体領域が台形状等の場合には、相対的に視認しにくいと判断できる。あるいは、看板４３のように、物体領域の横幅（画面水平方向の長さ）が狭く見えている場合、相対的に視認しにくいと判断できる。その場合、視認性指標値が相対的に低い値として計算される。あるいは、看板正面が全く見えない姿勢状態である場合、視認不可と判断できる。なお、視認性指標値の計算方法としては、物体領域の姿勢状態、例えば看板の正面の向きの角度、または画像内の台形の斜辺の角度等を計算し、その角度等を物体距離等に対して係数として乗算する方式等で計算してもよい。または、そのような計算を省略し、画像内から物体領域を抽出する際に、台形等の形状の判断に応じて、直接的に分類を行ってもよい。
【0090】
［画像加工処理（１）］
画像加工部１４による画像加工処理の例について以下である。画像加工部１４は、物体及びＡＲ画像の視認性を高めるための画像加工処理機能として、（１）拡大、（２）先鋭化、（３）コントラスト変更、（４）色調変更、（５）物体姿勢変更、（６）ＯＣＲ、等の処理機能を有する。
画像加工部１４による画像加工処理の例について以下である。画像加工部１４は、物体及びＡＲ画像の視認性を高めるための画像加工処理機能として、（１）拡大、（２）先鋭化、（３）コントラスト変更、（４）色調変更、（５）物体姿勢変更、（６）ＯＣＲ、等の処理機能を有する。
【0091】
（１） 拡大処理機能は、カメラ２（対応する車及び運転者）から比較的遠くにある物体が撮影された場合に画像内で小さいサイズで写っている物体領域を、拡大して大きいサイズにする処理機能である。例えば、図６で、比較的遠くの位置にある看板４１が物体領域として抽出された場合に、画像加工部１４は、その看板４１の物体領域の画像を、所定の拡大率等で拡大する。例えば、看板４１の記載文字「ＡＢＣ」が小さい状態から拡大されて大きい状態になっている。
【0092】
（２） 先鋭化処理機能（言い換えると、シャープネス変更、エッジ強調）は、公知技術を用いて、ぼけている画像を先鋭化する処理を行う機能である。なお、先鋭化の方式は、例えば階調変化を強調するフィルタを用いる方式でもよいし、画像をフーリエ変換して周波数成分毎に分解して低周波成分を取除する方式等でもよい。画像加工部１４は、例えば看板４１の画像（またはその拡大後画像）に対し、先鋭化処理を施す。これにより、看板４１の記載文字のぼけが低減される。
【0093】
（３） コントラスト変更処理機能は、公知技術を用いて、強い光が当たる等の理由で階調が無い画像におけるコントラストを強調する処理を行う機能である。画像加工部１４は、例えば看板４１の画像（またはその拡大後画像）に対し、コントラスト変更処理を施す。これにより、看板４１の記載文字と背景とのコントラストが高くなり、記載文字が視認しやすくなる。
【0094】
（４） 色調変更処理機能は、公知技術を用いて、実景と同系色である等の理由で見えにくい物体の画像における色調を変更する処理を行う機能である。画像加工部１４は、例えば看板４１の画像（またはその拡大後画像）に対し、色調変更処理を施す。画像加工部１４は、例えば、撮影画像に基づいて、看板４１の物体領域の色と、その周辺の背景領域（建物や空等）の色とを比較し、同系色（同じ色調）であるかどうかを判断する。画像加工部１４は、同系色である場合、物体領域の色調を、背景領域の色調に対して十分な差がでるように変更する。これにより、看板４１の領域が視認しやすくなる。
【0095】
（５） 物体姿勢変更処理機能は、公知技術を用いて、撮影画像から対象物体が運転者の視点から見て傾斜した姿勢状態である場合に、その物体領域が正面の状態になるように変換する処理を行う機能である。画像加工部１４は、画像内の物体領域の形状等から姿勢状態を判断し、姿勢が斜め（例えば形状が台形状）である場合には、変換を行う。画像加工部１４は、公知の射影変換等を用いて、その物体領域の姿勢が正面となるように、例えば台形状が直角四角形となるように、変換を行う。例えば、図６の看板４２は、台形状の画像が直角四角形の画像に変換される。
【0096】
（６） ＯＣＲ処理機能は、公知技術を用いて、画像内の物体領域から文字を抽出し、その文字情報を用いて文字画像を生成する機能である。抽出された文字情報が、ＡＲ画像の生成の元データにされる。画像加工部１４は、画像内の物体領域に対しＯＣＲ処理を施して文字を抽出してもよい。画像加工部１４は、例えば看板４１の物体領域から、ＯＣＲ処理によって文字「ＡＢＣ」が認識できた場合には、拡大処理によってその文字を拡大等して十分な大きさにしてもよい。あるいは、画像加工部１４は、拡大処理によって拡大後の物体領域の画像に対し、ＯＣＲ処理を施して、文字を抽出してもよい。画像加工部１４は、例えば拡大後のＡＲ画像５１ｂに対応する画像から、ＯＣＲ処理によって文字が認識できた場合に、その文字による画像に置換してもよい。
【0097】
［画像加工処理（２）］
画像加工処理等に係わる他の処理例として以下が挙げられる。
画像加工処理等に係わる他の処理例として以下が挙げられる。
【0098】
（１）ＨＵＤ装置１の画像選択部１１は、画像内の物体領域の周波数成分を解析する。その解析結果で、低周波成分のみがある場合には、その物体画像にぼけがあり（言い換えるとぼけ度合いが大きく）、視認しにくいと判断できる。視認性判断部１２は、その周波数成分に基づいて視認性指標値を計算できる。その場合、ＨＵＤ装置１は、画像加工部１４を用いて、その物体領域に画像加工処理として、先鋭化やコントラスト変更等の処理を施す。この処理は、詳しくは以下としてもよい。ＨＵＤ装置１は、運転中、ある時刻に撮影された画像の物体領域と、それよりも後の時刻に物体が自車に近付いた位置で撮影された画像の物体領域とを取得し、両者の物体画像のサイズを揃えて周波数成分を比較する。その比較結果で、周波数成分の変化が比較的小さい場合には、その物体領域に低周波成分のみがある（ぼけがある）と判断できる。
【0099】
（２）ＨＵＤ装置１は、画像の物体領域やその周辺の領域の明るさ（それに対応する画素値等）を判断する。視認性判断部１２は、物体領域の明るさ値が、相対的に低い（暗い）場合や、相対的に高い（明るい）場合には、視認しにくいと判断できる。この場合に、画像加工処理としては、物体領域の明るさに、オフセット値を加算または減算する。これにより、物体領域とその周辺の領域とで明るさの差をつくるように調整し、視認性が高められる。
【0100】
（３）ＨＵＤ装置１は、画像の物体領域の明るさに関するヒストグラムを生成し、その物体領域に関して、ＡＲ画像生成処理及び画像加工処理で扱うデータ信号に置換する際に、コントラストを上げるように再構成する。例えば、画像選択部１１は、画像解析の際、その物体領域の明るさの最小値から最大値までの範囲を、データ信号で表現できる最小値から最大値までの範囲に割り当てるように変換し、中間値を補間する。これにより、コントラストが上がると、物体の特徴情報も検出しやすくなり、視認性の判断もしやすくなる。
【0101】
［視認性に応じたＡＲ表示制御（１）］
図７は、実施の形態１で、ＡＲ表示制御の第１例として、図３のＳ４の視認性の分類やＳ５のＡＲ表示内容の決定について整理した表を示す。第１例は、物体距離等に応じてＡＲ表示内容を２種類に分類する制御例である。図７の表で、行として、上から順に、分類、看板付近の画像、運転者の視認性、物体距離、物体サイズ、ＶＩ：視認性指標値、ＡＲ表示タイプ、ＡＲ画像を示す。分類は、左から、（Ａ）第１分類、（Ｂ）第２分類を示す。
図７は、実施の形態１で、ＡＲ表示制御の第１例として、図３のＳ４の視認性の分類やＳ５のＡＲ表示内容の決定について整理した表を示す。第１例は、物体距離等に応じてＡＲ表示内容を２種類に分類する制御例である。図７の表で、行として、上から順に、分類、看板付近の画像、運転者の視認性、物体距離、物体サイズ、ＶＩ：視認性指標値、ＡＲ表示タイプ、ＡＲ画像を示す。分類は、左から、（Ａ）第１分類、（Ｂ）第２分類を示す。
【0102】
（Ａ）の第１分類に関して、画像では、看板４１の正面の矩形が相対的に大きく写っている。そのため、運転者は、看板４１の記載文字に関して比較的視認しやすい。運転者と物体である看板４１との物体距離は相対的に近く（小さく）、物体サイズは相対的に大きい。視認性指標値ＶＩは、物体距離や物体サイズに基づいて、第１範囲内にあり、相対的に高い値として計算されている。第１範囲は、閾値Ｈ１を用いて、ＶＩ≧Ｈ１である。視認性指標値ＶＩが第１範囲内であるため、第１分類のＡＲ表示タイプ（第１タイプ）にされている。このＡＲ表示タイプでは、物体をそのままとし、ＡＲ画像を表示しない。または、物体に関連付けてＡＲ画像を表示してもよく、その場合には画像加工処理を行わない。ＡＲ画像を表示しないことで、画面５で運転者に提示する情報量を減らし、運転者が他のＡＲ画像や物体を認識しやすくなる。
【0103】
（Ｂ）の第２分類に関して、画像では、看板４１の正面の矩形が相対的に小さく写っている。そのため、運転者は、看板４１の記載文字に関して比較的視認しにくい。看板４１との物体距離及び物体サイズは相対的に中程度である。視認性指標値ＶＩは、距離やサイズに基づいて、第２範囲内にある相対的に中程度の値として計算されている。第２範囲は、閾値Ｈ１，Ｈ２を用いて、Ｈ１＞ＶＩ≧Ｈ２である。視認性指標値ＶＩが第２範囲内であるため、第２分類のＡＲ表示タイプ（第２タイプ）にされている。このＡＲ表示タイプでは、物体のＡＲ画像を表示する。その際、物体領域に対し第１加工処理を施してＡＲ画像が生成される。第１加工処理として例えば拡大処理であり、ＡＲ画像は看板の領域の拡大画像である。他の加工処理として、前述の（２）～（５）の処理を組み合わせて適用してもよい。
【0104】
［視認性に応じたＡＲ表示制御（２）］
図８は、実施の形態１の変形例として、ＡＲ表示制御の第２例を同様に示す。第２例は、物体距離等に応じてＡＲ表示内容を３種類に分類する制御例である。図８の表で、分類は、左から、（Ａ）第１分類、（Ｂ）第２分類、（Ｃ）第３分類を示す。視認しにくさの段階に応じて、図７の第２分類は、図８では更に、第２分類、第３分類に区分されている。
図８は、実施の形態１の変形例として、ＡＲ表示制御の第２例を同様に示す。第２例は、物体距離等に応じてＡＲ表示内容を３種類に分類する制御例である。図８の表で、分類は、左から、（Ａ）第１分類、（Ｂ）第２分類、（Ｃ）第３分類を示す。視認しにくさの段階に応じて、図７の第２分類は、図８では更に、第２分類、第３分類に区分されている。
【0105】
（Ａ）の第１分類に関して、図７の第１分類と同様である。なお、閾値Ｈ１は異なる値でもよい。運転者は、例えば看板４１の記載文字に関して明瞭に視認可能であり、視認しやすい。
【0106】
（Ｂ）の第２分類に関して、画像では、看板４１の正面の矩形が相対的に中程度の大きさで写っている。そのため、運転者は、看板４１の記載文字に関して、注視すれば視認可能であるが、比較的視認しにくく、視認しにくさの第１段階に相当する。物体距離及び物体サイズは相対的に中程度である。視認性指標値ＶＩは、物体距離や物体サイズに基づいて、第２範囲内にある相対的に中程度の値として計算されている。第２範囲は、閾値Ｈ１，Ｈ２を用いて、Ｈ１＞ＶＩ≧Ｈ２である。視認性指標値ＶＩが第２範囲内であるため、第２分類のＡＲ表示タイプ（第２タイプ）にされている。このＡＲ表示タイプでは、物体のＡＲ画像を表示する。その際、物体領域に第１加工処理を施してＡＲ画像が生成される。第１加工処理として例えば拡大処理であり、ＡＲ画像は看板の領域の拡大画像である。
【0107】
（Ｃ）の第３分類に関して、画像では、看板４１の正面の矩形が相対的にかなり小さく写っている。そのため、運転者は、看板４１の記載文字に関して、視認不可または視認困難であり、視認しにくさの第２段階に相当する。物体距離は相対的に遠く（大きく）、物体サイズは相対的に小さい。視認性指標値ＶＩは、物体距離や物体サイズに基づいて、第３範囲内にある相対的に低い値として計算されている。第３範囲は、閾値Ｈ２を用いて、Ｈ２＞ＶＩである。視認性指標値ＶＩが第３範囲内であるため、第３分類のＡＲ表示タイプ（第３タイプ）にされている。このＡＲ表示タイプでは、物体のＡＲ画像を表示する。その際、物体領域に第２加工処理を施してＡＲ画像が生成される。第２加工処理としては、拡大処理の他に例えばＯＣＲ処理を用いる。ＡＲ画像は、ＯＣＲで認識できた文字情報を用いて作成される。他の加工処理として、前述の（２）～（５）の処理を組み合わせて適用してもよい。
【0108】
なお、ＯＣＲで文字が認識できない場合には、ＡＲ画像を表示しないようにしてもよい。あるいは、ＯＣＲで文字が認識できない場合には、後述のように、ＤＢ部１０９のＤＢの情報を検索する処理を行ってもよい。その場合、例えば物体の位置情報（自車からの相対的な位置）を用いてＤＢから対象物体（例えば看板４１）の物体情報を検索し、その検索結果の物体情報を用いてＡＲ画像が作成される。
【0109】
なお、上記で視認性判断部１２がＶＩ値を計算及び判断する際には、所定の最大値や最小値を用いて、物体の距離やサイズが大きすぎる場合や小さすぎる場合には、分類の範囲外とし、処理対象外とする。また、ＶＩに関する閾値Ｈ１等については、実装上の固定の設定値としてもよいし、ユーザ設定機能によって利用者が可変に設定可能としてもよい。例えば、運転者の視力に応じて、閾値Ｈ１等を決めて設定してもよい。例えば、視力が良い人の場合には閾値Ｈ１が比較的低い値に設定され、視力が相対的に良くない人の場合には閾値Ｈ１が比較的高い値に設定される。これにより、運転者から同じ距離にある物体についても、前者の人の場合には、ＶＩ値が閾値Ｈ１以上となることで第１分類とされ、後者の人の場合にはＶＩ値が閾値Ｈ１未満になることで第２分類とされる。
【0110】
［ユーザ設定機能］
実施の形態１のＡＲ表示装置で、ＡＲ機能に関するユーザ設定機能を有する。このユーザ設定機能では、ＡＲ機能に関する種別の設定や、ＡＲ情報カテゴリの設定が可能である。利用者は、ユーザ設定機能を用いて、自分が優先的に取得及び表示したい情報を選択して設定できる。ＨＵＤ装置１は、ユーザ設定に基づいて、選択された種別のＡＲ機能で、選択されたカテゴリの情報をＡＲ画像として表示する。画面５内には運転者の所望の限定されたＡＲ情報が提示される。よって、運転者は、画面５で所望のＡＲ情報を視認しやすい。なお、これらは、ユーザ設定に限らず、実装上の固定の設定とする形態でもよい。
実施の形態１のＡＲ表示装置で、ＡＲ機能に関するユーザ設定機能を有する。このユーザ設定機能では、ＡＲ機能に関する種別の設定や、ＡＲ情報カテゴリの設定が可能である。利用者は、ユーザ設定機能を用いて、自分が優先的に取得及び表示したい情報を選択して設定できる。ＨＵＤ装置１は、ユーザ設定に基づいて、選択された種別のＡＲ機能で、選択されたカテゴリの情報をＡＲ画像として表示する。画面５内には運転者の所望の限定されたＡＲ情報が提示される。よって、運転者は、画面５で所望のＡＲ情報を視認しやすい。なお、これらは、ユーザ設定に限らず、実装上の固定の設定とする形態でもよい。
【0111】
図９は、ユーザ設定画面の例を示す。例えば、ＨＵＤ装置１は、ハードウェアの操作パネルにユーザ設定画面を表示し、ユーザ入力操作に応じて設定可能とする。図９の画面では、［ＡＲ機能種別の設定］項目、［ＡＲ情報カテゴリの設定］項目を有する。［ＡＲ機能種別の設定］項目では、例えば［運転支援］、［ナビゲーション］、［交通標識］、［看板］、［建物］等の項目を有し、ユーザが選択してオン／オフが可能である。例えば、［看板］項目がオン状態に設定されている。これにより、看板を対象物体としてＡＲ表示を行う機能が有効状態とされる。
【0112】
［ＡＲ情報カテゴリの設定］項目では、ＡＲ機能で取得及び表示対象とするＡＲ情報のカテゴリを設定可能とする。この項目では、例えば［人（カテゴリＡ）］、［場所（カテゴリＢ）］、［状況（カテゴリＣ）］、［時間（カテゴリＤ）］等を有し、ユーザが選択してオン／オフが可能である。例えば［場所（カテゴリＢ）］項目がオン状態に設定されている。これにより、上で選択されている種別（例えば［看板］）のＡＲ機能に関して、場所に係わる情報がＡＲ画像として提供される。
【0113】
カテゴリＡは、［人］であり、情報内容としては、氏名、住所、電話番号等が挙げられる。なお、プライバシー等の観点から、対象の人は、設定された運転者の知人等の人や、情報公開者等に限定して設定できる。カテゴリＢは、［場所］であり、情報内容としては、コンビニ、ガソリンスタンド、駐車場、病院、トイレ、レストラン、自宅、店舗、観光スポット、駅等が挙げられる。カテゴリＣは、［状況］であり、情報内容としては、天候、路面状態、渋滞、駐車場空車、事故、工事、店舗行列等が挙げられる。カテゴリＤは、［時間］であり、情報内容としては、店舗等の待ち時間、開店時間、閉店時間、所要時間、通過時刻、電車到着時刻等が挙げられる。各カテゴリ内の情報項目は、更に個別にオン／オフの設定が可能である。
【0114】
実施の形態１では、対象物体として主に看板としている。カテゴリＢの場所の設定によって、看板群のうち特に何の看板を対象にするかを設定可能である。例えば［レストラン］項目のみがオン状態の設定の場合、画面５及び画像内の看板のうち、レストランの看板に該当するものについて優先的にＡＲ画像が表示される。
【0115】
また、自動車に同乗者がいる場合、同乗者がＨＵＤ装置１等を操作して、上記情報カテゴリ等の選択が可能である。ＨＵＤ装置１は、その選択操作に応じてＡＲ画像を切り替えるようにして表示する。
【0116】
［効果等］
上記のように、実施の形態１のＡＲ表示装置によれば、運転者による物体及びＡＲ画像を含む映像の視認性を高めて、好適なＡＲ提示が実現できる。看板等の物体に関するＡＲ画像を提示する際に、視認しにくい物体についても、視認しやすいＡＲ画像として提示できる。運転者は、看板等の物体及びＡＲ画像をわかりやすく認識できる。これにより、運転者は、看板等の物体に関する知りたい情報が得られる。運転者は、看板の記載文字も判読しやすくなる。実施の形態１では、運転者からの物体の視認しやすさの度合い、即ち視認性指標値に応じて、ＡＲ画像情報の提示内容を切り替える。これにより、運転者に好適なＡＲ提示が可能である。視認性の度合いに応じて異なる内容でＡＲ画像が提示され、画面５の全体での視認性も好適にできる。
上記のように、実施の形態１のＡＲ表示装置によれば、運転者による物体及びＡＲ画像を含む映像の視認性を高めて、好適なＡＲ提示が実現できる。看板等の物体に関するＡＲ画像を提示する際に、視認しにくい物体についても、視認しやすいＡＲ画像として提示できる。運転者は、看板等の物体及びＡＲ画像をわかりやすく認識できる。これにより、運転者は、看板等の物体に関する知りたい情報が得られる。運転者は、看板の記載文字も判読しやすくなる。実施の形態１では、運転者からの物体の視認しやすさの度合い、即ち視認性指標値に応じて、ＡＲ画像情報の提示内容を切り替える。これにより、運転者に好適なＡＲ提示が可能である。視認性の度合いに応じて異なる内容でＡＲ画像が提示され、画面５の全体での視認性も好適にできる。
【0117】
［変形例］
実施の形態１のＡＲ表示装置であるＨＵＤ装置１や車載システム１００の構成に限らず可能であり、変形例として以下が挙げられる。各変形例の組み合わせも可能である。
実施の形態１のＡＲ表示装置であるＨＵＤ装置１や車載システム１００の構成に限らず可能であり、変形例として以下が挙げられる。各変形例の組み合わせも可能である。
【0118】
（ａ）実施の形態１では、ＡＲ表示装置として、ＨＵＤ装置１を用いてＡＲ表示を実現しているが、これに限らず可能であり、ヘッドマウントディスプレイ（ＨＭＤ）装置を用いてＡＲ表示を実現してもよい。即ち、ＡＲ表示装置は、利用者が頭部に装着して使用する透過型のＨＭＤ装置やそのシステムとして実現されてもよい。この形態の場合、利用者の眼前のＨＭＤ装置の画面において、透過実景上にＡＲ画像が重畳表示される。また、例えばＨＭＤ装置に備える加速度センサ等の情報から、車両の振動を検出し、利用者が酔う等して不快と感じない範囲で、車両の振動をできるだけ打ち消すように、ＡＲ画像を振動させる制御をしてもよい。また、車載システムにおいてＨＵＤやＨＭＤ以外の方式でＡＲ表示を実現してもよい。また、自動車以外のシステム（例えば施設に固定設置された遊技機等）において同様のＡＲ表示を実現してもよい。
【0119】
（ｂ）実施の形態１のＡＲ表示装置は、車載の既存のカーナビ部１０６の情報を外部入力の元データとして利用してＡＲ画像を生成することができるが、これに限らず可能である。変形例として、ＨＵＤ装置１内に独自のカーナビ部を備え、その情報を利用してＡＲ画像を生成してもよい。カーナビ部のＤＢの情報として、地図上の建物及び看板の情報が整備されている場合、その情報を利用可能である。例えば、ＨＵＤ装置１は、ＧＰＳによる自車の位置情報に基づいて、カーナビ部の地図情報を参照し、自車現在位置または対象物体位置の付近の建物や看板等の情報を検索する。ＨＵＤ装置１は、その検索結果情報として、看板や看板に対応付けられた建物等の情報が得た場合、その情報を用いてＡＲ画像を構成できる。
【0120】
（ｃ）実施の形態１では、車載の既存のカメラ２を用いてＨＵＤ装置１に映像データを外部入力し、ＡＲ表示を実現している。変形例として、カメラ２、カメラ３等の要素をＡＲ表示装置に含む各形態が可能である。例えば、カメラ２や車外撮影部１０２をＨＵＤ装置１に備える形態でもよい。ＤＢ部１０９をＨＵＤ装置１に備える形態でもよい。
【0121】
（ｄ）ＨＵＤ装置１の制御部１０（画像選択部１１等）に相当する部分をＥＣＵ１０１等のＨＵＤ装置１以外の部分で実現し、そのＥＣＵ１０１等の制御部から、ＨＵＤ装置１の表示部２０である投射型表示装置へ連携してＡＲ表示を実現してもよい。言い換えると、制御部１０と表示部２０とが別の装置で実現されてもよい。
【0122】
（ｅ）カーナビ部１０６やＤＢ部１０９等の要素は、車載システム１００やＨＵＤ装置１とは別の独立した装置、例えば利用者が車内に持ち込んだ携帯端末装置（スマートフォン、タブレット端末、Ｗｅｂカメラを備えたＰＣ等）で実現されて、ＨＵＤ装置１等とその装置とが通信して連携する形態としてもよい。
【0123】
（実施の形態２）
図１０及び図１１を用いて、実施の形態２のＡＲ表示装置等について説明する。実施の形態２等における基本的な構成は実施の形態１と同様である。以下では、実施の形態２等における実施の形態１とは異なる構成部分について説明する。実施の形態２では、ＡＲ機能に関して追加された機能を有する。実施の形態２では、運転者の視界及び画面５で物体が比較的高速に移動するように変化した場合でも、その物体のＡＲ画像に関する視認性を確保する機能を有する。ＨＵＤ装置１は、画面５内で物体が比較的高速に移動していると判断した時には、ＡＲ画像の視認性を高めるようにＡＲ画像の表示位置を例えば静止位置に制御する。
図１０及び図１１を用いて、実施の形態２のＡＲ表示装置等について説明する。実施の形態２等における基本的な構成は実施の形態１と同様である。以下では、実施の形態２等における実施の形態１とは異なる構成部分について説明する。実施の形態２では、ＡＲ機能に関して追加された機能を有する。実施の形態２では、運転者の視界及び画面５で物体が比較的高速に移動するように変化した場合でも、その物体のＡＲ画像に関する視認性を確保する機能を有する。ＨＵＤ装置１は、画面５内で物体が比較的高速に移動していると判断した時には、ＡＲ画像の視認性を高めるようにＡＲ画像の表示位置を例えば静止位置に制御する。
【0124】
図１０は、実施の形態２のＡＲ表示装置であるＨＵＤ装置１の機能ブロック構成を示す。図１０の構成は、図１の構成に対し異なる部分として、制御部１０は、移動物体判断部１６を有する。移動物体判断部１６は、画像選択部１１や視認性判断部１２と連携し、カメラ２の画像内から固定物体及び移動物体を区別して抽出する処理や、画像内の物体に関する移動速度を計算する処理を行う。また、図１のＤＢ部１０９のＤＢには、物体の定義情報として、固定物体か移動物体か等の種類を表す情報を含んでいてもよい。
【0125】
実景内の物体は、看板等の固定位置に設置されている固定物体と、他車や人等の移動物体とがある。移動物体は、他にも移動型看板（例えば車載広告）等が挙げられる。自車の走行中では、画面５及び画像内で、それらの物体はいずれも位置が移動するように変化して見える。実施の形態２では、実施の形態１と同様に、看板等の物体をＡＲ対象として設定する。更に、実施の形態２では、他車や人等の移動物体もＡＲ対象として設定できる。ＡＲ画像生成部１３は、移動物体に関するＡＲ画像も生成する。
【0126】
実施の形態２では、第１の機能として、物体が固定物体か移動物体かを判断し、移動物体についてもＡＲ表示を行う機能を有する。実施の形態２で、ＨＵＤ装置１の画像選択部１１は、カメラ２の画像から物体として、看板等の固定物体だけでなく、他車や人等の移動物体も抽出する。移動物体判断部１６は、抽出された物体領域について、固定物体か移動物体かを判断する。この判断の仕方としては、後述の移動速度を用いてもよい。視認性判断部１２は、移動物体等の判断結果、及び視認性指標値に応じて、実施の形態１と同様にＡＲ表示内容を変えるように制御する。
【0127】
また、ＨＵＤ装置１は、物体の種類が異なる場合、例えば看板と交通標識の場合や、固定物体と移動物体の場合等には、ＡＲ画像の表示の際に、それらのＡＲ画像の表示色や表示形状等を異ならせてもよい。これにより、運転者は、物体の種類の違いを認識しやすくなる。
【0128】
更に、実施の形態２では、第２の機能として、画面５及び画像内の物体の移動速度に応じて、ＡＲ表示の仕方を変える機能を有する。特に、物体の移動速度が大きい場合に、ＡＲ画像の表示位置を静止させる機能を有する。ＨＵＤ装置１の移動物体判断部１６は、運転者の視界に対応する画面５及びカメラ２の画像内で移動している物体（看板や車等）の移動速度や移動方向を計算する。この移動速度は、画面５及び画像内で物体領域の位置が移動する際の速度であり、自車の走行速度及び運転者の視点に対する相対的な速度である。
【0129】
視認性判断部１２は、視認性指標値として、物体の移動速度を用いる。視認性判断部１２は、物体の移動速度を、例えば所定の閾値の範囲と比較する。視認性判断部１２は、例えば、固定物体である看板に関して、移動速度が所定の閾値の範囲内である場合には、視認しやすいと判断して所定の分類（実施の形態１と同様）とする。視認性判断部１２は、その範囲外である場合には、視認しにくいと判断して所定の分類とする。即ち、運転者が比較的高速に移動しているその物体を目視で追うことができないと判断される。視認性判断部１２は、後者の分類に応じて、その移動している物体のＡＲ画像の表示位置を静止位置とする、所定のＡＲ表示内容（タイプ）に決定する。ＡＲ画像生成部１３は、その決定に従い、移動方向等も考慮して、その物体のＡＲ画像の表示位置である静止位置等を決定する。また、ＡＲ画像生成部１３は、その移動している物体のＡＲ画像の表示サイズについても、一定のサイズに維持するようにしてもよい。これにより、運転者がその移動している物体のＡＲ画像をより視認しやすくなる。
【0130】
画像内の物体の移動速度は、例えば以下のように計算できる。単純には、映像データの画像フレーム間の物体領域の位置の差（画素間距離）から、その移動速度を計算してもよい。分類ができればよいので、その移動速度の計算で高精度は不要である。あるいは、自車と物体との相対的な位置関係に基づいて、例えば自車の右折や左折の際の速度や角速度を用いてその移動速度が計算可能である。例えば自車の車速計や加速度センサやジャイロセンサ等から自車の速度や加速度や角速度及び角度等の情報が得られる。また、ＨＭＤ装置を用いる形態では、ＨＭＤ装置に搭載の磁気センサやジャイロセンサ等を用いて、角速度及び角度等の情報を得ることができる。
【0131】
図４内に、自車の移動の例を示す。画面５及び視界における道路３１の交差点付近において、視点から右斜め前に見えている看板４４は、固定物体であり、ＡＲ対象であるとする。自車が交差点を矢印４０１で示す方向に右折するように曲がり、その際に看板４４の手前を通り過ぎる場合とする。その場合、画面５では、運転者にとって、その看板４４は、比較的高速で移動するように見える。
【0132】
図１１は、その場合に対応する画面５の時系列の状態を簡略的に示す。図１１の（Ａ）は、視界内で看板４４に対応する物体領域がどのように移動して見えるかを概略的に示す。例えば、看板４４の物体領域は、第１時点（例えば交差点進入開始時）では、領域９１の位置に見えている。次に第２時点では、右折の進行に従って、領域９２に移動している。同様に、第３時点では領域９３、第４時点では領域９４、第５時点では領域９５といったように移動して、位置が連続的に変化している。矢印は移動軌跡を示す。
【0133】
図１１の（Ｂ）は、（Ａ）に対応する時間において、看板４４のＡＲ画像５４を表示する例を示す。移動物体判断部１６は、例えば自車の速度や右折時の角速度から、看板４４の移動速度を計算し、閾値と比較し、閾値以上である場合に、比較的高速で動いているため視認しにくいと判断し、所定の分類及びタイプとする。ＡＲ画像生成部１３は、それに従い、看板４４のＡＲ画像５４を生成する。ＡＲ画像５４の例としては、看板４４の正面の画像が拡大処理されて、記載文字「ＸＹＺ」が十分な大きさにされている。ＡＲ画像生成部１３は、このＡＲ画像５４の表示位置を、時系列で変化する領域９１～９５の位置に対し、画面５内の静止位置になるように決定する。本例では、ＡＲ画像５４の静止位置は、看板４４よりも上側の位置であり、特に領域９１～９５の範囲における真ん中付近の位置にされている。
【0134】
制御部１０は、時系列で、物体を撮影し物体領域を検出した時点（または画像フレーム）と、その時点での画像内の物体領域の位置（例えば物体領域の中心点の画素の位置座標）と、を関係付けて把握する。制御部１０は、時点毎に、車両位置または物体距離を把握してもよい。制御部１０は、時系列で把握した情報を用いて、画面５及び画像内の物体の移動速度や移動方向を計算して把握する。画像選択部１１は、例えば、第１時点の領域９１と第２時点の領域９２との差から、看板４４の物体領域の移動方向（例：図示する矢印のように概略左方向）及び移動速度を計算する。
【0135】
ＡＲ画像生成部１３は、その移動方向及び移動速度に応じて、ＡＲ画像５４の静止位置を決定する。第２時点で移動方向が概略左方向であるとわかるので、そのような移動先予測と共に、領域９２よりも左側にある位置が静止位置として選択される。
【0136】
これにより、画面５内で看板４４が移動中の時間において、同じ位置にＡＲ画像５４が静止するように表示される。そのため、運転者は、走行中のその時間において、視界（中央領域Ｒ１）が遮られずに明瞭な状態が維持されると共に、看板４４に対応付けられるＡＲ画像５４を視認しやすい。比較例として、画面５内の物体（看板４４）の移動に追随させた位置にＡＲ画像が表示させる形態では、移動速度が大きい場合には、運転者が視認困難となる。
【0137】
また、本例では、ＡＲ画像生成部１３は、ＡＲ画像５４の一部または映像効果として、時系列で移動する看板４４の物体領域とＡＲ画像５４との間を結ぶ線分である引き出し線５４１を表示する。例えば、第５時点の状態では、引き出し線５４１は、領域９５とＡＲ画像５４とを結ぶように表示されている。引き出し線の表示によって、運転者が物体とＡＲ画像との関係をより認識しやすくなる。
【0138】
なお、ＨＵＤ装置１は、画面５から対象物体が消えた場合、物体領域とＡＲ画像との距離が所定値以上になった場合、またはＡＲ画像を表示してから所定時間が経過した場合等の契機で、そのＡＲ画像の表示を消去する。
【0139】
上記ＡＲ画像の表示位置等の決め方に限らず可能である。例えば、最初、第１時点で、看板４４の領域９１に関し、ＡＲ画像５４がその近隣位置に表示される。その後、領域の移動に対し、第１時点の同じ位置にＡＲ画像５４が静止されたまま表示される。なおかつ、各時点で、領域とＡＲ画像５４とを結ぶ引き出し線が表示される。また、例えば、上記ＡＲ画像の表示位置は、静止位置に限らず、画面５内でのＡＲ画像の動きが少なくとも対象物体の動きの速度よりも遅くなるように決定されてもよい。
【0140】
上記のように、実施の形態２のＡＲ表示装置によれば、運転者の視界内で比較的高速に移動して目視で追うことが難しい物体についても、ＡＲ画像を視認しやすく提示できる。
【0141】
（実施の形態３）
図１２及び図１３を用いて、実施の形態３のＡＲ表示装置等について説明する。実施の形態３では、視線追跡機能を用いて、運転者の視線の状態に応じて、カメラ２の画像のうちの物体を抽出する対象となる範囲を限定する。これにより、運転者にとって不要な可能性が高い部分の情報を除去して情報量を減らし、必要な可能性が高い部分における物体及びＡＲ画像の視認性を高める。
図１２及び図１３を用いて、実施の形態３のＡＲ表示装置等について説明する。実施の形態３では、視線追跡機能を用いて、運転者の視線の状態に応じて、カメラ２の画像のうちの物体を抽出する対象となる範囲を限定する。これにより、運転者にとって不要な可能性が高い部分の情報を除去して情報量を減らし、必要な可能性が高い部分における物体及びＡＲ画像の視認性を高める。
【0142】
図１２は、実施の形態３のＡＲ表示装置であるＨＵＤ装置１の機能ブロック構成を示す。図１２の構成は、図１の構成に対し異なる部分として、車載システム１００及びＨＵＤ装置１は、運転者の視線を追跡する視線追跡機能を有する。視線追跡機能は、公知技術で構成可能である。実施の形態３では、視線追跡機能は、主に運転者撮影部１０７により実現されるが、これに限らず可能である。視線追跡機能は、運転者撮影部１０７、ＥＣＵ１０１、ＨＵＤ装置１の制御部１０等のいずれかで実現されればよい。
【0143】
運転者撮影部１０７は、カメラ３を含む公知の視線追跡機能を有する装置（即ちアイトラッキング装置）であり、運転者の目の位置や視線等を検出する。運転者撮影部１０７であるアイトラッキング装置は、カメラ３の画像によって、運転者の目等を検出し、視線の方向を計算する。計算方法としては、例えば瞳孔に写った光の点の位置から視線を計算する方法等が公知である。運転者撮影部１０７は、把握した視線等の情報（視線情報）を出力する。
【0144】
ＨＵＤ装置１の制御部１０は、運転者撮影部１０７と連携する視線追跡部１７を有する。視線追跡部１７は、運転者撮影部１０７から視線情報を入力し、運転者の視線の状態を把握する。視線追跡部１７は、視線の状態から、画面５における視線の先の交点である注視点（言い換えると視線交点、基準点）を把握する。なお、運転者撮影部１０７で注視点を計算してもよい。視線追跡部１７は、リアルタイムで、視線及び注視点を基準として、画面５内に、視線中心範囲を設定する。画像選択部１１は、画面５内の視線中心範囲に限定して、物体の抽出を行う。
【0145】
図１３は、画面５における視線中心範囲Ｒ１０やＡＲ画像表示の例を示す。×印で示す注視点Ｐ１は、視線の先の注視点の一例を示す。視線及び注視点は随時変動している。視線追跡部１７は、例えば注視点Ｐ１を中心点として、所定半径距離の円領域を、視線中心範囲Ｒ１０として設定する。注視点Ｐ１の変動に応じて、視線中心範囲Ｒ１０も変動する。視線中心範囲Ｒ１０は、運転者の視点から画面５を見た時の所定の画角に含まれている範囲である。画角と半径が対応関係を持つ。例えば、その画角が３０度程度である場合、人の目の有効視野範囲と同等である。物体がその有効視野範囲に対応する視線中心範囲Ｒ１０に含まれている場合、その物体は運転者からほぼ見えている。また、画角が例えば５度程度である場合、人の目の弁別視野（文字を判読できる注視範囲）と同等である。物体がその弁別視野に対応する視線中心範囲Ｒ１０に含まれている場合、その物体は、注視されている可能性が高い。視線中心範囲Ｒ１０は、矩形等で設定されてもよい。
【0146】
画像選択部１１は、視線中心範囲Ｒ１０を、カメラ２の画像から物体を抽出する対象とする限定された領域として、実施の形態１と同様に物体領域の選択抽出を行う。視線中心範囲Ｒ１０から物体領域を抽出する場合、運転者が意図的に注視している可能性が高い物体を、限定して抽出でき、その物体領域の画像情報を取得できる。
【0147】
視線中心範囲Ｒ１０の設定に関して、詳しくは以下のようにしてもよい。視線追跡部１７は、視線及び注視点の把握の際に、時間判断を加え、ある程度以上の時間（例えば所定秒）で画面５内の同じ位置に注視点が留まっている場合に、運転者がその位置付近を注視していると判断してもよい。視線追跡部１７は、その注視の判断に基づいて、はじめて視線中心範囲Ｒ１０を設定してもよい。
【0148】
視線中心範囲Ｒ１０の領域内にある物体の視認性については、ケースバイケースであり、例えば看板が小さければ視認性が低い。視認性判断部１２は、視線中心範囲Ｒ１０内にある物体領域、即ち物体領域の中心点が視線中心範囲Ｒ１０内に含まれるものについて、視認性指標値を計算する。
【0149】
実施の形態３では、基本的に、視線中心範囲Ｒ１０の領域内にある物体について、ＡＲ画像の表示候補とする。特に、中央領域Ｒ１の外側で、視線中心範囲Ｒ１０の領域内にある場合に、表示候補とする。なお、これに限らず、変形例としては、中央領域Ｒ１の内外に依らずに、視線中心範囲Ｒ１０内であれば表示候補としてもよい。
【0150】
視認性判断部１２は、視線中心範囲Ｒ１０内にある物体について、視認性指標値に応じて、ＡＲ画像の表示有無や加工処理内容等を分類、決定する。この決定の仕方は、実施の形態１等と同様に可能である。ＡＲ画像生成部１３は、その決定に従い、ＡＲ画像を生成する。
【0151】
図１３の例では、視線中心範囲Ｒ１０の領域内に看板４１，４２等の物体が含まれている。そのため、例えば看板４１は、ＡＲ画像の表示候補となる。看板４１の視認性については、例えば物体距離が遠いため、視認しにくいと判断され、ＡＲ画像を表示するものとして分類される。看板４１のＡＲ画像としては、例えば前述と同様に、固定位置方式でのＡＲ画像５１ａ、または近隣位置方式でのＡＲ画像５１ｂを表示する場合とする。このＡＲ画像の内容例としては、前述と同様に拡大処理等が行われている。また、そのＡＲ画像の表示の際には、前述と同様に物体領域とＡＲ画像とを結ぶ引き出し線等を付けてもよい。その引き出し線は、注視点Ｐ１の付近をなるべく避けるようにして配置される。同様に、看板４２については、斜めの姿勢であり、視認しにくいと判断され、ＡＲ画像を表示するものとして分類されている。看板４２のＡＲ画像５２の内容例として、姿勢変更処理等が行われている。
【0152】
なお、ＡＲ画像５１ｂやＡＲ画像５２は、視線中心範囲Ｒ１０内に一部が含まれる円周上の位置に表示されているが、これに限らず、視線中心範囲Ｒ１０の外に出る位置に表示されてもよい。
【0153】
視線及び注視点が移動して他の位置に視線中心範囲Ｒ１０が設定された例を、視線中心範囲Ｒ１０ｂとして示す。この視線中心範囲Ｒ１０ｂの領域には、例えば看板４４が含まれている。視線中心範囲Ｒ１０内で、看板４４は、視認性が高いと判断されたため、第１分類とされ、ＡＲ画像が表示されていない。なお、ＨＵＤ装置１は、視線及び注視点の移動によって視線中心範囲Ｒ１０内にあった物体が外に出た場合等の契機で、その物体のＡＲ画像を消去してもよい。
【0154】
上記のように、実施の形態３のＡＲ表示装置によれば、運転者の視線中心範囲内にある視認しにくい物体について、視認しやすいＡＲ画像を提示できる。処理対象領域が限定されているので、画面５内の情報量を抑え、全体的に視認性を高めることができる。
【0155】
（実施の形態４）
図１４及び図１５を用いて、実施の形態４のＡＲ表示装置等について説明する。実施の形態４では、物体に関する関連情報を含むＡＲ画像を、視認性が高い状態で表示する。これにより、運転者に有益な情報を提供して利便性も高める。実施の形態４では、抽出した物体に基づいて、ＤＢ部１０９のＤＢから関連情報を検索して取得する。実施の形態４では、運転者から見えている物体の記載文字等の情報だけでなく、関連情報による文字情報も提供できる。実施の形態４では、撮影画像内に含まれている物体について、何に関連するかを判断し、関連情報を提供する。実施の形態４では、実際に見える物体の情報と、画像内の物体から得られた関連情報とを組み合わせた情報を、ＡＲ画像として表示する。
図１４及び図１５を用いて、実施の形態４のＡＲ表示装置等について説明する。実施の形態４では、物体に関する関連情報を含むＡＲ画像を、視認性が高い状態で表示する。これにより、運転者に有益な情報を提供して利便性も高める。実施の形態４では、抽出した物体に基づいて、ＤＢ部１０９のＤＢから関連情報を検索して取得する。実施の形態４では、運転者から見えている物体の記載文字等の情報だけでなく、関連情報による文字情報も提供できる。実施の形態４では、撮影画像内に含まれている物体について、何に関連するかを判断し、関連情報を提供する。実施の形態４では、実際に見える物体の情報と、画像内の物体から得られた関連情報とを組み合わせた情報を、ＡＲ画像として表示する。
【0156】
図１４は、実施の形態４のＡＲ表示装置であるＨＵＤ装置１の機能ブロック構成を示す。図１４の構成は、図１の構成に対し異なる部分として、制御部１０は、画像選択部１１等と連携する情報検索部１８を有する。情報検索部１８は、画像から抽出された物体の情報に基づいて、ＤＢ部１０９のＤＢから関連情報を検索する。
【0157】
ＨＵＤ装置１の画像選択部１１は、カメラ２の画像から物体（例えば看板）の物体領域を抽出し、また、その物体領域からＯＣＲ処理によって文字を認識できる場合にはその文字情報も抽出する。情報検索部１８は、画像選択部１１で抽出された物体領域の情報を検索条件として用いて、ＤＢ部１０９のＤＢ（またはカーナビ部１０６のＤＢや外部の通信網上のＤＢサーバ等）から、その物体に関する関連情報を検索する。情報検索部１８は、その検索結果から、物体の関連情報を得る。関連情報は、例えば何の看板であるか、どの建物が出している看板であるか等であり、ＤＢに登録されている任意の情報である。
【0158】
情報検索部１８は、物体領域から抽出できた文字情報を用いて、ＤＢを検索してもよい。また、情報検索部１８は、画像から抽出された物体領域の画像を用いて、ＤＢから画像検索を行ってもよい。この場合、例えば看板の外観から関連情報を検索できる。あるいは、情報検索部１８は、物体領域の情報を用いて一旦ＤＢからその物体の基本情報を取得し、その基本情報を用いて、ＤＢ部１０９のＤＢ等から、関連情報の検索を行ってもよい。
【0159】
ＤＢ部１０９のＤＢには、例えば通信部１０４を介して外部の通信網上（例えば事業者のデータセンタ等）から取得された情報が格納されている。なお、前述のように、外部のＤＢに対する検索を行う形態等、各種の形態が可能である。このＤＢは、画像検索が可能な画像ＤＢを含む。このＤＢには、例えば、対象物体に関する画像（物体画像）と、その物体に関する情報（基本情報及び関連情報）とが、関係付けて登録されている。
【0160】
物体画像は、例えば対象物体である看板に関する正面から見た高品質の基準画像としてもよい。その場合、その基準画像を元データとして用いて、視認性が高いＡＲ画像を生成できる。基本情報は、前述の特徴情報や定義情報の他に、例えば、看板を出しているコンビニやレストラン等の種類を表す情報（図９の情報カテゴリの項目等の情報）を含んでもよい。関連情報は、例えば看板を出している店舗等に関する詳細説明情報等がある。関連情報は、看板に記載されている文字の情報を持たせてもよい。その場合、ＡＲ画像を提示する際に、看板を出している店舗等に関する情報を提示できる。
【0161】
視認性判断部１２は、前述と同様に、物体領域に関する視認性を判断し、分類する。ＡＲ画像生成部１３は、その結果に基づいて、前述と同様に、視認性を高めたＡＲ画像を生成するが、その際、物体の関連情報を用いてＡＲ画像を生成する。ＡＲ画像生成部１３は、物体領域から直接得た情報と、検索で得た関連情報とを組み合わせて、視認性が高いＡＲ画像を生成する。なお、ＡＲ画像生成部１３は、ＡＲ画像を生成する際に、情報検索部１８を用いて検索を行わせてもよい。
【0162】
情報検索部１８は、例えば、物体領域の画像を検索条件としてＤＢ部１０９の画像ＤＢを画像検索し、その検索結果から、視認性が高い物体画像を得る。例えば、看板の正面が直角四角形で高品質に撮影されている画像が得られる。ＡＲ画像生成部１３は、その画像を用いて、ＡＲ画像を生成する。ＡＲ画像生成部１３は、画像加工部１４を用いて、検索結果の画像に対する画像加工処理を施して、より視認性を高めてもよい。
【0163】
図１５は、画面５の例を示す。本例では、画面５及び画像内で、建物３２ａにおける道路３１の近くの位置に看板４５が設置されている。対象物体が例えば看板４５であるとする。看板４５は、正面が運転者の視点の方に向いているが、比較的遠くの位置にあり、記載文字が視認しにくい状態である。
【0164】
ＡＲ画像５５Ａは、看板４５のＡＲ画像に関する第１表示例を示す。ＡＲ画像５５Ａは、ＡＲ画像５５Ａ１とＡＲ画像５５Ａ２とで構成されている。ＡＲ画像５５Ａは、固定位置方式で下辺領域Ｒ３内の位置に表示されている。ＡＲ画像５５Ａ１は、物体領域から直接得られた情報に基づいたＡＲ画像である。ＡＲ画像５５Ａ１は、看板４５の記載文字が視認しやすいように、加工処理として物体領域に拡大処理等を施して得られたＡＲ画像である。本例では、看板４５の物体領域からＯＣＲ処理で抽出された文字情報を用いてＡＲ画像５５Ａ１が作成されている。看板４５の記載文字は、例えば「ＯＰＥＮ１０：００～２１：００ 現在ＯＰＥＮ」となっており、開店時間、閉店時間、現在の開店状態等の情報を含む場合である。
【0165】
ＡＲ画像５５Ａ２は、物体の関連情報に基づいたＡＲ画像である。ＡＲ画像５５Ａ２は、看板４５の関連情報として、例えば文字情報「レストラン ＸＹＺ」が得られた場合に、その文字情報を用いて、視認性が高い画像として作成されている。この関連情報は、看板４５を出している店舗の種類がレストランであること、及びその店舗の名称「ＸＹＺ」を表している。
【0166】
ＡＲ画像５５Ｂは、看板４５のＡＲ画像に関する第２表示例を示す。ＡＲ画像５５Ｂは、ＡＲ画像５５Ｂ１とＡＲ画像５５Ｂ２とで構成されている。ＡＲ画像５５Ｂは、近隣位置方式で看板４５の近隣の位置（例：左側）に引き出し線を付けて表示されている。ＡＲ画像５５Ｂ１は、物体領域から直接得られた情報に基づいたＡＲ画像である。ＡＲ画像５５Ｂ１は、看板４５の記載文字が視認しやすいように、加工処理として物体領域に拡大処理等を施して得られたＡＲ画像である。ＡＲ画像５５Ｂ２は、ＡＲ画像５５Ａ２と同様に、物体の関連情報に基づいたＡＲ画像である。本例では、ＡＲ画像５５Ｂ２は、ＡＲ画像５５Ｂ１の下に、破線枠の領域として表示されている。いずれのＡＲ画像も背景が透過の領域となっている。
【0167】
上記のように、実施の形態４のＡＲ表示装置によれば、物体の関連情報まで含め、より詳細な情報を、視認しやすいＡＲ画像として提示でき、運転者のＡＲ利用の利便性、付加価値を高めることができる。また、実施の形態４では、画像検索を用いて、元の視認性が低い物体に対して異なる、独立した視認性が高い画像を用いて、視認性が高いＡＲ画像を生成して表示することも可能である。そのため、画像加工処理で視認性が高い画像を得ることが難しい場合でも、好適なＡＲ画像を提示できる。
【0168】
なお、画像検索の際には、Ｗｅｂ上の一般的な画像検索サービスを用いてもよいが、予め、ＤＢ部１０９の画像ＤＢに、視認性が高い物体画像を整備しておけば、高速な処理及び好適なＡＲ画像提示が可能である。更に、変形例としては、ＤＢ部１０９の画像ＤＢに、対象物体に関して予め様々な条件で撮影した複数の画像を登録しておいてもよい。例えば、カメラレンズ性能、撮影距離、天候等の条件が異なる画像である。画像ＤＢに、対象物体に関する視認性が良くない状況での低品質画像と、視認性が良い状況での高品質画像と、他の物体情報とを関係付けて登録しておく。これにより、ＡＲ利用時の様々な状況に対応した好適なＡＲ表示が実現できる。撮影状況が良くない時の低品質画像であっても、検索によって高品質画像を得ることができる。
【0169】
なお、画像選択部１１において画像から物体を抽出する判断の際に、情報検索部１８の画像検索機能を用いてもよい。即ち、情報検索部１８は、物体領域の画像を検索条件として画像ＤＢからの画像検索（言い換えると他の画像群との画像マッチング）を行う。画像選択部１１は、その画像検索結果から、所定の物体（例えば看板）を抽出できる。
【0170】
［変形例（１）］
実施の形態４の変形例として以下が可能である。ＨＵＤ装置１は、画像内の物体の関連情報を用いて、画像内でその物体（例えば看板）に関連付けられる空間内の他の物体（例えば建物）の有無等を判断する。ＨＵＤ装置１は、空間内の他の物体が特定できる場合には、それらの物体（看板と建物）を関連付けて、ＡＲ画像を提示してもよい。例えば、図１５の看板４５に関連付けられる建物として、その周辺にある建物３２ａや建物３２ｂが候補として考えられる。例えば、情報検索部１８は、空間内での看板４５の位置情報を中心点とした所定半径距離の範囲内にある建物をＤＢから検索し、検索結果の建物を候補としてもよい。
実施の形態４の変形例として以下が可能である。ＨＵＤ装置１は、画像内の物体の関連情報を用いて、画像内でその物体（例えば看板）に関連付けられる空間内の他の物体（例えば建物）の有無等を判断する。ＨＵＤ装置１は、空間内の他の物体が特定できる場合には、それらの物体（看板と建物）を関連付けて、ＡＲ画像を提示してもよい。例えば、図１５の看板４５に関連付けられる建物として、その周辺にある建物３２ａや建物３２ｂが候補として考えられる。例えば、情報検索部１８は、空間内での看板４５の位置情報を中心点とした所定半径距離の範囲内にある建物をＤＢから検索し、検索結果の建物を候補としてもよい。
【0171】
更に、情報検索部１８は、候補の建物の位置情報を用いて、ＤＢからその建物の情報を検索し、対象の看板に関連付けられる建物であるかを判断してもよい。例えば、看板４５が建物３２ａに関連付けられると判断されたとする。
【0172】
ＨＵＤ装置１は、看板４５に関連付けられる建物３２ａを特定した場合に、その看板４５のＡＲ画像として、関連付けられる建物３２ａの情報を含むＡＲ画像を生成して表示する。あるいは、ＨＵＤ装置１は、その建物３２ａに関する別のＡＲ画像を生成し、看板４５のＡＲ画像と、建物３２ａのＡＲ画像とを、引き出し線等で関連付けて表示してもよい。
【0173】
［変形例（２）］
実施の形態４の変形例として以下が可能である。この変形例では、ＤＢ部１０９のＤＢの情報に関して保守更新を行う機能を有する。ＤＢ部１０９のＤＢが、外部の通信網上、例えばデータセンタのＤＢサーバに設けられているとする。事業者は、そのＤＢを管理する。複数の自動車の利用者が同じサービスを利用し、車載システム１００がその同じＤＢを共用するようにアクセスする。そのＤＢは、各利用者の自動車で撮影された画像から得られた物体の情報に基づいて、最新状態になるように、物体の画像や情報が更新される。
実施の形態４の変形例として以下が可能である。この変形例では、ＤＢ部１０９のＤＢの情報に関して保守更新を行う機能を有する。ＤＢ部１０９のＤＢが、外部の通信網上、例えばデータセンタのＤＢサーバに設けられているとする。事業者は、そのＤＢを管理する。複数の自動車の利用者が同じサービスを利用し、車載システム１００がその同じＤＢを共用するようにアクセスする。そのＤＢは、各利用者の自動車で撮影された画像から得られた物体の情報に基づいて、最新状態になるように、物体の画像や情報が更新される。
【0174】
例えば、看板は、設置位置が変わる場合もあるし、記載内容が変わる場合もある。また、建物は、建設中である等、外観の状態が変わる場合もある。カーナビ部１０６のＤＢの地図情報等は、登録内容が更新されていない場合には、リアルタイムで現実の最新の物体の情報を得ることはできない。そこで、この変形例では、物体の外観の変化にもなるべくすぐに対応できるように、ＤＢ部１０９のＤＢの情報内容を最新状態に更新する機能を有する。これにより、各利用者は、ＡＲ機能の利用時に、最新状態の物体の情報がＡＲ画像として得られ、利便性が高くなる。それと共に、事業者のＤＢの保守作業も容易になる。
【0175】
データセンタのＤＢ部１０９のＤＢには、物体の情報や画像として、位置や向きの情報、物体の外観の変更有無や変更日時等の情報、物体の外観が変更された時の最新の物体領域の画像等が、関係付けて登録される。また、ＤＢには、物体画像に関するカメラ２の撮影方向等の情報を登録しておいてもよい。同じ物体を各方向から撮影した複数の物体画像を登録しておいてもよい。
【0176】
ＨＵＤ装置１は、カメラ２の画像から最新状態の物体領域を抽出する。情報検索部１８は、その物体領域の画像や情報を用いて、通信部１０４を介してＤＢ部１０９のＤＢを検索する。情報検索部１８は、データセンタのサーバへ、物体の最新状態の情報を送信する。データセンタのサーバは、その情報を受信し、ＤＢの登録情報を確認し、物体の外観等の変更があると判断した場合、ＤＢの登録情報を最新状態に更新する。
【0177】
ＡＲ提示の際に、ＤＢから取得できた物体情報や物体画像を用いて、視認性が高い最新状態のＡＲ画像を表示できる。また、撮影方向が異なる複数の物体画像を用いる場合、自車から物体への方向に応じた好適なＡＲ画像が生成できる。
【0178】
［変形例（３）］
実施の形態４の変形例として以下が可能である。この変形例では、実空間内における移動物体の変動する位置を、ＤＢ部１０９のＤＢの地図情報に反映するように登録させ、自分または自分を含む複数の利用者間で共有可能とする。移動物体として、例えば、運転者の家族や知人等の人が運転する他の自動車を対象として設定することができる。対象の車や人は、予め画像形式で設定可能である。また、応用例としては、車や人の捜索にも利用できる。また、応用例としては、天候や渋滞等の状況の登録にも利用できる。
実施の形態４の変形例として以下が可能である。この変形例では、実空間内における移動物体の変動する位置を、ＤＢ部１０９のＤＢの地図情報に反映するように登録させ、自分または自分を含む複数の利用者間で共有可能とする。移動物体として、例えば、運転者の家族や知人等の人が運転する他の自動車を対象として設定することができる。対象の車や人は、予め画像形式で設定可能である。また、応用例としては、車や人の捜索にも利用できる。また、応用例としては、天候や渋滞等の状況の登録にも利用できる。
【0179】
ＨＵＤ装置１は、カメラ２で撮影した画像内の物体に関する空間内の位置を検出する。例えば、自車の位置情報と画像内の物体の位置との関係に基づいて、物体の位置をある程度の精度で計算できる。また、地図上の既知の物体の位置を用いれば、対象物体の位置を高精度に検出できる。
【0180】
ＨＵＤ装置１は、例えば外部のデータセンタのＤＢ部１０９のＤＢの地図情報にアクセスする。そして、ＨＵＤ装置１は、自車の位置、検出した物体の位置、外観の画像、センサ情報、等を含む情報を、ＤＢの地図情報に登録する。データセンタのサーバは、そのＤＢの情報の登録や更新、状況の集計等を行う。各利用者の車載システム１００は、更新されたＤＢの地図情報にアクセスして利用できる。各利用者は、他の人の車等の最新情報がＡＲ画像として得られる。
【0181】
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は上述した実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。実施の形態の構成要素の追加や削除、分離や併合、置換、組合せ等が可能である。実施の形態の具体例の数値等は一例である。実施の形態の機能等は、一部または全部が集積回路等のハードウェアで実現されてもよいし、ソフトウェアプログラム処理で実現されてもよい。各ソフトウェアは、製品出荷時点で予め装置内に格納されていてもよいし、製品出荷後に外部装置から通信を介して取得されてもよい。本発明は、車載システムに限らず、各種の用途に適用可能である。
【符号の説明】
【0182】
１…ＨＵＤ装置（ＡＲ表示装置）、２…カメラ、３…カメラ、５…画面、９…フロントシールド、１０…制御部、１１…画像選択部、１２…視認性判断部、１３…ＡＲ画像生成部、１４…画像加工部、１５…ＡＲ表示部、２０…表示部、２１…表示駆動回路、２２…表示素子、２３…光源、２４…光学系、１００…車載システム、１０１…ＥＣＵ、１０２…車外撮影部、１０３…映像データ記憶部、１０４…通信部、１０５…ＧＰＳ受信器、１０６…カーナビ部、１０７…運転者撮影部、１０８…センサ部、１０９…ＤＢ部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】