特開 2024-132300 表示制御装置および表示制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024132300

(43)【公開日】2024-09-30

(54)【発明の名称】表示制御装置および表示制御プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240920BHJP

   G06T 5/50 20060101ALI20240920BHJP

   G06T 7/00 20170101ALI20240920BHJP

   G06V 10/82 20220101ALI20240920BHJP

【ＦＩ】

G08G1/16 C

G06T5/50

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】23

【出願形態】ＯＬ

(21)【出願番号】P 2023043030

(22)【出願日】2023-03-17

(71)【出願人】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110001128

【氏名又は名称】弁理士法人ゆうあい特許事務所

(72)【発明者】

【氏名】石丸 和寿

(72)【発明者】

【氏名】羽藤 猛

【テーマコード（参考）】

5B057

5H181

5L096

【Ｆターム（参考）】

5B057AA16

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE02

5B057CE06

5B057CE08

5B057DB02

5B057DB09

5H181AA01

5H181CC04

5H181LL01

5H181LL04

5H181LL08

5L096AA06

5L096BA04

5L096CA04

5L096DA01

5L096EA05

5L096EA06

5L096EA14

5L096FA16

5L096FA64

5L096FA66

5L096FA69

5L096GA51

5L096GA55

5L096HA05

5L096HA11

5L096KA04

(57)【要約】

【課題】物標に対する重畳表示の位置ずれを抑制する表示制御装置および表示制御プログラムを提供する。
【解決手段】表示制御装置２０は、画像撮像装置１３によって撮像された撮像画像Ｉｍを取得する取得部３０と、撮像画像Ｉｍ内の領域であって撮像画像Ｉｍに映る物標Ｔの位置を含む領域である物標領域Ｒｔと撮像画像Ｉｍ内の領域であって撮像画像Ｉｍに映る物標Ｔの予測位置を含む領域である予測領域Ｒｐとが用いられて算出される補正領域Ｒｒに基づいて、物標Ｔに対して表示画像Ｄｉを重畳表示させるＨＣＵ５０と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像撮像装置（１３）によって撮像された撮像画像（Ｉｍ）を取得する取得部（３０）と、
前記撮像画像内の領域であって前記撮像画像に映る物標（Ｔ）の位置を含む領域である物標領域（Ｒｔ）と前記撮像画像内の領域であって前記撮像画像に映る前記物標の予測位置を含む領域である予測領域（Ｒｐ）とが用いられて算出される補正領域（Ｒｒ）に基づいて、前記物標に対して表示画像（Ｄｉ）を重畳表示させる表示制御部（５０）と、
を備える表示制御装置。

【請求項2】

前記表示制御部は、前記撮像画像内の一方向における前記物標領域と前記予測領域との重複部分の長さ（Ｄｄ）が長くなることに伴って、前記補正領域を前記予測領域に近づけさせるように変更する請求項１に記載の表示制御装置。

【請求項3】

前記画像撮像装置は、車両（１）に搭載されており、
前記表示制御部は、前記車両から前記物標までの距離（Ｄｒ）が短くなることに伴って、前記補正領域を前記予測領域に近づけさせるように変更する請求項１に記載の表示制御装置。

【請求項4】

前記表示制御部は、深層学習を用いて算出される前記物標の種類の識別に関する値（Ｓｃ＿ＤＮＮ）が高くなることに伴って、前記補正領域を前記予測領域に近づけさせるように変更する請求項１に記載の表示制御装置。

【請求項5】

前記表示制御部は、前記物標領域内の前記物標と前記予測領域内の前記物標とが一致する回数（Ｎｔ＿ｓｕｍ）が多くなることに伴って、前記補正領域を前記予測領域に近づけさせるように変更する請求項１に記載の表示制御装置。

【請求項6】

前記表示制御部は、前記重複部分の長さ（Ｄｄ）が長くなることに伴って、前記表示画像の輝度を大きくする請求項２に記載の表示制御装置。

【請求項7】

前記表示制御部は、前記車両から前記物標までの距離（Ｄｒ）が短くなることに伴って、前記表示画像の輝度を大きくする請求項３に記載の表示制御装置。

【請求項8】

前記表示制御部は、深層学習を用いて算出される前記物標の種類の識別に関する値（Ｓｃ＿ＤＮＮ）が高くなることに伴って、前記表示画像の輝度を大きくする請求項４に記載の表示制御装置。

【請求項9】

前記表示制御部は、前記物標領域内の前記物標と前記予測領域内の前記物標とが一致する回数（Ｎｔ＿ｓｕｍ）が多くなることに伴って、前記表示画像の輝度を大きくする請求項５に記載の表示制御装置。

【請求項10】

前記表示制御部は、車両（１）にかかる重力方向の加速度（Ａｇ）が加速度閾値（Ａｇ＿ｔｈ）以上であるとき、前記重複部分の長さ（Ｄｄ）が長くなることに伴っても、前記補正領域の位置を維持させる請求項２に記載の表示制御装置。

【請求項11】

前記表示制御部は、前記物標領域の位置の時間変化に関する値（ΔＤｔ）が閾値以上であるとき、前記重複部分の長さ（Ｄｄ）が長くなることに伴っても、前記補正領域の位置を維持させる請求項２に記載の表示制御装置。

【請求項12】

前記表示制御部は、前記物標領域の位置の時間変化のバラつきに関する値が閾値以下であるとき、前記補正領域を前記物標領域に近づけさせるように変更する請求項１に記載の表示制御装置。

【請求項13】

前記表示制御部は、深層学習を用いて算出される前記物標の種類の識別に関する値（Ｓｃ＿ＤＮＮ）が閾値（Ｓｃ＿ｔｈ）以上であるとき、前記補正領域を前記物標領域に近づけさせるように変更する請求項１に記載の表示制御装置。

【請求項14】

前記表示制御部は、前記物標領域および前記予測領域のうち前記撮像画像の縦方向におけるエッジ点の数が多い領域を前記補正領域とする請求項１に記載の表示制御装置。

【請求項15】

前記画像撮像装置は、車両（１）に搭載されており、
前記表示制御部は、前記車両に対する前記物標の相対距離（Ｄｃｔ）が相対距離閾値（Ｄｃｔ＿ｔｈ）以下、かつ、前記画像撮像装置の露光量（Ｍｅ）が露光量閾値（Ｍｅ＿ｔｈ）以下であるとき、前記補正領域を前記予測領域に近づけさせるように変更する請求項１に記載の表示制御装置。

【請求項16】

前記画像撮像装置は、車両（１）に搭載されており、
前記表示制御部は、前記車両に対する前記物標の相対距離（Ｄｃｔ）が相対距離閾値（Ｄｃｔ＿ｔｈ）以下、かつ、前記車両の外部からの日射量（Ｍｓ）が日射閾値（Ｍｓ＿ｔｈ）以下であるとき、前記補正領域を前記予測領域に近づけさせるように変更する請求項１に記載の表示制御装置。

【請求項17】

前記画像撮像装置は、車両（１）に搭載されており、
前記表示制御部は、
前記車両に対する前記物標の相対距離（Ｄｃｔ）が相対距離閾値（Ｄｃｔ＿ｔｈ）以下、かつ、前記画像撮像装置の露光量（Ｍｅ）が露光量閾値（Ｍｅ＿ｔｈ）以下である場合に、
前記車両に対する前記物標の相対速度（Ｖｃｔ）が速度閾値（Ｖｃｔ＿ｔｈ）以下であるとき、
現時点までに取得した前記物標領域および前記予測領域の中で前記車両に対する前記物標の相対距離が最も小さいときの前記物標領域および前記予測領域のどちらかを前記補正領域とする請求項１に記載の表示制御装置。

【請求項18】

前記画像撮像装置は、車両（１）に搭載されており、
前記表示制御部は、
前記車両に対する前記物標の相対距離（Ｄｃｔ）が相対距離閾値（Ｄｃｔ＿ｔｈ）以下、かつ、前記車両の外部からの日射量（Ｍｓ）が日射閾値（Ｍｓ＿ｔｈ）以下である場合に、
前記車両に対する前記物標の相対速度（Ｖｃｔ）が速度閾値（Ｖｃｔ＿ｔｈ）以下であるとき、
現時点までに取得した前記物標領域および前記予測領域の中で前記車両に対する前記物標の相対距離が最も小さいときの前記物標領域および前記予測領域のどちらかを前記補正領域とする請求項１に記載の表示制御装置。

【請求項19】

前記画像撮像装置は、車両（１）に搭載されており、
前記表示制御部は、
前記車両に対する前記物標の相対距離（Ｄｃｔ）が相対距離閾値（Ｄｃｔ＿ｔｈ）以下、かつ、前記画像撮像装置の露光量（Ｍｅ）が露光量閾値（Ｍｅ＿ｔｈ）以下である場合に、
前記車両に対する前記物標の相対速度（Ｖｃｔ）が速度閾値（Ｖｃｔ＿ｔｈ）以下であるとき、
前記物標領域と前記予測領域とを合わせた領域のうち前記撮像画像の最も下側の端、前記撮像画像の最も左側の端および前記撮像画像の最も右側の端で形成される領域を、前記補正領域とする請求項１に記載の表示制御装置。

【請求項20】

前記画像撮像装置は、車両（１）に搭載されており、
前記表示制御部は、
前記車両に対する前記物標の相対距離（Ｄｃｔ）が相対距離閾値（Ｄｃｔ＿ｔｈ）以下、かつ、前記車両の外部からの日射量（Ｍｓ）が日射閾値（Ｍｓ＿ｔｈ）以下である場合に、
前記車両に対する前記物標の相対速度（Ｖｃｔ）が速度閾値（Ｖｃｔ＿ｔｈ）以下であるとき、
前記物標領域と前記予測領域とを合わせた領域のうち前記撮像画像の最も下側の端、前記撮像画像の最も左側の端および前記撮像画像の最も右側の端で形成される領域を、前記補正領域とする請求項１に記載の表示制御装置。

【請求項21】

前記画像撮像装置は、車両（１）に搭載されており、
前記表示制御部は、
前記車両に対する前記物標の相対距離（Ｄｃｔ）が相対距離閾値（Ｄｃｔ＿ｔｈ）以下、かつ、前記画像撮像装置の露光量（Ｍｅ）が露光量閾値（Ｍｅ＿ｔｈ）以下である場合に、
前記車両に対する前記物標の相対速度（Ｖｃｔ）が速度閾値（Ｖｃｔ＿ｔｈ）以下であるとき、
現時点までに取得した前記物標領域および前記予測領域の中で深層学習を用いて算出される前記物標の種類の識別に関する値（Ｓｃ＿ＤＮＮ）が最も大きいときの前記物標領域および前記予測領域のどちらかを前記補正領域とする請求項１に記載の表示制御装置。

【請求項22】

前記画像撮像装置は、車両（１）に搭載されており、
前記表示制御部は、
前記車両に対する前記物標の相対距離（Ｄｃｔ）が相対距離閾値（Ｄｃｔ＿ｔｈ）以下、かつ、前記車両の外部からの日射量（Ｍｓ）が日射閾値（Ｍｓ＿ｔｈ）以下である場合に、
前記車両に対する前記物標の相対速度（Ｖｃｔ）が速度閾値（Ｖｃｔ＿ｔｈ）以下であるとき、
現時点までに取得した前記物標領域および前記予測領域の中で深層学習を用いて算出される前記物標の種類の識別に関する値（Ｓｃ＿ＤＮＮ）が最も大きいときの前記物標領域および前記予測領域のどちらかを前記補正領域とする請求項１に記載の表示制御装置。

【請求項23】

表示制御装置を、
画像撮像装置（１３）によって撮像された撮像画像（Ｉｍ）を取得する取得部（３０）、および、
前記撮像画像内の領域であって前記撮像画像に映る物標（Ｔ）の位置を含む領域である物標領域（Ｒｔ）と前記撮像画像内の領域であって前記撮像画像に映る前記物標の予測位置を含む領域である予測領域（Ｒｐ）とが用いられて算出される補正領域（Ｒｒ）に基づいて、前記物標に対して表示画像（Ｄｉ）を重畳表示させる表示制御部（５０）として機能させる表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示制御装置および表示制御プログラムに関するものである。

【背景技術】

【0002】

従来、特許文献１に記載されているように、車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して車両の前方の風景に重畳させて虚像を表示するヘッドアップディスプレイ装置が知られている。

【0003】

特許文献１に記載されたヘッドアップディスプレイ装置は、画像入力部と、情報取得部と、画像生成部と、変換部と、表示制御部と、表示部とを備える。画像入力部は、カメラで撮影された画像を入力し、画像から所定の物標を抽出する。情報取得部は、画像内の物標の位置を含む物標情報および空間内の物標との距離を含む距離情報を取得する。画像生成部は、物標に対して重畳表示するための虚像の画像を生成する。変換部は、取得された情報を用いて、ウィンドシールドまたはコンバイナの視認領域に画像を表示可能な範囲である表示領域の位置および表示領域内の画像の表示位置を補正する変換処理を行う。表示制御部は、補正後のデータを用いて視認領域に対して画像を重畳表示する制御を行う。表示部は、上記制御にしたがって視認領域に対して画像を重畳表示する。また、変換部は、基本設定の運転者の視点位置から視認領域を通じて物標を見た場合の物標の位置に、表示領域内の画像の表示位置を合わせるように、変換処理を行う。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１８／１９３７０８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載されたヘッドアップディスプレイ装置では、表示領域の位置および表示領域内の画像の表示位置が補正されても、画像内の物標の認識位置がずれると、物標に対する重畳表示の位置がずれる。このとき、運転者の違和感が発生する。

【0006】

本開示は、物標に対する重畳表示の位置ずれを抑制する表示制御装置および表示制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

請求項１に記載の発明は、画像撮像装置（１３）によって撮像された撮像画像（Ｉｍ）を取得する取得部（３０）と、撮像画像内の領域であって撮像画像に映る物標（Ｔ）の位置を含む領域である物標領域（Ｒｔ）と撮像画像内の領域であって撮像画像に映る物標の予測位置を含む領域である予測領域（Ｒｐ）とが用いられて算出される補正領域（Ｒｒ）に基づいて、物標に対して表示画像（Ｄｉ）を重畳表示させる表示制御部（５０）と、を備える表示制御装置である。

【0008】

また、請求項２３に記載の発明は、表示制御装置を、画像撮像装置（１３）によって撮像された撮像画像（Ｉｍ）を取得する取得部（３０）、および、撮像画像内の領域であって撮像画像に映る物標（Ｔ）の位置を含む領域である物標領域（Ｒｔ）と撮像画像内の領域であって撮像画像に映る物標の予測位置を含む領域である予測領域（Ｒｐ）とが用いられて算出される補正領域（Ｒｒ）に基づいて、物標に対して表示画像（Ｄｉ）を重畳表示させる表示制御部（５０）として機能させる表示制御プログラムである。

【0009】

これにより、物標の認識位置がずれても、物標領域と予測領域とによって算出補正された補正領域が用いられて、物標に対して表示画像が重畳表示される。このため、物標の認識位置のずれが抑制された状態で、物標に対して表示画像が重畳表示される。したがって、物標に対する重畳表示の位置ずれが抑制される。

【0010】

なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。

【図面の簡単な説明】

【0011】

【図1】第１実施形態の表示制御装置が用いられる車両の構成図。

【図2】車両の表示システムの構成図。

【図3】表示システムの認識部のブロック図。

【図4】撮像画像に映る物標に対する表示画像の重畳表示を示す図。

【図5】表示システムのＨＣＵのブロック図。

【図6】認識部の画像処理部による物標領域の算出を示す図。

【図7】認識部の予測部による予測領域の算出を示す図。

【図8】認識部の追跡部による物標の追跡を説明するための図。

【図9】ＨＣＵの推定部による最大長さおよび重複長さの算出を示す図。

【図10】オーバーラップ率および第１信頼度の関係図。

【図11】認識距離および第２信頼度の関係図。

【図12】ＤＮＮ認識スコア値および第３信頼度の関係図。

【図13】追跡状態および第４信頼度の関係図。

【図14】累積追跡回数および第５信頼度の関係図。

【図15】ＨＣＵの位置補正部による補正領域の算出を示す図。

【図16】第２実施形態の表示制御装置を備える表示システムの構成図。

【図17】物標領域と予測領域とが重なりにくいときを示す図。

【図18】推定部による物標領域における位置の時間変化の算出を示す図。

【図19】第３実施形態の表示制御装置を備える表示システムの構成図。

【図20】表示制御装置のＨＣＵのブロック図。

【図21】物標領域の信頼度が低くなるときを示す図。

【図22】位置補正部による補正領域の算出を示す図。

【発明を実施するための形態】

【0012】

以下、実施形態について図面を参照しつつ説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付し、その説明を省略する。

【0013】

（第１実施形態）
第１実施形態の表示制御装置は、車両に搭載されているＨＵＤを制御することにより、車両の前景に画像を重畳表示させる。まず、この表示制御装置が用いられる車両について説明する。なお、ＨＵＤは、Head-Up Displayの略である。

【0014】

図１および図２に示すように、車両１は、ウィンドシールド４、インストルメントパネル５および表示システム１０を備えている。

【0015】

図１に示すように、ウィンドシールド４は、車両１の前方に配置されている。また、ウィンドシールド４は、車両１の運転者の前方の視界を確保する。インストルメントパネル５は、後述のＨＵＤ１５を収容している。

【0016】

図２に示すように、表示システム１０は、画像撮像装置１３、ＨＵＤ１５および表示制御装置２０を有する。

【0017】

画像撮像装置１３は、カメラであって、ＣＣＤまたはＣＭＯＳ等のイメージセンサを有する。また、画像撮像装置１３は、図１に示すように、例えば、６０ｆｐｓのフレームレートにて車両１の前方を撮像する。さらに、画像撮像装置１３は、図２に示すように、撮像画像Ｉｍを後述の表示制御装置２０に出力する。

【0018】

ＨＵＤ１５は、後述の表示制御装置２０のＨＣＵからの画像データに基づく表示画像Ｄｉを形成する。具体的には、ＨＵＤ１５は、図１に示すように、液晶式および走査式等のプロジェクタ１５１および凹面鏡等の光学系１５２を含む。プロジェクタ１５１からの光が光学系１５２で反射される。光学系１５２で反射された光は、ウィンドシールド４の投影面に投影される。この投影される光がウィンドシールド４で反射されることにより、プロジェクタ１５１からの表示画像Ｄｉは、車両１の運転者によって知覚される。また、車両１の前方の景色も、車両１の運転者によって知覚される。これにより、ウィンドシールド４の前方に結像される表示画像Ｄｉの虚像１５３と前方の景色の一部とが重畳表示される。このため、車両１の運転者は、ＡＲ表示を視認できる。なお、ＡＲは、Augmented Realityの略である。

【0019】

図２に戻って、表示制御装置２０は、マイコン等を主体として構成されており、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏおよびこれらの構成を接続するバスライン等を備えている。具体的には、表示制御装置２０は、認識部３０およびＨＣＵ５０を含む。なお、ＨＣＵは、HMI Control Unitの略である。また、ＨＭＩは、Human Machine Interfaceの略である。

【0020】

認識部３０は、認識部３０のプログラムを実行することにより、画像撮像装置１３からの撮像画像Ｉｍに対して処理を行う。具体的には、認識部３０は、図３に示すように、画像処理部３２、追跡部３４および予測部３６を機能ブロックとして含む。

【0021】

画像処理部３２は、画像認識および深層学習等の機械学習を行うことにより、撮像画像Ｉｍから得られる第１中間情報を算出する。また、画像処理部３２は、この算出した第１中間情報を後述の追跡部３４およびＨＣＵ５０に出力する。なお、第１中間情報の詳細については、後述する。

【0022】

追跡部３４は、画像処理部３２によって算出された第１中間情報および後述の予測部３６によって算出された物標Ｔの予測位置に関する情報に基づいて、図４に示すような撮像画像Ｉｍに映る物標Ｔの追跡を行う。これにより、追跡部３４は、撮像画像Ｉｍに映る物標Ｔの追跡に関する情報を第２中間情報として算出する。なお、ここでは、物標Ｔは、自動四輪車、自動二輪車、自転車および人等の立体物である。また、第２中間情報の詳細については、後述する。

【0023】

予測部３６は、画像処理部３２によって算出された第１中間情報を用いて、追跡部３４によって追跡されている物標Ｔに対して、次フレーム目の撮像画像Ｉｍに映る物標Ｔの予測位置に関する情報を算出する。さらに、予測部３６は、物標Ｔの予測位置に関する情報を追跡部３４および後述のＨＣＵ５０に出力する。

【0024】

ＨＣＵ５０は、ＨＣＵ５０のプログラムを実行することにより、認識部３０からの情報に基づいて、撮像画像Ｉｍに映る物標Ｔに対して図４に示すような表示画像Ｄｉを重畳表示させるための画像データを生成する。また、ＨＣＵ５０は、この生成した画像データをＨＣＵ５０に出力する。具体的には、ＨＣＵ５０は、図５に示すように、推定部５２、信頼度算出部５４、統合部５６、表示輝度算出部５８、位置補正部６０およびフィルタ処理部６２を機能ブロックとして含む。

【0025】

推定部５２は、撮像画像Ｉｍ、画像処理部３２によって算出された第１中間情報および予測部３６によって算出された物標Ｔの予測位置に関する情報を取得する。また、推定部５２は、これらの取得した情報に基づいて、第３中間情報を算出する。さらに、推定部５２は、この算出した第３中間情報を、第１中間情報の一部および第２中間情報とともに、後述の信頼度算出部５４に出力する。また、推定部５２は、上記取得した撮像画像Ｉｍ、第１中間情報の一部および予測部３６によって算出された物標Ｔの予測位置に関する情報を後述の位置補正部６０に出力する。なお、第３中間情報の詳細については、後述する。

【0026】

信頼度算出部５４は、推定部５２からの第１中間情報の一部、第２中間情報および第３中間情報のそれぞれに対して信頼度を算出する。これにより、信頼度算出部５４は、推定部５２からの第１中間情報の一部、第２中間情報および第３中間情報の信頼度を評価する。また、信頼度算出部５４は、これらの算出した信頼度を後述の統合部５６に出力する。なお、信頼度とは、例えば、尤度であって、情報の尤もらしさを示す度合である。したがって、尤度が高いことは、信頼度が高いことに対応する。また、尤度が低いことは信頼度が低いことに対応する。

【0027】

統合部５６は、ヘイズ推定等を用いることにより、信頼度算出部５４によって算出されたそれぞれの信頼度を統合することで、統合信頼度Ｐｉを算出する。これにより、統合部５６は、予測部３６によって算出された物標Ｔの予測位置に関する情報の信頼度を総合的に評価する。また、統合部５６は、この算出した統合信頼度Ｐｉを後述の表示輝度算出部５８および位置補正部６０に出力する。

【0028】

表示輝度算出部５８は、統合部５６によって算出された統合信頼度Ｐｉに基づいて、表示輝度Ｌｄを算出する。さらに、表示輝度算出部５８は、この算出した表示輝度Ｌｄを、後述のフィルタ処理部６２に出力する。なお、表示輝度Ｌｄは、表示画像Ｄｉの輝度である。

【0029】

位置補正部６０は、推定部５２からの撮像画像Ｉｍ、第１中間情報の一部および予測部３６によって予測された物標Ｔならびに統合部５６によって算出された統合信頼度Ｐｉに基づいて、表示画像Ｄｉの位置を補正する。また、位置補正部６０は、この補正した表示画像Ｄｉの位置情報を後述のフィルタ処理部６２に出力する。

【0030】

フィルタ処理部６２は、表示輝度算出部５８によって算出された表示輝度Ｌｄおよび位置補正部６０によって算出された補正した表示画像Ｄｉの位置情報のそれぞれに対して、移動平均等のローパスフィルタ処理を行う。これにより、表示輝度Ｌｄおよび補正した表示画像Ｄｉの位置情報に含まれるノイズが除去される。また、フィルタ処理部６２は、これらのノイズを除去した表示輝度Ｌｄおよび補正した表示画像Ｄｉの位置にて表示画像Ｄｉを表示させるための画像データを生成する。さらに、フィルタ処理部６２は、この生成した画像データをＨＵＤ１５に出力する。このため、ＨＵＤ１５は、ＨＣＵ５０内にて算出された表示輝度Ｌｄおよび補正された表示画像Ｄｉの位置にて図４に示すような表示画像Ｄｉを表示させる。これにより、運転者は、ＨＣＵ５０内にて表示輝度Ｌｄが算出され、位置が補正された表示画像Ｄｉを視認できる。

【0031】

以上のように、車両１は、構成されている。次に、認識部３０のプログラム実行による処理の詳細について、図３、図６、図７および図８を参照して説明する。

【0032】

まず、図３に示すように、画像処理部３２は、撮像画像Ｉｍを画像撮像装置１３から取得する。また、画像処理部３２は、この取得した撮像画像Ｉｍに対して、画像認識等を用いることにより、物標Ｔを検出するとともに、物標領域Ｒｔを第１中間情報の１つとして算出する。例えば、画像処理部３２は、図６に示すように、ｔフレーム目の撮像画像Ｉｍ（ｔ）において、物標Ｔを検出するとともに、ｔフレーム目の物標領域Ｒｔ（ｔ）を算出する。なお、物標領域Ｒｔは、撮像画像Ｉｍ内の領域であって撮像画像Ｉｍに映る物標Ｔの位置を含む領域である。また、ここでは、物標領域Ｒｔは、四角形状であるところ、これに限定されない。物標領域Ｒｔは、多角形形状や円形形状であってもよい。

【0033】

また、画像処理部３２は、画像認識等を用いることにより、認識距離Ｄｒを第１中間情報の１つとして算出する。なお、認識距離Ｄｒは、例えば、車両１の前端から撮像画像Ｉｍに映る物標Ｔの後端までの距離であって、車両１から物標Ｔまでの距離に対応する。

【0034】

さらに、画像処理部３２は、画像認識および深層学習等を用いることにより、物標Ｔの種類を識別するとともに、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮを第１中間情報の１つとして算出する。ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮとは、深層学習を用いて算出される物標Ｔの種類の識別に関する値である。このＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが高くなることに伴って、識別した物標Ｔの種類の正確度が高くなる。例えば、撮像画像Ｉｍに映る物標Ｔの種類が自動四輪車であるとする。この場合、画像処理部３２は、撮像画像Ｉｍに映る物標Ｔの種類が自動四輪車であると判定する。また、このとき、画像処理部３２は、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮを算出する。この算出されたＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが高くなることに伴って、実際の物標Ｔの種類が自動四輪車である正確度が高くなる。なお、ＤＮＮは、Deep Neural Networkの略である。

【0035】

また、図３に戻って、画像処理部３２は、取得した撮像画像Ｉｍとともに、上記算出した物標領域Ｒｔを後述の追跡部３４に出力する。さらに、画像処理部３２は、取得した撮像画像Ｉｍおよび上記算出した物標領域Ｒｔに加えて、上記算出した認識距離ＤｒおよびＤＮＮ認識スコア値Ｓｃ＿ＤＮＮを後述のＨＣＵ５０に出力する。

【0036】

続いて、追跡部３４は、画像処理部３２によって算出された物標領域Ｒｔと、後述の予測部３６によって算出された物標Ｔの予測位置に関する情報とに基づいて、撮像画像Ｉｍに映る物標Ｔの追跡を行う。この追跡を行う際、後述の予測部３６によって算出された物標Ｔの予測位置に関する情報が用いられるため、次に、予測部３６の処理について説明する。

【0037】

予測部３６は、追跡部３４を介して、撮像画像Ｉｍおよび物標領域Ｒｔを取得する。また、予測部３６は、この取得した物標領域Ｒｔと、カルマンフィルタ等とを用いることにより、次フレーム目の撮像画像Ｉｍに映る物標Ｔの予測位置を算出する。さらに、予測部３６は、この算出した予測位置から、予測領域Ｒｐを算出する。例えば、予測部３６は、図７に示すように、ｔフレーム目の撮像画像Ｉｍ（ｔ）に映る物標Ｔから、ｔ＋１フレーム目の撮像画像Ｉｍ（ｔ）に映る物標Ｔについての予測領域Ｒｐ（ｔ＋１、ｔ）を算出する。なお、予測領域Ｒｐは、撮像画像Ｉｍ内であって撮像画像Ｉｍに映る物標Ｔの予測位置を含む領域である。また、予測領域Ｒｐは、物標領域Ｒｔと対応する形状とされている。このため、ここでは、予測領域Ｒｐの形状は、四角形状とされている。さらに、予測領域Ｒｐは、カルマンフィルタが用いられて算出されるところ、この算出方法に限定されない。例えば、予測領域Ｒｐは、ｔ－１フレーム目の撮像画像Ｉｍ（ｔ－１）に映る物標Ｔと、ｔフレーム目の撮像画像Ｉｍ（ｔ）に映る物標Ｔとから、物標Ｔの速度が算出される。これにより、この算出された物標Ｔの速度と、ｔフレーム目の撮像画像Ｉｍ（ｔ）に映る物標Ｔの位置とから、予測領域Ｒｐ（ｔ＋１、ｔ）が算出されてもよい。

【0038】

また、図３に戻って、予測部３６は、この算出した予測領域Ｒｐを、追跡部３４および後述のＨＣＵ５０に出力する。

【0039】

そして、追跡部３４は、画像処理部３２によって算出された物標領域Ｒｔと、予測部３６によって算出された予測領域Ｒｐとに基づいて、撮像画像Ｉｍに映る物標Ｔの追跡を行う。

【0040】

例えば、追跡部３４は、図８に示すように、領域間距離Ｄｔｐを算出する。領域間距離Ｄｔｐ（ｔ＋１）は、ｔ＋１フレーム目の撮像画像Ｉｍ（ｔ＋１）における物標領域Ｒｔ（ｔ＋１）からｔフレーム目の予測領域Ｒｐ（ｔ＋１、ｔ）までの互いに対応する位置間の距離である。また、追跡部３４は、ｔ＋１フレーム目の撮像画像Ｉｍ（ｔ＋１）における物標領域Ｒｔ（ｔ＋１）内の平均輝度およびｔフレーム目の予測領域Ｒｐ（ｔ＋１、ｔ）内の平均輝度を算出する。さらに、追跡部３４は、これらの平均輝度差の絶対値｜ΔＬ｜を算出する。

【0041】

そして、領域間距離Ｄｔｐ（ｔ＋１）が領域間距離閾値Ｄｔｐ＿ｔｈ以下、かつ、平均輝度差の絶対値｜ΔＬ｜が輝度差閾値ΔＬ＿ｔｈ以下であるとする。このとき、追跡部３４は、ｔ＋１フレーム目の撮像画像Ｉｍ（ｔ＋１）に映る物標Ｔと、ｔフレーム目の撮像画像Ｉｍ（ｔ）に映る物標Ｔとが一致すると判定する。また、このとき、追跡部３４は、撮像画像Ｉｍに映る物標Ｔを追跡中であると判定する。これにより、追跡部３４は、撮像画像Ｉｍに映る物標Ｔの追跡状態Ｓｔを第２中間情報の１つとして算出する。さらに、このとき、追跡部３４は、その物標Ｔに対してこれまでに追跡中であった回数に１を加算することにより、物標領域Ｒｔ内の物標Ｔと予測領域Ｒｐ内の物標Ｔとが一致する回数に相当する累積追跡回数Ｎｔ＿ｓｕｍを第２中間情報の１つとして算出する。なお、領域間距離閾値Ｄｔｐ＿ｔｈおよび輝度差閾値ΔＬ＿ｔｈは、撮像画像Ｉｍに映る物標Ｔを追跡中であると判定されるように、実験やシミュレーション等によって設定される。

【0042】

また、領域間距離Ｄｔｐ（ｔ＋１）が領域間距離閾値Ｄｔｐ＿ｔｈよりも大きいとき、追跡部３４は、ｔ＋１フレーム目の撮像画像Ｉｍ（ｔ＋１）に映る物標Ｔと、ｔフレーム目の撮像画像Ｉｍ（ｔ）に映る物標Ｔとが不一致であると判定する。このとき、追跡部３４は、撮像画像Ｉｍに映る物標Ｔがゴースト状態、すなわち、追跡されていない状態であると判定する。さらに、平均輝度差の絶対値｜ΔＬ｜が輝度差閾値ΔＬ＿ｔｈよりも大きいとき、追跡部３４は、ｔ＋１フレーム目の撮像画像Ｉｍ（ｔ＋１）に映る物標Ｔと、ｔフレーム目の撮像画像Ｉｍ（ｔ）に映る物標Ｔとが不一致であると判定する。このとき、追跡部３４は、撮像画像Ｉｍに映る物標Ｔがゴースト状態であると判定する。これらにより、追跡部３４は、撮像画像Ｉｍに映る物標Ｔの追跡状態Ｓｔを第２中間情報の１つとして算出する。

【0043】

また、図３に戻って、追跡部３４は、これらの追跡状態Ｓｔおよび累積追跡回数Ｎｔ＿ｓｕｍを後述のＨＣＵ５０に算出する。さらに、追跡部３４は、撮像画像Ｉｍおよび物標領域Ｒｔとともに、追跡状態Ｓｔを予測部３６に出力する。

【0044】

以上のように、認識部３０は、処理を行う。次に、ＨＣＵ５０のプログラム実行による処理の詳細について、図４～図１５を参照して説明する。

【0045】

まず、図５に示すように、推定部５２は、撮像画像Ｉｍ、物標領域Ｒｔ、予測領域Ｒｐ、認識距離Ｄｒ、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮ、追跡状態Ｓｔおよび累積追跡回数Ｎｔ＿ｓｕｍを認識部３０から取得する。

【0046】

また、推定部５２は、取得した物標領域Ｒｔと予測領域Ｒｐから、最大長さＤｍａｘおよび重複長さＤｄを算出する。なお、最大長さＤｍａｘは、一方向における物標領域Ｒｔの端から予測領域Ｒｐの端までの最大の長さである。さらに、重複長さＤｄは、その一方向における物標領域Ｒｔと予測領域Ｒｐとが重複する部分の長さである。

【0047】

例えば、推定部５２は、図９に示すように、ｔ＋１フレーム目の撮像画像Ｉｍ（ｔ＋１）の物標領域Ｒｔ（ｔ＋１）と、ｔフレーム目の予測領域Ｒｐ（ｔ＋１、ｔ）とから、一方向を撮像画像Ｉｍの縦方向とした最大長さＤｍａｘを算出する。また、推定部５２は、一方向を撮像画像Ｉｍの縦方向とした重複長さＤｄを算出する。なお、ここでは、一方向は、撮像画像Ｉｍの縦方向とされているところ、これに限定されない。例えば、一方向は、撮像画像Ｉｍの横方向であってもよい。

【0048】

また、推定部５２は、これらの算出した重複長さＤｄを最大長さＤｍａｘで除算することにより、オーバーラップ率Ｏｖを第３中間情報として算出する。さらに、図５に戻って、推定部５２は、この算出したオーバーラップ率Ｏｖを、認識距離Ｄｒ、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮ、追跡状態Ｓｔおよび累積追跡回数Ｎｔ＿ｓｕｍとともに、後述の信頼度算出部５４に出力する。また、推定部５２は、撮像画像Ｉｍ、物標領域Ｒｔおよび予測領域Ｒｐを後述の位置補正部６０に出力する。

【0049】

続いて、信頼度算出部５４は、オーバーラップ率Ｏｖ、認識距離Ｄｒ、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮ、追跡状態Ｓｔおよび累積追跡回数Ｎｔ＿ｓｕｍを推定部５２から取得する。また、信頼度算出部５４は、これらの取得したオーバーラップ率Ｏｖ、認識距離Ｄｒ、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮ、追跡状態Ｓｔおよび累積追跡回数Ｎｔ＿ｓｕｍのそれぞれに対して信頼度を算出する。これにより、信頼度算出部５４は、予測領域Ｒｐの信頼度を評価する。

【0050】

具体的には、信頼度算出部５４は、取得したオーバーラップ率Ｏｖと、マップとを用いることによって、第１信頼度Ｐ１を算出する。

【0051】

ここで、オーバーラップ率Ｏｖが比較的小さいとき、物標領域Ｒｔと予測領域Ｒｐとの重複部分の大きさが小さいことから、物標領域Ｒｔと予測領域Ｒｐとのずれが大きいため、予測領域Ｒｐの尤度が低い。このため、このとき、予測領域Ｒｐの信頼度は、低い。また、オーバーラップ率Ｏｖが比較的大きいとき、物標領域Ｒｔと予測領域Ｒｐとの重複部分の大きさが大きいことから、物標領域Ｒｔと予測領域Ｒｐとのずれが小さいため、予測領域Ｒｐの尤度が高い。このため、このとき、予測領域Ｒｐの信頼度は、高い。したがって、第１信頼度Ｐ１を算出するためのマップでは、例えば、図１０に示すように、オーバーラップ率Ｏｖが比較的小さいとき、第１信頼度Ｐ１は、比較的低い値で一定値とされている。また、オーバーラップ率Ｏｖが比較的小さい値から大きくなることに伴って、第１信頼度Ｐ１は、高くなっている。さらに、オーバーラップ率Ｏｖが比較的大きいとき、第１信頼度Ｐ１は、比較的高い値で一定値とされている。

【0052】

また、信頼度算出部５４は、取得した認識距離Ｄｒと、マップとを用いることによって、第２信頼度Ｐ２を算出する。

【0053】

ここで、認識距離Ｄｒが比較的短いとき、撮像画像Ｉｍに映る物標Ｔの解像度が高くなることから、その物標Ｔの位置を予測しやすいため、予測領域Ｒｐの尤度が高い。このため、このとき、予測領域Ｒｐの信頼度は、高い。また、認識距離Ｄｒが比較的長いとき、撮像画像Ｉｍに映る物標Ｔの解像度が低くなることから、その物標Ｔの位置を予測しにくいため、予測領域Ｒｐの尤度が低くなる。このため、このとき、予測領域Ｒｐの信頼度は、低い。したがって、第２信頼度Ｐ２を算出するためのマップでは、例えば、図１１に示すように、認識距離Ｄｒが比較的小さいとき、第２信頼度Ｐ２は、比較的高い値で一定値とされている。また、認識距離Ｄｒが比較的短いときから大きくなることに伴って、第２信頼度Ｐ２は、低くなっている。さらに、認識距離Ｄｒが比較的長いとき、第２信頼度Ｐ２は、比較的低い値で一定値とされている。

【0054】

また、信頼度算出部５４は、取得したＤＮＮ認識スコア値Ｓｃ＿ＤＮＮと、マップとを用いることによって、第３信頼度Ｐ３を算出する。

【0055】

ここで、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが比較的小さいとき、撮像画像Ｉｍに映る物標Ｔの種類の正確度が低いことから、予測領域Ｒｐの尤度が低い。このため、このとき、予測領域Ｒｐの信頼度は、低い。また、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが比較的大きいとき、撮像画像Ｉｍに映る物標Ｔの種類の正確度が高いことから、予測領域Ｒｐの尤度が高い。このため、このとき、予測領域Ｒｐの信頼度は、高い。したがって、第３信頼度Ｐ３を算出するためのマップでは、例えば、図１２に示すように、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが比較的小さいとき、第３信頼度Ｐ３は、比較的低い値で一定値とされている。また、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが比較的小さい値から大きくなることに伴って、第３信頼度Ｐ３は、高くなっている。さらに、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが比較的大きいとき、第３信頼度Ｐ３は、比較的高い値で一定値とされている。

【0056】

また、信頼度算出部５４は、取得した追跡状態Ｓｔと、マップとを用いることによって、第４信頼度Ｐ４を算出する。

【0057】

ここで、追跡状態Ｓｔがゴースト状態であるとき、すなわち、物標Ｔが追跡されていないとき、その物標Ｔの位置を予測しにくいことから、予測領域Ｒｐの尤度が低い。このため、このとき、予測領域Ｒｐの信頼度は、低い。また、追跡状態Ｓｔが追跡中であるとき、その物標Ｔの位置を予測しやすいことから、予測領域Ｒｐの尤度が高い。このため、このとき、予測領域Ｒｐの信頼度は、高い。したがって、第４信頼度Ｐ４を算出するためのマップでは、例えば、図１３に示すように、追跡状態Ｓｔがゴースト状態であるとき、第４信頼度Ｐ４は、比較的低い値とされている。また、追跡状態Ｓｔが追跡中であるとき、第４信頼度Ｐ４は、追跡状態Ｓｔがゴースト状態であるときと比較して高い値とされている。

【0058】

さらに、信頼度算出部５４は、取得した累積追跡回数Ｎｔ＿ｓｕｍと、マップとを用いることによって、第５信頼度Ｐ５を算出する。

【0059】

ここで、累積追跡回数Ｎｔ＿ｓｕｍが比較的少ないとき、追跡部３４によって追跡されている物標Ｔが同じものであることの正確度が低いことから、予測領域Ｒｐの尤度が低い。このため、このとき、予測領域Ｒｐの信頼度は、低い。また、累積追跡回数Ｎｔ＿ｓｕｍが比較的多いとき、追跡部３４によって追跡されている物標Ｔが同じものであることの正確度が高いことから、予測領域Ｒｐの尤度が高い。このため、このとき、予測領域Ｒｐの信頼度は、高い。したがって、第５信頼度Ｐ５を算出するためのマップでは、例えば、図１４に示すように、累積追跡回数Ｎｔ＿ｓｕｍが比較的少ないとき、第５信頼度Ｐ５は、比較的低い値とされている。また、累積追跡回数Ｎｔ＿ｓｕｍが比較的少ない値から多くなると、第５信頼度Ｐ５が急激に高くなり、その後、累積追跡回数Ｎｔ＿ｓｕｍが多くなることに伴って、第５信頼度Ｐ５が高くなっている。さらに、累積追跡回数Ｎｔ＿ｓｕｍが比較的多いとき、第５信頼度Ｐ５は、比較的高い値で一定値とされている。

【0060】

そして、図５に戻って、信頼度算出部５４は、これらの算出した第１信頼度Ｐ１、第２信頼度Ｐ２、第３信頼度Ｐ３、第４信頼度Ｐ４および第５信頼度Ｐ５を、後述の統合部５６に出力する。

【0061】

続いて、統合部５６は、第１信頼度Ｐ１、第２信頼度Ｐ２、第３信頼度Ｐ３、第４信頼度Ｐ４および第５信頼度Ｐ５を信頼度算出部５４から取得する。また、統合部５６は、これらの取得した第１信頼度Ｐ１、第２信頼度Ｐ２、第３信頼度Ｐ３、第４信頼度Ｐ４および第５信頼度Ｐ５と、ヘイズ推定とを用いることにより、これらの信頼度を統合する。これにより、統合部５６は、統合信頼度Ｐｉを算出する。さらに、予測領域Ｒｐの信頼度が総合的に評価される。

【0062】

例えば、統合部５６は、これらの取得した第１信頼度Ｐ１、第２信頼度Ｐ２、第３信頼度Ｐ３、第４信頼度Ｐ４および第５信頼度Ｐ５を下記関係式（１）に代入する。これにより、統合部５６は、統合信頼度Ｐｉを算出する。この算出された統合信頼度Ｐｉが高いとき、予測領域Ｒｐの信頼度が高いと評価される。また、統合部５６は、この算出した統合信頼度Ｐｉを後述の表示輝度算出部５８および位置補正部６０に出力する。

【0063】

【数1】

【0064】

続いて、表示輝度算出部５８は、統合信頼度Ｐｉを取得する。さらに、表示輝度算出部５８は、例えば、この取得した統合信頼度Ｐｉと基準輝度とを乗算することにより、表示輝度Ｌｄを算出する。これにより、統合信頼度Ｐｉが高い場合には、予測領域Ｒｐの信頼度が高いことから、物標Ｔの認識位置の信頼度が高いため、表示輝度Ｌｄが大きくされる。このため、運転者による表示画像Ｄｉの視認性が向上する。また、表示輝度算出部５８は、この算出した表示輝度Ｌｄを後述のフィルタ処理部６２に出力する。なお、基準輝度は、統合信頼度Ｐｉにより表示輝度Ｌｄが変化するように、実験やシミュレーション等によって設定される。

【0065】

続いて、位置補正部６０は、統合信頼度Ｐｉを統合部５６から取得する。また、位置補正部６０は、撮像画像Ｉｍと、物標領域Ｒｔと、予測領域Ｒｐとを推定部５２から取得する。さらに、位置補正部６０は、これらの取得した統合信頼度Ｐｉと、撮像画像Ｉｍと、物標領域Ｒｔと、予測領域Ｒｐとを用いて、補正領域Ｒｒを、補正した表示画像Ｄｉの位置として算出する。

【0066】

例えば、位置補正部６０は、補正領域Ｒｒが、物標領域Ｒｔおよび予測領域Ｒｐの互いに対応する点を結ぶ線分をＰｉ：（１－Ｐｉ）に内分する領域となるように、補正領域Ｒｒを算出する。なお、ここでは、統合信頼度Ｐｉは、０以上、１以下の範囲とされている。

【0067】

ここで、図１５に示すように、ｔ＋１フレーム目の物標領域Ｒｔの１つの頂点の位置をＶｔとする。ＶｔのＸ座標をｘｔとする。ＶｔのＹ座標をｙｔとする。Ｖｔと対応する予測領域Ｒｐの頂点をＶｐとする。ＶｐのＸ座標をｘｐとする。ＶｐのＹ座標をｙｐとする。Ｖｔと対応する補正領域Ｒｒの頂点をＶｒとする。ＶｒのＸ座標をｘｒとする。ＶｒのＹ座標をｙｒとする。なお、Ｘ座標は、撮像画像Ｉｍの横方向の座標である。また、Ｙ座標は、撮像画像Ｉｍの縦方向の座標である。

【0068】

このとき、ｘｒは、統合信頼度Ｐｉと、ｘｔと、ｘｐとを用いて下記関係式（２－１）のように表される。さらに、ｙｒは、統合信頼度Ｐｉと、ｙｔと、ｙｐとを用いて下記関係式（２－２）のように表される。

【0069】

ｘｒ＝ｘｔ×（１－Ｐｉ）＋ｘｐ×Ｐｉ ・・・（２－１）
ｙｒ＝ｙｔ×（１－Ｐｉ）＋ｙｐ×Ｐｉ ・・・（２－２）

【0070】

また、図５に戻って、位置補正部６０は、この算出した補正領域Ｒｒを後述のフィルタ処理部６２に出力する。

【0071】

続いて、フィルタ処理部６２は、表示輝度Ｌｄを表示輝度算出部５８から取得する。さらに、フィルタ処理部６２は、補正領域Ｒｒを位置補正部６０から取得する。また、フィルタ処理部６２は、これらの取得した表示輝度Ｌｄおよび補正領域Ｒｒに対して、移動平均等のローパスフィルタ処理を行う。これにより、表示輝度Ｌｄおよび補正領域Ｒｒに含まれるノイズが除去される。さらに、フィルタ処理部６２は、これらのノイズを除去した表示輝度Ｌｄおよび補正領域Ｒｒの下端にて表示画像Ｄｉを表示させるための画像データを生成する。また、フィルタ処理部６２は、この生成した画像データをＨＵＤ１５に出力する。したがって、図４に示すような表示画像Ｄｉが表示される。よって、運転者は、その表示画像Ｄｉを視認できる。

【0072】

以上のように、ＨＣＵ５０は、処理を行う。次に、本実施形態の表示制御装置２０では、物標Ｔに対する重畳表示の位置ずれが抑制されることについて説明する。

【0073】

表示制御装置２０の認識部３０は、画像撮像装置１３によって撮像された撮像画像Ｉｍを取得する取得部としての役割を果たす。また、表示制御装置２０のＨＣＵ５０は、物標領域Ｒｔと予測領域Ｒｐとが用いられて算出される補正領域Ｒｒに基づいて、物標Ｔに対して表示画像Ｄｉを重畳表示させる表示制御部としての役割を果たす。

【0074】

これにより、物標Ｔの認識位置がずれても、物標領域Ｒｔと予測領域Ｒｐとによって算出補正された補正領域Ｒｒが用いられて、物標Ｔに対して表示画像Ｄｉが重畳表示される。このため、物標Ｔの認識位置のずれが抑制された状態で、物標Ｔに対して表示画像Ｄｉが重畳表示される。したがって、物標Ｔに対する重畳表示の位置ずれが抑制される。

【0075】

また、本実施形態の表示制御装置２０では、以下に記載する効果も奏する。

【0076】

［１－１］ここで、上記したように、重複長さＤｄの長さが長くなることに伴って、オーバーラップ率Ｏｖが大きくなる。また、重複長さＤｄの長さが長くなることに伴って、予測領域Ｒｐの信頼度は、高くなるとともに、第１信頼度Ｐ１および統合信頼度Ｐｉが高くなる。

【0077】

このため、ＨＣＵ５０の位置補正部６０は、重複長さＤｄの長さが長くなることに伴って、補正領域Ｒｒを予測領域Ｒｐに近づけさせるように変更する。

【0078】

［１－２］また、ここで、上記したように、認識距離Ｄｒが短くなることに伴って、撮像画像Ｉｍに映る物標Ｔの解像度が高くなることから、予測領域Ｒｐの信頼度は、高くなるとともに、第２信頼度Ｐ２および統合信頼度Ｐｉが高くなる。

【0079】

このため、位置補正部６０は、認識距離Ｄｒが短くなることに伴って、補正領域Ｒｒを予測領域Ｒｐに近づけさせるように変更する。

【0080】

［１－３］また、ここで、上記したように、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが大きくなることに伴って、撮像画像Ｉｍに映る物標Ｔの種類の正確度が高くなることから、予測領域Ｒｐの尤度が高くなる。これにより、予測領域Ｒｐの信頼度は、高くなるとともに、第３信頼度Ｐ３および統合信頼度Ｐｉが高くなる。

【0081】

このため、位置補正部６０は、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが大きくなることに伴って、補正領域Ｒｒを予測領域Ｒｐに近づけさせるように変更する。

【0082】

［１－４］また、ここで、上記したように、累積追跡回数Ｎｔ＿ｓｕｍが多くなることに伴って、追跡部３４によって追跡されている物標Ｔが同じものであることの正確度が高いことから、予測領域Ｒｐの尤度が高くなる。これにより、予測領域Ｒｐの信頼度は、高くなるとともに、第５信頼度Ｐ５および統合信頼度Ｐｉが高くなる。

【0083】

このため、位置補正部６０は、累積追跡回数Ｎｔ＿ｓｕｍが多くなることに伴って、補正領域Ｒｒを予測領域Ｒｐに近づけさせるように変更する。

【0084】

これらにより、補正領域Ｒｒが信頼度の高い予測領域Ｒｐに近づく。このため、補正領域Ｒｒの信頼度が高くなることから、物標Ｔの認識位置のずれが抑制された状態で、物標Ｔに対して表示画像Ｄｉが重畳表示されやすくなる。よって、物標Ｔに対する重畳表示の位置ずれが抑制される。

【0085】

［１－５］さらに、ＨＣＵ５０の表示輝度算出部５８は、重複長さＤｄの長さが長くなることに伴って、表示輝度Ｌｄを大きくする。

【0086】

［１－６］また、表示輝度算出部５８は、認識距離Ｄｒが短くなることに伴って、表示輝度Ｌｄを大きくする。

【0087】

［１－７］さらに、表示輝度算出部５８は、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが大きくなることに伴って、表示輝度Ｌｄを大きくする。

【0088】

［１－８］また、表示輝度算出部５８は、累積追跡回数Ｎｔ＿ｓｕｍが多くなることに伴って、表示輝度Ｌｄを大きくする。

【0089】

これらにより、物標Ｔに対する重畳表示の位置ずれが抑制された表示画像Ｄｉの視認性が向上する。

【0090】

（第１実施形態の変形例）
第１実施形態では、表示輝度算出部５８は、統合部５６によって算出された統合信頼度Ｐｉに基づいて、表示輝度Ｌｄを算出する。これに対して、表示輝度算出部５８は、撮像画像Ｉｍに映る物標Ｔの状況および状態に基づいて、表示輝度Ｌｄを算出してもよい。例えば、物標Ｔが歩行者であるとする。この場合、その歩行者が横断歩道、信号、停止線および交差点付近にいるとき、表示輝度算出部５８は、表示輝度Ｌｄを大きくしてもよい。また、このとき、表示輝度算出部５８は、表示輝度Ｌｄを統合信頼度Ｐｉと基準輝度とを乗算した値とする時間および表示輝度Ｌｄをゼロとする時間を算出することにより、表示画像Ｄｉを点滅表示させる表示輝度Ｌｄを算出してもよい。また、例えば、物標Ｔが交通標識であるとする。この場合、交通標識が一時停止、進入禁止および速度表示等の規制表示をするものであるとき、表示輝度算出部５８は、表示輝度Ｌｄを大きくしてもよい。これらにより、物標Ｔに対する重畳表示の位置ずれが抑制された表示画像Ｄｉの視認性が向上する。

【0091】

（第２実施形態）
第２実施形態では、表示システム１０は、加速度センサ７０をさらに備える。また、推定部５２の処理が第１実施形態と異なる。これら以外は、第１実施形態と同様である。

【0092】

加速度センサ７０は、図１６に示すように、重力方向加速度Ａｇに応じた信号を、ＨＣＵ５０に出力する。なお、重力方向加速度Ａｇは、重力方向における車両１の加速度である。

【0093】

ここで、車両１が走行する道路の凹凸や段差等により、車両１がピッチングする。このとき、物標領域Ｒｔの変動が大きくなるとともに、予測領域Ｒｐの変動が大きくなる。これにより、図１７に示すように、物標領域Ｒｔと予測領域Ｒｐとが重なりにくくなる。したがって、このとき、オーバーラップ率Ｏｖが減少することから、第１信頼度Ｐ１が減少する。よって、このとき、予測領域Ｒｐの信頼度が減少する。

【0094】

このため、推定部５２は、車両１のピッチングに関する量が大きいとき、オーバーラップ率Ｏｖを算出しない。具体的には、推定部５２は、重力方向加速度Ａｇを加速度センサ７０から取得する。また、推定部５２は、この取得した重力方向加速度Ａｇが加速度閾値Ａｇ＿ｔｈ以上であるとき、車両１のピッチングに関する量が大きいと判定する。このとき、推定部５２は、オーバーラップ率Ｏｖを算出しない。なお、加速度閾値Ａｇ＿ｔｈは、車両１のピッチングに関する量が大きいと判定されるように、実験やシミュレーション等によって設定される。

【0095】

また、オーバーラップ率Ｏｖが算出されないため、信頼度算出部５４では、第１信頼度Ｐ１が算出されない。さらに、統合部５６では、第１信頼度Ｐ１が用いられないで、統合信頼度Ｐｉが算出される。このため、位置補正部６０では、オーバーラップ率Ｏｖが用いられないで、補正領域Ｒｒが算出される。したがって、車両１のピッチングに関する量が大きい場合、重複長さＤｄの長さが長くなることに伴っても、補正領域Ｒｒが予測領域Ｒｐに近づかないで、補正領域Ｒｒの位置は、維持される。

【0096】

以上のように、第２実施形態では、表示システム１０が加速度センサ７０をさらに備え、推定部５２は、重力方向加速度Ａｇを用いて処理を行う。この第２実施形態においても、第１実施形態と同様の効果を奏する。また、第２実施形態では、以下に記載する効果も奏する。

【0097】

［２］位置補正部６０は、重力方向加速度Ａｇが加速度閾値Ａｇ＿ｔｈ以上であるとき、重複長さＤｄの長さが長くなることに伴っても、補正領域Ｒｒの位置を維持させる。

【0098】

これにより、車両１のピッチングに関する量が大きいとき、すなわち、予測領域Ｒｐの信頼度が低くなるときに、信頼度の低い予測領域Ｒｐによって補正領域Ｒｒが算出されない。このため、信頼度の低い予測領域Ｒｐによって生じる物標Ｔに対する重畳表示の位置ずれが抑制される。

【0099】

（第２実施形態の変形例１）
第２実施形態では、推定部５２は、重力方向加速度Ａｇを用いて、車両１のピッチングに関する量が大きいか否かを判定する。これに対して、推定部５２は、車両１のピッチングに関する量が大きいか否かを判定することに際し、重力方向加速度Ａｇを用いることに限定されない。例えば、推定部５２は、物標領域Ｒｔの位置の時間変化を用いて、車両１のピッチングに関する量が大きいか否かを判定してもよい。

【0100】

例えば、図１８に示すように、推定部５２は、距離変化量ΔＤｔを算出する。距離変化量ΔＤｔは、ｔフレーム目の物標領域Ｒｔ（ｔ）の位置からｔ＋１フレーム目の物標領域Ｒｔ（ｔ＋１）の位置までの互いに対応する位置間の距離であって、撮像画像Ｉｍの縦方向の距離である。これにより、推定部５２は、物標領域Ｒｔの位置の時間変化を算出する。そして、推定部５２は、この算出した距離変化量ΔＤｔが変化量閾値ΔＤｔ＿ｔｈ以上であるとき、車両１のピッチングに関する量が大きいと判定する。なお、変化量閾値ΔＤｔ＿ｔｈは、車両１のピッチングに関する量が大きいと判定されるように、実験やシミュレーション等によって算出される。

【0101】

また、ここで、撮像画像Ｉｍに映る物標Ｔが自動四輪車等である場合、撮像画像Ｉｍに映る自動四輪車が急激な横移動を伴う走行をすると、物標領域Ｒｔの変動が大きくなるとともに、予測領域Ｒｐの変動が大きくなる。これにより、物標領域Ｒｔと予測領域Ｒｐとが重なりにくくなる。したがって、このとき、オーバーラップ率Ｏｖが減少することから、第１信頼度Ｐ１が減少する。よって、このとき、予測領域Ｒｐの信頼度が減少する。

【0102】

さらに、ここで、撮像画像Ｉｍに映る自動四輪車が急激な横移動を伴う走行をすると、撮像画像Ｉｍに映る自動四輪車の位置が撮像画像Ｉｍの縦方向に移動するため、距離変化量ΔＤｔが大きくなる。

【0103】

このため、例えば、推定部５２は、撮像画像Ｉｍに映る物標Ｔが自動四輪車等である場合、距離変化量ΔＤｔが閾値以上であるとき、撮像画像Ｉｍに映る自動四輪車が急激な横移動をしていると判定する。また、このとき、位置補正部６０は、重複長さＤｄの長さが長くなることに伴っても、補正領域Ｒｒの位置を維持させる。これにより、上記［２］に記載した効果と同様の効果を奏する。なお、上記閾値は、撮像画像Ｉｍに映る自動四輪車が急激な横移動をしていると判定されるように、実験やシミュレーション等によって設定される。

【0104】

（第２実施形態の変形例２）
ここで、物標領域Ｒｔの信頼度が予測領域Ｒｐの信頼度と比較して高くなる場合がある。例えば、物標領域Ｒｔの位置の時間変化のバラつきが小さいとき、物標領域Ｒｔの正確度が高いことから、物標領域Ｒｔの信頼度は、高い。

【0105】

このため、推定部５２は、物標領域Ｒｔの位置の時間変化のバラつきが小さいとき、オーバーラップ率Ｏｖを算出しない。具体的には、推定部５２は、複数フレームの物標領域Ｒｔの分散、標準偏差等を算出することにより、物標領域Ｒｔの位置の時間変化のバラつきに関する値を算出する。また、推定部５２は、この算出したバラつきに関する値が閾値以下であるとき、物標領域Ｒｔの位置の時間変化のバラつきが小さいと判定する。このとき、推定部５２は、オーバーラップ率Ｏｖを算出しない。また、このとき、位置補正部６０は、補正領域Ｒｒを、信頼度の高い物標領域Ｒｔに近づけさせるように変更する。これにより、補正領域Ｒｒの信頼度が高くなる。このため、物標Ｔに対する重畳表示の位置ずれが抑制される。なお、バラつきに関する閾値は、バラつきに関する値が小さいと判定されるように、実験やシミュレーション等によって設定される。

【0106】

また、例えば、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが高いとき、撮像画像Ｉｍに映る物標Ｔの種類の正確度が高いことから、物標領域Ｒｔの信頼度は、高い。

【0107】

このため、推定部５２は、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが高いとき、オーバーラップ率Ｏｖを算出しない。具体的には、推定部５２は、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮがＤＮＮ閾値Ｓｃ＿ｔｈ以上であるとき、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが高いと判定する。このとき、推定部５２は、オーバーラップ率Ｏｖを算出しない。また、このとき、位置補正部６０は、補正領域Ｒｒを、信頼度の高い物標領域Ｒｔに近づけさせるように変更する。これにより、補正領域Ｒｒの信頼度が高くなる。このため、物標Ｔに対する重畳表示の位置ずれが抑制される。なお、ＤＮＮ閾値Ｓｃ＿ｔｈは、ＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが高いと判定されるように、実験やシミュレーション等によって設定される。

【0108】

（第３実施形態）
第３実施形態では、表示システム１０が日射センサ７２および探査波送受信部７４をさらに備える。また、ＨＣＵ５０の処理が第１実施形態と異なる。これ以外は、第１実施形態と同様である。

【0109】

日射センサ７２は、図１９に示すように、車両１の外部からの日射量Ｍｓに応じた信号をＨＣＵ５０に出力する。

【0110】

探査波送受信部７４は、ミリ波、ソナーおよび赤外線等の探査波を車両１の前方の物標Ｔに送信する。さらに、探査波送受信部７４は、この物標Ｔで反射された探査波を受信する。そして、探査波送受信部７４は、この探査波から得られる情報に基づいて、車両１に対する物標Ｔの相対距離Ｄｃｔおよび車両１に対する物標Ｔの相対速度Ｖｃｔに応じた信号をＨＣＵ５０に出力する。

【0111】

ＨＣＵ５０は、図２０に示すように、推定部５２、信頼度算出部５４、統合部５６および表示輝度算出部５８を機能ブロックとして含まないで、情報取得部６４、位置補正部６０およびフィルタ処理部６２を機能ブロックとして含む。

【0112】

情報取得部６４は、画像撮像装置１３の露光量Ｍｅを画像撮像装置１３から取得する。また、情報取得部６４は、撮像画像Ｉｍ、物標領域Ｒｔおよび予測領域Ｒｐを認識部３０から取得する。さらに、情報取得部６４は、日射量Ｍｓを日射センサ７２から取得する。また、情報取得部６４は、車両１に対する物標Ｔの相対距離Ｄｃｔおよび車両１に対する物標Ｔの相対速度Ｖｃｔを探査波送受信部７４から取得する。さらに、情報取得部６４は、これらの取得した露光量Ｍｅ、撮像画像Ｉｍ、物標領域Ｒｔ、予測領域Ｒｐ、日射量Ｍｓ、車両１に対する物標Ｔの相対距離Ｄｃｔおよび車両１に対する物標Ｔの相対速度Ｖｃｔを位置補正部６０に出力する。

【0113】

位置補正部６０は、露光量Ｍｅ、撮像画像Ｉｍ、物標領域Ｒｔ、予測領域Ｒｐ、日射量Ｍｓ、車両１に対する物標Ｔの相対距離Ｄｃｔおよび車両１に対する物標Ｔの相対速度Ｖｃｔに基づいて、補正領域Ｒｒを算出する。また、位置補正部６０は、この算出した補正領域Ｒｒをフィルタ処理部６２に出力する。

【0114】

フィルタ処理部６２は、位置補正部６０によって算出された補正領域Ｒｒに対して、移動平均等のローパスフィルタ処理を行う。これにより、補正領域Ｒｒに含まれるノイズが除去される。また、フィルタ処理部６２は、このノイズを除去した補正領域Ｒｒにて表示画像Ｄｉを表示させるための画像データを生成する。さらに、フィルタ処理部６２は、この生成した画像データをＨＵＤ１５に出力する。このため、表示画像Ｄｉが表示されることで、運転者は、その表示画像Ｄｉを視認できる。

【0115】

以上のように、第３実施形態では、表示システム１０が日射センサ７２および探査波送受信部７４をさらに備えるとともに、ＨＣＵ５０が情報取得部６４、位置補正部６０およびフィルタ処理部６２を機能ブロックとして含む。次に、位置補正部６０の処理について説明する。

【0116】

［３－１］例えば、位置補正部６０は、物標領域Ｒｔおよび予測領域Ｒｐのうち撮像画像Ｉｍの縦方向のエッジ点を検出し、検出したエッジ点の数が多いほうの領域を、補正領域Ｒｒとする。これにより、補正領域Ｒｒが比較的信頼度の高い領域とされることから、補正領域Ｒｒの信頼度が高くなる。

【0117】

［３－２］また、位置補正部６０は、例えば、補正領域Ｒｒが、物標領域Ｒｔおよび予測領域Ｒｐの各対応する点を結ぶ線分をｍ：ｎに内分する領域となるように、補正領域Ｒｒを算出する。

【0118】

ここで、例えば、撮像画像Ｉｍに映る物標Ｔが自動四輪車等である場合に、車両１から物標Ｔまでの距離が短く、かつ、時間帯が夜であるときのような撮像画像Ｉｍに映る背景が暗いとき、自動四輪車のタイヤ等は、画像処理部３２によって画像認識されにくい。これにより、図２１に示すように、画像処理部３２によって画像認識される際、自動四輪車の模様等を自動四輪車のタイヤとして誤認識する場合がある。よって、このとき、物標領域Ｒｔの信頼度が低くなる。

【0119】

このため、位置補正部６０は、車両１から物標Ｔまでの距離が短く、かつ、撮像画像Ｉｍに映る背景が暗いとき、ｍを大きくする。これにより、補正領域Ｒｒは、物標領域Ｒｔよりも信頼度が高い予測領域Ｒｐに近づく。したがって、補正領域Ｒｒの信頼度が高くなる。

【0120】

具体的には、位置補正部６０は、車両１に対する物標Ｔの相対距離Ｄｃｔが相対距離閾値Ｄｃｔ＿ｔｈ以下、かつ、露光量Ｍｅが露光量閾値Ｍｅ＿ｔｈ以下であるとき、車両１から物標Ｔまでの距離が短く、かつ、撮像画像Ｉｍに映る背景が暗いと判定する。または、位置補正部６０は、車両１に対する物標Ｔの相対距離Ｄｃｔが相対距離閾値Ｄｃｔ＿ｔｈ以下、かつ、日射量Ｍｓが日射閾値Ｍｓ＿ｔｈ以下であるとき、車両１から物標Ｔまでの距離が短く、かつ、撮像画像Ｉｍに映る背景が暗いと判定する。このとき、位置補正部６０は、ｍを大きくする。なお、相対距離閾値Ｄｃｔ＿ｔｈ、露光量閾値Ｍｅ＿ｔｈおよび日射閾値Ｍｓ＿ｔｈは、車両１から物標Ｔまでの距離が短く、かつ、撮像画像Ｉｍに映る背景が暗いと判定されるように、実験やシミュレーション等によって設定される。また、車両１から物標Ｔまでの距離が短いか否かの判定において、探査波送受信部７４によって得られる車両１に対する物標Ｔの相対距離Ｄｃｔに代えて、画像処理部３２によって得られる認識距離Ｄｒが用いられてもよい。

【0121】

［３－３］また、ここで、例えば、車両１から物標Ｔまでの距離が短く、かつ、撮像画像Ｉｍに映る背景が暗い場合に、車両１に対する物標Ｔの相対速度Ｖｃｔが小さいと、物標Ｔの模様の解像度が高くなるため、画像認識による誤認識が生じやすい。

【0122】

したがって、車両１から物標Ｔまでの距離が短く、かつ、撮像画像Ｉｍに映る背景が暗く、かつ、車両１に対する物標Ｔの相対速度Ｖｃｔが速度閾値Ｖｃｔ＿ｔｈ以下であるとする。この場合、位置補正部６０は、車両１から物標Ｔまでの距離が短く、かつ、撮像画像Ｉｍに映る背景が暗く、かつ、車両１に対する物標Ｔの相対速度Ｖｃｔが小さいと判定する。

【0123】

このとき、位置補正部６０は、現時点までに取得した物標領域Ｒｔおよび予測領域Ｒｐの中で車両１に対する物標Ｔの相対距離Ｄｃｔが最も小さいときの物標領域Ｒｔおよび予測領域Ｒｐのどちらかを補正領域Ｒｒとする。これにより、補正領域Ｒｒの大きさが比較的大きくなることから、撮像画像Ｉｍに映る物標Ｔが補正領域Ｒｒ内に納まりやすくため、表示画像Ｄｉが物標Ｔに重なることが抑制される。このため、運転者の違和感が抑制される。なお、速度閾値Ｖｃｔ＿ｔｈは、車両１に対する物標Ｔの相対速度Ｖｃｔが小さいか否かが判定されるように、実験やシミュレーション等によって設定される。

【0124】

［３－４］また、このとき、位置補正部６０は、図２２に示すように、物標領域Ｒｔと予測領域Ｒｐとを合わせた領域のうち撮像画像Ｉｍの最も下側の端、最も左側の端および最も右側の端で形成される領域を、補正領域Ｒｒとしてもよい。これにより、上記と同様に、補正領域Ｒｒの大きさが比較的大きくなることから、撮像画像Ｉｍに映る物標Ｔが補正領域Ｒｒ内に納まりやすくなる。このため、表示画像Ｄｉが物標Ｔに重なることが抑制される。

【0125】

［３－５］さらに、このとき、位置補正部６０は、現時点までに取得した物標領域Ｒｔおよび予測領域Ｒｐの中でＤＮＮ認識スコア値Ｓｃ＿ＤＮＮが最も大きいときの物標領域Ｒｔおよび予測領域Ｒｐのどちらかを補正領域Ｒｒとしてもよい。これにより、補正領域Ｒｒの信頼度が高くなる。

【0126】

以上のように、第３実施形態では、位置補正部６０は、処理を行う。この第３実施形態においても、第１実施形態と同様の効果を奏する。

【0127】

（他の実施形態）
本開示は、上記実施形態に限定されるものではなく、上記実施形態に対して、適宜変更が可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

【0128】

本開示に記載の取得部、表示制御部等およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の取得部、表示制御部等およびその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の取得部、表示制御部等およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【0129】

上記各実施形態および上記各変形例は、適宜組み合わされてもよい。

【符号の説明】

【0130】

１ 車両
１０ 表示システム
１３ 画像撮像装置
１５ ＨＵＤ
２０ 表示制御装置
３０ 認識部
３２ 画像処理部
３４ 追跡部
３６ 予測部
５０ ＨＣＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】