特許 6015946 車両用撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6015946

(24)【登録日】2016年10月7日

(45)【発行日】2016年10月26日

(54)【発明の名称】車両用撮像装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20161013BHJP

   B60R 1/00 20060101ALI20161013BHJP

   G06T 1/00 20060101ALI20161013BHJP

   G08G 1/16 20060101ALI20161013BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   G06T1/00 330A

   G08G1/16 C

【請求項の数】7

【全頁数】13

(21)【出願番号】特願2013-71550(P2013-71550)

(22)【出願日】2013年3月29日

(65)【公開番号】特開2014-197727(P2014-197727A)

(43)【公開日】2014年10月16日

【審査請求日】2015年3月12日

(73)【特許権者】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】100059959

【弁理士】

【氏名又は名称】中村 稔

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100082005

【弁理士】

【氏名又は名称】熊倉 禎男

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100088694

【弁理士】

【氏名又は名称】弟子丸 健

(74)【代理人】

【識別番号】100170715

【弁理士】

【氏名又は名称】岡本 和道

(72)【発明者】

【氏名】岩本 太郎

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２００１−１０８７５８（ＪＰ，Ａ）

【文献】 特開２００９−２５３８５７（ＪＰ，Ａ）

【文献】 特開２００９−０７１７８９（ＪＰ，Ａ）

【文献】 特開２０１２−１１９７２６（ＪＰ，Ａ）

【文献】 特開２０１３−０３２０８２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００−１／４０

Ｇ０８Ｇ １／００−１／１６

(57)【特許請求の範囲】

【請求項1】

自車両の前方を撮像して赤外線画像を生成する赤外線撮像手段と、
前記赤外線画像から物標像を検出する物標検出手段と、
前記自車両の前方を撮像して可視画像を生成する可視光撮像手段と、
前記赤外線画像中の前記物標像が検出された領域に対応する前記可視画像中の対応領域の色彩を抽出する色彩抽出手段と、
抽出された前記色彩に基づいて前記赤外線画像中の前記物標像を着色した合成赤外線画像を生成する画像着色手段と、
前記合成赤外線画像を表示する表示手段と、
を備え、
前記色彩抽出手段は、前記赤外線画像中の前記物標像の見かけの大きさが所定の基準値以上である場合に、前記可視画像中の前記対応領域を複数の分割領域に分割して、前記分割領域ごとに色彩を抽出し、
前記画像着色手段は、前記分割領域ごとに抽出された前記色彩に基づいて、前記分割領域の各々に対応する前記物標の各部分をそれぞれ着色した前記合成赤外線画像を生成する
ことを特徴とする車両用撮像装置。

【請求項2】

自車両の前方を撮像して赤外線画像を生成する赤外線撮像手段と、
前記赤外線画像から物標像を検出する物標検出手段と、
前記自車両の前方を撮像して可視画像を生成する可視光撮像手段と、
前記赤外線画像中の前記物標像が検出された領域に対応する前記可視画像中の対応領域の色彩を抽出する色彩抽出手段と、
抽出された前記色彩に基づいて前記赤外線画像中の前記物標像を着色した合成赤外線画像を生成する画像着色手段と、
前記合成赤外線画像を表示する表示手段と、
を備え、
前記色彩抽出手段は、自車両から前記物標までの距離が所定の基準距離以下である場合に、前記可視画像中の前記物対応領域を複数の分割領域に分割し、前記分割領域ごとに色彩を抽出し、
前記画像着色手段は、前記分割領域ごとに抽出された前記色彩に基づいて、前記分割領域の各々に対応する前記物標の各部分をそれぞれ着色した前記合成赤外線画像を生成する
ことを特徴とする車両用撮像装置。

【請求項3】

自車両の前方を撮像して赤外線画像を生成する赤外線撮像手段と、
前記赤外線画像から物標像を検出する物標検出手段と、
前記自車両の前方を撮像して可視画像を生成する可視光撮像手段と、
前記赤外線画像中の前記物標像が検出された領域に対応する前記可視画像中の対応領域の色彩を抽出する色彩抽出手段と、
抽出された前記色彩に基づいて前記赤外線画像中の前記物標像を着色した合成赤外線画像を生成する画像着色手段と、
前記合成赤外線画像を表示する表示手段と、
を備え、
前記色彩抽出手段は、自車両の車速が所定の基準速度以上である場合に、前記可視画像中の前記物対応領域を複数の分割領域に分割し、前記分割領域ごとに色彩を抽出し、
前記画像着色手段は、前記分割領域ごとに抽出された前記色彩に基づいて、前記分割領域の各々に対応する前記物標の各部分をそれぞれ着色した前記合成赤外線画像を生成する
ことを特徴とする車両用撮像装置。

【請求項4】

前記可視光画像撮像手段は、連続して撮像された複数の可視画像を生成し、
前記色彩抽出手段は、前記複数の可視画像の各々の前記対応領域を含む限定領域を合成して前記対応領域の前記色彩を抽出する
ことを特徴とする請求項１〜３の何れか一項に記載の車両用撮像装置。

【請求項5】

前記画像着色手段は、前記自車両から前記物標までの距離が短いほど、前記物標像に着色する色彩の輝度及び彩度の少なくとも一方を連続的に又は段階的に高くした合成赤外線画像を生成する
ことを特徴とする請求項１〜４の何れか一項に記載の車両用撮像装置。

【請求項6】

前記画像着色手段は、前記自車両が前記物標に衝突するまでの予想時間が短いほど、前記物標像に着色する色彩の輝度及び彩度の少なくとも一方を連続的に又は段階的に高くした合成赤外線画像を生成する
ことを特徴とする請求項１〜５の何れか一項に記載の車両用撮像装置。

【請求項7】

前記画像着色手段は、前記自車両が前記物標に衝突するまでの予想時間が、衝突警報手段が作動する所定の基準時間まで短くなったときに、前記物標像に着色する色彩の輝度及び彩度の少なくとも一方をより高いものに切り替える
ことを特徴とする請求項１〜６の何れか一項に記載の車両用撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両用撮像装置に係り、より詳細には、赤外線画像に色彩情報を加えた合成赤外線画像を表示する車両用撮像装置に関する。

【背景技術】

【0002】

近年、夜間の車両の安全走行のために、赤外線画像を表示する様々な装置が提案されている。例えば、下記の特許文献１には、車両前方の赤外線画像を表示するメインディスプレイと、赤外線画像中に歩行者が検出された場合に注意換気表示を行うサブディスプレイとを備えた装置が記載されている。

【0003】

【特許文献1】特開２０１１−９１５４９号公報

【発明の開示】

【発明が解決しようとする課題】

【0004】

赤外線画像は、撮像される物体の表面温度に応じて、一般にモノトーンで表示されることが多い。周囲よりも高い体温を有する歩行者の像は、モノトーンの赤外線画像において、通常、白く浮かび上がって表示される。夜間走行中の運転者は、インスツルメントパネル等に設置されたディスプレイに表示された赤外線画像の歩行者像を見て、実際の視界中で歩行者を探して視認しようとする。

【0005】

ところが、実際の歩行者は、白色の衣服を着用しているとは限らず、周囲よりも黒っぽく見えることも少なくない。このため、赤外線画像中の歩行者像と、実際の視界中の歩行者とでは、見え方の印象が大きく異なることが多い。その結果、運転者にとって、赤外線画像中の歩行者像と、実際の視界中の歩行者とを対応付ける作業は、認知負荷が高いものとなっていた。

【0006】

これに対し、赤外線画像中の歩行者像と、実際の視界中の歩行者とを対応付ける作業の認知負荷を低減することができれば、運転者が実際の視界中で歩行者をより早く視認できることが期待できる。そして、運転者が歩行者を、より早く視認できれば、交通事故の発生を未然に防止できる可能性が高くなると考えられる。

【0007】

そこで、本発明は、運転者が赤外線画像中の歩行者像等の物標像に基づいて実際の視界中の歩行者等の物標を認識することを容易化できる車両用撮像装置を提供することを目的としている。

【課題を解決するための手段】

【0008】

上記の目的を達成するため、本発明の車両用撮像装置は、自車両の前方を撮像して赤外線画像を生成する赤外線撮像手段と、前記赤外線画像から物標像を検出する物標検出手段と、前記自車両の前方を撮像して可視画像を生成する可視光撮像手段と、前記赤外線画像中の前記物標像が検出された領域に対応する、前記可視画像中の対応領域の色彩を抽出する色彩抽出手段と、抽出された前記色彩に基づいて前記赤外線画像中の前記物標像を着色した合成赤外線画像を生成する画像着色手段と、前記合成赤外線画像を表示する表示手段とを備え、前記色彩抽出手段は、前記赤外線画像中の前記物標像の見かけの大きさが所定の基準値以上である場合に、前記可視画像中の前記対応領域を複数の分割領域に分割して、前記分割領域ごとに色彩を抽出し、前記画像着色手段は、前記分割領域ごとに抽出された前記色彩に基づいて、前記分割領域の各々に対応する前記物標の各部分をそれぞれ着色した前記合成赤外線画像を生成することを特徴としている。

【0009】

このように構成された本発明によれば、赤外線画像中の歩行者等の物標像に、可視画像から抽出された色彩に基づく着色が施された合成赤外線画像が表示される。これにより、合成赤外線画像中の物標が運転者に与える印象が、実際の視界中の物標の見え方に近づく。その結果、運転者による、合成赤外線画像中の物標像と、実際の視界中の物標とを対応付ける作業の認知負荷の低減を図ることができる。

【0010】

このように、本発明の車両用撮像装置によれば、運転者が赤外線画像中の物標像に基づいて実際の視界中の物標を認識することを容易化することができる。これにより、夜間走行中の運転者が実際の視界中で車両前方の物標をより早く視認できることが期待できる。そして、運転者が物標を早く視認することにより、交通事故の発生を未然に防止できる可能性を高めて、夜間の車両の安全走行に寄与することができる。

【0012】

このように、物標の見かけの大きさが所定の基準値以上である場合に、物標像を分割して各分割領域夫々着色すれば、合成赤外線画像中の着色物標が運転者に与える印象を、実際の視界中の物標の見え方により近づけることができる。その結果、運転者による、合成赤外線画像中の物標像と、実際の視界中の物標とを対応付ける作業の認知負荷のより一層の低減を図ることができる。これにより、車両近くの物標をより一層早く視認できることが期待できる。

【0013】

また、他の観点では、本発明の車両用撮像装置は、自車両の前方を撮像して赤外線画像を生成する赤外線撮像手段と、前記赤外線画像から物標像を検出する物標検出手段と、前記自車両の前方を撮像して可視画像を生成する可視光撮像手段と、前記赤外線画像中の前記物標像が検出された領域に対応する、前記可視画像中の対応領域の色彩を抽出する色彩抽出手段と、抽出された前記色彩に基づいて前記赤外線画像中の前記物標像を着色した合成赤外線画像を生成する画像着色手段と、前記合成赤外線画像を表示する表示手段とを備え、前記色彩抽出手段は、自車両から前記物標までの距離が所定の基準距離以下である場合に、前記可視画像中の前記物対応領域を複数の分割領域に分割し、前記分割領域ごとに色彩を抽出し、前記画像着色手段は、前記分割領域ごとに抽出された前記色彩に基づいて、前記分割領域の各々に対応する前記物標の各部分をそれぞれ着色した前記合成赤外線画像を生成する。

【0014】

このように、物標までの距離が所定の基準距離以下である場合に、物標像を分割して各分割領域夫々着色すれば、合成赤外線画像中の着色物標が運転者に与える印象を、実際の視界中の物標の見え方により近づけることができる。その結果、これにより、車両近くの物標をより一層早く視認できることが期待できる。

【0015】

また、他の観点では、本発明の車両用撮像装置は、自車両の前方を撮像して赤外線画像を生成する赤外線撮像手段と、前記赤外線画像から物標像を検出する物標検出手段と、前記自車両の前方を撮像して可視画像を生成する可視光撮像手段と、前記赤外線画像中の前記物標像が検出された領域に対応する、前記可視画像中の対応領域の色彩を抽出する色彩抽出手段と、抽出された前記色彩に基づいて前記赤外線画像中の前記物標像を着色した合成赤外線画像を生成する画像着色手段と、前記合成赤外線画像を表示する表示手段とを備え、前記色彩抽出手段は、自車両の車速が所定の基準速度以上である場合に、前記可視画像中の前記物対応領域を複数の分割領域に分割し、前記分割領域ごとに色彩を抽出し、前記画像着色手段は、前記分割領域ごとに抽出された前記色彩に基づいて、前記分割領域の各々に対応する前記物標の各部分をそれぞれ着色した前記合成赤外線画像を生成する。

【0016】

このように、車速が所定の基準速度以上である場合に、物標像を分割して各分割領域夫々着色すれば、合成赤外線画像中の着色物標が運転者に与える印象を、実際の視界中の物標の見え方により近づけることができる。その結果、これにより、車速が大きいときに物標をより一層早く視認できることが期待できる。

【0017】

また、本発明において好ましくは、前記可視光画像撮像手段は、連続して撮像された複数の可視画像を生成し、前記色彩抽出手段は、前記複数の可視画像の各々の前記対応領域を含む限定領域を合成して前記対応領域の前記色彩を抽出する。

【0018】

夜間は光量不足のため、１フレームの可視画像からだけでは色彩を抽出することが困難なことがある。そこで、複数フレームの可視画像を合成したコンポジット画像から色彩を抽出することが望ましい。しかし、複数フレーム可視画像全体のコンポジット画像を生成して色彩を抽出すると、画像処理の対象となる画像データ量が膨大となる。そこで、物標像の対応領域を含む限定領域だけを合成して色彩を抽出すれば、画像処理の対象となる画像データ量が低減される。これにより、画像処理装置の負荷を軽減することができる。

【0019】

また、本発明において好ましくは、前記画像着色手段は、前記自車両から前記物標までの距離が短いほど、前記物標像に着色する色彩の輝度及び彩度の少なくとも一方を連続的に又は段階的に高くした合成赤外線画像を生成する。

【0020】

従来の赤外線画像中の物標はモノトーンで表示されるため、自車両から物標までの距離が把握しづらいことがあった。そこで、物標までの距離に応じて、合成赤外線画像中の物標の色彩の輝度や彩度を変化させれば、運転者が物標までの距離感を把握しやすくなる。

【0021】

また、本発明において好ましくは、前記画像着色手段は、前記自車両が前記物標に衝突するまでの予想時間が短いほど、前記物標像に着色する色彩の輝度及び彩度の少なくとも一方を連続的に又は段階的に高くした合成赤外線画像を生成する。

【0022】

これにより、自車両と衝突する可能性の高い物標ほど、合成赤外線画像中の物標像を色彩によって目立たせて表示することができる。

【0023】

また、本発明において好ましくは、前記画像着色手段は、前記自車両が前記物標に衝突するまでの予想時間が、衝突警報手段が作動する所定の基準時間まで短くなったときに、前記物標像に着色する色彩を、輝度及び彩度の少なくとも一方のより高いものに切り替える。

【0024】

衝突警報手段の作動後に、合成赤外性画像中の物標の輝度等が切り替わると、運転者に、切り替わりが遅過ぎるという印象を与えてしまうおそれがある。一方、衝突警報手段の作動前に、合成赤外性画像中の物標の輝度等が切り替わると、運転者に、切り替わりが早過ぎるという印象を与えてしまうおそれがある。そこで、合成赤外線画像中の物標の輝度や彩度の切替を、衝突警報手段の作動とタイミングを合わせて行えば、運転者に衝突警報手段の作動と物標の輝度等の切替タイミングとのずれによる違和感を与えることを防止できるだけでなく、運転者に合成赤外線画像中の物標像を衝突警報の対象と認識させることができる。その結果、合成赤外線画像と衝突警報手段との相乗効果により安全性の向上を図ることができる。

【発明の効果】

【0025】

このように、本発明の車両用撮像装置によれば、運転者が赤外線画像中の歩行者等の物標像に基づいて実際の視界中の歩行者等の物標を容易に認識することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の実施形態の車両用撮像装置の構成を説明するブロック図である。

【図2】本発明の実施形態の車両用撮像装置の第１の動作例を説明するフローチャートである。

【図3】（Ａ）は、赤外線画像の模式図であり、（Ｂ）及び（Ｃ）は、合成赤外線画像の模式図である。

【図4】図２のフローチャートの色彩抽出ステップの処理内容を説明するフローチャートである。

【図5】可視画像のコンポジット合成による色彩抽出の説明図である。

【図6】（Ａ）は、物標像の見かけの大きさ（又は車速）と物標像の分割数との関係を示すグラフであり、（Ｂ）は、物標までの距離と物標像の分割数との関係を示すグラフである。

【図7】本発明の第２実施形態の車両用撮像装置の第２の動作例を説明するフローチャートである。

【図8】ＴＴＣと、合成着色画像中の物標像の輝度、彩度変換係数の関係を示すグラフである。

【発明を実施するための形態】

【0027】

以下、添付の図面を参照して、本発明の車両用撮像装置の実施形態を説明する。
まず、図１のブロック図を参照して、本実施形態の車両用撮像装置の構成について説明する。図１に示すように、車両用撮像装置は、自車両の前方を撮像して赤外線画像を生成する赤外線カメラ１０と、赤外線画像から物標像を検出する物標検出部１２と、自車両の前方を撮像して可視画像を生成する可視光カメラ１４と、赤外線画像中の物標像が検出された領域に対応する、可視画像中の対応領域の色彩を抽出する色彩抽出部１６と、抽出された色彩に基づいて赤外線画像中の物標像を着色した合成赤外線画像を生成する画像着色部１８と、合成赤外線画像を表示するディスプレイ２０とを備えている。

【0028】

赤外線カメラ１０は、車両全体に前方に向けて取り付けられている。また、可視光カメラ１４は、車室内からフロントガラス越しに車両前方に向けて取り付けられている。また、ディスプレイ２０は、インスツルメントパネル上に配置されている。

【0029】

さらに、図１に示す車両用撮像装置は、距離センサ２２と、車速センサ２４と、衝突時間予想部２６と、警報装置２８とを備えている。衝突時間予想部２６は、物標に衝突するまでの予想時間（ＴＴＣ：time to collision）を、例えば、距離センサ２２によって検出された自車両から物標までの距離を、車速センサ２４によって検出された自車両の車速で除して求める。距離センサ２２は、例えば、ミリ波レーダで構成するとよい。

【0030】

なお、ＴＴＣは、自車両から物標までの距離を、自車両と物標との相対速度で除して求めてもよい。相対速度は、例えば、ドップラーレーダで検出してもよいし、所定時間間隔で検出した距離データ間の差分をその時間間隔で除して求めてもよい。

【0031】

警報装置２８は、衝突時間予想部２６によって算出されたＴＴＣが所定の基準時間まで短くなったときに作動する。警報装置２８は、警報ブザーを鳴らしたり、ステアリングを振動させたりしてもよいし、音声で運転者に注意喚起を促してもよい。

【0032】

物標検出部１２、色彩抽出部１６、画像着色部１８及び衝突時間予想部２６の処理機能は、例えば、ＥＣＵ（electric control unit：電子制御装置）等のコンピュータにおいて所定のプログラムを実行することにより実現される。

【0033】

次に、図２のフローチャートを参照して、本実施形態の車両用撮像装置の第１の動作例を説明する。
まず、赤外線カメラ１０が自車両の前方を撮像して赤外線画像を生成する（Ｓ１）。
図３（Ａ）に、赤外線画像３０を模式的に示す。この赤外線画像３０には、車両前方の左側に、歩行者像３２が撮像されている。歩行者像３２は、歩行者の体温が周囲の温度よりも高いため、白く浮かび上がって表示されている。

【0034】

次に、物標検出部１２が、赤外線画像から物標像を検出する（Ｓ２）。図３（Ａ）に示した赤外線画像から、歩行者像３２が検出される。
なお、画像認識技術を利用して、赤外線画像３０中に撮像されている物標像３２が歩行者像であるか否かということを判断してもよい。

【0035】

また、画像認識技術により、物標像３２２が、道路標識であるか否かということを判断してもよい。そして、物標像３２が道路標識像である場合には、予めデータベース（図示せず）に記憶しておいた道路標識の色彩で赤外線画像の道路標識像を着色して合成赤外線画像を生成してもよい。

【0036】

そして、赤外線画像中に物標の像が含まれている場合（Ｓ３において「Ｙｅｓ」の場合）、可視光カメラ１４が、自車両の前方を撮像して可視画像を生成する（Ｓ４）。可視光カメラ１４は、例えば毎秒３０フレームの可視画像を撮像する。

【0037】

次に、色彩抽出部１６が、赤外線画像３０中の歩行者像３２が検出された領域に対応する、可視画像中の対応領域の色彩を抽出する（Ｓ５）。
本実施形態では、可視光カメラ１４の画角が、赤外線カメラ１０の画角よりも広く設定されている。このため、赤外線画像上の各画素の位置は、カラーの可視光画像上の一部の画素の位置と対応付けられている。

【0038】

ここで、図４のフローチャート及び図５の説明図を参照して、コンポジット法による色彩の抽出ステップを説明する。夜間の車両前方の可視光画像は光量が不足しているため、１フレーム可視光画像だけから色彩を抽出することが困難な場合がある。そこで、複数フレームの可視画像４０を合成したコンポジット画像から色彩を抽出する。
なお、図５では、限定領域４２中の歩行者像の対応領域において抽出された色彩を、ハッチングで便宜的に表している。

【0039】

ところで、複数フレームの可視画像４０全体のコンポジット画像を生成して色彩を抽出すると、画像処理の対象となる画像データ量が膨大となってしまう。そこで、赤外線画像３０中の歩行者像３２の対応領域を含む限定領域４２だけを先に抽出する（Ｓ５１）。これにより、画像処理の対象となる画像データ量が低減され、画像処理装置の負荷が軽減される。

【0040】

次に、バッファメモリ（図示せず）に蓄積された複数フレームの可視光画像４０の限定領域４２が、コンポジット処理により合成される（Ｓ５２）。続いて、例えばウエーブレットフィルタを利用して、コンポジット画像のノイズの削除処理が行われる（Ｓ５３）。

【0041】

次に、色彩抽出部１６は、赤外線画像３０中の歩行者像３２の見かけの大きさが所定の基準値以上である場合に、可視画像中４０の対応領域を、縦方向に並んだ複数の分割領域に分割する（Ｓ５４）。歩行者像３２の見かけの大きさは、赤外線画像４０中の歩行者像３２を構成する画素のうち、上端の画素の座標と下端の画素の座標とから縦方向のサイズ（画素数）を算出して求めるとよい。

【0042】

ここで、図６（Ａ）のグラフを参照して、赤外線画像３０中の物標像（歩行者像）３２の縦方向のサイズと、分割数との関係を説明する。図６（Ａ）のグラフの実線Ｉに示すように、縦方向のサイズがｎ１以上のときに、物標像３２に対応する可視画像４０中の対応領域を２分割する。さらに、縦方向サイズがｎ２、ｎ３以上のときに、対応領域を３分割、４分割する。

【0043】

なお、色彩抽出部１６は、車速センサ２４によって検出された自車両の車速が所定の基準速度以上である場合に、可視画像４０中の物対応領域を複数の分割領域に分割してもよい。その場合も、図６（Ａ）のグラフにおいて、横軸を車速とすれば、車速がｎ１以上のときに、物標像３２に対応する可視画像４０中の対応領域を２分割し、さらに、車速がｎ２、ｎ３以上のときに、対応領域を３分割、４分割するとよい。

【0044】

また、色彩抽出部１６は、距離センサ２２によって検出された自車両から歩行者までの距離が所定の基準距離以下である場合に、可視画像４０中の物対応領域を複数の分割領域に分割してもよい。

【0045】

ここで、図６（Ｂ）のグラフを参照して、歩行者までの距離と、分割数との関係を説明する。図６（Ｂ）のグラフの実線IIに示すように、距離がｄ３以下のときに、物標像３２に対応する可視画像４０中の対応領域を２分割する。さらに、距離がｄ２、ｄ１以下のときに、対応領域を３分割、４分割する。
なお、対応領域の分割に当たっては、対応領域を等分割してもよいし、不等分割してもよい。

【0046】

次に、色彩抽出部１６は、分割領域ごとに色彩を抽出する（Ｓ５５）。色彩の抽出に当たっては、例えば、各分割領域中の最も広い面積の色彩を代表色として抽出してもよいし、分割領域中の色彩の平均色を抽出してもよい。平均色の抽出に当たっては、例えば、分割領域中の各画素の色彩の色度図の座標表示した場合の座標値の平均値として算出してもよい。

【0047】

次に、図２のフローチャートに戻り、抽出した色彩に基づいて、物標像（歩行者像）を着色した合成赤外線画像を生成する（Ｓ６）。そして、その合成赤外線画像をディスプレイ２０に表示する（Ｓ７）。
なお、着色範囲は、物標像の輪郭と正確に一致していてもよいし、正確に一致していなくてもよい。例えば、物標像の一部分だけを着色してもよいし、物標像よりも広い領域を着色してもよい。また、歩行者像に着色する色彩は、抽出された色彩と同一であってもよいし、異なっていてもよい。ただし、着色する色彩が、抽出された色彩と異なる場合、直色する色彩は、抽出された色彩と同系色であることが望ましい。

【0048】

図３（Ｂ）及び図３（Ｃ）に、合成赤外線画像３４及び３４ａを示す。図３（Ｂ）の合成赤外線画像３４では、歩行者像３６が分割されずに、一つの色彩で着色されている。また、図３（Ｃ）の合成赤外線画像３４ａでは、歩行者像３８が、上部分割領域３８ａと下部分割領域３８ｂとに２分割され、各分割領域３８ａ及び３８ｂが別々の色彩で着色されている。図３（Ｂ）及び図３（Ｃ）では、着色した色彩をハッチングで便宜的に表している。

【0049】

このように、可視画像から抽出された色彩に基づく着色が施された合成赤外線画像が表示されるころによって、合成赤外線画像中の物標が運転者に与える印象を、実際の視界中の物標の見え方に近づけることができる。その結果、運転者による、合成赤外線画像中の物標像と、実際の視界中の物標とを対応付ける作業の認知負荷の低減を図ることができる。

【0050】

次に、図７のフローチャートを参照して、本実施形態の車両用撮像装置の第２の動作例を説明する。図７のフローチャートのステップＳ１〜Ｓ５の処理内容は、図２のフローチャートのステップＳ１〜Ｓ５の処理内容と同じであるので、これらのステップの説明を省略する。

【0051】

第２の動作例では、色彩抽出ステップ（Ｓ５）の後、衝突時間予想部２６は、自車両が物標に衝突するまでの予想時間（ＴＴＣ）を算出する（Ｓ６）。
そして、画像着色部１６、自車両が物標に衝突するまでの予想時間が短いほど、物標像に着色する色彩の輝度及び彩度の少なくとも一方が連続的に又は段階的に高くなるように、輝度・彩度変換係数を変更する。さらに、画像着色部１６は、自車両が物標に衝突するまでの予想時間が、衝突警報装置２８が作動する所定の基準時間まで短くなったときに、物標像に着色する色彩を、輝度及び彩度の少なくとも一方がより高いものに切り替えるとよい（Ｓ７）。
なお、輝度の変換係数だけを変更又は切替てもよいし、彩度の変換係数だけを変更又は切替てもよいし、輝度及び彩度両方の変換係数を変換又は切替てもよい。また、変換係数が高いほど、着色される色彩の輝度、彩度が高くなる。

【0052】

ここで、図８に、ＴＴＣと合成着色画像中の物標像の輝度、彩度変換係数の関係を示すグラフを示す。図８のグラフ中の曲線IIIに示すように、衝突警報装置２８が作動する基準時間Ｔｃのときに、輝度、彩度変換係数が切り替えられている。また、基準時間Ｔｃの斬後では、ＴＴＣが短くなるほど、変換係数が連続的に高くなるように変化している。

【0053】

そして、変換係数に従って変更された輝度、彩度で、物標像に着色が施された合成赤外線画像が生成され（Ｓ８）、その合成赤外線画像が表示される（Ｓ９）。これにより、ＴＴＣが短く、自車両と衝突する可能性の高い物標ほど、合成赤外線画像中の物標像を色彩によって目立たせて表示することができる。そのうえ、合成赤外線画像中の物標の輝度や彩度の切替を、衝突警報手段の作動タイミング（Ｔｃ）に合わせて行えば、運転者に衝突警報手段の作動と物標の輝度等の切替タイミングとのずれによる違和感を与えることを防止できるだけでなく、運転者に合成赤外線画像中の物標像を衝突警報の対象と認識させることができる。その結果、合成赤外線画像と衝突警報手段との相乗効果により安全性の向上を図ることができる。

【0054】

なお、図８では、ＴＴＣに応じて、輝度、彩度の変換係数を変更した例を示したが、画像着色部１６、自車両から物標までの距離が短いほど、物標像に着色する色彩の輝度及び彩度の少なくとも一方を連続的に又は段階的に高くしてもよい。物標までの距離に応じて、合成赤外線画像中の物標の色彩の輝度や彩度を変化させれば、運転者が物標までの距離感を把握しやすくなる。例えば、物標が遠い場合に物標を彩度の低い淡い色で表示し、物標が近い場合に物標を彩度の高い鮮やかな色で表示すれば、物標像に遠近感を付けることができるとともに、近い物標の物標像を目立たせることができる。また、物標が遠い場合に物標を輝度の低い暗い色で表示し、物標が近い場合に物標を輝度の高い明るいで表示すれば、物標像に遠近感を付けることができるとともに、近い物標の物標像を目立たせることができる。

【0055】

上述した各実施形態においては、本発明を特定の条件で構成した例について説明したが、本発明は種々の変更及び組み合わせを行うことができ、これに限定されるものではない。

【符号の説明】

【0056】

１０ 赤外線カメラ
１２ 物標検出部
１４ 可視光カメラ
１６ 色彩抽出部
１８ 画像着色部
２０ ディスプレイ
２２ 距離センサ
２４ 車速センサ
２６ 衝突時間予想部
２８ 警報装置
３０ 赤外線画像
３２ 歩行者像
３４、３４ａ 合成赤外線画像
３６、３８ 歩行者像
３８ａ、３８ｂ 分割領域
４０ 可視光画像
４２ 限定領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】