特許 7400599 物体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】物体検出装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231212BHJP

【ＦＩ】

G06T7/00 300F

【請求項の数】 8

(21)【出願番号】P 2020064398

(22)【出願日】2020-03-31

(65)【公開番号】P2021163222

(43)【公開日】2021-10-11

【審査請求日】2023-02-06

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】安藤 道則

(72)【発明者】

【氏名】高井 勇

(72)【発明者】

【氏名】松原 弘幸

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２００５－３０３４４２（ＪＰ，Ａ）

【文献】国際公開第２０１１／０２４８６５（ＷＯ，Ａ１）

【文献】国際公開第２０１３／０４７０８８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

周辺環境の遠赤外画像データを取得する撮影部と、
前記撮影部で取得した遠赤外画像データを階調変換した変換画像データを生成する画像処理部と、
前記遠赤外画像データ及び前記変換画像データの各々に対し、学習データを用いて予め学習された結果に基づく物体識別処理を行うことにより、前記遠赤外画像データ及び前記変換画像データの各々における物体の種類の識別の情報と、前記遠赤外画像データ及び前記変換画像データの各々における該識別の信頼度を表す確度情報とを含む識別結果を出力する識別処理を実行する物体識別部と、
前記物体識別部による前記識別結果に基づいて前記遠赤外画像データ内の物体を最終的に識別する物体判定部と、
を含む物体検出装置。

【請求項2】

前記画像処理部は、前記撮影部で取得した遠赤外画像データの輝度値の明暗を反転させて前記変換画像データを生成する請求項１に記載の物体検出装置。

【請求項3】

前記画像処理部は、予め定められた前記遠赤外画像データの階調と前記変換画像データの階調との対応関係に基づいて、前記遠赤外画像データから前記変換画像データを生成する請求項１に記載の物体検出装置。

【請求項4】

前記物体識別部は、前記遠赤外画像データ及び前記変換画像データの各々における物体の位置を同定すると共に、該同定した物体の位置情報を含む前記識別結果を出力し
前記物体判定部は、前記識別結果が含む、物体の位置情報と前記遠赤外画像データ及び前記変換画像データの各々における確度情報とに基づいて最終的な物体識別を行う請求項１～３のいずれか１項に記載の物体検出装置。

【請求項5】

前記物体識別部は、前記遠赤外画像データ及び前記変換画像データの各々における物体の位置を同定すると共に、前記遠赤外画像データ及び前記変換画像データの各々における確度情報を該同定した前記遠赤外画像データ及び前記変換画像データの各々における物体の位置に対応付けたマッピング画像を前記識別結果として生成し、
前記物体判定部は、前記遠赤外画像データ及び前記変換画像データの各々から生成したマッピング画像同士を重ね合わせることにより、前記遠赤外画像データにおける識別結果と前記変換画像データにおける識別結果とを統合して最終的な物体識別を行う請求項１～３のいずれか１項に記載の物体検出装置。

【請求項6】

前記学習データは、学習用の前記遠赤外画像データ、学習用の前記変換画像データ、及び学習用の可視光画像データの少なくともいずれかである請求項１～５のいずれか１項に記載の物体検出装置。

【請求項7】

前記撮影部は、周辺環境の可視光画像データをさらに取得し、
前記物体識別部は、前記遠赤外画像データ、前記変換画像データ及び前記可視光画像データの各々における物体の種類の識別の情報と、前記遠赤外画像データ、前記変換画像データ及び前記可視光画像データの各々における該識別の信頼度を表す確度情報とを含む識別結果を出力する識別処理を実行し、
前記物体判定部は、前記物体識別部による前記識別結果に基づいて前記遠赤外画像データ内の物体を最終的に識別する請求項１～３のいずれか１項に記載の物体検出装置。

【請求項8】

前記学習データは、学習用の前記可視光画像データである請求項７に記載の物体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は物体検出装置に関する。

【背景技術】

【0002】

特許文献１には、遠赤外線画像等の輝度値のレベルシフトによるシフト画像の生成、当該画像の反転画像の生成、及びシフト画像の各々の画素の輝度値を反転画像の対応する画素の輝度値で減算又は除算することにより画像のコントラストを拡大して、歩行者等の物体と背景との識別を容易にする技術が開示されている。

【0003】

特許文献２には、遠赤外線画像を検出対象画像として用いるときは、温度が高い人の領域の輝度値が大きくなり、人と比べて温度が低い周辺領域の輝度が小さくなることを利用して遠赤外線画像から人物等を検出する人物検出装置の発明が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第５６６４５５１号公報

【文献】特許第６６２７６８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、遠赤外画像は、夏と冬とでは、歩行者と道路等の背景との明暗が逆転する。従って、特許文献２に開示された技術によって年間を通じて遠赤外線画像から歩行者と背景との識別の精度を担保するには、季節に応じた学習データを準備し、当該学習データによって装置を学習させることが望ましいが、当該学習データの準備及び装置の学習に多大なコストと労力とを要するという問題があった。

【0006】

また、特許文献１に開示された技術は、背景が、海又は空等のように、一定の輝度範囲内に入るようなテクスチャの少ない画像であれば有効であるが、走行時の路面、道路周辺の建造物、又は森林等が背景として混在する場合、背景と物体とのコントラストを効果的に強調することが困難であるという問題があった。

【0007】

本発明は上記事実を考慮して成されたもので、画像データにおいて歩行者等の物体を背景から精度よく識別できる物体検出装置を得ることが目的である。

【課題を解決するための手段】

【0008】

第１の態様に係る物体検出装置は、周辺環境の遠赤外画像データを取得する撮影部と、前記撮影部で取得した遠赤外画像データを階調変換した変換画像データを生成する画像処理部と、前記遠赤外画像データ及び前記変換画像データの各々に対し、学習データを用いて予め学習された結果に基づく物体識別処理を行うことにより、前記遠赤外画像データ及び前記変換画像データの各々における物体の種類の識別の情報と、前記遠赤外画像データ及び前記変換画像データの各々における該識別の信頼度を表す確度情報とを含む識別結果を出力する識別処理を実行する物体識別部と、前記物体識別部による前記識別結果に基づいて前記遠赤外画像データ内の物体を最終的に識別する物体判定部と、を含んでいる。

【0009】

遠赤外画像は、夏と冬とでは、歩行者等の物体と背景（主に道路）との明暗が逆転するが、第１の態様では、撮影画像データ及び撮影画像データを階調変換して得た変換画像データの各々について同じ学習データに基づいた物体識別を行うことにより、おデータ及び変換画像データのいずれかにおいて、良好な物体識別の結果を得ることができる。

【0010】

第２の態様は、第１の態様において、前記画像処理部は、前記撮影部で取得した遠赤外画像データの輝度値の明暗を反転させて前記変換画像データを生成する。

【0011】

これにより、夏と冬とでは、物体と背景との明暗が逆転する遠赤外画像データの特性に対応した物体識別が可能となる。

【0012】

第３の態様は、第１の態様において、前記画像処理部は、予め定められた前記遠赤外画像データの階調と前記変換画像データの階調との対応関係に基づいて、前記遠赤外画像データから前記変換画像データを生成する。

【0013】

これにより、遠赤外画像データの階調の明暗を反転させる特性を変更することにより、物体識別に至適な反転画像データを生成することが可能となる。

【0014】

第４の態様は、第１の態様～第３の態様のいずれか１つの態様において、前記物体識別部は、前記遠赤外画像データ及び前記変換画像データの各々における物体の位置を同定すると共に、該同定した物体の位置情報を含む前記識別結果を出力し前記物体判定部は、前記識別結果が含む、物体の位置情報と前記遠赤外画像データ及び前記変換画像データの各々における確度情報とに基づいて最終的な物体識別を行う。

【0015】

これにより、遠赤外画像データ内の物体の位置及び当該物体の特定が容易となる。

【0016】

第５の態様は、第１の態様～第３の態様のいずれか１つの態様において、前記物体識別部は、前記遠赤外画像データ及び前記変換画像データの各々における物体の位置を同定すると共に、前記遠赤外画像データ及び前記変換画像データの各々における確度情報を該同定した前記遠赤外画像データ及び前記変換画像データの各々における物体の位置に対応付けたマッピング画像を前記識別結果として生成し、前記物体判定部は、前記遠赤外画像データ及び前記変換画像データの各々から生成したマッピング画像同士を重ね合わせることにより、前記遠赤外画像データにおける識別結果と前記変換画像データにおける識別結果とを統合して最終的な物体識別を行う。

【0017】

前記遠赤外画像データにおける識別結果と前記変換画像データにおける識別結果とを統合することにより、物体識別の精度が向上する。

【0018】

第６の態様は、第１の態様～第５の態様のいずれか１つの態様において、前記学習データは、学習用の前記遠赤外画像データ、学習用の前記変換画像データ、及び学習用の可視光画像データの少なくともいずれかである。

【0019】

第７の態様は、第１の態様～第３の態様のいずれか１つの態様において、前記撮影部は、周辺環境の可視光画像データをさらに取得し、前記物体識別部は、前記遠赤外画像データ、前記変換画像データ及び前記可視光画像データの各々における物体の種類の識別の情報と、前記遠赤外画像データ、前記変換画像データ及び前記可視光画像データの各々における該識別の信頼度を表す確度情報とを含む識別結果を出力する識別処理を実行し、前記物体判定部は、前記物体識別部による前記識別結果に基づいて前記遠赤外画像データ内の物体を最終的に識別する。

【0020】

これにより、遠赤外画像の撮影画像データ及び変換画像データの各々の識別結果を可視光画像データにおける識別結果と統合して、最終的な物体識別の信頼度を決定することにより、可視光画像データで学習された物体識別部であっても、物体識別を精度よく行うことが可能となる。

【0021】

第８の態様は、第７の態様において、前記学習データは、学習用の前記可視光画像データである。

【発明の効果】

【0022】

画像データにおいて歩行者等の物体を背景から精度よく識別できる、という効果を有する。

【図面の簡単な説明】

【0023】

【図1】本発明の第１実施形態に係る物体検出装置の一例を示したブロック図である。

【図2】本発明の第１実施形態に係る物体検出装置の処理の一例を示したフローチャートである。

【図3】（Ａ）は、物体識別器による撮影画像データにおける物体識別の一例を、（Ｂ）は、物体識別器による反転画像データにおける物体識別の一例を各々示し、（Ｃ）は、撮影画像データにおける識別信頼度を抽出して作成される撮影画像データのマッピング画像の一例を、（Ｄ）は、反転画像データにおける識別信頼度を抽出して作成される反転画像データのマッピング画像の一例を、各々示し、（Ｅ）は、撮影画像データと反転画像データの各々における識別結果を統合の一例を示した概略図である。

【図4】本発明の第２実施形態における、撮影画像データの階調の明暗の反転の説明図である。

【図5】本発明の第３実施形態に係る物体検出装置の一例を示したブロック図である。

【図6】本発明の第４実施形態に係る物体検出装置の一例を示した機能ブロック図である。

【発明を実施するための形態】

【0024】

［第１実施形態］
以下、図面を参照して本発明の第１実施形態の一例を詳細に説明する。

【0025】

図１に示すように、本実施形態に係る物体検出装置１００は、遠赤外カメラ１０とコンピュータ２０と含んでいる。遠赤外カメラ１０は、車両に搭載され、車両の周辺を検知範囲とし、設定された測定パラメータ及び処理パラメータに従って検知範囲内の遠赤外画像データを取得し、取得した遠赤外画像データを映像信号としてコンピュータ２０に出力すると共に、測定パラメータ及び処理パラメータの設定が外部から変更可能に構成されている。遠赤外カメラ１０は、レンズ等の光学系と感光特性が遠赤外線に特化した撮像素子とを備えた一般的な遠赤外カメラ以外にも、遠赤外線に対応した単一フォトダイオード等をアレイ化した装置等でもよい。従って、遠赤外カメラ１０は、物体の検出及び分類が可能な１次元的、２次元的な遠赤外画像データを取得可能で、当該遠赤外画像データの取得に影響を及ぼす測定パラメータ及び処理パラメータを変更可能な装置を全て含む。

【0026】

一例として、遠赤外カメラ１０は、レンズ等の光学系と受光の強度に応じた信号を出力する撮像素子とを含むセンサデバイスと、センサデバイスが出力した信号を画像ファイルへ変換する、いわゆる画像エンジンである前処理器とを含む。遠赤外カメラ１０の測定パラメータとしては、センサデバイスに対するシャッタ速度（露光時間）、ゲイン（感度）、画角、絞り（Ｆナンバー）、フォーカス（焦点）及びフレームレート（測定周期）等である。

【0027】

前処理器に対する処理パラメータは、ホワイトバランス、コントラスト、空間解像度（画素数）、などが挙げられる。

【0028】

センサデバイスと前処理器とが一体で構成されている場合は、ホワイトバランス等の処理をセンサデバイスで行うことと同義となる。また、フレームレートの変更をセンサデバイスでのフレームの間引きであるコマ落としで行うことも可能な場合があるので、測定パラメータと処理パラメータとを峻別することが困難となる。従って、測定パラメータと処理パラメータとを特段区別せずに扱ってもよい。

【0029】

コンピュータ２０は、ＣＰＵ、メモリ、各種の処理を実行するためのプログラムなどを記憶した不揮発性の記憶部及びネットワークインタフェースなどを含んでいる。コンピュータ２０は、機能的には、遠赤外カメラ１０で取得した遠赤外画像データ（以下、「撮影画像データ」と称する）が入力され、当該遠赤外画像データの反転画像データを生成する画像処理を行う画像前処理部２２と、撮影画像データ及び反転画像データ内の物体の種類を推定する物体識別を行う物体識別器２４と、撮影画像データ及び反転画像データの各々における物体識別結果を統合した識別結果を出力する画像後処理部２６とを含んで構成される。

【0030】

画像前処理部２２は、記憶装置である画像メモリを備え、撮影画像データをそのまま画像メモリに記憶すると共に、撮影画像データの階調の明暗を反転させた反転画像データを作成して画像メモリに記憶する。

【0031】

物体識別器２４は、画像前処理部２２の画像メモリに記憶された撮影画像データ及び反転画像データの各々について路面等の背景から歩行者等の物体を識別する物体識別を行う。

【0032】

物体識別器２４は、学習データを用いて予め学習されたものであり、一例として、ＤＮＮ（Deep Neural Network）に基づいた信号処理を行う。また、物体識別器２４を学習するための学習データとして、歩行者等の物体の位置が予め付与された撮影画像データ及び反転画像データを用いる。物体識別器２４を学習するための学習データは、可視光画像データを用いてもよい。

【0033】

画像後処理部２６は、物体識別器２４での撮影画像データ及び反転画像データの各々についての物体識別の結果を統合して物体識別結果として出力する。識別結果の統合は、後述するように、一例として、撮影画像データでの識別結果と反転画像データでの識別結果とを重ね合わせ、各々の識別結果に紐付けられた識別の信頼度を加算して得た数値に基づいて、物体識別の信頼度を決定し、最終的な物体識別を行う。

【0034】

図２は、本実施形態に係る物体検出装置１００の処理の一例を示したフローチャートである。学習データとしての、歩行者等の物体の位置が予め付与された撮影画像データ及び反転画像データを用いて、物体識別器２４が予め学習されているものとする。

【0035】

ステップ２００では、遠赤外カメラ１０により例えば車両前方の走行路を撮影する等により、車両周辺の遠赤外画像データを取得する。取得した遠赤外画像データは撮影画像データとして画像前処理部２２の画像メモリに記憶する。

【0036】

ステップ２０４では、画像前処理部２２において、撮影画像データの階調の明暗を反転させた反転画像データを作成し、画像メモリに記憶する。

【0037】

ステップ２０６では、画像前処理部２２の画像メモリに記憶された撮影画像データと反転画像データの各々を物体識別器２４に入力し、物体識別器２４で各々の画像データについての識別結果を出力する。

【0038】

ステップ２０８では、画像後処理部２６で、撮影画像データと反転画像データの各々における識別結果を統合して最終的な識別結果を得る。そして、ステップ２１０では、ステップ２０８で得た最終的な識別結果を出力して処理を終了する。

【0039】

図３は、物体識別器２４における物体識別の一例と、画像後処理部２６における識別結果の統合の一例を各々示した説明図である。図３（Ａ）は、物体識別器２４による撮影画像データにおける物体識別の一例を、図３（Ｂ）は、物体識別器２４による反転画像データにおける物体識別の一例を各々示している。図３（Ａ）に示したように、撮影画像データにおける物体識別では、車が識別信頼度７０％で識別されると共に、人が識別信頼度４０％で識別されている。また、図３（Ｂ）に示したように、反転画像データにおける物体識別では、車が識別信頼度５０％で識別されると共に、人が識別信頼度８０％で識別されている。

【0040】

図３（Ｃ）は、撮影画像データにおける識別信頼度を抽出して作成される撮影画像データのマッピング画像の一例を、図３（Ｄ）は、反転画像データにおける識別信頼度を抽出して作成される反転画像データのマッピング画像の一例を、各々示した概略図である。図３（Ｃ）及び図３（Ｄ）に各々示したマッピング画像は、例えば物体識別器２４で作成され、撮影画像及び反転画像の各々において同定された物体の位置に相当する領域に識別信頼度が対応付けられる。

【0041】

図３（Ｃ）に示したように、撮影画像データにおける物体識別では、車は高い信頼度で識別できているものの、人の識別信頼度は低くなっている。また、図３（Ｄ）に示したように、反転画像データにおける物体識別では、人は高い信頼度で識別できているものの、車の識別信頼度は低くなっている。本実施形態では、前述のように、撮影画像データと反転画像データの各々における識別結果を統合して最終的な識別結果を得ることにより、車及び人等の物体を背景から精度よく識別する。

【0042】

図３（Ｅ）は、撮影画像データと反転画像データの各々における識別結果を統合の一例を示した概略図である。本実施形態では、一例として、撮影画像データ及び反転画像データの各々から生成したマッピング画像同士を重ね合わせることにより、撮影画像データでの識別結果と反転画像データでの識別結果とを重ね合わせ、各々の識別結果に紐付けられた識別の信頼度を加算して得た数値に基づいて、物体識別の信頼度を決定する。図３（Ｅ）では、重ね合わせた部分はハッチングを付して示している。図３（Ｅ）において、ハッチングで示した領域の識別信頼度は、撮影画像データと反転画像データの各々における識別信頼度の合計である。合計した識別信頼度は、車で１２０％、人で１２０％であり、物体識別の信頼度がかなりの程度で高いことを示し、遠赤外画像の背景から歩行者等の物体を精度よく識別することができる。

【0043】

以上説明したように、本実施形態では、通常の遠赤外画像の輝度画像データに加えて、輝度値の明暗を反転させた反転画像データを追加することにより、通常の輝度画像データのみでは物体検出ができない場合においても、物体検出することが可能になる。

【0044】

前述のように、遠赤外画像の特徴として、夏と冬とでは、歩行者と背景（主に道路）との明暗が逆転する。従って、遠赤外画像データを用いて装置を学習させる場合、かかる広範囲な温度環境に対応した学習データを準備することが求められる。しかしながら、広範囲な温度環境に対応した学習データの準備には、膨大な時間、コスト及び労力を要し、事実上は困難と考えられる。

【0045】

本実施形態では、撮影画像データの反転画像データを生成して、撮影画像データ及び反転画像データを共に物体識別器２４に入力する。物体識別器２４は、季節を問わない学習データで学習済みであり、撮影画像データ及び反転画像データの各々について同じ学習データに基づいた物体識別を行う。前述のように、遠赤外画像は、夏と冬とでは、歩行者と背景との明暗が逆転するが、撮影画像データ及び反転画像データの各々について同じ学習データに基づいた物体識別を行うのであれば、撮影画像データ及び反転画像データのいずれかにおいて、良好な物体識別の結果が期待できる可能性がある。従って、本実施形態では、季節に応じて異なる学習データを用いて物体識別器２４を再学習することを要しない。

【0046】

［第２実施形態］
続いて本発明の第２実施形態について説明する。図４は、本実施形態における、撮影画像データの階調の明暗の反転の説明図である。本実施形態は、画像前処理部２２での撮影画像データから反転画像データの生成において第１実施形態と相違するが、その他については第１実施形態と同様なので、同一の構成には同一の符号を付して詳細な説明は省略する。

【0047】

第１実施形態では、画像前処理部２２において、撮影画像データの階調の明暗を単純に反転させて反転画像データを生成した。図４の傾き＝－１で示した直線は、撮影画像データの階調の明暗を単純に反転させて反転画像データを生成する場合の撮影画像データの階調と、反転画像データの階調との対応を示している。傾き＝－１の場合は、例えば、撮影画像データの最も明るい画素は、反転画像データで最も暗い画素となり、撮影画像データの最も暗い画素は、反転画像データで最も明るい画素となる。

【0048】

本実施形態では、傾き≦－１又は傾き≧－１で示した直線のような特性で撮影画像データから反転画像データを生成する。傾き≦－１又は傾き≧－１で示した直線のような特性で撮影画像データから反転画像データを生成する場合、撮影画像データの暗い画素に対応する反転画像データの画素のコントラストを、撮影画像データの階調の明暗を単純に反転させて反転画像データを生成する場合よりも向上させることができる。例えば、図４に示したような傾き≦－１の特性で撮影画像データから反転画像データを生成する場合、特性を示す実線と図４の横軸との交点が示す輝度値から撮影画像データの最大輝度値を各々示す画素の輝度値は、反転画像データにおいて最も輝度値が小さい、すなわち最も暗い画素に変換される。その結果、生成される反転画像データは、傾き＝－１の特性で生成される反転画像データよりも暗部が顕著な画像を示す。また、傾き≧－１の特性で撮影画像データから反転画像データを生成する場合、生成される反転画像データは、傾き＝－１の特性で生成される反転画像データよりも明部が顕著な画像を示す。

【0049】

撮影画像データの階調の明暗を反転させる特性は、図４に示したような直線ではなく、上に凸な曲線、又は下に凸な曲線であってもよい。本実施形態では、直線状、又は曲線状を問わず、予め定められた撮影画像データの階調と反転画像データの階調との対応関係に基づいて、撮影画像データを反転画像データに変換してもよい。

【0050】

前述のように、撮影画像と反転画像との各々の識別結果は、車及び人といった物体の違によって異なる場合が考えられる。図４に示したように、撮影画像データの階調の明暗を反転させる特性を変更することにより、物体識別の精度を向上させることが可能となる。

【0051】

物体識別の精度を向上させるには、物体検出装置１００の学習データを改善する等の手法が考えられるが、新たな学習データの準備と当該画像データによる物体検出装置１００の学習は煩雑でコストもかかる。しかしながら、撮影画像データの階調の明暗を反転させる特性を図４に示したように変更することは、比較的容易である。従って、本実施形態によれば、新たな学習データで装置を再学習させる場合よりも、容易に物体識別の精度を向上させることができる。

【0052】

［第３実施形態］
続いて本発明の第３実施形態について説明する。図５は、本実施形態に係る物体検出装置２００の一例を示したブロック図である。本実施形態は、可視光画像を取得する可視光カメラ１２と、可視光画像を用いて学習された物体識別器１２４を備えるコンピュータ１２０とを有する点で第１実施形態と相違するが、その他については第１実施形態と同様なので、同一の構成には同一の符号を付して詳細な説明は省略する。

【0053】

画像前処理部１２２で、遠赤外カメラ１０で取得した撮影画像データから反転画像データを生成し、生成した反転画像データと撮影画像データとが物体識別器１２４に入力されるのは、第１実施形態と同様である。本実施形態では、物体識別器１２４には、遠赤外カメラで取得した撮影画像データ及び当該撮影画像データから生成した反転画像データのみならず、可視光カメラ１２で取得した可視光画像データも入力される。

【0054】

物体識別器１２４は、画像前処理部１２２から入力された遠赤外カメラ１０の撮影画像データ、遠赤外画像の反転画像データ、及び可視光カメラ１２から入力された可視光画像データの各々について物体識別を行う。

【0055】

物体識別器１２４は、学習データを用いて予め学習されたものであり、一例として、ＤＮＮに基づいた信号処理を行う。また、物体識別器１２４を学習するための学習データとして、歩行者等の物体の位置が予め付与された可視光画像データを用いる。なお、学習データとして、更に、撮影画像データ及び反転画像データを用いてもよい。

【0056】

そして、画像後処理部１２６では、撮影画像データでの識別結果と反転画像データでの識別結果と可視光画像データでの識別結果とを重ね合わせ、各々の識別結果に紐付けられた識別の信頼度を加算して得た数値に基づいて、物体識別の信頼度を決定する。

【0057】

一般に、車両の自動運転用の認識システムにおいては、物体識別器は可視光画像データを用いて学習される。可視光画像データを用いて学習された物体識別器を、遠赤外画像データの認識に使うことができれば、新たに遠赤外画像データに特化した物体認識器を用意する必要はなく、コスト的に有利である。可視光画像データで学習した物体認識器では、遠赤外画像の撮影画像データ及び反転画像データのどちらがより認識に適しているかは予想できないが、遠赤外画像の撮影画像データ及び反転画像データの各々の識別結果を可視光画像データにおける識別結果と統合して、最終的な物体識別の信頼度を決定することにより、可視光画像データで学習された物体識別器であっても、物体識別を精度よく行うことが可能になる。また、本実施形態によれば、遠赤外画像データを用いた物体識別により、夜間での歩行者等の物体、又は遠方に存在する歩行者等の物体が、可視光画像データにおける物体識別よりも、より明瞭に識別できる。

【0058】

［第４実施形態］
続いて本発明の第４実施形態について説明する。図６は、本実施形態に係る物体検出装置の一例を示した機能ブロック図である。本実施形態は、撮影画像データ及び反転画像データに加えて反転画像データの例えば画像中央部から切り出した所定の画素数の矩形領域の画像データを物体識別器２２４に入力して、物体識別を行う。

【0059】

撮影画像データ及び反転画像データの画像中央部には、遠赤外カメラ１０からの距離が遠い物体、又はサイズが小さい物体が存在する可能性が高い。本実施形態では、図８に示したような、反転画像データの画像中央部付近の矩形領域から切り出した画像データも物体識別に供することにより、遠赤外カメラ１０から遠方に存在する物体、又は歩行者のようなサイズが小さい物体を精度よく識別することができる。

【0060】

本実施形態では、撮影画像データに基づいた識別結果（１）、反転画像データに基づいた識別結果（２）、及び反転画像データの矩形領域の画像データに基づいた識別結果（３）の各々について、物体の分類、当該物体の位置、及び当該物体の識別の尤度を各々算出し、識別結果（１）、（２）、（３）を統合して、最終的な物体識別を行う。

【0061】

撮影画像データ、反転画像データ、及び反転画像データの矩形領域の画像データの各々は、各々重複した領域を含んでいる。かかる重複した領域における各々の画像に基づいた識別結果を総合的に判定することにより、物体識別の精度を担保できる。

【0062】

本実施形態では、自車の進行方向上に相当する領域の画像データとして反転画像データの画像中央部付近の矩形領域から切り出した画像データから物体検出を行うことにより、車道上に存在する歩行者等をより高い精度で検出することが可能となる。

【0063】

上述のように、第１実施形態では、撮影画像データの輝度値の明暗を反転させて反転換画像データを生成し、第２実施形態では、予め定められた撮影画像データの階調と反転画像データの階調との対応関係に基づいて、撮影画像データから反転画像データを生成した。しかしながら、本発明は、これらに限定されない。例えば、撮影画像データ及び反転画像データの各々にコントラスト強調、輪郭抽出などの前処理を行ってもよいし、かかる前処理に加えて、既知の他の画像処理方法を組み合わせてもよい。また、超解像処理等により撮影画像データ及び反転画像データの各々の解像度を拡大してもよい。

【0064】

上記では、モデルの一例としてのニューラルネットワークモデルをディープラーニングによって学習させる態様を説明したが、これに限定されるものではない。例えば、ニューラルネットワークモデルとは異なる他のモデルを、ディープラーニングとは異なる他の学習方法によって学習させてもよい。

【符号の説明】

【0065】

１０ 遠赤外カメラ
１２ 可視光カメラ
２０ コンピュータ
２２ 画像前処理部
２４ 物体識別器
２６ 画像後処理部
１００ 物体検出装置
１２０ コンピュータ
１２２ 画像前処理部
１２４ 物体識別器
１２６ 画像後処理部
２００ 物体検出装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】