(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-26
(45)【発行日】2023-06-05
(54)【発明の名称】画像分析システムおよび画像分析方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230529BHJP
G06T 7/50 20170101ALI20230529BHJP
G08G 1/16 20060101ALI20230529BHJP
【ＦＩ】
G06T7/00 650Z
G06T7/00 350C
G06T7/50
G08G1/16 C
【請求項の数】
6
(21)【出願番号】P 2019087322
(22)【出願日】2019-05-07
(65)【公開番号】P2020184134
(43)【公開日】2020-11-12
【審査請求日】2022-03-29
(73)【特許権者】
【識別番号】000101732
【氏名又は名称】アルパイン株式会社
(74)【代理人】
【識別番号】100105784
【弁理士】
【氏名又は名称】橘 和之
(74)【代理人】
【識別番号】100098497
【弁理士】
【氏名又は名称】片寄 恭三
(74)【代理人】
【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志
(74)【代理人】
【識別番号】100103171
【弁理士】
【氏名又は名称】雨貝 正彦
(72)【発明者】
【氏名】浦田 伴俊
【審査官】真木 健彦
(56)【参考文献】
【文献】特開２０１８－１２４８９０（ＪＰ，Ａ）
【文献】特開２０１９－００８４６０（ＪＰ，Ａ）
【文献】特開平０７－３３４７９９（ＪＰ，Ａ）
【文献】特開２０１６－１３６３２１（ＪＰ，Ａ）
【文献】Gregoire Payen de La Garanderie, Amir Atapour Abarghouei, and Toby P.Breckon，Eliminating the Blind Spot: Adapting 3D Object Detection and Monocular Depth Estimation to 360°Panoramic Imagery，arXiv，2018年08月，P.1-19，https://arxiv.org/pdf/1808.06253.pdf
【文献】Clement Godard, Oisin Mac Aodha, Gabriel J.Brostow，Unsupervised Monocular Depth Estimation with Left-Right Consistency，ArXiv，2017年04月，P.270-279，https://arxiv.org/pdf/1609.03677.pdf
【文献】I. Mohamed Elzayat，Real-Time Car Detection-Based Depth Estimation Using Mono Camera，2018 30th International Conference on Microelectronics，2018年12月，P.248-251，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8704024
【文献】八谷 大岳，３Ｄ Ｆａｓｔｅｒ Ｒ－ＣＮＮとレーザスキャンとの組み合わせによる特定物体の頑健な距離推定，計測自動制御学会論文集 第５５巻 第１号，日本，公益社団法人計測自動制御学会，2019年01月31日，Vol.55, No.1, 42/50 (2019)，P.42-50
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／５０
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
車外を撮影するカメラの撮影結果に基づく撮影画像データを分析することによって、前記撮影画像データに記録された風景に所定の種別の物体が含まれているか否かを判定し、前記所定の種別の物体が当該風景に含まれている場合にはその物体の前記撮影画像データにおける範囲を検出する物体認識部と、
前記撮影画像データを分析し、前記撮影画像データを構成する各画素の深度を検出する深度検出部と、
前記物体認識部および前記深度検出部の分析結果に基づいて、前記撮影画像データにおける前記所定の種別の物体の範囲に属する各画素の深度を認識し、その範囲に属する各画素の深度に基づいて、その物体までの距離を測定する距離測定部とを備え、
前記カメラが撮影結果に基づいて前記撮影画像データを出力したときに、前記深度検出部の処理より前に前記物体認識部の処理が行われ、
前記距離測定部は、
前記物体認識部により前記撮影画像データに記録された風景に所定の種別の物体が含まれていると判定された場合、前記深度検出部に前記撮影画像データを構成する各画素の深度を検出させ、検出結果を利用してその物体までの距離を測定する一方、含まれていないと判定された場合、前記深度検出部に前記撮影画像データを構成する各画素の深度を検出させない
ことを特徴とする画像分析システム。
【請求項2】
前記撮影画像データに基づく画像を表示装置に表示すると共に、前記撮影画像データに基づいて前記距離測定部により測定された前記所定の種別の物体までの距離を示す情報をその画像に付加する表示制御部を更に備えることを特徴とする請求項１に記載の画像分析システム。
【請求項3】
前記表示制御部は、前記所定の種別の物体までの距離に関する情報に加え、前記表示装置に表示された画像におけるその物体の範囲を示す画像と、その物体の種別を示す情報とのうち少なくとも一方を付加することを特徴とする請求項２に記載の画像分析システム。
【請求項4】
前記距離測定部により測定された前記所定の種別の物体までの距離に基づいて、距離に応じた通知を車両の搭乗者に対して行う通知部を更に備えることを特徴とする請求項１から３の何れか１項に記載の画像分析システム。
【請求項5】
前記物体認識部および前記深度検出部は、アルゴリズムとして畳み込みニューラルネットワークを用いて前記撮影画像データを分析することを特徴とする請求項１から４の何れか１項に記載の画像分析システム。
【請求項6】
画像分析システムの物体認識部が、車外を撮影するカメラの撮影結果に基づく撮影画像データを分析することによって、前記撮影画像データに記録された風景に所定の種別の物体が含まれているか否かを判定し、前記所定の種別の物体が当該風景に含まれている場合にはその物体の前記撮影画像データにおける範囲を検出し、また、前記画像分析システムの深度検出部が、前記撮影画像データを分析し、前記撮影画像データを構成する各画素の深度を検出する第１ステップと、前記画像分析システムの距離測定部が、前記物体認識部および前記深度検出部の分析結果に基づいて、前記撮影画像データから検出された前記所定の種別の物体の範囲に属する各画素の深度を認識し、その範囲に属する各画素の深度に基づいて、その物体までの距離を測定する第２ステップとを含み、
前記第２ステップにおいて前記距離測定部は、
前記物体認識部により前記撮影画像データに記録された風景に所定の種別の物体が含まれていると判定された場合、前記深度検出部に前記撮影画像データを構成する各画素の深度を検出させ、検出結果を利用してその物体までの距離を測定する一方、含まれていないと判定された場合、前記深度検出部に前記撮影画像データを構成する各画素の深度を検出させない
ことを特徴とする画像分析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像分析システムおよび画像分析方法に関し、特に、車外を撮影するカメラが出力する撮影画像データを分析する画像分析システムおよび画像分析方法に用いて好適なものである。
【背景技術】
【0002】
従来、車外に存在する所定の種別の物体を認識（以下、「物体認識」という）すると共に、物体までの距離を測定（以下、「距離測定」という）するシステムが存在する。例えば、車両の後方を撮影するカメラの撮影結果に基づく映像を表示するシステムにおいて、後続車両や歩行者等を対象として物体認識および距離測定を行い、物体の位置を示す画像や、物体までの距離を示す情報を映像に付加するものがある。
【0003】
現在、物体認識および距離測定の手法は、以下の手法が代表的な手法の１つである。すなわち、カメラとＬＩＤＡＲ等の距離センサとを用いる手法であり、カメラの撮影結果を対象として認識用辞書を用いたパターンマッチング等の画像認識技術が利用されて物体認識が行われる。また、距離センサの検出結果が利用されて距離測定が行われる。当手法の距離測定に関し、特許文献１には、ミリ波レーダや、赤外線センサ、超音波センサ等の距離センサが用いられて後方車両までの距離（自車両と後方車両との車間距離）を測定する技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－６９８６２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した従来の手法は、以下の２つの点で課題がある。すなわち、従来の手法は、カメラとは独立して、距離測定のための専用の装置（距離センサ）が必要であるという課題がある。カメラと独立して専用の装置を設けることは、当該専用の装置を取り付けるスペースを確保する必要性の発生や、車両に取り付ける機材の増大、コストの増大等の不利益をもたらす。更に、従来の手法は、物体認識の結果と距離測定の結果とを物体毎に関連付ける場合、物体認識においてカメラの撮影画像データに基づく２次元空間内の位置として把握される物体の位置と、距離測定において距離センサの検出結果に基づく３次元空間内の距離として把握される物体の距離との対応関係を正確に整合させる必要があり、処理が複雑化するという課題がある。
【0006】
本発明は、このような問題を解決するために成されたものであり、車外に存在する所定の種別の物体を認識すると共に、物体までの距離を測定するシステムについて、距離測定のための専用の装置を設けず、かつ、複雑な処理を行うことなく物体認識の結果と距離測定の結果とを物体毎に関連付けることができるようにすることを目的とする。
【課題を解決するための手段】
【0007】
上記した課題を解決するために、本発明は、車外を撮影するカメラの撮影結果に基づく撮影画像データを分析することによって、撮影画像データに記録された風景に所定の種別の物体が含まれているか否かを判定し、所定の種別の物体が当該風景に含まれている場合にはその物体の撮影画像データにおける範囲を検出する。また、本発明は、撮影画像データを分析し、撮影画像データを構成する各画素の深度を検出する。そして、本発明は、撮影画像データにおける所定の種別の物体の範囲に属する各画素の深度を認識し、その範囲に属する各画素の深度に基づいて、その物体までの距離を測定するようにしている。更に本発明は、カメラが撮影結果に基づいて撮影画像データを出力したときに、深度の検出より前に撮影画像データに記録された風景に所定の種別の物体が含まれているか否かの判定を行い、当該所定の種別の物体が含まれていると判定した場合、撮影画像データを構成する各画素の深度を検出し、検出結果を利用してその物体までの距離を測定する一方、含まれていないと判定した場合、撮影画像データを構成する各画素の深度を検出する処理を実行しない。
【発明の効果】
【0008】
上記のように構成した本発明によれば、カメラが出力する撮影画像データに基づいて、所定の種別の物体の認識とその物体までの距離の測定との双方が行われるため、物体認識のために必要なカメラのほかに、距離測定のための専用の装置を設ける必要がない。更に、本発明によれば、撮影画像データにおける所定の種別の物体の範囲が検出されると共に、その物体までの距離の測定は、その範囲に属する画像（画素群）に基づいて行われる。このため、撮影画像データにおいて物体が検出された範囲と、撮影画像データにおいて距離が測定される範囲とが常に一対一の関係となる。従って、物体認識の結果と距離測定の結果とを物体毎に関連付けるために、異なる次元の座標系の情報の対応関係を正確に整合させるといった複雑な処理を行う必要がない。つまり、本発明によれば、複雑な処理を行うことなく物体認識の結果と距離測定の結果とを物体毎に関連付けることができる。
【図面の簡単な説明】
【0009】
【図1】本発明の第１実施形態に係る画像分析システムの画像分析装置の機能構成例を示すブロック図である。
【図2】撮影画像データの一例を示す図である。
【図3】付加画像が付加された画像の一例を示す図である
【図4】本発明の第１実施形態に係る画像分析システムの画像分析装置の動作例を示すフローチャートである。
【図5】本発明の第１実施形態に係る画像分析システムの画像分析装置の動作例を示すフローチャートである。
【図6】本発明の第２実施形態に係る画像分析システムの画像分析装置の機能構成例を示すブロック図である。
【発明を実施するための形態】
【0010】
＜第１実施形態＞
以下、本発明の第１実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像分析システム１の画像分析装置２の機能構成例を示すブロック図である。画像分析装置２は車両に搭載される。以下、画像分析装置２が搭載された車両を「自車両」という。
以下、本発明の第１実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像分析システム１の画像分析装置２の機能構成例を示すブロック図である。画像分析装置２は車両に搭載される。以下、画像分析装置２が搭載された車両を「自車両」という。
【0011】
図１に示すように、画像分析装置２にはリアカメラ３が接続されている。リアカメラ３は、自車両の後端部であって、幅方向の中央部に設けられ、自車両の後方を撮影する撮影装置である。リアカメラ３は、魚眼レンズ（広角レンズ）を有する単眼の撮影装置である。リアカメラ３は、所定の周期で撮影を実行し、撮影結果に基づく撮影画像データを生成し、出力する。リアカメラ３は、特許請求の範囲の「カメラ」に相当する。図１に示すように、画像分析装置２には表示装置４が接続されている。表示装置４は、液晶ディスプレイや有機ＥＬパネルといった表示パネルであり、ダッシュボードの中央部に設けられている。また、画像分析装置２には車内に音声を出力するスピーカ５が接続されている。
【0012】
図１に示すように、画像分析装置２は、機能構成として、撮影画像データ取得部６、物体認識部７、深度検出部８、距離測定部９、表示制御部１０および通知部１１を備えている。上記各機能ブロック６～１１は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック６～１１は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
【0013】
撮影画像データ取得部６は、リアカメラ３から撮影画像データを所定の周期で入力する。撮影画像データ取得部６は、リアカメラ３から撮影画像データを入力する度に以下の処理を実行する。すなわち、撮影画像データ取得部６は、撮影画像データを入力すると、撮影画像データに対して、魚眼レンズに由来する歪みの歪み補正、および、所定距離の投影面への投影を少なくとも含む画像処理を施す。この画像処理は、例えば、リアカメラ３の配置位置および配置角度や、リアカメラ３の仕様（投影方法や、画角、ディストーション、解像度等）、投影面の距離等を反映して設定されたマッピングテーブルに基づいて実行される。撮影画像データ取得部６は、画像処理を施した撮影画像データを物体認識部７、深度検出部８および表示制御部１０に出力する。
【0014】
撮影画像データ取得部６がある１つの撮影画像データを出力すると、物体認識部７、深度検出部８、距離測定部９、表示制御部１０および通知部１１は連関してその１つの撮影画像データに基づく処理を実行する。以下、撮影画像データ取得部６が撮影画像データＤ１を出力した場合の上記各機能ブロックの処理について説明する。
【0015】
物体認識部７は、撮影画像データ取得部６から撮影画像データＤ１を入力すると、以下の処理を実行する。すなわち、物体認識部７は、撮影画像データＤ１を分析し、撮影画像データＤ１に記録された風景に、種別が人間＜種別＞である物体と、種別が車両＜種別＞である物体とのうち少なくとも一方が含まれているか否かを判定する。以下、種別が人間＜種別＞である物体および種別が車両＜種別＞である物体を総称して「検出対象物体」という。更に物体認識部７は、検出対象物体が当該風景に含まれている場合には、その検出対象物体の撮影画像データＤ１における範囲（検出対象物体が複数存在する場合には、複数の検出対象物体のそれぞれについての範囲）を検出する。
【0016】
本実施形態において、検出対象物体の撮影画像データＤ１における範囲は、矩形の範囲である。そして、物体認識部７は、当該範囲を、撮影画像データＤ１を構成する各画素の位置を定義するための座標系Ｚ（全ての画素がこの座標系Ｚの座標によって一意に特定されることになる）における当該範囲の四隅の各画素の座標として検出する。なお、検出対象物体の種別は本実施形態で例示するもの（車両＜種別＞および人間＜種別＞）に限られないことは勿論である。例えば、種別は、標識や、壁、中央分離帯等であってもよい。
【0017】
図２は、撮影画像データＤ１の一例を説明に適した態様で示す図である。図２の例では、撮影画像データＤ１に記録された風景に自車両に後続する車両Ｘ１が含まれている。図２の例の場合、物体認識部７は、撮影画像データＤ１に記録された風景に検出対象物体が含まれていると判定する。更に物体認識部７は、撮影画像データＤ１における車両Ｘ１の範囲Ｈ１を検出する。図２で示すように、範囲Ｈ１は車両Ｘ１を囲む矩形の範囲である。
【0018】
本実施形態では、物体認識部７は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）を用いた物体認識アルゴリズムに基づくモデルを使用して撮影画像データＤ１を分析し、検出対象物体が含まれているか否かの判定および検出対象物体の範囲の検出を実行する。物体認識アルゴリズムは、例えば、Ｒ－ＣＮＮやＳＰＰ－ｎｅｔ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｍａｓｋ Ｒ－ＣＮＮである。十分に学習されたモデルを使用することにより、高い精度で上記処理を行うことができる。
【0019】
次いで、物体認識部７は、以下の内容の物体認識結果情報を生成し、距離測定部９に出力する。すなわち、撮影画像データＤ１に係る風景に検出対象物体が含まれていない場合、物体認識部７は、撮影画像データＤ１に係る風景に検出対象物体が含まれていないことを示す物体認識結果情報を出力する。一方、撮影画像データＤ１に係る風景に検出対象物体が含まれている場合、物体認識部７は、撮影画像データＤ１における検出対象物体の範囲を示す情報（以下、検出対象物体の範囲を「検出対象物体範囲」といい、検出対象物体範囲を示す情報を「検出範囲情報」という）と、検出対象物体の種別を示す情報（以下、「検出種別情報」という）とを含む物体認識結果情報を出力する。本実施形態では、検出範囲情報は、座標系Ｚにおける検出対象物体範囲の四隅の各画素の座標を示す情報である。検出種別情報は、例えば、種別毎に予め定められた識別情報である。
【0020】
深度検出部８は、撮影画像データ取得部６から撮影画像データＤ１を入力すると、以下の処理を実行する。すなわち、深度検出部８は、撮影画像データＤ１を分析し、撮影画像データＤ１を構成する各画素（撮影画像データＤ１の全ての画素）の深度を検出する。特に、本実施形態では、深度検出部８は、物体認識部７が検出対象物体範囲を検出する際に用いた座標系Ｚを利用して、各画素の深度を検出する。この結果、深度検出部８により、撮影画像データＤ１を構成する各画素について、座標系Ｚの座標として定義された位置とその深度とが関連付けて把握される。
【0021】
本実施形態では、深度検出部８は、畳み込みニューラルネットワークを用いた深度推定アルゴリズムに基づくモデルを使用して撮影画像データＤ１を分析し、各画素の深度を検出する。深度推定アルゴリズムは、例えば、ＣＮＮ－Ｄｅｐｔｈである。十分に学習されたモデルを使用することにより、高い精度で上記検出を行うことができる。
【0022】
次いで、深度検出部８は、以下の内容の深度検出結果情報を生成し、距離測定部９に出力する。すなわち、深度検出部８は、撮影画像データＤ１を構成する各画素について、その深度と座標系Ｚにおける位置座標との対応関係を示す深度検出結果情報を出力する。
【0023】
以上のように、リアカメラ３の撮影画像データＤ１の出力に応じて、物体認識部７による物体認識結果情報の距離測定部９への出力と、深度検出部８による深度検出結果情報の距離測定部９への出力とが同期して行われる。
【0024】
距離測定部９は、物体認識部７から撮影画像データＤ１に係る物体認識結果情報を入力すると共に、これと同期して深度検出部８から撮影画像データＤ１に係る深度検出結果情報を入力する。そして、距離測定部９は、これら情報に基づいて以下の処理を実行する。
【0025】
すなわち、距離測定部９は、物体認識部７から入力した物体認識結果情報の内容を判定する。そして、物体認識結果情報が撮影画像データＤ１に係る風景に検出対象物体が含まれていないことを示す情報である場合、距離測定部９は、物体認識結果情報および深度検出結果情報を破棄し、対応する処理を実行しない。この場合、表示制御部１０への付加画像関連情報の出力および通知部１１への通知関連情報の出力（何れも後述）は行われない。
【0026】
一方、物体認識結果情報が、検出範囲情報および検出種別情報を含む情報である場合、距離測定部９は、物体認識部７および深度検出部８の分析結果に基づいて、撮影画像データＤ１から検出された検出対象物体の範囲に属する各画素の深度を認識し、その範囲に属する各画素の深度に基づいて、検出対象物体までの距離を測定する距離測定処理を実行する。以下、距離測定部９の距離測定処理について詳述する。
【0027】
距離測定処理において、距離測定部９は、物体認識部７から入力した物体認識結果情報（物体認識部７の分析結果に相当）に含まれる検出範囲情報を取得し、当該情報に基づいて検出対象物体範囲（撮影画像データＤ１における検出対象物体の範囲。より具体的には、座標系Ｚにおいて、四隅の画素の座標により規定される矩形の領域の範囲）を認識する。次いで、距離測定部９は、認識した検出対象物体範囲と、深度検出部８から入力した深度検出結果情報（深度検出部８の分析結果に相当）とに基づいて、検出対象範囲に属する各画素の深度を認識する。図２の例の場合、距離測定部９は、範囲Ｈ１に属する各画素の深度を認識する。ここで、検出範囲情報および深度検出結果情報は共に座標系Ｚの座標として撮影画像データＤ１の画素の位置を定義している情報であり、距離測定部９が深度検出結果情報に基づいて検出対象範囲に属する各画素の深度を認識する処理は、非常に簡素な処理である。次いで、距離測定部９は、検出対象物体範囲に属する各画素の深度に基づいて、現実世界におけるリアカメラ３から検出対象物体までの距離を測定する。
【0028】
検出対象物体までの距離の測定は、物体の種別毎に予め定められた方法で行われる。例えば、検出対象物体が自車両に後続する車両（つまり、種別が車両＜種別＞の物体）である場合、フロントガラスの領域とバンパの領域との存在に起因して、画素の深度の分布が特徴的な分布となる。これを踏まえ、後続車両についての検出対象物体までの距離を検出する方法は、例えば、画素の深度の分布に基づいてバンパの領域（当然、フロントガラスの領域であってもよい）が特定され、この領域に属する画素の深度に統計的処理（例えば、平均を含む処理）が施されて検出対象物体までの距離が測定されるような方法とされる。以上が距離測定処理の説明である。
【0029】
検出対象物までの距離を測定した後、距離測定部９は、検出範囲情報と検出種別情報と検出対象物体までの距離を示す情報（以下、「物体距離情報」という）とを含む付加画像関連情報を表示制御部１０に出力する。更に距離測定部９は、物体距離情報と検出識別情報とを含む通知関連情報を通知部１１に出力する。
【0030】
以上の処理が距離測定部９により実行される結果、自車両の後方において自車両を基点とする所定範囲（リアカメラ３の撮影範囲に含まれる範囲）内に検出対象物体が存在する場合には、その検出対象物体と自車両との位置関係をリアルタイムに反映して、その検出対象物体に係る付加画像関連情報が所定周期で継続して表示制御部１０に出力されると共に、その検出対象物体に係る物体距離情報が所定周期で継続して通知部１１に出力される。
【0031】
以上のように本実施形態に係る画像分析システム１の画像分析装置２は、車外を撮影するリアカメラ３の撮影結果に基づく撮影画像データを分析することによって、撮影画像データに記録された風景に所定の種別の物体が含まれているか否かを判定し、所定の種別の物体が当該風景に含まれている場合にはその物体の撮影画像データにおける範囲を検出する。更に画像分析装置２は、撮影画像データを分析し、撮影画像データを構成する各画素の深度を検出する。そして、画像分析装置２は、撮影画像データにおける所定の種別の物体の範囲に属する各画素の深度を認識し、その範囲に属する各画素の深度に基づいて、その物体までの距離を測定するようにしている。
【0032】
この構成によれば、リアカメラ３が出力する撮影画像データに基づいて、検出対象物体の検出とその検出対象物体までの距離の検出との双方が行われるため、検出対象物体の検出のために必要なリアカメラ３のほかに、距離測定のための専用の装置を設ける必要がない。更に上記構成によれば、撮影画像データにおける検出対象物体の範囲が検出されると共に、その検出対象物体までの距離の測定は、その範囲に属する画像（画素群）を対象として行われる。このため、撮影画像データにおいて物体が検出された範囲と、撮影画像データにおいて距離が測定される範囲とが常に一対一の関係となる。従って、本実施形態によれば、複雑な処理を行うことなく物体認識の結果と距離測定の結果とを物体毎に関連付けることができる。
【0033】
特に、本実施形態では、物体認識および距離測定の双方にアルゴリズムとしてＣＮＮを用いている。周知の通り、ＣＮＮを用いた物体認識では画像データが展開される２次元座標系の範囲として物体の範囲を検出でき、また、ＣＮＮを用いた距離測定は２次元座標系に展開された画像データの画素毎の深度を検出することができる。これを踏まえ、本実施形態では、物体認識および距離測定の双方にアルゴリズムとしてＣＮＮを用いることにより、共通する座標系Ｚを利用した簡素な処理で、撮影画像データにおいて所定の２次元座標系で範囲が特定される物体までの距離を検出することを実現している。
【0034】
表示制御部１０は、基本的には以下の処理を実行する。すなわち、表示制御部１０は、撮影画像データ取得部６から所定周期で撮影画像データを入力する。次いで、表示制御部１０は、撮影画像データを入力する度に、ＶＲＡＭ等に形成されたバッファに撮影画像データを展開し、表示装置４に撮影画像データの画像（リアカメラ３の撮影結果に基づく画像）を表示する。以上の処理により、表示装置４には、リアカメラ３の撮影結果をリアルタイムに反映した映像（動画）が表示される。
【0035】
上記処理に加え、表示制御部１０は、撮影画像データの入力と同期して、距離測定部９から付加画像関連情報を入力した場合には、以下の処理を実行する。すなわち、表示制御部１０は、撮影画像データをバッファに展開する。そして、表示制御部１０は、付加画像関連情報に含まれる検出範囲情報に基づいて、検出対象物体の範囲を示す画像をバッファに展開した撮影画像データに付加する。更に表示制御部１０は、付加画像関連情報に含まれる検出種別情報に基づいて、検出対象物体の種別を示す情報をバッファに展開した撮影画像データに付加する。更に表示制御部１０は、付加画像関連情報に含まれる物体距離情報に基づいて、検出対象物体までの距離を示す情報をバッファに展開した撮影画像データに付加する。その後、表示制御部１０は、バッファに展開された画像データに基づいて表示装置４に画像を表示する。以下、検出対象物体の範囲を示す画像、検出対象物体の種別を示す情報および検出対象物体までの距離を示す情報を総称して、「付加画像」という。
【0036】
図３は、図２で例示した撮影画像データＤ１と同期して所定の内容の付加画像関連情報を表示制御部１０が入力した場合に、撮影画像データＤ１とその付加画像関連情報とに基づいて表示装置４に表示される付加画像の一例を示す図である。図３の例において、画像Ｑ１は、検出対象物体の範囲を示す画像であり、範囲Ｈ１（図２参照）に沿って検出対象物体（本例では車両Ｘ１）を囲む矩形の枠として構成されている。また、情報Ｊ１は、検出対象物体の種別を示す情報であり、情報Ｊ２は、検出対象物体までの距離を示す情報である。図３に示すように、情報Ｊ１および情報Ｊ２は共に、画像Ｑ１と関連付けられ、情報Ｊ１および情報Ｊ２が枠状の画像Ｑ１内の物体に関する情報であることが明示された状態で表示されている。
【0037】
以上の処理が行われる結果、自車両を基点とする所定範囲（リアカメラ３の撮影範囲に含まれる範囲）内に検出対象物体が存在する場合には、表示装置４に表示された映像には検出対象物体の画像と関連付けて、その検出対象物体に係る付加画像が付加された状態となる。運転手（搭乗者）は、付加画像を確認することにより、表示装置４に表示された映像における検出対象物体の位置、検出対象物体までの距離および検出対象物体の種別を迅速かつ的確に認識できる。
【0038】
通知部１１は、距離測定部９が通知関連情報を出力する度に、距離測定部９から通知関連情報を入力する。通知部１１は、通知関連情報に含まれる物体距離情報を継続して分析することによって検出対象物体毎に距離の変化を監視し、ある検出対象物体までの距離が予め定められた閾値よりも近くなったときに、スピーカ５を駆動して運転手に対して音声により警告（通知）を行う。通知部１１は、通知関連情報に含まれる検出種別情報に基づいて、検出対象物体の種別に応じた情報を警告として音声出力する。警告は、例えば、物体の種別によって態様が異なる所定態様の電子音であり、また例えば「車両に後続車両が接近しています」といった内容の文言の音声を出力するものである。運転手は、警告に基づいて、自車両に接近する物体が存在することおよびその物体の種別を認識できる。
【0039】
次いで、本実施形態に係る画像分析システム１の画像分析装置２の動作例についてフローチャートを用いて説明する。図４、５は、リアカメラ３が１つの撮影画像データを出力した場合の画像分析装置２の動作を示すフローチャートである。図４（Ａ）のフローチャートＦＡは撮影画像データ取得部６の動作を示し、図４（Ｂ）のフローチャートＦＢは物体認識部７の動作を示し、図４（Ｃ）のフローチャートＦＣは深度検出部８の動作を示している。また、図５（Ａ）のフローチャートＦＤは距離測定部９の動作を示し、図５（Ｂ）のフローチャートＦＥは表示制御部１０の動作を示し、図５（Ｃ）のフローチャートＦＦは通知部１１の動作を示している。
【0040】
図４（Ａ）のフローチャートＦＡに示すように、撮影画像データ取得部６は、リアカメラ３から撮影画像データを入力する（ステップＳＡ１）。次いで、撮影画像データ取得部６は、撮影画像データに対して、魚眼レンズに由来する歪みの歪み補正等の画像処理を施す（ステップＳＡ２）。次いで、撮影画像データ取得部６は、画像処理を施した撮影画像データを物体認識部７、深度検出部８および表示制御部１０に出力する（ステップＳＡ３）。
【0041】
図４（Ｂ）のフローチャートＦＢに示すように、物体認識部７は、撮影画像データ取得部６から撮影画像データＤ１を入力すると（ステップＳＢ１）、撮影画像データＤ１を分析し、撮影画像データＤ１に記録された風景に検出対象物体が含まれているか否かを判定する（ステップＳＢ２）。次いで、物体認識部７は、ステップＳＢ２の判定結果を踏まえて物体認識結果情報を生成する（ステップＳＢ３）。物体認識結果情報は、撮影画像データＤ１に係る風景に検出対象物体が含まれていない場合、そのことを示す情報であり、一方、含まれている場合、検出範囲情報と検出種別情報とを含む情報である。物体認識部７は、ステップＳＢ３で生成した物体認識結果情報を距離測定部９に出力する（ステップＳＢ４）。
【0042】
図４（Ｃ）のフローチャートＦＣに示すように、深度検出部８は、撮影画像データ取得部６から撮影画像データＤ１を入力すると（ステップＳＣ１）、撮影画像データＤ１を分析し、撮影画像データＤ１を構成する各画素（撮影画像データＤ１の全ての画素）の深度を検出する（ステップＳＣ２）。次いで、深度検出部８は、撮影画像データＤ１を構成する各画素について、その深度と座標系Ｚにおける位置座標との対応関係を示す深度検出結果情報を生成する（ステップＳＣ３）。次いで、深度検出部８は、ステップＳＣ３で生成した深度検出結果情報を距離測定部９に出力する（ステップＳＣ４）。
【0043】
図５（Ａ）のフローチャートＦＤに示すように、距離測定部９は、物体認識部７から撮影画像データＤ１に係る物体認識結果情報を入力すると共に、これと同期して深度検出部８から撮影画像データＤ１に係る深度検出結果情報を入力する（ステップＳＤ１）。次いで、距離測定部９は、物体認識部７から入力した物体認識結果情報が、検出範囲情報および検出種別情報を含む情報であるか否かを判定する（ステップＳＤ２）。物体認識結果情報が検出範囲情報および検出種別情報を含む情報ではない場合（＝物体認識結果情報が撮影画像データＤ１に係る風景に検出対象物体が含まれていないことを示す情報である場合）（ステップＳＤ２：ＮＯ）距離測定部９は、物体認識結果情報および深度検出結果情報を破棄し、対応する処理を実行しない（ステップＳＤ３）。ステップＳＤ３の処理後、フローチャートＦＤの処理は終了する。
【0044】
一方、物体認識結果情報が、検出範囲情報および検出種別情報を含む情報である場合（ステップＳＤ２：ＹＥＳ）、距離測定部９は、物体認識部７および深度検出部８の分析結果に基づいて、撮影画像データＤ１から検出された検出対象物体の範囲に属する各画素の深度を認識し、その範囲に属する各画素の深度に基づいて、検出対象物体までの距離を測定する（＝距離測定処理を実行する）（ステップＳＤ４）。次いで、距離測定部９は、検出範囲情報と検出種別情報と物体距離情報とを含む付加画像関連情報を表示制御部１０に出力する（ステップＳＤ５）。更に距離測定部９は、物体距離情報と検出識別情報とを含む通知関連情報を通知部１１に出力する（ステップＳＤ６）。ステップＳＤ５の処理とステップＳＤ６との処理は順不同であり、同時に行われてもよい。
【0045】
図５（Ｂ）のフローチャートＦＥに示すように、表示制御部１０は、撮影画像データ取得部６から撮影画像データを入力し、これと同期して距離測定部９から付加画像関連情報を入力する（ステップＳＥ１）。次いで、表示制御部１０は、撮影画像データをバッファに展開する（ステップＳＥ２）。次いで、表示制御部１０は、付加画像関連情報に含まれる検出範囲情報に基づいて、検出対象物体の範囲を示す画像をバッファに展開した撮影画像データに所定態様で付加する（ステップＳＥ３）。更に表示制御部１０は、付加画像関連情報に含まれる検出種別情報に基づいて、検出対象物体の種別を示す情報をバッファに展開した撮影画像データに所定態様で付加する（ステップＳＥ４）。更に表示制御部１０は、付加画像関連情報に含まれる物体距離情報に基づいて、検出対象物体までの距離を示す情報をバッファに展開した撮影画像データに所定態様で付加する（ステップＳＥ５）。ステップＳＥ３、ＳＥ４、ＳＥ５の処理は順不同であり、同時に行われてもよい。次いで、表示制御部１０は、バッファに展開された画像データに基づいて表示装置４に画像を表示する（ステップＳＥ６）。
【0046】
図５（Ｃ）のフローチャートＦＦに示すように、通知部１１は、距離測定部９から通知関連情報を入力する（ステップＳＦ１）。通知部１１は、ある検出対象物体までの距離が予め定められた閾値よりも短くなったか否かを判定する（ステップＳＦ２）。閾値よりも短くなっていない場合（ステップＳＦ２：ＮＯ）、フローチャートＦＦの処理は終了する。閾値よりも短くなった場合（ステップＳＦ２：ＹＥＳ）、通知部１１は、スピーカ５を駆動して運転手に対して音声により警告（通知）を行う（ステップＳＦ３）。
【0047】
＜第２実施形態＞
次に第２実施形態について説明する。図６は、第２実施形態に係る画像分析システム１Ａの画像分析装置２Ａの機能構成例を示すブロック図である。以下の第２実施形態の説明では、第１実施形態と同様の要素については同一の符号を付し、その説明を省略する。
次に第２実施形態について説明する。図６は、第２実施形態に係る画像分析システム１Ａの画像分析装置２Ａの機能構成例を示すブロック図である。以下の第２実施形態の説明では、第１実施形態と同様の要素については同一の符号を付し、その説明を省略する。
【0048】
図１と図６との比較で明らかな通り、本実施形態に係る画像分析装置２Ａは、第１実施形態に係る撮影画像データ取得部６に代えて撮影画像データ取得部６Ａを備え、第１実施形態に係る物体認識部７に代えて物体認識部７Ａを備え、第１実施形態に係る深度検出部８に代えて深度検出部８Ａを備え、第１実施形態に係る距離測定部９に代えて距離測定部９Ａを備えている。
【0049】
撮影画像データ取得部６Ａは、リアカメラ３から撮影画像データを所定の周期で入力し、画像処理を施した撮影画像データを所定の周期で物体認識部７Ａおよび表示制御部１０に出力する（深度検出部８Ａには出力しない）。以下、撮影画像データ取得部６Ａが撮影画像データＤ２を物体認識部７Ａに出力したものとして、各機能ブロックの処理を説明する。
【0050】
物体認識部７Ａは、撮影画像データ取得部６Ａから撮影画像データＤ２を入力すると、撮影画像データＤ２に基づいて第１実施形態と同様の方法で物体認識結果情報を生成し、距離測定部９Ａに応答する。本実施形態では、物体認識部７Ａは、物体認識結果情報が検出範囲情報および検出種別情報を含む情報である場合、物体認識結果情報と共に撮影画像データＤ２を距離測定部９Ａに出力する。
【0051】
距離測定部９Ａは、物体認識部７Ａから物体認識結果情報を入力すると、この物体認識結果情報の内容を判定する。物体認識結果情報が撮影画像データＤ２に係る風景に検出対象物体が含まれていないことを示す情報である場合、距離測定部９Ａは、物体認識結果情報を破棄し、対応する処理を実行しない。この場合、距離測定部９Ａによって、深度検出部８Ａへの深度検出結果情報の応答の要求、表示制御部１０への付加画像関連情報の出力および通知部１１への通知関連情報の出力は何れも行われない。
【0052】
一方、物体認識結果情報が検出範囲情報および検出種別情報を含む情報である場合、距離測定部９Ａは、物体認識部７Ａから入力した撮影画像データＤ２を深度検出部８Ａに出力すると共に、深度検出部８Ａに深度検出結果情報の応答を要求する。
【0053】
深度検出部８Ａは、距離測定部９Ａから深度検出結果情報の応答の要求があると、距離測定部９Ａから入力した撮影画像データＤ２に基づいて第１実施形態と同様の方法で深度検出結果情報を生成し、距離測定部９Ａに応答する。
【0054】
距離測定部９Ａは、深度検出部８Ａから深度検出結果情報を入力すると、物体認識部７Ａから入力した物体認識結果情報および深度検出部８Ａから入力した深度検出結果情報に基づいて、第１実施形態と同様の方法で検出対象物体までの距離を測定する。次いで、距離測定部９Ａは、付加画像関連情報を表示制御部１０に出力し、更に通知関連情報を通知部１１に出力する。
【0055】
本実施形態の構成によれば、第１実施形態で説明した効果に加え、以下の効果を奏する。すなわち、深度検出部８Ａによる各画素の深度の検出に係る処理が、物体認識部７Ａにより撮影画像データに検出対象物体が含まれると判定された場合にのみ行われる。このため、深度検出部８Ａの処理が不必要に実行されることを防止でき、処理負荷の低減を図ることができる。特に、自車両の走行中は、その後方に検出対象物体が存在しない状態は少なからず現出することが想定されるため、効果的に処理負荷を低減できる。
【0056】
以上、本発明の実施形態を２つ説明したが、上記各実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0057】
例えば、第１実施形態において、図３を用いて付加画像の表示態様の一例を挙げたが、他の態様で付加画像が表示されてもよい。一例として、種別を示す情報および距離を示す情報について、撮影結果の映像の外側に専用の欄を設け、各情報がこの欄に表示される構成でもよい。また、検出対象物体の範囲を示す画像および種別を示す情報、距離を示す情報のうち、何れか１つまたは何れか２つのみが撮影画像データに付加され、表示される構成でもよい。以上のことは第２実施形態についても同様である。
【0058】
また、通知部１１の処理は、第１実施形態で例示した処理に限られない。例えば、通知部１１が検出対象物体までの距離が予め定められた閾値よりも近くなったときに、ＬＥＤ等の発光部材を所定の態様で発光させる構成としてもよく、また、表示装置４（他の表示手段であってもよい）に所定の情報を表示する構成としてもよい。以上のことは第２実施形態についても同様である。
【0059】
また、上記各実施形態では、ダッシュボードの中央部に設けられた表示パネル（表示装置４）が特許請求の範囲の「表示装置」として機能したが、表示装置は上記各実施形態で例示するものに限られない。一例として、電子ミラーシステムのモニタを特許請求の範囲の表示装置として機能させる構成でもよい。
【0060】
また、第１実施形態において画像分析装置２の機能ブロックが実行するとした処理の一部または全部を、画像分析装置２と外部装置とが協働して、または、外部装置が単独で実行する構成としてもよい。この場合、画像分析装置２と外部装置とが協働して画像分析システム１として機能する。一例として、画像分析装置２の距離測定部９の処理の一部または全部を、画像分析装置２と、この画像分析装置２とネットワークを介して通信可能なクラウドサーバとが協働して実行するようにしてもよく、また、クラウドサーバが単独で実行するようにしてもよい。以上のことは第２実施形態についても同様である。
【0061】
また、上記各実施形態では、リアカメラ３が特許請求の範囲の「カメラ」として機能した。しかしながら、カメラは上記各実施形態で例示したものに限られない。フロントカメラや、サイドカメラ等のカメラであってもよい。
【符号の説明】
【0062】
１、１Ａ 画像分析システム
２、２Ａ 画像分析装置
３ リアカメラ（カメラ）
４ 表示装置
７、７Ａ 物体認識部
８、８Ａ 深度検出部
９、９Ａ 距離測定部
１０ 表示制御部
１１ 通知部
２、２Ａ 画像分析装置
３ リアカメラ（カメラ）
４ 表示装置
７、７Ａ 物体認識部
８、８Ａ 深度検出部
９、９Ａ 距離測定部
１０ 表示制御部
１１ 通知部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
