特許 7505596 画像処理装置、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-17

(45)【発行日】2024-06-25

(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240618BHJP

   G06T 7/00 20170101ALI20240618BHJP

   G08G 1/16 20060101ALI20240618BHJP

【ＦＩ】

H04N7/18 J

G06T7/00 650A

G08G1/16 C

【請求項の数】 10

(21)【出願番号】P 2022572879

(86)(22)【出願日】2021-01-04

(86)【国際出願番号】 JP2021000031

(87)【国際公開番号】W WO2022145054

(87)【国際公開日】2022-07-07

【審査請求日】2023-07-03

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】五日市 大輝

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１９－０１４４０７（ＪＰ，Ａ）

【文献】特開２０１５－１７９３６８（ＪＰ，Ａ）

【文献】特開２００４－１９４１６９（ＪＰ，Ａ）

【文献】特開２０１５－１４９０２８（ＪＰ，Ａ）

【文献】国際公開第２０１２／１７２７１３（ＷＯ，Ａ１）

【文献】特開２０１３－１４２９７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

撮像装置で撮影された画像を取得する画像取得手段と、
前記画像に対して第１の画像処理を行う第１処理手段と、
前記画像の遠方部分を特定する遠方特定手段と、
前記画像の遠方部分に対する第２の画像処理として、前記画像の遠方部分を拡大し、拡大された画像に対して所定の処理を行い、当該所定の処理の処理結果を縮小する画像処理を行う第２処理手段と、
前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う出力手段と、を備える
画像処理装置。

【請求項2】

前記第１の画像処理の処理結果と前記第２の画像処理の処理結果とを合成する合成手段をさらに備える、
請求項１に記載の画像処理装置。

【請求項3】

前記第１処理手段は、前記第１の画像処理として領域認識を行い、
前記第２処理手段は、前記第２の画像処理における前記所定の処理として領域認識を行う
請求項１または２に記載の画像処理装置。

【請求項4】

前記第１の画像処理の処理結果と前記第２の画像処理の処理結果とを合成する合成手段を備え、
前記合成手段は、前記第１の画像処理において推定された被写体の種別と、前記第２の画像処理において推定された被写体の種別と、予め定められた被写体の種別の優先度とに基づいて、前記画像の遠方部分の各領域における被写体の種別を決定する、
請求項３に記載の画像処理装置。

【請求項5】

前記第２処理手段は、前記第２の画像処理として、前記画像の遠方部分に対して、第１の画像処理とは異なる設定を適用した画像処理を行う、
請求項１又は２に記載の画像処理装置。

【請求項6】

前記画像は道路を含む画像であって前記遠方特定手段は、前記画像における道路の消失点を推定し、当該道路の消失点を基準とする所定の部分を、前記画像の遠方部分として特定する、
請求項１乃至５のいずれか一項に記載の画像処理装置。

【請求項7】

前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づいて、道路の状況を認識するシーン認識手段をさらに備える、
請求項１乃至６のいずれか一項に記載の画像処理装置。

【請求項8】

深度データを取得する深度データ取得手段をさらに備え、
前記遠方特定手段は、前記深度データに基づいて前記画像における遠方部分を特定する、
請求項１乃至７のいずれか一項に記載の画像処理装置。

【請求項9】

画像処理装置が、
撮像装置で撮影された画像を取得し、
前記画像に対して第１の画像処理を行い、
前記画像の遠方部分を特定し、
前記画像の遠方部分に対する第２の画像処理として、前記画像の遠方部分を拡大し、拡大された画像に対して所定の処理を行い、当該所定の処理の処理結果を縮小する画像処理を行い、
前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う、
画像処理方法。

【請求項10】

コンピュータに、
撮像装置で撮影された画像を取得し、
前記画像に対して第１の画像処理を行い、
前記画像の遠方部分を特定し、
前記画像の遠方部分に対する第２の画像処理として、前記画像の遠方部分を拡大し、拡大された画像に対して所定の処理を行い、当該所定の処理の処理結果を縮小する画像処理を行い、
前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う処理を実行させる、
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及び記録媒体に関する。

【背景技術】

【0002】

コンピュータを用いた画像処理の技術は、広く普及している。画像処理の活用例として、車両に搭載されたカメラで撮影した画像に対して画像処理を行い、様々なサービスの提供に役立てる取り組みが行われている。例えば、特許文献１には、車両に搭載した後側方カメラによって撮影される画像のうち、運転者の関心の対象となる関心領域を拡大して合成表示することで、運転者にとって認識しやすい情報提示を行う画像処理装置が開示されている。

【0003】

ここで、画像処理には、画像に写されている内容を認識する画像認識が含まれる。このような画像認識の１つとして、領域認識（領域分割又はＳｅｇｍｅｎｔａｔｉｏｎとも呼ばれる）がある。領域認識は、画像を入力として、画像に含まれる各領域について、その領域に表される被写体の種別を推定する技術である。このような領域認識の例として、非特許文献１が挙げられる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１２９８３３号公報

【非特許文献】

【0005】

【文献】Ｓ. Ｓｃｈｕｌｔｅｒ ｅｔ ａｌ.、“Ｌｅａｒｎｉｎｇ ｔｏ Ｌｏｏｋ ａｒｏｕｎｄ Ｏｂｊｅｃｔｓ ｆｏｒ Ｔｏｐ－Ｖｉｅｗ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｏｆ Ｏｕｔｄｏｏｒ Ｓｃｅｎｅｓ”、ＥＣＣＶ、２０１８、ｐｐ．８１５－８３１

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の発明者は、画像処理において、以下のような課題を見出した。撮影された画像において、遠方にある被写体が画像の中で占める部分は小さい。そのような小さい部分については、画像処理によって容易に認識できない場合も多い。即ち、撮影された画像に対して画像処理を行う場合において、遠方の被写体を精度よく認識することが困難である、という課題がある。

【0007】

ここで、引用文献１に開示された画像処理装置は、あくまで運転者の関心の対象となる関心領域を運転者にとって視認しやすく表示するものである。即ち、遠方にある被写体を精度よく認識するという、上記の課題を解決するものではない。

【0008】

本発明の目的の１つは、上記の課題を解決し、撮影された画像に対して画像処理を行う場合において、遠方の被写体を精度よく認識することができる、画像処理装置、画像処理方法及び記録媒体を提供することである。

【課題を解決するための手段】

【0009】

本開示の一態様における画像処理装置は、撮像装置で撮影された画像を取得する画像取得手段と、前記画像に対して第１の画像処理を行う第１処理手段と、前記画像の遠方部分を特定する遠方特定手段と、前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行う第２処理手段と、前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う出力手段と、を備える。

【0010】

本開示の一態様における画像処理方法は、画像処理装置が、撮像装置で撮影された画像を取得し、前記画像に対して第１の画像処理を行い、前記画像の遠方部分を特定し、前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行い、前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う。

【0011】

本開示の一態様における記録媒体は、コンピュータに、撮像装置で撮影された画像を取得し、前記画像に対して第１の画像処理を行い、前記画像の遠方部分を特定し、前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行い、前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う処理を実行させるプログラムを記録する。

【発明の効果】

【0012】

本開示によれば、撮影された画像に対して画像処理を行う場合において、遠方の被写体を精度よく認識することができる。

【図面の簡単な説明】

【0013】

【図1】第１の実施形態における、画像処理システムの構成の例を示す図である。

【図2】第１の実施形態における、画像処理装置１０の機能ブロックの例を示す図である。

【図3】第１の実施形態における、画像処理装置１０の動作の例を示すフローチャートである。

【図4】第１の実施形態における、取得された画像の例を示す図である。

【図5】第１の実施形態における、領域認識の処理結果の例を示す図である。

【図6】第１の実施形態における、遠方特定部１２２の動作の例を示すフローチャートである。

【図7】第１の実施形態における、道路の消失点の例を示す図である。

【図8】第１の実施形態における、道路の消失点の推定の例を示す図である。

【図9】第１の実施形態における、道路の消失点の推定の他の例を示す図である。

【図10】第１の実施形態における、画像の遠方部分の例を示す図である。

【図11】第１の実施形態における、画像の遠方部分の候補の例を示す図である。

【図12】第１の実施形態における、第２の画像処理の例を示す図である。

【図13】第１の実施形態における、第２の画像処理の処理結果の例を示す図である。

【図14】第１の実施形態における、処理結果の縮小の例を示す図である。

【図15】第１の実施形態における、合成処理結果の例を示す図である。

【図16】第１の実施形態における、シーン認識結果の例を示す図である。

【図17】第１の実施形態における、シーン認識結果の他の例を示す図である。

【図18】第２の実施形態における、画像処理装置１０の機能ブロックの例を示す図である。

【図19】第２の実施形態における、画像処理装置１０の動作の例を示すフローチャートである。

【図20】第２の実施形態における、深度データの例を示す図である。

【図21】第２の実施形態における、遠方特定部１２２の動作の例を示すフローチャートである。

【図22】第２の実施形態における、遠方特定部１２２の動作の他の例を示すフローチャートである。

【図23】第３の実施形態における、画像処理装置１０の機能ブロックの例を示す図である。

【図24】第３の実施形態における、画像処理装置１０の動作の例を示すフローチャートである。

【図25】コンピュータ１０００のハードウェア構成の例を示すブロック図である。

【発明を実施するための形態】

【0014】

本発明の実施形態について、図面を参照して詳細に説明する。なお、各図面、及び、明細書記載の各実施形態において、同様の構成要素には同一の符号を付与し、説明を適宜省略する。

【0015】

［第１の実施形態］
第１の実施形態について説明する。

【0016】

＜構成の説明＞
まず、第１の実施形態の構成について説明する。

【0017】

図１は、第１の実施形態における画像処理システムの構成を示す図である。図１を参照すると、画像処理システムは、画像処理装置１０と、撮像装置２０とを備える。画像処理装置１０と撮像装置２０は、通信可能に接続される。

【0018】

画像処理装置１０は、撮像装置２０によって撮影された画像を取得し、当該画像に対して画像処理を行い、処理結果に基づいて出力を行う。画像処理装置１０は、例えば、車両に搭載されたコンピュータとして実現される。しかし、これに限らず、画像処理装置１０は、例えば、データセンター等に設置されたサーバとして実現されてもよい。

【0019】

撮像装置２０は、画像を撮影する。撮像装置２０は、例えば、車両に搭載されたドライブレコーダーのカメラである。この場合、撮像装置２０は、当該車両の周囲、例えば前方を撮影した画像を生成する。しかし、これに限らず、撮像装置２０は、例えば、道路の路側に設置されたカメラであってもよいし、施設の内部に設置されたカメラであってもよい。また、撮像装置２０が撮影する画像は、静止画であってもよいし、時間的に連続する複数フレームの画像（動画）であってもよい。

【0020】

画像処理装置１０と撮像装置２０とは、有線ＬＡＮや内部バス通信等の有線通信で接続されてよく、また、無線ＬＡＮや近距離通信等の無線通信で接続されてもよい。例えば、画像処理装置１０と撮像装置２０とが同一の車両に搭載される場合、画像処理装置１０と撮像装置２０とは車両の内部バスによって接続されてよいが、これに限られない。

【0021】

また、１つの画像処理システムにおいて、画像処理装置１０と撮像装置２０とが複数存在してもよい。この場合、画像処理装置１０と撮像装置２０とは、必ずしも１対１で接続される必要はなく、１対多又は多対多で接続され得る。例えば、１つ画像処理装置１０に対して、複数の撮像装置２０が接続されてもよい。

【0022】

図２は、第１の実施形態における、画像処理装置１０の機能ブロックを示す図である。図２を参照すると、画像処理装置１０は、画像取得部１１０、画像処理部１２０、シーン認識部１３０、出力部１４０を備える。

【0023】

画像取得部１１０は、撮像装置２０によって撮影された画像を取得する手段として機能する。

【0024】

画像処理部１２０は、取得された画像に対して画像処理を行い、処理結果を生成する手段として機能する。画像処理部１２０は、さらに、第１処理部１２１、遠方特定部１２２、第２処理部１２３、合成部１２４を備える。

【0025】

第１処理部１２１は、取得された画像に対して、所定の第１の画像処理を行う手段として機能する。

【0026】

画像のうち、第１処理部１２１による第１の画像処理の処理対象となる範囲は、例えば、画像の全体である。しかし、これに限らず、第１処理部１２１は、マスク処理等を用いて、画像の一部の範囲（例えば画像の遠方部分）を、第１の画像処理の処理対象から除外してもよい。

【0027】

第１処理部１２１が行う第１の画像処理としては、種々のものを用いることができる。例えば、第１処理部１２１は、第１の画像処理として領域認識を行うことができる。第１の実施形態では、主に、第１の画像処理として領域認識を行う場合を例として説明する。

【0028】

第１処理部１２１は、上記の第１の画像処理を行った結果として、第１の処理結果を生成する。

【0029】

遠方特定部１２２は、取得された画像から遠方部分を特定する手段として機能する。

【0030】

ここで、遠方部分とは、画像のうち、遠方に存在する被写体を含む部分である。遠方部分は、例えば、画像のうち、遠方に存在する被写体を含む矩形で表される。しかし、これに限らず、遠方部分は、矩形以外の多角形、円、楕円、その他の形状で表されてもよい。また、遠方部分は、このような画像の中の連続した単一の形状に限らず、離散した複数の形状であってもよい。

【0031】

遠方特定部１２２は、遠方部分を特定した結果として、当該遠方部分を所定の形式で表現した遠方特定情報を生成する。遠方部分が矩形である場合、遠方特定情報は、例えば、画像における当該矩形の各点の座標である。

【0032】

第２処理部１２３は、上記の遠方特定情報に基づいて、取得された画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行う手段として機能する。

【0033】

第２処理部１２３が行う第２の画像処理としては、種々のものを用いることができる。例えば、第２処理部１２３は、第２の画像処理として、画像の遠方部分を拡大し、拡大された画像に対して所定の処理を行い、当該所定の処理の処理結果を縮小する処理を用いることができる。また、例えば、第２処理部１２３は、第２の画像処理として、画像の遠方部分に対して第１の画像処理とは異なる設定を適用した画像処理を用いることができる。

【0034】

第２処理部１２３は、上記のような所定の第２の画像処理を行った結果として、第２の処理結果を生成する。

【0035】

合成部１２４は、上記の第１の処理結果と第２の処理結果とを合成する手段として機能する。合成部１２４は、合成の結果である合成処理結果を生成する。

【0036】

シーン認識部１３０は、上記の第１の処理結果及び第２の処理結果と、上記の合成処理結果との少なくともいずれかに基づいて、シーン認識を行う手段として機能する。ここで、シーン認識とは、画像に表されているシーンの意味を認識する処理である。シーン認識部１３０は、シーン認識を行った結果として、シーン認識結果を生成する。

【0037】

出力部１４０は、上記の第１の処理結果及び第２の処理結果と、上記の合成処理結果と、上記のシーン認識結果との少なくともいずれかに基づいて、所定の出力を行う手段として機能する。

【0038】

＜動作の説明＞
次に、第１の実施形態の動作について説明する。

【0039】

図３は、第１の実施形態における、画像処理装置１０の動作を示すフローチャートである。

【0040】

画像処理装置１０の画像取得部１１０は、撮像装置２０より、撮影された画像を取得する（図３のステップＳ１１０）。例えば、画像取得部１１０は、図４に示すような、車両の前方の道路を含む画像を取得する。

【0041】

画像処理装置１０の第１処理部は、画像取得部１１０によって取得された画像に対して、所定の第１の画像処理を行い、第１の処理結果を生成する（図３のステップＳ１２０）。

【0042】

第１処理部１２１が行う第１の画像処理としては、種々のものを用いることができる。例えば、第１処理部１２１は、第１の画像処理として領域認識を行うことができる。第１の実施形態では、主に、第１の画像処理として領域認識を行う場合について説明する。第１処理部１２１は、取得された画像を入力画像として、入力画像に対して領域認識（領域分割又はＳｅｇｍｅｎｔａｔｉｏｎとも呼ばれる）を行い、当該入力画像に含まれる各領域について、その領域に表される被写体の種別を推定し、処理結果を生成する。

【0043】

図５は、領域認識の処理結果の例を示す図である。図５を参照すると、領域認識の処理結果は、例えば、入力画像と同じ解像度の画像であって、各画素に、入力画像の対応する画素が属する被写体種別ＩＤが格納された画像の形式で表現される。ここで、被写体種別ＩＤとは、被写体の種別を識別する識別子である。図５の例では、被写体種別ＩＤは、１、２、３、４、５及び６の数値であり、それぞれが、被写体の種別として、人、自動車、建物、その他、道路、空に対応する。

【0044】

なお、被写体の種別は、図５の例に限らず、例えば、二輪車、標識、信号機、白線、停止線、障害物、横断歩道、パーキングロット（路肩の駐車スペース）、路上のペイント、歩道、ドライブウェイ（車道と施設等とを結ぶ歩道上の車両通行路）、線路、草木を含んでもよい。

【0045】

また、第１の画像処理として領域認識を行う場合、第１処理部１２１は、各領域に表される被写体の種別を推定したときの信頼度を算出し、当該信頼度を処理結果に含めてもよい。例えば、図５の例では、各画素についての信頼度を、追加の情報として別途生成し、処理結果に含めてもよい。

【0046】

第１処理部１２１は、上記のように第1の画像処理を実行して第１の処理結果を生成する。

【0047】

次に、画像処理装置１０の遠方特定部１２２は、画像取得部１１０によって取得された画像に基づいて、遠方部分を特定し、遠方特定情報を生成する（図３のステップＳ１３０）。

【0048】

遠方特定部１２２が遠方部分を特定する方法には、種々のものを用いることができる。以下に、具体例を説明する。

【0049】

〔遠方特定の第１の例〕
遠方特定の第１の例について説明する。図６は、遠方特定部１２２の動作を示すフローチャートである。なお、遠方特定の第１の例において、画像取得部１１０によって取得された画像は、道路を含む画像である。

【0050】

遠方特定部１２２は、画像取得部１１０によって取得された画像について、道路の消失点を推定する（図６のステップＳ１３１）。ここで、道路の消失点について説明する。道路を含む画像においては、通常、遠方であればあるほど道路は小さく表示され、さらに遠方においては１つの点に集約される。道路の消失点とは、このような、画像において遠方の道路が集約される点である。図７は、このような、道路を含む画像における道路の消失点の例を示す図である。図７において、点ＶＰは、道路の消失点を表す。

【0051】

遠方特定部１２２が道路の消失点を推定する方法としては、種々のものを用いることができる。以下に、具体例を説明する。

【0052】

（消失点推定の第１の例）
消失点推定の第１の例について説明する。

【0053】

まず、遠方特定部１２２は、取得された画像に対して領域認識を行う。次に、遠方特定部１２２は、当該領域認識の処理結果において被写体の種別が道路であると推定された領域のうち画像の最も上方にある点を抽出し、道路の消失点と推定する。これは、撮像装置２０は、通常、道路の遠方であるほど画像の上方になるような配置で道路を撮影するためである。図８は、このようにして推定された道路の消失点の例を示す図である。図８において、点ＶＰが、推定された道路の消失点を表す。

【0054】

なお、消失点推定の第１の例において、遠方特定部１２２が行う領域認識として、簡易な領域認識を用いてもよい。例えば、遠方特定部１２２は、簡易な領域認識として、被写体の種別を少数（例えば、道路及びその他の２つ）に限定した領域認識を用いてもよい。また、例えば、遠方特定部１２２は、簡易な領域認識として、画像を縮小し、縮小した画像に対して領域認識を行ってもよい。このように簡易な領域認識を用いることで、遠方特定部１２２における処理負荷を削減することができる。

【0055】

また、消失点推定の第１の例において、第１処理部１２１が第１の画像処理として領域認識を既に行っている場合、遠方特定部１２２は領域認識を行わず、第１処理部１２１によって生成された領域認識の処理結果を用いてもよい。このように領域認識を省略することで、遠方特定部１２２における処理負荷を削減することができる。

【0056】

（消失点推定の第２の例）
消失点推定の第２の例について説明する。

【0057】

まず、遠方特定部１２２は、道路における左右の路端のそれぞれについて、路端を表す線を推定する。次に、遠方特定部１２２は、左右の路端を表す線が交差する箇所を、道路の消失点として推定する。図９は、このような路端を表す線および道路の消失点の例を示す図である。図９において、線ＬＬは左の路端を、線ＲＬは右の路端を、点ＶＰは道路の消失点を表す。

【0058】

消失点推定の第２の例において、遠方特定部１２２が路端を表す線を推定する方法としては、種々のものを用いることができる。例えば、遠方特定部１２２は、取得された画像に対して領域認識を行い、当該領域認識の処理結果から被写体の種別が道路であると推定された領域を抽出し、抽出された領域の左右の端をそれぞれ直線で近似し、当該直線を、路端を表す線としてもよい。また、例えば、遠方特定部１２２は、取得された画像から白線又は／及びガードレールの検出を行い、検出された白線又は／及びガードレールを直線で近似し、当該直線を、路端を表す線としてもよい。

【0059】

なお、上記において、遠方特定部１２２は、路端を表す線を直線で近似するものとして説明したが、これに限らず、曲線で近似してもよい。曲線での近似を用いることで、例えば道路がカーブしている場合において、精度よく道路の消失点を推定することができる。

【0060】

また、遠方特定部１２２は、画像毎に、直線での近似と曲線での近似のどちらを用いるかを選択してもよい。この場合、遠方特定部１２２は、例えば、直線での近似及び曲線での近似を行い、近似の誤差がより小さいほうを選択してもよい。また、画像処理装置１０が、画像の撮影位置と、道路地図情報とを取得できる場合、遠方特定部１２２は、当該撮影位置及び道路地図情報に基づいて、画像に表示されている道路が直線であるか曲線であるかを推定し、当該推定の結果に応じて、直線での近似と曲線での近似のどちらを用いるかを選択してもよい。さらにまた、撮像装置２０が車両に搭載されており、画像処理装置１０が、画像が撮影されたときの当該車両の走行データ（例えば、左右方向の加速度やハンドル角度）を取得できる場合、遠方特定部１２２は、当該走行データに基づいて、画像に表示されている道路が直線であるか曲線であるかを推定し、当該推定の結果に応じて、直線での近似と曲線での近似のどちらを用いるかを選択してもよい。このように、遠方特定部１２２が直線での近似と曲線での近似のどちらを用いるかを選択することで、画像に表示されている道路の形状に応じて精度よく道路の消失点を推定することができる。

【0061】

次に、遠方特定部１２２は、推定された道路の消失点に基づいて遠方部分を決定する（図６のステップＳ１３２）。

【0062】

遠方特定部１２２が遠方部分を決定する方法としては、種々のものを用いることができる。以下に、具体例を説明する。

【0063】

（遠方部分決定の第１の例）
遠方部分決定の第１の例について説明する。

【0064】

遠方部分決定の第１の例においては、遠方特定部１２２は、推定された消失点を中心とする、画像において所定の割合を占める部分を、遠方部分として決定する。図１０は、このようにして決定された遠方部分を示す図である。図１０において、点ＶＰは道路の消失点を、部分ＦＲは遠方部分を表す。

【0065】

遠方部分の形状は、例えば、取得された画像と同じ縦横比の矩形である。しかし、これに限らず、遠方部分の形状は、取得された画像と異なる縦横比の矩形であってもよいし、また、矩形以外の多角形、円、楕円、その他の形状であってもよい。また、前記所定の割合は、例えば、取得された画像の面積の１６分の１である。しかし、これに限らず、その他の割合を用いてもよい。

【0066】

（遠方部分決定の第２の例）
遠方部分決定の第２の例について説明する。

【0067】

まず、遠方特定部１２２は、推定された道路の消失点を含む複数の部分を、遠方部分の候補として列挙する。

【0068】

図１１は、遠方特定部１２２によって列挙された、遠方部分の候補の例を示す図である。図１１において、点ＶＰは推定された道路の消失点を、部分ＦＲ１は道路の消失点を下半分に含む部分、部分ＦＲ２は道路の消失点を上半分に含む部分、部分ＦＲ３は道路の消失点を右半分に含む部分、部分ＦＲ４は道路の消失点を左半分に含む部分である。遠方特定部１２２は、このような複数の矩形の部分を、遠方部分の候補として列挙することができる。しかし、これに限らず、遠方特定部１２２は、その他の任意の形状、大きさ、位置を占める部分を、任意の数だけ、遠方部分の候補として列挙することができる。

【0069】

次に、遠方特定部１２２は、複数の遠方部分の候補を所定の基準で評価し、最も評価が高い候補を遠方部分として決定する。

【0070】

例えば、遠方特定部１２２は、複数の遠方部分の候補を、領域認識の処理結果に基づいて評価することができる。一例として、遠方特定部１２２は、遠方部分の候補の中に、注視したい被写体の種別（例えば、道路）の領域が多く含まれる場合に、高い評価を与えることができる。このように評価することで、注視したい被写体を多く含む部分を遠方部分として決定することができる。

【0071】

領域認識の処理結果に基づいて評価する場合、遠方特定部１２２は、領域認識として、消失点推定の第１の例で示したような簡易な領域認識を用いてもよい。また、消失点推定の第１の例において、第１処理部１２１が第１の画像処理として領域認識を既に行っている場合、遠方特定部１２２は、領域認識を行わず、第１処理部１２１によって生成された領域認識の処理結果を用いてもよい。さらにまた、消失点推定の第１の例において、遠方特定部１２２が領域認識を既に行っている場合、遠方特定部１２２は、さらなる領域認識を行わず、既に行った当該領域認識の処理結果を用いてもよい。このように領域認識を省略することで、遠方特定部１２２における処理負荷を削減することができる。

【0072】

〔遠方特定の第２の例〕
遠方特定の第２の例について説明する。

【0073】

遠方特定の第２の例においては、画像取得部１１０は、撮像装置２０から、時間的に連続する複数フレームの画像（動画）を取得する。これらの複数フレームの画像（動画）は、道路を含む画像である。

【0074】

まず、遠方特定部１２２は、これらの複数フレームの画像（動画）のそれぞれのフレームについて、遠方特定の第１の例で説明したような処理を行い、時間的に連続する複数の遠方部分を生成する。次に、遠方特定部１２２は、時間的に連続する複数の遠方部分を統合し、１つの遠方部分を定める。

【0075】

複数の遠方部分の統合は、例えば、複数の遠方部分を統計的に処理することで行う。ここで、統計的な処理の一例を説明する。まず、遠方特定部１２２は、時間的に連続する複数の遠方部分のうち、他と比べて位置や大きさが極端に異なる遠方部分を除外する。次に、遠方特定部１２２は、残る遠方部分について、代表的な位置や大きさを算出する（例えば、位置や大きさの平均を算出する）。このように算出された位置や大きさを有する部分を、遠方部分として定める。しかし、これに限らず、遠方特定部１２２は、遠方部分の統合として、その他の統計的な処理を用いてもよい。

【0076】

また、複数の遠方部分の統合は、所定の時間単位毎に行うことができる。例えば、遠方特定部１２２は、複数フレームの画像（動画）を５秒の時間単位で区切り、その５秒の時間単位毎に統合を行ってもよい。しかし、これに限らず、遠方特定部１２２は、その他の固定又は可変の時間単位毎に、統合を行ってもよい。

【0077】

このように、時間的に連続して撮影された複数の画像に基づいて遠方部分を特定することで、遠方特定部１２２は、車両や人、障害物等によって画像における道路の領域が一時的に隠蔽された場合においても、精度よく道路の遠方部分を特定することができる。

【0078】

〔遠方特定の第３の例〕
遠方特定の第３の例について説明する。

【0079】

遠方特定の第３の例においては、遠方特定部１２２は、予め定められた範囲を、遠方部分として特定する。例えば、遠方特定部１２２は、取得された画像の面積の１６分の１の大きさで、中心が画像の中心と一致する矩形の部分を、予め定められた範囲として用いることができる。しかし、これに限らず、遠方特定部１２２は、その他の任意の形状、大きさ、位置を占める部分を、予め定められた範囲として用いてもよい。

【0080】

上記の予め定められた範囲は、例えば、画像処理装置１０の使用者若しくは管理者、又は撮像装置２０の使用者若しくは管理者が設定することができる。これらの使用者若しくは管理者は、撮像装置２０が設置された後に、当該撮像装置２０によって撮影された画像を確認し、遠方部分を表すと考えられる範囲を設定してもよい。一例として、撮像装置２０が車両に搭載されたドライブレコーダーのカメラである場合、使用者若しくは管理者は、当該カメラで撮影された画像から画角等を確認し、道路の遠方部分を表すと考えられる範囲を設定してもよい。なお、複数の撮像装置２０が存在する場合、上記の予め定められた範囲は、撮像装置２０毎に異なっていてもよい。

【0081】

〔遠方特定のその他の例〕
遠方特定のその他の例について説明する。

【0082】

上記の遠方特定の各例において、領域認識を用いて道路の領域を認識する場合、領域認識とともにデータ補間（イメージハルシネーションとも呼ばれる）を用いて認識を行ってもよい。例えば、非特許文献１には、車両に搭載されたカメラで撮影した画像に対して領域認識を行うことで、車両のような画面前景の物体の領域を特定し、さらに、データ補間を行うことにより、画面前景の物体によって隠蔽された道路の領域を推定する技術が開示されている。遠方特定部１２２は、この非特許文献１に開示されているような技術を用いて、道路の領域を認識してもよい。このように、領域認識とともにデータ補間を用いることで、遠方特定部１２２は、車両や人、障害物等によって画像における道路の領域が一時的に隠蔽された場合においても、精度よく道路の遠方部分を特定することができる。

【0083】

また、上記の遠方特定の各例において、遠方特定部１２２が時間的に連続する複数フレームの画像（動画）を処理する場合、遠方特定部１２２は、一部のフレームの処理を省略してもよい。例えば、遠方特定部１２２は、複数フレームの画像（動画）を５秒の時間単位で区切り、その５秒の時間単位のうち１つのフレームに対してのみ遠方部分の特定の処理を行い、その他のフレームに対しては処理を省略してもよい。しかし、これに限らず、遠方特定部１２２は、その他の固定又は可変の時間単位毎に、任意の数のフレームの処理を省略してもよい。なお、この場合において、遠方特定部１２２は、フレームの処理を行った場合に、特定された遠方部分を一時的に保存してもよい。そして、遠方特定部１２２は、フレームの処理を省略する場合には、上記の一時的に保存された（時間的に前のフレームにおける）遠方部分を、当該フレームにおける遠方部分として特定してもよい。このように、一部のフレームの処理を省略することで、遠方特定部１２２における処理負荷を削減することができる。

【0084】

以上のようにして遠方部分を特定したら、遠方特定部１２２は、当該遠方部分を所定の形式で表現した遠方特定情報を生成する。一例として、遠方部分が矩形である場合、遠方特定情報は、例えば、画像における当該矩形の各点の座標である。しかし、これに限らず、遠方部分の形状等に応じて、遠方特定情報として任意の形式を用いることができる。

【0085】

次に、画像処理装置１０の第２処理部１２３は、遠方特定部１２２によって生成された遠方特定情報に基づいて、画像取得部１１０によって取得された画像の遠方部分に対して、第１の画像処理と異なる所定の第２の画像処理を行い、第２の処理結果を生成する（図３のステップＳ１４０）。

【0086】

第２処理部１２３が行う第２の画像処理としては、種々のものを用いることができる。以下に、具体例を説明する。

【0087】

〔第２の画像処理の第１の例〕
第２の画像処理の第１の例について説明する。
図１２は、第２の画像処理の第１の例の動作を示す図である。第２の画像処理の第１の例では、第２処理部１２３は、画像の遠方部分を拡大し、拡大された画像に対して所定の処理を行い、当該所定の処理の処理結果を縮小する。

【0088】

まず、第２処理部１２３は、遠方特定部１２２によって生成された遠方特定情報を用いて、画像取得部１１０によって取得された画像の中から、画像の遠方部分を切り出す。そして、第２処理部１２３は、切り出された画像を、所定の大きさに拡大する（図１２のステップＳ１４１）。ここで、所定の大きさは、例えば、取得された画像の大きさと同じ大きさである。しかし、これに限らず、所定の大きさは、その他の任意の大きさであってもよい。また、画像の拡大は、最近傍補間法、双一次補間法、双三次補間法、その他知られた手法を用いて行うことができる。

【0089】

次に、第２処理部１２３は、拡大された画像に対して、所定の処理を行い、処理結果を生成する（図１２のステップＳ１４２）。例えば、第１処理部１２１が第１の画像処理として領域認識を行う場合、第２処理部１２３は、拡大された画像に対して領域認識を行い、処理結果を生成する。例えば、遠方部分が図１０の部分ＦＲである場合、第２処理部１２３は、部分ＦＲを拡大し、拡大された画像に対して領域認識を行い、図１３に示すような処理結果を生成する。

【0090】

次に、第２処理部１２３は、拡大された画像に対する処理結果を縮小する（図１２のステップＳ１４３）。

【0091】

図１４は、ステップＳ１４２において行った所定の処理が領域認識である場合において、処理結果の縮小を模式的に示す図である。以下、図１４を参照して詳細に説明する。

【0092】

領域認識の処理結果は、例えば、入力画像と同じ解像度の画像であって、各画素に、入力画像の対応する画素が属する被写体種別ＩＤが格納された画像の形式で表現される。図１４の処理結果ＥＲは、このような形式で表現された、拡大された画像に対する領域認識の処理結果の例である。処理結果ＥＲの解像度は、拡大された画像と同じ解像度である。一方、図１４の処理結果ＲＲは、処理結果ＥＲを縮小して得られる処理結果の例である。処理結果ＲＲの解像度は、拡大される前の画像と同じ解像度である。

【0093】

図１４の例において、処理結果の縮小とは、処理結果ＥＲに基づいて、処理結果ＲＲの各画素に格納する被写体種別ＩＤを定めることである。

【0094】

まず、第２処理部１２３は、定めるべき処理結果ＲＲの画素を順次、選択する。画素ＲＰ１は、このように選択された画素の例である。次に、第２処理部１２３は、処理結果ＲＲ上の選択された画素の位置に対応する、処理結果ＥＲ上の画素を抽出する。この場合において、第２処理部１２３は、対応する処理結果ＥＲ上の単一の画素を抽出してもよく、また、周辺を含む複数の画素を抽出してもよい。画素ＥＰ１、ＥＰ２、ＥＰ３、ＥＰ４は、このようにして抽出された画素の例である。図１４の例では、４つの画素を抽出しているが、その他の任意の数の画素を抽出してもよい。

【0095】

次に、第２処理部１２３は、抽出された画素に基づいて、処理結果ＲＲの画素に格納する被写体種別ＩＤを決定する。この決定の方法としては、種々のものを用いることができる。例えば、第２処理部１２３は、上記の決定の方法として、以下の（Ａ）～（Ｄ）に示す方法を用いてよい。
（Ａ）最頻の被写体種別ＩＤを用いる
（Ｂ）予め定められた被写体の種別の優先度に基づいて、被写体種別ＩＤを決定
（Ｃ）遠方部分に対する領域認識の処理結果から被写体の種別の優先度を定め、当該優先度に基づいて被写体種別ＩＤを決定
（Ｄ）遠方部分に対する領域認識と取得された画像に対する領域認識との処理結果の比較から被写体の種別の優先度を定め、当該優先度に基づいて被写体種別ＩＤを決定
以下に、（Ａ）～（Ｄ）について、詳細に説明する。

【0096】

上記（Ａ）の例について、詳細に説明する。

【0097】

上記（Ａ）の例では、第２処理部１２３は、抽出された画素に含まれる最頻の被写体種別ＩＤを、格納する被写体種別ＩＤとして決定する。例えば、図１４の例において、抽出された画素が画素ＥＰ１、ＥＰ２、ＥＰ３、ＥＰ４であり、それぞれの被写体種別ＩＤがＥＰ１：５（道路）、ＥＰ２：１（人）、ＥＰ３：５（道路）、ＥＰ４：５（道路）であった場合、第２処理部１２３は、画素ＲＰ１に格納する被写体種別ＩＤを５（道路）に決定する。

【0098】

上記（Ｂ）の例について、詳細に説明する。

【0099】

上記（Ｂ）の例では、第２処理部１２３は、予め定められた被写体の種別の優先度に基づいて、格納する被写体種別ＩＤを決定する。例えば、図１４の例において、抽出された画素が画素ＥＰ１、ＥＰ２、ＥＰ３、ＥＰ４であり、それぞれの被写体種別ＩＤがＥＰ１：５（道路）、ＥＰ２：１（人）、ＥＰ３：５（道路）、ＥＰ４：５（道路）であり、さらに、優先する被写体の種別として「人」が定められていた場合、第２処理部１２３は、画素ＲＰ１に格納する被写体種別ＩＤを１（人）に決定することができる。

【0100】

なお、優先度の形式としては、上記の例に限らず、種々のものを用いることができる。例えば、優先度の形式は、被写体の種別毎の重み係数として表してもよい。また、優先度に基づく被写体種別ＩＤの決定の方法としては、上記の例に限らず、種々のものを用いることができる。例えば、第２処理部１２３は、抽出された画素について被写体の種別毎の画素数を算出し、被写体の種別毎に、画素数と上記の重み係数とを乗算することで評価値を算出し、算出された評価値の比較により、格納する被写体種別ＩＤを決定してもよい。

【0101】

このように、上記（Ｂ）の例では、被写体の種別の優先度に基づいて格納する被写体種別ＩＤを決定することで、第２処理部１２３は、優先して認識したい被写体を、適切に処理結果に含めることができる。

【0102】

上記（Ｃ）の例について、詳細に説明する。

【0103】

上記（Ｃ）の例では、第２処理部１２３は、画像の遠方部分に相当する、拡大された画像に対する領域認識の処理結果から被写体の種別の優先度を定め、当該優先度に基づいて、格納する被写体種別ＩＤを決定する。

【0104】

例えば、図１４の例において、第２処理部１２３は、処理結果ＥＲから被写体の種別毎の画素数を算出し、算出された画素数の割合に応じて、被写体の種別の優先度を定める。例えば、「人」と認識された画素数の割合が少ない場合、優先する被写体の種別として「人」を定めてもよい。これにより、例えば、小さく映っていた「人」の領域が、縮小によって、周囲の被写体（例えば「道路」）の領域に吸収されて失われてしまうことを防ぐことができる。なお、例えば、人が大きく映っている画像においては、優先する被写体の種別が「人」ではなく周囲の被写体（例えば「道路」）となり得るが、この場合においても、通常は、「人」の領域が失われてしまうことはない。なぜなら、「人」と周囲の被写体（例えば「道路」）の境界付近の箇所においては、被写体の種別として周囲の被写体（例えば「道路」）が採用され得るものの、境界付近でない、「人」のみが映っている箇所においては、被写体の種別として「人」が採用されるからである。

【0105】

なお、上記に限らず、第２処理部１２３は、その他の任意の方法や形式で、被写体の種別の優先度を定めてもよい。

【0106】

被写体の種別の優先度を定めたら、第２処理部１２３は、上記（Ｂ）と同様の方法を用いて、被写体の種別の優先度に基づいて、格納する被写体種別ＩＤを決定する。

【0107】

このように、上記（Ｃ）の例では、画像の遠方部分に相当する、拡大された画像に対する領域認識の処理結果から被写体の種別の優先度を定めることで、第２処理部１２３は、例えば、画像の遠方部分において占める割合が少ない（珍しい）被写体であっても、適切に処理結果に含めることができる。

【0108】

上記（Ｄ）の例について、詳細に説明する。

【0109】

上記（Ｄ）の例では、第２処理部１２３は、画像の遠方部分に相当する、拡大された画像に対する領域認識の処理結果と、取得された画像に対する領域認識の処理結果（第１の処理結果）とを比較することで、被写体の種別の優先度を定め、当該優先度に基づいて、格納する被写体種別ＩＤを決定する。

【0110】

例えば、図１４の例において、まず、第２処理部１２３は、処理結果ＥＲに含まれる被写体の種別を特定する。次に、第２処理部１２３は、第１処理部１２１によって生成された第１の処理結果に含まれる被写体の種別を特定する。そして、第２処理部１２３は、処理結果ＥＲに含まれており、かつ、第１の処理結果に含まれない被写体の種別又は第１の処理結果における割合が所定の基準以下である被写体の種別を特定し、当該被写体の種別を、優先する被写体の種別として定める。一例として、処理結果ＥＲに被写体の種別として「人」が含まれ、第１の処理結果に「人」が含まれない場合、第２処理部１２３は、優先する被写体の種別として「人」を定めることができる。

【0111】

なお、上記に限らず、第２処理部１２３は、その他の任意の方法や形式で、被写体の種別の優先度を定めてもよい。例えば、第２処理部１２３は、処理結果ＥＲに含まれており、かつ、第１の処理結果における割合が所定の基準より大きい被写体を特定し、当該被写体の種別に対して低い優先度を定めてもよい。

【0112】

被写体の種別の優先度を定めたら、第２処理部１２３は、上記（Ｂ）と同様の方法を用いて、被写体の種別の優先度に基づいて、格納する被写体種別ＩＤを決定する。

【0113】

このように、上記（Ｄ）の例では、画像の遠方部分に相当する、拡大された画像に対する領域認識の処理結果と、取得された画像に対する領域認識の処理結果（第１の処理結果）との比較から、被写体の種別の優先度を定めることで、第２処理部１２３は、例えば、取得された画像に対する領域認識では十分に認識されなかったが、拡大された画像に対する領域認識では認識された被写体を、適切に処理結果に含めることができる。

【0114】

第２の画像処理の第１の例においては、第２処理部１２３は、上記のように処理結果を縮小し、縮小された処理結果である第２の処理結果を生成する。

【0115】

〔第２の画像処理の第２の例〕
第２の画像処理の第２の例について説明する。

【0116】

まず、第２処理部１２３は、遠方特定部１２２によって生成された遠方特定情報を用いて、画像取得部１１０によって取得された画像の中から、画像の遠方部分を切り出す。そして、第２処理部１２３は、切り出された画像に対して、第１の画像処理とは異なる設定を適用した画像処理を行う。

【0117】

第２処理部１２３が行う、異なる設定を適用した画像処理には、種々のものを用いることができる。以下に、具体例を説明する。

【0118】

例えば、第２の画像処理において領域認識のような画像認識を行う場合、第２処理部１２３は、異なる設定として、より少ない画素数でも被写体の種別を認識できるような設定を用いることができる。一例として、第１処理部１２１が、第１の画像処理において、８画素のまとまりを被写体の種別を認識する最小の単位とする設定を用いて領域認識を行う場合、第２処理部１２３は、第２の画像処理において、４画素のまとまりを被写体の種別を認識する最小の単位とする設定を用いて領域認識を行ってもよい。

【0119】

また、例えば、第２の画像処理において領域認識のような画像認識を行う場合、第２処理部１２３は、異なる設定として、異なる被写体の種別を認識できるような設定を用いることができる。一例として、第１処理部１２１が第１の画像処理において、被写体の種別として、人、自動車、道路、その他、建物、空の６種類を認識できるような設定を用いて領域認識を行う場合、第２処理部１２３は第２の画像処理において、被写体の種別として、人、自動車、道路、その他、建物、空に加え、標識、信号機の８種類を認識できるような設定を用いて領域認識を行ってもよい。例えば、既に目視されている可能性が高い近傍の標識や信号機に比べ、遠方の標識や信号機を認識する必要性が高い場合に、このような設定が有用である。

【0120】

ここで、異なる設定を適用する方法について説明する。

【0121】

一般に、画像に対する実体的な処理を行う処理部品を、画像処理エンジンと呼ぶ。画像処理が画像認識である場合、画像処理エンジンには、学習等で生成する認識モデルが含まれる。画像処理エンジンは、ソフトウェアによって実現されてもよいし、ハードウェアによって実現されてもよい。

【0122】

異なる設定の適用は、例えば、実行時において、画像処理エンジンに設定を読み込ませることで行うことができる。この場合、画像処理装置１０は、画像処理装置１０の起動時、又は実行中の任意のタイミングにおいて、画像処理装置１０に含まれる画像処理エンジンに、上記で説明したような設定を読み込ませる。そして、画像処理装置１０の第２処理部１２３は、このように設定を読み込ませた画像処理エンジンを用いて、第２の画像処理を行う。

【0123】

また、異なる設定の適用は、例えば、画像処理エンジンの作成時において行うこともできる。この場合、画像処理エンジンの作成者は、上記で説明したような設定が用いられるように、画像処理エンジンの設計、作成を行う。画像処理装置１０の第２処理部１２３は、このように作成された画像処理エンジンを用いて、第２の画像処理を行う。

【0124】

第２の画像処理の第２の例においては、第２処理部１２３は、上記のように異なる設定を適用して画像処理を実行し、第２の処理結果を生成する。

【0125】

次に、画像処理装置１０の合成部１２４は、第１処理部１２１によって生成された第１の処理結果と、第２処理部１２３によって生成された第２の処理結果とを合成し、合成の結果である合成処理結果を生成する（図３のステップＳ１５０）。

【0126】

合成部１２４が行う合成としては、種々のものを用いることができる。以下に、具体例を説明する。

【0127】

〔合成の第１の例〕
合成の第１の例について説明する。合成の第１の例においては、合成部１２４は、第１の処理結果のうち、画像の遠方部分に相当する処理結果を、第２の処理結果で置換する。

【0128】

第１の画像処理及び第２の画像処理として領域認識を用い、第１の処理結果及び第２の処理結果として、それぞれ、各画素に被写体種別ＩＤを格納した画像が生成された場合について説明する。この場合、合成部１２４は、第１の処理結果の各画素のうち、画像の遠方部分に相当する各画素の被写体種別ＩＤを、第２の処理結果の各画素の被写体種別ＩＤで置換する。例えば、第１の処理結果として図５のような処理結果が生成され、第２の処理結果として図１３のような処理結果を縮小した処理結果が生成された場合、合成部１２４は、上記で説明した置換により、図１５のような合成処理結果を生成する。

【0129】

なお、図１５においては、合成処理結果のうち第２の処理結果に相当する部分（画像の遠方部分に相当する部分）を、矩形で示している。合成部１２４が、この矩形のような、第２の処理結果に相当する部分を表す情報を、合成処理結果に含めるか否かは、任意である。例えば、合成処理結果の表示において不要である場合には、合成部１２４は、上記の矩形のような、第２の処理結果に相当する部分を表す情報を、合成処理結果に含めなくてもよい。

【0130】

〔合成の第２の例〕
合成の第２の例について説明する。合成の第２の例においては、合成部１２４は、第１の処理結果のうち、画像の遠方部分に相当する処理結果と、第２の処理結果とを統合する。

【0131】

合成部１２４が行う上記の統合の方法としては、種々のものを用いることができる。例えば、第１の画像処理及び第２の画像処理として領域認識を用い、第１の処理結果及び第２の処理結果として、それぞれ、各画素に被写体種別ＩＤを格納した画像が生成された場合においては、合成部１２４は、上記の統合の方法として、以下の（Ｅ）～（Ｆ）に示す方法を用いてよい
（Ｅ）被写体の種別の優先度に基づいて統合
（Ｆ）被写体の種別の信頼度に基づいて統合
以下に、（Ｅ）～（Ｆ）について詳細に説明する。

【0132】

上記（Ｅ）の例について、詳細に説明する。

【0133】

上記（Ｅ）の例では、合成部１２４は、被写体の種別の優先度に基づいて、被写体種別ＩＤを統合する。例えば、第１の処理結果のうち、画像の遠方部分に相当するある画素に格納された被写体種別ＩＤが５（道路）であり、第２の処理結果の対応する画素の被写体種別ＩＤが１（人）であり、さらに優先する被写体の種別として「人」が定められていた場合、合成部１２４は、当該画素の被写体種別ＩＤを１（人）に決定することができる。逆に、優先する被写体の種別として「道路」が定められていた場合、合成部１２４は、当該画素の被写体種別ＩＤを５（道路）に決定することができる。このようにすることで、合成部１２４は、第１の画像処理及び第２の画像処理にて認識された被写体種別のうち、必要となる被写体の種別を適切に選択して提供することが可能となる。

【0134】

なお、これに限らず、上記（Ｅ）の例において、被写体の種別の優先度に基づく被写体種別ＩＤの統合は、その他の任意の方法で行うことができる。例えば、合成部１２４は、縮小の例（Ａ）～（Ｄ）に記載したように、その他の任意の方法や形式で、静的または動的に被写体の種別の優先度を定めて、当該優先度に基づいて被写体ＩＤの統合を行ってもよい。

【0135】

上記（Ｆ）の例について、詳細に説明する。

【0136】

一例として、合成部１２４が、被写体の種別の信頼度に基づいて、被写体種別ＩＤを統合する例を説明する。ここで、第１の処理結果及び第２の処理結果には、各画素に被写体種別ＩＤを格納した画像とともに、各画素についての信頼度（例えば、最小０．０～最大１．０）が含まれるものする。例えば、第１の処理結果のうち、画像の遠方部分に相当するある画素に格納された被写体種別ＩＤが５（道路）、その信頼度が０．４であり、第２の処理結果の対応する画素が１（人）、その信頼度が０．７であった場合、合成部１２４は、当該画素の被写体種別ＩＤを、より信頼度の大きい１（人）に決定する。

【0137】

また、別の一例として、合成部１２４が、被写体の種別の信頼度と、予め定められた第１の処理結果及び第２の処理結果の重みとに基づいて、被写体種別ＩＤを統合する例を説明する。例えば、第１の処理結果のうち、画像の遠方部分に相当するある画素に格納された被写体種別ＩＤが５（道路）、その信頼度が０．８であり、第２の処理結果の対応する画素が１（人）、その信頼度が０．７であった場合において、さらに、第１の処理結果の重み係数が０．５、第２の処理結果の重み係数が０．５、１．０と定められていた場合について考える。合成部１２４は、例えば、第１の処理結果の当該画素と、第２の処理結果の当該画素のそれぞれについて、信頼度と重み係数とを乗算することで評価値を算出する。上記の場合においては、合成部１２４は、第１の処理結果の当該画素の評価値として０．４を算出し、第２の処理結果の当該画素の評価値として０．７を算出する。次に、合成部１２４は、算出された評価値の比較を比較し、当該画素の被写体種別ＩＤを決定する。上記の場合においては、より評価値の大きい第２の処理結果の１（人）を、当該画素の被写体識別ＩＤとして決定する。

【0138】

なお、これらに限らず、上記（Ｆ）の例において、合成部１２４は、その他の信頼度の形式、評価値の算出方法、被写体識別ＩＤ等を用いて、被写体の種別の信頼度に基づく被写体種別ＩＤの統合を行うことができる。

【0139】

次に、画像処理装置１０のシーン認識部１３０は、第１処理部１２１によって生成された第１の処理結果及び第２処理部１２３によって生成された第２の処理結果と、合成部１２４によって生成された合成処理結果との少なくともいずれかに基づいて、シーン認識を行い、シーン認識結果を生成する（図３のステップＳ１６０）。

【0140】

ここで、シーン認識とは、画像に表されているシーンの意味を認識する処理である。シーン認識部１３０が行うシーン認識としては、種々のものを用いることができる。例えば、画像取得部１１０によって取得された画像が、道路を含む画像であった場合、シーン認識部１３０は、シーン認識として、道路の状況を認識する処理を行うことができる。以下、図１６及び図１７を用いて、このような道路の状況を認識する処理の具体例を説明する。

【0141】

一例として、シーン認識部１３０は、シーン認識として、「前方に横断歩道あり」、「前方に歩行者あり」等のシーンの種別について、該当するか否かの真偽値を判定する処理を用いることができる。図１６は、このようなシーン認識によるシーン認識結果の例を示す図である。

【0142】

また、一例として、シーン認識部１３０は、シーン認識として、「前方の交差点までの距離」、「進行方向の車線数」等のシーンの種別について、その数値を判定する処理を用いることができる。図１７は、このようなシーン認識によるシーン認識結果の例を示す図である。

【0143】

ここで、シーン認識部１３０は、上記のような真偽値や数値とともに、画像における被写体の位置（例えば、横断歩道の位置や交差点の位置）を判定し、シーン認識結果に含めてもよい。

【0144】

なお、シーン認識部１３０は、所定の認識モデルを用いて、上記のようなシーン認識を行うことができる。シーン認識部１３０は、任意の方法によって作成された認識モデルを用いてよい。例えば、シーン認識部１３０は、合成処理結果に対してシーンの正解ラベルを対応付けた教師データを用いて、深層学習やその他の知られた手法による学習を行うことによって作成された認識モデルを用いて、シーン認識を行ってよい。

【0145】

次に、画像処理装置１０の出力部１４０は、第１処理部１２１によって生成された第１の処理結果及び第２処理部１２３によって生成された第２の処理結果と、合成部１２４によって生成された合成処理結果と、シーン認識部１３０によって生成されたシーン認識結果との少なくともいずれかに基づいて、所定の出力を行う。（図３のステップＳ１７０）。

【0146】

出力部１４０が行う出力の態様としては、種々のものを用いることができる。以下に、出力の具体例を説明する。出力部１４０は、以下の具体例のうち１つ又は複数を用いて、出力を行うことができる。

【0147】

〔出力の第１の例〕
出力の第１の例について説明する。出力の第１の例において、画像取得部１１０によって取得された画像は、道路を含む画像である。また、画像処理装置１０と上記の道路を走行する車両は通信可能に接続されているものとする。出力の第１の例において、出力部１４０は、出力として、上記の道路を走行する車両の乗員に対する情報の提供を行う。

【0148】

例えば、出力部１４０は、出力として、上記の道路を走行する車両に設置された表示装置に表示する指示を行うことができる。

【0149】

一例として、合成部１２４が合成処理結果として図１５示すような領域認識の処理結果の画像を生成した場合、出力部１４０は、図１５に示すような画像を、上記の表示装置に表示する指示を行ってもよい。また、出力部１４０は、図１５に示すような領域認識の処理結果に基づいて、図４に示すような取得された画像に対して、注視すべき被写体（例えば、人や自動車）が映っている領域を強調する加工を行い、当該加工された画像を上記の表示装置に表示する指示を行ってもよい。また、出力部１４０は、画像とともに、当該画像に表示されている被写体の種別の文字情報を、上記の表示装置に表示する指示を行ってもよい。

【0150】

また、一例として、シーン認識部１３０が、シーン認識結果として図１６に示すように「前方に歩行者あり」という結果を生成した場合、出力部１４０は、「前方に歩行者あり」という文字情報を、上記の表示装置に表示する指示を行ってもよい。

【0151】

また、例えば、出力部１４０は、出力として、上記の道路を走行する車両に設置された音声出力装置を通してアナウンスする指示を行うことができる。

【0152】

一例として、シーン認識部１３０が、シーン認識結果として図１６に示すように「前方に歩行者あり」という結果を生成した場合、出力部１４０は、「前方に歩行者あり」という文字情報を、音声として、上記の音声出力装置を通してアナウンスする指示を行ってもよい。

【0153】

なお、上記の例に限らず、出力部１４０は、その他の任意の態様で、上記の道路を走行する車両の乗員に対する情報の提供を行うことができる。

【0154】

〔出力の第２の例〕
出力の第２の例について説明する。出力の第２の例において、画像取得部１１０によって取得された画像は、道路を含む画像である。また、画像処理装置１０と上記の道路を走行する車両は通信可能に接続されているものとする。出力の第２の例において、出力部１４０は、出力として、上記の道路を走行する車両に対する運転制御の指示を行う。

【0155】

出力部１４０が行う運転制御の指示としては、種々のものを用いることができる。

【0156】

例えば、出力部１４０は、上記の道路を走行する車両に対して、ブレーキの指示、ハンドル操舵の指示、ライト点灯若しくは消灯の指示を行うことができる。一例として、シーン認識部１３０が、シーン認識結果として図１６に示すように「前方に歩行者あり」という結果を生成した場合、出力部１４０は、上記の道路を走行する車両に対して、ブレーキの指示を行ってもよい。

【0157】

なお、これに限らず、出力部１４０は、その他の任意の態様で、上記の道路を走行する車両に対して運転制御の指示を行うことができる。また、上記の道路を走行する車両は、自動運転の車両であってもよく、手動運転の車両であってもよい。

【0158】

〔出力の第３の例〕
出力の第３の例について説明する。出力の第３の例において、出力部１４０は、管理員に対する情報の提供を行う。ここで、管理員とは、車両の管理者、道路の管理者や監視員、その他の施設の管理者や監視員等、種々の人物を含む。管理員は端末装置を使用するものとし、画像処理装置１０と当該端末装置は、通信可能に接続されているものとする。上記の管理員の使用する端末装置は、画像処理装置１０に近接して設置されていてもよいし、画像処理装置１０の遠隔に設置されていてもよいし、また、携帯可能な端末装置であってもよい。

【0159】

出力部１４０が行う管理員に対する情報の提供の態様としては、種々のものを用いることができる。例えば、出力部１４０は、出力として、上記の管理員の端末装置に対して、第１の処理結果や第２の処理結果、合成処理結果、シーン認識結果を提示する指示を行うことができる。この場合、出力部１４０は、第１の処理結果や第２の処理結果、合成処理結果、シーン認識結果を、出力の第１の例で説明した態様と同様の態様で、表示する指示又は音声としてアナウンスする指示を行ってもよい。

【0160】

〔出力の第４の例〕
出力の第４の例について説明する。

【0161】

出力の第４の例において、出力部１４０は、図示しない外部の装置に対する情報の送信を行う。ここで、外部の装置には、表示装置、記憶装置、分析装置等、種々の装置が含まれる。画像処理装置１０と外部の装置とは、通信可能に接続されているものとする。出力部１４０は、例えば、第１の処理結果や第２の処理結果、合成処理結果、シーン認識結果等の情報を、このような外部の装置に送信する。外部の装置は、例えば、受信した情報の画面への表示、受信した情報の蓄積、受信した情報に基づくさらなる分析等、種々の処理を行うことができる。

【0162】

以上により、第１の実施形態の動作が完了する。

【0163】

なお、図４、図６及び図１２に示す処理の順序は例示であり、処理結果が変わらない範囲において、順序を入れ替えてもよいし、一部の処理を並列に行ってもよい。例えば、画像処理装置１０は、図４のステップＳ１２０の処理と、ステップＳ１３０及びＳ１４０の一連の処理とについて、順序を入れ替えてもよいし、一部の処理を並列に行ってもよい。

【0164】

＜効果の説明＞
第１の実施形態によれば、撮影された画像に対して画像処理を行う場合において、遠方の被写体を精度よく認識することができる。その理由は、遠方特定部１２２が、撮影された画像の遠方部分を特定し、第２処理部が、特定された画像の遠方部分に対して所定の第２の画像処理を行うためである。

【0165】

また、第１の実施形態によれば、撮影された画像に対して画像処理を行う場合において、処理負荷を削減することができる。その理由は、遠方特定部１２２が、撮影された画像の遠方部分を特定し、第２処理部が、特定された画像の遠方部分に対して所定の第２の画像処理を行うため、画像の遠方部分を除く範囲に対してまで第２の画像処理を行う必要がないからである。

【0166】

［第２の実施形態］
第２の実施形態について説明する。

【0167】

＜構成の説明＞
まず、第２の実施形態の構成について説明する。

【0168】

図１８は、第２の実施形態における、画像処理装置１０の機能ブロックを示す図である。図１８を参照すると、第２の実施形態における画像処理装置１０は、深度データ取得部１５０を備える点で、第１の実施形態と異なる。第２の実施形態におけるその他の構成要素については、第１の実施形態と同様である。第１の実施形態と同様の構成要素については、図１及び図２と同一の符号を用い、詳細な説明を省略する。

【0169】

深度データ取得部１５０は、深度データを取得する手段として機能する。

【0170】

ここで、深度データとは、対象物に対する深度を表すデータである。深度データは、例えば、各画素に、対象物までの距離が格納された画像（深度画像と呼ばれる）の形式で表現される。深度データ取得部１５０が深度データを取得する方法としては、種々のものを用いることができる。

【0171】

例えば、深度データ取得部１５０は、図示しない外部の計測装置が深度データを計測する場合、当該計測装置から、計測された深度データを通信等によって取得してもよい。このような計測装置には、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ミリ波レーダー、ステレオカメラ、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラが含まれる。

【0172】

また、例えば、深度データ取得部１５０は、画像取得部１１０によって取得された画像を用いて、深度データを生成してもよい。深層学習等を用いて、二次元の画像から深度を推定する深度推定と呼ばれる手法が知られており、深度データ取得部１５０は、このような深度推定を用いて、深度データを生成することができる。また、深度データ取得部１５０は、図示しない外部の処理装置がこのような深度推定を行う場合、当該処理装置から、生成された深度データを通信等によって取得してもよい。

【0173】

＜動作の説明＞
次に、第２の実施形態の動作について説明する。

【0174】

図１９は、第２の実施形態における、画像処理装置１０の動作を示すフローチャートである。第１の実施形態と同様の動作については図３と同一の符号を付し、詳細な説明を省略する。

【0175】

画像処理装置１０の画像取得部１１０は、撮像装置２０より、撮影された画像を取得する（図１９のステップＳ１１０）。

【0176】

画像処理装置１０の第１処理部は、画像取得部１１０によって取得された画像に対して、所定の第１の画像処理を行い、第１の処理結果を生成する（図１９のステップＳ１２０）。

【0177】

次に、画像処理装置１０の深度データ取得部１５０は、上記で説明したような方法を用いて、深度データを取得する（図１９のステップＳ１８０）。例えば、深度データ取得部１５０は、深度データとして、図２０に示すような深度画像を取得する。図２０において、深度は濃淡で表され、濃い部分ほど深度が小さく（近く）、明るい部分ほど深度が大きい（遠い）。

【0178】

次に、画像処理装置１０の遠方特定部１２２は、深度データ取得部１５０によって取得された深度データに基づいて、遠方部分を特定し、遠方特定情報を生成する（図１９のステップＳ１９０）。

【0179】

遠方特定部１２２が深度データに基づいて遠方部分を特定する方法には、種々のものを用いることができる。以下に、具体例を説明する。

【0180】

〔深度データに基づく遠方特定の第１の例〕
深度データに基づく遠方特定の第１の例について説明する。図２１は、深度データに基づく、遠方特定部１２２の動作を示すフローチャートである。

【0181】

遠方特定部１２２は、深度データ取得部１５０によって取得された深度データに基づいて、深度データの座標系における遠方部分を特定する（図２１のステップＳ１９１）。

【0182】

遠方特定部１２２が行うこの特定の方法としては、種々のものを用いることができる。
例えば、遠方特定部１２２は、深度データに含まれる点のうち、深度の最も大きい点を抽出し、その点を含む所定の部分を特定し、これを深度データの座標系における遠方部分とすることができる。また、例えば、遠方特定部１２２は、深度データに含まれる点のうち、深度が所定の閾値以上である点群を抽出し、抽出された点群を含む所定の部分を特定し、これを深度データの座標系における遠方部分とすることができる。なお、深度データの座標系における遠方部分の形状は、例えば、矩形であってもよいし、矩形以外の多角形、円、楕円、その他の形状であってもよい。

【0183】

次に、遠方特定部１２２は、特定された深度データの座標系における遠方部分を、画像の座標系における遠方部分に変換する（図２１のステップＳ１９２）。

【0184】

ここで、深度データの座標系と画像の座標系との変換式を求める処理は、キャリブレーションと呼ばれる。このようなキャリブレーションの手法として、例えば、深度データの座標系における少数の点と、それに対応する画像の座標系における少数の点を元に、上記の変換式を求める等、種々の手法が知られている。遠方特定部１２２は、例えば、このような種々の手法によって求められた変換式を用いて、深度データの座標系における遠方部分を、画像の座標系における遠方部分に変換する。

【0185】

次に、遠方特定部１２２は、変換によって得られた画像の座標系における遠方部分を補正する。（図２１のステップＳ１９３）。

【0186】

遠方特定部１２２が行う補正としては、種々のものを用いることができる。例えば、遠方特定部１２２は、変換によって得られた画像の座標系における遠方部分の形状が矩形でなかった場合、当該形状を矩形に近似する補正を行ってもよい。しかし、これに限らず、遠方特定部１２２は、矩形以外の多角形、円、楕円、その他の形状に近似する補正を行ってもよいし、その他の種々の形状の補正を行ってもよい。また、遠方特定部１２２は、変換によって得られた画像の座標系における遠方部分について、補正の必要がない場合は、補正の処理を省略してもよい。

【0187】

〔深度データに基づく遠方特定の第２の例〕
深度データに基づく遠方特定の第２の例について説明する。深度データに基づく遠方特定の第２の例では、深度データに加えて、画像取得部１１０によって取得された画像に基づいて、遠方部分を特定する。図２２は、深度データに基づく、遠方特定部１２２の動作を示すフローチャートである。

【0188】

遠方特定部１２２は、深度データ取得部１５０によって取得された深度データに基づいて、遠方部分についての複数の候補を生成する（図２２のステップＳ１９６）。

【0189】

まず、遠方特定部１２２は、深度データ取得部１５０によって取得された深度データに基づいて、深度データの座標系における遠方部分について、複数の候補を特定する。

【0190】

深度データ取得部１５０が行う上記の特定の方法としては、種々のものを用いることができる。例えば、遠方特定部１２２は、まず、深度データに含まれる点のうち、深度が所定の閾値以上である点群を抽出する。次に、遠方特定部１２２は、抽出された点群を、深度データの座標系において距離が近い点同士のグループに分割する。続いて、遠方特定部１２２は、分割された複数のグループのそれぞれについて、グループに含まれる点群を含む部分を特定する。遠方特定部１２２は、これらの複数の部分を、深度データの座標系における遠方部分についての複数の候補とすることができる。

【0191】

次に、遠方特定部１２２は、上記において特定された深度データの座標系における遠方部分の複数の候補のそれぞれを、画像の座標系における遠方部分に変換する。この変換の方法としては、深度データに基づく遠方特定の第１の例で説明したような、種々の方法を用いることができる。

【0192】

次に、遠方特定部１２２は、上記の変換によって得られた、画像の座標系における遠方部分の複数の候補のそれぞれを補正する。この補正の方法としては、深度データに基づく遠方特定の第１の例で説明したような、種々の方法を用いることができる。また、遠方特定部１２２は、変換によって得られた画像の座標系における遠方部分の候補について、補正の必要がない場合は、補正の処理を省略してもよい。

【0193】

これにより、遠方特定部１２２は、深度データ取得部１５０によって取得された深度データに基づいて、遠方部分の複数の候補を得ることができる。

【0194】

続いて、遠方特定部１２２は、画像取得部１１０によって取得された画像に基づいて、上記により生成された遠方部分の複数の候補から、遠方部分を特定する（図２２のステップＳ１９７）。

【0195】

遠方特定部１２２は、画像取得部１１０によって取得された画像に対して、画像認識を行う。ここで、遠方特定部１２２が行う画像認識は、例えば、領域認識である。しかし、これに限らず、画像認識は、物体認識であってもよく、その他の画像認識であってもよい。なお、領域認識を行う場合、遠方特定部１２２は、第１の実施形態における消失点推定の第１の例で説明したような、簡易な領域認識を用いてもよい。

【0196】

次に、遠方特定部１２２は、上記の画像認識の処理結果に基づいて、遠方部分の複数の候補のそれぞれについて、評価値を算出する。例えば、遠方特定部１２２は、画像認識の処理結果として、所定の被写体の種別（例えば、道路）であると認識された範囲をより多く含む場合、遠方部分の候補に対して、より大きい評価値を与えることができる。

【0197】

遠方特定部１２２は、算出された評価値が最も大きい候補を、遠方部分として特定する。

【0198】

以上のようにして遠方部分を特定したら、遠方特定部１２２は、当該遠方部分を所定の形式で表現した遠方特定情報を生成する。

【0199】

次に、画像処理装置１０の第２処理部１２３は、遠方特定部１２２によって生成された遠方特定情報に基づいて、画像取得部１１０によって取得された画像の遠方部分に対して、第１の画像処理と異なる所定の第２の画像処理を行い、第２の処理結果を生成する（図１９のステップＳ１４０）。

【0200】

次に、画像処理装置１０の合成部１２４は、第１処理部１２１によって生成された第１の処理結果と、第２処理部１２３によって生成された第２の処理結果とを合成し、合成の結果である合成処理結果を生成する（図１９のステップＳ１５０）。

【0201】

次に、画像処理装置１０のシーン認識部１３０は、第１処理部１２１によって生成された第１の処理結果及び第２処理部１２３によって生成された第２の処理結果と、合成部１２４によって生成された合成処理結果との少なくともいずれかに基づいて、シーン認識を行い、シーン認識結果を生成する（図１９のステップＳ１６０）。

【0202】

次に、画像処理装置１０の出力部１４０は、第１処理部１２１によって生成された第１の処理結果及び第２処理部１２３によって生成された第２の処理結果と、合成部１２４によって生成された合成処理結果と、シーン認識部１３０によって生成されたシーン認識結果との少なくともいずれかに基づいて、所定の出力を行う。（図１９のステップＳ１７０）。

【0203】

以上により、第２の実施形態の動作が完了する。

【0204】

なお、図１９、図２１及び図２２に示す処理の順序は例示であり、処理結果が変わらない範囲において、順序を入れ替えてもよいし、一部の処理を並列に行ってもよい。例えば、画像処理装置１０は、図１９のステップＳ１２０の処理と、ステップＳ１８０、Ｓ１９０及びＳ１４０の一連の処理とについて、順序を入れ替えてもよいし、一部の処理を並列に行ってもよい。

【0205】

＜効果の説明＞
第２の実施形態によれば、撮影された画像に対して画像処理を行う場合において、精度よく遠方部分を特定することができる。その理由は、深度データ取得部１５０が、深度データを取得し、遠方特定部１２２が、取得された深度データに基づいて、撮影された画像の遠方部分を特定するためである。

【0206】

［第３の実施形態］
第３の実施形態について説明する。

【0207】

＜構成の説明＞
第３の実施形態の構成について説明する。第３の実施形態の構成は、各実施形態における最小構成である。

【0208】

図２３は、第３の実施形態における、画像処理装置１０の機能ブロックを示す図である。

【0209】

図２３を参照すると、画像処理装置１０は、画像取得部１１０、画像処理部１２０、出力部１４０を備える。画像処理部１２０は、さらに、第１処理部１２１、遠方特定部１２２、第２処理部１２３を備える。

【0210】

画像処理装置１０の各構成要素は、第１の実施形態の画像処理装置１０等における対応する構成要素と同様の手段として機能する。

【0211】

＜動作の説明＞
第３の実施形態の動作について説明する。

【0212】

図２４は、第３の実施形態における、画像処理装置１０の動作を示すフローチャートである。第１の実施形態と同様の動作については、図３と同一の符号を付し、詳細な説明を省略する。

【0213】

画像処理装置１０の画像取得部１１０は、撮像装置２０より、撮影された画像を取得する（図２４のステップＳ１１０）。

【0214】

画像処理装置１０の第１処理部は、画像取得部１１０によって取得された画像に対して、所定の第１の画像処理を行い、第１の処理結果を生成する（図２４のステップＳ１２０）。

【0215】

画像処理装置１０の遠方特定部１２２は、画像取得部１１０によって取得された画像に基づいて、遠方部分を特定する（図２４のステップＳ１３０）。

【0216】

画像処理装置１０の第２処理部１２３は、遠方特定部１２２によって生成された遠方特定情報に基づいて、画像取得部１１０によって取得された画像の遠方部分に対して、第１の画像処理と異なる所定の第２の画像処理を行い、第２の処理結果を生成する（図２４のステップＳ１４０）。

【0217】

画像処理装置１０の出力部１４０は、第１処理部１２１によって生成された第１の処理結果及び第２処理部１２３によって生成された第２の処理結果に基づいて、所定の出力を行う（図３のステップＳ１７０）。

【0218】

以上により、第３の実施形態の動作が完了する。

【0219】

なお、図２４に示す処理の順序は例示であり、処理結果が変わらない範囲において、順序を入れ替えてもよいし、一部の処理を並列に行ってもよい。例えば、画像処理装置１０は、図２４のステップＳ１２０の処理と、ステップＳ１３０及びＳ１４０の一連の処理とについて、順序を入れ替えてもよいし、一部の処理を並列に行ってもよい。

【0220】

＜効果の説明＞
第３の実施形態によれば、撮影された画像に対して画像処理を行う場合において、遠方の被写体を精度よく認識することができる。

【0221】

［変形例］
以上、本発明の各実施形態を説明したが、本発明は、上記の各実施形態に限定されるものではなく、本発明の基本的な技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。

【0222】

例えば、上記の各実施形態においては、画像処理装置１０の第１処理部１２１及び第２処理部１２３が、画像処理として領域認識を行う例を主に説明したが、これに限らず、第１処理部１２１及び第２処理部１２３は、画像処理として、領域認識以外の画像認識を行ってもよい。画像認識の１つとして、画像に含まれる被写体を囲む形状（例えば、矩形）及び当該被写体の種別を推定する物体認識が知られており、第１処理部１２１及び第２処理部１２３は、画像処理として、この物体認識を行ってもよい。

【0223】

また、例えば、画像処理装置１０の第１処理部１２１及び第２処理部１２３は、画像処理として、画像認識以外の画像処理、例えば画像変換・加工を行ってもよい。画像変換・加工の１つとして、画素の補間等を用いて高精細な画像を生成する超解像が知られており、第１処理部１２１及び第２処理部１２３は、画像処理として、この超解像を行ってもよい。これにより、遠方部分について高品質な処理結果を得ることができる。

【0224】

また、例えば、画像処理装置１０は、第１の処理結果が所定の条件を満たす場合に、遠方特定部１２２による遠方部分の特定の処理及び第２処理部１２３による第２の画像処理を省略してもよい。一例として、第１処理部１２１が、第１の画像処理として領域認識や物体認識等の画像認識を行い、第１の処理結果として画像認識の結果とともにその信頼度を生成した場合、画像処理装置１０は、信頼度が十分に大きい場合には、遠方特定部１２２による遠方部分の特定の処理及び第２処理部１２３による第２の画像処理を省略してもよい。このように処理を省略することで、遠方特定部１２２及び第２処理部１２３における処理負荷を削減することができる。

【0225】

また、例えば、上記の各実施形態においては、画像処理装置１０は、撮像装置２０から画像を取得するものとして説明したが、これに限らず、画像処理装置１０は、記憶装置や記録媒体に予め記録された画像を取得し、当該画像に対して画像処理を行ってもよい（オフライン画像処理）。このようなオフライン画像処理の一例として、画像処理装置１０は、予め記録された、道路での事故の発生前後の画像に対して、画像処理を行ってもよい。画像処理装置１０は、このような画像処理の処理結果として、例えば、事故の発生前に遠方の横断歩道を通行する人物がいた等、事後的な事故の詳細分析に役立つ情報を提供することができる。

【0226】

また、例えば、上記の各実施形態においては、画像処理装置１０は、撮影された画像の遠方部分を特定し、当該遠方部分に対して所定の第２の画像処理を行うものとして説明したが、これに限らず、「遠方」以外の基準を用いて注視すべき部分を特定してもよい。例えば、画像処理装置１０において、遠方特定部１２２は、撮影された画像について、「遠方」以外の基準を用いて注視すべき部分を特定し、第２処理部１２３は、当該注視すべき部分に対して所定の第２の画像処理を行ってもよい。

【0227】

［ハードウェア構成］
上記で説明した各実施形態において、画像処理装置１０の各構成要素は、機能ブロックを示している。画像処理装置１０の各構成要素の一部又は全部は、コンピュータ１０００とプログラムとの任意の組み合わせにより実現されてもよい。

【0228】

図２５は、コンピュータ１０００のハードウェア構成の例を示すブロック図である。図２５を参照すると、コンピュータ１０００は、例えば、プロセッサ１００１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３、プログラム１００４、記憶装置１００５、ドライブ装置１００７、通信インタフェース１００８、入力装置１００９、出力装置１０１０、入出力インタフェース１０１１、及び、バス１０１２を含む。

【0229】

プログラム１００４は、各装置の各機能を実現するための命令を含む。プログラム１００４は、予め、ＲＯＭ１００２やＲＡＭ１００３、記憶装置１００５に格納される。プロセッサ１００１は、プログラム１００４に含まれる命令を実行することにより、各装置の各機能を実現する。例えば、画像処理装置１０のプロセッサ１００１がプログラム１００４に含まれる命令を実行することにより、画像取得部１１０、画像処理部１２０等の機能を実現する。

【0230】

ドライブ装置１００７は、記録媒体１００６の読み書きを行う。通信インタフェース１００８は、通信ネットワークとのインタフェースを提供する。入力装置１００９は、例えば、マウスやキーボード等であり、操作者等からの情報の入力を受け付ける。出力装置１０１０は、例えば、ディスプレイであり、操作者等へ情報を出力（表示）する。入出力インタフェース１０１１は、周辺機器とのインタフェースを提供する。バス１０１２は、これらハードウェアの各構成要素を接続する。なお、プログラム１００４は、通信ネットワークを介してプロセッサ１００１に供給されてもよいし、予め、記録媒体１００６に格納され、ドライブ装置１００７により読み出され、プロセッサ１００１に供給されてもよい。

【0231】

なお、図２５に示されているハードウェア構成は例示であり、これら以外の構成要素が追加されていてもよく、一部の構成要素を含まなくてもよい。

【0232】

画像処理装置１０の実現方法には、様々な変形例がある。例えば、画像処理装置１０は、構成要素毎にそれぞれ異なるコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、１つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。

【0233】

また、各装置の各構成要素の一部または全部は、汎用または専用の回路や、これらの組み合わせによって実現されてもよい。これらの回路は、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

【0234】

また、各装置の各構成要素の一部又は全部が複数のコンピュータや回路等により実現される場合、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。

【0235】

以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本開示のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。

【0236】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
撮像装置で撮影された画像を取得する画像取得手段と、
前記画像に対して第１の画像処理を行う第１処理手段と、
前記画像の遠方部分を特定する遠方特定手段と、
前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行う第２処理手段と、
前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う出力手段と、を備える
画像処理装置。
（付記２）
前記第１の画像処理の処理結果と前記第２の画像処理の処理結果とを合成する合成手段をさらに備える、
付記１に記載の画像処理装置。
（付記３）
前記第２処理手段は、前記第２の画像処理として、前記画像の遠方部分を拡大し、拡大された画像に対して所定の処理を行い、当該所定の処理の処理結果を縮小する
付記１又は２に記載の画像処理装置。
（付記４）
前記第１処理手段は、前記第１の画像処理として領域認識を行い、
前記第２処理手段は、前記第２の画像処理における前記所定の処理として領域認識を行う
付記３に記載の画像処理装置。
（付記５）
前記第１の画像処理の処理結果と前記第２の画像処理の処理結果とを合成する合成手段を備え、
前記合成手段は、前記第１の画像処理において推定された被写体の種別と、前記第２の画像処理において推定された被写体の種別と、予め定められた被写体の種別の優先度とに基づいて、前記画像の遠方部分の各領域における被写体の種別を決定する、
付記４に記載の画像処理装置。
（付記６）
前記第２処理手段は、前記第２の画像処理として、前記画像の遠方部分に対して、第１の画像処理とは異なる設定を適用した画像処理を行う、
付記１又は２に記載の画像処理装置。
（付記７）
前記画像は道路を含む画像であって
前記遠方特定手段は、前記画像における道路の消失点を推定し、当該道路の消失点を基準する所定の部分を、前記画像の遠方部分として特定する、
付記１乃至６のいずれか一項に記載の画像処理装置。
（付記８）
前記遠方特定手段は、前記画像に対する領域認識の処理結果において、道路であると判定された領域に基づいて、前記画像における道路の消失点を推定する
付記７に記載の画像処理装置。
（付記９）
深度データを取得する深度データ取得手段をさらに備え、
前記遠方特定手段は、前記深度データに基づいて、前記画像における遠方部分を特定する、
付記１乃至６のいずれか一項に記載の画像処理装置。
（付記１０）
前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づいて、道路の状況を認識するシーン認識手段をさらに備える、
付記１乃至９のいずれか一項に記載の画像処理装置。
（付記１１）
前記出力手段は、前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づいて、道路を走行する車両に対して所定の出力を行う、
付記１乃至１０のいずれか一項に記載の画像処理装置。
（付記１２）
画像処理装置が、
撮像装置で撮影された画像を取得し、
前記画像に対して第１の画像処理を行い、
前記画像の遠方部分を特定し、
前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行い、
前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う、
画像処理方法。
（付記１３）
コンピュータに、
撮像装置で撮影された画像を取得し、
前記画像に対して第１の画像処理を行い、
前記画像の遠方部分を特定し、
前記画像の遠方部分に対して、第１の画像処理と異なる第２の画像処理を行い、
前記第１の画像処理の処理結果及び前記第２の画像処理の処理結果に基づく出力を行う処理を実行させる、
プログラムの記録媒体。

【符号の説明】

【0237】

１０ 画像処理装置
２０ 撮像装置
１１０ 画像取得部
１２０ 画像処理部
１２１ 第１処理部
１２２ 遠方特定部
１２３ 第２処理部
１２４ 合成部
１３０ シーン認識部
１４０ 出力部
１５０ 深度データ取得部
１０００ コンピュータ
１００１ プロセッサ
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ プログラム
１００５ 記憶装置
１００６ 記録媒体
１００７ ドライブ装置
１００８ 通信インタフェース
１００９ 入力装置
１０１０ 出力装置
１０１１ 入出力インタフェース
１０１２ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】