ホーム > 特許ランキング > 日立Ａｓｔｅｍｏ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023180611
(43)【公開日】2023-12-21
(54)【発明の名称】環境認識装置および環境認識方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231214BHJP
G06V 10/82 20220101ALI20231214BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022094052
(22)【出願日】2022-06-10
(71)【出願人】
【識別番号】509186579
【氏名又は名称】日立Ａｓｔｅｍｏ株式会社
(74)【代理人】
【識別番号】110000925
【氏名又は名称】弁理士法人信友国際特許事務所
(72)【発明者】
【氏名】遠藤 健
(72)【発明者】
【氏名】永崎 健
(72)【発明者】
【氏名】的野 春樹
(72)【発明者】
【氏名】松尾 茂
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA04
5L096CA05
5L096HA11
5L096JA03
5L096JA11
5L096KA04
(57)【要約】 （修正有）
【課題】複数の画像間における画素毎の対応関係をより少ない演算量で算出する環境認識装置を提供する。
【解決手段】環境認識装置は、第一の画像及び第二の画像から特徴量を求めることによって得られる第一の特徴マップ及び第二の特徴マップを求める特徴抽出部２０と、第一の特徴マップ及び第二の特徴マップに対して畳み込み演算を行うことで各部分領域の対応関係に関する確からしさを表現したマッチングコストを求めるコスト算出部３０と、求めたマッチングコストを解析することで第一の画像と第二の画像の対応関係を確定させるマッチング部５０と、を備える。コスト算出部は、第一の特徴マップと第二の特徴マップに対して、コスト算出用の第一のパラメータと第二のパラメータを利用した畳み込み演算を実行して、第一の畳み込み演算結果と第二の畳み込み演算結果を求め、第一の畳み込み演算結果と第二の畳み込み演算結果とを統合してマッチングコストを求める。
【選択図】図１
【解決手段】環境認識装置は、第一の画像及び第二の画像から特徴量を求めることによって得られる第一の特徴マップ及び第二の特徴マップを求める特徴抽出部２０と、第一の特徴マップ及び第二の特徴マップに対して畳み込み演算を行うことで各部分領域の対応関係に関する確からしさを表現したマッチングコストを求めるコスト算出部３０と、求めたマッチングコストを解析することで第一の画像と第二の画像の対応関係を確定させるマッチング部５０と、を備える。コスト算出部は、第一の特徴マップと第二の特徴マップに対して、コスト算出用の第一のパラメータと第二のパラメータを利用した畳み込み演算を実行して、第一の畳み込み演算結果と第二の畳み込み演算結果を求め、第一の畳み込み演算結果と第二の畳み込み演算結果とを統合してマッチングコストを求める。
【選択図】図１
【特許請求の範囲】
【請求項1】
第一の画像と第二の画像を取得する画像取得部と、
前記第一の画像の複数の部分領域に対して特徴量を求めることによって得られる第一の特徴マップと、前記第二の画像の複数の部分領域に対して特徴量を求めることによって得られる第二の特徴マップと、を求める特徴抽出部と、
前記第一の特徴マップおよび前記第二の特徴マップに対して畳み込み演算を行うことで各部分領域の対応関係に関する確からしさを表現したマッチングコストを求めるコスト算出部と、
前記コスト算出部で求めたマッチングコストを解析することで第一の画像と第二の画像の対応関係を確定させるマッチング部と、を備え、
前記コスト算出部は、前記第一の特徴マップと前記第二の特徴マップのそれぞれに対して、コスト算出用の第一のパラメータと第二のパラメータを利用した畳み込み演算を実行することで第一の畳み込み演算結果と第二の畳み込み演算結果をそれぞれ求め、前記第一の畳み込み演算結果と前記第二の畳み込み演算結果とを統合することで前記マッチングコストを求める
環境認識装置。
前記第一の画像の複数の部分領域に対して特徴量を求めることによって得られる第一の特徴マップと、前記第二の画像の複数の部分領域に対して特徴量を求めることによって得られる第二の特徴マップと、を求める特徴抽出部と、
前記第一の特徴マップおよび前記第二の特徴マップに対して畳み込み演算を行うことで各部分領域の対応関係に関する確からしさを表現したマッチングコストを求めるコスト算出部と、
前記コスト算出部で求めたマッチングコストを解析することで第一の画像と第二の画像の対応関係を確定させるマッチング部と、を備え、
前記コスト算出部は、前記第一の特徴マップと前記第二の特徴マップのそれぞれに対して、コスト算出用の第一のパラメータと第二のパラメータを利用した畳み込み演算を実行することで第一の畳み込み演算結果と第二の畳み込み演算結果をそれぞれ求め、前記第一の畳み込み演算結果と前記第二の畳み込み演算結果とを統合することで前記マッチングコストを求める
環境認識装置。
【請求項2】
前記第一の画像と前記第二の画像は、それぞれ第一のカメラと第二のカメラにより同時刻に取得された画像であり、
前記マッチング部で確定される対応関係は視差である
請求項１に記載の環境認識装置。
前記マッチング部で確定される対応関係は視差である
請求項１に記載の環境認識装置。
【請求項3】
前記コスト算出部は、前記第一の畳み込み演算結果と前記第二の畳み込み演算結果とを統合する際に、前記第一の畳み込み演算結果と前記第二の畳み込み演算結果とのいずれか一方を左右方向にずらして要素加算する
請求項２に記載の環境認識装置。
請求項２に記載の環境認識装置。
【請求項4】
前記第一の画像と前記第二の画像は、一つのカメラにより異なる時刻に取得された画像であり、
前記マッチング部で確定される対応関係は移動量を表現したフローである
請求項１に記載の環境認識装置。
前記マッチング部で確定される対応関係は移動量を表現したフローである
請求項１に記載の環境認識装置。
【請求項5】
前記コスト算出部は、前記第一の畳み込み演算結果と前記第二の畳み込み演算結果とを統合する際に、前記第一の畳み込み演算結果と前記第二の畳み込み演算結果とのいずれか一方を上下左右方向にずらして要素加算する
請求項４に記載の環境認識装置。
請求項４に記載の環境認識装置。
【請求項6】
前記コスト算出部において、前記コスト算出用の第一のパラメータと前記コスト算出用の第二のパラメータは、学習時に推定した畳み込みパラメータを統合したものである
請求項１に記載の環境認識装置。
請求項１に記載の環境認識装置。
【請求項7】
前記コスト算出用の第一のパラメータと前記コスト算出用の第二のパラメータとのいずれか一方は、前記学習時に推定した畳み込みパラメータの一部を要素加算したものであり、
前記コスト算出用の第一のパラメータと前記コスト算出用の第二のパラメータとのもう一方は、前記学習時に推定した畳み込みパラメータの一部を空間方向にずらして要素加算したものである
請求項６に記載の環境認識装置。
前記コスト算出用の第一のパラメータと前記コスト算出用の第二のパラメータとのもう一方は、前記学習時に推定した畳み込みパラメータの一部を空間方向にずらして要素加算したものである
請求項６に記載の環境認識装置。
【請求項8】
前記コスト算出部は、一定数の行毎に前記マッチングコストを算出する
請求項１に記載の環境認識装置。
請求項１に記載の環境認識装置。
【請求項9】
前記マッチングコストを補正するコスト集約部を備え、
前記マッチング部は、前記コスト集約部が補正した前記マッチングコストに対して対応関係を確定させる
請求項１～８のいずれか１項に記載の環境認識装置。
前記マッチング部は、前記コスト集約部が補正した前記マッチングコストに対して対応関係を確定させる
請求項１～８のいずれか１項に記載の環境認識装置。
【請求項10】
第一の画像と第二の画像を取得する画像取得処理と、
前記第一の画像の複数の部分領域に対して特徴量を求めることによって得られる第一の特徴マップと、前記第二の画像の複数の部分領域に対して特徴量を求めることによって得られる第二の特徴マップと、を求める特徴抽出処理と、
前記第一の特徴マップおよび前記第二の特徴マップに対して畳み込み演算を行うことで各部分領域の対応関係に関する確からしさを表現したマッチングコストを求めるコスト算出処理と、
前記コスト算出処理により求めたマッチングコストを解析することで第一の画像と第二の画像の対応関係を確定させるマッチング処理と、を含み、
前記コスト算出処理では、前記第一の特徴マップと前記第二の特徴マップのそれぞれに対して、コスト算出用の第一のパラメータと第二のパラメータを利用した畳み込み演算を実行することで第一の畳み込み演算結果と第二の畳み込み演算結果をそれぞれ求め、前記第一の畳み込み演算結果と前記第二の畳み込み演算結果とを統合することで前記マッチングコストを求める
環境認識方法。
前記第一の画像の複数の部分領域に対して特徴量を求めることによって得られる第一の特徴マップと、前記第二の画像の複数の部分領域に対して特徴量を求めることによって得られる第二の特徴マップと、を求める特徴抽出処理と、
前記第一の特徴マップおよび前記第二の特徴マップに対して畳み込み演算を行うことで各部分領域の対応関係に関する確からしさを表現したマッチングコストを求めるコスト算出処理と、
前記コスト算出処理により求めたマッチングコストを解析することで第一の画像と第二の画像の対応関係を確定させるマッチング処理と、を含み、
前記コスト算出処理では、前記第一の特徴マップと前記第二の特徴マップのそれぞれに対して、コスト算出用の第一のパラメータと第二のパラメータを利用した畳み込み演算を実行することで第一の畳み込み演算結果と第二の畳み込み演算結果をそれぞれ求め、前記第一の畳み込み演算結果と前記第二の畳み込み演算結果とを統合することで前記マッチングコストを求める
環境認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、環境認識装置および環境認識方法に関する。
【背景技術】
【0002】
複数の画像間における画素毎の対応関係を算出することで、画像に撮像された対象までの距離や物体のフローを算出する技術が知られている。この技術は、車両に搭載されたカメラを利用して、これらの距離やフロー情報を算出することで、当該車両の周囲の他車両などの挙動を解析することができ、予防安全機能に利用することができる。
【0003】
特許文献１には、ステレオカメラを使用して、左右画像間の対応関係を算出する手法の一例が開示されている。すなわち、特許文献１には、深層学習に基づく手法に関する技術が記載されている。具体的には、特許文献１に記載される技術は、左右の特徴マップを視差値だけずらして連結し、それら連結された特徴マップを視差の探索範囲分さらに連結することで３次元マッチングコスト特徴を生成するようにしている。また、この３次元マッチングコスト特徴はグループ化相互相関特徴とさらに連結される。その後、３次元畳み込み処理を複数回実行することで、各画素に対して視差を算出している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表２０２１－５２６６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載されるような３次元マッチングコスト特徴に対する３次元畳み込み処理は、幅、高さ、視差方向に対する畳み込み処理になり、処理負荷が高いという問題がある。特に、３次元マッチングコスト特徴に対する１回目の畳み込み処理は、幅、高さ、視差のサイズが大きいため、計算リソースの少ないデバイスへの適用が困難であり、演算量の削減を行うことが要求されていた。
【0006】
本発明は、かかる課題に鑑み、複数の画像間における画素毎の対応関係をより少ない演算量で算出可能な環境認識装置および環境認識方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、環境認識装置として、
第一の画像と第二の画像を取得する画像取得部と、
第一の画像の複数の部分領域に対して特徴量を求めることによって得られる第一の特徴マップと、第二の画像の複数の部分領域に対して特徴量を求めることによって得られる第二の特徴マップと、を求める特徴抽出部と、
第一の特徴マップおよび第二の特徴マップに対して畳み込み演算を行うことで各部分領域の対応関係に関する確からしさを表現したマッチングコストを求めるコスト算出部と、
コスト算出部で求めたマッチングコストを解析することで第一の画像と第二の画像の対応関係を確定させるマッチング部と、を備える。
そして、コスト算出部は、第一の特徴マップと第二の特徴マップのそれぞれに対して、コスト算出用の第一のパラメータと第二のパラメータを利用した畳み込み演算を実行することで第一の畳み込み演算結果と第二の畳み込み演算結果をそれぞれ求め、第一の畳み込み演算結果と第二の畳み込み演算結果とを統合することでマッチングコストを求めるようにした。
本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、環境認識装置として、
第一の画像と第二の画像を取得する画像取得部と、
第一の画像の複数の部分領域に対して特徴量を求めることによって得られる第一の特徴マップと、第二の画像の複数の部分領域に対して特徴量を求めることによって得られる第二の特徴マップと、を求める特徴抽出部と、
第一の特徴マップおよび第二の特徴マップに対して畳み込み演算を行うことで各部分領域の対応関係に関する確からしさを表現したマッチングコストを求めるコスト算出部と、
コスト算出部で求めたマッチングコストを解析することで第一の画像と第二の画像の対応関係を確定させるマッチング部と、を備える。
そして、コスト算出部は、第一の特徴マップと第二の特徴マップのそれぞれに対して、コスト算出用の第一のパラメータと第二のパラメータを利用した畳み込み演算を実行することで第一の畳み込み演算結果と第二の畳み込み演算結果をそれぞれ求め、第一の畳み込み演算結果と第二の畳み込み演算結果とを統合することでマッチングコストを求めるようにした。
【発明の効果】
【0008】
本発明によれば、複数の画像間における画素毎の対応関係をより少ない演算量で算出することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施の形態例による環境認識装置の例の構成図である。
【図2】本発明の一実施の形態例による車両に搭載される全体構成とハードウェア構成の例を示す図である。
【図3】本発明の一実施の形態例の環境認識処理例を示すフローチャートである。
【図4】本発明の一実施の形態例の特徴抽出処理を示す図である。
【図5】本発明の一実施の形態例のコスト算出処理例を示すフローチャートである。
【図6】本発明の一実施の形態例のコスト算出処理を示す図である。
【図7】本発明の一実施の形態例のコスト補正処理を示す図である。
【図8】本発明の一実施の形態例のコスト算出処理における学習時の演算方法を示す図である。
【図9】本発明の一実施の形態例のコスト算出処理におけるカーネルの統合方法を説明する図である。
【図10】本発明の一実施の形態例のコスト算出処理における右特徴マップ用のカーネルの生成方法を説明する図である。
【図11】本発明の一実施の形態例のコスト算出処理における左特徴マップ用のカーネルの生成方法を説明する図である。
【図12】本発明の一実施の形態例のコスト算出処理において一定数の行毎に処理する場合のフローチャートである。
【図13】本発明の一実施の形態例のフロー算出処理を示すフローチャートである。
【図14】本発明の一実施の形態例のコスト算出処理のフローチャートである。
【図15】本発明の一実施の形態例のコスト算出処理を示す図である。
【図16】本発明の一実施の形態例のコスト算出処理における学習時の演算方法を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の一実施の形態例を、添付図面を参照して説明する。
図１は、環境認識装置１の構成を示す機能ブロックである。
本実施の形態例の環境認識装置１は、後述するようにカメラ、コンピュータ、メモリ、および記憶装置などで構成されており、コンピュータがメモリ等に格納された制御プログラムを実行することにより各種機能部として動作する。
図１は、環境認識装置１の構成を示す機能ブロックである。
本実施の形態例の環境認識装置１は、後述するようにカメラ、コンピュータ、メモリ、および記憶装置などで構成されており、コンピュータがメモリ等に格納された制御プログラムを実行することにより各種機能部として動作する。
【0011】
［環境認識装置の構成］
図１に示すように、環境認識装置１は、カメラやコンピュータの動作により実現される機能部として画像取得部１０、特徴抽出部２０、コスト算出部３０、コスト集約部４０、及びマッチング部５０を有している。
画像取得部１０は、第一の画像格納部１１と第二の画像格納部１２を有し、カメラで撮像された複数の画像を取得する画像取得処理を行う。ステレオカメラの場合には、第一の画像格納部１１と第二の画像格納部１２は、同時刻に撮像された左右の２枚の画像を取得する。また、単眼カメラの場合、第一の画像格納部１１と第二の画像格納部１２は、異なる時刻に撮像された複数枚の画像を取得する。
図１に示すように、環境認識装置１は、カメラやコンピュータの動作により実現される機能部として画像取得部１０、特徴抽出部２０、コスト算出部３０、コスト集約部４０、及びマッチング部５０を有している。
画像取得部１０は、第一の画像格納部１１と第二の画像格納部１２を有し、カメラで撮像された複数の画像を取得する画像取得処理を行う。ステレオカメラの場合には、第一の画像格納部１１と第二の画像格納部１２は、同時刻に撮像された左右の２枚の画像を取得する。また、単眼カメラの場合、第一の画像格納部１１と第二の画像格納部１２は、異なる時刻に撮像された複数枚の画像を取得する。
【0012】
特徴抽出部２０は、畳み込み演算部２１と特徴抽出パラメータ格納部２２とを有する。畳み込み演算部２１は、画像取得部１０で取得した複数枚の画像に対して、畳み込み演算を実行する。特徴抽出パラメータ格納部２２には、畳み込みに利用されるカーネルのパラメータが格納される。畳み込みに利用されるカーネルは、所定のロス関数を最小化するように学習により決定される。
【0013】
コスト算出部３０は、画像取得部１０で取得された複数の画像の対応関係に関するコストを算出するコスト算出処理を行う。具体的には、コスト算出部３０は、第一の画像畳み込み演算部３１と第二の画像畳み込み演算部３２とを備え、第一の画像畳み込み演算部３１は、第一のパラメータ格納部３３に格納された第一のパラメータによる畳み込み演算を実行し、第二の画像畳み込み演算部３２は、第二のパラメータ格納部３４に格納された第二のパラメータによる畳み込み演算を実行する。
【0014】
各画像畳み込み演算部３１、３２での畳み込み演算結果は、統合部３５で統合される。このコスト算出部３０は、ステレオカメラの場合、左右画像間の視差に関するコストを算出し、単眼カメラの場合には異なる時刻に撮像された画像間のフローに関するコストを算出する。コスト算出処理では、特徴抽出部２０で算出された特徴マップそれぞれに対して独立に各画像畳み込み演算部３１、３２で畳み込み演算が実施され、その結果が統合部３５で統合されることで、コストマップが算出される。畳み込み演算で利用するカーネルは、所定のロス関数を最小化するように決定されたものである。
【0015】
コスト集約部４０は、畳み込み演算部４１と特徴抽出パラメータ格納部４２とを備える。
畳み込み演算部４１は、コスト算出部３０で算出されたコストマップに対して、畳み込み演算を実施することで、コストマップを補正する。特徴抽出パラメータ格納部４２には、畳み込み演算部４１で実行する畳み込みカーネルのパラメータが格納される。
ここで利用されるカーネルは３次元畳み込みカーネルであり、所定のロス関数を最小化するように決定されたものである。
マッチング部５０は、コスト集約部４０で算出され、補正されたコストマップをコスト解析部５１が解析することで、画像取得部１０で取得した複数枚の画像における対応関係を決定する。すなわち、マッチング部５０は、ステレオカメラの場合には画像間の視差を決定し、単眼カメラの場合にはフローを決定する。コスト解析部５１では、SoftArgMin処理やカーネルを利用した解析処理を実行することができる。
畳み込み演算部４１は、コスト算出部３０で算出されたコストマップに対して、畳み込み演算を実施することで、コストマップを補正する。特徴抽出パラメータ格納部４２には、畳み込み演算部４１で実行する畳み込みカーネルのパラメータが格納される。
ここで利用されるカーネルは３次元畳み込みカーネルであり、所定のロス関数を最小化するように決定されたものである。
マッチング部５０は、コスト集約部４０で算出され、補正されたコストマップをコスト解析部５１が解析することで、画像取得部１０で取得した複数枚の画像における対応関係を決定する。すなわち、マッチング部５０は、ステレオカメラの場合には画像間の視差を決定し、単眼カメラの場合にはフローを決定する。コスト解析部５１では、SoftArgMin処理やカーネルを利用した解析処理を実行することができる。
【0016】
特徴抽出部２０、コスト算出部３０、コスト集約部４０、及びマッチング部５０では、所定のロス関数を最小化する学習により決定されたカーネルが利用される。これらカーネルは、マッチング部５０で決定したマッチング結果と正解値データを比較して定義されたロス関数を最小化することで決定される。ステレオカメラの場合には、画像間の視差に対するロスが最小化され、単眼カメラの場合には、画像間のフローに対するロスが最小化される。
【0017】
［環境認識装置が搭載された車両の構成］
図２は、本実施の形態例の環境認識装置１と車両制御装置２を含むコンピュータ４が搭載された車両５の構成を示す。
車両（自動車）５には、前方監視を行うために車載カメラ３Ｌ、３Ｒが設置されている。ここでは、２台の車載カメラ３Ｌ、３Ｒは、左画像と右画像を得るステレオカメラとしたが、１台のカメラが環境認識装置１に接続される場合もある。
図２は、本実施の形態例の環境認識装置１と車両制御装置２を含むコンピュータ４が搭載された車両５の構成を示す。
車両（自動車）５には、前方監視を行うために車載カメラ３Ｌ、３Ｒが設置されている。ここでは、２台の車載カメラ３Ｌ、３Ｒは、左画像と右画像を得るステレオカメラとしたが、１台のカメラが環境認識装置１に接続される場合もある。
【0018】
車載カメラ３Ｌ、３Ｒで撮像された画像は、コンピュータ４内の環境認識装置１に供給される。環境認識装置１は、撮像画像の画像処理を実行し、環境認識処理を行う。なお、環境認識装置１が環境を認識する際には、車載カメラ３Ｌ、３Ｒによる撮像画像だけでなく、不図示のレーダなどの他の検出機構を併用する場合もある。
環境認識装置１で認識された環境の情報は、同じくコンピュータ４内に構成される車両制御装置２に送られ、車両５の走行などが制御される。但し、環境認識装置１と車両制御装置２とは、それぞれ別のコンピュータで構成するようにしてもよい。
環境認識装置１で認識された環境の情報は、同じくコンピュータ４内に構成される車両制御装置２に送られ、車両５の走行などが制御される。但し、環境認識装置１と車両制御装置２とは、それぞれ別のコンピュータで構成するようにしてもよい。
【0019】
図２に示すように、環境認識装置１と車両制御装置２が内蔵されたコンピュータ４は、ＣＰＵ（中央処理ユニット）４ａとワークメモリ４ｂと記憶部４ｃとインターフェース（Ｉ／Ｆ）４ｄとを備え、これらが相互にデータ転送可能に接続されている。
ＣＰＵ４ａは、記憶部４ｃが記憶したプログラムをワークメモリ４ｂ内で実行する。これにより、ワークメモリ４ｂ内に環境認識処理などを行う各処理部が構成される。
記憶部４ｃは、環境認識処理や車両制御を行うプログラムを記憶すると共に、画像や制御データなどを記憶する。
インターフェース４ｄは、車載カメラ３Ｌ、３Ｒからの画像データや、各種センサの検出データの入力処理や、車両の制御データの出力処理を行う。
ＣＰＵ４ａは、記憶部４ｃが記憶したプログラムをワークメモリ４ｂ内で実行する。これにより、ワークメモリ４ｂ内に環境認識処理などを行う各処理部が構成される。
記憶部４ｃは、環境認識処理や車両制御を行うプログラムを記憶すると共に、画像や制御データなどを記憶する。
インターフェース４ｄは、車載カメラ３Ｌ、３Ｒからの画像データや、各種センサの検出データの入力処理や、車両の制御データの出力処理を行う。
【0020】
［環境認識装置が行う処理の動作例１：ステレオカメラを利用して視差を算出する例］
次に、環境認識装置１が行う動作例１として、ステレオカメラである車載カメラ３Ｌ、３Ｒを利用して視差を算出する動作を説明する。
以降では、ステレオカメラで取得される左右画像のうち、右画像に対して視差を算出する処理を説明する。
次に、環境認識装置１が行う動作例１として、ステレオカメラである車載カメラ３Ｌ、３Ｒを利用して視差を算出する動作を説明する。
以降では、ステレオカメラで取得される左右画像のうち、右画像に対して視差を算出する処理を説明する。
【0021】
図３は、環境認識装置１による視差を算出する処理を示すフローチャートである。
まず、環境認識装置１は、画像取得処理（Ｐ１０１）、特徴抽出処理（Ｐ１０２）、マッチングコスト算出処理（Ｐ１０３）、コスト補正処理（Ｐ１０４）、及び視差算出処理（Ｐ１０５）を順に実行する。
まず、環境認識装置１は、画像取得処理（Ｐ１０１）、特徴抽出処理（Ｐ１０２）、マッチングコスト算出処理（Ｐ１０３）、コスト補正処理（Ｐ１０４）、及び視差算出処理（Ｐ１０５）を順に実行する。
【0022】
画像取得処理（Ｐ１０１）において、画像取得部１０は、ステレオカメラの左右画像のデータを取得する。
特徴抽出処理（Ｐ１０２）では、画像取得処理（Ｐ１０１）で取得された左画像及び右画像に対して、特徴抽出部２０が畳み込み演算を実施することで特徴マップを生成する。
特徴抽出処理（Ｐ１０２）では、画像取得処理（Ｐ１０１）で取得された左画像及び右画像に対して、特徴抽出部２０が畳み込み演算を実施することで特徴マップを生成する。
【0023】
図４は、特徴抽出部２０による特徴抽出処理（Ｐ１０２）の詳細を示す。
ここでは、特徴抽出部２０は、左画像Ｉ１００と右画像Ｉ１０１に対して、学習済みの畳み込みニューラルネットワークＮ１００を利用して、左特徴マップＦ１００と右特徴マップＦ１０１をそれぞれ算出する。畳み込みニューラルネットワークＮ１００は、畳み込み演算、正規化演算、活性化演算の繰り返し構造から構成される。正規化演算としては、Batch Normalization、活性化としてはRectified Linear Unitが利用される。ただし、最終層のみBatch NormalizationとRectified Linear Unitは利用されない。
ここでは、特徴抽出部２０は、左画像Ｉ１００と右画像Ｉ１０１に対して、学習済みの畳み込みニューラルネットワークＮ１００を利用して、左特徴マップＦ１００と右特徴マップＦ１０１をそれぞれ算出する。畳み込みニューラルネットワークＮ１００は、畳み込み演算、正規化演算、活性化演算の繰り返し構造から構成される。正規化演算としては、Batch Normalization、活性化としてはRectified Linear Unitが利用される。ただし、最終層のみBatch NormalizationとRectified Linear Unitは利用されない。
【0024】
ここで、特徴抽出部２０は、左画像Ｉ１００と右画像Ｉ１０１に対して、同一の畳み込みニューラルネットワークＮ１００を利用して畳み込み演算を実施する。これにより、特徴抽出部２０は、同一の見え方をする箇所に対して、同一の特徴量を抽出することができる。また、畳み込みニューラルネットワークＮ１００は、後述する学習により推定されたパラメータを利用する。
図３の説明に戻ると、マッチングコスト算出処理（Ｐ１０３）では、コスト算出部３０は、特徴抽出処理（Ｐ１０２）で算出した左特徴マップＦ１００と右特徴マップＦ１０１を利用して、各視差に対するコストを生成する。
図３の説明に戻ると、マッチングコスト算出処理（Ｐ１０３）では、コスト算出部３０は、特徴抽出処理（Ｐ１０２）で算出した左特徴マップＦ１００と右特徴マップＦ１０１を利用して、各視差に対するコストを生成する。
【0025】
図５は、コスト算出部３０によるマッチングコスト算出処理（Ｐ１０３）の詳細を示すフローチャートである。
マッチングコスト算出処理（Ｐ１０３）では、コスト算出部３０は、左特徴マップ畳み込み処理（Ｐ２０１）、右特徴マップ畳み込み処理（Ｐ２０２）、及び各視差に対応したコスト生成（Ｐ２０３）を実施する。
各視差に対応したコスト生成（Ｐ２０３）では、コスト算出部３０は、左特徴マップのシフト処理（Ｐ２０４）を実施し、その後右特徴マップと左特徴マップの要素加算処理（Ｐ２０５）を実行することで各視差に対応したコストを生成する。
ここで、左特徴マップのシフト処理（Ｐ２０４）と、右特徴マップと左特徴マップの要素加算処理（Ｐ２０５）とは、視差に対応したコスト生成（Ｐ２０３）の探索範囲で繰り返し実行される。
その後、コスト算出部３０は、生成したコストに対して、Batch Normalizationによる正規化と、Rectified Linear Unitによる活性化を実行する。
マッチングコスト算出処理（Ｐ１０３）では、コスト算出部３０は、左特徴マップ畳み込み処理（Ｐ２０１）、右特徴マップ畳み込み処理（Ｐ２０２）、及び各視差に対応したコスト生成（Ｐ２０３）を実施する。
各視差に対応したコスト生成（Ｐ２０３）では、コスト算出部３０は、左特徴マップのシフト処理（Ｐ２０４）を実施し、その後右特徴マップと左特徴マップの要素加算処理（Ｐ２０５）を実行することで各視差に対応したコストを生成する。
ここで、左特徴マップのシフト処理（Ｐ２０４）と、右特徴マップと左特徴マップの要素加算処理（Ｐ２０５）とは、視差に対応したコスト生成（Ｐ２０３）の探索範囲で繰り返し実行される。
その後、コスト算出部３０は、生成したコストに対して、Batch Normalizationによる正規化と、Rectified Linear Unitによる活性化を実行する。
【0026】
図６は、図５のフローチャートで説明したコスト算出部３０によるマッチングコスト算出処理（Ｐ１０３）の処理状況の例を示す。
コスト算出部３０は、左特徴マップ畳み込み処理（Ｐ２０１）で、左特徴マップＦ１００に対して、畳み込みパラメータＫＬを利用した畳み込み演算ＬＣを実行することで左特徴マップＦ１１０を取得する。
また、コスト算出部３０は、右特徴マップ畳み込み処理（Ｐ２０２）で、右特徴マップＦ１０１に対して、畳み込みパラメータＫＲを利用した畳み込み演算ＲＣを実行することで右特徴マップＦ１１１を取得する。
コスト算出部３０は、左特徴マップ畳み込み処理（Ｐ２０１）で、左特徴マップＦ１００に対して、畳み込みパラメータＫＬを利用した畳み込み演算ＬＣを実行することで左特徴マップＦ１１０を取得する。
また、コスト算出部３０は、右特徴マップ畳み込み処理（Ｐ２０２）で、右特徴マップＦ１０１に対して、畳み込みパラメータＫＲを利用した畳み込み演算ＲＣを実行することで右特徴マップＦ１１１を取得する。
【0027】
各視差に対応したコスト生成（Ｐ２０３）では、算出する視差範囲（例えば、６４ｐｉｘなど）に応じた回数、以降の処理が実行される。
ここでは、視差４pixに対応したコスト生成処理に関して説明する。左特徴マップのシフト処理（Ｐ２０４）では、コスト算出部３０は、右特徴マップＦ１１１に対して、左特徴マップＦ１１０を左方向に４pixシフトさせる。その後、コスト算出部３０は、要素加算処理（Ｐ２０５）で、右特徴マップＦ１１１とシフトした左特徴マップＦ１１０を要素加算することで視差４pixに対応したコストマップＣ１０４を生成する。
ここでは、視差４pixに対応したコスト生成処理に関して説明する。左特徴マップのシフト処理（Ｐ２０４）では、コスト算出部３０は、右特徴マップＦ１１１に対して、左特徴マップＦ１１０を左方向に４pixシフトさせる。その後、コスト算出部３０は、要素加算処理（Ｐ２０５）で、右特徴マップＦ１１１とシフトした左特徴マップＦ１１０を要素加算することで視差４pixに対応したコストマップＣ１０４を生成する。
【0028】
そして、コスト算出部３０は、この左特徴マップのシフト処理（Ｐ２０４）と要素加算処理（Ｐ２０５）を、算出する視差範囲回数分（Ｄ＋１回）実行し、それを特徴マップの奥行方向に結合することでコストマップＣ２００を生成する。ここで、コストマップＣ２００の各位置には、各視差に対応したコストが格納される。
【0029】
上述した説明では、説明の都合上、特徴マップのチャンネルに関する説明を省略したが、コスト算出部３０は、畳み込みパラメータＫＬとＫＲとして、複数のカーネルを利用することができる。これにより、左特徴マップＦ１１０と右特徴マップＦ１１１のサイズはそれぞれ、（ＨＬ、ＷＬ、ＷＬ）、（ＨＲ、ＷＲ、ＣＲ）となる。ここで、ＨＬ、ＷＬ、ＷＬは、それぞれ左特徴マップＦ１１０の高さ、幅、チャンネルを示している。また、ＨＲ、ＷＲ、ＣＲは、それぞれ右特徴マップＦ１１１の高さ、幅、チャンネルを示している。
【0030】
要素加算処理において、コスト算出部３０は、視差範囲に対応したＤ＋１回の左特徴マップＦ１１０のシフト処理、及び左特徴マップＦ１１０と右特徴マップＦ１１１の要素加算処理を実行することで、サイズ（Ｄ＋１、ＨＲ、ＷＲ、ＣＲ）のコストマップＣ２００を算出する。そして、このように算出されたコストマップＣ２００の各位置のチャンネル毎に、視差に対応したコストが格納される。
【0031】
また、コスト算出部３０は、左特徴マップＦ１１０の幅として、ＷＬ＝ＷＲ＋Ｄとなるサイズの左特徴マップＦ１００自体を入力することで、右特徴マップＦ１１１に対して、シフトした左特徴マップＦ１１０を横方向に重複させて配置することができる。ここで、左特徴マップＦ１１０の幅をＷＬ＝ＷＲ＋Ｄとすることは、図４に示す左画像Ｉ１００を右画像Ｉ１０１よりも大きいサイズで畳み込みニューラルネットワークＮ１００に入力することを意味している。なお、畳み込みパラメータＫＬとＫＲは後述する学習により推定されたパラメータである。
【0032】
コスト補正処理（Ｐ１０４）では、マッチングコスト算出処理（Ｐ１０３）で算出したコストマップＣ２００に対して、コスト集約部４０が畳み込みニューラルネットワークＮ２００を利用した畳み込み演算を実行することで補正されたコストマップＣ２０１を算出する。コストマップＣ２０１のサイズは、（Ｄ＋１、ＨＲ、ＷＲ、１）であり、各位置において、各視差に対するコストが格納される。補正されたコストマップＣ２０１としては、周辺画素のコストを考慮して補正されたコストが格納される。
図７に示す畳み込みニューラルネットワークＮ２００では、コスト集約部４０の畳み込み演算部４１が３次元畳み込みカーネルを利用して、コストマップＣ２００の幅、高さ、奥行方向に対して畳み込み演算を実施する。
畳み込みニューラルネットワークＮ２００は、畳み込み演算、正規化演算、活性化演算の繰り返し構造から構成される。
図７に示す畳み込みニューラルネットワークＮ２００では、コスト集約部４０の畳み込み演算部４１が３次元畳み込みカーネルを利用して、コストマップＣ２００の幅、高さ、奥行方向に対して畳み込み演算を実施する。
畳み込みニューラルネットワークＮ２００は、畳み込み演算、正規化演算、活性化演算の繰り返し構造から構成される。
【0033】
正規化演算としては、Batch Normalization、活性化演算としてはRectified Linear Unitが利用される。但し、最終層のみBatch NormalizationとRectified Linear Unitは利用されない。また、畳み込みニューラルネットワークＮ２００は、入力されたコストマップをダウンサンプリングし、その後アップサンプリングするエンコーダ・デコーダ形式のネットワークである。また、ニューラルネットワークＮ２００で利用されるカーネルは後述する学習により推定されたパラメータである。
【0034】
視差算出処理（Ｐ１０５）では、マッチング部５０のコスト解析部５１が、コスト補正処理（Ｐ１０４）で算出したコストマップＣ２０１に格納されたコストを解析することで、右画像の各画素における視差を算出する。コスト解析部５１は、コストの解析方法として、公知のSoftArgMin処理を実行する。すなわち、コスト解析部５１は、各位置に対する奥行方向Ｄに対してSoftMax処理を実施する。その際に、コスト解析部５１は、コストを符号反転することで、各視差に対する確からしさを算出する。その後、コスト解析部５１は、コストマップＣ２０１の奥行方向のインデックスに対応した視差値とSoftMax処理で算出した確からしさの総和を計算することで、各画素に対する視差を算出する。
【0035】
以上説明したように、図３に示す特徴抽出処理（Ｐ１０２）、マッチングコスト算出処理（Ｐ１０３）及びコスト補正処理（Ｐ１０４）では、学習により求めたカーネルを利用して畳み込み演算が実行される。また、Batch Normalizationのパラメータも利用される。
以降では、畳み込みのカーネル、及びBatch Normalizationのパラメータの推定で実施される学習方法に関して説明する。
この学習方法では、図３の視差算出処理（Ｐ１０５）で推定した最終的な視差と正解値データを利用してロス関数が定義され、カーネルはこのロス関数を最小化することで推定される。ロス関数としては、推定した視差と正解値データの差の絶対値が利用される。
なお、マッチング部５０のコスト解析部５１は、推定した視差画像のうち、正解値データが含まれる画素に対して上に述べた計算を実行し、その平均値をロス関数とする。
特徴抽出処理（Ｐ１０２）、マッチングコスト算出処理（Ｐ１０３）、コスト補正処理（Ｐ１０４）、及び視差算出処理（Ｐ１０５）は、いずれも微分可能な演算のみから構成されており、視差算出処理（Ｐ１０５）に対してロス関数を定義し、それを最小化することで、特徴抽出処理（Ｐ１０２）、マッチングコスト算出処理（Ｐ１０３）、及びコスト補正処理（Ｐ１０４）のパラメータが決定される。
以降では、畳み込みのカーネル、及びBatch Normalizationのパラメータの推定で実施される学習方法に関して説明する。
この学習方法では、図３の視差算出処理（Ｐ１０５）で推定した最終的な視差と正解値データを利用してロス関数が定義され、カーネルはこのロス関数を最小化することで推定される。ロス関数としては、推定した視差と正解値データの差の絶対値が利用される。
なお、マッチング部５０のコスト解析部５１は、推定した視差画像のうち、正解値データが含まれる画素に対して上に述べた計算を実行し、その平均値をロス関数とする。
特徴抽出処理（Ｐ１０２）、マッチングコスト算出処理（Ｐ１０３）、コスト補正処理（Ｐ１０４）、及び視差算出処理（Ｐ１０５）は、いずれも微分可能な演算のみから構成されており、視差算出処理（Ｐ１０５）に対してロス関数を定義し、それを最小化することで、特徴抽出処理（Ｐ１０２）、マッチングコスト算出処理（Ｐ１０３）、及びコスト補正処理（Ｐ１０４）のパラメータが決定される。
【0036】
以上より、本実施の形態例の環境認識装置１は、マッチングコスト算出処理（Ｐ１０３）において、右画像と左画像独立に１度畳み込み演算を実施し、その結果を統合することでマッチングコストを算出することができる。従来、右画像と左画像を視差方向に連結して３次元畳み込み演算を１度実行することでマッチングコストを算出していたが、視差の探索範囲回数の畳み込み演算が必要であった。これに対して、本実施の形態例を適用することで畳み込み演算の回数を削減することができ、演算量の削減が可能になる。
【0037】
また、本実施の形態例の環境認識装置１は、マッチングコスト算出処理（Ｐ１０３）において、右画像と左画像の畳み込み演算結果のうち、左画像をシフトさせ、シフトした結果に対して要素加算処理を実行することでマッチングコストを算出している。このように、本実施の形態例の環境認識装置１は、複雑な演算を利用せず、画像のシフトと単純な加算処理によりコストを生成することで、より高速にマッチングコストを生成することができる。
また、本実施形態の環境認識装置１は、マッチングコスト算出処理（Ｐ１０３）で算出したコストをコスト補正処理（Ｐ１０４）で補正するようにした。これにより、本実施の形態例の環境認識装置１では、マッチングコスト算出処理（Ｐ１０３）で算出したコストが誤りを含む場合に対しても、周辺のコストを利用して補正することができ、より高精度に視差を算出することができる。
また、本実施形態の環境認識装置１は、マッチングコスト算出処理（Ｐ１０３）で算出したコストをコスト補正処理（Ｐ１０４）で補正するようにした。これにより、本実施の形態例の環境認識装置１では、マッチングコスト算出処理（Ｐ１０３）で算出したコストが誤りを含む場合に対しても、周辺のコストを利用して補正することができ、より高精度に視差を算出することができる。
【0038】
以上の動作例１は、学習時により決定したカーネルを推論時のマッチングコスト算出処理（Ｐ１０３）で利用する構成であった。
これに対して、図８以降で説明する処理に基づいて、学習により決定したカーネルを統合したものをマッチングコスト算出処理（Ｐ１０３）で利用する構成にすることもできる。すなわち、学習時と推論時で演算方法を変更した構成にすることもできる。また、図８以降で述べる手続きに従い、推論時に利用するカーネルを生成することで、学習時の構成と同一の出力結果を得ることができる。
これに対して、図８以降で説明する処理に基づいて、学習により決定したカーネルを統合したものをマッチングコスト算出処理（Ｐ１０３）で利用する構成にすることもできる。すなわち、学習時と推論時で演算方法を変更した構成にすることもできる。また、図８以降で述べる手続きに従い、推論時に利用するカーネルを生成することで、学習時の構成と同一の出力結果を得ることができる。
【0039】
図８は、学習時における、コスト算出部３０の構成、及び手続きを説明する図である。
マッチングコスト算出処理（Ｐ１０３）において、左特徴マップＦ１００と右特徴マップＦ１０１に対して処理を実行する。図８に示すように、コスト算出部３０は、右特徴マップＦ１０１に対して、視差の探索範囲（Ｄ＋１pix）回数だけ左特徴マップＦ１００をシフトし、各視差に対応した左右ペアを生成する。
シフトせずにチャンネル方向に結合した特徴マップが「ずらしなし」のＦ０、１pixシフトして結合した特徴マップが「1pixずらし」のＦ１、Ｄpixシフトして結合した特徴マップが「Dpixずらし」のＦＤである。学習では、コスト算出部３０は、これらＤ＋１個のペアを奥行方向にさらに結合して、３次元畳み込みカーネルＫ１００を利用した畳み込み演算を実行することでマッチングコストを生成する。
マッチングコスト算出処理（Ｐ１０３）において、左特徴マップＦ１００と右特徴マップＦ１０１に対して処理を実行する。図８に示すように、コスト算出部３０は、右特徴マップＦ１０１に対して、視差の探索範囲（Ｄ＋１pix）回数だけ左特徴マップＦ１００をシフトし、各視差に対応した左右ペアを生成する。
シフトせずにチャンネル方向に結合した特徴マップが「ずらしなし」のＦ０、１pixシフトして結合した特徴マップが「1pixずらし」のＦ１、Ｄpixシフトして結合した特徴マップが「Dpixずらし」のＦＤである。学習では、コスト算出部３０は、これらＤ＋１個のペアを奥行方向にさらに結合して、３次元畳み込みカーネルＫ１００を利用した畳み込み演算を実行することでマッチングコストを生成する。
【0040】
ここで、３次元畳み込みカーネルＫ１００は、幅、高さだけでなく、奥行方向に対しても次元を持つカーネルである。以降の説明では、奥行方向のサイズは「３」であるものとして説明する。学習時には、コスト算出部３０は、上述した手順によりマッチングコストを生成する。生成したマッチングコストを利用して、コスト集約部４０、及びマッチング部５０が実行されることで、最終的に視差が算出される。そして、コスト解析部５１は、視差算出処理（Ｐ１０５）が推定した視差に基づきロス関数を定義し、それを最小化することでマッチングコスト算出処理（Ｐ１０３）における３次元畳み込みカーネルＫ１００の値を決定する。
推論時の構成は、図６に示したものが適用される。すなわち、コスト算出部３０では、学習時に求めた３次元畳み込みカーネルＫ１００の値を利用して、図６に示す畳み込みパラメータＫＬ、及びＫＲが決定される。
推論時の構成は、図６に示したものが適用される。すなわち、コスト算出部３０では、学習時に求めた３次元畳み込みカーネルＫ１００の値を利用して、図６に示す畳み込みパラメータＫＬ、及びＫＲが決定される。
【0041】
図９、図１０、及び図１１は、学習時に求めた３次元畳み込みカーネルＫ１００を利用した畳み込みパラメータＫＬ、及びＫＲの決定方法を示す図である。
図９に示すように、３次元畳み込みカーネルＫ１００の奥行方向のサイズは「３」であるため、３枚の左右ペアに対する畳み込みカーネルとなっている。３次元畳み込みカーネルＫ１００は、それぞれの特徴マップ(Ｆ０Ｒ、Ｆ１Ｒ、Ｆ２Ｒ、Ｆ０Ｌ、Ｆ１Ｌ、Ｆ２Ｌ)に対して独立した畳み込みカーネルであるとみなすことができる。
Ｆ０Ｒ、Ｆ１Ｒ、及びＦ２Ｒは、３枚の左右ペアのうちの右特徴マップを示しており、Ｆ０Ｌ、Ｆ１Ｌ、及びＦ２Ｌは、３枚の左右ペアのうちの左特徴マップを示している。ここで、Ｆ０Ｒ、Ｆ１Ｒ、及びＦ２Ｒは同一の特徴マップであるのに対し、Ｆ０Ｌ、Ｆ１Ｌ、及びＦ２Ｌでは、Ｆ１ＬがＦ０Ｌを基準として１pixシフトしたマップ、Ｆ２ＬがＦ０Ｌを基準として２pixシフトしたマップになっている。
図９に示すように、３次元畳み込みカーネルＫ１００の奥行方向のサイズは「３」であるため、３枚の左右ペアに対する畳み込みカーネルとなっている。３次元畳み込みカーネルＫ１００は、それぞれの特徴マップ(Ｆ０Ｒ、Ｆ１Ｒ、Ｆ２Ｒ、Ｆ０Ｌ、Ｆ１Ｌ、Ｆ２Ｌ)に対して独立した畳み込みカーネルであるとみなすことができる。
Ｆ０Ｒ、Ｆ１Ｒ、及びＦ２Ｒは、３枚の左右ペアのうちの右特徴マップを示しており、Ｆ０Ｌ、Ｆ１Ｌ、及びＦ２Ｌは、３枚の左右ペアのうちの左特徴マップを示している。ここで、Ｆ０Ｒ、Ｆ１Ｒ、及びＦ２Ｒは同一の特徴マップであるのに対し、Ｆ０Ｌ、Ｆ１Ｌ、及びＦ２Ｌでは、Ｆ１ＬがＦ０Ｌを基準として１pixシフトしたマップ、Ｆ２ＬがＦ０Ｌを基準として２pixシフトしたマップになっている。
【0042】
３次元畳み込みカーネルＫ１００のうち、Ｆ０Ｒ、Ｆ１Ｒ、及びＦ２Ｒに対する畳み込みカーネルを、Ｋ０Ｒ、Ｋ１Ｒ、及びＫ２Ｒとする。同様に、３次元畳み込みカーネルＫ１００のうち、Ｆ０Ｌ、Ｆ１Ｌ、及びＦ２Ｌに対する畳み込みカーネルを、Ｋ０Ｌ、Ｋ１Ｌ、及びＫ２Ｌとする。
コスト算出部３０は、カーネルＫ０Ｒ、Ｋ１Ｒ、及びＫ２Ｒを統合して右特徴マップ向け２次元畳み込みカーネルＫ１０１を生成する。また、コスト算出部３０は、カーネルＫ０Ｌ、Ｋ１Ｌ、及びＫ２Ｌを統合して左特徴マップ向け２次元畳み込みカーネルＫ１０２を生成する。生成された右特徴マップ向け２次元畳み込みカーネルＫ１０１と左特徴マップ向け２次元畳み込みカーネルＫ１０２は、図６に示した推論時に利用される畳み込みパラメータＫＲとＫＬにそれぞれ対応する。
コスト算出部３０は、カーネルＫ０Ｒ、Ｋ１Ｒ、及びＫ２Ｒを統合して右特徴マップ向け２次元畳み込みカーネルＫ１０１を生成する。また、コスト算出部３０は、カーネルＫ０Ｌ、Ｋ１Ｌ、及びＫ２Ｌを統合して左特徴マップ向け２次元畳み込みカーネルＫ１０２を生成する。生成された右特徴マップ向け２次元畳み込みカーネルＫ１０１と左特徴マップ向け２次元畳み込みカーネルＫ１０２は、図６に示した推論時に利用される畳み込みパラメータＫＲとＫＬにそれぞれ対応する。
【0043】
図１０は、右特徴マップ向け２次元畳み込みカーネルＫ１０１の生成方法を示す。
コスト算出部３０は、畳み込みカーネルＫ０Ｒ、Ｋ１Ｒ、及びＫ２Ｒを要素加算することで、右特徴マップ向け２次元畳み込みカーネルＫ１０１を生成する。
コスト算出部３０は、畳み込みカーネルＫ０Ｒ、Ｋ１Ｒ、及びＫ２Ｒを要素加算することで、右特徴マップ向け２次元畳み込みカーネルＫ１０１を生成する。
【0044】
図１１は、左特徴マップ向け２次元畳み込みカーネルＫ１０２の生成方法を示す。
コスト算出部３０は、左特徴マップ向け２次元畳み込みカーネルＫ１０２の生成処理では、畳み込みカーネルＫ１Ｌに対して、畳み込みカーネルＫ０Ｌを左に１ピクセルシフトさせて要素加算を実行する。すなわち、コスト算出部３０は、畳み込みカーネルＫ０Ｌの２列目の各要素を畳み込みカーネルＫ１Ｌの１列目の各要素に加算する。
次に、コスト算出部３０は、畳み込みカーネルＫ０Ｌと加算された畳み込みカーネルＫ１Ｌに対して、畳み込みカーネルＫ２Ｌを右に１ピクセルシフトさせて要素加算を実行する。すなわち、コスト算出部３０は、畳み込みカーネルＫ２Ｌの１列目の各要素を畳み込みカーネルＫ１Ｌの２列目の各要素に加算する。なお、畳み込みカーネルＫ０Ｌの１列目、及び畳み込みカーネルＫ２Ｌの３列目の要素加算処理では、存在していない畳み込みカーネルＫ１Ｌの０列目と４列目に要素加算することとなる。
この場合、コスト算出部３０は、畳み込みカーネルＫ１Ｌの０列目と４列目の全ての要素は０であるとみなして、要素加算処理を実行する。上で述べた手続きにより生成された左特徴マップ向け２次元畳み込みカーネルＫ１０２は、畳み込みカーネルＫ０Ｒ、Ｋ１Ｒ、及びＫ２Ｒのサイズに比べて横方向に大きなサイズを持つカーネルとなる。
コスト算出部３０は、左特徴マップ向け２次元畳み込みカーネルＫ１０２の生成処理では、畳み込みカーネルＫ１Ｌに対して、畳み込みカーネルＫ０Ｌを左に１ピクセルシフトさせて要素加算を実行する。すなわち、コスト算出部３０は、畳み込みカーネルＫ０Ｌの２列目の各要素を畳み込みカーネルＫ１Ｌの１列目の各要素に加算する。
次に、コスト算出部３０は、畳み込みカーネルＫ０Ｌと加算された畳み込みカーネルＫ１Ｌに対して、畳み込みカーネルＫ２Ｌを右に１ピクセルシフトさせて要素加算を実行する。すなわち、コスト算出部３０は、畳み込みカーネルＫ２Ｌの１列目の各要素を畳み込みカーネルＫ１Ｌの２列目の各要素に加算する。なお、畳み込みカーネルＫ０Ｌの１列目、及び畳み込みカーネルＫ２Ｌの３列目の要素加算処理では、存在していない畳み込みカーネルＫ１Ｌの０列目と４列目に要素加算することとなる。
この場合、コスト算出部３０は、畳み込みカーネルＫ１Ｌの０列目と４列目の全ての要素は０であるとみなして、要素加算処理を実行する。上で述べた手続きにより生成された左特徴マップ向け２次元畳み込みカーネルＫ１０２は、畳み込みカーネルＫ０Ｒ、Ｋ１Ｒ、及びＫ２Ｒのサイズに比べて横方向に大きなサイズを持つカーネルとなる。
【0045】
これら生成された右特徴マップ向け２次元畳み込みカーネルＫ１０１と左特徴マップ向け２次元畳み込みカーネルＫ１０２は、図６に示す畳み込みパラメータＫＲとＫＬとしてそれぞれ利用される。これにより、異なる演算方法で学習時の構成と同一の出力を得ることができる。
【0046】
本実施の形態例の環境認識装置１は、学習時に求めた３次元畳み込みカーネルを推論時には統合して２次元畳み込みカーネルとして利用する。このようにすることで、本実施の形態例の環境認識装置１は、３次元畳み込みカーネルを利用して学習されたモデルを、推論時において再学習不要でより少ない演算量で実行できる。また、学習時に利用する３次元畳み込みカーネルのパラメータ数と推論時に利用するパラメータ数を比較した場合、推論時に利用するパラメータ数の方が少なくなる。これにより、より少ないメモリ使用量で視差算出を実行することが可能になる。
【0047】
これまでに説明した動作例１では、コスト算出部３０によるマッチングコスト算出処理（Ｐ１０３）において、画像全体に対して１度にコストマップを生成する場合に関して説明したが、次に説明する図１２のフローチャートに示す処理のように、部分領域毎に処理を実行することもできる。
【0048】
すなわち、図１２に示すように、マッチングコスト算出処理（Ｐ３０１）では、連続した一定数の行に対して、図５のフローチャートに示すＰ２０１～Ｐ２０５の処理と同一の処理を実行する。一定数の行に対して行われる個々の処理（Ｐ２０１、Ｐ２０２、Ｐ２０３、Ｐ２０４、Ｐ２０５）は、図５で説明した通りである。
コスト算出部３０は、Ｐ２０１～Ｐ２０５の処理を一定数の行毎に繰り返すことで、最終的なコストマップを生成する。
コスト算出部３０は、Ｐ２０１～Ｐ２０５の処理を一定数の行毎に繰り返すことで、最終的なコストマップを生成する。
【0049】
このように、コスト算出部３０は、連続した一定数の行毎にコストマップを生成し、処理する領域を分割することで、使用するメモリ量を低減することができる。また、コスト算出部３０は、分散して推論できる実行環境の場合に、連続した一定数の行毎に分散して推論し、その結果を統合することで、推論時間を短縮することができる。
【0050】
なお、これまで説明した（動作例１）の特徴抽出処理（P１０２）では、入力画像のサイズと出力される特徴マップのサイズが等しい想定であった。一方で、特徴抽出部２０は、入力画像のサイズに比べて出力される特徴マップのサイズを小さくすることもできる。特徴抽出部２０は、畳み込みニューラルネットワーク（Ｎ１００）において、畳み込み演算部２１によりストライド２以上の畳み込み演算を実行することで入力画像に比べて小さいサイズの特徴マップを出力することができる。
例えば、畳み込み演算部２１によりストライド２の畳み込みを２回実行することで出力される特徴マップは、入力画像の１／４のサイズとなる。すなわち、出力された特徴マップの１pixが、入力画像における４pixに相当する。この場合において、コスト算出部３０は、入力画像に対する視差の探索範囲が６４pixであった場合、その１／４に対応した１６pix回数のコスト算出処理をマッチングコスト算出処理（P１０３）で実行する。このように、本実施の形態例の特徴抽出処理によれば、様々なサイズの特徴マップを出力する構成に変更することができる。
例えば、畳み込み演算部２１によりストライド２の畳み込みを２回実行することで出力される特徴マップは、入力画像の１／４のサイズとなる。すなわち、出力された特徴マップの１pixが、入力画像における４pixに相当する。この場合において、コスト算出部３０は、入力画像に対する視差の探索範囲が６４pixであった場合、その１／４に対応した１６pix回数のコスト算出処理をマッチングコスト算出処理（P１０３）で実行する。このように、本実施の形態例の特徴抽出処理によれば、様々なサイズの特徴マップを出力する構成に変更することができる。
【0051】
また、これまで説明した（動作例１）のコスト補正処理（P１０４）では、入力されたコストマップと同一サイズのコストマップを出力する想定で処理を説明したが、入力されたコストマップに比べて大きいコストマップを出力したり、小さいコストマップを出力したりするように変更することもできる。
具体的には、入力に比べて大きいコストマップを出力する場合には、畳み込みニューラルネットワーク（Ｎ２００）において、畳み込み演算部４１は、エンコードに利用したストライド数に比べて大きなストライドをデコード時に設定することで、大きいサイズの特徴マップを出力できる。入力に比べて小さいコストマップを出力する場合には、畳み込みニューラルネットワーク（Ｎ２００）において、畳み込み演算部４１は、エンコードに利用したストライド数に比べて小さなストライドをデコード時に設定することで、小さいサイズの特徴マップを出力できる。
具体的には、入力に比べて大きいコストマップを出力する場合には、畳み込みニューラルネットワーク（Ｎ２００）において、畳み込み演算部４１は、エンコードに利用したストライド数に比べて大きなストライドをデコード時に設定することで、大きいサイズの特徴マップを出力できる。入力に比べて小さいコストマップを出力する場合には、畳み込みニューラルネットワーク（Ｎ２００）において、畳み込み演算部４１は、エンコードに利用したストライド数に比べて小さなストライドをデコード時に設定することで、小さいサイズの特徴マップを出力できる。
【0052】
また、図８～図１１に示す処理を利用して、学習時に決定した３次元畳み込みカーネルを、推論時に統合して利用する方法を説明したが、畳み込み演算の横方向と視差方向のパディングの影響を考慮し、以下のように変更してもよい。
以降の説明では、３次元畳み込みカーネルのサイズが幅、高さ、奥行方向それぞれ３pixであると想定する。
すなわち、コスト算出部３０は、学習時において左右特徴マップのペアを生成する際に、右特徴マップ（Ｆ１０１）の左右端を１pixずつ削る。そして、コスト算出部３０は、右特徴マップ（Ｆ１０１）のサイズをＷＲ-２とする。その後、コスト算出部３０は、左特徴マップ（Ｆ１００）と右特徴マップ（Ｆ１０１）のペアを生成する。これにより、左特徴マップのサイズはＷＬ＝ＷＲ＋Ｄであるため、Ｄ＋３個のペアが生成される。その後、コスト算出部３０は、Ｄ＋３個のペアに対して３次元畳み込み処理を実行する。そして、コスト算出部３０は、出力したコストマップの幅方向に対して左右端１pixずつ、奥行方向に対しては最小と最大の１枚ずつの特徴マップを削る。
以降の説明では、３次元畳み込みカーネルのサイズが幅、高さ、奥行方向それぞれ３pixであると想定する。
すなわち、コスト算出部３０は、学習時において左右特徴マップのペアを生成する際に、右特徴マップ（Ｆ１０１）の左右端を１pixずつ削る。そして、コスト算出部３０は、右特徴マップ（Ｆ１０１）のサイズをＷＲ-２とする。その後、コスト算出部３０は、左特徴マップ（Ｆ１００）と右特徴マップ（Ｆ１０１）のペアを生成する。これにより、左特徴マップのサイズはＷＬ＝ＷＲ＋Ｄであるため、Ｄ＋３個のペアが生成される。その後、コスト算出部３０は、Ｄ＋３個のペアに対して３次元畳み込み処理を実行する。そして、コスト算出部３０は、出力したコストマップの幅方向に対して左右端１pixずつ、奥行方向に対しては最小と最大の１枚ずつの特徴マップを削る。
【0053】
これにより出力される特徴マップのサイズは、（Ｄ＋１、ＷＲ－４、Ｈ）となる。推論時では、コスト算出部３０は、入力の右特徴マップ（Ｆ１０１）の左右端を１pixずつ削り、右特徴マップ（Ｆ１０１）のサイズをＷＲ-２とする。その後、コスト算出部３０は、右特徴マップ（Ｆ１０１）と左特徴マップ（Ｆ１００）に対して、統合したカーネルを利用してそれぞれ畳み込み演算を実行する。
そして、コスト算出部３０は、右特徴マップ（Ｆ１１１）の左右端１pixずつをさらに削り、右特徴マップ（Ｆ１１１）のサイズをＷＲ-４とする。その後、コスト算出部３０は、左特徴マップ（Ｆ１１０）の左右端２pixずつをさらに削り、左特徴マップ（Ｆ１１０）のサイズをＷＬ＝ＷＲ＋Ｄ―４とする。そして、コスト算出部３０は、要素加算処理を実行することで、（Ｄ＋１、ＷＲ－４、Ｈ）のコストマップを生成する。このようにすることで、コスト算出部３０は、学習時においてパディングの影響を受けるコストマップを推論時に除外することができ、画像端や視差の最大値・最小値まで、学習時と推論時の演算結果を一致させることができる。
そして、コスト算出部３０は、右特徴マップ（Ｆ１１１）の左右端１pixずつをさらに削り、右特徴マップ（Ｆ１１１）のサイズをＷＲ-４とする。その後、コスト算出部３０は、左特徴マップ（Ｆ１１０）の左右端２pixずつをさらに削り、左特徴マップ（Ｆ１１０）のサイズをＷＬ＝ＷＲ＋Ｄ―４とする。そして、コスト算出部３０は、要素加算処理を実行することで、（Ｄ＋１、ＷＲ－４、Ｈ）のコストマップを生成する。このようにすることで、コスト算出部３０は、学習時においてパディングの影響を受けるコストマップを推論時に除外することができ、画像端や視差の最大値・最小値まで、学習時と推論時の演算結果を一致させることができる。
【0054】
［環境認識装置が行う処理の動作例２：単眼カメラを利用してフローを算出する例］
次に、環境認識装置１が行う動作例２として、単眼カメラで撮像された複数時刻の画像から同一被写体の画素の移動量を表現したフロー（オプティカルフロー）を算出する動作について説明する。
以降では、単眼カメラで撮像された時刻Ｔ－１の画像と、その直後の時刻Ｔの画像の２枚を利用して、時刻Ｔから時刻Ｔ－１へのフローを算出する処理動作に関して説明する。また、フローの最大値・最小値は、縦方向と横方向で±３pixであり、時刻Ｔの対象画素において７×７の画素の領域内でフローを算出する処理として説明する。
次に、環境認識装置１が行う動作例２として、単眼カメラで撮像された複数時刻の画像から同一被写体の画素の移動量を表現したフロー（オプティカルフロー）を算出する動作について説明する。
以降では、単眼カメラで撮像された時刻Ｔ－１の画像と、その直後の時刻Ｔの画像の２枚を利用して、時刻Ｔから時刻Ｔ－１へのフローを算出する処理動作に関して説明する。また、フローの最大値・最小値は、縦方向と横方向で±３pixであり、時刻Ｔの対象画素において７×７の画素の領域内でフローを算出する処理として説明する。
【0055】
図１３は、本実施の形態例における動作例２のフロー算出における処理を示す。
フローの算出では、画像取得処理（Ｐ４０１）、特徴抽出処理（Ｐ４０２）、マッチングコスト算出処理（Ｐ４０３）、コスト補正処理（Ｐ４０４）、及びオプティカルフロー算出処理（Ｐ４０５）が順に実行される。
まず、画像取得処理（Ｐ４０１）において、画像取得部１０は、時刻Ｔ－１と時刻Ｔに撮像された２枚の画像を取得する。
特徴抽出処理（Ｐ４０２）では、特徴抽出部２０は、画像取得処理（Ｐ４０１）で取得された時刻Ｔ－１に撮像された画像と時刻Ｔに撮像された画像のそれぞれに対して、畳み込みニューラルネットワークを利用してそれぞれの画像から特徴マップを生成する。
フローの算出では、画像取得処理（Ｐ４０１）、特徴抽出処理（Ｐ４０２）、マッチングコスト算出処理（Ｐ４０３）、コスト補正処理（Ｐ４０４）、及びオプティカルフロー算出処理（Ｐ４０５）が順に実行される。
まず、画像取得処理（Ｐ４０１）において、画像取得部１０は、時刻Ｔ－１と時刻Ｔに撮像された２枚の画像を取得する。
特徴抽出処理（Ｐ４０２）では、特徴抽出部２０は、画像取得処理（Ｐ４０１）で取得された時刻Ｔ－１に撮像された画像と時刻Ｔに撮像された画像のそれぞれに対して、畳み込みニューラルネットワークを利用してそれぞれの画像から特徴マップを生成する。
【0056】
図４に示した視差算出における特徴抽出処理との違いは、特徴抽出部２０が左右の画像ではなく、時刻Ｔ－１と時刻Ｔの２枚の画像に対して特徴マップをそれぞれ算出する点である。また、畳み込みニューラルネットの畳み込み処理で利用されるカーネルは、後述する学習により推定される。
マッチングコスト算出処理（Ｐ４０３）では、コスト算出部３０は、特徴抽出処理（Ｐ４０２）で取得された時刻Ｔ－１の特徴マップＦ２０１と時刻Ｔの特徴マップＦ２００を利用して、各フローに対するコストを算出する。
マッチングコスト算出処理（Ｐ４０３）では、コスト算出部３０は、特徴抽出処理（Ｐ４０２）で取得された時刻Ｔ－１の特徴マップＦ２０１と時刻Ｔの特徴マップＦ２００を利用して、各フローに対するコストを算出する。
【0057】
図１４は、コスト算出部３０によるマッチングコスト算出処理（Ｐ４０３）を示すフローチャートである。
コスト算出部３０は、マッチングコスト算出処理（Ｐ４０３）において、時刻Ｔ－１の特徴マップ畳み込み処理（Ｐ２０１′）、時刻Ｔ特徴マップ畳み込み処理（Ｐ２０２′）を実施する。そして、コスト算出部３０は、候補フローに対応したコスト算出を各フロー候補数（７×７）だけ実行する（Ｐ２０３）。時刻Ｔ－１の特徴マップ畳み込み処理（Ｐ２０１′）と、時刻Ｔ特徴マップ畳み込み処理（Ｐ２０２′）は、それぞれ図５で説明した左画像特徴マップ畳み込み処理（Ｐ２０１）と、右画像特徴マップ畳み込み処理（Ｐ２０２）の画像が、それぞれ時刻Ｔ－１の画像と時刻Ｔの画像に変わるだけである。
コスト算出部３０は、マッチングコスト算出処理（Ｐ４０３）において、時刻Ｔ－１の特徴マップ畳み込み処理（Ｐ２０１′）、時刻Ｔ特徴マップ畳み込み処理（Ｐ２０２′）を実施する。そして、コスト算出部３０は、候補フローに対応したコスト算出を各フロー候補数（７×７）だけ実行する（Ｐ２０３）。時刻Ｔ－１の特徴マップ畳み込み処理（Ｐ２０１′）と、時刻Ｔ特徴マップ畳み込み処理（Ｐ２０２′）は、それぞれ図５で説明した左画像特徴マップ畳み込み処理（Ｐ２０１）と、右画像特徴マップ畳み込み処理（Ｐ２０２）の画像が、それぞれ時刻Ｔ－１の画像と時刻Ｔの画像に変わるだけである。
【0058】
候補フローに対応したコスト算出（Ｐ２０３）では、コスト算出部３０は、時刻Ｔ－１の特徴マップを、候補フロー分だけシフトさせる（Ｐ２０４）。その後、コスト算出部３０は、シフトされた時刻Ｔ－１の特徴マップと時刻Ｔの特徴マップを、要素加算処理を行うことで当該フローに対するコストを算出する（Ｐ２０５）。コスト算出部３０は、この候補フローに対応したコスト算出（Ｐ２０３）を、探索範囲で繰り返し実行する。
【0059】
図１５は、コスト算出部３０による図１３のマッチングコスト算出処理（Ｐ４０３）の処理手順を示す。
コスト算出部３０は、時刻Ｔ－１特徴マップＦ２０１に対して、畳み込みパラメータＫ（Ｔ－１）を利用した畳み込み演算Ｃ（Ｔ－１）を実行し、時刻Ｔ－１特徴マップＦ２１１を算出する。また、コスト算出部３０は、時刻Ｔにおける特徴マップＦ２００に対して、畳み込みパラメータＫ（Ｔ）を利用した畳み込み演算Ｃ（Ｔ）を実行し、時刻Ｔにおける特徴マップＦ２１０を算出する。その後、コスト算出部３０は、候補フローである（－３，－３）～（３，３）に対して、コストを算出する。そして、コスト算出部３０は、候補フロー（－３，－３）に関するコスト生成において、時刻Ｔ特徴マップＦ２１０に対して、時刻Ｔ－１特徴マップＦ２１１を左方向に３pix、上方向に３pixシフトさせ、要素加算処理を実行する。
コスト算出部３０は、時刻Ｔ－１特徴マップＦ２０１に対して、畳み込みパラメータＫ（Ｔ－１）を利用した畳み込み演算Ｃ（Ｔ－１）を実行し、時刻Ｔ－１特徴マップＦ２１１を算出する。また、コスト算出部３０は、時刻Ｔにおける特徴マップＦ２００に対して、畳み込みパラメータＫ（Ｔ）を利用した畳み込み演算Ｃ（Ｔ）を実行し、時刻Ｔにおける特徴マップＦ２１０を算出する。その後、コスト算出部３０は、候補フローである（－３，－３）～（３，３）に対して、コストを算出する。そして、コスト算出部３０は、候補フロー（－３，－３）に関するコスト生成において、時刻Ｔ特徴マップＦ２１０に対して、時刻Ｔ－１特徴マップＦ２１１を左方向に３pix、上方向に３pixシフトさせ、要素加算処理を実行する。
【0060】
コスト算出部３０は、以上の処理を、（-３，-３）～（３，３）の範囲で順に実行し、各候補フローに対応したコストを算出し、それぞれのコストを奥行方向に連結することでコストマップＣ２００を生成する。コストマップ（Ｃ２００）の各位置には、フロー候補に応じたコストが格納される。
【0061】
これまでの説明では、説明の都合上、特徴マップのチャンネルに関して記載しなかったが、各特徴マップは、チャンネル方向にサイズを持っている。また、動作例１の視差算出で説明したのと同様に、コストマップＣ２００はチャンネル毎にコストが格納されている。また、時刻Ｔにおける特徴マップF２１０と時刻Ｔ-１における特徴マップＦ２１１の要素加算処理において、コスト算出部３０は、時刻Ｔ-１における特徴マップＦ２１１をシフトする。これにより、時刻Ｔにおける特徴マップF２１０と時刻Ｔ-１における特徴マップＦ２１１は、重なることがなくなり、要素加算処理ができない場合がある。そのため、特徴抽出部２０は、コスト算出部３０において要素加算処理ができなくなることを防ぐために、特徴抽出処理（Ｐ４０２）において時刻Ｔ－１の画像は、時刻Ｔの画像に比べて広い範囲を指定して入力される。
【0062】
コスト集約部４０によるコスト補正処理（Ｐ４０４）では、マッチングコスト算出処理（Ｐ４０３）で算出されたコストマップＣ２００に対して、畳み込み演算部４１において、図７に示すように畳み込み処理を実行することで周辺領域を考慮したコストマップが生成される。
オプティカルフロー算出処理（Ｐ４０５）では、コスト補正処理（Ｐ４０４）で補正したコストマップに対して、コスト解析部５１が実行する畳み込み演算により、（Ｈ、Ｗ、２）のサイズとなる特徴マップが生成される。Ｈ、Ｗは特徴マップの高さと幅をそれぞれ示しており、各位置に対して、フローの座標（横方向フロー、縦方向フロー）が格納されている。
オプティカルフロー算出処理（Ｐ４０５）では、コスト補正処理（Ｐ４０４）で補正したコストマップに対して、コスト解析部５１が実行する畳み込み演算により、（Ｈ、Ｗ、２）のサイズとなる特徴マップが生成される。Ｈ、Ｗは特徴マップの高さと幅をそれぞれ示しており、各位置に対して、フローの座標（横方向フロー、縦方向フロー）が格納されている。
【0063】
以上説明したように、図１３に示す特徴抽出処理（Ｐ４０２）、マッチングコスト算出処理（Ｐ４０３）、コスト補正処理（Ｐ４０４）、及びオプティカルフロー算出処理（Ｐ４０５）では、学習により決定されたカーネルを利用して畳み込み演算が実行される。
【0064】
次に、この場合の学習方法に関して説明する。
この学習方法では、オプティカルフロー算出処理（Ｐ４０５）で算出したフローに対してロス関数が定義され、定義されたロス関数が最小化される。ロス関数は、横方向フローと縦方向フローそれぞれに対して、正解値データの横方向フローと縦方向フローとの差の絶対値を計算する。したがって、横方向フローと縦方向フローの差の絶対値を加算したものが画素毎の誤差となる。この誤差は、正解値データが格納された画素だけ計算され、その平均した値がロス関数として利用される。
この学習方法では、オプティカルフロー算出処理（Ｐ４０５）で算出したフローに対してロス関数が定義され、定義されたロス関数が最小化される。ロス関数は、横方向フローと縦方向フローそれぞれに対して、正解値データの横方向フローと縦方向フローとの差の絶対値を計算する。したがって、横方向フローと縦方向フローの差の絶対値を加算したものが画素毎の誤差となる。この誤差は、正解値データが格納された画素だけ計算され、その平均した値がロス関数として利用される。
【0065】
以上説明したように、本実施の形態例の環境認識装置１は、フロー算出におけるマッチングコスト算出において、時刻Ｔの画像と時刻Ｔ-１の画像に対して１度だけ畳み込み演算を実行するだけで、フローに対するコスト算出を実施できるようになる。したがって、各フロー候補に対する３次元畳み込み演算を実施する場合に比べて、演算量を低減することができる。
【0066】
なお、ここまで説明した動作例２では、学習時により決定したカーネルを推論時のマッチングコスト算出処理（P４０３）で利用するようにした。
一方、以下に説明する処理に基づいて、学習により決定したカーネルを統合したものをマッチングコスト算出処理（P４０３）で利用することもできる。すなわち、学習時と推論時で演算方法を変更する構成にすることができる。また、次に説明する処理により推論時に利用するカーネルを生成することで、学習時の構成と同一の出力結果を得ることができる。
一方、以下に説明する処理に基づいて、学習により決定したカーネルを統合したものをマッチングコスト算出処理（P４０３）で利用することもできる。すなわち、学習時と推論時で演算方法を変更する構成にすることができる。また、次に説明する処理により推論時に利用するカーネルを生成することで、学習時の構成と同一の出力結果を得ることができる。
【0067】
図１６は、学習時におけるマッチングコスト算出処理（Ｐ４０３）を示す。
コスト算出部３０は、候補フロー毎に時刻Ｔにおける特徴マップＦ２００と時刻Ｔ－１における特徴マップＦ２０１で特徴マップのペアを作成する。具体的には、コスト算出部３０は、候補フロー（－３、－３）に関しては、時刻Ｔにおける特徴マップＦ２００に対して時刻Ｔ－１における特徴マップＦ２０１を左方向に３pixシフトさせ、上方向に３pixシフトさせて、特徴マップペアＦ（-３，-３）を作成する。
コスト算出部３０は、この手続きを各候補フローに対応した回数実行することで、Ｆ（-３，-３）～Ｆ（３，３）を生成する。その後、コスト算出部３０は、生成した特徴マップペアＦ（-３，-３）～Ｆ（３，３）を奥行方向に連結し、３次元畳み込みカーネル（Ｋ１００）を利用して畳み込み演算を実行する。この際に利用する３次元畳み込みカーネル（Ｋ１００）は、（４９，３，３）のサイズを持つ。すなわち、３次元畳み込みカーネル（Ｋ１００）は、空間方向に対しては３x３のサイズになり、奥行方向に対してはすべての特徴アップペアＦ（-３，-３）～Ｆ（３，３）に対して畳み込み可能なサイズになる。
コスト算出部３０は、候補フロー毎に時刻Ｔにおける特徴マップＦ２００と時刻Ｔ－１における特徴マップＦ２０１で特徴マップのペアを作成する。具体的には、コスト算出部３０は、候補フロー（－３、－３）に関しては、時刻Ｔにおける特徴マップＦ２００に対して時刻Ｔ－１における特徴マップＦ２０１を左方向に３pixシフトさせ、上方向に３pixシフトさせて、特徴マップペアＦ（-３，-３）を作成する。
コスト算出部３０は、この手続きを各候補フローに対応した回数実行することで、Ｆ（-３，-３）～Ｆ（３，３）を生成する。その後、コスト算出部３０は、生成した特徴マップペアＦ（-３，-３）～Ｆ（３，３）を奥行方向に連結し、３次元畳み込みカーネル（Ｋ１００）を利用して畳み込み演算を実行する。この際に利用する３次元畳み込みカーネル（Ｋ１００）は、（４９，３，３）のサイズを持つ。すなわち、３次元畳み込みカーネル（Ｋ１００）は、空間方向に対しては３x３のサイズになり、奥行方向に対してはすべての特徴アップペアＦ（-３，-３）～Ｆ（３，３）に対して畳み込み可能なサイズになる。
【0068】
推論時には、コスト算出部３０では、学習時に利用した３次元畳み込みカーネル（Ｋ１００）が統合され、利用される。図１５に示した畳み込みパラメータＫ（Ｔ－１）、及び畳み込みパラメータＫ（Ｔ）が推論時に利用される統合されたカーネルである。統合の方法は、基本的には動作例１と類似した手続きとなる。
具体的には、コスト算出部３０は、畳み込みパラメータＫ（Ｔ）としては、３次元畳み込みカーネル（Ｋ１００）のうち、時刻Ｔにおける特徴マップＦ２００に対するそれぞれのカーネルを要素加算することで、畳み込みパラメータＫ（Ｔ）を生成する。また、コスト算出部３０は、畳み込みパラメータＫ（Ｔ－１）に関しては、３次元畳み込みカーネル（Ｋ１００）のうち、時刻Ｔ－１における特徴マップＦ２０１に対するそれぞれのカーネルを利用する。
具体的には、コスト算出部３０は、畳み込みパラメータＫ（Ｔ）としては、３次元畳み込みカーネル（Ｋ１００）のうち、時刻Ｔにおける特徴マップＦ２００に対するそれぞれのカーネルを要素加算することで、畳み込みパラメータＫ（Ｔ）を生成する。また、コスト算出部３０は、畳み込みパラメータＫ（Ｔ－１）に関しては、３次元畳み込みカーネル（Ｋ１００）のうち、時刻Ｔ－１における特徴マップＦ２０１に対するそれぞれのカーネルを利用する。
【0069】
ここで、コスト算出部３０は、特徴マップペアＦ（０，０）に対するカーネルに対して、Ｆ（-３，-３）～Ｆ（３，３）に対するカーネルを要素加算するが、その際にＦ（-３，-３）～Ｆ（３，３）をシフトして要素加算する。コスト算出部３０は、Ｆ（-３，-３）を要素加算する場合には、カーネルを左方向に３pix、上方向に３pixシフトして要素加算を実行する。
以上の処理を、すべてのカーネルに対して実行することで、コスト算出部３０は、畳み込みパラメータＫ（Ｔ－１）を生成する。動作例１との違いは、左右方向のみにカーネルをシフトするだけでなく、上下方向にもカーネルをシフトする点である。
以上の処理を、すべてのカーネルに対して実行することで、コスト算出部３０は、畳み込みパラメータＫ（Ｔ－１）を生成する。動作例１との違いは、左右方向のみにカーネルをシフトするだけでなく、上下方向にもカーネルをシフトする点である。
【0070】
本実施の形態例の環境認識装置１では、学習時に求めた３次元畳み込みカーネルが、推論時には統合され、２次元畳み込みカーネルとして利用される。このようにすることで、３次元畳み込みカーネルを利用して学習されたモデルを、推論時において再学習することなく、より少ない演算量で実行することができる。また、学習時に利用する３次元畳み込みカーネルのパラメータ数と推論時に利用するパラメータ数を比較した場合、推論時に利用するパラメータ数の方が少なくなる。これにより、より少ないメモリ使用量で視差算出を実行することが可能になる。
【0071】
［変形例］
以上、実施の形態例による動作例１および動作例２で本発明を説明したが、本発明は上述した実施の形態例に限定されるものではない。
例えば、上述した実施の形態例では、コスト集約部４０を有する構成とした。これに対して、コスト集約部４０を有さずに、視差もしくはフローを算出してもよい。
以上、実施の形態例による動作例１および動作例２で本発明を説明したが、本発明は上述した実施の形態例に限定されるものではない。
例えば、上述した実施の形態例では、コスト集約部４０を有する構成とした。これに対して、コスト集約部４０を有さずに、視差もしくはフローを算出してもよい。
【0072】
例えば動作例１では、ステレオカメラの左右画像のうち、右画像に対応した視差算出を実行したが、左画像に対応した視差算出にも利用できる。
また動作例２では、単眼カメラの時刻Ｔ－１の画像と時刻Ｔの画像に対応したフローの算出を実行したが、時刻Ｔ－１より前のさらに別の時刻Ｔ―２の画像と時刻Ｔの画像のフローを算出してもよい。すなわち、動作例２は、任意のフレーム間のフローの算出に適用が可能である。
また、特徴抽出部（Ｐ１０２）、マッチングコスト算出処理（Ｐ１０３）、コスト補正処理（Ｐ１０４）の処理において、図で説明したネットワーク構造やカーネルのサイズは具体的な一例を示したまでであり、上述した構造、もしくはサイズ以外であってもよい。
また動作例２では、単眼カメラの時刻Ｔ－１の画像と時刻Ｔの画像に対応したフローの算出を実行したが、時刻Ｔ－１より前のさらに別の時刻Ｔ―２の画像と時刻Ｔの画像のフローを算出してもよい。すなわち、動作例２は、任意のフレーム間のフローの算出に適用が可能である。
また、特徴抽出部（Ｐ１０２）、マッチングコスト算出処理（Ｐ１０３）、コスト補正処理（Ｐ１０４）の処理において、図で説明したネットワーク構造やカーネルのサイズは具体的な一例を示したまでであり、上述した構造、もしくはサイズ以外であってもよい。
【0073】
また、ここまで説明した各実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、本発明の適用例として図２に示した車両に搭載したカメラが撮影した画像から環境認識して、車両制御を行う点についても一例であり、その他の車両などの各種移動体に搭載したカメラから環境認識する場合に適用してもよい。環境認識結果を使う用途についても、車両制御に限定されない。
また、図１および図２に示す構成図では、制御線や情報線は説明上必要と考えられるものだけを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また、図３などに示すフローチャートの動作処理の流れについても一例であり、処理結果が同じであれば、一部の処理順序を変えたり、複数の処理を同時に実行したりしてもよい。
また、本発明の適用例として図２に示した車両に搭載したカメラが撮影した画像から環境認識して、車両制御を行う点についても一例であり、その他の車両などの各種移動体に搭載したカメラから環境認識する場合に適用してもよい。環境認識結果を使う用途についても、車両制御に限定されない。
また、図１および図２に示す構成図では、制御線や情報線は説明上必要と考えられるものだけを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また、図３などに示すフローチャートの動作処理の流れについても一例であり、処理結果が同じであれば、一部の処理順序を変えたり、複数の処理を同時に実行したりしてもよい。
【0074】
また、本発明の環境認識装置内で行われる処理は、プログラム（ソフトウェア）の実行により行われるものであり、例えば既存のコンピュータ（情報処理装置）に、実施の形態例で説明した処理を実行するプログラムを実装することで、本発明の環境認識装置として機能させてもよい。この場合のプログラムの情報は、メモリや、ハードディスク、ＳＳＤ(Solid State Drive)、ＩＣカード、ＳＤカード光ディスク等の各種記録媒体に置くことができる。
また、環境認識装置は、図２に示す構成では、ＣＰＵの制御で実行されるコンピュータで構成した例としたが、環境認識装置が行う機能の一部又は全部を、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などの専用のハードウェアによって実現してもよい。
また、環境認識装置は、図２に示す構成では、ＣＰＵの制御で実行されるコンピュータで構成した例としたが、環境認識装置が行う機能の一部又は全部を、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などの専用のハードウェアによって実現してもよい。
【符号の説明】
【0075】
１…環境認識装置、２…車両制御装置、３Ｌ…車載カメラ、４…コンピュータ、４ａ…ＣＰＵ、４ｂ…ワークメモリ、４ｃ…記憶部、４ｄ…インターフェース、５…車両、１０…画像取得部、１１…画像格納部、１２…画像格納部、２０…特徴抽出部、２１…畳み込み演算部、２２…特徴抽出パラメータ格納部、３０…コスト算出部、３１…画像畳み込み演算部、３２…画像畳み込み演算部、３３…パラメータ格納部、３４…パラメータ格納部、３５…統合部、４０…コスト集約部、４１…畳み込み演算部、４２…特徴抽出パラメータ格納部、５０…マッチング部、５１…コスト解析部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】