ホーム > 特許ランキング > 株式会社ＳＵＢＡＲＵ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-10
(45)【発行日】2024-12-18
(54)【発明の名称】機械学習装置
(51)【国際特許分類】
G08G 1/16 20060101AFI20241211BHJP
G06T 7/00 20170101ALI20241211BHJP
【ＦＩ】
G08G1/16 A
G06T7/00 350B
【請求項の数】
4
(21)【出願番号】P 2023532939
(86)(22)【出願日】2021-07-07
(86)【国際出願番号】 JP2021025580
(87)【国際公開番号】W WO2023281647
(87)【国際公開日】2023-01-12
【審査請求日】2023-12-21
(73)【特許権者】
【識別番号】000005348
【氏名又は名称】株式会社ＳＵＢＡＲＵ
(74)【代理人】
【識別番号】110001357
【氏名又は名称】弁理士法人つばさ国際特許事務所
(72)【発明者】
【氏名】大久保 淑実
【審査官】上野 博史
(56)【参考文献】
【文献】特開２０１９－１２５１１６（ＪＰ，Ａ）
【文献】特開２０１８－０２６０２１（ＪＰ，Ａ）
【文献】特開２０１９－１１４１４９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／１６
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
ステレオ画像である第１の撮像画像に含まれる左画像および右画像のうちの、前記左画像におけるエッジ強度が所定強度以上である画像部分と、前記右画像におけるエッジ強度が所定強度以上である画像部分とのマッチングにより得られた複数の距離値を含む第１の距離画像を生成し、前記左画像、前記右画像、および前記第１の距離画像に基づいて、３次元空間における距離が互いに所定距離以下である複数の点をグルーピングすることにより第２の距離画像を生成する処理部と、
前記第１の撮像画像および前記第２の距離画像に含まれる複数の距離値に基づいて、前記第１の撮像画像に含まれる路面を検出する路面検出処理部と、
前記第１の撮像画像および前記第２の距離画像に含まれる複数の距離値に基づいて、前記第１の撮像画像に含まれる前記路面よりも上に位置する立体物を検出する立体物検出処理部と、
前記第２の距離画像に含まれる複数の距離値のうち、前記路面検出処理部における検出処理および前記立体物検出処理部における検出処理のうちの少なくとも一方において採用された１以上の距離値を選択する距離値選択部と、
前記第１の撮像画像に含まれる前記左画像および前記右画像のうちの明瞭な画像である入力画像、および前記距離値選択部により選択された前記１以上の距離値を使用して機械学習処理を行うことにより、第２の撮像画像が入力され前記第２の撮像画像に応じた第３の距離画像が出力される学習モデルを生成する学習処理部と
を備えた機械学習装置。
【請求項2】
前記１以上の距離値は、前記第１の撮像画像に含まれる前記路面までの距離値を含む請求項１に記載の機械学習装置。
【請求項3】
前記１以上の距離値は、前記第１の撮像画像に含まれる前記路面よりも上に位置する立体物までの距離値を含む請求項１に記載の機械学習装置。
【請求項4】
前記学習処理部は、前記１以上の距離値に基づいて、前記入力画像の全体画像領域のうちの前記１以上の距離に対応する画像領域について前記機械学習処理を行う請求項１に記載の機械学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像画像および距離画像に基づいて学習処理を行う機械学習装置に関する。
【背景技術】
【0002】
車両では、しばしば、車外環境が検出され、その検出結果に基づいて車両の制御が行われる。車外環境の認識では、しばしば、車両から周囲の立体物までの距離が検出される。特許文献１には、撮像画像および距離画像に基づいてニューラルネットワークの演算処理を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－１４７２８６号公報
【発明の概要】
【0004】
ところで、撮像画像に基づいて距離画像を生成する学習モデルがある。生成された距離画像は、精度が高いことが望まれており、さらなる精度の向上が期待されている。
【0005】
高精度の距離画像を生成する学習モデルを生成することができる機械学習装置を提供することが望ましい。
【0006】
本開示の一実施の形態に係る機械学習装置は、処理部と、路面検出処理部と、立体物検出部と、距離値選択部と、学習処理部とを備えている。処理部は、ステレオ画像である第１の撮像画像に含まれる左画像および右画像のうちの、左画像におけるエッジ強度が所定強度以上である画像部分と、右画像におけるエッジ強度が所定強度以上である画像部分とのマッチングにより得られた複数の距離値を含む第１の距離画像を生成し、左画像、右画像、および第１の距離画像に基づいて、３次元空間における距離が互いに所定距離以下である複数の点をグルーピングすることにより第２の距離画像を生成するように構成される。路面検出処理部は、第１の撮像画像および第２の距離画像に含まれる複数の距離値に基づいて、第１の撮像画像に含まれる路面を検出するように構成される。立体物検出部は、第１の撮像画像および第２の距離画像に含まれる複数の距離値に基づいて、第１の撮像画像に含まれる路面よりも上に位置する立体物を検出するように構成される。距離値選択部は、第２の距離画像に含まれる複数の距離値のうち、路面検出処理部における検出処理および立体物検出処理部における検出処理のうちの少なくとも一方において採用された１以上の距離値を選択するように構成される。学習処理部は、第１の撮像画像に含まれる左画像および右画像のうちの明瞭な画像である入力画像、および距離値選択部により選択された１以上の距離値を使用して機械学習処理を行うことにより、第２の撮像画像が入力され第２の撮像画像に応じた第３の距離画像が出力される学習モデルを生成するように構成される。
【0007】
本開示の一実施の形態に係る機械学習装置によれば、高精度の距離画像を生成する学習モデルを生成することができる。
【図面の簡単な説明】
【0008】
【図1】本開示の一実施の形態に係る機械学習装置が生成した学習データが用いられる車外環境認識システムの一構成例を表すブロック図である。
【図2】本開示の一実施の形態に係る機械学習装置の一構成例を表すブロック図である。
【図14】変形例に係る機械学習装置の一構成例を表すブロック図である。
【図15】他の変形例に係る機械学習装置の一構成例を表すブロック図である。
【図16】他の変形例に係る機械学習装置の一構成例を表すブロック図である。
【発明を実施するための形態】
【0009】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。
【0010】
＜実施の形態＞
［構成例］
図１は、一実施の形態に係る機械学習装置（機械学習装置２０）により生成された学習モデルを用いて処理が行われる車外環境認識システム１０の一構成例を表すものである。車外環境認識システム１０は、自動車等の車両１００に搭載される。車外環境認識システム１０は、ステレオカメラ１１と、処理部１２とを備えている。
［構成例］
図１は、一実施の形態に係る機械学習装置（機械学習装置２０）により生成された学習モデルを用いて処理が行われる車外環境認識システム１０の一構成例を表すものである。車外環境認識システム１０は、自動車等の車両１００に搭載される。車外環境認識システム１０は、ステレオカメラ１１と、処理部１２とを備えている。
【0011】
ステレオカメラ１１は、車両１００の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬ１および右画像ＰＲ１）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒのそれぞれは、レンズとイメージセンサとを含んでいる。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１００の車両内において、車両１００のフロントガラスの上部近傍に、車両１００の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌは左画像ＰＬ１を生成し、右カメラ１１Ｒは右画像ＰＲ１を生成する。左画像ＰＬ１および右画像ＰＲ１は、ステレオ画像ＰＩＣ１を構成する。ステレオカメラ１１は、所定のフレームレート（例えば６０［fps］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣ１を生成し、生成したステレオ画像ＰＩＣ１を処理部１２に供給するようになっている。
【0012】
処理部１２は、例えば、プログラムを実行する１または複数のプロセッサ、処理データを一時的に記憶する１または複数のＲＡＭ（Random Access Memory）、プログラムを記憶する１または複数のＲＯＭ（Read Only Memory）などにより構成される。処理部１２は、距離画像生成部１３，１４と、車外環境認識部１５とを有している。
【0013】
距離画像生成部１３は、左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺ１３を生成するように構成される。具体的には、距離画像生成部１３は、左画像ＰＬ１および右画像ＰＲ１に基づいて、互いに対応する２つの画像点（左画像点および右画像点）を含む対応点を特定する。左画像点は、例えば、左画像ＰＬ１における、例えば４行４列に配置された１６個の画素を含み、右画像点は、例えば、右画像ＰＲ１における、例えば４行４列に配置された１６個の画素を含む。左画像ＰＬ１における左画像点の横座標値と右画像ＰＲ１における右画像点の横座標値との差は、３次元の実空間における距離値に対応する。距離画像生成部１３は、特定された複数の対応点に基づいて、距離画像ＰＺ１３を生成するようになっている。距離画像ＰＺ１３は、複数の距離値を含む。複数の距離値のそれぞれは、３次元の実空間における実際の距離値であってもよいし、左画像ＰＬ１における左画像点の横座標値と右画像ＰＲ１における右画像点の横座標値との差である視差値であってもよい。
【0014】
距離画像生成部１４は、この例では左画像ＰＬ１および右画像ＰＲ１のうちの一方である撮像画像に基づいて、学習モデルＭを用いて、距離画像ＰＺ１４を生成するように構成される。学習モデルＭは、撮像画像が入力され、距離画像ＰＺ１４が出力される、ニューラルネットワークのモデルである。この学習モデルＭは、予め、後述する機械学習装置２０により生成され、車両１００の距離画像生成部１４に記憶される。距離画像ＰＺ１４は、距離画像ＰＺ１３と同様に、複数の距離値を含む。
【0015】
車外環境認識部１５は、左画像ＰＬ１、右画像ＰＲ１、および距離画像ＰＺ１３，ＰＺ１４に基づいて、車両１００の車外環境を認識するように構成される。車両１００では、例えば、車外環境認識部１５が認識した車外の立体物についての情報に基づいて、例えば、車両１００の走行制御を行い、あるいは、認識した立体物についての情報をコンソールモニタに表示することができるようになっている。
【0016】
図２は、学習モデルＭを生成する機械学習装置２０の一構成例を表すものである。機械学習装置２０は、例えばサーバ装置である。機械学習装置２０は、記憶部２１と、処理部２２とを備えている。
【0017】
記憶部２１は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの不揮発性の記憶装置である。記憶部２１は、画像データＤＴと、学習モデルＭとを記憶している。
【0018】
画像データＤＴは、複数のステレオ画像ＰＩＣ２の画像データである。複数のステレオ画像ＰＩＣ２のそれぞれは、図１に示したステレオ画像ＰＩＣ１と同様に、ステレオカメラにより生成され、この記憶部２１に記憶される。複数のステレオ画像ＰＩＣ２のそれぞれは、図１に示したステレオ画像ＰＩＣ１と同様に、左画像ＰＬ２および右画像ＰＲ２を含む。
【0019】
学習モデルＭは、車両１００の距離画像生成部１４（図１）において使用されるモデルである。この学習モデルＭは、処理部２２により生成され、この記憶部２１に記憶される。そして、記憶部２１に記憶された学習モデルＭは、車両１００の距離画像生成部１４に設定されるようになっている。
【0020】
処理部２２は、例えば、プログラムを実行する１または複数のプロセッサ、処理データを一時的に記憶する１または複数のＲＡＭなどにより構成される。処理部２２は、画像データ取得部２３と、距離画像生成部２４と、画像処理部２５とを有している。
【0021】
画像データ取得部２３は、記憶部２１から、複数のステレオ画像ＰＩＣ２を取得し、複数のステレオ画像ＰＩＣ２のそれぞれに含まれる左画像ＰＬ２および右画像ＰＲ２を、距離画像生成部２４に順次供給するように構成される。
【0022】
距離画像生成部２４は、車両１００における距離画像生成部１３（図１）と同様に、左画像ＰＬ２および右画像ＰＲ２に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺ２４を生成するように構成される。
【0023】
画像処理部２５は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ２４に基づいて、所定の画像処理を行うことにより、学習モデルＭを生成するように構成される。画像処理部２５は、画像エッジ検出部３１と、グルーピング処理部３２と、路面検出処理部３３と、立体物検出処理部３４と、距離値選択部３５と、画像選択部３６と、学習処理部３７とを有している。
【0024】
画像エッジ検出部３１は、左画像ＰＬ２におけるエッジ強度が強い画像部分を検出するとともに、右画像ＰＲ２におけるエッジ強度が強い画像部分を検出するように構成される。そして、画像エッジ検出部３１は、距離画像ＰＺ２４に含まれる、検出された画像部分に基づいて得られた距離値を特定する。すなわち、距離画像生成部２４は、左画像ＰＬ２および右画像ＰＲ２に基づいてステレオマッチング処理を行うので、左画像ＰＬ２および右画像ＰＲ２におけるエッジ強度が強い画像部分に基づいて得られた距離値は、精度が高いことが期待される。よって、画像エッジ検出部３１は、距離画像ＰＺ２４に含まれる複数の距離値のうちの、このような精度が高いことが期待される複数の距離値を特定する。そして、画像エッジ検出部３１は、特定された複数の距離値を含む距離画像ＰＺ３１を生成するようになっている。
【0025】
グルーピング処理部３２は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ３１に基づいて、３次元空間における距離が互いに近い複数の点をグルーピングすることにより、距離画像ＰＺ３２を生成するように構成される。すなわち、距離画像生成部２４がステレオマッチング処理を行う際、画像によっては、ミスマッチにより誤った対応点を特定してしまう場合がある。例えば、距離画像ＰＺ３１における、そのミスマッチに係る距離値は、その周囲の距離値と乖離し得る。グルーピング処理部３２は、グルーピング処理を行うことにより、そのようなミスマッチに係る距離値をある程度除去することができるようになっている。
【0026】
路面検出処理部３３は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ３２に基づいて、路面を検出するように構成される。
【0027】
図３～５は、路面検出処理部３３の一動作例を表すものである。路面検出処理部３３は、まず、図３に示したように、例えば左画像ＰＬ２および右画像ＰＲ２の一方に基づいて、演算対象領域ＲＡを設定する。この例では、演算対象領域ＲＡは、車線を区画する２つの区画線９０Ｌ，９０Ｒに挟まれた領域である。そして、路面検出処理部３３は、図３に示したように、距離画像ＰＺ３２において、水平ラインＨＬを順次選択し、各水平ラインＨＬにおける演算対象領域ＲＡの領域内の距離値に基づいて、距離についてのヒストグラムを生成する。図４に示したヒストグラムＨjは、下からｊ番目の水平ラインＨＬjに係るヒストグラムである。横軸は、車両の車長方向の座標ｚの値を示し、縦軸は頻度を示す。この例では、座標値ｚjにおいて、頻度が一番高くなっている。路面検出処理部３３は、この頻度が一番高い座標値ｚjを、ｊ番目の水平ラインＨＬjにおける代表距離として求める。路面検出処理部３３は、このようにして、複数の水平ラインＨＬにおける代表距離を得る。そして、路面検出処理部３３は、図５に示したように、これらの代表距離を、ｚ－ｊ平面に、距離点Ｄとしてプロットする。この例では、ｚ－ｊ平面には、０番目の水平ラインＨＬ0の代表距離を示す距離点Ｄ0（ｚ0，０）、１番目の水平ラインＨＬ1の代表距離を示す距離点Ｄ1（ｚ1，１）、２番目の水平ラインＨＬ2の代表距離を示す距離点Ｄ2（ｚ2，２）を含む複数の距離点Ｄがプロットされている。これらの距離点Ｄは、この例では、ほぼ一直線上に配置されている。路面検出処理部３３は、例えばこれらの距離点Ｄに基づいて、フィッティング処理を行うことにより、路面を示す関数を得る。このようにして、路面検出処理部３３は、路面を検出するようになっている。
【0028】
また、路面検出処理部３３は、距離画像ＰＺ３２に含まれる複数の距離値のうち、この路面検出処理において採用された複数の距離値についての情報を、距離値選択部３５に供給する。すなわち、路面検出処理部３３は、上述したように、複数の水平ラインＨＬのそれぞれにおける代表距離に基づいて、路面を検出する。よって、複数の水平ラインＨＬのそれぞれにおいて、代表距離を構成する複数の距離値が、路面検出処理において採用され、代表距離を構成しない複数の距離値は、路面検出処理において採用されない。路面検出処理部３３は、この路面検出処理において採用された複数の距離値についての情報を、距離値選択部３５に供給するようになっている。
【0029】
立体物検出処理部３４は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ３２に基づいて、立体物を検出するように構成される。立体物検出処理部３４は、路面検出処理部３３により得られた路面よりも上において、３次元空間における距離が互いに近い複数の点をグルーピングすることにより、立体物を検出する。具体的には、立体物検出処理部３４は、３次元空間における距離が例えば０．１ｍ以内である複数の点をグルーピングすることにより、立体物を検出することができる。
【0030】
また、立体物検出処理部３４は、距離画像ＰＺ３２に含まれる複数の距離値のうち、この立体物検出処理において採用された複数の距離値についての情報を、距離値選択部３５に供給する。上述したように、立体物検出処理部３４は、路面よりも上において、３次元空間における距離が互いに近い複数の点をグルーピングすることにより、立体物を検出する。よって、立体物付近における所望の距離値が、立体物検出処理において採用され、例えば、後述するように、立体物付近におけるミスマッチに係る距離値や、路面がぬれている場合における鏡面反射に係る距離値は、立体物検出処理において採用されない。立体物検出処理部３４は、この立体物検出処理において採用された複数の距離値についての情報を、距離値選択部３５に供給するようになっている。
【0031】
距離値選択部３５は、グルーピング処理部３２から供給された距離画像ＰＺ３２に含まれる複数の距離値のうちの、学習処理部３７に供給する複数の距離値を選択するように構成される。距離値選択部３５は、例えば、距離画像ＰＺ３２に含まれる複数の距離値のうちの、路面検出処理において使用された複数の距離値を、学習処理部３７に供給する複数の距離値として選択することができる。また、距離値選択部３５は、例えば、距離画像ＰＺ３２に含まれる複数の距離値のうちの、立体物検出処理において使用された複数の距離値を、学習処理部３７に供給する複数の距離値として選択することができる。また、距離値選択部３５は、例えば、距離画像ＰＺ３２に含まれる複数の距離値のうちの、立体物検出処理および路面検出処理において使用された複数の距離値を、学習処理部３７に供給する複数の距離値として選択することができる。そして、距離値選択部３５は、選択された複数の距離値を含む距離画像ＰＺ３５を学習処理部３７に供給するようになっている。
【0032】
画像選択部３６は、左画像ＰＬ２および右画像ＰＲ２の一方である撮像画像Ｐ２を、学習処理部３７に供給するように構成される。画像選択部３６は、例えば左画像ＰＬ２および右画像ＰＲ２のうちの明瞭な画像を、撮像画像Ｐ２として選択することができるようになっている。
【0033】
学習処理部３７は、撮像画像Ｐ２および距離画像ＰＺ３５に基づいて、ニューラルネットワークを用いて機械学習処理を行うことにより、学習モデルＭを生成するように構成される。学習処理部３７には、撮像画像Ｐ２が供給されるとともに、距離画像ＰＺ３５が、期待値として供給される。学習処理部３７は、これらの画像に基づいて機械学習処理を行うことにより、撮像画像が入力され距離画像が出力される学習モデルＭを生成するようになっている。
【0034】
図６は、ニューラルネットワークの一構成例を表すものである。この例では、図６の左から撮像画像が入力され、図６の右から距離画像が出力される。このニューラルネットワークでは、例えば、撮像画像に基づいて圧縮処理Ａ１が行われ、圧縮されたデータに基づいて畳み込み処理Ａ２が行われる。ニューラルネットワークでは、この圧縮処理Ａ１および畳み込み処理Ａ２が複数回繰り返される。そして、その後に、生成されたデータに基づいてアップサンプリング処理Ｂ１が行われ、アップサンプリング処理Ｂ１が行われたデータに基づいて畳み込み処理Ｂ２が行われる。ニューラルネットワークでは、このアップサンプリング処理Ｂ１および畳み込み処理Ｂ２が複数回繰り返される。畳み込み処理Ａ２，Ｂ２では、所定の大きさ（例えば３画素×３画素）のフィルタが用いられる。
【0035】
学習処理部３７は、ニューラルネットワークに撮像画像Ｐ２を入力し、出力された距離画像における複数の距離値と、期待値である距離画像ＰＺ３５における複数の距離値との差分値をそれぞれ算出する。そして、学習処理部３７は、例えば、これらの差分値が十分に小さくなるように、畳み込み処理Ａ２，Ｂ２において使用するフィルタの値を調節する。学習処理部３７は、このようにして、機械学習処理を行う。
【0036】
学習処理部３７は、例えば、画像領域ごとに、学習処理を行うかどうかを設定することができる。具体的には、学習処理部３７は、距離値選択部３５から距離値が供給された画像領域について、機械学習処理を行い、距離値選択部３５から距離値が供給されなかった画像領域について、機械学習処理を行わないようにすることができる。例えば、学習処理部３７は、距離値選択部３５から距離値が供給されなかった画像領域における、距離値の差分値を強制的に“０”にすることにより、この画像領域について、機械学習処理を行わないようにすることができる。
【0037】
例えば、図６に示したニューラルネットワークにおいて、層の数がより多い場合には、大局的な視野を有する学習モデルになり得る。このようなニューラルネットワークに対して、ぼかした撮像画像を入力して機械学習処理を行うことにより、例えば、テクスチャの少ない撮像画像に基づいて、より多くの距離値を得ることができる学習モデルＭを生成することができる。
【0038】
ここで、画像エッジ検出部３１およびグルーピング処理部３２は、本開示における「処理部」の一具体例に対応する。路面検出処理部３３は、本開示における「路面検出処理部」の一具体例に対応する。立体物検出処理部３４は、本開示における「立体物検出処理部」の一具体例に対応する。距離値選択部３５は、本開示における「距離値選択部」の一具体例に対応する。学習処理部３７は、本開示における「学習処理部」の一具体例に対応する。ステレオ画像ＰＩＣ２は、本開示における「第１の撮像画像」の一具体例に対応する。距離画像ＰＺ３１は、本開示における「第１の距離画像」の一具体例に対応する。距離画像ＰＺ３２は、本開示における「第２の距離画像」の一具体例に対応する。
【0039】
［動作および作用］
続いて、本実施の形態の機械学習装置２０および車外環境認識システム１０の動作および作用について説明する。
続いて、本実施の形態の機械学習装置２０および車外環境認識システム１０の動作および作用について説明する。
【0040】
（全体動作概要）
まず、図２を参照して、機械学習装置２０の動作を説明する。機械学習装置２０は、例えばステレオカメラにより生成された複数のステレオ画像ＰＩＣ２を含む画像データＤＴを記憶部２１に記憶させる。処理部２２の画像データ取得部２３は、記憶部２１から、複数のステレオ画像ＰＩＣ２を取得し、複数のステレオ画像ＰＩＣ２のそれぞれに含まれる左画像ＰＬ２および右画像ＰＲ２を、距離画像生成部２４に順次供給する。距離画像生成部２４は、左画像ＰＬ２および右画像ＰＲ２に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺ２４を生成する。画像処理部２５の画像エッジ検出部３１は、左画像ＰＬ２におけるエッジ強度が強い画像部分を検出するとともに、右画像ＰＲ２におけるエッジ強度が強い画像部分を検出する。そして、画像エッジ検出部３１は、距離画像ＰＺ２４に含まれる、検出された画像部分に基づいて得られた距離値を特定し、特定された複数の距離値を含む距離画像ＰＺ３１を生成する。グルーピング処理部３２は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ３１に基づいて、３次元空間における距離が互いに近い点をグルーピングすることにより、距離画像ＰＺ３２を生成する。路面検出処理部３３は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ３２に基づいて、路面を検出する。また、路面検出処理部３３は、距離画像ＰＺ３２に含まれる複数の距離値のうち、この路面検出処理において採用された複数の距離値についての情報を、距離値選択部３５に供給する。立体物検出処理部３４は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ３２に基づいて、立体物を検出する。また、立体物検出処理部３４は、距離画像ＰＺ３２に含まれる複数の距離値のうち、この立体物検出処理において採用された複数の距離値についての情報を、距離値選択部３５に供給する。距離値選択部３５は、グルーピング処理部３２から供給された距離画像ＰＺ３２に含まれる複数の距離値のうちの、学習処理部３７に供給する複数の距離値を選択する。画像選択部３６は、左画像ＰＬ２および右画像ＰＲ２の一方である撮像画像Ｐ２を、学習処理部３７に供給する。学習処理部３７は、撮像画像Ｐ２および距離画像ＰＺ３５に基づいて、ニューラルネットワークを用いて機械学習処理を行うことにより、学習モデルＭを生成する。そして、処理部２２は、この学習モデルＭを記憶部２１に記憶させる。そして、このようにして生成された学習モデルＭは、車外環境認識システム１０の距離画像生成部１４に設定される。
まず、図２を参照して、機械学習装置２０の動作を説明する。機械学習装置２０は、例えばステレオカメラにより生成された複数のステレオ画像ＰＩＣ２を含む画像データＤＴを記憶部２１に記憶させる。処理部２２の画像データ取得部２３は、記憶部２１から、複数のステレオ画像ＰＩＣ２を取得し、複数のステレオ画像ＰＩＣ２のそれぞれに含まれる左画像ＰＬ２および右画像ＰＲ２を、距離画像生成部２４に順次供給する。距離画像生成部２４は、左画像ＰＬ２および右画像ＰＲ２に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺ２４を生成する。画像処理部２５の画像エッジ検出部３１は、左画像ＰＬ２におけるエッジ強度が強い画像部分を検出するとともに、右画像ＰＲ２におけるエッジ強度が強い画像部分を検出する。そして、画像エッジ検出部３１は、距離画像ＰＺ２４に含まれる、検出された画像部分に基づいて得られた距離値を特定し、特定された複数の距離値を含む距離画像ＰＺ３１を生成する。グルーピング処理部３２は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ３１に基づいて、３次元空間における距離が互いに近い点をグルーピングすることにより、距離画像ＰＺ３２を生成する。路面検出処理部３３は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ３２に基づいて、路面を検出する。また、路面検出処理部３３は、距離画像ＰＺ３２に含まれる複数の距離値のうち、この路面検出処理において採用された複数の距離値についての情報を、距離値選択部３５に供給する。立体物検出処理部３４は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ３２に基づいて、立体物を検出する。また、立体物検出処理部３４は、距離画像ＰＺ３２に含まれる複数の距離値のうち、この立体物検出処理において採用された複数の距離値についての情報を、距離値選択部３５に供給する。距離値選択部３５は、グルーピング処理部３２から供給された距離画像ＰＺ３２に含まれる複数の距離値のうちの、学習処理部３７に供給する複数の距離値を選択する。画像選択部３６は、左画像ＰＬ２および右画像ＰＲ２の一方である撮像画像Ｐ２を、学習処理部３７に供給する。学習処理部３７は、撮像画像Ｐ２および距離画像ＰＺ３５に基づいて、ニューラルネットワークを用いて機械学習処理を行うことにより、学習モデルＭを生成する。そして、処理部２２は、この学習モデルＭを記憶部２１に記憶させる。そして、このようにして生成された学習モデルＭは、車外環境認識システム１０の距離画像生成部１４に設定される。
【0041】
次に、図１を参照して、車外環境認識システム１０の動作を説明する。ステレオカメラ１１は、車両１００の前方を撮像することにより、互いに視差を有する左画像ＰＬ１および右画像ＰＲ１を生成する。処理部１２の距離画像生成部１３は、左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺ１３を生成する。距離画像生成部１４は、この例では左画像ＰＬ１および右画像ＰＲ１のうちの一方である撮像画像に基づいて、機械学習装置２０が生成した学習モデルＭを用いて、距離画像ＰＺ１４を生成する。車外環境認識部１５は、左画像ＰＬ１、右画像ＰＲ１、および距離画像ＰＺ１３，ＰＺ１４に基づいて、車両１００の車外環境を認識する。
【0042】
（詳細動作）
次に、機械学習装置２０における画像処理部２５（図２）の動作について、詳細に説明する。
次に、機械学習装置２０における画像処理部２５（図２）の動作について、詳細に説明する。
【0043】
まず、画像エッジ検出部３１は、左画像ＰＬ２におけるエッジ強度が強い画像部分を検出するとともに、右画像ＰＲ２におけるエッジ強度が強い画像部分を検出する。そして、画像エッジ検出部３１は、距離画像ＰＺ２４に含まれる、検出された画像部分に基づいて得られた距離値を特定する。すなわち、距離画像生成部２４は、左画像ＰＬ２および右画像ＰＲ２に基づいてステレオマッチング処理を行うので、左画像ＰＬ２および右画像ＰＲ２におけるエッジ強度が強い画像部分に基づいて得られた距離値は、精度が高いことが期待される。よって、画像エッジ検出部３１は、距離画像ＰＺ２４に含まれる複数の距離値のうちの、このような精度が高いことが期待される複数の距離値を特定する。そして、画像エッジ検出部３１は、特定された複数の距離値を含む距離画像ＰＺ３１を生成する。
【0044】
図７は、距離画像ＰＺ３１の一例を表すものである。この図７において、網掛けは、距離値を有する部分を示す。網掛けの濃淡は、距離値の密度を示す。すなわち、薄い網掛けの部分では、得られた距離値の密度が低く、濃い網掛けの部分では、得られた距離値の密度が高い。例えば、路面では、テクスチャが少なく、ステレオマッチングにおいて対応点を検出しにくいので、距離値の密度は低い。一方、例えば、路面における区画線や、車両などの立体物では、ステレオマッチングにおいて対応点を検出しやすいので、距離値の密度は高い。
【0045】
次に、グルーピング処理部３２は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ３１に基づいて、３次元空間における距離が互いに近い複数の点をグルーピングすることにより、距離画像ＰＺ３２を生成する。
【0046】
図８は、距離画像ＰＺ３２の一例を表すものである。この距離画像ＰＺ３２では、図７に示した距離画像ＰＺ３１に比べて、例えば、得られた距離値の密度が低い部分において、距離値が除去されている。距離画像生成部２４がステレオマッチング処理を行う際、画像によっては、ミスマッチにより誤った対応点を特定してしまう可能性がある。例えば、路面のように、テクスチャが少ない部分では、対応点が少なく、また、このようなミスマッチに係る対応点も多い。ミスマッチに係る距離値は、その周囲の距離値と乖離し得る。グルーピング処理部３２は、グルーピング処理を行うことにより、そのようなミスマッチに係る距離値をある程度除去することができる。
【0047】
この図８では、例えば雨により路面がぬれており、路面による鏡面反射が生じている。部分Ｗ１は、路面により反射された先行車両９のテールランプの像を示す。この部分Ｗ１における距離値は、自車両から先行車両９までの距離に対応し得る。しかしながら、この像自体は、路面に生じている。距離画像ＰＺ３２では、このような虚像が含まれ得る。
【0048】
次に、路面検出処理部３３は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ３２に基づいて、路面を検出する。また、路面検出処理部３３は、距離画像ＰＺ３２に含まれる複数の距離値のうち、この路面検出処理において採用された複数の距離値についての情報を、距離値選択部３５に供給する。
【0049】
図９は、距離画像ＰＺ３２に含まれる複数の距離値のうちの、この路面検出処理において採用された複数の距離値を示す距離画像を表すものである。この図９に示したように、路面検出処理において採用された複数の距離値のそれぞれは、路面に対応する部分に位置する。すなわち、これらの複数の距離値のそれぞれは、自車両から路面までの距離を示す。
【0050】
この距離画像では、部分Ｗ２に示したように、鏡面反射の虚像に起因する距離値が除去される。すなわち、上述したように、図８の部分Ｗ１における距離値は、自車両から先行車両９までの距離に対応し得る。しかしながら、路面検出処理における、複数の水平ラインＨＬのそれぞれに係るヒストグラムにおいて、この距離値における頻度は低いので、この距離値は代表距離になりにくい。その結果、この距離値は、路面検出処理において採用されないので、図９に示した距離画像において除去される。
【0051】
【0052】
次に、立体物検出処理部３４は、左画像ＰＬ２、右画像ＰＲ２、および距離画像ＰＺ３２に基づいて、立体物を検出する。また、立体物検出処理部３４は、距離画像ＰＺ３２に含まれる複数の距離値のうち、この立体物検出処理において採用された複数の距離値についての情報を、距離値選択部３５に供給する。
【0053】
図１０は、距離画像ＰＺ３２に含まれる複数の距離値のうちの、この立体物検出処理において採用された複数の距離値を示す距離画像を表すものである。この図１０に示したように、立体物検出処理において採用された複数の距離値のそれぞれは、これらの立体物に対応する部分に位置する。すなわち、これらの複数の距離値のそれぞれは、自車両から、路面より上に位置する立体物までの距離を示す。
【0054】
立体物検出処理部３４は、路面よりも上において、３次元空間における距離が互いに近い複数の点をグルーピングすることにより、立体物を検出する。立体物付近におけるミスマッチに係る距離値は、その周囲の距離値と乖離し得る。よって、立体物検出処理部３４は、車両の側面や壁などにおけるミスマッチに係る距離値を除去することができる。
【0055】
この距離画像でも、部分Ｗ３に示したように、鏡面反射の虚像に起因する距離値が除去される。すなわち、上述したように、図８の部分Ｗ１における距離値は、自車両から先行車両９までの距離に対応し得る。しかしながら、この像自体は、路面に生じている。よって、この像に基づいて得られる３次元空間における位置は、路面の下である。立体物検出処理部３４は、路面よりも上の像に基づいて立体物を検出する。その結果、この距離値は、立体物検出処理において採用されないので、図１０に示した距離画像において除去される。
【0056】
【0057】
距離値選択部３５は、グルーピング処理部３２から供給された距離画像ＰＺ３２に含まれる複数の距離値のうちの、学習処理部３７に供給する複数の距離値を選択する。距離値選択部３５は、例えば、距離画像ＰＺ３２に含まれる複数の距離値のうちの、路面検出処理において使用された複数の距離値を、学習処理部３７に供給する複数の距離値として選択することができる。また、距離値選択部３５は、例えば、距離画像ＰＺ３２に含まれる複数の距離値のうちの、立体物検出処理において使用された複数の距離値を、学習処理部３７に供給する複数の距離値として選択することができる。また、距離値選択部３５は、例えば、距離画像ＰＺ３２に含まれる複数の距離値のうちの、立体物検出処理および路面検出処理において使用された複数の距離値を、学習処理部３７に供給する複数の距離値として選択することができる。そして、距離値選択部３５は、選択された複数の距離値を含む距離画像ＰＺ３５を学習処理部３７に供給する。このようにして、学習処理部３７には、距離値のノイズが低減された距離画像ＰＺ３５が供給される。
【0058】
画像選択部３６は、左画像ＰＬ２および右画像ＰＲ２の一方である撮像画像Ｐ２を、学習処理部３７に供給する。そして、学習処理部３７は、撮像画像Ｐ２および距離画像ＰＺ３５に基づいて、ニューラルネットワークを用いて機械学習処理を行うことにより、学習モデルＭを生成する。学習処理部３７には、撮像画像Ｐ２が供給されるとともに、距離画像ＰＺ３５が、期待値として供給される。学習処理部３７には、距離値のノイズが低減された距離画像ＰＺ３５が供給されるので、精度のよい学習モデルＭを生成することができる。
【0059】
次に、このようにして生成された学習モデルＭを用いて、車外環境認識システム１０の距離画像生成部１４が生成した距離画像ＰＺ１４について説明する。
【0060】
図１１は、車外環境認識システム１０におけるステレオカメラ１１が生成した撮像画像の一例を表すものである。この図１１では、例えば雨により路面がぬれており、路面による鏡面反射が生じている。部分Ｗ４は、路面により反射された電柱の像を示す。
【0061】
図１２，１３は、距離画像生成部１４が、図１１に示した撮像画像に基づいて学習モデルＭを用いて生成した距離画像ＰＺ１４の一例を表すものである。図１２は、機械学習装置２０において、学習モデルＭが、距離画像ＰＺ３２に含まれる複数の距離値の全てに基づいて生成された場合を示す。図１３は、機械学習装置２０において、学習モデルＭが、距離画像ＰＺ３２に含まれる複数の距離値のうちの、立体物検出処理および路面検出処理において使用された複数の距離値に基づいて生成された場合を示す。図１２，１３において、網掛けの濃淡は、距離値を示している。薄い網掛けは、距離値が小さいことを示し、濃い網掛けは、距離値が大きいことを示す。
【0062】
図１２の例では、部分Ｗ５に示したように、鏡面反射による虚像の影響により、距離値に乱れが生じている。電柱が写っている路面までの距離は近いが、実際の電柱までの距離は遠いので、図１２に示したように部分Ｗ５における距離値は大きい。このように、距離画像生成部１４は、入力された撮像画像に基づいて、そのままの距離値を出力する。
【0063】
この図１２の例では、学習モデルＭは、機械学習装置２０において、距離画像ＰＺ３２に含まれる複数の距離値の全てに基づいて生成されている。つまり、学習モデルＭは、例えば、鏡面反射の画像部分を含む撮像画像と、鏡面反射による誤った距離値を含む距離画像（例えば図８）とを用いて学習されている。よって、距離画像生成部１４は、図１１に示したように、入力された撮像画像が部分Ｗ４のように鏡面反射の画像部分を含む場合には、図１２に示したように、その画像部分に応じた距離値を出力する。
【0064】
一方、図１３の例では、図１２に見られたような距離値の乱れは生じていない。この図１３の例では、学習モデルＭは、機械学習装置２０において、距離画像ＰＺ３２に含まれる複数の距離値のうちの、立体物検出処理および路面検出処理において使用された複数の距離値に基づいて生成されている。つまり、学習モデルＭは、例えば、鏡面反射を含む画像と、鏡面反射による誤った距離値を含まない距離画像（例えば図９，１０）とを用いて学習されている。つまり、鏡面反射による誤った距離値は機械学習処理に用いられていない。機械学習処理は、様々な天気、様々な時間帯など、様々な状況におけるステレオ画像ＰＩＣ２を用いて行われる。これらの複数のステレオ画像ＰＩＣ２は、例えば、鏡面反射が生じていない画像も含む。よって、距離画像生成部１４は、入力された撮像画像（図１１）が部分Ｗ４のように鏡面反射の画像部分を含む場合であっても、このような様々な条件での学習を反映し、図１３に示したように、鏡面反射がない場合における距離値を出力することができる。
【0065】
このように、機械学習装置２０では、第１の撮像画像（ステレオ画像ＰＩＣ２）、および第１の撮像画像（ステレオ画像ＰＩＣ２）に応じた第１の距離画像（距離画像ＰＺ３２）に基づいて、第１の撮像画像（ステレオ画像ＰＩＣ２）に含まれる路面を検出する路面検出処理部３３と、この路面検出処理部３３の処理結果に基づいて、第１の距離画像（距離画像ＰＺ３２）に含まれる複数の距離値のうちの処理対象となる１以上の距離値を選択する距離値選択部３５と、第１の撮像画像（ステレオ画像ＰＩＣ２）および１以上の距離値に基づいて機械学習処理を行うことにより、第２の撮像画像が入力され第２の撮像画像に応じた第２の距離画像が出力される学習モデルＭを生成する学習処理部３７とを備えるようにした。これにより、機械学習装置２０は、距離画像ＰＺ３２に含まれる複数の距離値のうちの、路面検出処理部３３の処理結果に基づいて選択された、１以上の距離値に基づいて機械学習処理を行うことができる。距離値選択部３５は、例えば、機械学習装置２０は、路面検出処理において採用された距離値（図９）を１以上の距離値として選択することができ、路面上の立体物を検出する立体物検出処理において採用された距離値（図１０）を、１以上の距離値として選択することができる。これにより、機械学習装置２０では、精度が高い距離画像を生成する学習モデルＭを生成することができる。
【0066】
このような学習モデルＭを生成する際、例えばＬｉｄａｒ（Light detection and ranging）装置を用いて得られた距離画像と、撮像画像とを用いて、機械学習を行うこともあり得る。しかしながら、撮像画像を生成するイメージセンサと、距離画像を生成するＬｉｄａｒ装置とは、互いに特性が異なるため、例えば、撮像画像には写っていないが、距離画像では距離値が得られているようなことが起こり得る。このような矛盾が生じる場合には、機械学習処理を行うことが難しい。
【0067】
一方、機械学習装置２０では、図２に示した例では、ステレオ画像ＰＩＣ２に基づいて距離画像ＰＺ２４，ＰＺ３１，ＰＺ３２を生成するようにしたので、上述したような矛盾が生じにくいので、機械学習処理を行いやすくすることができる。その結果、機械学習装置２０では、学習モデルの精度を高めることができる。
【0068】
また、ステレオカメラが生成したステレオ画像ＰＩＣ２に基づいて生成された距離画像ＰＺ２４を用いて機械学習処理を行う場合でも、上述したように、ミスマッチが生じ、あるいは鏡面反射などの虚像が生じるので、距離画像ＰＺ２４は、不正確な距離値を含んでしまう。よって、学習モデルの精度を高めるのが難しい。また、距離画像ＰＺ２４から、正確な距離値と不正確な距離値を選別することが考えられるが、例えば、人がこれらの選別を行うことは非現実的である。
【0069】
一方、機械学習装置２０では、路面検出処理部３３の処理結果に基づいて、第１の距離画像（距離画像ＰＺ３２）に含まれる複数の距離値のうちの処理対象となる１以上の距離値を選択し、第１の撮像画像（ステレオ画像ＰＩＣ２）および１以上の距離値に基づいて機械学習処理を行うようにした。これにより、機械学習装置２０では、ミスマッチや鏡面反射などの影響を低減することができ、人のアノテーション作業を必要とすることなく、正確な距離値を選別することができる。その結果、機械学習装置２０では、学習モデルの精度を高めることができる。
【0070】
機械学習装置２０では、図２に示した例では、ステレオマッチングにより距離画像ＰＺ２４，ＰＺ３１，ＰＺ３２を生成するようにした。このようにステレオマッチングを行う場合には、高精度の距離値を得ることができる。しかしながら、マッチングが局所的に生じるので、距離値の密度が低い場合もあり得る。このような場合でも、機械学習装置２０により生成された学習モデルＭを使用することにより、全領域において、高精度で密度の高い距離値を得ることが出来る。
【0071】
また、機械学習装置２０では、学習処理部３７は、１以上の距離値に基づいて、第１の撮像画像（ステレオ画像ＰＩＣ２）の全体画像領域のうちの１以上の距離値に対応する画像領域について機械学習処理を行うようにした。これにより、学習処理部３７は、距離値選択部３５から距離値が供給された画像領域について、機械学習処理を行い、距離値選択部３５から距離値が供給されなかった画像領域について、機械学習処理を行わないようにすることができる。その結果、例えば、鏡面反射による誤った距離値に基づいて機械学習処理を行わないようにすることができるので、学習モデルの精度を高めることができる。
【0072】
［効果］
以上のように本実施の形態では、第１の撮像画像、および第１の撮像画像に応じた第１の距離画像に基づいて、第１の撮像画像に含まれる路面を検出する路面検出処理部と、この路面検出処理部の処理結果に基づいて、第１の距離画像に含まれる複数の距離値のうちの処理対象となる１以上の距離値を選択する距離値選択部と、第１の撮像画像および１以上の距離値に基づいて機械学習処理を行うことにより、第２の撮像画像が入力され第２の撮像画像に応じた第２の距離画像が出力される学習モデルを生成する学習処理部とをもうけるようにしたので、精度が高い距離画像を生成する学習モデルを生成することができる。
以上のように本実施の形態では、第１の撮像画像、および第１の撮像画像に応じた第１の距離画像に基づいて、第１の撮像画像に含まれる路面を検出する路面検出処理部と、この路面検出処理部の処理結果に基づいて、第１の距離画像に含まれる複数の距離値のうちの処理対象となる１以上の距離値を選択する距離値選択部と、第１の撮像画像および１以上の距離値に基づいて機械学習処理を行うことにより、第２の撮像画像が入力され第２の撮像画像に応じた第２の距離画像が出力される学習モデルを生成する学習処理部とをもうけるようにしたので、精度が高い距離画像を生成する学習モデルを生成することができる。
【0073】
本実施の形態では、１以上の距離値に基づいて、第１の撮像画像の全体画像領域のうちの１以上の距離値に対応する画像領域について機械学習処理を行うようにしたので、学習モデルの精度を高めることができる。
【0074】
［変形例１］
上記実施の形態では、機械学習装置２０は、ステレオ画像ＰＩＣ２に基づいて生成された距離画像ＰＺ２４に基づいて機械学習処理を行ったが、これに限定されるものではない。以下に、いくつか例を挙げて、本変形例について詳細に説明する。
上記実施の形態では、機械学習装置２０は、ステレオ画像ＰＩＣ２に基づいて生成された距離画像ＰＺ２４に基づいて機械学習処理を行ったが、これに限定されるものではない。以下に、いくつか例を挙げて、本変形例について詳細に説明する。
【0075】
図１４は、本変形例に係る機械学習装置４０の一構成例を表すものである。機械学習装置４０は、Ｌｉｄａｒ装置により得られた距離画像に基づいて機械学習処理を行うように構成される。機械学習装置４０は、記憶部４１と、処理部４２とを備えている。
【0076】
記憶部４１は、画像データＤＴ３と、距離画像データＤＴ４を記憶している。画像データＤＴ３は、この例では、複数の撮像画像ＰＩＣ３の画像データである。複数の撮像画像ＰＩＣ３のそれぞれは、単眼画像であり、単眼カメラにより生成され、この記憶部４１に記憶される。距離画像データＤＴ４は、複数の距離画像ＰＺ４の画像データである。複数の距離画像ＰＺ４は、複数の撮像画像ＰＩＣ３とそれぞれ対応している。この距離画像ＰＺ４は、この例では、Ｌｉｄａｒ装置により生成され、この記憶部４１に記憶される。
【0077】
処理部４２は、データ取得部４３と、画像処理部４５とを有している。
【0078】
データ取得部４３は、記憶部４１から、複数の撮像画像ＰＩＣ３および複数の距離画像ＰＺ４を取得し、互いに対応する撮像画像ＰＩＣ３および距離画像ＰＺ４を、画像処理部４５に順次供給するように構成される。
【0079】
画像処理部４５は、撮像画像ＰＩＣ３および距離画像ＰＺ４に基づいて、所定の画像処理を行うことにより、学習モデルＭを生成するように構成される。画像処理部４５は、画像エッジ検出部５１と、グルーピング処理部５２と、路面検出処理部５３と、立体物検出処理部５４と、距離値選択部５５と、学習処理部５７とを有している。画像エッジ検出部５１、グルーピング処理部５２、路面検出処理部５３と、立体物検出処理部５４、距離値選択部５５、および学習処理部５７は、上記実施の形態に係る画像エッジ検出部３１、グルーピング処理部３２、路面検出処理部３３と、立体物検出処理部３４、距離値選択部３５、および学習処理部３７にそれぞれ対応している。
【0080】
学習処理部５７は、撮像画像ＰＩＣ３および距離画像ＰＺ３５に基づいて、ニューラルネットワークを用いて機械学習処理を行うことにより、学習モデルＭを生成するように構成される。学習処理部５７には、撮像画像ＰＩＣ３が供給されるとともに、距離画像ＰＺ３５が、期待値として供給される。学習処理部５７は、これらの画像に基づいて機械学習処理を行うことにより、撮像画像が入力され距離画像が出力される学習モデルＭを生成するようになっている。ここで、撮像画像ＰＩＣ３は、本開示における「第１の撮像画像」の一具体例に対応する。
【0081】
例えば、図１に示した車外環境認識システム１０の距離画像生成部１４は、このような機械学習装置４０により生成された学習モデルＭを用いて、左画像ＰＬ１および右画像ＰＲ１のうちの一方である撮像画像に基づいて、距離画像ＰＺ１４を生成することができる。
【0082】
図１５は、本変形例に係る他の機械学習装置６０の一構成例を表すものである。機械学習装置６０は、モーションステレオの手法により得られた距離画像に基づいて機械学習処理を行うように構成される。機械学習装置６０は、記憶部６１と、処理部６２とを備えている。
【0083】
記憶部６１は、画像データＤＴ３を記憶している。画像データＤＴ３は、この例では、一連の複数の撮像画像ＰＩＣ３の画像データである。複数の撮像画像ＰＩＣ３のそれぞれは、単眼画像であり、単眼カメラにより生成され、この記憶部６１に記憶される。
【0084】
処理部６２は、画像データ取得部６３と、距離画像生成部６４と、画像処理部６５とを有している。
【0085】
画像データ取得部６３は、記憶部６１から、一連の複数の撮像画像ＰＩＣ３を取得し、撮像画像ＰＩＣ３を、距離画像生成部６４に順次供給するように構成される。
【0086】
距離画像生成部６４は、一連の複数の撮像画像ＰＩＣ３のうちの、時間軸上でとなりあう２枚の撮像画像ＰＩＣ３に基づいて、モーションステレオの手法により、距離画像ＰＺ２４を生成するように構成される。
【0087】
画像処理部６５は、撮像画像ＰＩＣ３および距離画像ＰＺ２４に基づいて、所定の画像処理を行うことにより、学習モデルＭを生成するように構成される。画像処理部６５は、画像エッジ検出部７１と、グルーピング処理部７２と、路面検出処理部７３と、立体物検出処理部７４と、距離値選択部７５と、学習処理部７７とを有している。画像エッジ検出部７１、グルーピング処理部７２、路面検出処理部７３と、立体物検出処理部７４、距離値選択部７５、および学習処理部７７は、上記実施の形態に係る画像エッジ検出部３１、グルーピング処理部３２、路面検出処理部３３と、立体物検出処理部３４、距離値選択部３５、および学習処理部３７にそれぞれ対応している。
【0088】
学習処理部７７は、撮像画像ＰＩＣ３および距離画像ＰＺ３５に基づいて、ニューラルネットワークを用いて機械学習処理を行うことにより、学習モデルＭを生成するように構成される。学習処理部７７には、撮像画像ＰＩＣ３が供給されるとともに、距離画像ＰＺ３５が、期待値として供給される。学習処理部７７は、これらの画像に基づいて機械学習処理を行うことにより、撮像画像が入力され距離画像が出力される学習モデルＭを生成するようになっている。
【0089】
例えば、図１に示した車外環境認識システム１０の距離画像生成部１４は、このような機械学習装置６０により生成された学習モデルＭを用いて、左画像ＰＬ１および右画像ＰＲ１のうちの一方である撮像画像に基づいて、距離画像ＰＺ１４を生成することができる。
【0090】
［変形例２］
上記実施の形態では、学習モデルＭは、撮像画像が入力され距離画像が出力されるようにしたが、入力画像は、これに限定されるものではなく、例えば、ステレオ画像が入力されるようにしてもよい。また、モーションステレオの場合には、時間軸上で隣り合う２つの撮像画像が入力されるようにしてもよい。ステレオ画像が入力される場合について、以下に詳細に説明する。
上記実施の形態では、学習モデルＭは、撮像画像が入力され距離画像が出力されるようにしたが、入力画像は、これに限定されるものではなく、例えば、ステレオ画像が入力されるようにしてもよい。また、モーションステレオの場合には、時間軸上で隣り合う２つの撮像画像が入力されるようにしてもよい。ステレオ画像が入力される場合について、以下に詳細に説明する。
【0091】
図１６は、本変形例に係る機械学習装置２０Ｂの一構成例を表すものである。機械学習装置２０Ｂは、処理部２２Ｂを備えている。処理部２２Ｂは、画像処理部２５Ｂを有している。画像処理部２５Ｂは、画像エッジ検出部３１と、グルーピング処理部３２と、路面検出処理部３３と、立体物検出処理部３４と、距離値選択部３５と、学習処理部３７Ｂとを有している。
【0092】
学習処理部３７Ｂは、ステレオ画像ＰＩＣ２および距離画像ＰＺ３５に基づいて、ニューラルネットワークを用いて機械学習処理を行うことにより、学習モデルＭを生成するように構成される。学習処理部３７Ｂには、ステレオ画像ＰＩＣ２が供給されるとともに、距離画像ＰＺ３５が、期待値として供給される。学習処理部３７Ｂは、これらの画像に基づいて機械学習処理を行うことにより、ステレオ画像が入力され距離画像が出力される学習モデルＭを生成するようになっている。
【0093】
例えば、車外環境認識システム１０の距離画像生成部１４は、このような機械学習装置２０Ｂにより生成された学習モデルＭを用いて、ステレオ画像ＰＩＣに基づいて、距離画像ＰＺ１４を生成することができる。
【0094】
以上、実施の形態およびいくつかの変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
【0095】
例えば、上記実施の形態等では、画像処理部２５に、画像エッジ検出部３１、グルーピング処理部３２、路面検出処理部３３、および立体物検出処理部３４を設けたが、これに限定されるものではなく、例えば、これらの一部が省かれていてもよいし、他のブロックが追加されてもよい。
【0096】
なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。
【0097】
なお、本技術は以下のような構成とすることができる。
【0098】
（１）
第１の撮像画像、および前記第１の撮像画像に応じた第１の距離画像に基づいて、前記第１の撮像画像に含まれる路面を検出する路面検出処理部と、
前記路面検出処理部の処理結果に基づいて、前記第１の距離画像に含まれる複数の距離値のうちの、処理対象となる１以上の距離値を選択する距離値選択部と、
前記第１の撮像画像および前記１以上の距離値に基づいて機械学習処理を行うことにより、第２の撮像画像が入力され前記第２の撮像画像に応じた第２の距離画像が出力される学習モデルを生成する学習処理部と
を備えた機械学習装置。
（２）
前記距離値選択部は、前記第１の距離画像に含まれる複数の距離値のうちの、前記路面検出処理部における検出処理において採用された距離値を、前記１以上の距離値として選択する
請求項１に記載の機械学習装置。
（３）
前記１以上の距離値は、前記第１の撮像画像に含まれる前記路面までの距離値を含む
請求項２に記載の機械学習装置。
（４）
前記第１の撮像画像に含まれる前記路面よりも上に位置する立体物を検出する立体物検出処理部をさらに備え、
前記距離値選択部は、前記第１の距離画像に含まれる複数の距離値のうちの、前記立体物検出処理部における検出処理において採用された距離値を、前記１以上の距離値として選択する
請求項１から請求項３のいずれか一項記載の機械学習装置。
（５）
前記１以上の距離値は、前記第１の撮像画像に含まれる前記路面よりも上に位置する立体物までの距離値を含む
請求項４に記載の機械学習装置。
（６）
前記学習処理部は、前記１以上の距離値に基づいて、前記第１の撮像画像の全体画像領域のうちの前記１以上の距離に対応する画像領域について前記機械学習処理を行う
請求項１に記載の機械学習装置。
（７）
１または複数のプロセッサと
前記１または複数のプロセッサに通信可能に接続される１または複数のメモリと
を備え、
前記１または複数のプロセッサは、
第１の撮像画像、および前記第１の撮像画像に応じた第１の距離画像に基づいて、前記第１の撮像画像に含まれる路面を検出する路面検出処理を行うことと、
前記路面検出処理の処理結果に基づいて、前記第１の距離画像に含まれる複数の距離値のうちの、処理対象となる１以上の距離値を選択することと、
前記第１の撮像画像および前記１以上の距離値に基づいて機械学習処理を行うことにより、第２の撮像画像が入力され前記第２の撮像画像に応じた第２の距離画像が出力される学習モデルを生成することと
を行う
機械学習装置。
第１の撮像画像、および前記第１の撮像画像に応じた第１の距離画像に基づいて、前記第１の撮像画像に含まれる路面を検出する路面検出処理部と、
前記路面検出処理部の処理結果に基づいて、前記第１の距離画像に含まれる複数の距離値のうちの、処理対象となる１以上の距離値を選択する距離値選択部と、
前記第１の撮像画像および前記１以上の距離値に基づいて機械学習処理を行うことにより、第２の撮像画像が入力され前記第２の撮像画像に応じた第２の距離画像が出力される学習モデルを生成する学習処理部と
を備えた機械学習装置。
（２）
前記距離値選択部は、前記第１の距離画像に含まれる複数の距離値のうちの、前記路面検出処理部における検出処理において採用された距離値を、前記１以上の距離値として選択する
請求項１に記載の機械学習装置。
（３）
前記１以上の距離値は、前記第１の撮像画像に含まれる前記路面までの距離値を含む
請求項２に記載の機械学習装置。
（４）
前記第１の撮像画像に含まれる前記路面よりも上に位置する立体物を検出する立体物検出処理部をさらに備え、
前記距離値選択部は、前記第１の距離画像に含まれる複数の距離値のうちの、前記立体物検出処理部における検出処理において採用された距離値を、前記１以上の距離値として選択する
請求項１から請求項３のいずれか一項記載の機械学習装置。
（５）
前記１以上の距離値は、前記第１の撮像画像に含まれる前記路面よりも上に位置する立体物までの距離値を含む
請求項４に記載の機械学習装置。
（６）
前記学習処理部は、前記１以上の距離値に基づいて、前記第１の撮像画像の全体画像領域のうちの前記１以上の距離に対応する画像領域について前記機械学習処理を行う
請求項１に記載の機械学習装置。
（７）
１または複数のプロセッサと
前記１または複数のプロセッサに通信可能に接続される１または複数のメモリと
を備え、
前記１または複数のプロセッサは、
第１の撮像画像、および前記第１の撮像画像に応じた第１の距離画像に基づいて、前記第１の撮像画像に含まれる路面を検出する路面検出処理を行うことと、
前記路面検出処理の処理結果に基づいて、前記第１の距離画像に含まれる複数の距離値のうちの、処理対象となる１以上の距離値を選択することと、
前記第１の撮像画像および前記１以上の距離値に基づいて機械学習処理を行うことにより、第２の撮像画像が入力され前記第２の撮像画像に応じた第２の距離画像が出力される学習モデルを生成することと
を行う
機械学習装置。
【符号の説明】
【0099】
１０…車外環境認識システム、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、１２…処理部、１３，１４…距離画像生成部、１５…車外環境認識部、２０，２０Ｂ，４０，６０…機械学習装置、２１，４１，６１…記憶部、２２，２２Ｂ，４２，６２…処理部、２３，６３…画像データ取得部、２４，６４…距離画像生成部、２５，２５Ｂ，４５，６５…画像処理部、３１，５１，７１…画像エッジ検出部、３２，５２，７２…グルーピング処理部、３３，５３，７３…路面検出処理部、３４，５４，７４…立体物検出処理部、３５，５５，７５…距離値選択部、３６…画像選択部、３７，３７Ｂ，５７，７７…学習処理部、４３…データ取得部、１００…車両、Ａ１…圧縮処理、Ａ２…畳み込み処理、Ｂ１…アップサンプリング処理、Ｂ２…畳み込み処理、ＤＴ，ＤＴ３…画像データ、ＤＴ４…距離画像データ、Ｍ…学習モデル、Ｐ２…撮像画像、ＰＩＣ，ＰＩＣ１，ＰＩＣ２…ステレオ画像、ＰＩＣ３…撮像画像、ＰＬ１，ＰＬ２…左画像、ＰＲ１，ＰＲ２…右画像、ＰＺ４，ＰＺ１３，ＰＺ１４，ＰＺ２４，ＰＺ３１，ＰＺ３２，ＰＺ３５…距離画像、ＲＡ…演算対象領域。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】