特開 2024-11401 データ処理アルゴリズム評価装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024011401

(43)【公開日】2024-01-25

(54)【発明の名称】データ処理アルゴリズム評価装置

(51)【国際特許分類】

   G01S 7/481 20060101AFI20240118BHJP

【ＦＩ】

G01S7/481 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022113347

(22)【出願日】2022-07-14

(71)【出願人】

【識別番号】309036221

【氏名又は名称】三菱重工機械システム株式会社

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】清水 裕量

(72)【発明者】

【氏名】西森 稔晃

(72)【発明者】

【氏名】中尾 健太

(72)【発明者】

【氏名】上條 俊介

(72)【発明者】

【氏名】李 珍鎬

【テーマコード（参考）】

5J084

【Ｆターム（参考）】

5J084AA04

5J084AA05

5J084AC02

5J084AD01

5J084CA65

(57)【要約】

【課題】車両の状況を判断するデータ処理アルゴリズムの性能を適切に評価する。
【解決手段】車両から検出した複数の光測距データを記憶するデータ記憶部と、データ記憶部に記憶される複数の光測距データのうち対象データに対する外乱を示す外乱情報が入力された場合、対象データを取得して理解し、外乱が対象データに反映された状態となるように理解に基づいて対象データを加工して合成データを生成するデータ生成部と、生成された合成データに基づいて、車両の状況を判断するデータ処理アルゴリズムの性能を評価するデータ処理部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両から検出した光測距データを記憶するデータ記憶部と、
前記データ記憶部に記憶される前記光測距データのうち対象データに対する外乱を示す外乱情報が入力された場合、前記対象データを取得して理解し、前記外乱が前記対象データに反映された状態となるように前記理解に基づいて前記対象データを加工して合成データを生成するデータ生成部と、
生成された前記合成データに基づいて、前記車両の状況を判断するデータ処理アルゴリズムの性能を評価するデータ処理部と
を備えるデータ処理アルゴリズム評価装置。

【請求項2】

前記データ生成部は、前記対象データの検出位置から前記対象データを構成する対象物までの距離を取得し、取得された前記距離に基づいて当該距離による前記外乱の強弱を算出し、算出結果に基づいて前記合成データを生成する
請求項１に記載のデータ処理アルゴリズム評価装置。

【請求項3】

前記光測距データは、前記車両から出射される測定光のビームごとに取得され、前記ビームの出射方向に応じて垂直方向及び水平方向について２次元状に配列されたデータである
請求項１に記載のデータ処理アルゴリズム評価装置。

【請求項4】

前記光測距データは、前記対象物までの距離を示す距離データと、前記対象物で反射される前記測定光の強度を示す強度データとを含む
請求項３に記載のデータ処理アルゴリズム評価装置。

【請求項5】

前記外乱を含まない前記光測距データである基準データと、前記外乱を含む前記光測距データである外乱データとを学習データとして記憶する学習データ記憶部と、
前記データ生成部が前記対象データ及び前記外乱情報に基づいて前記合成データを生成する処理と同一の処理により前記基準データ及び前記外乱情報に基づいて学習用合成データを生成し、生成した前記学習用合成データと前記外乱データとの間の正解率が高くなるように敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いて学習するデータ学習部と
を更に備え、
前記データ生成部は、前記データ学習部の学習結果に基づいて前記対象データを理解して前記合成データを生成する
請求項３に記載のデータ処理アルゴリズム評価装置。

【請求項6】

前記学習データ記憶部は、同一種類で程度が異なる前記外乱を含む複数の前記外乱データを記憶し、
前記データ学習部は、程度が異なる前記外乱を含む複数の前記外乱データに基づいて学習を行い、
前記データ生成部は、前記前記外乱の程度を含む前記外乱情報が入力された場合、前記データ学習部の学習結果に基づいて前記対象データを理解し、前記外乱情報に対応する程度の前記外乱が前記対象データに反映されるように前記合成データを生成する
請求項５に記載のデータ処理アルゴリズム評価装置。

【請求項7】

前記学習データ記憶部は、異なる属性を含む複数の前記光測距データを、当該属性を示すラベル情報と対応付けて記憶し、
前記データ学習部は、生成した前記学習用合成データと前記外乱データとの間で前記属性に関する正解率が高くなるように前記サイクル敵対的生成ネットワークを用いて学習し、
前記データ生成部は、前記対象データ及び前記外乱情報が入力された場合、前記対象データの前記属性を示すラベル情報を抽出し、前記データ学習部の学習結果に基づいて前記対象データを理解して前記属性を反映させた前記合成データを生成する
請求項５又は請求項６に記載のデータ処理アルゴリズム評価装置。

【請求項8】

前記データ学習部は、敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いる場合、畳み込み処理において前記光測距データの前記垂直方向の前記ビームの数を基準とする
請求項５又は請求項６に記載のデータ処理アルゴリズム評価装置。

【請求項9】

前記データ学習部は、敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いる場合、スキップコネクション処理を行う
請求項５又は請求項６に記載のデータ処理アルゴリズム評価装置。

【請求項10】

前記光測距データは、前記対象物までの距離を示す距離データと、前記対象物から反射される前記測定光の強度を示す強度データとを含み、前記距離の値及び前記強度の値が対応するように前記距離の値及び前記強度の値の少なくとも一方が正規化されている
請求項５又は請求項６に記載のデータ処理アルゴリズム評価装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、データ処理アルゴリズム評価装置に関する。

【背景技術】

【0002】

自動運転等の運転を支援する機能を備える車両が開発されている。このような運転支援機能を備える車両には、車載カメラ等で車両の周囲環境を撮影し、撮影した撮影画像に基づいて車両の状況を判断するための画像処理アルゴリズムが搭載されている。

【0003】

画像処理アルゴリズムは、適切な運転支援機能を実現するため、各種の性能評価が行われている。例えば、車両から撮影した実写画像にコンピュータグラフィックで作成した天候外乱の画像を重畳した合成画像を用いて画像処理を行うことにより、画像処理アルゴリズムの性能を評価する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８－１９４７７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術において、生成される天候外乱等の画像は、実写画像に映る対象物等の状況を反映して生成されたものではない。このため、上記の合成画像を用いて画像処理アルゴリズムを評価した場合、適切な評価が得られない可能性がある。また、上記のような画像とは異なる情報に基づいて車両の状況を判断することが提案されており、この場合に情報処理アルゴリズムの性能を適切に評価することが求められる。

【0006】

本開示は、上記に鑑みてなされたものであり、車両の状況を判断するデータ処理アルゴリズムの性能を適切に評価することが可能なデータ処理アルゴリズム評価装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示に係るデータ処理アルゴリズム評価装置は、車両から検出した複数の光測距データを記憶するデータ記憶部と、前記データ記憶部に記憶される複数の前記光測距データのうち対象データに対する外乱を示す外乱情報が入力された場合、前記対象データを取得して理解し、前記外乱が前記対象データに反映された状態となるように前記理解に基づいて前記対象データを加工して合成データを生成するデータ生成部と、生成された前記合成データに基づいて、前記車両の状況を判断するデータ処理アルゴリズムの性能を評価するデータ処理部とを備える。

【発明の効果】

【0008】

本開示によれば、車両の状況を判断するデータ処理アルゴリズムの性能を適切に評価することが可能となる。

【図面の簡単な説明】

【0009】

【図1】図１は、第１実施形態に係るデータ処理アルゴリズム評価装置の一例を示す機能ブロック図である。

【図2】図２は、光測距データの一例を示す図である。

【図3】図３は、データ生成部における処理の一例を示す図である。

【図4】図４は、データを生成する処理の流れを示すフローチャートである。

【図5】図５は、第２実施形態に係るデータ処理アルゴリズム評価装置の一例を示す機能ブロック図である。

【図6】図６は、データ学習部の一例を示す概念図である。

【図7】図７は、データ学習部の他の例を示す概念図である。

【図8】図８は、畳み込み処理の一例を模式的に示す図である。

【図9】図９は、スキップコネクション処理の一例を模式的に示す図である。

【図10】図１０は、データを生成する処理の流れを示すフローチャートである。

【図11】図１１は、第３実施形態に係るデータ学習部の一例を示す概念図である。

【図12】図１２は、データを生成する処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示に係るデータ処理アルゴリズム評価装置の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

【0011】

［第１実施形態］
図１は、第１実施形態に係るデータ処理アルゴリズム評価装置の一例を示す機能ブロック図である。図１に示すデータ処理アルゴリズム評価装置１００は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、記憶装置、すなわち演算内容やプログラムの情報などを記憶するメモリとを含む。メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。図１に示すように、データ処理アルゴリズム評価装置１００は、データ記憶部１０と、データ生成部２０と、データ処理部３０とを備える。

【0012】

データ記憶部１０は、車両から検出した光測距データを記憶する。光測距データは、例えばＬｉＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等の光測距法による測定データである。光測距データは、例えば車両から測定光のビームを出射し、当該測定光の反射光を受光して得られるデータである。図２は、光測距データの一例を示す図である。図２に示すように、光測距データは、対象物までの距離を示す距離データＤＴ１と、対象物で反射される測定光の強度を示す強度データＤＴ２とを含む。光測距データは、車両から出射される測定光のビームごとに取得され、ビームの出射方向に応じて垂直方向及び水平方向について２次元状に配列されたデータである。

【0013】

距離データＤＴ１及び強度データＤＴ２は、例えば正規化された状態で生成される。本実施形態において、正規化とは、距離データＤＴ１において距離を示す値をＭ段階とし、強度データＤＴ２において強度を示す値をＮ段階として、ＭとＮとが同一又は同程度の値となるように設定することを含む。例えば、距離データＤＴ１において距離を示す値が０～２５０の範囲であり、強度データＤＴ２において強度を示す値が０～６００００の範囲である場合、各データにおいて取りうる値の範囲が大きく異なっている。そのため、各データのとりうる値の範囲を同一又は同程度とする（正規化する）ことで、各データの重みを同一又は同程度にすることができる。例えば距離データＤＴ１及び強度データＤＴ２の各値を、所定値αで除算することで正規化を行うことができる。この場合、αは、例えば強度データＤＴ２の最大値を距離データＤＴ１の最大値で除算した値、等とすることができる。また、距離データＤＴ１及び強度データＤＴ２の各値を上記の所定値αで除算した後、距離データＤＴ１及び強度データＤＴ２の少なくとも一方の値のルートをとるようにしてもよい。なお、正規化を行う場合、距離データＤＴ１及び強度データＤＴ２の両方の値を調整する態様に限られず、少なくとも一方の値を調整する態様であってもよい。

【0014】

データ生成部２０は、データ記憶部１０から入力される対象データに対して、不図示の入力部等から入力される外乱情報に基づく外乱を合成した合成データを生成する。データ生成部２０は、データ理解部２１と、データ加工部２２とを有する。データ理解部２１は、データ記憶部１０に記憶されるデータを理解する。データ加工部２２は、データ生成部２０に入力された対象データを加工する。

【0015】

データ処理部３０は、生成された合成データに基づいてデータ処理を行い、車両の状況を判断するデータ処理アルゴリズムの性能を評価する。データ処理部３０は、合成データをデータ処理アルゴリズムによりデータ処理し、車両の状況を判断するための判断情報を算出する。データ処理部３０は、算出した判断情報を不図示の記憶部等に記憶させる。判断情報としては、例えば車両が走行している状態で、検出位置から車両前方の対象物の位置まで到達する時間である接近交差時間等が挙げられる。データ処理部３０は、例えば外乱を含まないデータを処理した場合と外乱を含むデータを処理した場合とで判断情報が大きく異なるか否かに基づいて、データ処理アルゴリズムの性能を評価することができる。

【0016】

図３は、データ生成部２０における処理の一例を示す図である。図３に示すように、データ生成部２０には、対象データと、外乱情報とが入力される。対象データとしては、例えば車両から前方を検出した光測距データが挙げられる。外乱情報としては、例えば霧等の天候条件等が挙げられる。本実施形態では、外乱が霧である場合を例に挙げて説明する。

【0017】

データ理解部２１は、演算部２１ａ、２１ｂを有する。本実施形態において、データ理解部２１は、対象物までの距離を理解する。演算部２１ａは、入力された対象データを取得する。演算部２１ａは、データ処理により、対象データの検出位置から当該対象データを構成する対象物までの距離をビームごとに取得する。なお、対象データに映る対象物が空の場合、当該距離は無限大（空を示す）として取得することができる。演算部２１ａは、取得した距離をビームに対応付けた距離情報を生成し、距離情報を出力する。

【0018】

演算部２１ｂは、演算部２１ａから出力された距離情報を取得する。また、演算部２１ｂは、不図示の入力部で入力された外乱情報を取得する。外乱情報としては、例えばコンピュータグラフィックで生成した霧のデータ等が挙げられる。このデータは、例えば対象データ（光測距データ）と同一の解像度を有するデータとすることができる。

【0019】

演算部２１ｂは、距離情報に基づいてビームごとに外乱の強弱を算出する。例えば、霧が発生する環境では、検出位置からの距離が遠くなるほど霧の影響を大きく受ける。このため、距離情報に含まれる距離に応じてビームごとに外乱の強弱を調整することで、外乱を実際の環境に近い状態に調整することができる。演算部２１ｂは、ビームごとに外乱を調整した後、調整した外乱を含む外乱情報を出力する。

【0020】

データ加工部２２は、入力された対象データを取得する。データ加工部２２は、演算部２１ｂから出力された外乱情報を取得する。データ加工部２２は、取得した外乱情報に含まれる外乱をビームごとに対象データに重畳させた合成データを生成する。つまり、不図示の入力部から入力された外乱情報に対して、データ加工部２２に入力される外乱情報は、距離に応じてビームごとに外乱の強弱が調整された情報である。このような調整後の外乱を対象データに重畳させることで、実際の外乱環境により近い適切な合成データを生成することができる。

【0021】

データ処理部３０は、合成データに基づいて、車両の状況を判断するデータ処理アルゴリズムの性能を評価する。実際の周辺環境により近い適切な合成データに基づいてデータ処理アルゴリズムの性能を評価するため、単にコンピュータグラフィックで生成した外乱を重畳させる場合に比べて、適切な評価結果を得ることができる。また、実際の周辺環境を三次元で詳細に再現したシミュレータを用いて車両の状況を判断する場合に比べて、大掛かりなシステムを用いることなく適切な評価結果が得られる。

【0022】

図４は、データを生成する処理の流れを示すフローチャートである。図４に示すように、データ生成部２０は、データ理解部２１において、入力された対象データを取得する（ステップＳ１０１）。データ理解部２１は、対象データの検出位置から当該対象データを構成するビームに対応する対象物までの距離を取得し（ステップＳ１０２）、取得された距離に基づいて当該距離による外乱の強弱を算出することで外乱を調整する（ステップＳ１０３）。データ加工部２２は、入力された対象データと、演算部２１ｂで算出された外乱の強弱とに基づいて、減衰された外乱を対象データに合成した合成データを生成する（ステップＳ１０４）。

【0023】

以上のように、本実施形態に係るデータ処理アルゴリズム評価装置１００は、車両から検出した複数の光測距データを記憶するデータ記憶部１０と、データ記憶部１０に記憶される複数の光測距データのうち対象データに対する外乱を示す外乱情報が入力された場合、対象データを取得して理解し、外乱が対象データに反映された状態となるように理解に基づいて対象データを加工して合成データを生成するデータ生成部２０と、生成された合成データに基づいて、車両の状況を判断するデータ処理アルゴリズムの性能を評価するデータ処理部３０とを備える。

【0024】

この構成によれば、データ生成部２０が対象データを理解した結果に基づいて、外乱が対象データに反映された状態となるように対象データを加工して合成データを生成するため、例えば単にコンピュータグラフィックで生成した外乱を重畳させる場合に比べて、実際の周辺環境に近い合成データを生成することができる。これにより、車両の状況を判断するデータ処理アルゴリズムの性能を適切に評価することができる。

【0025】

また、本実施形態に係るデータ処理アルゴリズム評価装置１００において、データ生成部２０は、対象データの検出位置から対象データを構成する対象物までの距離を取得し、取得された距離に基づいて当該距離による外乱の強弱を算出し、算出結果に基づいて合成データを生成する。したがって、実際の周辺環境により近い合成データを生成することができる。

【0026】

また、本実施形態に係るデータ処理アルゴリズム評価装置１００において、光測距データは、車両から出射される測定光のビームごとに取得され、ビームの出射方向に応じて垂直方向及び水平方向について２次元状に配列されたデータである。したがって、光測距データを画像データと同様に取り扱うことができる。

【0027】

また、本実施形態に係るデータ処理アルゴリズム評価装置１００において、光測距データは、対象物までの距離を示す距離データと、対象物で反射される測定光の強度を示す強度データとを含む。したがって、１つの光測距データが距離データ及び強度データの２種類のデータを含むため、車両の状況をより適切に判断することができる。

【0028】

［第２実施形態］
次に、第２実施形態を説明する。図５は、第２実施形態に係るデータ処理アルゴリズム評価装置の一例を示す機能ブロック図である。第２実施形態に係るデータ処理アルゴリズム評価装置１００の構成については、第１実施形態と同様に、データ記憶部１０と、データ生成部２０と、データ処理部３０とを備える構成である。本実施形態では、データ生成部２０における処理内容が第１実施形態と異なっている。また、学習データ記憶部４０及びデータ学習部５０が追加されている。本実施形態において、光測距データは、第１実施形態と同様に、距離データ及び強度データとを含み、距離の値及び強度の値が対応するように距離の値及び強度の値の少なくとも一方が正規化されている。

【0029】

本実施形態において、学習データ記憶部４０は、外乱を含まない光測距データである基準データと、外乱を含む光測距データである外乱データとを学習用のデータとして記憶する。基準データの例としては、晴天時の昼間等、外乱が最も少なくなる条件で検出した光測距データが挙げられる。外乱データは、雨天時、降雪時、霧発生時、明け方、夕方、夜間等、基準データに対して外乱が多くなる条件で検出した光測距データが挙げられる。なお、学習データ記憶部４０は、同一又は対応する検出対象についての基準データ及び外乱データを対応付けて記憶してもよい。例えば、学習データ記憶部４０は、所定の場所を晴天時の昼間に検出した基準データと、当該所定の場所を雨天時、降雪時、霧発生時、明け方、夕方、夜間等にそれぞれ検出した外乱データとを対応付けて記憶することができる。

【0030】

本実施形態において、データ学習部５０は、対象データと、当該対象データに対する外乱を示す外乱情報とが入力された場合、例えばニューラルネットワークによる学習によって学習用合成データを生成することができる。例えば、データ学習部５０においてニューラルネットワークを用いた所定のデータ加工を実現するための方法として、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）と呼ばれる技術、又はサイクル敵対的生成ネットワーク（Ｃｙｃｌｅ ＧＡＮ）と呼ばれる技術を用いることができる。

【0031】

図６は、データ学習部５０の一例（データ学習部５０Ａ）を示す概念図である。図６に示すように、データ学習部５０Ａに用いられる敵対的生成ネットワークは、データ生成部５１及び真贋判定部５２の２つのニューラルネットワークで構成される。データ生成部５１は、上記したデータ生成部２０と同様の構成であり、データ理解部５１ａ及びデータ加工部５１ｂを有する。なお、本実施形態におけるデータ理解部５１ａは、ニューラルネットワークにより対象データの特徴を理解する。データ生成部５１は、データ生成部２０が対象データ及び外乱情報に基づいて合成データを生成する処理と同一の処理により、基準データに外乱を合成した学習用合成データを生成する。真贋判定部５２は、データ生成部５１が生成した学習用合成データと、基準データに対応付けられる外乱データとに基づいて、データ生成部５１が生成した学習用合成データの真贋を判定する。データ生成部５１は、真贋判定部５２においてより真のデータに近いと判定されるように学習用合成データを生成する。また、真贋判定部５２は、生成された学習用合成データについて真のデータとの相違点をより検出しようとする。このような２つのネットワークを交互に競合させ、学習を進めることで、データ生成部５１は真の外乱データに近い学習用合成データを生成できるようになる。

【0032】

図７は、データ学習部５０の他の例（データ学習部５０Ｂ）を示す概念図である。図７に示すように、データ学習部５０Ｂに用いられるサイクル敵対的生成ネットワークは、データ生成部５１、５３と、真贋判定部５２、５４と、を有する。データ生成部５１、５３は、上記したデータ生成部２０と同様の構成である。データ生成部５１は、データ理解部５１ａ及びデータ加工部５１ｂを有する。データ生成部５３は、データ理解部５３ａ及び５３ｂを有する。データ生成部５１は、基準データに外乱を合成した第１学習用合成データを生成する。また、データ生成部５３は、外乱データから外乱を除去した第２学習用合成データを生成する。真贋判定部５２は、第１学習用合成データに対して真の外乱データに基づいて真贋を判定する。また、真贋判定部５４は、第２学習用合成データに対して真の基準データに基づいて真贋を判定する。データ生成部５１、５３は、真贋判定部５２、５４においてより真のデータに近いと判定されるように、つまり正解率が高くなるように第１学習用合成データ及び第２学習用合成データを生成する。また、真贋判定部５２、５４は、生成された第１学習用合成データ及び第２学習用合成データについて真のデータとの相違点をより検出しようとする。このような２つのネットワークを交互に競合させ、学習を進めることで、データ生成部５１は真の外乱データに近い、つまり真贋の正解率が高い学習用合成データを生成できるようになる。

【0033】

サイクル敵対的生成ネットワークでは、外乱を含まない基準データ及び外乱を含む外乱データであればよく、基準データと外乱データとが対応付けられている必要はない。このため、敵対的生成ネットワークと比べて、学習データの収集が容易となる。また、サイクル敵対的生成ネットワークを用いる場合、学習データ記憶部４０には、外乱の程度の異なる複数の外乱データを記憶させることができる。

【0034】

図８は、畳み込み処理の一例を模式的に示す図である。上記した敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いる場合、データ学習部５０は、光測距データの畳み込み処理を行う。

【0035】

光測距データＤＴ（距離データＤＴ１、強度データＤＴ２）は、水平方向のビーム数が垂直方向のビーム数よりも多い。また、例えば１つの光測距データＤＴにおいて垂直方向のビーム数が６４に対して水平方向のビーム数が１０２４であるといったように、水平方向のビーム数と垂直方向のビーム数との差は大きい。以下、１つの光測距データＤＴにおいて垂直方向のビーム数と水平方向のビーム数とを「６４×１０２４」のように示す。

【0036】

通常、このような６４×１０２４の光測距データＤＴに対して畳み込み処理を行う場合、３２×５１２、１６×２５６、８×１２８、４×６４、２×３２、１×１６、１×８、１×４、１×２、１×１、のように１０回の畳み込み処理が行われるが、この場合には垂直方向の情報量が欠落してしまう。そこで、畳み込み処理において、データ学習部５０は、光測距データＤＴの垂直方向のビームの数を基準とする。

【0037】

上記の例では、６４×１０２４の光測距データＤＴに対して畳み込み処理を行う場合、通常は処理を１０回行うところ、３２×５１２、１６×２５６、８×１２８、４×６４、２×３２、１×１６、の６回の畳み込み処理で留めるようにする。つまり、垂直方向のビーム数が１となった段階で畳み込み処理を完了する。これにより、垂直方向の情報量の欠落を抑制できる。この際、例えばＲｅｓｎｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）のような残差ブロックを使ったモデルの場合、残差ブロックのループ数を調整することで安定した学習結果を得ることができる。

【0038】

図９は、スキップコネクション処理の一例を模式的に示す図である。上記の敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いる場合、データ学習部５０は、光測距データＤＴ（距離データＤＴ１、強度データＤＴ２）に対してスキップコネクション処理を行うようにしてもよい。スキップコネクション処理は、畳み込み処理の各層で圧縮する前のデータを、復元時の各層に連結することにより、細部の特徴を維持する手法である。スキップコネクション処理を行うことにより、畳み込み処理で失われる細部の特徴を維持することが可能となるため、光測距データＤＴの細部の再現が可能となる。

【0039】

図１０は、データを生成する処理の流れを示すフローチャートである。図１０に示すように、データ学習部５０は、学習データ記憶部４０に記憶される学習データを取得する（ステップＳ２０１）。データ生成部５１は、取得した学習データをデータ理解部５１ａにおいて理解する（ステップＳ２０２）。データ加工部５１ｂは、理解した結果に基づいて学習データに外乱が付与された学習用合成データを生成する（ステップＳ２０３）。真贋判定部５２は、学習用合成データに対して真の外乱データに基づいて真贋を判定する（ステップＳ２０４）。データ学習部５０は、データ生成部５１と真贋判定部５２を交互に競合させ、学習を進める（ステップＳ２０５）。データ学習部５０は、学習が完了したか否かを判定し（ステップＳ２０６）、学習が完了したと判定した場合（ステップＳ２０６のＹｅｓ）、ステップＳ２０７に進む。また、学習が完了していないと判定した場合（ステップＳ２０６のＮｏ）、ステップＳ２０２以降の処理を繰り返し行う。ステップＳ２０６において、データ学習部５０は、例えば学習用合成データと真の外乱データとの差異が所定値以下である場合、つまり正解率が所定値以上である場合に、学習が完了したと判定することができる。

【0040】

学習が完了した後、データ生成部２０は、対象データ及び外乱情報が入力された場合、データ記憶部１０から対象データを取得する（ステップＳ２０７）。データ理解部２１は、学習結果に基づいてデータ理解する（ステップＳ２０８）。データ加工部２２は、理解した結果に基づいて対象データに外乱が付与された合成データを生成する（ステップＳ２０９）。

【0041】

以上のように、本実施形態に係るデータ処理アルゴリズム評価装置１００において、学習データ記憶部４０は、外乱を含まない光測距データである基準データと、外乱を含む光測距データである外乱データとを記憶し、データ学習部５０は、基準データと外乱データとに基づいて敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いて学習し、データ生成部２０は、データ学習部５０の学習結果に基づいて対象データを理解して合成データを生成する。

【0042】

この構成では、データ学習部５０が敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いて光測距データを学習し、学習結果に基づいて、データ生成部２０が対象データを理解して合成データを生成するため、実際の周辺環境に近い合成データを生成することができる。これにより、車両の状況を判断するデータ処理アルゴリズムの性能を適切に評価することができる。

【0043】

また、学習データ記憶部４０は、同一種類で程度が異なる外乱を含む複数の外乱データを記憶し、データ学習部５０は、程度が異なる外乱を含む複数の外乱データに基づいて学習を行い、データ生成部２０は、外乱の程度を含む外乱情報が入力された場合、データ学習部５０の学習結果に基づいて対象データを理解し、外乱情報に対応する程度の外乱が対象データに反映されるように合成データを生成する。これにより、外乱の程度が異なる合成データを適切に生成することができるため、データ処理アルゴリズムの性能を幅広く評価することができる。

【0044】

また、学習データ記憶部４０は、敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いる場合、畳み込み処理において光測距データの垂直方向のビームの数を基準とする。したがって、垂直方向の情報量の欠落を抑制できる。

【0045】

また、学習データ記憶部４０は、敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いる場合、スキップコネクション処理を行う。したがって、畳み込み処理で失われる細部の特徴を維持することが可能となるため、光測距データＤＴの細部の再現が可能となる。

【0046】

また、光測距データＤＴは、対象物までの距離を示す距離データＤＴ１と、対象物から反射される測定光の強度を示す強度データＤＴ２とを含み、距離の値及び強度の値が対応するように距離の値及び強度の値の少なくとも一方が正規化されている。したがって、距離データ及び強度データの重みを同一又は同程度にすることができるため、データ学習部５０において安定した学習結果を得ることができる。

【0047】

［第３実施形態］
次に、第３実施形態を説明する。第３実施形態に係るデータ処理アルゴリズム評価装置１００の構成については、第２実施形態と同様に、データ記憶部１０と、データ生成部２０と、データ処理部３０と、学習データ記憶部４０と、データ学習部５０とを備える構成である。本実施形態では、学習データ記憶部４０に記憶される光測距データの種類と、データ生成部２０及びデータ学習部５０における処理内容とが上記第２実施形態と異なっている。なお、本実施形態において、光測距データ自体は、上記実施形態と同様に、距離データ及び強度データとを含み、距離の値及び強度の値が対応するように距離の値及び強度の値の少なくとも一方が正規化されている。

【0048】

学習データ記憶部４０は、第２実施形態と同様に、基準データ及び外乱データを含む光測距データを学習データとして記憶する。本実施形態において、学習データ記憶部４０は、異なる属性を含む光測距データを記憶する。異なる属性を含む光測距データとしては、例えば繁華街で検出した光測距データ、住宅街で検出した光測距データ、山道で検出した光測距データ、というように、検出場所等の属性が異なる複数の光測距データが挙げられる。学習データ記憶部４０は、このような光測距データに対して、属性を示すラベル情報を対応付けて記憶することができる。

【0049】

本実施形態において、データ生成部２０は、対象データと、当該対象データに対する外乱情報とが入力された場合、対象データから上記の属性を示すラベル情報を抽出する。データ生成部２０は、後述するデータ学習部５０の学習結果に基づいて対象データを理解して、属性を反映させた合成データを生成することができる。例えば、対象データが「繁華街」の昼間の基準データである場合において、外乱情報として「雨」が入力された場合には、周囲構造物の材質、例えばコンクリートの濡れによる反射率変化を反映した変換が可能となる。また、例えば、対象データが「山道」の昼間の基準データである場合において、外乱情報として「雨」が入力された場合には、樹木の濡れによる反射率変化を反映した変換が可能となる。

【0050】

図１１は、第３実施形態に係るデータ学習部５０（データ学習部５０Ｃ）の一例を示す概念図である。図１１に示すように、データ学習部５０Ｃに用いられるサイクル敵対的生成ネットワークは、第２実施形態と同様に、データ生成部５１、５３と、真贋判定部５２、５４と、を有する。本実施形態に係るサイクル敵対的生成ネットワークでは、データ生成部５１、５３に対して、ラベル情報が入力される。

【0051】

この場合、データ生成部５１は、基準データに対して外乱を合成した第１合成データを生成する。例えば、抽出した属性が「繁華街」であり、入力された外乱が「雨」であった場合、繁華街の基準データに雨の外乱が反映されるように合成データを生成する。また、データ生成部５３は、繁華街の雨の外乱データから雨の外乱を除去した第２合成データを生成する。この場合、データ生成部５１、５３は、例えば属性ごとに学習結果を記憶することで、与えられた属性に応じて対象データを変換することが可能となる。真贋判定部５２は、第１合成データに対して真の外乱データに基づいて真贋を判定すると共に、「繁華街」の属性が適切に反映されているかの判定を行う。また、真贋判定部５４は、第２合成データに対して真の基準データに基づいて真贋を判定すると共に、繁華街の雨の外乱が適切に除去されているか否かの判定を行う。このように、本実施形態において、真贋判定部５２、５４は、合成データの真贋の判定に加えて、属性の反映の適否についても判定を行う。

【0052】

本実施形態において、データ生成部５１、５３は、真贋判定部５２、５４においてより真のデータに近く、属性が適切に反映されていると判定されるように第１合成データ及び第２合成データを生成する。また、真贋判定部５２、５４は、生成された第１合成データ及び第２合成データについて真のデータとの相違点、及び属性の反映が適切でない点をより検出しようとする。このような２つのネットワークを交互に競合させ、学習を進めることで、データ生成部５１は、真贋の正解率が高く、属性の反映の正解率が高い合成データを生成できるようになる。

【0053】

図１２は、データを生成する処理の流れを示すフローチャートである。図１２に示すように、データ学習部５０は、学習データ記憶部４０に記憶される学習データを取得する（ステップＳ３０１）。データ学習部５０は、取得した学習データに含まれる属性を示すラベル情報を抽出する（ステップＳ３０２）。データ生成部５１は、取得した学習データをデータ理解部５１ａにおいて理解する（ステップＳ３０３）。データ加工部５１ｂは、理解した結果に基づいて学習データに外乱が付与された学習用合成データを生成する（ステップＳ３０４）。真贋判定部５２は、学習用合成データに対して真の外乱データに基づいて真贋を判定する（ステップＳ３０５）。データ学習部５０は、データ生成部５１と真贋判定部５２を交互に競合させ、学習を進める（ステップＳ３０６）。データ学習部５０は、学習が完了したか否かを判定し（ステップＳ３０７）、学習が完了したと判定した場合（ステップＳ３０７のＹｅｓ）、ステップＳ３０８に進む。また、学習が完了していないと判定した場合（ステップＳ３０７のＮｏ）、ステップＳ３０３以降の処理を繰り返し行う。ステップＳ３０７において、データ学習部５０は、例えば学習用合成データと真の外乱データとの差異が所定値以下であり、学習用合成データと外乱データとの間で属性に関する部分の差異が所定値以下である場合、つまり、学習用合成データの真贋の正解率及び属性に関する部分の正解率が所定値以上である場合に、学習が完了したと判定することができる。

【0054】

データ生成部２０は、対象データ及び外乱情報が入力された場合、入力された対象データを取得する（ステップＳ３０８）。データ理解部２１は、対象データに含まれる属性を示すラベル情報を抽出し（ステップＳ３０９）、対象データを理解する（ステップＳ３１０）。データ加工部２２は、理解した結果に基づいて対象データに外乱が付与された合成データを生成する（ステップＳ３１１）。

【0055】

以上のように、本実施形態に係るデータ処理アルゴリズム評価装置１００において、学習データ記憶部４０は、異なる属性を含む複数の光測距データを、当該属性を示すラベル情報と対応付けて記憶し、データ学習部５０は、生成した学習用合成データと外乱データとの間で属性に関する正解率が高くなるようにサイクル敵対的生成ネットワークを用いて学習し、データ生成部２０は、対象データ及び外乱情報が入力された場合、対象データの属性を示すラベル情報を抽出し、データ学習部５０の学習結果に基づいて対象データを理解して合成データを生成する。

【0056】

この構成により、サイクル敵対的生成ネットワークにより学習用合成データの真贋の正解率が高くなるように、かつ、属性の反映の正解率が高くなるように学習することができるため、光測距データの属性に応じた態様で合成データを生成することができる。

【0057】

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。

【0058】

以上のように、本開示の第１態様に係るデータ処理アルゴリズム評価装置は、車両から検出した複数の光測距データを記憶するデータ記憶部１０と、データ記憶部１０に記憶される複数の光測距データのうち対象データに対する外乱を示す外乱情報が入力された場合、対象データを取得して理解し、外乱が対象データに反映された状態となるように理解に基づいて対象データを加工して合成データを生成するデータ生成部２０と、生成された合成データに基づいて、車両の状況を判断するデータ処理アルゴリズムの性能を評価するデータ処理部３０とを備える。

【0059】

この構成によれば、データ生成部２０が対象データを理解した結果に基づいて、外乱が対象データに反映された状態となるように対象データを加工して合成データを生成するため、例えば単にコンピュータグラフィックで生成した外乱を重畳させる場合に比べて、実際の周辺環境に近い合成データを生成することができる。これにより、車両の状況を判断するデータ処理アルゴリズムの性能を適切に評価することができる。

【0060】

本開示の第２態様に係るデータ処理アルゴリズム評価装置は、第１態様に係るデータ処理アルゴリズム評価装置において、データ生成部２０は、対象データの検出位置から対象データを構成する対象物までの距離を取得し、取得された距離に基づいて当該距離による外乱の強弱を算出し、算出結果に基づいて合成データを生成する。したがって、実際の周辺環境により近い合成データを生成することができる。

【0061】

本開示の第３態様に係るデータ処理アルゴリズム評価装置は、第１態様又は第２態様に係るデータ処理アルゴリズム評価装置において、光測距データは、車両から出射される測定光のビームごとに取得され、ビームの出射方向に応じて垂直方向及び水平方向について２次元状に配列されたデータである。したがって、光測距データを画像データと同様に取り扱うことができる。

【0062】

本開示の第４態様に係るデータ処理アルゴリズム評価装置は、第１態様から第３態様のいずれかに係るデータ処理アルゴリズム評価装置において、光測距データは、車両から出射される測定光のビームごとに取得され、ビームの出射方向に応じて垂直方向及び水平方向について２次元状に配列されたデータである。したがって、光測距データを画像データと同様に取り扱うことができる。

【0063】

本開示の第５態様に係るデータ処理アルゴリズム評価装置は、第３態様又は第４態様に係るデータ処理アルゴリズム評価装置において、学習データ記憶部４０は、外乱を含まない光測距データである基準データと、外乱を含む光測距データである外乱データとを記憶し、データ学習部５０は、基準データと外乱データとに基づいて敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いて学習し、データ生成部２０は、データ学習部５０の学習結果に基づいて対象データを理解して合成データを生成する。

【0064】

この構成では、データ学習部５０が敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いて光測距データを学習し、学習結果に基づいて、データ生成部２０が対象データを理解して合成データを生成するため、実際の周辺環境に近い合成データを生成することができる。これにより、車両の状況を判断するデータ処理アルゴリズムの性能を適切に評価することができる。

【0065】

本開示の第６態様に係るデータ処理アルゴリズム評価装置は、第５態様に係るデータ処理アルゴリズム評価装置において、学習データ記憶部４０は、同一種類で程度が異なる外乱を含む複数の外乱データを記憶し、データ学習部５０は、程度が異なる外乱を含む複数の外乱データに基づいて学習を行い、データ生成部２０は、外乱の程度を含む外乱情報が入力された場合、データ学習部５０の学習結果に基づいて対象データを理解し、外乱情報に対応する程度の外乱が対象データに反映されるように合成データを生成する。これにより、外乱の程度が異なる合成データを適切に生成することができるため、データ処理アルゴリズムの性能を幅広く評価することができる。

【0066】

本開示の第７態様に係るデータ処理アルゴリズム評価装置は、第５態様又は第６態様に係るデータ処理アルゴリズム評価装置において、学習データ記憶部４０は、異なる属性を含む複数の光測距データを、当該属性を示すラベル情報と対応付けて記憶し、データ学習部５０は、生成した学習用合成データと外乱データとの間で属性に関する正解率が高くなるようにサイクル敵対的生成ネットワークを用いて学習し、データ生成部２０は、対象データ及び外乱情報が入力された場合、対象データの属性を示すラベル情報を抽出し、データ学習部５０の学習結果に基づいて対象データを理解して合成データを生成する。

【0067】

この構成により、サイクル敵対的生成ネットワークにより学習用合成データの真贋の正解率が高くなるように、かつ、属性の反映の正解率が高くなるように学習することができるため、光測距データの属性に応じた態様で合成データを生成することができる。

【0068】

本開示の第８態様に係るデータ処理アルゴリズム評価装置は、第５態様から第７態様のいずれかに係るデータ処理アルゴリズム評価装置において、学習データ記憶部４０は、敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いる場合、畳み込み処理において光測距データの垂直方向のビームの数を基準とする。したがって、垂直方向の情報量の欠落を抑制できる。

【0069】

本開示の第９態様に係るデータ処理アルゴリズム評価装置は、第５態様から第７態様のいずれかに係るデータ処理アルゴリズム評価装置において、学習データ記憶部４０は、敵対的生成ネットワーク又はサイクル敵対的生成ネットワークを用いる場合、スキップコネクション処理を行う。したがって、畳み込み処理で失われる細部の特徴を維持することが可能となるため、光測距データＤＴの細部の再現が可能となる。

【0070】

本開示の第１０態様に係るデータ処理アルゴリズム評価装置は、第５態様から第７態様のいずれかに係るデータ処理アルゴリズム評価装置において、光測距データＤＴは、対象物までの距離を示す距離データＤＴ１と、対象物から反射される測定光の強度を示す強度データＤＴ２とを含み、距離の値及び強度の値が対応するように距離の値及び強度の値の少なくとも一方が正規化されている。したがって、距離データ及び強度データの重みを同一又は同程度にすることができるため、データ学習部５０において安定した学習結果を得ることができる。

【符号の説明】

【0071】

１０ データ記憶部
２０，５１，５３ データ生成部
２１，５１ａ，５３ａ データ理解部
２１ａ，２１ｂ 演算部
２２，５１ｂ データ加工部
３０ データ処理部
４０ 学習データ記憶部
５０，５０Ａ，５０Ｂ，５０Ｃ データ学習部
５２，５４ 真贋判定部
１００ データ処理アルゴリズム評価装置
ＤＴ 光測距データ
ＤＴ１ 距離データ
ＤＴ２ 強度データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】