特開 2024-130835 ＬｉＤＡＲ解析装置、ＬｉＤＡＲ解析方法、及びＬｉＤＡＲ解析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024130835

(43)【公開日】2024-09-30

(54)【発明の名称】ＬｉＤＡＲ解析装置、ＬｉＤＡＲ解析方法、及びＬｉＤＡＲ解析プログラム

(51)【国際特許分類】

   G01S 7/497 20060101AFI20240920BHJP

   G01S 17/89 20200101ALI20240920BHJP

【ＦＩ】

G01S7/497

G01S17/89

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023040750

(22)【出願日】2023-03-15

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＵＮＩＸ

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人新エネルギー・産業技術総合開発機構「戦略的イノベーション創造プログラム（ＳＩＰ）」第２期／自動運転（システムとサービスの拡張）／（仮想空間での自動走行評価環境整備手法の開発）に係わる業務委託、産業技術協力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】306020818

【氏名又は名称】トヨタテクニカルディベロップメント株式会社

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】畔柳 史

【テーマコード（参考）】

5J084

【Ｆターム（参考）】

5J084AA04

5J084AB01

5J084AB07

5J084AC02

5J084AD03

5J084AD05

5J084BA03

5J084CA31

5J084CA65

5J084EA20

5J084EA22

(57)【要約】

【課題】ＬｉＤＡＲ計測の特性上、計測しにくくなる領域を推定してＬｉＤＡＲ計測時の計測が不良となる条件を検出し、ＬｉＤＡＲ計測の解析能力の向上につなげるＬｉＤＡＲ解析装置を提供する。
【解決手段】検知対象についてＬｉＤＡＲの計測により、位置と光学強度を含む複数の検出点からなる点群データを取得する取得部と、点群データのそれぞれの検出点の位置及び光学強度を抽出する抽出部と、点群データのそれぞれの検出点の光学強度を輝度に変換し、変換された輝度に基づいて２次元化したグレースケール画像を生成する生成部と、２次元化したグレースケール画像を所定領域に分割して複数の分割領域を生成する分割部と、複数の分割領域の個々の分割領域に含まれる輝度値に基づいてＬｉＤＡＲの計測の不良発生を判定する判定部とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

検知対象についてＬｉＤＡＲの計測により、位置と光学強度を含む複数の検出点からなる点群データを取得する取得部と、
前記点群データのそれぞれの検出点の位置及び光学強度を抽出する抽出部と、
前記点群データのそれぞれの検出点の光学強度を輝度に変換し、変換された輝度に基づいて２次元化したグレースケール画像を生成する生成部と、
前記２次元化したグレースケール画像を所定領域に分割して複数の分割領域を生成する分割部と、
前記複数の分割領域の個々の分割領域に含まれる輝度値に基づいてＬｉＤＡＲの計測の不良発生を判定する判定部と、を備える
ことを特徴とするＬｉＤＡＲ解析装置。

【請求項2】

前記抽出部及び前記生成部に、前記点群データのそれぞれの検出点を同一時間毎に編集する編集部が備えられる請求項１に記載のＬｉＤＡＲ解析装置。

【請求項3】

前記生成部に、前記２次元化したグレースケール画像を動画化して２次元グレースケール動画を生成する動画生成部が備えられる請求項２に記載のＬｉＤＡＲ解析装置。

【請求項4】

前記分割部は、前記２次元グレースケール動画を静止画のフレームとして生成し、前記静止画のフレームを前記複数の分割領域に分割する請求項３に記載のＬｉＤＡＲ解析装置。

【請求項5】

前記判定部は、前記ＬｉＤＡＲの計測の不良発生時の輝度値を含む分割領域を所定時間の確認用動画として構成する動画構成部を備える請求項４に記載のＬｉＤＡＲ解析装置。

【請求項6】

前記判定部は、前記分割領域に含まれる各検出点について所定の輝度値を超過する検出点と所定の輝度値を超過しない検出点との割合に基づいて前記ＬｉＤＡＲの計測の不良発生を判定する請求項１に記載のＬｉＤＡＲ解析装置。

【請求項7】

コンピュータが、
検知対象についてＬｉＤＡＲの計測により、位置と光学強度を含む複数の検出点からなる点群データを取得する取得ステップと、
前記点群データのそれぞれの検出点の位置及び光学強度を抽出する抽出ステップと、
前記点群データのそれぞれの検出点の光学強度を輝度に変換し、変換された輝度に基づいて２次元化したグレースケール画像を生成する生成ステップと、
前記２次元化したグレースケール画像を所定領域に分割して複数の分割領域を生成する分割ステップと、
前記複数の分割領域の個々の分割領域に含まれる輝度値に基づいてＬｉＤＡＲの計測の不良発生を判定する判定ステップと、を実行する
ことを特徴とするＬｉＤＡＲ解析方法。

【請求項8】

コンピュータに、
検知対象についてＬｉＤＡＲの計測により、位置と光学強度を含む複数の検出点からなる点群データを取得する取得機能と、
前記点群データのそれぞれの検出点の位置及び光学強度を抽出する抽出機能と、
前記点群データのそれぞれの検出点の光学強度を輝度に変換し、変換された輝度に基づいて２次元化したグレースケール画像を生成する生成機能と、
前記２次元化したグレースケール画像を所定領域に分割して複数の分割領域を生成する分割機能と、
前記複数の分割領域の個々の分割領域に含まれる輝度値に基づいてＬｉＤＡＲの計測の不良発生を判定する判定機能と、を実現させる
ことを特徴とするＬｉＤＡＲ解析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＬｉＤＡＲ解析装置、ＬｉＤＡＲ解析方法、及びＬｉＤＡＲ解析プログラムに関し、特にＬｉＤＡＲによる計測時に生じるブラックスポットと称される計測欠落箇所を推定するためのＬｉＤＡＲ解析装置とその方法及びプログラムに関する。

【背景技術】

【0002】

乗用車等の自動運転、自律走行の実現のためには、車両の走行時の外環境を検出、認識して運転制御のための情報を得る必要がある。現状、認識性に優れたセンサとしてＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）が挙げられる。例えば、ＬｉＤＡＲを活用し浮遊している物体の位置および向きを検出する技術、方法として、目標物体をＬｉＤＡＲにより計測し三次元の点群データはグレースケールの二次元の深度画像に変換される。この二次元の深度画像はモデルデータベースに蓄積された目標物体のデータと比較され、目標物体の初期的な位置及び向きの予測と、より正確な位置及び向きの予測の両方に使用される（特許文献１参照）。

【0003】

ここで、ＬｉＤＡＲ計測においてはブラックスポット等と称される計測の欠落領域が生じることが判明している。ＬｉＤＡＲは光学的な検出を採用するため、光線の反射、吸収の具合により検出に不具合が生じて部分的に計測に誤差が生じたり計測不能となったりする領域が存在する。しかしながら、ＬｉＤＡＲ計測時の計測の欠落領域の問題について、前出の特許文献１に開示の方法では、必ずしも効果的に対処できなかった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－２０１１９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は上述の点に鑑みなされたものであり、ＬｉＤＡＲ計測の特性上、計測しにくくなる領域を推定してＬｉＤＡＲ計測時の計測が不良となる条件を検出し、ＬｉＤＡＲ計測の解析能力の向上につなげるためのＬｉＤＡＲ解析装置を提供し、併せてＬｉＤＡＲ解析方法、ＬｉＤＡＲ解析プログラムを提供する。

【課題を解決するための手段】

【0006】

すなわち、実施形態のＬｉＤＡＲ解析装置は、検知対象についてＬｉＤＡＲの計測により、位置と光学強度を含む複数の検出点からなる点群データを取得する取得部と、点群データのそれぞれの検出点の位置及び光学強度を抽出する抽出部と、点群データのそれぞれの検出点の光学強度を輝度に変換し、変換された輝度に基づいて２次元化したグレースケール画像を生成する生成部と、２次元化したグレースケール画像を所定領域に分割して複数の分割領域を生成する分割部と、複数の分割領域の個々の分割領域に含まれる輝度値に基づいてＬｉＤＡＲの計測の不良発生を判定する判定部とを備えることを特徴とする。

【0007】

さらに、ＬｉＤＡＲ解析装置の抽出部及び生成部に、点群データのそれぞれの検出点を同一時間毎に編集する編集部が備えられることとしてもよい。

【0008】

さらに、ＬｉＤＡＲ解析装置の生成部に、２次元化したグレースケール画像を動画化して２次元グレースケール動画を生成する動画生成部が備えられることとしてもよい。

【0009】

さらに、ＬｉＤＡＲ解析装置の分割部は、２次元グレースケール動画を静止画のフレームとして生成し、静止画のフレームを複数の分割領域に分割することとしてもよい。

【0010】

さらに、ＬｉＤＡＲ解析装置の判定部は、ＬｉＤＡＲの計測の不良発生時の輝度値を含む分割領域を所定時間の確認用動画として構成する動画構成部を備えることとしてもよい。

【0011】

さらに、ＬｉＤＡＲ解析装置の判定部は、分割領域に含まれる各検出点について所定の輝度値を超過する検出点と所定の輝度値を超過しない検出点との割合に基づいてＬｉＤＡＲの計測の不良発生を判定することとしてもよい。

【発明の効果】

【0012】

本発明のＬｉＤＡＲ解析装置は、検知対象についてＬｉＤＡＲの計測により、位置と光学強度を含む複数の検出点からなる点群データを取得する取得部と、点群データのそれぞれの検出点の位置及び光学強度を抽出する抽出部と、点群データのそれぞれの検出点の光学強度を輝度に変換し、変換された輝度に基づいて２次元化したグレースケール画像を生成する生成部と、２次元化したグレースケール画像を所定領域に分割して複数の分割領域を生成する分割部と、複数の分割領域の個々の分割領域に含まれる輝度値に基づいてＬｉＤＡＲの計測の不良発生を判定する判定部とを備えるため、ＬｉＤＡＲ計測の特性上、計測しにくくなる領域を推定してＬｉＤＡＲ計測時の計測が不良となる条件を検出し、ＬｉＤＡＲ計測の解析能力の向上につなげることができる。また、ＬｉＤＡＲ解析方法及びＬｉＤＡＲ解析プログラムにおいても同様の効果を得ることができる。

【図面の簡単な説明】

【0013】

【図1】実施形態のＬｉＤＡＲ解析装置の使用状況を示す模式図である。

【図2】ＬｉＤＡＲ解析装置の構成を示すブロック図である。

【図3】ＬｉＤＡＲ解析装置における処理を説明する第１フローチャートである。

【図4】ＬｉＤＡＲ解析装置における処理を説明する第２フローチャートである。

【図5】ＬｉＤＡＲ解析装置における処理を説明する第３フローチャートである。

【図6】２次元化したグレースケール画像の画像例である。

【図7】ＬｉＤＡＲ計測装置を搭載した車両における運転者の視点により撮影した動画を切り出した静止画の画像例である。

【図8】複数の分割領域を示す画像例である。

【図9】ＬｉＤＡＲ解析装置の制御を示す第１フローチャートである。

【図10】ＬｉＤＡＲ解析装置の制御を示す第２フローチャートである。

【図11】ＬｉＤＡＲ解析装置の制御を示す第３フローチャートである。

【図12】ＬｉＤＡＲ解析装置の制御を示す第４フローチャートである。

【発明を実施するための形態】

【0014】

一般に従来のＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）による計測では、３次元の点群データからグレースケールの２次元化した画像に変換する方法も存在する。しかしながら、３次元の奥行（計測者（車両）の位置から対象物までの距離）に相当する成分は、グレースケールの２次元化した画像（２次元の点群）の輝度により表される情報となる。ところが、このグレースケールの２次元化した画像にはＬｉＤＡＲ計測時の反射強度が含まれていない。そのため、画像の輝度は物標と計測者（車両）との距離を表し、近方にありながら反射強度の低い物標と単純に遠方にある物標との判別が不可能となる。また、ブラックスポット等と称されるＬｉＤＡＲ計測の欠落領域の特定に際し、機械学習等の学習データを活用する手法では処理量が増大する。

【0015】

ＬｉＤＡＲ計測に際して不可避的に発生するブラックスポット等と称される計測の欠落領域は、計測者（車両）の位置から対象物までの距離に比例せず、また、光学上の反射強度も距離に比例しない。そこで、実施形態のＬｉＤＡＲ解析装置は、これらの特有の問題点に対してデータ処理量の増大させることなく、乗用車等の走行時にＬｉＤＡＲのセンサから取得される３次元の点群データを取得、加工してＬｉＤＡＲ計測時に生じるブラックスポット等と称される計測の欠落領域を検出する。そして、ＬｉＤＡＲ計測時に不可避的な欠落領域の出現傾向の解析に活用する解析装置である。併せて、当該解析装置において実行される解析方法、解析プログラムである。

【0016】

図１は実施形態のＬｉＤＡＲ解析装置の一つの使用状況を示す模式図であり、具体的には、自動運転の場面を想定して乗用車等の車両２にＬｉＤＡＲ計測装置１が設置される。そして、ＬｉＤＡＲ計測装置１から車両２の前方に向けてレーザ光３が照射され、反射光がＬｉＤＡＲ計測装置１により検出される。図示では、車両２は路面４を走行し、表記の簡素化のためレーザ光３の照射方向を車両２の前方への照射としている。車両２の前方には他の車両５が走行している。これに加えて車両２の全周囲へのレーザ光の照射としてもよい。ＬｉＤＡＲ解析装置１０はＬｉＤＡＲ計測装置１に有線または無線により、もしくは、インターネット回線等を経由して接続される。

【0017】

図２のブロック図は実施形態のＬｉＤＡＲ解析装置１０であって、前出のＬｉＤＡＲ計測装置１に接続される。ＬｉＤＡＲ計測装置１には、レーザの照射部１１、レーザの反射光を受光するセンサ１２が備えられ、ＬｉＤＡＲ解析装置１０との通信を担う通信部１３、センサ１２が取得したデータの格納する記憶部１４、ＬｉＤＡＲ計測装置１の制御を行う制御部１５等が適切に備えられる。図２では、ＬｉＤＡＲ計測装置１にＬｉＤＡＲ解析装置１０が直接接続して、点群データを取得する例である。この他、点群データは、ＬｉＤＡＲ計測装置１により測定されたデータが適宜の記憶媒体に記憶された、事後的にＬｉＤＡＲ解析装置１０に取得されてもよく、あるいは、無線通信等により他の装置やネットワークを媒介して取得するものであってもよい。

【0018】

ＬｉＤＡＲ解析装置１０（処理部、コンピュータ）は、ハードウェア的にＣＰＵ、ＧＰＵ等の演算素子、ＲＡＭ、ＲＯＭ、ＨＤＤ、ＳＳＤ等の記憶素子により構成される。さらに、ＬｉＤＡＲ計測装置１からの信号受信、ＬｉＤＡＲ解析装置１０の外部への入出力のための各種インターフェース等が備えられる。また、ソフトウェア的に、メインメモリにロードされたプログラム等により各機能は実現される。このプログラムを格納する記録媒体は、「一時的でない有形の媒体」、例えば、ＣＤ、ＤＶＤ、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、このプログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワーク、放送波等）を介してＬｉＤＡＲ解析装置１０（コンピュータ）に供給されてもよい。

【0019】

図２のブロック図中のＬｉＤＡＲ解析装置１０（処理部、コンピュータ）は同装置の機能部を模式的に示し、同装置１０は、取得部１１０、抽出部１２０、編集部１２１、生成部１３０、編集部１３１、動画生成部１３２、分割部１４０、判定部１５０、動画構成部１５１等の機能部を備える。以下、各機能部について、図３ないし図５のフローチャートを用い説明する。

【0020】

取得部１１０は、検知対象についてＬｉＤＡＲの計測により、位置と光学強度を含む複数の検出点からなる点群データを取得する。ＬｉＤＡＲ計測の特性として、レーザ光の照射とその反射ごとに位置と光学強度の情報を有する点（検出点）として得ることができる。位置の情報とは、３次元空間の座標系のデータとして表現される。光学強度とは、ＬｉＤＡＲ計測装置１から照射されたレーザ光が、自車の前方を走行する車両、通行人、街路樹等の検知対象により反射されてＬｉＤＡＲ計測装置１により受光される際の反射強度となる。自明ながら、検知対象による光の吸収があり得るため、受光時は照射時よりも強度は低下する。

【0021】

そして、レーザ光の照射範囲はＬｉＤＡＲ計測装置１を搭載した車両２の前方を含む周囲に及び、また、距離は製品によりさまざまであるものの自車から２０ｍないし５０ｍの範囲、もしくは数百ｍに及ぶ。従って、ＬｉＤＡＲ計測により、位置と光学強度の情報を含む点の集合となる点群データが生じ、当該点群データが取得される。実施形態のＬｉＤＡＲ計測装置１の場合、１秒間の計測でおよそ１００万の検出点、すなわちサンプリング周期ごとに約１０万点の検出点が含まれる。

【0022】

抽出部１２０は、点群データのそれぞれの検出点の位置及び光学強度を抽出する。前述のとおり、点群データは計測１秒間あたり約１００万個の検出点、サンプリング周期ごとに１０万点程度の検出点を含む。そこで、当該検出点のそれぞれについて、個別に検出点の３次元座標における位置と、光学強度（反射強度）が抽出される。そして、抽出は点群の全てに対して実行される。

【0023】

抽出部１２０には編集部１２１が備えられ、編集部１２１は点群データのそれぞれの検出点を同一時間毎に編集する。編集部１２１は編集処理として点群データの検出点のそれぞれを同一の時間毎に、時系列に並べる処理を実行する。ここでいう同一時間とは、計測において記録されるサンプリング時刻が同一であることを意味する。点群データに含まれる各検出点は、ＬｉＤＡＲ計測による位置及び光学強度を有する。そこで、各検出点について、時系列に並べることにより、特に後述する動画として、検出点の時間変化が把握されやすくなる。

【0024】

ここまでの処理は、図３のデータ取得（Ｓ１）、時系列処理（Ｓ２）、反射強度・座標抽出（Ｓ３）、全点群を処理（Ｓ４）に相当する。データ取得（Ｓ１）は取得部１１０の処理に対応し、時系列処理（Ｓ２）は編集部１２１の処理に対応し、反射強度・座標抽出（Ｓ３）は抽出部１２０の処理に対応する。全点群を処理（Ｓ４）は後述の全点群を処理（Ｓ６）と組となって機能し、その間にある輝度変換（Ｓ５）を点群データのそれぞれの検出点の全てに適用する繰り返し処理である。図３、図４、及び図５においてＳ１等の「Ｓ」の符号は処理を示し、Ｄ１３等の「Ｄ」の符号は処理により生成された生成物（静止画、動画等）を示す。

【0025】

生成部１３０は、点群データのそれぞれの検出点の光学強度を輝度に変換し、変換された輝度に基づいて２次元化したグレースケール画像を生成する。点群データの各検出点は、それぞれ位置及び光学強度（反射強度）を含む。そこで、各検出点の光学強度（反射強度）は輝度の数値に変換される。その上で輝度値の大小関係から２次元に情報量が圧縮される。点群データのそれぞれの検出点のうち、光学強度（反射強度）のみ採用されて位置の情報が除去されるため、個々の検出点は明暗の程度の情報にまで省略化される。結果、距離感が無くなり輝度値の高低のみが表現された輝度値の大小関係から２次元の平面的なグレースケール画像が生成される。

【0026】

生成部１３０の処理により、例えば、図１のＬｉＤＡＲ計測装置１を搭載した車両２の周囲の状況は平面的な画像に変換可能となる。また、実施形態のＬｉＤＡＲ解析装置１０はブラックスポットの検出（ブラックスポットの生じやすい環境条件、物標の検出）を目的とし、平面的な画像から算出した画像統計量によりその検出を行うことから、点群データの各検出点の３次元座標による位置表現は不要であり、光学上必要とされるデータへの圧縮が可能となる。

【0027】

生成部１３０には編集部１３１が備えられ、編集部１３１は点群データのそれぞれの検出点を同一時間毎に編集する。編集部１３１は、輝度値に変換された検出点のそれぞれを同一の時間毎に、時系列に並べる処理を実行する。

【0028】

また生成部１３０には動画生成部１３２が備えられ、動画生成部１３２は２次元化したグレースケール画像を動画化して２次元グレースケール動画を生成する。実施形態のＬｉＤＡＲ解析装置１０はブラックスポットの検出（ブラックスポットの生じやすい条件、場所の検出）を目的とする。このことから、２次元グレースケール動画として生成されることにより、ＬｉＤＡＲ計測装置１を搭載した車両２が走行する際の周囲の状況は連続した画像となり、ブラックスポットの出現時の状況確認が容易となる。

【0029】

図６は２次元グレースケール動画の一場面を切り取って示す画像Ｚｄである。通常、輝度値が高くなるほど濃く表示される。実施形態の２次元グレースケール動画では濃淡が反転され、輝度値の低い検出点が濃い表示としている。輝度値の大小関係のみによる２次元グレースケール動画（その画像Ｚｄ）であるため、画像全体に立体感が減少した像となる。

【0030】

より詳しくは、生成部１３０は、例えば、１／１０００秒等の所定の時間毎となるサンプリング周期により実行する。点群データのそれぞれの検出点の反射強度は２５５諧調のグレースケール値に変換される。そこで、白を背景とした画像にするため、最大反射率がグレースケールの０に、最小反射率がグレースケールの２５５となるように、最大・最小値は反転させられて線形変換される。

【0031】

ここまでの処理は、図３の輝度変換（Ｓ５）、全点群を処理（Ｓ６）、点群再構成（Ｓ７）、視点移動（Ｓ８）、２次元グレースケール画像生成（Ｓ９）、２次元グレースケール画像（Ｄ１０）、時系列処理（Ｓ１１）、２次元グレースケール動画生成（Ｓ１２）、２次元グレースケール動画（Ｄ１３）に相当する。全点群を処理（Ｓ６）は前述の全点群を処理（Ｓ４）と組となって機能し、その間にある輝度変換（Ｓ５）をすべての点群中の各検出点に対して実行する繰り返し処理である。

【0032】

図３の輝度変換（Ｓ５）ないし２次元グレースケール動画（Ｄ１３）までの処理は、生成部１３０の処理に対応する。そのうち、時系列処理（Ｓ１１）は編集部１３１の処理に対応し、２次元グレースケール動画生成（Ｓ１２）は動画生成部１３２の処理に対応する。なお、２次元グレースケール画像（Ｄ１０）と２次元グレースケール動画（Ｄ１３）は、図３のフローチャート中に示される処理により生成される生成物（画像のデータ、動画のデータ）である。

【0033】

点群再構成（Ｓ７）は前出のサンプリング周期を単位として実行され、個々の検出点を点群処理ライブラリに合わせたデータ形式に再構成する処理である。すなわち、バイナリ形式の計測データに含まれる点群の３次元座標と反射強度が点群処理ライブラリの点群を表すクラスオブジェクトの３次元座標とＲＧＢ値としてそれぞれ定義される。

【0034】

視点移動（Ｓ８）は、例えば、図１のＬｉＤＡＲ計測装置１を搭載した車両２において車両のフロントカメラの視点（視野）に点群の画面表示の範囲を調整する処理である。ＬｉＤＡＲ解析装置１０の実行するプログラムには、点群の可視化をはじめとしてＰｙｔｈｏｎ（登録商標）等の３次元点群処理ライブラリのＯｐｅｎ３Ｄが用いられる。２次元グレースケール画像生成（Ｓ９）においても３次元点群は可視化されて画像を静止画に変換される。ただし、可視化時の基準の視点は俯瞰図の視点となっている。

【0035】

ここで、車両の前面に取りつけられたフロントカメラの視点での可視化とするため、俯瞰図の視点から運転手の視点（視野）となるよう回転変換等が加えられて視点の移動の処理が実行される。加えて車載カメラの取り付け位置と同じになるよう点群の高さは調整される。

【0036】

２次元グレースケール画像生成（Ｓ９）は前述の生成部１３０の処理に対応し、２次元グレースケール画像生成（Ｓ９）は前述のサンプリング周期を単位として実行される。この場合、Ｏｐｅｎ３Ｄライブラリの点群可視化用の関数等が使用され、フロントカメラの視点で点群が描画される。同時にスクリーンキャプチャが実行されて、２次元グレースケール画像は各種形式の静止画として保存される。例えば、保存される静止画のファイル名には、その各時刻を示す名前（２０ｘｘ年ｙｙ月ｚｚ日ａａ時ｂｂ分ｃｃの時、「２０ｘｘｙｙｚｚａａｂｂｃｃ」の名称）が充当される。なお、実際には１９７０年１月１日０時０分０秒からの経過秒数で表現したＵＮＩＸ時間が用いられる。結果、ファイル名の順番が時系列の順番となる。

【0037】

２次元グレースケール動画生成（Ｄ１３）は前述の生成部１３０の動画生成部１３２の処理に対応し、２次元グレースケール画像生成（Ｓ９）により生成された２次元グレースケール画像（Ｄ１０）を連結して動画にする処理である。具体的には、静止画である２次元グレースケール画像はファイル名の順番により整列され、ファイル名の順番により連結されて動画ファイル（２次元グレースケール動画（Ｄ１３））として生成される。この場合、２次元グレースケール動画は固定フレームレートとして生成される。なお、可変サンプリングのデータを変換した２次元グレースケール画像（Ｄ１０）から固定フレームの動画ファイル（２次元グレースケール動画（Ｄ１３））を作成するにあたり、欠損値を直前のサンプリングデータで保管する０次補間をおこなっている。これにより、車載カメラのデータと同時再生した際の比較が可能となる。

【0038】

分割部１４０は、２次元化したグレースケール画像を所定領域に分割して複数の分割領域を生成する。特には、２次元グレースケール動画生成（Ｓ１２）により、いったん２次元グレースケール動画（Ｄ１３）として生成された後、この動画から静止画のフレームが生成され、静止画のフレームに対し複数の分割領域に分割が行われる。複数の分割領域の生成に際しては、ＬｉＤＡＲ計測装置１を搭載した車両２が走行する正面方向を中心に、運転手の視点（視野）を基準に対象範囲が規定される。

【0039】

判定部１５０は、複数の分割領域の個々の分割領域に含まれる輝度値に基づいてＬｉＤＡＲの計測の不良発生を判定する。判定部１５０は動画構成部１５１を備え、動画構成部１５１はＬｉＤＡＲの計測の不良発生時の輝度値を含む分割領域を所定時間の確認用動画として構成する。なお、判定部１５０は、他の態様として、所定領域に区分した区分領域各々に含まれる輝度値に基づいて、不良発生を判定する、として構成してもよい。

【0040】

ブラックスポットの判定では、時系列による判定ではなく特定時点での静的な判定を行いたい。そこで、２次元グレースケール動画（Ｄ１３）を判定に必要となる静止画の場面ごとに切り出し、当該静止画において判定が実行される。なお、一旦２次元グレースケール動画（Ｄ１３）を作成し、再度静止画にするという処理は冗長であるが、これは車載カメラの動画と同時再生して人間による最終確認を可能にすることを目的としているためである。

【0041】

分割部１４０における処理は、図４のフローチャートの全フレーム処理（Ｓ１４）、フレーム切り出し（Ｓ１５）、２次元グレースケール画像（Ｄ１６）、探索領域グリッド分割（Ｓ１７）、全グリッドを処理（Ｓ１８）、輝度分布作成（Ｓ１９）に相当する。そして、判定部１５０における処理は、図４のフローチャートのブラックスポット判定（Ｓ２０）、全グリッドを処理（Ｓ２１）、ブラックスポットの有無確認（Ｓ２２）、ブラックスポット情報出力（Ｓ２３）に相当し、ブラックスポット情報（Ｄ２４）が生成される。

【0042】

全フレーム処理（Ｓ１４）は、後述の全フレーム処理（Ｓ２７）と組になって機能し、その間にある処理群を２次元グレースケール動画（Ｄ１３）の全フレームに対して適用する繰り返し処理の開始部である。フレーム切り出し（Ｓ１５）は、前出の２次元グレースケール動画（Ｄ１３）について、各フレームについて静止画のフレームとして構成する。そして、各フレームはプログラム上のイメージとして読み取られる。そこで、フレーム切り出し（Ｓ１５）の処理を通じて２次元グレースケール画像（Ｄ１６）が生成される。２次元グレースケール画像（Ｄ１６）は静止画（フレーム）である。

【0043】

探索領域グリッド分割（Ｓ１７）は、静止画（フレーム）となった２次元グレースケール画像（Ｄ１６）を縦横の長方形の形状の複数のグリッドとして領域を分割する。この縦横のグリッドが複数の「分割領域」の集合である。実施形態のブラックスポットの探索は主に車両２の前方の路面部分を対象として、車両２の前方の路面部分が探索対象の分割領域として設定される。続く全グリッドを処理（Ｓ１８）は、後述の全グリッドを処理（Ｓ２１等）と組になって機能し、探索領域グリッド分割（Ｓ１７）を２次元グレースケール画像（Ｄ１６）の全部のグリッドに対して実行させる繰り返し処理の開始部である。

【0044】

輝度分布作成（Ｓ１９）は、前出のグリッド単位（すなわち複数の分割領域単位）で当該グリッド内の輝度分布を調べる処理を実行する。具体的な処理は、各グリッド内に存在する点群の個々の検出点の輝度のクラスを２５諧調に設定し、各クラスの度数（出現頻度）を計数する。検出点の反射強度は２５５諧調のグレースケール値に変換されているため、例えば、０～９の諧調、１０～１９の諧調、…途中省略…、２４０～２４９の諧調、２５０～２５５の諧調等として、段階的に輝度の諧調が集約される。

【0045】

ブラックスポット判定（Ｓ２０）は、実施形態においては、２４０～２４９の諧調、２５０～２５５の諧調等の高輝度の検出点の点群のグリッドに占める割合を計算する処理である。続く全グリッドを処理（Ｓ２１）は、全グリッドを処理（Ｓ１８）と組になって機能し、ブラックスポット判定（Ｓ２０）を２次元グレースケール静止画（Ｄ１４）の全部のグリッドに対して実行させる繰り返し処理の終了部である。

【0046】

そこで、２４０～２５５の諧調等の高輝度の諧調検出点の点群のグリッドに占める全点群に対する割合が所定の閾値を超過している場合、当該グリッドにブラックスポットが存在していると判定される。これはブラックスポットの有無確認（Ｓ２２）に相当する。この場合、複数のグリッドのうち、ブラックスポットの存在しているグリッドについて、左方から縦ＰＰ行目、上方から横ＱＱ列目等のグリッドにおける固有の位置（グリッドＩＤ）が特定される。なお、いずれのグリッドにおいてもブラックスポットが存在しないと判定される場合、処理は終了する。

【0047】

ブラックスポット判定（Ｓ２０）、全グリッドを処理（Ｓ２１）、ブラックスポットの有無確認（Ｓ２２）の処理は、判定部１５０における分割領域に含まれる各検出点について所定の輝度値を超過する検出点と所定の輝度値を超過しない検出点との割合に基づいてＬｉＤＡＲの計測の不良発生を判定する処理に対応する。

【0048】

ブラックスポット情報出力（Ｓ２３）は、前出の２次元グレースケール動画（Ｄ１３）の各フレームに対し、ブラックスポット判定（Ｓ２０）に基づいてブラックスポットが発生しているグリッドにおける固有の位置（グリッドＩＤ）と発生時刻をテキストファイル等として出力する処理である。こうして、ブラックスポットが発生しているグリッドにおける固有の位置（グリッドＩＤ）とブラックスポット発生時刻を集約したデータとしてブラックスポット情報（Ｄ２４）が生成される。

【0049】

その後、図５の切り出し動画生成（Ｓ２５）は、ブラックスポットの発生時刻を中心としてその前後の時間分（例えば前後１５秒間）を切り出し保存する処理である。結果、ブラックスポットの発生の前と後の経過を示す切り出し動画（Ｄ２６）が生成される。続く全フレームを処理（Ｓ２７）は、前述の全フレームを処理（Ｓ１４）と組になって機能し、切り出し動画生成（Ｓ２５）を２次元グレースケール動画（Ｄ１６）の全部のフレームに対して実行させる繰り返し処理の終了部である。

【0050】

一連の経緯から切り出し動画生成（Ｓ２５）を経て生成される切り出し動画（Ｄ２６）は、ＬｉＤＡＲの計測の不良発生時の輝度値を含む分割領域についての所定時間の確認用動画となる。よって、動画構成部１５１の処理は、一連の切り出し動画生成（Ｓ２５）までの処理に対応する。

【0051】

ここで、図７の画像例は、ＬｉＤＡＲ計測装置を搭載した車両における運転者の視点（視野）により撮影した動画のある時点を切り出した静止画Ｚ（フレーム）である。道路（路面上）を自車両が走行し、前方に他の走行車両が確認される。図８の画像例は、図７の画像例の静止画Ｚ（フレーム）に対して、２次元グレースケール動画の一場面を切り取って示す画像Ｚｄにグリッド（分割領域）を付した表示例である。図中に示される破線の最大の大きさの長方形がグリッドＧ（分割領域）である。当該グリッドＧ（分割領域）内に含まれる破線の領域は探索対象の領域ｆ１である。グリッドＧ（分割領域）に存在する細実線を含む領域ｆ２はブラックスポットが存在しない領域である。そして、太実線の領域ｆ３はブラックスポットが存在する領域である。図６と図８では、輝度値の高低の明暗は反転されており、輝度値が高いほど薄い表示である。

【0052】

そして、図７の実際の走行状況に図８のブラックスポットの存在の有無が重ね合わせられて解析可能となる。切り出し動画（Ｄ２６）の説明のとおり、図８のグリッドＧを含む表示は、一例として、ブラックスポット発生の１５秒前から１５秒後までの３０秒間の動画として構成される。例えば、図７、図８を踏まえると、自車両の前方を走行する車両の後部ガラス窓による光の反射が多い領域、右前方を走っている黒い塗装の車のような低反射素材の部位にブラックスポットが発生する傾向にある。このように、実施形態のＬｉＤＡＲ解析装置は、ＬｉＤＡＲ計測時の周囲環境等のブラックスポット発生の要因分析の解析に役立てられる。

【0053】

実施形態のＬｉＤＡＲ解析装置及びその方法の場合、ＬｉＤＡＲ計測装置から取得される光学強度（反射強度）を輝度値とし、輝度値を閾値による段階別の判定としている。そのため、計測状況に応じた輝度値を機械学習させて良否判定する煩雑さが解消される。結果的にＬｉＤＡＲ解析の処理時間の軽減、圧縮が可能となる。

【0054】

続いて、実施形態のＬｉＤＡＲ解析方法をＬｉＤＡＲ解析プログラムとともに説明する。実施形態のＬｉＤＡＲ解析方法は、ＬｉＤＡＲ解析プログラムに基づいて、ＬｉＤＡＲ解析装置１０内のＣＰＵ、ＧＰＵ等の演算素子により実行される。ＬｉＤＡＲ解析方法は、ＬｉＤＡＲ解析装置１０の演算素子に対して、取得機能、抽出機能、生成機能、分割機能、判定機能を実行させ、さらに、編集機能、動画生成機能、動画構成機能を実行させる。各機能は前述の説明と重複するため、詳細は省略する。

【0055】

図９、図１０、図１１、及び図１２のフローチャートはＬｉＤＡＲ解析装置１０におけるＬｉＤＡＲ解析方法の全体の流れであり、図９では取得ステップ（Ｓ１１０）、抽出ステップ（Ｓ１２０）、生成ステップ（Ｓ１３０）、分割ステップ（Ｓ１４０）、判定ステップ（Ｓ１５０）、出力ステップ（Ｓ１６０）が実行され、図１０では編集ステップ（Ｓ１２１）が実行され、図１１では編集ステップ（Ｓ１３１）、動画生成ステップ（Ｓ１３２）、図１２では動画構成ステップ（Ｓ１５１）が実行される。

【0056】

取得機能は、検知対象についてＬｉＤＡＲの計測により、位置と光学強度を含む複数の検出点からなる点群データを取得する（Ｓ１１０；取得ステップ）。抽出機能は、点群データのそれぞれの検出点の位置及び光学強度を抽出する（Ｓ１２０；抽出ステップ）。生成機能は、点群データのそれぞれの検出点の光学強度を輝度に変換し、変換された輝度に基づいて２次元化したグレースケール画像を生成する（Ｓ１３０；生成ステップ）。分割機能は、２次元化したグレースケール画像を所定領域に分割して複数の分割領域を生成する（Ｓ１４０；分割ステップ）。さらに、分割機能は、２次元グレースケール動画を静止画のフレームとして生成し、静止画のフレームを前記複数の分割領域に分割する。判定機能は、複数の分割領域の個々の分割領域に含まれる輝度値に基づいてＬｉＤＡＲの計測の不良発生を判定する（Ｓ１５０；判定ステップ）。さらに、判定機能は、分割領域に含まれる各検出点について所定の輝度値を超過する検出点と所定の輝度値を超過しない検出点との割合に基づいてＬｉＤＡＲの計測の不良発生を判定する。出力機能は、必要情報を出力する処理を実行する（Ｓ１６０；出力ステップ）。

【0057】

また、編集機能は、抽出機能とともに点群データのそれぞれの検出点を同一時間毎に編集する（Ｓ１２１；編集ステップ）。加えて、編集機能は、生成機能とともに点群データのそれぞれの検出点を同一時間毎に編集する（Ｓ１３１；編集ステップ）。動画生成機能は、２次元化したグレースケール画像を動画化して２次元グレースケール動画を生成する（Ｓ１３２；動画生成ステップ）。動画構成機能は、ＬｉＤＡＲの計測の不良発生時の輝度値を含む分割領域を所定時間の確認用動画として構成する（Ｓ１５１；動画構成ステップ）。

【0058】

上述した本発明のコンピュータプログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。

【0059】

なお、上記コンピュータプログラムは、例えば、ROS（Robot OS）とOpen3D等のデータ処理ライブラリをサポートするプログラミング言語、例えば、C++、Python等を用いて実装できる。

【符号の説明】

【0060】

１ ＬｉＤＡＲ計測装置
２，５ 車両
３ レーザ光
１０ ＬｉＤＡＲ解析装置
１１ 照射部
１２ センサ
１３ 通信部
１４ 記憶部
１５ 制御部
１１０ 取得部
１２０ 抽出部
１２１ 編集部
１３０ 生成部
１３１ 編集部
１３２ 動画生成部
１４０ 分割部
１５０ 判定部
１５１ 動画構成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】