特許 7400950 検出装置、ラベル付与方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】検出装置、ラベル付与方法、及びプログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20231212BHJP

   G06T 7/00 20170101ALI20231212BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 610B

【請求項の数】 6

(21)【出願番号】P 2022512984

(86)(22)【出願日】2020-03-31

(86)【国際出願番号】 JP2020014786

(87)【国際公開番号】W WO2021199264

(87)【国際公開日】2021-10-07

【審査請求日】2022-09-22

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】辻 聡

(72)【発明者】

【氏名】安部 淳一

(72)【発明者】

【氏名】田邉 泰祐

【審査官】比嘉 翔一

(56)【参考文献】

【文献】特開２０１８－１９８０５３（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０３９０６８３（ＣＮ，Ａ）

【文献】中国特許出願公開第１０６１２７７７１（ＣＮ，Ａ）

【文献】欧州特許出願公開第０３２７３２６６（ＥＰ，Ａ１）

【文献】中国特許出願公開第１０８５３７２２１（ＣＮ，Ａ）

【文献】特開２０１８－０２５９１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ、Ｇ０１Ｃ，Ｇ０１Ｄ、Ｇ０１Ｆ、Ｇ０１Ｇ、Ｇ０１Ｈ、Ｇ０１Ｊ、Ｇ０１Ｋ、Ｇ０１Ｌ、Ｇ０１Ｍ、Ｇ０１Ｎ、Ｇ０１Ｐ、Ｇ０１Ｑ、Ｇ０１Ｒ、Ｇ０１Ｓ、Ｇ０１Ｔ、Ｇ０１Ｖ、Ｇ０１Ｗ

Ｇ０６Ｔ ７／００－Ｇ０６Ｔ ７／９０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍ３）

(57)【特許請求の範囲】

【請求項1】

対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得する取得部と、
前記輝度情報に基づいてエッジ検出を行うエッジ検出部と、
エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類する分類部と、
前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けるラベル付与部と、を備え、
前記分類部は、
前記グループに属する複数のひびの候補に付与された信頼度に基づいて、前記グループに属する複数のひびの候補のなかから少なくとも一つのひびの候補を選択し、表示部へ表示させ、
前記信頼度は、前記対象物に対する前記ビームの入射角度に応じて定まる、検出装置。

【請求項2】

前記ラベル付与部は、
前記ユーザから入力された前記ひびの候補が示すラベルを、前記点の集合を含む前記グループと関連付ける、請求項１に記載の検出装置。

【請求項3】

前記ラベル付与部は、
前記ユーザから、前記ひびの候補の形状が、ひびであるか否かを示すラベルの入力を受け付ける、請求項１または２に記載の検出装置。

【請求項4】

前記分類部は、
前記点の集合に対して行われた主成分分析から得られた第１主成分から第３主成分のいずれか一つに基づいて前記ひびの候補をいずれかのグループに分類する、請求項１乃至３のいずれか１項に記載の検出装置。

【請求項5】

対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得し、
前記輝度情報に基づいてエッジ検出を行い、
エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類し、
前記グループに属する複数のひびの候補に付与された信頼度に基づいて、前記グループに属する複数のひびの候補のなかから少なくとも一つのひびの候補を選択し、
選択された前記ひびの候補を表示部へ表示させ、
前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付け、
前記信頼度は、前記対象物に対する前記ビームの入射角度に応じて定まる、ラベル付与方法。

【請求項6】

対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得し、
前記輝度情報に基づいてエッジ検出を行い、
エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類し、
前記グループに属する複数のひびの候補に付与された信頼度に基づいて、前記グループに属する複数のひびの候補のなかから少なくとも一つのひびの候補を選択し、
選択された前記ひびの候補を表示部へ表示させ、
前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けることをコンピュータに実行させ、
前記信頼度は、前記対象物に対する前記ビームの入射角度に応じて定まる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、検出装置、ラベル付与方法、及びプログラムに関する。

【背景技術】

【0002】

カメラを用いて撮影された画像に対して画像処理を行うことによって、コンクリートにできたひびを検知する技術が検討されている。例えば、特許文献１には、画像データから欠陥の特徴量を演算し、画像データ上の欠陥の特徴量の集合領域を特定する表面欠陥評価装置の構成が開示されている。画像データ上の欠陥は、コンクリートにできたひびに相当する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－２１７９４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カメラを用いて撮影される画像の品質は、カメラの周辺環境の明るさに影響を受ける。そのため、特許文献１に開示されている表面欠陥評価装置を用いる場合、画像処理が有効に動作する画像の画像データを取得するために、撮影時の明るさを一定レベルに保つ必要がある。しかし、鉄道のトンネル、道路上のトンネル等は、トンネル内の全領域にわたって十分な明るさの照明を備えていないことが多い。そのため、トンネル内のコンクリートの点検を行う場合には、大規模な照明機材を用いる必要があるという問題がある。

【0005】

本開示の目的は、画像処理が有効に動作する画像の画像データを取得するために十分な明るさを確保できない場合であっても、ひびを検知することができる検出装置、ラベル付与方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

第１の態様にかかる検出装置は、対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得する取得部と、前記輝度情報に基づいてエッジ検出を行うエッジ検出部と、エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類する分類部と、前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けるラベル付与部と、を備える。

【0007】

第２の態様にかかるラベル付与方法は、対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得し、前記輝度情報に基づいてエッジ検出を行い、エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類し、前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付ける。

【0008】

第３の態様にかかるプログラムは、対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得し、前記輝度情報に基づいてエッジ検出を行い、エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類し、前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けることをコンピュータに実行させる。

【発明の効果】

【0009】

本開示により、画像処理が有効に動作する画像の画像データを取得するために十分な明るさを確保できない場合であっても、ひびを検知することができる検出装置、ラベル付与方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１にかかる検出装置の構成図である。

【図2】実施の形態２にかかる点の集合の解析処理を説明するである。

【図3】実施の形態２にかかる点の集合の解析処理を説明するである。

【図4】実施の形態２にかかる検出装置におけるひび判定処理の流れを示す図である。

【図5】実施の形態２にかかる検出装置におけるひび判定処理の流れを示す図である。

【図6】実施の形態３にかかるひびの形状を示す図である。

【図7】実施の形態３にかかる空間の分割を示す図である。

【図8】実施の形態４にかかる点密度を説明する図である。

【図9】実施の形態４にかかる検出装置におけるひび判定処理の流れを示す図である。

【図10】実施の形態５にかかる検出装置の構成図である。

【図11】実施の形態５にかかるビームの入射角度及び反射光を説明する図である。

【図12】実施の形態５にかかるラベル付与に関する処理の流れを示す図である。

【図13】それぞれの実施の形態にかかる検出装置の構成図を示す図である。

【発明を実施するための形態】

【0011】

（実施の形態１）
以下、図面を参照して本開示の実施の形態について説明する。図１を用いて実施の形態１にかかる検出装置１０の構成例について説明する。検出装置１０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。検出装置１０は、例えば、サーバ装置であってもよい。検出装置１０において実行される処理は、複数のコンピュータ装置において分散処理されてもよい。

【0012】

検出装置１０は、取得部１１、エッジ検出部１２、及びひび判定部１３を有している。取得部１１、エッジ検出部１２、及びひび判定部１３は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、取得部１１、エッジ検出部１２、及びひび判定部１３は、回路もしくはチップ等のハードウェアであってもよい。

【0013】

取得部１１は、測定装置から対象物までの距離を示す点群データと、点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得する。測定装置は、対象物までの距離を示す点群データを測定する装置である。測定装置は、例えば、３次元センサであってもよい。３次元センサは、具体的には、3D-LiDAR装置であってもよい。3D-LiDAR装置は、例えば、ToF（Time of Flight）方式を用いて、物体までの距離を測定し、物体の形状を特定する。3D-LiDAR装置は、レーザースキャナーと称されてもよい。対象物は、ひびが発生する可能性のある物体であり、例えば、トンネルもしくはビル等の壁面であってもよい。

【0014】

検出装置１０が測定装置を含む場合、取得部１１が、測定装置であってもよい。つまり、測定装置として動作する取得部１１は、測定結果として直接点群データ及び輝度情報を取得する。検出装置１０が測定装置を含む場合とは、検出装置１０と測定装置とが一体として動作する場合も含む。または、取得部１１は、ネットワークを介して測定装置と接続してもよい。この場合、取得部１１は、測定装置から送信された点群データ及び輝度情報を、ネットワークを介して受信してもよい。取得部１１は、測定装置において測定された点群データ及び輝度情報を、持ち運び可能な記録媒体等を介して取得してもよい。

【0015】

エッジ検出部１２は、輝度情報に基づいてエッジ検出を行う。エッジ検出は、例えば、点群データに含まれるそれぞれの点について、隣接する点の輝度との差が、予め定められた閾値を超える点をエッジとして検出する。具体的には、エッジ検出部１２は、隣接する点の輝度よりも予め定められた閾値以上低下した輝度の点をエッジとして検出してもよい。さらに、エッジ検出部１２は、エッジとして検出された点と、実質的に同一の輝度を有する点もエッジとして検出してもよい。実質的に同一の輝度とは、隣接する点の輝度との差が予め定められた閾値を超えるとして検出されたエッジの点の輝度との差が所定の範囲内の輝度であってもよい。実質的に同一の輝度とみなされる輝度の所定の範囲の値は、隣接する点の輝度との差に基づいてエッジを検出する際に用いられる閾値の値よりも十分に小さい値とする。つまり、エッジ検出部１２は、輝度が予め定められた閾値以上低下している点の集合をエッジとして検出する。輝度が予め定められた閾値以上低下している点の集合は、ひびの候補となる。

【0016】

ひび判定部１３は、点群データが示す複数の点のうち、エッジとして検出された点の輝度との差が所定範囲内の輝度を示す点が分布する領域の形状を用いて、エッジと検出された領域がひびを示すか否かを判定する。言い換えると、ひび判定部１３は、エッジとして検出された点の集合の形状を用いて、その形状がひびを示すか否かを判定する。ひび判定部１３は、例えば、ひびとみなされるエッジの長さ及び幅の少なくとも一方の基準を定めて置き、エッジと検出された点の集合が、予め定められた基準を満たす場合、ひびと判定し、予め定められた基準を満たさない場合、ひびではないと判定してもよい。予め定められた基準は、例えば、エッジの長さが所定の値以上であり、エッジの幅が所定の幅以下である、等であってもよい。

【0017】

もしくは、ひび判定部１３は、機械学習等によりひびの形状を予め学習した学習モデルを用いて、エッジと検出された点の集合の形状が、ひびを示すか否かを判定してもよい。

【0018】

以上説明したように、検出装置１０は、点群データと関連付けられた輝度情報を用いて、ひびの候補となる領域を検出する。輝度情報は、ビームを対象物へ照射した際の反射光から得られる情報である。そのため、測定装置は、輝度情報を得るために、周辺環境の明るさを一定のレベル以上に保つ必要はない。その結果、検出装置１０は、トンネル内等の十分な明るさの照明を備えていない場所において、コンクリート等の点検を行う場合であっても、大規模な照明機材を用いる必要がない。

【0019】

（実施の形態２）
続いて、図２を用いてエッジ検出部１２において実行される、エッジと検出された点の集合の解析処理について説明する。エッジ検出部１２は、点群データに含まれる複数の点のうち、輝度情報に基づいてエッジとなる点を検出する。さらに、エッジ検出部１２は、エッジとして検出された点の輝度と所定範囲内の輝度を示す点についても、エッジとして検出する。

【0020】

図２は、エッジ検出部１２において、エッジとして検出された点のX-Y平面上における分布を示している。それぞれの点は、3次元データであるため、X軸、Y軸、及びZ軸上の位置を示す値を有している。X軸、Y軸、及びZ軸は、例えば、3D-LiDAR装置が定める座標軸であってもよい。図２に示される点は、それぞれ他の点の輝度と同等の輝度を有する。ここで、点の輝度とは、その点においてビームが反射された際の反射光の輝度を示す。

【0021】

また、図２は、理解を容易とするために、X-Y平面上における、エッジとして検出された点の分布を示しているが、実際には、X-Y平面と垂直なZ軸方向にも、エッジとして検出された点は分布している。

【0022】

エッジ検出部１２は、図２に示される、エッジとして検出された点の分布に対して、主成分分析（PCA: Principle Component Analysis）を行う。主成分分析は、主に、点の分散を特定するために行われる分析である。分散は、ばらつきと言い換えられてもよい。

【0023】

具体的には、主成分分析は、図２に示されるように、点の分散が最大となる方向の分散の大きさもしくは長さを算出する。図２の点の分布の中に示される実線は、点の分散の大きさもしくは長さを示している。分散の大きさもしくは長さは、固有値と言い換えられてもよい。図２に示されるD_1は、エッジとして検出された点の分布において、点の分散が最も大きい方向の分散の長さを示している。D_1を第１主成分とする。例えば、エッジ検出部１２は、エッジとして検出された点の分布における重心を算出し、重心から分散が最大となる方向を算出することによって、第１主成分となるD_1を算出してもよい。

【0024】

次に、第１主成分と直交する方向において、点の分散が最大となる方向の分散の長さを算出する。図３の点の分布の中に示される実線は、点の分散の大きさもしくは長さを示している。図３に示されるD_2は、D_1と直交する方向において、点の分散が最大となる方向の分散の長さを示している。D_2を第２主成分とする。次に、第１主成分及び第２主成分と直交する方向において、点の分散が最大となる方向の分散の長さを算出する。図２には図示されていないが、図２においてX-Y平面と垂直なZ軸方向において、点の分散が最大となる方向の分散の長さをD_3とする。D_3を第３主成分とする。

【0025】

３次元データである点群データの分布に対して主成分分析を行うことによって、第１主成分から第３主成分を得ることができる。

【0026】

ひび判定部１３は、エッジ検出部１２において算出された第１主成分乃至第３主成分を用いて、エッジとして検出された点の集合が示す形状が、ひびに該当するか否かを判定する。ひびを示す点の集合は、第１主成分が、ひびが走る方向となり、第２主成分もしくは第３主成分が、ひびの幅方向となることが想定される。ひびが走る方向とは、ひびが伸びる方向、ひびの亀裂が走る方向、もしくはひびの亀裂が伸びる方向等と言い換えられてもよい。ひびの形状として、ひびが走る方向の長さが最も長くなることから、第１主成分がひびが走る方向となる。第２主成分及び第３主成分は、一方が、ひびの幅方向となり、もう一方が、ひびの深さ方向となる。

【0027】

ひび判定部１３は、例えば、第２主成分をひびの幅方向とし、第３主成分をひびの深さ方向と定めてもよい。もしくは、ひび判定部１３は、ひびの形状を機械学習した学習モデルを用いて、第２主成分及び第３主成分のいずれがひびの幅方向に該当するかを定めてもよい。

【0028】

ここで、ひびの深さ方向は、測定装置である3D-LiDAR装置の測定誤差を含む主成分である。測定誤差は、測定装置から対象物までの距離を測定した際に生じる誤差である。ひび判定部１３は、3D-LiDAR装置において予め定められている測定誤差の諸元もしくはカタログ値に基づいて、第２主成分及び第３主成分のどちらがひびの幅方向に該当するかを決定してもよい。例えば、ひび判定部１３は、分散の長さが3D-LiDAR装置において予め定められている測定誤差の諸元の範囲内である主成分をひびの深さ方向と決定し、分散の長さが測定誤差の諸元の範囲を超えている主成分をひびの幅方向と決定してもよい。

【0029】

ひび判定部１３は、例えば、ひびの幅方向に該当する主成分の長さに基づいて、エッジとして検出された点の集合が、ひびを示しているか否かを判定してもよい。例えば、ひび判定部１３は、第２主成分がひびの幅方向に該当すると決定したとする。この場合、ひび判定部１３は、第２主成分の長さが、予め定められた長さの閾値を超えているか否かに応じてエッジとして検出された点の分布が、ひびを示しているか否かを判定してもよい。例えば、ひび判定部１３は、第２主成分の長さが、予め定められた長さの閾値を超えている場合、エッジとして検出された点の集合は、ひびではないと判定してもよい。さらに、ひび判定部１３は、第２主成分の長さが、予め定められた長さの閾値を超えていない場合、エッジとして検出された点の集合は、ひびであると判定してもよい。第２主成分の長さと比較される長さの閾値は、例えば、検出装置１０の管理者等において入力された値であってもよく、ひびの形状を機械学習した学習モデルを用いて算出される値であってもよい。

【0030】

続いて、図４を用いて実施の形態２にかかる検出装置１０におけるひび判定処理の流れについて説明する。はじめに、取得部１１は、点群データ及び点群データに含まれるそれぞれの点に関連付けられた輝度情報を取得する（Ｓ１１）。点に関連付けられた輝度情報とは、その点において反射された反射光の輝度情報であることを示す。

【0031】

次に、エッジ検出部１２は、輝度情報を用いてエッジ検出を行う（Ｓ１２）。エッジ検出部１２は、隣接する点の輝度との差が、予め定められた閾値を超える点をエッジとして検出する。

【0032】

次に、エッジ検出部１２は、エッジ検出された点の輝度と同等の輝度を有する点を抽出する（Ｓ１３）。言い換えると、エッジ検出部１２は、エッジ検出された点の輝度との差が予め定められた範囲内である輝度を有する複数の点を抽出する。エッジ検出部１２において抽出された複数の点は、３次元空間上に分布する。

【0033】

次に、エッジ検出部１２は、抽出された点の分布に対して主成分分析を行う（Ｓ１４）。エッジ検出部１２は、主成分分析を行うことによって、エッジとして検出された点の分布の分散もしくはばらつきを示す第１主成分乃至第３主成分を算出する。

【0034】

次に、ひび判定部１３は、主成分分析の結果を用いてエッジとして検出された点の集合が、ひびか否かを判定する（Ｓ１５）。

【0035】

ここで、図５を用いて図４のステップＳ１５におけるひびの判定処理の詳細な流れについて説明する。

【0036】

ひび判定部１３は、ひびの判定処理においてはじめに、エッジ検出部１２からエッジとして検出された点の分布における第１主成分乃至第３主成分の長さを取得する（Ｓ２１）。第１主成分乃至第３主成分の長さは、分散の長さを示している。第１主成分の長さが最も長く、第３主成分の長さが最も短い。

【0037】

次に、ひび判定部１３は、第１主成分乃至第３主成分のうち、ひびの幅方向となりえる主成分を決定する（Ｓ２２）。例えば、ひび判定部１３は、第１主成分乃至第３主成分のうち、２番目の長さを有する第２主成分をひびの幅方向の主成分と決定してもよい。もしくは、ひび判定部１３は、ひびの形状を機械学習した学習モデルを用いて、第２主成分及び第３主成分のいずれがひびの幅方向に該当するかを定めてもよい。もしくは、ひび判定部１３は、3D-LiDAR装置において予め定められている測定誤差の諸元もしくはカタログ値に基づいて、第２主成分及び第３主成分のどちらがひびの幅方向に該当するかを決定してもよい。

【0038】

次に、ひび判定部１３は、ひびの幅方向に該当する主成分の長さが、予め定められた長さの閾値以下であるか否かを判定する（Ｓ２３）。ひび判定部１３は、ひびの幅方向に該当する主成分の長さが、予め定められた長さの閾値以下であると判定した場合、エッジとして検出された点の集合は、ひびと判定する（Ｓ２４）。ひび判定部１３は、ひびの幅方向に該当する主成分の長さが、予め定められた長さの閾値以下ではないと判定した場合、エッジとして検出された点の集合は、ひびではないと判定する（Ｓ２５）。

【0039】

以上説明したように、実施の形態２においては、検出装置１０は、エッジ検出を行い、ひびの候補となる形状もしくは領域を特定する。さらに、検出装置１０は、ひびの候補となる形状を形成する点もしくはひびの候補となる領域に含まれる点に対して、主成分分析を行う。検出装置１０は、主成分分析を行った結果得られる第１主成分乃至第３主成分の長さに基づいて、ひびの候補となる形状もしくは領域が、ひびであるか否かを判定する。このようにして、検出装置１０は、カメラ等を用いて撮影する際に十分な明るさを確保することができない場合であっても、輝度情報を用いてひびの候補となる形状もしくは領域を抽出することができる。また、検出装置１０は、ひびの候補となる形状を構成する点もしくはひびの候補となる領域に含まれる点に対して主成分分析を行い、分析結果を用いることによってひびの候補がひびであるか否かを判定することができる。その結果、検出装置１０は、明るさを十分に確保することができない場所においても、ひびの場所を特定することができる。

【0040】

（実施の形態３）
続いて、実施の形態３にかかるひびの判定処理の概要について説明する。例えば、ひびは、直線の形状だけではなく、図６に示すように、ジグザグの形状を示す場合もある。図６の実線は、エッジとして検出された点の集合であり、ひびの形状を示している。図６の太線の点線のうち、長い点線は、長さD_1を有する第１主成分を示している。図６の太線の点線のうち、短い点線は、長さD_2を有する第２主成分を示している。また、説明を容易にするために図６には示されていないが、図６の垂直方向の主成分を第３主成分とする。

【0041】

ジグザグの形状のひびは、図６に示されるように、D_2が、第２主成分となることがある。この場合、第２主成分の長さは、ひびが直線の形状である場合と比較して、長くなる。その結果、実施の形態２と同様に、ひび判定部１３は、第２主成分の長さが予め定められた長さの閾値を超えているか否かを判定した場合、実際にはひびであっても、第２主成分の長さが閾値を超えてしまい、ひびではないと判定することがある。

【0042】

そのため、実施の形態３においては、図７に示すように、ジグザグの形状が、エッジとして検出された点の集合を示す場合、エッジ検出部１２は、エッジとして検出された点が存在する空間を複数の空間に分割する。さらに、エッジ検出部１２は、分割された空間に含まれる点の集合に対して主成分分析を行う。図７の点線で囲まれた空間は、分割された空間の一つを示している。

【0043】

例えば、ひび判定部１３は、それぞれの空間毎に算出された第１主成分乃至第３主成分のうち、第２主成分の長さが、予め定められた長さの閾値以下であるか否かを判定し、それぞれの空間毎に、ひびであるか否かを判定してもよい。

【0044】

例えば、ひび判定部１３は、図７のArea_1及びArea_2のように、点の集合が直線に近い形状を示す場合、第２主成分の長さに基づいて、ひびであると判定することが多い。一方、ひび判定部１３は、Area_3のように、点の集合がジグザグの形状を示す場合、第２主成分の長さが長くなり、ひびではないと判定する可能性がある。そのため、ひび判定部１３は、例えば、点の集合に対して主成分分析を行った結果を用いて、ひびであるか否かを判定した複数の空間のうち、ひびであると判定された空間の数に基づいて、点の集合の全体がひびであるか否かを判定してもよい。例えば、ひび判定部１３は、ひびであると判定された空間の数が、ひびではないと判定された空間よりも多い場合、点の集合の全体は、ひびであると判定してもよい。もしくは、ひび判定部１３は、ひびであると判定された空間の数が、予め定められた閾値を超えている場合、ひびであると判定してもよい。

【0045】

エッジとして検出された点が存在する空間を分割する数が多くなるほどひび判定部１３におけるひび判定処理の精度は向上する。

【0046】

以上説明したように、実施の形態３にかかるひび判定部１３は、エッジとして検出された点の集合を含む空間を分割し、分割後の空間の点の集合に対して主成分分析を行う。ひび判定部１３は、分割後の空間毎に主成分分析を行い、分割後の空間毎にひびであるか否かを判定する。さらに、ひび判定部１３は、分割後の空間毎の判定結果を用いて、エッジとして検出された点の集合全体がひびであるか否かを判定する。このように、ひび判定部１３は、分割された空間毎の判定結果を用いることによって、図６及び図７に示すように、点の集合が第２主成分の長さが長くなるジグザグの形状であっても、点の集合全体がひびか否かを判定することができる。

【0047】

（実施の形態４）
続いて、実施の形態４にかかるひびの判定処理について説明する。実施の形態４においては、点密度を用いたひびの判定処理を実行する。点密度は、ある領域内に存在する、エッジとして検出された点の数に基づいて定められる。具体的に、点密度について図８を用いて説明する。図８の実線は、エッジとして検出された点の集合を示している。点線で囲まれた領域は、エッジとして検出された点の集合を含む領域である。図８においては、エッジとして検出された点の集合を含む領域が矩形にて示されているが、円形等、他の形であってもよい。

【0048】

点密度は、単位面積当たりの点の数であり、例えば、図８における点線で囲まれた領域における点の密集の程度を示す。

【0049】

エッジとして検出される点の集合がひびを示す場合、点はひびに沿った領域に存在することになる。一方、エッジとして検出される点の集合がひびを示さない場合、点は、ある領域内に一様に分布していることが想定される。そのため、実施の形態４にかかるひびの判定処理においては、エッジとして検出された点の集合がひびを示す場合の点密度は、ひびを示さない場合の点密度よりも十分に小さいことを前提とする。

【0050】

また、図８の点線にて示されるエッジとして検出された点の集合を含む領域は、例えば、点の集合を示す画像を解析する際に行われるオブジェクト認識処理を実行することによって定められてもよい。オブジェクト認識処理は、画像内に含まれる対象物を特定し、その対象物を矩形等の形状にて囲み、特定された対象物を強調して示す処理である。オブジェクト認識は、物体認識、画像認識等と言い換えられてもよい。

【0051】

もしくは、図８の点線にて示されるエッジとして検出された点の集合を含む領域は、エッジとして検出された点の集合を画像にて視認したユーザから入力されてもよい。エッジとして検出された点の集合を含む領域は、ユーザによって指定された領域であってもよい。

【0052】

続いて、図９を用いて実施の形態４にかかるひびの判定処理の流れについて説明する。はじめに、ひび判定部１３は、所定領域内におけるエッジとして検出された点の点密度を算出する（Ｓ３１）。次に、ひび判定部１３は、点密度が予め定められた閾値以下であるか否かを判定する（Ｓ３２）。ひび判定部１３は、点密度が予め定められた閾値以下である場合、所定領域内におけるエッジとして検出された点の集合は、ひびと判定する（Ｓ３３）。ひび判定部１３は、点密度が予め定められた閾値以下ではない場合、所定領域内におけるエッジとして検出された点の集合は、ひびではないと判定する（Ｓ３４）。

【0053】

以上説明したように、実施の形態４にかかるひびの判定処理においては、点密度を用いたひびの判定処理を行う。これにより、輝度に基づいて抽出された点の集合が、ひびであるか否かを判定することができる。

【0054】

（実施の形態５）
続いて、図１０を用いて実施の形態５にかかる検出装置２０の構成例について説明する。検出装置２０は、図１の検出装置１０に、分類部２１、表示部２２、ラベル付与部２３、入力受付部２４、及びデータ保持部２５が追加された構成である。分類部２１等の、検出装置２０を構成する構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、検出装置２０を構成する構成要素は、回路もしくはチップ等のハードウェアであってもよい。

【0055】

分類部２１は、ひび判定部１３においてひびであると判定された複数の点の集合を、所定の基準に従って複数のグループのうちのいずれかのグループに分類する。もしくは、分類部２１は、エッジ検出部１２において検出された輝度が予め定められた閾値以上低下している点の集合を、所定の基準に従って複数のグループのうちのいずれかのグループに分類してもよい。ここで、実施の形態４までにおいては、ひび判定部１３においてひびであると判定された点の集合を、実施の形態５においては、ひびの候補として扱う。例えば、分類部２１は、ひびの候補に含まれるそれぞれの点に関連付けられた輝度情報の分布に従って、ひびの候補をいずれかのグループに分類してもよい。例えば、一つのひびの候補に含まれる点の集合を、横軸を輝度とし、縦軸を点の数とした平面における分布図として示し、輝度の平均値の値が所定の範囲内にある複数のひびの候補を、同じ分類としてもよい。分類部２１は、例えば、輝度の平均値がＡ１からＡ２の範囲のグループである分類＿１と、輝度の平均値がＡ３からＡ４の範囲のグループである分類＿２のように、いくつかの範囲を定義して、複数のグループを定義してもよい。

【0056】

分類部２１は、輝度の平均値の代わりに、分散、標準偏差、中央値、最頻値等に基づいてひびの候補をいずれかのグループに分類してもよい。

【0057】

もしくは、分類部２１は、ひびの候補の形状に基づいてひびの候補をいずれかのグループに分類してもよい。例えば、分類部２１は、ひびの候補に含まれる点の分布に対して行われた主成分分析から得られる第１主成分乃至第３主成分に基づいてひびの候補をいずれかのグループに分類してもよい。具体的には、分類部２１は、第１主成分の長さが所定の範囲内にある複数のひびの候補を同じ分類としてもよい。分類部２１は、第１主成分の代わりに第２主成分もしくは第３主成分を用いてもよい。

【0058】

分類部２１は、一つのグループに含まれる複数のひびの候補のうち、少なくとも一つのひびの候補を表示部２２に表示させる。表示部２２は、例えば、ディスプレイであってもよい。分類部２１は、一つのグループに含まれる複数のひびの候補のうち、任意に選択したひびの候補を表示部２２に表示させてもよい。もしくは、分類部２１は、一つのグループに含まれる複数のひびの候補のうち、グループの境界付近に存在するひびの候補を表示部２２に表示させてもよい。もしくは、分類部２１は、信頼度の高いひびの候補もしくは信頼度の低いひびの候補を表示部２２に表示させてもよい。

【0059】

ここで、ひびの候補に付与される信頼度について説明する。例えば、測定装置として用いられる3D-LiDAR装置から照射されるビームの対象物に対する入射角度に応じた信頼度が、ひびの候補に付与されてもよい。

【0060】

図１１は、3D-LiDAR装置１１＿Ａが壁面に対してビームを照射している様子を示している。図１１の白抜きの矢印は、3D-LiDAR装置１１＿Ａが照射するビームを示している。図１１の点線の矢印は、ビームが壁面に反射した際の反射光を示している。入射角度は、壁面に対するビームの入射角度を示している。

【0061】

3D-LiDAR装置１１＿Ａから照射されるビームが、対象物に垂直に入射すると反射光の強度が強すぎることとなり、入射角度が浅い場合には、反射光の強度が安定しない、という特徴がある。反射光の強度が強すぎる、もしくは、安定しない等の場合、正確な輝度を得ることができない。そのため、反射光の強度が強すぎる入射角度の範囲及び反射光の強度が安定しない入射角度の範囲を定義し、その範囲の入射角度のビームの反射光から得られる輝度情報に基づいて生成されたひびの候補の信頼度を低く設定してもよい。反射光の強度が強すぎる入射角度の範囲及び反射光の強度が安定しない入射角度の範囲以外の範囲の入射角度のビームの反射光から得られる輝度情報に基づいて生成されたひびの候補の信頼度を高く設定してもよい。

【0062】

ユーザは、表示部２２に表示されたひびの候補を視認した後に、そのひびの候補がひびであるか否かを判断する。入力受付部２４は、ユーザから入力される判断結果を受け付ける。例えば、ユーザは、表示部２２に表示されたひびの候補がひびであると判断した場合、入力受付部２４に、ひびであることを示す情報を入力する。また、ユーザは、表示部２２に表示されたひびの候補がひびではないと判断した場合、入力受付部２４に、ひびではないことを示す情報を入力する。ひびであることを示す情報及びひびではないことを示す情報は、例えば、ラベルと称されてもよい。つまり、ユーザは、表示部２２に表示されたひびの候補に対して、ひびであるか否かを示すラベルを入力する。

【0063】

ラベル付与部２３は、分類部２１が表示部２２に表示させたひびの候補を含むグループと、入力受付部２４に入力されたラベルとを関連付けて、データ保持部２５へ格納する。

【0064】

続いて、図１２を用いて実施の形態５にかかるラベル付与処理の流れについて説明する。図１２の処理においては、図４のステップＳ１１乃至Ｓ１５の処理が実施され、ひび判定部１３が、エッジとして検出された点の集合に対するひびの判定処理が完了していることを前提とする。

【0065】

はじめに、分類部２１は、ひびと判定された点の集合を予め定められた基準に従って複数のグループのうちいずれかのグループに分類する（Ｓ４１）。例えば、分類部２１は、点の集合に含まれるそれぞれの点の輝度の平均値等に応じて、点の集合をいずれかのグループに分類してもよい。ひびと判定された点の集合が、複数存在する場合、分類部２１は、それぞれの点の集合を、複数のグループのうちいずれかのグループに分類する。

【0066】

次に、分類部２１は、それぞれのグループに含まれる点の集合の中から、代表となる点の集合を選択する（Ｓ４２）。分類部２１は、代表となる点の集合を、任意に選択してもよく、他の基準に従って選択してもよい。

【0067】

次に、分類部２１は、選択した点の集合を表示部２２へ表示する（Ｓ４３）。言い換えると、分類部２１は、選択した点の集合が示す形状を、ひびの候補として表示部２２へ表示する。

【0068】

次に、ラベル付与部２３は、ユーザから入力された点の集合に対するラベルを、その点の集合が含まれるグループと関連付けてデータ保持部２５へ格納する（Ｓ４４）。

【0069】

以上説明したように、検出装置２０は、ひび判定部１３においてひびと判定された複数のひびの候補をいずれかのグループに分類する。さらに、検出装置２０は、グループに含まれる少なくとも１つのひびの候補を視認したユーザから入力されるラベルを、そのグループに関連付ける。つまり、ユーザは、ひび判定部１３においてひびと判定されたすべてのひびの候補を視認して、それぞれのひびの候補にラベルを付与する必要はない。ユーザは、グループに含まれる少なくとも１つのひびの候補を視認し、そのひびの候補が含まれるグループに対してラベルを付与する。つまり、ユーザは、視認したひびの候補が含まれる同じグループの他のひびの候補にもまとめてラベルを付与することができる。その結果、ユーザがラベルを付与するために視認するひびの候補を減少させることができる。

【0070】

ひび判定部１３において抽出されたひびの候補をユーザが視認して、ひびか否かを示すラベルを付与することによって、ひびの判定に関する精度を向上させることができる。

【0071】

図１３は、検出装置１０及び検出装置２０（以下、検出装置１０等と称する）の構成例を示すブロック図である。図１３を参照すると、検出装置１０等は、ネットワークインタフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワークインタフェース１２０１は、ネットワークノード（e.g., eNB、MME、P-GW、）と通信するために使用される。ネットワークインタフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインタフェースカード（NIC）を含んでもよい。ここで、eNBはevolved Node B、MMEはMobility Management Entity、P-GWはPacket Data Network Gatewayを表す。IEEEは、Institute of Electrical and Electronics Engineersを表す。

【0072】

プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された検出装置１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU、又はCPUであってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。

【0073】

メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/O（Input/Output）インタフェースを介してメモリ１２０３にアクセスしてもよい。

【0074】

図１３の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された検出装置１０等の処理を行うことができる。

【0075】

図１３を用いて説明したように、上述の実施形態における検出装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。

【0076】

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0077】

なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0078】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得する取得部と、
前記輝度情報に基づいてエッジ検出を行うエッジ検出部と、
エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類する分類部と、
前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けるラベル付与部と、を備える検出装置。
（付記２）
前記ラベル付与部は、
前記ユーザから入力された前記ひびの候補が示すラベルを、前記点の集合を含む前記グループと関連付ける、付記１に記載の検出装置。
（付記３）
前記ラベル付与部は、
前記ユーザから、前記ひびの候補の形状が、ひびであるか否かを示すラベルの入力を受け付ける、付記１または２に記載の検出装置。
（付記４）
前記分類部は、
前記点の集合に対して行われた主成分分析から得られた第１主成分乃至第３主成分に基づいて前記ひびの候補をいずれかのグループに分類する、付記１乃至３のいずれか１項に記載の検出装置。
（付記５）
前記分類部は、
前記グループに属する複数のひびの候補のなかから少なくとも一つのひびの候補を選択し、表示部へ表示させる、付記１乃至４のいずれか１項に記載の検出装置。
（付記６）
前記分類部は、
前記ひびの候補に付与された信頼度に基づいて、前記グループに属する複数のひびの候補のなかから少なくとも一つのひびの候補を選択する、付記５に記載の検出装置。
（付記７）
対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得し、
前記輝度情報に基づいてエッジ検出を行い、
エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類し、
前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けるラベル付与方法。
（付記８）
対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得し、
前記輝度情報に基づいてエッジ検出を行い、
エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類し、
前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けることをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。

【符号の説明】

【0079】

１０ 検出装置
１１ 取得部
１２ エッジ検出部
１３ ひび判定部
２０ 検出装置
２１ 分類部
２２ 表示部
２３ ラベル付与部
２４ 入力受付部
２５ データ保持部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】