特開 2025-5158 地形検知システム、および地形検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025005158

(43)【公開日】2025-01-16

(54)【発明の名称】地形検知システム、および地形検知方法

(51)【国際特許分類】

   G01S 17/89 20200101AFI20250108BHJP

   G01C 3/06 20060101ALI20250108BHJP

   G01S 17/86 20200101ALI20250108BHJP

【ＦＩ】

G01S17/89

G01C3/06 120Q

G01C3/06 140

G01S17/86

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023105215

(22)【出願日】2023-06-27

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】安達 馨

(72)【発明者】

【氏名】栗栖 正充

(72)【発明者】

【氏名】イ ジュンウォン

【テーマコード（参考）】

2F112

5J084

【Ｆターム（参考）】

2F112AD01

2F112CA05

2F112CA12

2F112FA03

2F112FA45

5J084AA05

5J084AA10

5J084AA13

5J084AB16

5J084AC02

5J084AD01

5J084BA03

5J084BA20

(57)【要約】

【課題】地面の三次元マップを精度よく生成する。
【解決手段】地形検知システムは、地面に向けてレーザ光を照射し、レーザ光の反射強度を含む受信データを取得する、レーザセンサと、反射強度を用いて複数の受信データをつなぎ合わせて、地面の三次元マップを生成する、処理装置と、を備えている。
【選択図】図１６

【特許請求の範囲】

【請求項1】

地面に向けてレーザ光を照射し、前記レーザ光の反射強度を含む受信データを取得する、レーザセンサと、
前記反射強度を用いて複数の前記受信データをつなぎ合わせて、前記地面の三次元マップを生成する、処理装置と、を備える、地形検知システム。

【請求項2】

前記受信データは、前記レーザ光が反射された反射点の三次元座標を含む、請求項１に記載の地形検知システム。

【請求項3】

前記地面を撮像する撮像装置をさらに備え、
前記レーザセンサは、前記撮像装置の撮像範囲を含む範囲の前記地面に向けて前記レーザ光を照射する、請求項２に記載の地形検知システム。

【請求項4】

前記処理装置は、前記撮像装置による撮像画像から、前記地面における特徴点を抽出する、請求項３に記載の地形検知システム。

【請求項5】

前記処理装置は、前記反射点の三次元座標を用いて、重心演算することにより前記特徴点の三次元座標を算出する、請求項４に記載の地形検知システム。

【請求項6】

前記処理装置は、前記特徴点の三次元座標を座標変換した座標変換後の三次元座標と、異なる時刻に撮像された前記撮像画像から抽出された前記特徴点の三次元座標と、の距離を小さくする関係式を求めるときに、前記反射強度を重み付け係数として用いる、請求項５に記載の地形検知システム。

【請求項7】

前記処理装置は、前記特徴点の三次元座標の算出に用いられた前記反射点の前記反射強度のうちの最小の反射強度を、前記重み付け係数として用いる、請求項６に記載の地形検知システム。

【請求項8】

前記処理装置は、前記距離に前記重み付け係数を掛けた積の総和が最小となる前記関係式を求める、請求項６または請求項７に記載の地形検知システム。

【請求項9】

前記レーザセンサを搭載する作業機械をさらに備える、請求項１に記載の地形検知システム。

【請求項10】

前記レーザセンサは、走行する前記作業機械の前方の地面に向けて、前記レーザ光を照射する、請求項９に記載の地形検知システム。

【請求項11】

地面に向けてレーザ光を照射し、前記レーザ光の反射強度を含む受信データを取得することと、
前記反射強度を用いて複数の前記受信データをつなぎ合わせて、前記地面の三次元マップを生成することと、を備える、地形検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、地形検知システム、および地形検知方法に関する。

【背景技術】

【0002】

特開２０２２－７６８７６号公報（特許文献１）には、車両の位置を決定する位置推定装置が開示されている。車両は、光照射に対する反射光を検出することで車両の周囲環境の特徴点の点群である環境点群を検出するＬｉＤＡＲと、周囲環境を撮像する外界カメラとを搭載する。位置推定装置は、カメラによる撮像画像から、周囲環境におけるランドマークを検出する。位置推定装置は、環境点群から、ランドマークが存在すると推定される範囲である推定範囲内の点群を、範囲内点群として抽出する。位置推定装置は、ランドマークに対応する点群であるランドマーク点群を、範囲内点群の中から特定する。位置推定装置は、ランドマーク点群を点群地図とマッチングさせて、推定される車両の位置を決定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－７６８７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

地面にレーザ光を照射するレーザセンサの検出結果に基づいて、精度のよい地面の三次元マップを生成することが求められている。

【0005】

本開示では、地面の三次元マップを精度よく生成するための技術が提案される。

【課題を解決するための手段】

【0006】

本開示のある局面に係る地形検知システムは、地面に向けてレーザ光を照射し、レーザ光の反射強度を含む受信データを取得する、レーザセンサと、反射強度を用いて複数の受信データをつなぎ合わせて、地面の三次元マップを生成する、処理装置と、を備えている。

【0007】

本開示のある局面に係る地形検知方法は、以下のステップを備えている。第１のステップは、地面に向けてレーザ光を照射し、レーザ光の反射強度を含む受信データを取得することである。第２のステップは、反射強度を用いて複数の受信データをつなぎ合わせて、地面の三次元マップを生成することである。

【発明の効果】

【0008】

本開示に従うと、地面の三次元マップを精度よく生成することができる。

【図面の簡単な説明】

【0009】

【図1】ダンプトラックの構成を示す模式図である。

【図2】ダンプトラックの走行時における地面上の撮像範囲を示す模式図である。

【図3】地形検知システムのシステム構成を示すブロック図である。

【図4】撮像画像の一例を示す図である。

【図5】撮像画像中に抽出される特徴点を示す図である。

【図6】三次元点群データの一例を示す図である。

【図7】三次元点群データを画像平面に投影する処理を示す模式図である。

【図8】二次元化点群データの一例を示す図である。

【図9】画像平面上の投影点の模式図である。

【図10】画像平面上の特徴点を示す模式図である。

【図11】特徴点を三次元化する処理の模式図である。

【図12】座標変換行列を算出する処理を示す模式図である。

【図13】粉塵を含む三次元点群データを示す図である。

【図14】粉塵を含む反射点の反射強度を示す図である。

【図15】反射強度を考慮しない地面の形状を示す図である。

【図16】反射強度を考慮した地面の形状を示す図である。

【図17】三次元マップの一例を示す図である。

【発明を実施するための形態】

【0010】

以下、実施形態について図に基づいて説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。実施形態から任意の構成が抽出され、それらが任意に組み合わされることも、当初から予定されている。

【0011】

図１は、作業機械の一例としてのダンプトラック１の構成を示す模式図である。ダンプトラック１は、車体フレーム２と、車体フレーム２に搭載されているキャブ３およびベッセル４と、車体フレーム２に回転可能に支持されている前輪５および後輪６とを備えている。

【0012】

前輪５と後輪６とは、ダンプトラック１を走行させる走行用回転体である。ダンプトラック１は、前輪５と後輪６とのいずれか一方または両方が回転駆動されることにより、自走可能である。ダンプトラック１は、作業現場で走行して作業を行う。図１および後続の図で矢印で示される移動方向ＤＲは、ダンプトラック１の前進方向である。ダンプトラック１は、ベッセル４にマテリアルを積載した状態で走行することにより、マテリアルを運搬する。マテリアルは、作業現場で掘削された、またはダンプトラック１により作業現場に搬入される、土砂、岩石または鉱石などである。

【0013】

キャブ３は、ダンプトラック１の前方に配置されている。キャブ３は、オペレータが搭乗する運転室である。キャブ３に搭乗したオペレータが、ダンプトラック１の走行、ベッセル４の昇降などの操作を行う。キャブ３内には、オペレータが着座する運転席、オペレータが操作する操作装置などが配置されている。

【0014】

ダンプトラック１は、オペレータがキャブ３に搭乗する有人車両に限られない。ダンプトラック１は、無人車両であってもよい。ダンプトラック１は、オペレータが搭乗して操作するためのキャブ３を備えていなくてもよい。ダンプトラック１は、搭乗したオペレータによる操縦機能を搭載していなくてもよい。ダンプトラック１は、遠隔操縦専用の作業機械であってもよい。ダンプトラック１の操縦は、遠隔操縦装置からの無線信号により行われてもよい。

【0015】

ダンプトラック１は、撮像装置１０とＬｉＤＡＲ（Light Detection and Ranging）２０とをさらに備えている。撮像装置１０とＬｉＤＡＲ２０とは、ダンプトラック１の前部に配置されている。撮像装置１０とＬｉＤＡＲ２０とは、前方を向いてダンプトラック１に搭載されており、ダンプトラック１の前方の地面Ｇの情報を取得可能である。地面Ｇはたとえば、鉱山の搬送路などの、作業現場の地面である。作業現場の地面は、非舗装路の一例である。撮像装置１０とＬｉＤＡＲ２０とは、車体フレーム２に取り付けられてもよく、キャブ３に取り付けられてもよい。

【0016】

撮像装置１０は、ダンプトラック１の周辺の撮像対象を撮像して、撮像対象の撮像画像を取得する。撮像装置１０の撮像対象は、走行するダンプトラック１の前方の地面Ｇを含む。撮像装置１０は、ダンプトラック１の前方の地面Ｇを撮像する。撮像装置１０は、たとえば赤外線カメラである。撮像装置１０として赤外線カメラを用いることで、夜間でも鮮明な撮像画像を取得することができる。撮像装置１０が撮像する撮像画像は、グレースケール画像であってもよい。

【0017】

ＬｉＤＡＲ２０は、レーザ光を射出して対象物にレーザ光を照射することにより、対象物の情報を取得する。ＬｉＤＡＲ２０は、走行するダンプトラック１の前方の地面Ｇに向けてレーザ光を照射する。ＬｉＤＡＲ２０は、地面Ｇなどの反射点においてレーザ光が反射した反射光を受光する。ＬｉＤＡＲ２０は、「レーザセンサ」の一例に対応する。レーザ光は、赤外領域の波長帯の光を発生させる赤外レーザであってもよい。レーザ光は、近赤外線の領域の波長を有してもよい。

【0018】

ＬｉＤＡＲ２０は、受信データを取得する。ＬｉＤＡＲ２０が取得する受信データは、三次元の位置情報を持つ点の集合である点群データを含む。ＬｉＤＡＲ２０が取得する受信データは、反射点の三次元座標値を示す点群データを含み、点群データに含まれる各点に対応するレーザ光の反射強度を含む。

【0019】

撮像装置１０による地面Ｇの撮像、および、ＬｉＤＡＲ２０による受信データの取得は、単位時間毎に実行される。異なる時刻にＬｉＤＡＲ２０が取得した複数の点群データをつなぎ合わせることにより、地面Ｇの三次元マップが生成される。

【0020】

図２は、ダンプトラック１の前進走行時における地面Ｇ上の撮像範囲を示す模式図である。ダンプトラック１は、移動方向ＤＲに走行する。走行するダンプトラック１に搭載されている撮像装置１０が、単位時間毎に地面Ｇを繰り返し撮像する。走行するダンプトラック１に搭載されているＬｉＤＡＲ２０が、単位時間毎に地面Ｇの点群データを繰り返し取得する。図２には、地面Ｇの情報の取得を開始したときを第１回目とした場合の、第（ｎ－１）回目の情報取得によって情報が取得される地面Ｇの範囲Ａ_ｎ－１と、第ｎ回目の情報取得によって情報が取得される地面Ｇの範囲Ａ_ｎと、が示されている。ｎは２以上の整数である。

【0021】

第（ｎ－１）回目の情報取得の時刻から第ｎ回目の情報取得の時刻までに、ダンプトラック１は距離ｘだけ前進走行している。そのため、範囲Ａ_ｎ－１と範囲Ａ_ｎとの間には、移動方向ＤＲに距離ｘ分のずれがある。第（ｎ－１）回目の情報取得で取得された地面Ｇの三次元点群データと、第ｎ回目の情報取得で取得された地面Ｇの三次元点群データと、を適切につなぎ合わせることができれば、精度のよい地面Ｇの三次元マップを広範囲に生成することが可能になる。

【0022】

図３は、地形検知システムのシステム構成を示すブロック図である。図３および後続の図を適宜参照して、地形検知システムが地面Ｇの三次元マップを生成する処理の流れについて、順に説明する。

【0023】

地形検知システムは、図１，２にも示される撮像装置１０およびＬｉＤＡＲ２０に加えて、処理装置３０を備えている。撮像装置１０が撮像した撮像画像１１は、処理装置３０に入力される。撮像画像^ｎＩは、第ｎ回目の情報取得で取得された撮像画像である。撮像画像^ｎ－１Ｉは、第（ｎ－１）回目の情報取得で取得された撮像画像である。図４は、撮像画像１１の一例を示す図である。

【0024】

なお、図３には、簡略化のため、第（ｎ－１）回目および第ｎ回目の情報取得に係る情報の処理のみが示されている。処理装置３０は、第（ｎ－１）回目よりも前の情報取得、および第ｎ回目よりも後の情報取得で取得される情報も同様に処理することは勿論であり、これによって処理装置３０は、地面Ｇの広範囲の三次元マップを生成できる。

【0025】

図５は、撮像画像１１中に抽出される特徴点ｐ_ｔを示す図である。処理装置３０は、撮像装置１０による撮像画像１１から、地面Ｇにおける特徴点ｐ_ｔを抽出する。処理装置３０は、撮像装置１０が撮像した撮像画像１１を画像処理することにより、特徴点ｐ_ｔを抽出する。図３を併せて参照して、処理装置３０は、第（ｎ－１）回目に撮像された撮像画像^ｎ－１Ｉ中の特徴点^ｎ－１ｐ_ｔを、撮像画像^ｎ－１Ｉを画像処理することにより、抽出する。処理装置３０は、第ｎ回目に撮像された撮像画像^ｎＩ中の特徴点^ｎｐ_ｔを、撮像画像^１Ｉを画像処理することにより、抽出する。

【0026】

処理装置３０は、第（ｎ－１）回目に撮像された撮像画像^ｎ－１Ｉ中の特徴点^ｎ－１ｐ_ｔと第ｎ回目に撮像された撮像画像^ｎＩ中の特徴点^ｎｐ_ｔとを対応付ける、マッチングを実行する。処理装置３０は、第（ｎ－１）回目に撮像された撮像画像^ｎ－１Ｉ中の特徴点^ｎ－１ｐ_ｔと第ｎ回目に撮像された撮像画像^ｎＩ中の特徴点^ｎｐ_ｔとのうち、類似度が高い特徴点を選定して、類似度が高い特徴点同士をマッチングする。マッチングされた特徴点は、異なる時刻に撮像された撮像画像^ｎ－１Ｉと撮像画像^ｎＩとに共通して含まれる、地面Ｇ上の同じ点に対応する。

【0027】

図６は、三次元点群データ２１の一例を示す図である。三次元点群データ２１は、ＬｉＤＡＲ２０によって取得される、地面Ｇなどのレーザ光が反射された反射点の三次元の点の集合である。ＬｉＤＡＲ２０が取得した三次元点群データ２１は、処理装置３０に入力される。三次元点群データ^ｎＰＧは、第ｎ回目の情報取得で取得された三次元点群データである。三次元点群データ^ｎ－１ＰＧは、第（ｎ－１）回目の情報取得で取得された三次元点群データである。

【0028】

処理装置３０は、撮像画像１１中の特徴点ｐ_ｔに対応する三次元の点（三次元特徴点）ｐ_ｓを求める。図７は、三次元点群データ２１を画像平面２４に投影する処理を示す模式図である。図７に示されるＬｉＤＡＲ座標系Ｆ１は、ＬｉＤＡＲ２０の位置を原点とする三次元直交座標系である。画像平面２４は、撮像装置１０の光軸に直交する平面である。図７に示される矩形が、撮像装置１０の撮像範囲を示す。ＬｉＤＡＲ２０は、撮像装置１０の撮像範囲を含む範囲の地面Ｇに向けて、レーザ光を照射して、三次元点群データ２１を取得する。図７に示される画像座標系Ｆ２は、画像平面２４上に定義される二次元直交座標系である。画像座標系Ｆ２の第一軸をＵ軸とし、画像座標系Ｆ２の第二軸をＶ軸とする。

【0029】

投影点２５は、三次元点群データ２１に含まれる反射点の三次元の点を、画像平面２４上に投影して二次元化した点である。各投影点２５は、Ｕ座標とＶ座標とを有している。三次元点群データ２１に含まれる多数の三次元の点の各々を、撮像装置１０で撮像した平面に相当する画像平面２４上に投影することにより、二次元化点群データ２６を作り出す。図８は、二次元化点群データ２６の一例を示す図である。二次元化点群データ２６は、三次元点群データ２１を、撮像装置１０と同じ視点から見て二次元化したデータである。したがって二次元化点群データ２６は、地面Ｇを斜め上から俯瞰したデータである。二次元化点群データ２６は、撮像装置１０の撮像範囲と同じ範囲のデータを含んでいる。

【0030】

図９は、画像平面２４上の投影点２５の模式図である。図１０は、画像平面２４上の特徴点ｐ_ｔを示す模式図である。処理装置３０は、画像平面２４上で特徴点ｐ_ｔがどの位置にあるのかを求める。処理装置３０は、図５に示される撮像画像１１と、図８に示される二次元化点群データ２６とを重ねたときに、撮像画像１１中の特徴点ｐ_ｔと、三次元座標がわかっているＬｉＤＡＲ２０の点群に対応する投影点２５と、を比較する。

【0031】

図１１は、特徴点を三次元化する処理の模式図である。図１１には、図１０中に示される領域ＸＩを拡大した図が模式的に図示されている。処理装置３０は、特徴点ｐ_ｔに近い投影点２５、典型的には特徴点ｐ_ｔを取り囲む三点の投影点２５を抽出する。図１１に示される点ｐ_１，ｐ_２，ｐ_３は、画像平面２４上の３点の投影点２５の一例である。特徴点ｐ_ｔは、点ｐ_１，ｐ_２，ｐ_３を頂点とする三角形に内包されている。画像座標系Ｆ２における点ｐ_１の座標が（ｕ_１，ｖ_１）であり、画像座標系Ｆ２における点ｐ_２の座標が（ｕ_２，ｖ_２）であり、画像座標系Ｆ２における点ｐ_３の座標が（ｕ_３，ｖ_３）である。また、画像座標系Ｆ２における点ｐ_ｔの座標を（ｕ_ｓ，ｖ_ｓ）とする。

【0032】

処理装置３０は、特徴点ｐ_ｔを三次元化した三次元特徴点ｐ_ｓの三次元座標を、投影点２５に対応する三次元の反射点の三次元座標を用いて、重心演算することにより求める。処理装置３０は、三次元特徴点ｐ_ｓの三次元座標を、点ｐ_１，ｐ_２，ｐ_３に対応する三次元の点を三次元補間することにより、求める。ＬｉＤＡＲ２０によって取得された三次元の点群に含まれる点のうち、点ｐ_１に対応する三次元の点を、点ｐ_ｓ１とする。点ｐ_２に対応する三次元の点を、点ｐ_ｓ２とする。点ｐ_３に対応する三次元の点を、点ｐ_ｓ３とする。三次元特徴点ｐ_ｓの三次元座標は、点ｐ_ｓ１，ｐ_ｓ２，ｐ_ｓ３の三次元座標に重みｍ_１，ｍ_２，ｍ_３を係数として掛けることにより、以下の式（１）で求められる。

【0033】

【数1】

【0034】

ここで、重みｍ_１，ｍ_２，ｍ_３は、図１１に示される特徴点ｐ_ｔが、近傍の投影点２５である点ｐ_１，ｐ_２，ｐ_３で形成される三角形の重心となるように、算出される。具体的に、重みｍ_１，ｍ_２，ｍ_３は、以下の式（２）で求められる。

【0035】

【数2】

【0036】

処理装置３０は、画像平面２４上の特徴点ｐ_ｔの個数だけ、特徴点ｐ_ｔを内包する近傍３点の抽出と、式（２）に従った重みｍ_１，ｍ_２，ｍ_３の算出と、式（１）に従った三次元特徴点ｐ_ｓの三次元座標の算出と、を繰り返す。図３に示されるように、処理装置３０は、第（ｎ－１）回目の撮像画像^ｎ－１Ｉ中の特徴点^ｎ－１ｐ_ｔを、三次元点群データ^ｎ－１ＰＧに含まれる反射点の点群の三次元座標を用いて三次元化した、三次元特徴点^ｎ－１ｐ_ｓを求める。処理装置３０は、第ｎ回目の撮像画像^ｎＩ中の特徴点^ｎｐ_ｔを、三次元点群データ^ｎＰＧに含まれる反射点の点群の三次元座標を用いて三次元化した、三次元特徴点^ｎｐ_ｓを求める。

【0037】

処理装置３０は、次に、第ｎ回目の三次元特徴点^ｎｐ_ｓを第（ｎ－１）回目の三次元特徴点^ｎ－１ｐ_ｓに重ね合わせるための関係式である、座標変換行列を算出する。図１２は、座標変換行列を算出する処理を示す模式図である。

【0038】

図１２に示される、ＬｉＤＡＲ座標系^ｎ－１Ｆ１は、第（ｎ－１）回目の情報取得をしたときのＬｉＤＡＲ２０の位置を原点とする座標系である。点^ｎ－１ｐ_ｓ１，^ｎ－１ｐ_ｓ２，…，^ｎ－１ｐ_ｓｉは、各々、第（ｎ－１）回目の撮像画像中の特徴点を三次元化した三次元特徴点である。処理装置３０は、第（ｎ－１）回目の三次元特徴点を、複数求めている。

【0039】

図１２に示される、ＬｉＤＡＲ座標系^ｎＦ１は、第ｎ回目の情報取得をしたときのＬｉＤＡＲ２０の位置を原点とする座標系である。点^ｎｐ_ｓ１，^ｎｐ_ｓ２，…，^ｎｐ_ｓｉは、各々、第ｎ回目の撮像画像中の特徴点を三次元化した三次元特徴点である。処理装置３０は、第ｎ回目の三次元特徴点を、複数求めている。

【0040】

第（ｎ－１）回目の三次元特徴点と第ｎ回目の三次元特徴点とは、異なる三次元座標を有している。第（ｎ－１）回目の１番目の三次元特徴点^ｎ－１ｐ_ｓ１と、第ｎ回目の１番目の三次元特徴点^ｎｐ_ｓ１とが対応している。第（ｎ－１）回目の２番目の三次元特徴点^ｎ－１ｐ_ｓ２と、第ｎ回目の２番目の三次元特徴点^ｎｐ_ｓ２とが対応している。第（ｎ－１）回目のｉ番目の三次元特徴点^ｎ－１ｐ_ｓｉと、第ｎ回目のｉ番目の三次元特徴点^ｎｐ_ｓｉとが対応している。

【0041】

処理装置３０は、第ｎ回目のＬｉＤＡＲ座標系^ｎＦ１を第（ｎ－１）回目のＬｉＤＡＲ座標系^ｎ－１Ｆ１に変換するための、座標変換行列（^ｎ－１Ｒ_ｎ，^ｎ－１ｔ_ｎ）^＊を算出する。座標変換行列は、回転行列^ｎ－１Ｒ_ｎと、平行移動行列^ｎ－１ｔ_ｎとを含んでいる。処理装置３０は、対応する三次元特徴点間の距離の総合計が最小となる座標変換行列（^ｎ－１Ｒ_ｎ，^ｎ－１ｔ_ｎ）^＊を求める。処理装置３０は、第ｎ回目の三次元特徴点の三次元座標を座標変換した座標変換後の三次元座標と、第（ｎ－１）回目の三次元特徴点の三次元座標と、の間の距離を算出して、その距離の総和が最小となるような関係式を求める。この関係式に基づいて、第ｎ回目の三次元特徴点を座標変換することで、座標変換後の第ｎ回目の三次元特徴点が、第（ｎ－１）回目の三次元特徴点に重ね合わされる。

【0042】

ここで、処理装置３０は、三次元特徴点を合わせて三次元マップを生成するが、ＬｉＤＡＲ２０によって取得される三次元点群データ２１の中には、誤検出された点が含まれることがある。具体的に、作業現場を他の作業機械が走行することにより、作業現場に粉塵が発生する。ＬｉＤＡＲ２０が射出するレーザ光が粉塵に反射することがある。ＬｉＤＡＲ２０が照射するレーザ光が反射される反射点は、地面Ｇ上の測定点だけでなく、粉塵を含むことがある。

【0043】

図１３は、粉塵を含む三次元点群データ２１Ａを示す図である。図１４は、粉塵を含む反射点の反射強度を示す図である。図１４には、取得した三次元点群のうち、ランダムに抽出した１００個の点を、各反射点における反射強度で整理した図が、表示されている。図１４中の各点を表すマーカの色および形状が、反射強度の大小に対応している。図１４において、黒丸のマーカで示される点の反射強度が最も小さく、マーカの色が薄くなるに従って反射強度が大きくなる。また、マーカの形状が黒丸、白四角、白三角、白ひし形、＋印の順に、反射強度が大きい。

【0044】

図１３，１４に示されるように、粉塵の影響で、三次元特徴点の三次元座標が地面Ｇ上の座標ではない誤った座標になることがある。具体的に、図１４中の左上部分にプロットされるべき地面の点群が、粉塵の影響で間違った位置に誤検出されて、図１４中の中央下部分にプロットされている。その場合、三次元マップが正しい形状にならないことがある。また、三次元特徴点を合わせることができずに、三次元マップを生成できないことがある。

【0045】

そのため、実施形態の処理装置３０は、粉塵の影響を低減することで、三次元マップの生成の精度を向上させている。具体的に、処理装置３０は、レーザ光の反射強度を、三次元特徴点間の距離を計算するときの重み付け係数として用いる。図１４に示されるように、粉塵の影響で誤検出された点は黒丸のマーカで表示されており、粉塵で反射したレーザ光の反射強度は小さいことがわかっている。

【0046】

そのため、処理装置３０は、重み付け係数として反射強度を使い、距離に反射強度を掛けた重み付き距離の総和が最小となるような座標変換行列を求める。処理装置３０は、以下の式（３）に従って、座標変換行列（^ｎ－１Ｒ_ｎ，^ｎ－１ｔ_ｎ）^＊を求める。

【0047】

【数3】

【0048】

式（３）中の反射強度^ｎＩ_ｉは、第ｎ回目のｉ番目の三次元特徴点^ｎｐ_ｓｉの算出に用いられたＬｉＤＡＲ２０の点の反射強度を示す。ｍｉｎ（^ｎ－１Ｉ_ｉ，^ｎＩ_ｉ）は、第（ｎ－１）回目および第ｎ回目の三次元特徴点の算出に用いられたＬｉＤＡＲ２０の反射点の反射強度のうちの、最小の反射強度を示す。式（３）に従って、第ｎ回目のｉ番目の三次元特徴点^ｎｐ_ｓｉを回転行列^ｎ－１Ｒ_ｎによって回転し平行移動行列^ｎ－１ｔ_ｎによって平行移動させる座標変換をした点と、第（ｎ－１）回目のｉ番目の三次元特徴点^ｎ－１ｐ_ｓｉと、の距離に、反射強度を考慮した重み付け係数ｍｉｎ（^ｎ－１Ｉ_ｉ，^ｎＩ_ｉ）を掛けた積の総和が最小になるような、座標変換行列（^ｎ－１Ｒ_ｎ，^ｎ－１ｔ_ｎ）^＊が求められる。

【0049】

図１５は、反射強度を考慮しない地面Ｇの形状を示す図である。図１５（ａ）は地面Ｇを平面視した図であり、図１５（ｂ）は地面Ｇを側面視した図である。図中の左側から右側に向かう方向が、移動方向ＤＲである。図１５では、反射強度を考慮せずに座標変換行列を求めて、その求められた座標変換行列を用いて三次元特徴点を合わせる処理をした結果が示されている。

【0050】

図１５では、粉塵の影響によって、三次元特徴点を重ね合わせることができていない。典型的に、側面視した地面Ｇの形状は線状に示されるはずであるが、図１５（ｂ）に示されるように、三次元特徴点が正しく合わせられていないことで、地面Ｇが高さ方向に幅を持った不適切な形状となっている。

【0051】

図１６は、反射強度を考慮した地面Ｇの形状を示す図である。図１６（ａ）は地面Ｇを平面視した図であり、図１６（ｂ）は地面Ｇを側面視した図である。図中の左側から右側に向かう方向が、移動方向ＤＲである。図１６では、反射強度を考慮した重み付き距離の総合計を最小化するような座標変換行列を求めて、その求められた座標変換行列を用いて三次元特徴点を合わせる処理をした結果が示されている。

【0052】

粉塵にレーザ光が反射した反射強度は小さいので、距離に反射強度を掛ける重み付き距離を用いることで、粉塵の影響が低減されている。座標変換行列を求めるときに、レーザ光が粉塵に反射した誤検出された点の影響を小さくすることで、三次元特徴点を重ね合わせることが可能になっている。典型的に、図１６（ｂ）に示されるように、側面視した地面Ｇの形状は、線状の適切な形状となっている。

【0053】

図１７は、三次元マップ５０の一例を示す図である。処理装置３０は、適切な座標変換行列を求めて、その座標変換行列を用いて三次元特徴点を重ね合わせるようにして、異なる時刻に取得された複数の三次元点群データ２１をつなぎ合わせる。このようにして、図１７に示されるように、広範囲の地面Ｇの三次元マップ５０を精度よく生成することができる。

【0054】

以上説明したように、実施形態の地形検知システムは、図３に示されるように、ＬｉＤＡＲ２０と処理装置３０とを備えている。図１，６に示されるように、ＬｉＤＡＲ２０は、地面Ｇに向けてレーザ光を照射して、レーザ光の反射強度を含む受信データを取得する。図１２，１６～１７に示されるように、処理装置３０は、レーザ光の反射強度を用いて複数の受信データをつなぎ合わせて、地面Ｇの三次元マップ５０を生成する。

【0055】

ＬｉＤＡＲ２０によって取得された三次元の受信データは、反射強度を含んでいる。異なる時刻に取得した複数の受信データを互いにつなぎ合わせる処理をする際に、その反射強度を使うことで、粉塵の影響を小さくすることができる。作業現場に粉塵が発生している状況下においても、受信データのつなぎ合わせのズレを小さくすることができ、地面Ｇの三次元マップ５０を精度よく生成することができる。

【0056】

図７に示されるように、ＬｉＤＡＲ２０の取得する受信データは、レーザ光が反射された反射点の三次元座標を含んでもよい。ＬｉＤＡＲ２０が地面Ｇに向けてレーザ光を照射してからレーザ光が反射点で反射した反射光をＬｉＤＡＲ２０が受光するまでの時間と、レーザ光の照射角度とに基づいて、ＬｉＤＡＲ２０は反射点の三次元座標を取得することができる。

【0057】

図１に示されるように、撮像装置１０は、地面Ｇを撮像し、ＬｉＤＡＲ２０は、撮像装置１０の撮像範囲を含む範囲の地面Ｇにレーザ光を照射してもよい。処理装置３０は、撮像装置１０による撮像画像１１と撮像画像１１に対応する画像平面２４とを重ね合わせて、撮像画像１１中の特徴点ｐ_ｔと、ＬｉＤＡＲ２０によって取得された三次元点群データ２１を画像平面２４上に投影した投影点２５と、を比較することができる。処理装置３０は、撮像画像１１中の特徴点ｐ_ｔの近傍の投影点２５の三次元座標を用いて、特徴点ｐ_ｔの三次元座標を算出することができる。

【0058】

図５に示されるように、処理装置３０は、撮像装置１０による撮像画像１１から、地面Ｇにおける特徴点ｐ_ｔを抽出してもよい。ＬｉＤＡＲ２０によって取得された地面Ｇの三次元点群データ２１から特徴点を見つけるのは、困難である。一方、グレースケール画像である撮像画像１１を使うと、明暗のコントラストで、異なる時刻に撮像された２つの撮像画像に共通して含まれる地面Ｇ上の同じ点を、容易に見つけることができる。この地面Ｇ上の点を、特徴点ｐ_ｔとして抽出することができる。

【0059】

図１０，１１に示されるように、処理装置３０は、反射点の三次元座標を用いて、重心演算することにより特徴点ｐ_ｔの三次元座標を算出してもよい。処理装置３０は、特徴点ｐ_ｔを内包する三角形の頂点を成す３つの投影点２５を見出し、その三角形の重心に特徴点ｐ_ｔが位置するように、重みｍ_１，ｍ_２，ｍ_３を算出する。処理装置３０は、三角形の頂点を成す３つの投影点２５に対応する三次元座標に、重みｍ_１，ｍ_２，ｍ_３を掛け合わせることにより、特徴点ｐ_ｔの三次元座標を精度よく算出することができる。

【0060】

図１４に示されるように、処理装置３０は、特徴点ｐ_ｔの三次元座標を座標変換した座標変換後の三次元座標と、異なる時刻に撮像された撮像画像１１から抽出された特徴点ｐ_ｔの三次元座標と、の距離を小さくする関係式を求めるときに、反射強度を重み付け係数として用いてもよい。特徴点ｐ_ｔの三次元座標を算出するときに反射点の三次元座標が使用されるが、その反射点が地面Ｇ上になく粉塵であることがある。粉塵に反射したレーザ光の反射強度は、地面Ｇに対する反射強度よりも小さいことが知られている。レーザ光の反射強度を重み付け係数として用いることにより、粉塵によって誤検出された反射点の影響を確実に小さくすることができる。

【0061】

図１１，１４に示されるように、処理装置３０は、特徴点ｐ_ｔの三次元座標の算出に用いられた反射点の反射強度のうちの最小の反射強度を、重み付け係数として用いてもよい。特徴点ｐ_ｔの三次元座標は、特徴点ｐ_ｔを内包する三角形の頂点を成す３つの投影点２５に対応する３つの反射点の三次元座標を用いて、算出される。これら３つの反射点のうちのいずれかの反射点が粉塵であると、その反射点の反射強度が小さくなる。複数の反射点のうちの最小の反射強度を重み付け係数として用いることにより、粉塵によって誤検出された反射点の影響を確実に小さくすることができる。

【0062】

処理装置３０は、特徴点ｐ_ｔの三次元座標を座標変換した座標変換後の三次元座標と、異なる時刻に撮像された撮像画像１１から抽出された特徴点ｐ_ｔの三次元座標と、の距離に、重み付け係数を掛けた積の総和が最小となる関係式を求めてもよい。地面Ｇ上の特徴点ｐ_ｔの三次元座標と粉塵の三次元座標との距離が大きい場合でも、その距離に掛けられる重み付け係数を小さくすることで、粉塵の影響を確実に小さくすることができる。

【0063】

図１に示されるように、ＬｉＤＡＲ２０はダンプトラック１に搭載されていてもよい。ダンプトラック１が作業現場を走行するときに、ＬｉＤＡＲ２０によって地面Ｇの受信データをリアルタイムに取得することができ、これにより作業現場の精度よい三次元マップ５０を生成することができる。作業現場の地面Ｇ上に轍、水たまりなどの損傷が存在する場合に、その損傷を発見することが容易になるので、損傷を早期に補修して作業機械の燃費および安全性を改善することができる。

【0064】

図１に示されるように、ＬｉＤＡＲ２０は、走行するダンプトラック１の前方の地面Ｇに向けて、レーザ光を照射してもよい。ダンプトラック１は、マテリアルを運搬するために作業現場を前進走行することが多い。ダンプトラック１が作業現場を走行しながら、ＬｉＤＡＲ２０によって地面Ｇの受信データをリアルタイムに取得することができ、受信データをつなぎ合わせて作業現場の地面Ｇの精度よい三次元マップ５０を生成することができる。

【0065】

上記の実施形態では、作業現場の粉塵の影響を低減して地面Ｇの三次元マップ５０を精度よく生成する例について説明した。ＬｉＤＡＲ２０は、粉塵だけでなく、降雪および霧を誤検出する可能性がある。レーザ光が、雪または霧の水滴で反射される可能性がある。実施形態の地形検知システムによれば、降雪および霧の影響も小さくすることができ、地面Ｇの精度よい三次元マップ５０を生成することができる。

【0066】

実施形態では、撮像装置１０およびＬｉＤＡＲ２０がダンプトラック１に搭載されている例について説明した。撮像装置１０およびＬｉＤＡＲ２０を搭載する作業機械は、ブルドーザ、ホイールローダ、モータグレーダなどの、他の種類の走行して作業をする作業機械であってもよい。作業機械における、撮像装置１０およびＬｉＤＡＲ２０の設置場所および設置方向は限定されない。撮像装置１０は、作業機械の前方以外の地面を撮像してもよく、ＬｉＤＡＲ２０は、作業機械の前方以外の地面に向けてレーザ光を照射してもよい。たとえば、撮像装置１０は、作業機械の後部に配置されて作業機械の後方の地面を撮像してもよく、ＬｉＤＡＲ２０は、作業機械の後部に配置されて作業機械の後方の地面に向けてレーザ光を照射してもよい。

【0067】

撮像装置１０およびＬｉＤＡＲ２０は、作業機械の外部に配置されてもよい。撮像装置１０およびＬｉＤＡＲ２０は、ドローンなどの無人航空機に搭載されてもよい。撮像装置１０およびＬｉＤＡＲ２０は、専用の計測車に搭載されてもよい。

【0068】

実施形態の地形検知システムで生成された地面Ｇの三次元マップ５０を用いれば、作業現場の現況地形をより正確に認識することができる。この現況地形に基づいて、自動運行されている作業機械に、障害物回避などの動作を行わせることができる。また、現況地形に基づいて、マシンガイダンス、マシンコントロールなどの情報化施工を、より正確に実行することが可能になる。

【0069】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0070】

１ ダンプトラック、２ 車体フレーム、３ キャブ、４ ベッセル、５ 前輪、６ 後輪、１０ 撮像装置、１１ 撮像画像、２０ ＬｉＤＡＲ、２１，２１Ａ 三次元点群データ、２４ 画像平面、２５ 投影点、２６ 二次元化点群データ、３０ 処理装置、５０ 三次元マップ、ＤＲ 移動方向、Ｆ１ ＬｉＤＡＲ座標系、Ｆ２ 画像座標系、Ｇ 地面、ｐ_ｔ 特徴点、ｐ_ｓ 三次元特徴点。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】