特許 6906587 建設機械設備の回転角度を確定するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6906587

(24)【登録日】2021年7月1日

(45)【発行日】2021年7月21日

(54)【発明の名称】建設機械設備の回転角度を確定するための方法および装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20210708BHJP

   G06T 7/593 20170101ALI20210708BHJP

   G01B 11/26 20060101ALI20210708BHJP

【ＦＩ】

   G06T7/70 B

   G06T7/593

   G01B11/26 H

【請求項の数】13

【外国語出願】

【全頁数】23

(21)【出願番号】特願2019-202449(P2019-202449)

(22)【出願日】2019年11月7日

(65)【公開番号】特開2020-140697(P2020-140697A)

(43)【公開日】2020年9月3日

【審査請求日】2019年12月2日

(31)【優先権主張番号】201910152372.9

(32)【優先日】2019年2月28日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】シンジン・チェン

(72)【発明者】

【氏名】ルイガン・ヤン

(72)【発明者】

【氏名】フェイシアン・ル

(72)【発明者】

【氏名】ヤジュエ・ヤン

(72)【発明者】

【氏名】ハオ・シュ

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 特表２０１５−５０５７５９（ＪＰ，Ａ）

【文献】 米国特許第０８９０９４６７（ＵＳ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／５９３

Ｇ０１Ｂ １１／２６

(57)【特許請求の範囲】

【請求項1】

建設機械設備の回転角度を確定するための方法であって、
建設機械設備の回転部の回転中に前記建設機械設備の回転部に設けられた双眼カメラによって取り込まれた距離画像シーケンスを取得するステップと、
前記距離画像シーケンスを３次元点群シーケンスに変換するステップと、
前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するステップと、
前記３次元点群フレーム間のマッチングポイントに基づいて建設機械設備の回転部の回転中における前記双眼カメラの回転角度を前記建設機械設備の回転角度として確定するステップと、を含む方法。

【請求項2】

前記方法は、建設機械設備の回転部の回転中に前記建設機械設備の回転部の回転軸に設けられた角度センサーによって取り込まれた回転角センシングデータを取得するステップをさらに含み、
前記３次元点群フレーム間のマッチングポイントに基づいて建設機械設備の回転部の回転中における前記双眼カメラの回転角度を前記建設機械設備の回転角度として確定するステップは、
前記３次元点群フレームに対応する回転角センシングデータを前記３次元点群フレームに対応する回転角の初期推定範囲とし、前記初期推定範囲内において、前記３次元点群フレーム間のマッチングポイントに基づいて、建設機械設備の回転部の回転中における前記双眼カメラの回転角度を確定することを含む、請求項１に記載の方法。

【請求項3】

前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するステップは、
前記３次元点群シーケンスにおける現在の３次元点群フレームのそれぞれについて、前記現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントを確定することを含み、
前記３次元点群フレーム間のマッチングポイントに基づいて建設機械設備の回転部の回転中における前記双眼カメラの回転角度を前記建設機械設備の回転角度として確定するステップは、
前記３次元点群シーケンスにおける現在の３次元点群フレームのそれぞれについて、前記現在の３次元点群フレームと前記現在の３次元点群フレームの前の３次元点群フレームにおける、前記現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントの３次元座標に基づいて、前記現在の３次元点群フレームと前記現在の３次元点群フレームの前の３次元点群フレームに対応する距離画像フレーム間の回転角を推定することと、
前記距離画像シーケンスにおける対応する距離画像の位置に基づいて、前記３次元点群シーケンスにおける各隣接する３次元点群フレームに対応する距離画像フレーム間の回転角を順次累積して、前記距離画像シーケンスにおける最初のフレーム画像及び最後のフレーム画像を取り込む際の前記双眼カメラの相対的な回転角度を前記建設機械設備の回転角度として取得することと、を含む、請求項１または２に記載の方法。

【請求項4】

前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するステップは、
前記３次元点群シーケンスにおける３次元点群フレームをサンプリングして、前記３次元点群シーケンスにおける最初の３次元点群フレームと最後の３次元点群フレームを含むサンプリングシーケンスを取得することと、
前記サンプリングシーケンスにおける各隣接する３次元点群フレームからなる各３次元点群フレームペアについて、３次元点群フレームペアにおける２つの３次元点群フレーム間のマッチングポイントを確定することと、を含み、
前記３次元点群フレーム間のマッチングポイントに基づいて建設機械設備の回転部の回転中における前記双眼カメラの回転角度を前記建設機械設備の回転角度として確定するステップは、
前記３次元点群フレームペアにおける２つの３次元点群フレーム間のマッチングポイントの３次元座標に基づいて、前記３次元点群フレームペアにおける２つの３次元点群フレームに対応する距離画像フレーム間の回転角を推定することと、
前記距離画像シーケンスにおける対応する距離画像の位置に基づいて、各３次元点群フレームペアにおける２つの３次元点群フレームに対応する距離画像フレーム間の回転角を順次累積して、前記距離画像シーケンスにおける最初のフレーム画像と最後のフレーム画像を取り込む際の前記双眼カメラの相対的な回転角度を前記建設機械設備の回転角度として取得することと、を含む、請求項１または２に記載の方法。

【請求項5】

前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するステップは、
前記３次元点群について特徴ポイントの抽出を行うことと、
抽出された２つの３次元点群フレームの特徴ポイントについてマッチングを行い、前記２つの３次元点群フレーム間のマッチングポイントを取得することと、を含む、請求項１に記載の方法。

【請求項6】

建設機械設備の回転角度を確定するための装置であって、
建設機械設備の回転部の回転中に前記建設機械設備の回転部に設けられた双眼カメラによって取り込まれた距離画像シーケンスを取得するように構成された第１取得ユニットと、
前記距離画像シーケンスを３次元点群シーケンスに変換するように構成された変換ユニットと、
前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定し、前記３次元点群フレーム間のマッチングポイントに基づいて、建設機械設備の回転部の回転中における前記双眼カメラの回転角度を前記建設機械設備の回転角度として確定するように構成された確定ユニットと、を含む装置。

【請求項7】

前記装置は、建設機械設備の回転部の回転中に前記建設機械設備の回転部の回転軸に設けられた角度センサーによって取り込まれた回転角センシングデータを取得するように構成された第２取得ユニットをさらに含み、
前記確定ユニットはさらに、
前記３次元点群フレームに対応する回転角センシングデータを前記３次元点群フレームに対応する回転角の初期推定範囲とし、前記初期推定範囲内で前記３次元点群フレーム間のマッチングポイントに基づいて前記双眼カメラの回転角度を確定することにより、
建設機械設備の回転部の回転中における前記双眼カメラの回転角度を確定するように構成されている、請求項６に記載の装置。

【請求項8】

前記確定ユニットはさらに、前記３次元点群シーケンスにおける各現在の３次元点群フレームについて、前記現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントを確定することにより、前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するように構成されており、
前記確定ユニットはさらに、前記３次元点群フレーム間のマッチングポイントに基づいて、
前記３次元点群シーケンスにおける各現在の３次元点群フレームについて、前記現在の３次元点群フレームと前記現在の３次元点群フレームの前の３次元点群フレームにおける、前記現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントの３次元座標に基づいて、前記現在の３次元点群フレームと前記現在の３次元点群フレームの前の３次元点群フレームに対応する距離画像フレーム間の回転角を推定することと、
前記距離画像シーケンスにおける対応する距離画像の位置に基づいて、前記３次元点群シーケンスにおける各隣接する３次元点群フレームに対応する距離画像フレーム間の回転角を順次累積して、前記距離画像シーケンスにおける最初のフレーム画像と最後のフレーム画像を取り込む際の前記双眼カメラの相対的な回転角度を前記建設機械設備の回転角度として取得することと、により、
前記双眼カメラの相対的な回転角度を前記建設機械設備の回転角度として確定するように構成されている、請求項６または７に記載の装置。

【請求項9】

前記確定ユニットはさらに、
前記３次元点群シーケンスにおける３次元点群フレームをサンプリングして、前記３次元点群シーケンスにおける最初の３次元点群フレームと最後の３次元点群フレームを含むサンプリングシーケンスを取得することと、
前記サンプリングシーケンスにおける各隣接する３次元点群フレームからなる各３次元点群フレームペアについて、３次元点群フレームペアにおける２つの３次元点群フレーム間のマッチングポイントを確定することと、により、
前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するように構成されており、
前記確定ユニットはさらに、前記３次元点群フレーム間のマッチングポイントに基づいて、
前記３次元点群フレームペアにおける２つの３次元点群フレーム間のマッチングポイントの３次元座標に基づいて、前記３次元点群フレームペアにおける２つの３次元点群フレームに対応する距離画像フレーム間の回転角を推定することと、
前記距離画像シーケンスにおける対応する距離画像の位置に基づいて、各３次元点群フレームペアにおける２つの３次元点群フレームに対応する距離画像フレーム間の回転角を順次累積して、前記距離画像シーケンスにおける最初のフレーム画像と最後のフレーム画像を取り込む際の前記双眼カメラの相対的な回転角度を前記建設機械設備の回転角度として取得することと、により、
前記双眼カメラの回転角度を前記建設機械設備の回転角度として確定するように構成されている、請求項６または７に記載の装置。

【請求項10】

前記確定ユニットはさらに、
前記３次元点群について特徴ポイントの抽出を行うことと、
抽出された２つの３次元点群フレームの特徴ポイントについてマッチングを行い、前記２つの３次元点群フレーム間のマッチングポイントを取得することと、により、
前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するように構成されている、請求項６に記載の装置。

【請求項11】

１つまたは複数のプロセッサと、１つまたは複数のプログラムを格納するための記憶装置と、を含む電子機器であって、
前記１つまたは複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに請求項１から５のいずれか一項に記載の方法を実施させる、電子機器。

【請求項12】

コンピュータープログラムが格納されているコンピューター可読媒体であって、
前記プログラムは、プロセッサによって実行されると、請求項１から５のいずれか一項に記載の方法を実施する、コンピューター可読媒体。

【請求項13】

コンピュータープログラムであって、
前記コンピュータープログラムがプロセッサにより実行されると、請求項１から５のいずれか一項に記載の方法を実現する、コンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願の実施形態はコンピューター技術分野に関し、詳しくは建設機械設備分野に関し、特に建設機械設備の回転角度を確定するための方法および装置に関する。

【背景技術】

【0002】

無人建設機械設備は、様々なセンサーを介して、作業操作の対象を検知し、操作の動作を計画し、操作の命令を実行するインテリジェントなエンジニアリング機器である。無人建設機械設備は、エンジニアリングタスクを実行する際に、ボディやロボットアームなどの回転部品をターゲット領域まで回転させる必要があるため、回転角度を正確かつ迅速に確定する必要がある。現在の解決手段は、建設機械の回転軸に角度センサーを設け、センサーでデータをリアルタイムに読み取ることにより、建設機械設備の回転角度を確定することである。

【発明の概要】

【課題を解決するための手段】

【0003】

本出願の実施形態は、建設機械設備の回転角度を確定するための方法、装置、電子機器、およびコンピューター可読媒体を提案する。

【0004】

第１の態様において、本開示の実施形態は、建設機械設備の回転部の回転中に前記建設機械設備の回転部に設けられた双眼カメラによって取り込まれた距離画像（ｄｅｐｔｈ ｉｍａｇｅ）シーケンスを取得するステップと、前記距離画像シーケンスを３次元点群シーケンスに変換するステップと、前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定し、前記３次元点群フレーム間のマッチングポイントに基づいて建設機械設備の回転部の回転中における前記双眼カメラの回転角度を前記建設機械設備の回転角度として確定するステップと、を含む、建設機械設備の回転角度を確定するための方法を提供する。

【0005】

いくつかの実施形態において、前記方法は、建設機械設備の回転部の回転中に前記建設機械設備の回転部の回転軸に設けられた角度センサーによって取り込まれた回転角センシングデータを取得するステップをさらに含み、前記３次元点群フレーム間のマッチングポイントに基づいて建設機械設備の回転部の回転中における前記双眼カメラの回転角度を確定するステップは、前記３次元点群フレームに対応する回転角センシングデータを前記３次元点群フレームに対応する回転角の初期推定範囲とし、前記初期推定範囲内において、前記３次元点群フレーム間のマッチングポイントに基づいて、建設機械設備の回転部の回転中における前記双眼カメラの回転角度を確定することを含む。

【0006】

いくつかの実施形態において、前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するステップは、前記３次元点群シーケンスにおける現在の３次元点群フレームのそれぞれについて、前記現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントを確定することを含み、
前記３次元点群フレーム間のマッチングポイントに基づいて建設機械設備の回転部の回転中における前記双眼カメラの回転角度を前記建設機械設備の回転角度として確定するステップは、前記３次元点群シーケンスにおける現在の３次元点群フレームのそれぞれについて、前記現在の３次元点群フレームと前記現在の３次元点群フレームの前の３次元点群フレームにおける、前記現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントの３次元座標に基づいて、前記現在の３次元点群フレームと前記現在の３次元点群フレームの前の３次元点群フレームに対応する距離画像フレーム間の回転角を推定することと、前記距離画像シーケンスにおける対応する距離画像の位置に基づいて、前記３次元点群シーケンスにおける各隣接する３次元点群フレームに対応する距離画像フレーム間の回転角を順次累積して、前記距離画像シーケンスにおける最初のフレーム画像及び最後のフレーム画像を取り込む際の前記双眼カメラの相対的な回転角度を前記建設機械設備の回転角度として取得することと、を含む。

【0007】

いくつかの実施形態において、前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するステップは、前記３次元点群シーケンスにおける３次元点群フレームをサンプリングして、前記３次元点群シーケンスにおける最初の３次元点群フレームと最後の３次元点群フレームを含むサンプリングシーケンスを取得することと、前記サンプリングシーケンスにおける各隣接する３次元点群フレームからなる各３次元点群フレームペアについて、３次元点群フレームペアにおける２つの３次元点群フレーム間のマッチングポイントを確定することと、を含み、
前記３次元点群フレーム間のマッチングポイントに基づいて建設機械設備の回転部の回転中における前記双眼カメラの回転角度を前記建設機械設備の回転角度として確定するステップは、前記３次元点群フレームペアにおける２つの３次元点群フレーム間のマッチングポイントの３次元座標に基づいて、前記３次元点群フレームペアにおける２つの３次元点群フレームに対応する距離画像フレーム間の回転角を推定することと、前記距離画像シーケンスにおける対応する距離画像の位置に基づいて、各３次元点群フレームペアにおける２つの３次元点群フレームに対応する距離画像フレーム間の回転角を順次累積して、前記距離画像シーケンスにおける最初のフレーム画像と最後のフレーム画像を取り込む際の前記双眼カメラの相対的な回転角度を前記建設機械設備の回転角度として取得することと、を含む。

【0008】

いくつかの実施形態において、前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するステップは、前記３次元点群について特徴ポイントの抽出を行うことと、抽出された２つの３次元点群フレームの特徴ポイントについてマッチングを行い、前記２つの３次元点群フレーム間のマッチングポイントを取得することと、を含む。

【0009】

第２の態様において、本開示の実施形態は、建設機械設備の回転部の回転中に前記建設機械設備の回転部に設けられた双眼カメラによって取り込まれた距離画像シーケンスを取得するように構成された第１取得ユニットと、前記距離画像シーケンスを３次元点群シーケンスに変換するように構成された変換ユニットと、前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定し、前記３次元点群フレーム間のマッチングポイントに基づいて、建設機械設備の回転部の回転中における前記双眼カメラの回転角度を前記建設機械設備の回転角度として確定するように構成された確定ユニットと、を含む、建設機械設備の回転角度を確定するための装置を提供する。

【0010】

いくつかの実施形態において、前記装置は、建設機械設備の回転部の回転中に前記建設機械設備の回転部の回転軸に設けられた角度センサーによって取り込まれた回転角センシングデータを取得するように構成された第２取得ユニットをさらに含み、
前記確定ユニットはさらに、前記３次元点群フレームに対応する回転角センシングデータを前記３次元点群フレームに対応する回転角の初期推定範囲とし、前記初期推定範囲内で前記３次元点群フレーム間のマッチングポイントに基づいて前記双眼カメラの回転角度を確定することにより、建設機械設備の回転部の回転中における前記双眼カメラの回転角度を確定するように構成されている。

【0011】

いくつかの実施形態において、前記確定ユニットはさらに、前記３次元点群シーケンスにおける各現在の３次元点群フレームについて、前記現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントを確定することにより、前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するように構成されており、
前記確定ユニットはさらに、前記３次元点群シーケンスにおける各現在の３次元点群フレームについて、前記現在の３次元点群フレームと前記現在の３次元点群フレームの前の３次元点群フレームにおける、前記現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントの３次元座標に基づいて、前記現在の３次元点群フレームと前記現在の３次元点群フレームの前の３次元点群フレームに対応する距離画像フレーム間の回転角を推定することと、前記距離画像シーケンスにおける対応する距離画像の位置に基づいて、前記３次元点群シーケンスにおける各隣接する３次元点群フレームに対応する距離画像フレーム間の回転角を順次累積して、前記距離画像シーケンスにおける最初のフレーム画像と最後のフレーム画像を取り込む際の前記双眼カメラの相対的な回転角度を前記建設機械設備の回転角度として取得することとにより、前記３次元点群フレーム間のマッチングポイントに基づいて前記双眼カメラの相対的な回転角度を前記建設機械設備の回転角度として確定するように構成されている。

【0012】

いくつかの実施形態において、前記確定ユニットはさらに、前記３次元点群シーケンスにおける３次元点群フレームをサンプリングして、前記３次元点群シーケンスにおける最初の３次元点群フレームと最後の３次元点群フレームを含むサンプリングシーケンスを取得することと、前記サンプリングシーケンスにおける各隣接する３次元点群フレームからなる各３次元点群フレームペアについて、３次元点群フレームペアにおける２つの３次元点群フレーム間のマッチングポイントを確定することと、により、前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するように構成されており、
前記確定ユニットはさらに、前記３次元点群フレームペアにおける２つの３次元点群フレーム間のマッチングポイントの３次元座標に基づいて、前記３次元点群フレームペアにおける２つの３次元点群フレームに対応する距離画像フレーム間の回転角を推定することと、前記距離画像シーケンスにおける対応する距離画像の位置に基づいて、各３次元点群フレームペアにおける２つの３次元点群フレームに対応する距離画像フレーム間の回転角を順次累積して、前記距離画像シーケンスにおける最初のフレーム画像と最後のフレーム画像を取り込む際の前記双眼カメラの相対的な回転角度を前記建設機械設備の回転角度として取得することとにより、前記３次元点群フレーム間のマッチングポイントに基づいて前記双眼カメラの回転角度を前記建設機械設備の回転角度として確定するように構成されている。

【0013】

いくつかの実施形態において、前記確定ユニットはさらに、前記３次元点群について特徴ポイントの抽出を行うことと、抽出された２つの３次元点群フレームの特徴ポイントについてマッチングを行い、前記２つの３次元点群フレーム間のマッチングポイントを取得することと、により、前記３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するように構成されている。

【0014】

第３の態様において、本開示の実施形態は、１つまたは複数のプロセッサと、１つまたは複数のプログラムを格納するための記憶装置と、を含む電子機器であって、前記１つまたは複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに第１の態様に記載の建設機械設備の回転角度を確定するための方法を実施させる、電子機器を提供する。

【0015】

第４の態様において、本開示の実施形態は、コンピュータープログラムが格納されているコンピューター可読媒体であって、プログラムは、プロセッサによって実行されると、第１の態様に記載の建設機械設備の回転角度を確定するための方法を実施する、コンピューター可読媒体を提供する。

【0016】

本出願の上記実施形態に係る建設機械設備の回転角度を確定するための方法および装置は、建設機械設備の回転部の回転中に建設機械設備の回転部に設けられた双眼カメラによって取り込まれた距離画像シーケンスを取得し、距離画像シーケンスを３次元点群シーケンスに変換し、３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定し、３次元点群フレーム間のマッチングポイントに基づいて建設機械設備の回転部の回転中における双眼カメラの回転角度を建設機械設備の回転角度として確定することにより、建設機械設備の回転角度の正確な計算を可能にした。

【0017】

本出願の他の特徴、目的および利点は、添付図面を参照して非限定的な実施形態について行った詳細な説明から、より明らかになるであろう。

【図面の簡単な説明】

【0018】

【図1】図１は、本出願の実施形態を適用できる例示的なシステムアーキテクチャを示す図である。

【図2】図２は、本出願に係る建設機械設備の回転角度を確定するための方法の一実施形態を示すフローチャートである。

【図3】図３は、本出願に係る建設機械設備の回転角度を確定するための方法の別の実施形態を示すフローチャートである。

【図4】図４は、本出願の建設機械設備の回転角度を確定するための装置の一実施形態を示す概略構成図である。

【図5】図５は、本出願の一実施形態に係る電子機器の実施に適するコンピューターシステムの概略構造図である。

【発明を実施するための形態】

【0019】

本出願は、添付の図面および実施形態を参照して、以下でさらに詳細に説明される。本明細書に記載される特定の実施形態は、本発明を限定するものではなく、本発明の単なる例示であることを理解されたい。また、説明の便宜上、関連する発明に関連する部分のみが図面に示されていることにも留意されたい。

【0020】

衝突しない前提では、本出願の実施形態および実施形態における特徴は相互に組み合わせることができる。以下は、添付図面を参照しつつ実施形態を踏まえて、本出願を詳しく説明する。

【0021】

図１は、本出願に係る建設機械設備の回転角度を確定するための方法または建設機械設備の回転角度を確定するための装置を適用できる例示的なシステムアーキテクチャを示している。

【0022】

図１に示されるように、システムアーキテクチャ１００は、建設機械設備１０１、建設機械設備に設けられたカメラ１０２、ネットワーク１０３、およびサーバー１０４を含み得る。ネットワーク１０３は、建設機械設備１０１、カメラ１０２、およびサーバー１０４間の通信リンクのための媒体を提供する。ネットワーク１０３は、有線、無線通信リンク、光ファイバーケーブルなどの様々なタイプの接続を含み得る。

【0023】

建設機械設備１０１は、無人セルフショベルや無人自律クレーンなどのインテリジェント建設機械設備であり得る。建設機械設備１０１には、角度センサー、機械センサー、画像センサーなどの様々なセンサーが設けられ得る。建設機械設備１０１に設けられた様々なセンサーは、作業対象物、道路環境などを含む環境情報を検知することができる。いくつかのシナリオでは、建設機械設備装置１０１には、ＣＰＵ、ＧＰＵなどのプロセッサを含むデータ処理コンポーネント、および記憶コンポーネントも設けられ得る。データ処理コンポーネントは、センサーによって検知されたデータを取得して処理することができる。記憶コンポーネントは、センサーによって検知されたデータを記憶すること、およびデータ処理コンポーネントがデータ処理タスクを実行するために呼び出す必要があるデータを記憶することができる。

【0024】

カメラ１０２は、双眼カメラであって、建設機械設備１０１に取り付けられた、建設機械設備が配置されているシーンの距離画像を撮影できる画像センサーであり得る。双眼カメラ１０２は、建設機械設備の回転部、例えば掘削機本体の前面または側面に取り付けられ得る。双眼カメラ１０２は、回転部の回転中に距離画像を撮影することができる。

【0025】

サーバー１０４は、建設機械設備のバックグラウンドサーバーなど、様々なサービスを提供するサーバーであり得る。建設機械設備のバックグラウンドサーバーは、カメラ１０２から取得した距離画像シーケンスについて画像解析やキー情報抽出などを行い、処理結果（建設機械設備の姿勢情報など）に基づいて建設機械設備１０１の動作を制御することができる。

【0026】

サーバー１０４は、ハードウェアまたはソフトウェアであり得ることに留意されたい。サーバー１０４がハードウェアである場合、複数のサーバーから構成された分散サーバークラスターとして実施されることも、単一のサーバーとして実施されることも可能である。サーバー１０４がソフトウェアである場合、複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供するための複数のソフトウェアまたはソフトウェアモジュール）として実施されることも、単一のソフトウェアまたはソフトウェアモジュールとして実施されることも可能である。ここで特に限定されない。

【0027】

本出願の実施形態によって提供された建設機械設備の回転角度を確定するための方法は、建設機械設備１０１に設けられたデータ処理コンポーネントまたはサーバー１０４によって実行され得る。それに対応して、建設機械設備の回転角度を確定するための装置は、建設機械設備１０１のデータ処理コンポーネントまたはサーバー１０４に設けられ得ることに留意されたい。

【0028】

図１の建設機械設備、カメラ、ネットワーク、およびサーバーの数は単なる例示にすぎないことを理解されたい。実施の必要に基づいて、任意の数の建設機械設備、カメラ、ネットワーク、サーバーを配置することができる。

【0029】

引き続き図２を参照すると、本出願に係る建設機械設備の回転角度を確定するための方法の一実施形態のフローチャート２００が示されている。この建設機械設備の回転角度を確定するための方法には、次のステップ（ステップ２０１〜２０３）が含まれる。

【0030】

ステップ２０１：建設機械設備の回転部の回転中に建設機械設備の回転部に設けられた双眼カメラによって収集された距離画像シーケンスを取得する。

【0031】

本実施形態において、建設機械設備の回転角度を確定するための方法の実行主体は、建設機械設備の回転部に設けられた双眼カメラに接続され、建設機械設備の回転部の回転中に双眼カメラによって収集された距離画像シーケンスを取得することができる。

【0032】

上記の建設機械設備は、シャベル機械設備、掘削機械設備、クレーン機械設備、コンパクター機械設備、パイルマシン機械設備などの建設機械に使用される掘削機、クレーンなどの重機であり得る。本実施形態に係る建設機械設備は、回転部を備える。回転部は、建設機械設備の回転軸を中心に回転することができる。回転部は、例えば、掘削機の本体、クレーンのブーム、キャブなどであり得る。建設機械設備の回転部には、双眼カメラが設けられる。双眼カメラと建設機械設備の回転部との相対的な位置は一定である。エンジニアリングタスクを実行する場合、建設機械設備は、回転部を回転してタスク位置まで移動する必要がある。例えば、掘削機は、本体を回転させて材料スタックまで移動し、材料スタックから材料を掘削し、目標位置まで搬送し、本体を回転させて材料を降ろす必要がある。建設機械設備の回転部の回転に伴って、上記の双眼カメラも回転する。回転部の回転角度は双眼カメラの回転角度と一致する。双眼カメラは回転中に変化する相対的な位置姿勢でエンジニアリングシーンの画像を収集する。

【0033】

双眼カメラは、奥行き情報を含む画像、つまり距離画像を収集することができる。上記の双眼カメラは、相対的な位置関係が較正された２台のカメラから構成され得る。いくつかの実施形態では、上記の双眼カメラは、２つのカメラによって収集された平面画像を融合して距離画像を形成する処理コンポーネントをさらに含み得る。

【0034】

実際には、リモートサーバーまたは建設機械設備に設けられた処理コンポーネントは、建設機械設備の回転部を回転させる命令を発行するときに、双眼カメラを起動して、建設機械設備の回転部の回転中の距離画像シーケンスを収集させることができる。双眼カメラは、距離画像を収集した後、リアルタイムで上記の実行主体（すなわち、上記のリモートサーバーまたは建設機械設備に設けられた処理コンポーネント）に送信することができる。

【0035】

ステップ２０２：距離画像シーケンスを３次元点群シーケンスに変換する。

【0036】

本実施形態では、距離画像シーケンスにおける距離画像について、双眼カメラの内部パラメーター行列に基づいて、距離画像における画像情報を３次元空間にマッピングすることにより、対応する３次元点群を取得することができる。具体的には、距離画像の各ピクセルポイントＰ（ｕ，ｖ）に対して、対応する距離値はｚ_ｃであり、対応する３次元点群におけるポイントのワールド座標は（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）である。それらは次のような関係にある。

【0037】

【数1】

【0038】

ここで、ｕ、ｖはピクセルポイントＰの２次元画像座標であり、ｕ_ｏ、ｖ_ｏはそれぞれ画像の中心座標であり、Ｒ_Ｓ、Ｔ_Ｓはそれぞれ双眼カメラの外側のパラメーター行列における回転行列および平行移動行列であり、ｄｘ、ｄｙはカメラのセルサイズであり、ｆはカメラの焦点距離である。

【0039】

ここで、カメラの原点はワールド座標系の原点と一致するため、次のようになる。

【0040】

【数2】

【0041】

また、カメラ座標系のポイントの距離は、ワールド座標系のポイントの距離と同じであるため、「ｚ_ｗ＝ｚ_ｃ」となる。

【0042】

これにより、画像における各ピクセルの画像座標に基づいて対応する３次元ポイントの３次元空間座標を算出し、距離画像を３次元空間にマッピングして、対応する３次元点群を取得することができる。

【0043】

上記の操作は、距離画像シーケンスにおける各フレームの距離画像に対して実行され得るため、距離画像シーケンスにおける距離画像と一対一で対応する３次元点群フレームからなる３次元点群シーケンスが取得され得る。

【0044】

ステップ２０３：３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定し、３次元点群フレーム間のマッチングポイントに基づいて建設機械設備の回転部の回転中における双眼カメラの回転角度を確定して、建設機械設備の回転角度とする。

【0045】

本実施形態では、３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントに基づいて、異なる３次元点群フレームに対応する異なる距離画像フレームを収集するときのカメラの位置姿勢の差を算出することができる。ここで、２つの３次元点群フレームの前のマッチングポイントは、物理空間の同じポイントを表すことができる。

【0046】

具体的には、まず、３次元点群フレーム間のマッチングポイントを抽出してもよい。 ３次元点群フレームにおける各ポイントの空間座標、および各ポイントの反射強度または色情報に基づいて、異なる３次元点群フレームにおけるポイントについてマッチングを行い、マッチングポイントを抽出することができる。例えば、２つの３次元点群フレームのマッチングポイントのセットは、それぞれ「Ｘ＝ｘ_１，ｘ_２，ｘ_３，…，ｘ_ｍ」および「Ｙ＝ｙ_１，ｙ_２，ｙ_３，…，ｙ_ｍ」として記録される。ここで、ｍは正の整数であり、２つの点群フレームにおけるすべてのマッチングポイントの総数であり得る。ｘ_ｉとｙ_ｉは一対のマッチングポイントであり、「ｉ＝１，２，３，…，ｍ」となる。

【0047】

あるいは、次のように３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定することができる。様々な３次元特徴抽出方法を使用して、３次元点群について特徴ポイントの抽出を行い、そして抽出された２つの３次元点群フレームの特徴ポイントについてマッチングを行い、２つの３次元点群フレーム間のマッチングポイントを取得する。特徴ポイントについてマッチングを行う場合、二者間の相対距離を計算し、それが事前に設定された距離範囲内にあるかどうかを判断したり、二者の色または反射強度情報を比較したりすることができる。さらに、特徴ポイントと同じ３次元点群フレームにおける他の特徴ポイントとの間の相対的な位置関係を踏まえて、２つの３次元点群フレーム間の特徴ポイントについてマッチングを行うこともできる。

【0048】

そのあと、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ、反復最接近点）アルゴリズムを使用して、３次元点群シーケンスにおける３次元点群フレームについてレジストレーションを順次行って、３次元点群フレーム間の変換関係を決定する。ここで、変換関係は、回転行列Ｒおよび平行移動行列Ｔで表すことができる。回転行列Ｒと平行移動行列Ｔは、次のように平均二乗誤差ｅ（Ｘ，Ｙ）を最小化することにより導出することができる。

【0049】

【数3】

【0050】

ここで、ｘ_ｉおよびｙ_ｉは、マッチングポイントに対応する３次元座標を表すことができる。

【0051】

回転行列Ｒおよび平行移動行列Ｔを初期化し、回転行列Ｒおよび平行移動行列Ｔを連続的に反復更新して平均二乗誤差ｅ（Ｘ，Ｙ）を減らし、平均二乗誤差が特定の収束条件に達したときに反復を停止することにより、推定された回転行列Ｒと平行移動行列Ｔを取得することができる。さらに、各座標軸に対応する回転行列の回転角度に基づいて、これら２つの３次元点群フレームに対応する距離画像を収集するときの双眼カメラの相対的な回転角が取得される。

【0052】

上記の３次元点群シーケンスにおける隣接する３次元点群フレームについて前記回転角の推定操作を順次行い、上記の各隣接する２つのフレームに対応する回転角を累積することで、建設機械設備の回転部の回転中のカメラの回転角を取得することができる。または、３次元点群シーケンスにおける最初の３次元点群フレームと最後の３次元点群フレームについてＩＣＰアルゴリズムを使用して回転角の推定を行って、建設機械設備の回転部の回転中におけるカメラの回転角を取得することもできる。

【0053】

本実施形態のいくつかのオプションの実施方法では、ステップ２０３における２つの３次元点群フレームに対応する距離画像フレーム間の回転角は、次のように計算され得る。まず、初期の回転行列Ｒおよび平行移動行列Ｔを決定する。そして、３次元の点群フレームＸにおける各ポイントｘ_ｉについて、現在の回転行列Ｒと平行移動行列Ｔに基づいて３次元の点群フレームＹにおいて最も近いポイントｙ_ｉを探してマッチングポイントとする。その後、上記の平均二乗誤差ｅ（Ｘ，Ｙ）を計算する。逆伝播法を採用して回転行列Ｒと平行移動行列Ｔを反復更新し、平均二乗誤差を回転行列Ｒと平行移動行列Ｔに逆伝播し、「現在の回転行列Ｒと平行移動行列Ｔに基づいて３次元の点群フレームＹにおいて最も近いポイントｙ_ｉを探してマッチングポイントとし、その後、平均二乗誤差ｅ（Ｘ，Ｙ）を計算する」というステップを複数回実行し、平均二乗誤差が事前に設定されたしきい値を下回るか、反復回数が事前に設定された回数に達した後、反復を停止し、推定された２つの３次元点群フレームに対応する距離画像フレーム間の回転角を取得することができる。このようにして、回転行列Ｒと平行移動行列Ｔを反復更新するプロセスでマッチングポイントを見つけることにより、事前に設定されたマッチングポイントの正確度が低いことによる回転行列Ｒと平行移動行列Ｔの精度への影響が防止できる。

【0054】

角度センサーに基づいて建設機械設備のセンサーを取得する従来の方法では、角度センサーの精度は、作業環境の塵埃や建設機械設備の振動による影響を受けやすい。本出願の上記実施形態に係る建設機械設備の回転角度を確定する方法は、建設機械設備の回転部の回転中に建設機械設備の回転部に設けられた双眼カメラによって収集された距離画像シーケンスを取得し、距離画像シーケンスを３次元の点群シーケンスに変換し、３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定し、３次元点群フレーム間のマッチングポイントに基づいて建設機械設備の回転部の回転中における双眼カメラの回転角度を確定して建設機械設備の回転角度とすることにより、建設機械設備の環境の塵埃および建設機械設備の振動による回転角度の計算精度への影響が防止され、建設機械設備の回転角の正確な計算が実現された。

【0055】

引き続き図３を参照すると、本出願に係る建設機械設備の回転角度を確定するための方法の別の実施形態のフローチャートが示されている。図３に示されるように、本実施形態に係る建設機械設備の回転角度を確定するための方法のフローチャート３００は、以下のステップ（ステップ３０１〜３０４）を含む。

【0056】

ステップ３０１：建設機械設備の回転部の回転中に建設機械設備の回転部に設けられた双眼カメラによって収集された距離画像シーケンスを取得する。

【0057】

本実施形態では、上記の建設機械設備の回転角度を確定するための方法の実行主体は、建設機械設備の回転部に設けられた双眼カメラに接続され、建設機械設備の回転部の回転中に双眼カメラによって収集された距離画像シーケンスを取得することができる。ここで、建設機械設備は、リモートサーバーまたは建設機械設備内に設けられた処理コンポーネントによって制御動作を行われる無人の自律建設機械設備であり得る。双眼カメラは、建設機械設備の回転部に設けられ、回転部とともに回転することができる。回転中に、双眼カメラはその視野における距離画像シーケンスを収集することができる。収集された距離画像は、ジョブシーンにおけるジョブオブジェクトの距離画像であり得る。

【0058】

ステップ３０２：距離画像シーケンスを３次元点群シーケンスに変換する。

【0059】

距離画像シーケンスにおける各フレームの距離画像を対応する３次元点群フレームに変換して、距離画像シーケンスに対応する３次元点群シーケンスを取得することができる。具体的には、距離画像における各ピクセルポイントについて、カメラの内部パラメーターに基づいて、ピクセルポイントの二次元座標および距離値を３次元空間の３次元座標に変換することができる。

【0060】

本実施形態のステップ３０１とステップ３０２は、それぞれ、前述の実施形態のステップ２０１および２０２と一致する。ステップ３０１とステップ３０２の特定の実施形態については、それぞれ、ステップ２０１とステップ２０２の前述の説明を参照することができる。ここでは詳細な説明を省略する。

【0061】

ステップ３０３：建設機械設備の回転部の回転中に建設機械設備の回転部の回転軸に設けられた角度センサーによって収集された回転角センシングデータを取得する。

【0062】

本実施形態では、建設機械設備の回転部の回転軸に角度センサーが設けられることができる。建設機械設備の回転部は、該回転軸を中心に回転することができる。建設機械設備の回転部が回転すると、回転軸に設けられた角度センサーが回転軸の回転角度を検知して、回転角センシングデータを生成することができる。

【0063】

ここで、角度センサーは特定の周波数、例えば１００Ｈｚの周波数でデータを取得することができる。取得された回転角センシングデータは、回転中の異なる時点での回転角センシング値からなるシーケンスであり得る。

【0064】

なお、本実施形態では、上記のステップ３０１、ステップ３０２、ステップ３０３の実行順序は相互に交換可能であり、ステップ３０３はステップ３０１またはステップ３０２と同時に実行されてもよい。つまり、最初にステップ３０１とステップ３０２を実行してから、ステップ３０３を実行してもよく、最初にステップ３０３を実行して角度センサーによって生成された回転角センシングデータを取得してから、ステップ３０１とステップ３０２を実行して３次元点群シーケンスを取得してもよく、ステップ３０１とステップ３０３を同時に実行し、すなわち、回転角センシングデータおよび距離画像シーケンスを同時に取得してもよい。

【0065】

ステップ３０４：３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定し、３次元点群フレームに対応する回転角センシングデータを３次元点群フレームに対応する回転角の初期推定範囲とし、初期推定範囲内で、３次元点群フレーム間のマッチングポイントに基づいて、建設機械設備の回転部の回転中における双眼カメラの回転角度を確定して建設機械設備の回転角度とする。

【0066】

本実施形態では、最初に３次元点群フレームにおける各ポイントの空間座標および各ポイントの反射強度または色情報に基づいて、異なる３次元点群フレームにおけるポイントについてマッチングを行って、マッチングポイントを抽出することができる。

【0067】

必要に応じて、３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを、次のように確定することができる。まず、様々な３次元特徴抽出方法を使用して、３次元点群について特徴ポイントの抽出を行い、そして、抽出された２つの３次元点群フレームの特徴ポイントについてマッチングを行い、２つの３次元点群フレーム間のマッチングポイントを取得することができる。特徴ポイントについてマッチングを行う場合、二者間の相対距離を計算し、それが事前に設定された距離範囲内にあるかどうかを判断したり、両者の色または反射強度情報を比較したりすることができる。さらに、特徴ポイントと同じ３次元点群フレームにおける他の特徴ポイントとの間の相対的な位置関係を踏まえて、２つの３次元点群フレーム間の特徴ポイントについてマッチングを行うこともできる。

【0068】

次に、ステップ３０３で得られた回転角センシングデータに基づいて、各３次元点群フレームに対応する回転角の初期推定範囲を確定することができる。ここで、３次元点群フレームに対応する回転角は、２つの３次元点群フレームに対応する２つの画像を収集するときのカメラの角度の差であり得る。

【0069】

通常、双眼カメラは、特定の周波数で画像を収集する。該周波数は、収集された距離画像シーケンスにおける２つの隣接する画像の収集時間の差である。上記の角度センサーは、特定の周波数で回転角センシングデータを生成することもできる。双眼カメラの画像取得周波数と角度センサーの角度センシング周波数に基づいて各距離画像フレームに対応する回転角センシングデータを確定し、対応する３次元点群フレームに対応する回転角センシングデータとすることができる。ここで、双眼カメラが最初の距離画像フレームを収集するときの回転角センシングデータを０に設定することができる。または、画像収集および角度センサーがそれぞれ画像および回転角センシングデータを取得する時間に応じて、２つの画像フレームに対応する回転角センシングデータの差を確定して、２つの画像フレームを変換して得られた２つの３次元点群フレームに対応する回転角センシングデータとすることができる。

【0070】

本実施形態では、回転角データに近い値の範囲を回転角の初期推定範囲とすることができる。例えば、推定範囲の区間の長さを設定し、該区間の長さを満たすとともに上記の回転角センシングデータが含まれる区間を選択して、回転角の初期推定範囲とすることができる。必要に応じて、角度センサーの誤差を３次元点群フレームに対応する回転角センシングデータに重ねることにより、対応する３次元点群フレームに対応する回転角の初期推定範囲を取得することができる。例えば、回転角センシングデータはＡ（ここで、Ａは空間の３つの座標軸を特徴付ける回転角成分の値のセットであり得る）であり、その誤差をΔとすれば、初期推定範囲は[Ａ−Δ，Ａ＋Δ]であり得る。

【0071】

その後、その初期推定範囲内で、ステップ２０３で説明した双眼カメラの回転角度を確定する方法を使用して、双眼カメラの回転角度を推定することができる。例えば、初期推定範囲内で、回転角の値のセットをランダムに選択して回転行列Ｒの初期値とし、対応する２つの３次元点群フレーム間のマッチングポイントの座標に基づいて、回転行列Ｒを反復更新して、２つの３次元点群フレームに対応する回転角を取得することができる。そして、３次元点群シーケンスにおける３次元点群フレームについて、上記の３次元点群フレームに対応する距離画像フレーム間の回転角を推定する方法を順次行い、双眼カメラの回転角の推定値を取得して建設機械設備の回転部の回転角とすることができる。

【0072】

本実施形態に係る建設機械設備の回転角度を確定するための方法のフローチャート３００は、追加された「建設機械設備の回転部の回転中に建設機械設備の回転部の回転軸に設けられた角度センサーによって収集された回転角センシングデータを取得する」ステップにより、回転角センシングデータを３次元点群フレームに対応する回転角の初期推定範囲として回転角を推定することで、回転角の推定範囲が効果的に絞られ、回転角の推定における反復更新の回数が低減でき、回転角の推定速度が向上された。

【0073】

図２と図３を参照して説明された前述の実施形態のいくつかのオプションの実施方法では、３次元点群フレームに対応する距離画像を収集するときと前の３次元点群フレームに対応する距離画像を収集するときとの間の距離カメラの回転角の差をフレームごとに計算することができる。具体的には、上記のステップ２０３またはステップ３０４に説明された３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定することは、３次元点群シーケンスにおける現在の３次元点群フレームのそれぞれについて、現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントを確定することを含み得る。すなわち、現在の３次元点群フレームのそれぞれと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントをフレームごとに確定することができる。

【0074】

この場合、３次元点群フレーム間のマッチングポイントに基づいて、次のように双眼カメラの回転角度を確定して建設機械設備の回転角度とすることができる。

【0075】

まず、３次元点群シーケンスにおける現在の３次元点群フレームのそれぞれについて、現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームにおける、現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントの３次元座標に基づいて、現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームに対応する距離画像フレーム間の回転角を推定する。

【0076】

具体的な推定方法は、隣接する２つの３次元点群フレームに対応する距離画像フレーム間のカメラの回転パラメーターと平行移動パラメーターを特徴付ける回転行列Ｒと平行移動行列Ｔを初期化し、ステップ２０３で説明したＩＣＰアルゴリズムを使用して回転行列Ｒと平行移動行列Ｔを反復更新することである。これにより、隣接する２つの３次元点群フレームごとに対応する距離画像フレーム間の回転角を取得することができる。

【0077】

その後、距離画像シーケンスにおける対応する距離画像の位置に基づいて、３次元点群シーケンスにおける隣接する各３次元点群フレームに対応する距離画像フレーム間の回転角を順次累積し、距離画像シーケンスにおける最初のフレームの画像を収集するときと最後のフレームの画像を収集するときとの間の双眼カメラの相対的な回転角度を取得して、建設機械設備の回転角度とすることができる。例えば、距離画像シーケンスにはＩ_１，Ｉ_２，Ｉ_３，…，Ｉ_Ｎなど合計Ｎ個の画像フレーム（Ｎは正の整数である）が含まれるとすれば、Ｉ_１、Ｉ_２に対応する点群はＣ_１、Ｃ_２と推定され、対応する回転角はα１である。Ｉ_２とＩ_３に対応する点群はＣ_２とＣ_３と推定され、対応する回転角はα２である。Ｉ_３とＩ_４に対応する点群はＣ_３とＣ_４と推定され、対応する回転角はα３である。…，Ｉ_Ｎ−１とＩ_Ｎに対応する点群はＣ_Ｎ−１、Ｃ_Ｎと推定され、対応する回転角はα（Ｎ−１）である。この場合、Ｉ_１を収集するときとＩ_Ｎを収集するときとの間のカメラの相対的な回転角度は、「α１＋α２＋α３＋ … ＋α（Ｎ−１）」である。

【0078】

隣接する画像フレーム間の取得時間の間隔が短く、カメラの回転角度が小さいため、隣接する３次元点群フレームにおけるマッチングポイントの数が多い。現在の３次元点群フレームに対応する画像を収集するときと前の３次元点群フレームに対応する画像を収集するときの間の回転角をフレームごとに計算し、計算された隣接するフレームに対応する回転角を順次累積して、建設機械設備の回転部の回転中におけるカメラの回転角を取得することにより、隣接する２つのフレーム間の多数のマッチングポイントを使用して、隣接する２つのフレームに対応する回転角を正確に計算することができ、算出された建設機械設備の回転部の回転中におけるカメラの回転角の精度を保証することができる。

【0079】

図２と図３を参照して説明された実施形態の他の任意の実施方法では、まず、３次元点群シーケンスをダウンサンプリングし、ダウンサンプリングされた３次元点群シーケンスを処理することができる。具体的には、前記ステップ２０３またはステップ３０４における３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定することは、３次元点群シーケンスにおける３次元点群フレームをサンプリングして、３次元点群シーケンスにおける最初の３次元点群フレームと最後の３次元点群フレームを含むサンプリングシーケンスを取得することと、サンプリングシーケンスにおける隣接する各３次元点群フレームからなる各３次元点群フレームペアについて、３次元点群フレームペアにおける２つの３次元点群フレーム間のマッチングポイントを確定することと、を含み得る。具体的には、３次元点群シーケンスをサンプリングしてサンプリングシーケンスを取得し、サンプリングシーケンスにおける隣接する２つの３次元点群フレームごとについて、３次元ポイントの座標および色または距離情報に基づいてマッチングポイントを確定することができる。

【0080】

この場合、上記ステップ２０３またはステップ３０４において、３次元点群フレーム間のマッチングポイントに基づいて、建設機械設備の回転部の回転中における双眼カメラの回転角度を確定して建設機械設備の回転角度とすることは、３次元点群フレームペアにおける２つの３次元点群フレーム間のマッチングポイントの３次元座標に基づいて、３次元点群フレームペアにおける２つの３次元点群フレームに対応する距離画像フレーム間の回転角を推定することと、距離画像シーケンスにおける対応する距離画像の位置に基づいて、各３次元点群フレームペアにおける２つの３次元点群フレーム間の回転角を順次累積し、距離画像シーケンスにおける最初のフレームの画像を収集するときと最後のフレームの画像を収集するときとの間の双眼カメラの相対的な回転角度を取得して建設機械設備の回転角度とすることと、を含み得る。

【0081】

サンプリングシーケンスでは、隣接する２つの３次元点群フレームが１つの３次元点群フレームペアを形成する。具体的には、１番目のフレームと２番目のフレームは１つの３次元点群フレームペアを形成し、２番目のフレームと３番目のフレームは１つの３次元点群フレームペアを形成し、３番目のフレームと４番目のフレームは１つの３次元点群フレームペアを形成し、…Ｎ番目のフレームと（Ｎ＋１）番目のフレームは１つの３次元点群フレームペアを形成する。各３次元点群フレームペアについて、上記のステップ２０３で説明した方法を使用して、３次元点群フレームペアにおける２つの画像フレームをそれぞれ収集するときの間のカメラの相対的な回転角を計算することができる。その後、各３次元点群フレームペアに対応する回転角を順次累積し、建設機械設備の回転部の回転角を取得する。

【0082】

３次元点群フレームシーケンスをサンプリングしてサンプリングシーケンスを取得し、サンプリングシーケンスにおける３次元点群フレーム間のマッチングポイントに基づいて対応する回転角を計算することにより、計算量を効果的に削減でき、建設機械設備の回転部の回転角の推定速度を向上させることができる。そして、サンプリング時に、距離画像シーケンスにおける最初の画像フレームと最後の画像フレームに対応する３次元点群フレームをサンプリングシーケンスに保留することにより、ステップ２０３とステップ３０４で得られた建設機械設備装置の回転部の回転角が画像収集開始から画像収集終了までのカメラの回転角であることを保証し、建設機械設備の回転部の回転角の計算結果の精度を確保することができる。

【0083】

さらに図４を参照すると、上記の各図に示された方法の実施方法として、本出願は、建設機械設備の回転角度を確定するための装置の一実施形態を提供した。該装置の実施形態は図２と図３に示された方法の実施形態に対応する。該装置は、様々な電子機器に適用することができる。

【0084】

図４に示されるように、本実施形態に係る建設機械設備の回転角度を確定するための装置４００は、建設機械設備の回転部の回転中に建設機械設備の回転部に設けられた双眼カメラによって収集された距離画像シーケンスを取得するように構成された取得ユニット４０１と、距離画像シーケンスを３次元点群シーケンスに変換するように構成された変換ユニット４０２と、３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定し、３次元点群フレーム間のマッチングポイントに基づいて、建設機械設備の回転部の回転中における双眼カメラの回転角度を確定して建設機械設備の回転角度とするように構成された確定ユニット４０３と、を含む。

【0085】

いくつかの実施形態では、上記の装置４００は、建設機械設備の回転部の回転中に建設機械設備の回転部の回転軸に設けられた角度センサーによって収集された回転角センシングデータを取得するように構成された第２取得ユニットをさらに含み得る。この場合、上記の確定ユニット４０３はさらに、３次元点群フレームに対応する回転角センシングデータを、３次元点群フレームに対応する回転角の初期推定範囲とし、初期推定範囲内で、３次元点群フレーム間のマッチングポイントに基づいて双眼カメラの回転角度を確定するように構成され得る。

【0086】

いくつかの実施形態では、上記の確定ユニット４０３はさらに、３次元点群シーケンスにおける現在の各３次元点群フレームについて、現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントを確定することにより、３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するように構成されており、上記の確定ユニット４０３はさらに、３次元点群フレーム間のマッチングポイントに基づいて、３次元点群シーケンスにおける現在の各３次元点群フレームについて、現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームにおける現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームとの間のマッチングポイントの３次元座標に基づいて、現在の３次元点群フレームと現在の３次元点群フレームの前の３次元点群フレームに対応する距離画像フレーム間の回転角を推定することと、距離画像シーケンスにおける対応する距離画像の位置に基づいて、３次元点群シーケンスにおける隣接する各３次元点群フレームに対応する距離画像フレーム間の回転角を順次累積して、距離画像シーケンスにおける最初のフレームの画像を収集するときと最後のフレームの画像を収集するときとの間の双眼カメラの相対的な回転角度を取得して建設機械設備の回転角度とすることと、により、双眼カメラの相対的な回転角度を確定して建設機械設備の回転角度とするように構成されている。

【0087】

いくつかの実施形態では、上記の確定ユニット４０３はさらに、３次元点群シーケンスにおける３次元点群フレームをサンプリングして、３次元点群シーケンスにおける最初の３次元点群フレームと最後の３次元点群フレームを含むサンプリングシーケンスを取得することと、サンプリングシーケンスにおける隣接する各３次元点群フレームからなる各３次元点群フレームペアについて、３次元点群フレームペアにおける２つの３次元点群フレーム間のマッチングポイントを確定することと、により、３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するように構成される。上記の確定ユニット４０３はさらに、３次元点群フレーム間のマッチングポイントに基づいて、３次元点群フレームペアにおける２つの３次元点群フレーム間のマッチングポイントの３次元座標に基づいて、３次元点群フレームペアにおける２つの３次元点群フレームに対応する距離画像フレーム間の回転角を推定することと、距離画像シーケンスにおける対応する距離画像の位置に基づいて、各３次元点群フレームペアにおける２つの３次元点群フレームに対応する距離画像フレーム間の回転角を順次累積して、距離画像シーケンスにおける最初のフレームの画像を収集するときと最後のフレームの画像を収集するときとの間の双眼カメラの相対的な回転角度を取得して建設機械設備の回転角度とすることと、により、双眼カメラの相対的な回転角度を確定して建設機械設備の回転角度とするように構成されている。

【0088】

いくつかの実施形態では、上記の確定ユニット４０３はさらに、３次元点群について特徴ポイントの抽出を行うことと、抽出された２つの３次元点群フレームの特徴ポイントについてマッチングを行い、２つの３次元点群フレーム間のマッチングポイントを取得することと、により、３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定するように構成されている。

【0089】

装置４００に列挙された諸ユニットは、図２と図３を参照して説明された方法の各ステップに対応していることを理解されたい。したがって、この方法について説明された動作および特徴は、装置４００およびその中に含まれているユニットにも適用することができる。ここで、その詳細な内容は省略する。

【0090】

本出願の上記実施形態に係る建設機械設備の回転角度を確定するための装置４００は、建設機械設備の回転部の回転中に建設機械設備の回転部に設けられた双眼カメラによって収集された距離画像シーケンスを取得し、距離画像シーケンスを３次元点群シーケンスに変換し、３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定し、３次元点群フレーム間のマッチングポイントに基づいて建設機械設備の回転部の回転中における双眼カメラの回転角度を確定して建設機械設備の回転角度とすることにより、建設機械設備の回転角の正確な計算が実現された。

【0091】

図５を参照すると、本開示の実施形態に係る電子機器（例えば、図１のサーバー）５００の実施に適する構造概略図が示されている。図５に示されるサーバーは、単なる一例であり、本開示の実施形態の機能および使用範囲に制限を課すべきではない。

【0092】

図５に示されるように、電子機器５００は、読み取り専用メモリ（ＲＯＭ）５０２に記憶されたプログラムまたは記憶装置５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたプログラムにより、様々な適切な動作および処理を実行できる処理装置（例えば、中央処理装置、グラフィックスプロセッサなど）５０１を含み得る。ＲＡＭ５０３には、電子機器５００の動作に必要な各種プログラムやデータも記憶されている。処理装置５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４を介して相互に接続されている。入出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続されている。

【0093】

一般的に、Ｉ／Ｏインターフェース５０５に接続できる装置は、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープなどの入力装置５０６と、液晶ディスプレイ（ＬＣＤ）、スピーカー、バイブレーターなどの出力装置５０７と、ハードディスクなどの記憶装置５０８と、通信装置５０９と、を含む。通信装置５０９は、電子機器５００が他の装置と無線または有線で通信してデータを交換することを可能にする。図５は様々な装置を有する電子機器５００を示しているが、図示された装置のすべてを実施または有する必要はないことを理解されたい。代替的により多いまたはより少ない装置が実施されてもよい。図５に示される各ブロックは、１つの装置を表すことも、必要に応じて複数の装置を表すことも可能である。

【0094】

特に、本開示の実施形態によると、フローチャートを参照して説明されたプロセスは、コンピューターソフトウェアプログラムとして実施され得る。例えば、本開示の実施形態には、コンピューター可読媒体に記憶されたコンピュータープログラムを含むコンピュータープログラム製品が含まれる。該コンピュータープログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。そのような実施形態では、該コンピュータープログラムは、通信装置５０９を介してネットワークからダウンロードしてインストールするか、記憶装置５０８からインストールするか、またはＲＯＭ５０２からインストールすることができる。該コンピュータープログラムが処理装置５０１によって実行されると、本開示の実施形態の方法において定義された上述の機能を実行する。本開示の実施形態で説明されたコンピューター可読媒体は、コンピューター可読信号媒体、コンピューター可読記憶媒体、またはこれらの２つの任意の組み合わせであり得ることに留意されたい。コンピューター可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置もしくはコンポーネント、または上記の任意の組み合わせであり得るが、これらに限定されない。コンピューター可読記憶媒体のより具体的な例は、１本または複数のワイヤを有する電気接続、ポータブルコンピューターディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光学記憶装置、磁気記憶装置、または上記の任意の適切な組み合わせを含むが、これらに限定されない。本開示の実施形態では、コンピューター可読記憶媒体は、プログラムを含むまたは記憶する任意の有形の媒体であり得る。該プログラムは、命令実行システム、装置もしくはコンポーネントによって、またはそれらに関連して使用されることができる。本開示の実施形態では、コンピューター可読信号媒体はベースバンドで、またはキャリアの一部として伝播されるデータ信号を含み得る。コンピューター可読信号媒体には、コンピューターで読み取り可能なプログラムコードが記憶されている。そのような伝播されるデータ信号は、電磁信号、光信号、または上記の任意の適切な組み合わせを含むがこれらに限定されない様々な形態をとることができる。コンピューター可読信号媒体はさらに、命令実行システム、装置もしくはコンポーネントによって、またはそれらに関連して使用されるプログラムを送信、伝播、または伝送できる、コンピューター可読記憶媒体以外の任意のコンピューター可読媒体であり得る。コンピューター可読媒体に記憶されているプログラムコードは、ワイヤ、光ファイバーケーブル、ＲＦ（無線周波数）など、または上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって送信され得る。

【0095】

上記のコンピューター可読媒体は、上記の電子機器に含まれていてもよく、別個に存在して、該電子機器に組み込まれていなくてもよい。上記のコンピューター可読媒体には、１つまたは複数のプログラムが記憶されており、上記の１つまたは複数のプログラムが電子機器によって実行されると、該電子機器は、建設機械設備装置の回転部の回転中に建設機械設備装置の回転部に設けられた双眼カメラによって収集された距離画像シーケンスを取得し、距離画像シーケンスを３次元点群シーケンスに変換し、３次元点群シーケンスにおける３次元点群フレーム間のマッチングポイントを確定し、３次元点群フレーム間のマッチングポイントに基づいて、建設機械設備の回転部の回転中における双眼カメラの回転角度を確定して建設機械設備の回転角度とする。

【0096】

本開示の実施形態の動作を実行するためのコンピュータープログラムコードは、１つまたは複数のプログラミング言語、またはそれらの組み合わせで書くことができる。プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語や、「Ｃ」言語または類似するプログラミング言語などの従来の手続き型プログラミング言語を含む。プログラムコードは、完全にユーザーのコンピューター上で実行されることも、部分的にユーザーのコンピューター上で実行されることも、スタンドアロンソフトウェアパッケージとして実行されることも、部分的にユーザーのコンピューター上で実行されながら部分的にリモートコンピューター上で実行されることも、または完全にリモートコンピューターまたはサーバー上で実行されることも可能である。リモートコンピューターの場合、リモートコンピューターは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザーのコンピューターに接続されることができる。または、外部のコンピューターに接続されることができる（例えば、インターネットサービスプロバイダーによるインターネット経由で接続される）。

【0097】

添付図面のうちのフローチャートおよびブロック図は、本出願の様々な実施形態に係るシステム、方法、およびコンピュータープログラム製品の実施可能なアーキテクチャ、機能、および動作を示している。ここで、フローチャートまたはブロック図における各ブロックは、モジュール、プログラムセグメント、またはコードの一部を表すことができる。該モジュール、プログラムセグメント、またはコードの一部は、指定されたロジック関数を実施するための１つまたは複数の実行可能な命令を含む。また、いくつかの代替的な実施形態では、ブロックに記載されている機能は、図面に示されているものとは異なる順序で発生する場合があることにも留意されたい。例えば、連続して表されている２つのブロックは、実際にほぼ並行して実行されてもよく、時には逆の順序で実行されてもよい。これは関連する機能によって決まる。また、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定された機能または動作を実行する専用のハードウェアベースのシステムで実施することも、または専用のハードウェアとコンピューターの命令の組み合わせで実施することも可能であることに留意されたい。

【0098】

本出願の実施形態において説明されたユニットは、ソフトウェアまたはハードウェアによって実施され得る。説明されたユニットはプロセッサに内蔵されてもよい。例えば、「取得ユニットと、変換ユニットと、確定ユニットと、を含むプロセッサ」と説明されることができる。ここで、これらのユニットの名称は、ユニット自体に対する制限を構成しない場合がある。例えば、取得ユニットは、「建設機械設備の回転部の回転中に建設機械設備の回転部に設けられた双眼カメラによって収集された距離画像シーケンスを取得するユニット」と説明されることができる。

【0099】

上記の説明は、あくまでも本出願の好ましい実施形態および応用技術原理の説明にすぎない。本出願に係る発明の範囲は、上記の技術的特徴の特定の組み合わせによって形成された技術的解決手段に限定されず、上記の発明の構想から逸脱しない範囲で上記の技術的特徴またはその同等の技術的特徴の任意の組み合わせによって形成されたその他の技術的解決手段、例えば、上記の特徴と本出願に開示された同様の機能を有する技術的特徴（それだけに限定されない）とが相互に代替することによって形成された技術的解決手段もカバーしていることを当業者は理解すべきである。

【符号の説明】

【0100】

１００ システムアーキテクチャ
１０１ 建設機械設備
１０２ カメラ
１０３ ネットワーク
１０４ サーバー
４００ 建設機械設備の回転角度を確定するための装置
４０１ 第１取得ユニット
４０２ 変換ユニット
４０３ 確定ユニット
５００ 電子機器
５０１ 処理装置
５０２ 読み取り専用メモリ（ＲＯＭ）
５０３ ランダムアクセスメモリ（ＲＡＭ）
５０４ バス
５０５ 入出力（Ｉ／Ｏ）インターフェース
５０６ 入力装置
５０７ 出力装置
５０８ 記憶装置
５０９ 通信装置

【図1】

【図2】

【図3】

【図4】

【図5】