特表 2024-520230 作業現場における土工機械の場所及び配向を決定するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-23

(54)【発明の名称】作業現場における土工機械の場所及び配向を決定するための方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240516BHJP

【ＦＩ】

G06T7/70 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023567918

(86)(22)【出願日】2022-05-20

(85)【翻訳文提出日】2023-12-25

(86)【国際出願番号】 FI2022050346

(87)【国際公開番号】W WO2022248766

(87)【国際公開日】2022-12-01

(31)【優先権主張番号】20215623

(32)【優先日】2021-05-26

(33)【優先権主張国・地域又は機関】FI

(81)【指定国・地域】

(71)【出願人】

【識別番号】520391778

【氏名又は名称】ノバトロン オサケ ユキチュア

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】コバネン、トゥオマス

(72)【発明者】

【氏名】コル、アンッティ

(72)【発明者】

【氏名】モイシオ、ペトリ

(72)【発明者】

【氏名】ベサネン、ミッコ

(72)【発明者】

【氏名】アンティラ、アルト

(72)【発明者】

【氏名】ハーラニエミ、ニコ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096CA05

5L096DA01

5L096FA67

5L096FA69

5L096JA11

(57)【要約】

作業現場１４における土工機械１の場所及び配向を決定するための方法は、少なくとも１つの位置決めカメラＰＣＡを土工機械の上に設定するステップと、作業現場環境ＷＥから、複数の区別可能な特徴ＤＦを複数のマップ特徴点ＭＦＰとして決定するステップと、少なくとも１つの位置決めカメラＰＣＡによって二次元位置決め画像ＰＩＭを撮るステップと、二次元位置決め画像ＰＩＭから、区別可能な特徴ＤＦを航法特徴点ＮＦＰとして検出するステップと、作業現場１４における土工機械１の場所及び配向を決定するために、航法特徴点ＮＦＰの識別情報と、複数のマップ特徴点ＭＦＰの識別情報とを突き合わせるステップとを含む。

【特許請求の範囲】

【請求項1】

作業現場座標系（ＷＣＳ）における土工機械（１）の場所及び配向を決定するための方法であって、前記方法は、
特徴点マップを作成するステップであって、
決定された真性パラメータ・セットを有する少なくとも１つのカメラ（ＣＡ、ＰＣＡ）によって複数の二次元作業現場環境画像（ＷＩＭ）を撮ることにより、作業現場環境（ＷＥ）から、複数の区別可能な特徴（ＤＦ）を複数のマップ特徴点（ＭＦＰ）として決定するステップであって、前記真性パラメータ・セットが、リアル－ワールド・ビューからの個々の画像ピクセルのフォーメーションを、画像について定義する、ステップと、
前記複数の二次元作業現場環境画像（ＷＩＭ）の個々から、
個々の区別可能な特徴（ＤＦ）を、検出された特徴点（ＤＦＰ）として前記それぞれの二次元作業現場環境画像（ＷＩＭ）の識別情報及び画像座標と関連付けるための区別可能な特徴（ＤＦ）、又は
基準特徴点（ＲＦＰ）としての区別可能な特徴（ＤＦ）であって、前記基準特徴点（ＲＦＰ）が作業現場（１４）に予め設定され、且つ、基準特徴点（ＲＦＰ）の各々を検出された基準特徴点（ＤＲＦＰ）として前記それぞれの二次元作業現場環境画像（ＷＩＭ）の画像座標と更に関連付けるために、前記作業現場座標系（ＷＣＳ）における識別情報及び場所データと関連付けられる、区別可能な特徴（ＤＦ）
のうちの少なくとも１つを検出するステップと、
少なくとも１つの画像グループ（ＧＩＭ）を創出するステップであって、
前記検出された特徴点（ＤＦＰ）、又は結合される前記作業現場環境画像（ＷＩＭ）中の同じ点として一致した前記検出された基準特徴点（ＤＦＲＰ）のうちの少なくとも１つを少なくとも５つ有することによって前記作業現場環境画像（ＷＩＭ）を互いに結合するステップと、
少なくとも２つの作業現場環境画像（ＷＩＭ）、及び同じ点として一致した少なくとも３つの検出された基準特徴点（ＤＲＦＰ）を含む個々の画像グループ（ＧＩＭ）を受け入れるステップと、
含まれている前記少なくとも３つの検出された基準特徴点（ＤＦＲＰ）の前記識別情報及び場所データを利用することにより、受け入れられた画像グループ（ＧＩＭ）毎に、前記画像グループ（ＧＩＭ）の場所及び配向、及び同じ点として一致した検出された特徴点（ＤＦＰ）に対する識別情報及び場所データを決定するステップであって、そこから
同じ点として一致した前記検出された特徴点（ＤＦＰ）、及び同じ点として一致した前記検出された基準特徴点（ＤＲＦＰ）が前記特徴点マップのためのマップ特徴点（ＭＦＰ）として決定され、
前記特徴点マップの前記複数のマップ特徴点（ＭＦＰ）が少なくとも識別情報及び場所データを有し、前記識別情報が前記区別可能な特徴（ＤＦ）を識別する少なくとも固有識別子を含み、また
前記場所データが前記作業現場座標系（ＷＣＳ）における三次元場所を含む、ステップと
によって創出するステップと
によって作成するステップと、
少なくとも１つの位置決めカメラ（ＰＣＡ）を前記土工機械（１）の上に設定するステップであって、前記少なくとも１つの位置決めカメラが前記決定された真性パラメータ・セット、及び機械座標系（ＭＣＳ）における決定された場所及び配向を有する、ステップと、
前記土工機械（１）に前記特徴点マップを提供するステップと、
少なくとも１つの位置決めカメラ（ＰＣＡ）によって二次元位置決め画像（ＰＩＭ）を撮るステップと、
前記二次元位置決め画像（ＰＩＭ）から、区別可能な特徴（ＤＦ）を航法特徴点（ＮＦＰ）として検出し、且つ、航法特徴点（ＮＦＰ）毎に二次元画像座標及び識別情報を決定するステップと、
前記航法特徴点（ＮＦＰ）の識別情報と前記特徴点マップの前記マップ特徴点（ＭＦＰ）の前記識別情報とを突き合わせるステップと
を含み、
前記作業現場座標系（ＷＣＳ）における前記土工機械（１）の前記場所及び配向を決定することが、少なくとも
一致したマップ特徴点（ＭＦＰ）の前記場所データ、
対応する一致した航法特徴点（ＮＦＰ）の前記二次元画像座標、及び
個々の対応する位置決めカメラ（ＰＣＡ）の前記機械座標系（ＭＣＳ）における前記決定された真性パラメータ・セット及び前記決定された場所及び配向
に基づく、方法。

【請求項2】

作業現場環境（ＷＥ）から、複数の区別可能な特徴（ＤＦ）を複数のマップ特徴点（ＭＦＰ）として決定する前記ステップが、
少なくとも１つのカメラ（ＣＡ、ＰＣＡ）によって複数の二次元作業現場環境画像（ＷＩＭ）を撮るステップであって、前記少なくとも１つのカメラ（ＣＡ、ＰＣＡ）が、
決定された真性パラメータ・セットと、
前記作業現場座標系（ＷＣＳ）における決定された場所と
を有する、ステップと、
前記複数の二次元作業現場環境画像の各々から区別可能な特徴（ＤＦ）を検出し、且つ、それぞれの二次元作業現場環境画像（ＷＩＭ）の画像座標を使用して、前記区別可能な特徴（ＤＦ）を検出された特徴点（ＤＦＰ）として決定するステップと、
前記作業現場環境画像（ＷＩＭ）中の同じ点として一致した検出された特徴点（ＤＦＰ）を有する少なくとも１つの画像グループ（ＧＩＭ）を創出するステップと、
前記画像グループ（ＧＩＭ）毎に、個々のそれぞれの二次元作業現場環境画像（ＷＩＭ）を有する前記少なくとも１つのカメラ（ＣＡ、ＰＣＡ）の前記作業現場座標系（ＷＣＳ）における前記場所を利用することにより、同じとして一致した検出された特徴点（ＤＦＰ）に対する識別情報及び場所データを決定するステップと
を更に含み、
決定された識別情報及び場所データと同じとして一致した前記検出された特徴点（ＤＦＰ）が複数のマップ特徴点（ＭＦＰ）として決定される、請求項１に記載の方法。

【請求項3】

作業現場環境（ＷＥ）から、複数の区別可能な特徴（ＤＦ）を複数のマップ特徴点（ＭＦＰ）として決定する前記ステップでは、地上移動情報モデルから検索されたデータから少なくとも部分的に決定された他のマップ特徴点（ＭＦＰ）を更に含み、前記地上移動情報モデルは、地理空間情報システム（ＧＩＳ）、建物情報モデル化（ＢＩＭ）、インフラ即ち下部構造建物情報モデル化（Ｉ－ＢＩＭ）、民間情報モデル（ＣＩＭ）又はＳｍａｒｔＣｉｔｙ Ｐｌａｔｆｏｒｍのうちの少なくとも１つに基づく、請求項１又は２に記載の方法。

【請求項4】

受け入れられた画像グループ（ＧＩＭ）毎に、前記画像グループ（ＧＩＭ）の場所及び配向、及び同じとして一致した検出された特徴点（ＤＦＰ）に対する識別情報及び場所データを決定する前記ステップが、含まれている前記少なくとも３つの検出された基準特徴点（ＤＦＲＰ）の前記識別情報及び場所データを利用することにより、同じとして一致した前記検出された特徴点（ＤＦＰ）に対する静的定格を決定するステップを更に含み、
決定された識別情報、場所データ及び前記静的定格と同じとして一致した前記検出された特徴点（ＤＦＰ）、又は識別情報及び場所データと関連付けられた検出された基準特徴点（ＤＦＲＰ）のうちの少なくとも１つが複数のマップ特徴点（ＭＦＰ）として決定される、請求項１に記載の方法。

【請求項5】

画像グループ（ＧＩＭ）毎に、同じとして一致した検出された特徴点（ＤＦＰ）に対する識別情報及び場所データを決定するステップが、個々のそれぞれの二次元作業現場環境画像（ＷＩＭ）を有する前記少なくとも１つのカメラ（ＣＡ、ＰＣＡ）の前記作業現場座標系（ＷＣＳ）における前記場所を利用することにより、同じとして一致した前記検出された特徴点（ＤＦＰ）に対する静的定格を決定するステップを更に含み、
決定された識別情報、場所データ及び静的定格と同じとして一致した前記検出された特徴点（ＤＦＰ）が複数のマップ特徴点（ＭＦＰ）として決定される、請求項２に記載の方法。

【請求項6】

前記方法が総合定格を決定するステップを更に含み、前記総合定格が静的定格又は動的定格のうちの少なくとも１つを含み、前記動的定格が、個々の位置決めカメラ（ＰＣＡ）に関して、前記少なくとも１つの位置決めカメラ（ＰＣＡ）の各々のその前に決定された場所及び配向を個別に考慮して、前記複数の決定されたマップ特徴点（ＭＦＰ）の各々毎に決定される、請求項４又は５に記載の方法。

【請求項7】

前記総合定格が前記静的定格又は前記動的定格のうちの少なくとも１つであり、前記総合定格が少なくとも２つの層をなす、請求項６に記載の方法。

【請求項8】

最低層の総合定格を有する少なくとも前記マップ特徴点（ＭＦＰ）は、複数のマップ特徴点の量が閾値より多い場合、廃棄され、前記閾値が手動又は自動のうちの少なくともいずれかによって決定される、請求項７に記載の方法。

【請求項9】

前記作業現場（１４）における前記土工機械（１）の前記場所及び配向を決定することが、連続する位置決め画像（ＰＩＭ）間の航法特徴点（ＮＦＰ）を追跡するステップに更に基づき、前記連続する位置決め画像（ＰＩＭ）間で追跡される前記航法特徴点（ＮＦＰ）が前記位置決めカメラ（ＰＣＡ）の場所及び配向の変化を示す、請求項１から８までのいずれか一項に記載の方法。

【請求項10】

前記方法が、土工情報モデルにおける前記土工機械（１）の前記場所及び配向を決定するステップを更に含み、土工情報が、地理空間情報システム（ＧＩＳ）、建物情報モデル化（ＢＩＭ）、インフラ即ち下部構造建物情報モデル化（Ｉ－ＢＩＭ）、民間情報モデル（ＣＩＭ）及びＳｍａｒｔＣｉｔｙ Ｐｌａｔｆｏｒｍのうちの少なくとも１つに基づく、請求項１から９までのいずれか一項に記載の方法。

【請求項11】

前記方法が、前記土工情報モデルで記述される構造を創出するために前記土工機械（１）の工具を制御するステップを更に含む、請求項１０に記載の方法。

【請求項12】

前記方法が、前記土工情報モデルが追従すべき竣工時データを作成するステップを更に含む、請求項１０又は１１に記載の方法。

【請求項13】

前記方法が、竣工時データを作業現場情報管理システム又は前記作業現場（１４）で動作している機械のうちの少なくとも１つに送信するステップを更に含む、請求項１２に記載の方法。

【請求項14】

前記カメラ真性パラメータが操縦中に収集された少なくとも１つのデータ・セットによって更新され、前記データ・セットが特徴測定を含むカメラ経路の特定のセグメントによって創出され、前記特徴測定が、カメラが前記経路を通って移動すると実施される、請求項１から１３までのいずれか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業現場における土工機械の場所及び配向を決定するための方法に関する。

【背景技術】

【0002】

例えばある場所から別の場所へ土又は岩石材料を移動させるために、異なるタイプの土工機械を異なる地上移動作業現場で利用することができる。この種の作業現場の実例には、例えば、下部構造建設作業現場、又は建物のための家屋建設作業現場、及び道路建設作業現場がある。そのような土工機械は、例えば掘削機及びブルドーザーである。

【0003】

土工機械及び土工機械の作業工具は、設計された動作を適切に実行するために、作業現場において極めて正確に配置し、且つ、動作させることができなければならない。土工機械及びその工具の正確な場所及び配向に関する情報は土工機械のオペレータに示すことができ、したがってオペレータは、工具及び機械を制御する際に、その情報を使用することができる。機械及びその工具のこの正確な場所及び配向情報は、その情報が半自動土工機械又は全自動土工機械、即ち少なくともある時間の間、機械のオペレータによる常時制御なしに動作し、したがって機械又はその工具のあり得る誤配置が機械のオペレータによって直ちに修正されない土工機械に利用される場合、とりわけ重要である。

【0004】

一般に、機械の自動位置決めは、例えば、ＧＰＳ（米国）、ＧＬＯＮＡＳＳ（ロシア）、Ｇａｌｉｌｅｏ（欧州）又はＣｏｍｐａｓｓ（中国）などの衛星ベース位置決めシステムＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：全地球航法衛星システム）に基づくことができる。別法としては、土工機械の位置決めは、作業現場に配置されるトータル・ステーションによって提供することも可能である。

【0005】

しかしながら利用可能な何らかの、或いは十分に正確な衛星ベース位置決めシステムがすべての作業現場又はすべての土工機械に必ずしも存在しているわけではなく、或いは土工機械の上方に残っている、或いは土工機械の上方に到達する障害物のために衛星への接続が遮断されることがある。更に、作業現場におけるトータル・ステーション・ベース位置決めシステムのセットアップは、そのトータル・ステーション・ベース・システムを日毎に作業現場から撤去し、或いは一日に何度も作業現場から撤去しなければならない場合、とりわけ面倒であり得る。

【0006】

したがって代替位置決め解決法が必要である。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】Bundle Adjustment - A Modern Synthesis, Vision Algorithms: Theory &Practice, B. Triggs, A. Zisser-man & R. Szeliski (Eds.), Springer-Verlag LNCS 1883, 2000

【非特許文献2】Fischler and Bolles, Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Communications of the ACM, June 1981, volume 24, Number 6

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、作業現場における土工機械の場所及び配向を決定するための新規な方法を提供することである。

【課題を解決するための手段】

【0009】

本発明は、独立請求項の特徴によって特性化される。

【0010】

本発明は、複数の固有マップ特徴点として適用される複数の区別可能な特徴を作業現場から識別する着想に基づいており、複数の固有マップ特徴点の各々は、特徴記述子のような少なくとも固有識別子を含む識別情報、及び作業現場環境におけるその三次元場所、又は画像識別子を有する二次元画像座標のうちの少なくとも１つを含む場所データを有している。識別情報及び場所データを有するマップ特徴点を使用して、作業機械のための視覚局所化方法が実現され、局所化誤差は、時間の経過に伴う累積の代わりに、制御可能な状態、即ち許容可能なレベルを維持する。固有マップ特徴点として適用される複数の区別可能な特徴のジオリファレンスに特別な注意が払われる。

【0011】

本発明の利点は、作業現場における土工機械の場所及び配向の決定に正確な特徴点マップが適用されることである。

【0012】

本発明のいくつかの実施例は従属請求項に開示されている。

【0013】

作業現場における土工機械の場所及び配向を決定するための方法の実施例によれば、方法は、少なくとも１つの位置決めカメラを土工機械の上に設定するステップであって、少なくとも１つの位置決めカメラは、決定された真性パラメータ・セットであって、リアル－ワールド・ビューからの個々の画像ピクセルのフォーメーションを、画像について定義する真性パラメータ・セットと、機械座標系における決定された場所及び配向とを有する、ステップと、作業現場環境から、複数の区別可能な特徴を複数のマップ特徴点として決定するステップであって、複数のマップ特徴点は少なくとも識別情報及び場所データを有し、識別情報は少なくとも固有識別子を有し、また、場所データは、作業現場における三次元場所、又は画像識別子を有する二次元画像座標のうちの少なくとも１つを含む、ステップと、少なくとも１つの位置決めカメラによって二次元位置決め画像を撮るステップと、二次元位置決め画像から、区別可能な特徴を航法特徴点として検出し、且つ、航法特徴点毎に二次元画像座標及び識別情報を決定するステップと、航法特徴点の識別情報と、複数のマップ特徴点又は検出された非一致特徴点のうちの少なくとも１つの識別情報とを突き合わせるステップとを含み、作業現場における土工機械の場所及び配向を決定するステップは、少なくとも、マップ特徴点又は検出された非一致特徴点、対応する一致した航法特徴点の二次元画像座標、及び個々の対応する位置決めカメラの機械座標系における決定された真性パラメータ・セット及び決定された場所及び配向のうちの一致した少なくとも１つの場所データに基づく。

【0014】

方法の実施例によれば、作業現場座標系における土工機械の場所及び配向が決定され、方法は、
特徴点マップを作成するステップであって、
決定された真性パラメータ・セットを有する少なくとも１つのカメラによって複数の二次元作業現場環境画像を撮ることにより、作業現場環境から、複数の区別可能な特徴を複数のマップ特徴点として決定するステップであって、真性パラメータ・セットは、リアル－ワールド・ビューからの個々の画像ピクセルのフォーメーションを、画像について定義する、ステップと、
複数の二次元作業現場環境画像の個々から、
個々の区別可能な特徴を、検出された特徴点としてそれぞれの二次元作業現場環境画像の識別情報及び画像座標と関連付けるための区別可能な特徴、又は、
基準特徴点としての区別可能な特徴であって、基準特徴点は作業現場に予め設定され、且つ、基準特徴点の各々を検出された基準特徴点としてそれぞれの二次元作業現場環境画像の画像座標と更に関連付けるために、作業現場座標系における識別情報及び場所データと関連付けられる、区別可能な特徴、
のうちの少なくとも１つを検出するステップと、
少なくとも１つの画像グループを創出するステップであって、
検出された特徴点、又は結合される作業現場環境画像中の同じ点として一致した検出された基準特徴点のうちの少なくとも１つを少なくとも５つ有することによって作業現場環境画像を互いに結合するステップと、
少なくとも２つの作業現場環境画像、及び同じ点として一致した少なくとも３つの検出された基準特徴点を含む個々の画像グループを受け入れるステップと、
含まれている少なくとも３つの検出された基準特徴点の識別情報及び場所データを利用することにより、受け入れられた画像グループ毎に、画像グループの場所及び配向、及び同じ点として一致した検出された特徴点に対する識別情報及び場所データを決定するステップであって、そこから同じ点として一致した検出された特徴点、及び同じ点として一致した検出された基準特徴点が特徴点マップのためのマップ特徴点として決定され、特徴点マップの複数のマップ特徴点は少なくとも識別情報及び場所データを有し、識別情報は、区別可能な特徴を識別する少なくとも固有識別子を含み、また、場所データは作業現場座標系における三次元場所を含む、ステップと、
によって創出するステップと、
少なくとも１つの位置決めカメラを土工機械の上に設定するステップであって、少なくとも１つの位置決めカメラは、決定された真性パラメータ・セット、及び機械座標系における決定された場所及び配向を有するステップと、
土工機械に特徴点マップを提供するステップと、
少なくとも１つの位置決めカメラによって二次元位置決め画像を撮るステップと、
二次元位置決め画像から、区別可能な特徴を航法特徴点として検出し、且つ、航法特徴点毎に二次元画像座標及び識別情報を決定するステップと、
航法特徴点の識別情報と特徴点マップのマップ特徴点の識別情報とを突き合わせるステップと
を含み、
作業現場座標系における土工機械の場所及び配向を決定するステップは、少なくとも、
一致したマップ特徴点の場所データ、
対応する一致した航法特徴点の二次元画像座標、
個々の対応する位置決めカメラの機械座標系における決定された真性パラメータ・セット及び決定された場所及び配向
に基づく。

【0015】

方法の実施例によれば、作業現場環境から、複数の区別可能な特徴を複数のマップ特徴点として決定するステップは、決定された真性パラメータ・セットを有する少なくとも１つのカメラによって複数の二次元作業現場環境画像を撮るステップと、複数の二次元作業現場環境画像の各々から、個々の区別可能な特徴を、検出された特徴点としてそれぞれの二次元作業現場環境画像の識別情報及び画像座標と関連付けるための区別可能な特徴、又は、基準特徴点であって、作業現場に予め設定され、且つ、基準特徴点の各々を検出された基準特徴点としてそれぞれの二次元作業現場環境画像の画像座標と更に関連付けるために識別情報及び場所データと関連付けられる、基準特徴点のうちの少なくとも１つを検出するステップと、少なくとも１つの画像グループを創出するステップであって、検出された特徴点、又は結合される作業現場環境画像中の同じ点として一致した検出された基準特徴点のうちの少なくとも１つを有することによって作業現場環境画像を互いに結合するステップと、少なくとも２つの作業現場環境画像、及び同じ点として一致した少なくとも３つの検出された基準特徴点を含む個々の画像グループを受け入れるステップと、含まれている少なくとも３つの検出された基準特徴点の識別情報及び場所データを利用することにより、受け入れられた画像グループ毎に、画像グループの場所及び配向、及び同じとして一致した検出された特徴点に対する識別情報及び場所データを決定するステップと、によって創出するステップとを含み、決定された識別情報及び場所データと同じ点として一致した検出された特徴点、又は同じ点として一致し、且つ、識別情報及び場所データと関連付けられた検出された基準特徴点のうちの少なくとも１つが複数のマップ特徴点として決定される。

【0016】

方法の実施例によれば、作業現場環境から、複数の区別可能な特徴を複数のマップ特徴点として決定するステップは、少なくとも１つのカメラによって複数の二次元作業現場環境画像を撮るステップであって、少なくとも１つのカメラは、決定された真性パラメータ・セット、及び作業現場座標系における決定された場所を有する、ステップと、複数の二次元作業現場環境画像の各々から区別可能な特徴を検出し、且つ、それぞれの二次元作業現場環境画像の画像座標を使用して、区別可能な特徴を検出された特徴点として決定するステップと、作業現場環境画像中の同じ点として一致した検出された特徴点を有する少なくとも１つの画像グループを創出するステップと、画像グループ毎に、個々のそれぞれの二次元作業現場環境画像を有する少なくとも１つのカメラの作業現場座標系における場所を利用することにより、同じとして一致した検出された特徴点に対する識別情報及び場所データを決定するステップとを含み、決定された識別情報及び場所データと同じとして一致した検出された特徴点が複数のマップ特徴点として決定される。

【0017】

方法の実施例によれば、作業現場環境から、複数の区別可能な特徴を複数のマップ特徴点として決定するステップでは、マップ特徴点は、地上移動情報モデルから検索されたデータから少なくとも部分的に決定され、地上移動情報モデルは、地理空間情報システム（ＧＩＳ：Ｇｅｏｓｐａｔｉａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）、建物情報モデル化（ＢＩＭ：Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｌｉｎｇ）、インフラ即ち下部構造建物情報モデル化（Ｉ－ＢＩＭ：Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｌｉｎｇ）、民間情報モデル（ＣＩＭ：Ｃｉｖｉｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌ）又はＳｍａｒｔＣｉｔｙ Ｐｌａｔｆｏｒｍのうちの少なくとも１つに基づいている。

【0018】

方法の実施例によれば、作業現場環境から、複数の区別可能な特徴を複数のマップ特徴点として決定するステップは、地上移動情報モデルから検索されたデータから少なくとも部分的に決定された他のマップ特徴点を更に含み、地上移動情報モデルは、地理空間情報システム（ＧＩＳ）、建物情報モデル化（ＢＩＭ）、インフラ即ち下部構造建物情報モデル化（Ｉ－ＢＩＭ）、民間情報モデル（ＣＩＭ）又はＳｍａｒｔＣｉｔｙ Ｐｌａｔｆｏｒｍのうちの少なくとも１つに基づいている。

【0019】

方法の実施例によれば、作業現場環境から、複数の区別可能な特徴を複数のマップ特徴点として決定するステップでは、マップ特徴点は、請求項１、２又は３のうちの少なくとも２つの請求項に開示されている方法に従って決定されたマップ特徴点の組合せセットとして決定される。

【0020】

方法の実施例によれば、受け入れられた画像グループ毎に、画像グループの場所及び配向、及び同じとして一致した検出された特徴点に対する識別情報及び場所データを決定するステップは、含まれている少なくとも３つの検出された基準特徴点の識別情報及び場所データを利用することにより、同じとして一致した検出された特徴点に対する静的定格を決定するステップを更に含み、決定された識別情報、場所データ及び静的定格と同じとして一致した検出された特徴点、又は識別情報及び場所データと関連付けられた検出された基準特徴点のうちの少なくとも１つが複数のマップ特徴点として決定される。

【0021】

方法の実施例によれば、画像グループ毎に、同じとして一致した検出された特徴点に対する識別情報及び場所データを決定するステップは、個々のそれぞれの二次元作業現場環境画像を有する少なくとも１つのカメラの作業現場座標系における場所を利用することにより、同じとして一致した検出された特徴点に対する静的定格を決定するステップを更に含み、決定された識別情報、場所データ及び静的定格と同じとして一致した検出された特徴点が複数のマップ特徴点として決定される。

【0022】

方法の実施例によれば、方法は、総合定格を決定するステップを更に含み、総合定格は静的定格又は動的定格のうちの少なくとも１つを含み、動的定格は、個々の位置決めカメラに関して、少なくとも１つの位置決めカメラの各々のその前に決定された場所及び配向を個別に考慮して、複数の決定されたマップ特徴点の各々毎に決定される。

【0023】

方法の実施例によれば、総合定格は静的定格又は動的定格のうちの少なくとも１つであり、総合定格は少なくとも２つの層をなしている。

【0024】

方法の実施例によれば、最低層の総合定格を有する少なくともマップ特徴点は、複数のマップ特徴点の量が閾値より多い場合、廃棄され、閾値は、手動又は自動のうちの少なくともいずれかによって決定される。

【0025】

方法の実施例によれば、作業現場における土工機械の場所及び配向を決定するステップは、連続する位置決め画像間の航法特徴点を追跡するステップに更に基づいており、連続する位置決め画像間で追跡される航法特徴点は、位置決めカメラの場所及び配向の変化を示す。

【0026】

方法の実施例によれば、方法は、土工情報モデルにおける土工機械の場所及び配向を決定するステップを更に含み、土工情報は、地理空間情報システム（ＧＩＳ）、建物情報モデル化（ＢＩＭ）、インフラ即ち下部構造建物情報モデル化（Ｉ－ＢＩＭ）、民間情報モデル（ＣＩＭ）及びＳｍａｒｔＣｉｔｙ Ｐｌａｔｆｏｒｍのうちの少なくとも１つに基づいている。

【0027】

方法の実施例によれば、方法は、土工情報モデルで記述される構造を創出するために土工機械の工具を制御するステップを更に含む。

【0028】

方法の実施例によれば、方法は、土工情報モデルが追従すべき竣工時データを作成するステップを更に含む。

【0029】

方法の実施例によれば、方法は、竣工時データを作業現場情報管理システム又は作業現場で仕事をしている機械のうちの少なくとも１つに送信するステップを更に含む。

【0030】

以下、本発明について、好ましい実施例によって、添付の図面を参照してより詳細に説明する。

【図面の簡単な説明】

【0031】

【図1】作業現場における掘削機の略側面図である。

【図2a】作業現場における土工機械の場所及び配向を決定するための方法の実施例を概略的に示す図である。

【図2b】作業現場における土工機械の場所及び配向を決定するためのシステムを概略的に示す図である。

【図3】作業現場のための特徴点マップを提供するための方法及びシステムの例証を概略的に示す図である。

【図4】画像中の単一のピクセル点のための特徴記述子を創出する実例を概略的に示す図である。

【図5a】特徴点マップを創出するためのマップ特徴点を決定するための実施例を概略的に示す図である。

【図5b】特徴点マップを創出するためのマップ特徴点を決定するための実施例を概略的に示す図である。

【図5c】特徴点マップを創出するためのマップ特徴点を決定するための実施例を概略的に示す図である。

【図5d】特徴点マップを創出するためのマップ特徴点を決定するための実施例を概略的に示す図である。

【図6】特徴点マップを創出するためのマップ特徴点を決定するための別の実施例を概略的に示す図である。

【図7a】作業現場における機械の場所及び配向を決定するための実施例を図２ａ及び図２ｂの観点で概略的に示す図である。

【図7b】作業現場における機械の場所及び配向を決定するための実施例を図２ａ及び図２ｂの観点で概略的に示す図である。

【図7c】作業現場における機械の場所及び配向を決定するための実施例を図２ａ及び図２ｂの観点で概略的に示す図である。

【図8】いくつかの地上移動情報モデルを概略的に開示する図である。

【図9】視覚オドメトリ手順に関連する実施例を概略的に示す図である。

【発明を実施するための形態】

【0032】

明確にするために、図は本発明のいくつかの実施例を単純な方法で示している。同様の参照数表示は、図における同様の要素を識別している。

【0033】

図１は、作業現場１４における掘削機１の略側面図であり、掘削機１には操作されることが意図されている。掘削機１は土工機械の一実例であり、この掘削機１に関連して、本明細書において開示される、作業現場１４における土工機械の場所及び配向を決定するための解決法を適用することができる。作業現場１４は少なくとも１つの三次元領域又は空間、即ち作業環境（ＷＥ：ｗｏｒｋｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ）を備えており、この作業環境ＷＥで、土工機械によって実施されるアクティブ・ワークが実施されることになる。作業現場１４の性質又は特性に応じて、作業現場１４は、アクティブ・ワークが実施されることになる領域又は空間に加えて、アクティブ・ワークが実施される領域又は空間で実施されることになる操作に影響を及ぼし得る、及び／又はアクティブ・ワークが実施されることになる領域又は空間で実施される操作によって影響が及ぼされ得る、１つ又は複数の周囲領域又は空間を同じく備えることができる。とりわけ都会環境では、土工機械は、実際の作業現場又は公式に決定された作業現場の外側でも一時的に作業する必要があり得る。したがってこの説明では、作業現場１４は、実際に示されている作業現場１４又は公式に示されている作業現場１４である領域及び／又は空間を越えて、数メートルなどのある距離にわたって拡張することも可能である。

【0034】

掘削機１は、アンダー・キャリッジ２ａ、即ち下部キャリッジ２ａ及びアッパー・キャリッジ２ｂを備えた可動キャリッジ２を備えている。下部キャリッジ２ａはキャタピラ・バンドを備えているが、別法として車輪を備えることも可能である。アッパー・キャリッジ２ｂは、アッパー・キャリッジ２ｂの回転車軸３によって下部キャリッジ２ａに接続されている。したがってアッパー・キャリッジ２ｂは、下部キャリッジ２ａに対して、矢印Ｒで概略的に示されているように回転軸４の周りに回転することができる。回転軸４は回転車軸３の中心軸と一致している。

【0035】

掘削機１は、アッパー・キャリッジ２ｂで接続されたブーム５を更に備えており、それによりブーム５はアッパー・キャリッジ２ｂと共に回転するようになされている。ブーム５は少なくとも第１のブーム部分５ａを備えることができる。ブーム５は、第２のブーム部分５ｂなどの他のブーム部分を同じく更に備えることができる。ブーム５は、矢印Ｌで概略的に示されているように、アッパー・キャリッジ２ｂに対して上に持ち上げ、且つ、下ろすことができる。

【0036】

第２のブーム部分５ｂは、ジョイント６によって第１のブーム部分５ａに接続することができ、矢印Ｔ６で概略的に示されているように、第２のブーム部分５ｂを第１のブーム部分５ａの周りに回転させることができる。第２のブーム部分５ｂの遠位端には、この事例ではバケット７である作業工具が存在しており、また、バケット７と第２のブーム部分５ｂの間にジョイント８を存在させることができ、矢印Ｔ８で概略的に示されているように、バケット７を第２のブーム部分５ｂの周りに回転させることができる。ジョイント８に関連して、バケットを例えば横向きの方向に傾斜させることができるジョイント又は機構を同じく存在させることができる。

【0037】

キャリッジ２の上には、掘削機１のオペレータ１０のための操縦室９を存在させることができる。操縦室９は、例えば、操縦室９の垂直方向の位置をキャリッジ２に対して調整することができる可動構造を備えることができる。

【0038】

掘削機１は、受け取った制御アクションに応答して、キャリッジ２、ブーム５及びバケット７の動作などの掘削機１の動作を制御するように構成される少なくとも１つの制御ユニット１１を更に備えている。

【0039】

掘削機１は、掘削機１がある種の衛星ベース位置決めシステムＧＮＳＳ（全地球航法衛星システム）、即ち参照符号１３で参照されている、極めて概略的に示されている衛星を利用することができるように意図されている場合、１つ又は複数のアンテナ１２などの多数の衛星受信デバイスを更に備えることができる。１つ又は複数のアンテナ１２は、例えばアッパー・キャリッジ２ｂの上に置くことができる。

【0040】

掘削機１は、例えば機械の位置及び／又は配向及び／又は傾き及び／又は機械が向いている方向を決定するための慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）などの多数のセンサＳＭＵ又はセンサＳＭＵのグループを更に備えることができる。センサ又はセンサのグループは、互いに対して取り付けられた少なくとも１つの対象の位置、配向、傾斜又は対象が向いている方向のうちの少なくとも１つを決定する目的に適した、ジャイロスコープ、加速度計、傾斜計、磁気コンパス、角度センサ、位置センサ、振子、レベル測定デバイス、及びカメラ・センサなどの任意の他のセンサ、立体カメラ、レーザ受信機／検出器又はライダーのうちの少なくとも１つであってもよい。衛星ベース位置決めシステムＧＮＳＳを利用することができるよう、少なくとも１つのアンテナ１２を具備している掘削機１の場合、少なくとも１つのセンサは同じく衛星ベース・コンパスであってもよい。掘削機１は、掘削機１が移動した距離を測定するためのセンサを同じく具備することができ、このセンサは、慣性測定ユニットＩＭＵの内部又は外部であってもよい。

【0041】

図１は更に、開示されている、作業現場１４における掘削機１の場所及び配向を決定するための解決法に利用することができる多数の座標系を概略的に開示している。図１は、掘削機１中の一点に取り付けられる機械座標系（ＭＣＳ：ｍａｃｈｉｎｅ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）を開示しており、この機械座標系ＭＣＳにより、機械座標系ＭＣＳにおけるその点に対する対象の場所及び配向を決定することができる。更に、図１は、作業現場１４中の一点に取り付けられる作業現場座標系（ＷＣＳ：ｗｏｒｋｓｉｔｅ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）を開示しており、この作業現場座標系ＷＣＳにより、作業現場座標系ＷＣＳにおけるその点に対する対象の場所及び配向を決定することができる。更に、図１は、リアル・ワールドにおける一点に取り付けられるワールド座標系（ＷＤＣＳ：ｗｏｒｌｄ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）を開示しており、このワールド座標系ＷＤＣＳにより、ワールド座標系ＷＤＣＳにおけるその点に対する対象の場所及び配向を決定することができる。

【0042】

図２ａは、作業現場１４における土工機械の場所及び配向を決定するための方法の実施例を概略的に示したものである。図２ｂは、作業現場１４における土工機械の場所及び配向を決定するためのシステム・レベル例証を概略的に示したものである。上で開示した掘削機１は、本明細書において開示されている解決法を適用することができる土工機械の単なる一実例にすぎない。本明細書において開示されている解決法を同じく適用することができる他の土工機械は、例えばドーザ、ホイール・ローダ、ローラ、バックホー、ダンプ・トラック、クレーン、モービル・クレーン、フォワーダ、刈取り機、等々である。したがって以下の説明では、土工機械は「機械１」という用語を使用して同じく参照することができる。

【0043】

作業現場１４における機械１の場所及び配向を決定するための方法は、少なくとも１つの位置決めカメラ（ＰＣＡ：ｐｏｓｉｔｉｏｎｉｎｇ ｃａｍｅｒａ）、即ち１つ又は複数の位置決めカメラＰＣＡを機械１の上に設定するステップを含む。個々の１つ又は複数の位置決めカメラＰＣＡは、決定された真性パラメータ・セット及び機械座標系ＭＣＳにおける決定された場所及び配向を有している。

【0044】

決定された真性パラメータ・セットは、それぞれの位置決めカメラＰＣＡによって撮影される画像について、リアル－ワールド・ビューからの個々の画像ピクセルのフォーメーションを定義する。決定された真性パラメータ・セットは、カメラの動作を定義しているパラメータを含む。これらのパラメータは、例えば画像中心、焦点距離、スキュー及びレンズ歪みを含むことができる。決定された真性パラメータ・セットは、リアル－ワールドにおける特定の点が設定されている、撮影された画像中の画像ピクセルを記述している。位置決めカメラＰＣＡ毎の決定された真性パラメータ・セットは、研究室較正を介して予め獲得することができ、或いは後でより詳細に考察されるＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ手順によって後で獲得することができる。

【0045】

機械座標系ＭＣＳにおける少なくとも１つの位置決めカメラＰＣＡの決定された場所及び配向は、この方法では分かっていなければならない。決定された場所及び配向は、個々の位置決めカメラＰＣＡを機械１の上に設置する時点で決定することができる。決定された場所及び配向は、手動とセンサ測定の組合せであっても、或いはセンサによってすべて測定することができる。いずれの場合においても、機械座標系ＭＳＣの決定された原点及び軸（ｘ、ｙ、ｚ）に対する個々の位置決めカメラＰＣＡの場所及び配向は、可能な限り正確に測定されることが重要である。センサによる測定は、例えば、機械１の外部の少なくとも１つのセンサ又は測定デバイスのいずれかを使用して決定し、且つ、位置決めカメラＰＣＡを機械１の上に設置する時点でのみ利用することができ、或いは機械１に設置された少なくとも１つのセンサＳＭＵを使用して、及び／又は位置決めカメラＰＣＡに設置された少なくとも１つのセンサＳＭＣを使用して決定することができる。位置決めカメラＰＣＡの中の少なくとも１つのセンサＳＭＣ、即ち１つ又は複数のセンサＳＭＣ、並びに機械１の上に設置された少なくとも１つのセンサＳＭＵ、即ち１つ又は複数のセンサＳＭＣを使用して、例えば位置決めカメラＰＣＡの位置及び／又は配向、及び／又は傾斜及び／又は位置決めカメラＰＣＡ向いている方向を決定することができる。機械座標系ＭＣＳにおけるカメラの場所及び配向が測定される方法に無関係に、作業現場における土工機械の場所及び配向を決定するためのシステムには、機械座標系ＭＣＳにおける少なくとも１つの位置決めカメラＰＣＡの各々の厳密な場所及び配向が必要である。また、機械座標系ＭＣＳにおける位置決めカメラＰＣＡの場所及び配向は、機械１の中の少なくとも１つのセンサＳＭＵ、及び／又は位置決めカメラＰＣＡの中の少なくとも１つのセンサＳＭＣを使用して、機械１を操作している間に決定し、或いは評価することも可能であり、それにより少なくとも１つの位置決めカメラＰＣＡの場所及び／又は配向がシステムに対して決定された通りの場所及び／又は配向を維持していること、或いは維持していないことを確認することができ、少なくとも１つの位置決めカメラＰＣＡの場所及び／又は配向は、変更されると、システムに対して再決定することができる。更に、機械のオペレータは、位置決めカメラＰＣＡの場所又は配向が変化したかどうかを知ることができる。位置決めカメラＰＣＡの中の少なくとも１つのセンサＳＭＣは、例えば、ジャイロスコープ、加速度計、傾斜計、磁気コンパス、角度センサ、位置センサ、振子、レベル測定デバイス、又は場所及び／又は配向を測定し、或いは場所及び／又は配向の変化を測定するのに適した任意の他のセンサ或いは測定デバイスのうちの少なくとも１つであってもよい。

【0046】

作業現場１４における機械１の場所及び配向を決定するための方法は、作業現場１４で動作している機械１の場所及び配向を決定するために使用されることになる、作業現場１４におけるマップ特徴点の表現を形成する特徴点マップ、即ち航法マップを創出し、或いは作成するステップを更に含む。したがってこの航法マップは、作業現場１４における機械１の実時間航法のために後で使用される、作業現場１４に関する事前創出済み特徴点マップである。特徴点マップを創出するためのいくつかの代替解決法については、追って、この説明の中でより詳細に考察される。

【0047】

作業現場１４における機械１の場所及び配向は、特徴点マップに利用することができる情報、及び決定された真性パラメータ・セット、並びに機械座標系ＭＣＳにおける個々の対応する位置決めカメラＰＣＡの決定された場所及び配向に少なくとも基づいて決定される。作業現場１４における機械１の場所及び配向を決定するためのこのステップについては、追って、図７ａ、図７ｂ及び図７ｃ、及び図２ａ及び図２ｂに鑑みた関連する説明に関連してより詳細に考察される。

【0048】

作業現場１４における機械１の場所及び配向の決定を実施するための必要なデータ処理は、制御ユニット１１のようなもっぱら機械１の中で利用することができるデータ処理資源によって実施することができ、作業現場サーバ又はコンピュータなどの作業現場情報管理システムのために確保されているデータ処理資源などのもっぱら機械１の外部で利用することができ、又は作業現場情報管理システムを提供するようになされたクラウド・サービスの中で利用することができるデータ処理資源によって実施することができ、或いは機械１の中と機械１の外部の両方で利用することができるデータ処理資源によって実施することができる。同様に、作業現場１４における機械１の場所及び配向を決定するために使用される特徴点マップは、機械１、作業現場情報管理システム又はクラウド・サービスのうちの少なくとも１つの中に配置することができる。必要なデータ送信は、作業現場１４のために利用することができる専用及び／又は公衆データ送信ネットワークによって実現することができる。図２ｂでは、作業現場情報管理システムに置き換えることができ、或いはクラウド・サービスに置き換えることができる制御ユニット１１は、図２ｂには、破線で引かれた、図２ｂのシステムにおけるアイテムを取り囲んでいるボックスによって極めて概略的に表されている。

【0049】

既に上で簡単に考察した特徴点マップの創出或いは作成をもう一度参照すると、図３は、作業現場１４のための特徴点マップを提供するための方法を極めて概略的に示したものである。方法の実施例は、作業現場環境ＷＥから、複数の区別可能な特徴を複数のマップ特徴点（ＭＦＰ：ｍａｐ ｆｅａｔｕｒｅ ｐｏｉｎｔ）として決定するステップを含み、複数のマップ特徴点ＭＦＰは、それぞれ少なくとも識別情報及び場所データを有している。識別情報は、それぞれのマップ特徴点ＭＦＰのための少なくとも固有識別子を含み、一方、場所データは、作業現場座標系ＷＣＳにおけるそれぞれのマップ特徴点ＭＦＰの三次元場所、又は画像識別子を有する二次元画像座標のうちの少なくとも１つを含む。固有識別子は、データベースのための少なくとも何らかの種類の索引番号、及び少なくとも１つの特徴記述子を含むことができる。特徴記述子は互いからマップ特徴点ＭＦＰを識別し、したがって特徴記述子は、個々の区別可能な特徴を互いから特定することができる。通常、マップ特徴点ＭＦＰは、固有識別子として、特徴記述子、ＡＲＵＣＯコード、又はチェッカ・マーカのための索引番号を有している。言い換えると、特徴点マップの創出には、複数の画像が少なくとも１つのカメラによって作業現場環境ＷＥから撮影され、次にこれらの画像が調査又は分析されて、これらの画像中の区別可能な特徴（ＤＦ：ｄｉｓｔｉｎｇｕｉｓｈａｂｌｅ ｆｅａｔｕｒｅ）が見出され、これらの区別可能な特徴ＤＦは、特徴点マップ、即ち作業現場１４における機械１の実時間航法のために後で使用される事前創出済み航法マップを形成するために、作業現場環境ＷＥからマップ特徴点ＭＦＰを提供するために適切であると見なされる。

【0050】

特徴点マップを形成するためのマップ特徴点ＭＦＰを決定するためのいくつかの様々な解決法については、追ってより詳細に考察される。その前に、作業現場環境ＷＥから撮られた画像中の区別可能な特徴ＤＦの発見及びその分析に関連するいくつかの技法態様について考察する。

【0051】

特徴点マップ即ち航法マップを創出するために、画像を撮影する１つのカメラ／複数のカメラの異なる位置で、複数の画像が作業現場環境ＷＥから撮影される。本明細書における少なくとも１つのカメラは、いくつかの機械１に適用される少なくとも１つの位置決めカメラＰＣＡ、或いは作業現場１４に適用される何らかの他のカメラＣＡ、例えば作業現場１４の中を移動するドローンに適用されるカメラであってもよい。作業現場１４から画像を撮影するこの手順は、作業現場環境ＷＥの三次元シーン再現を可能にする空中画像撮影又は空中画像写真撮影を思い起こさせる。しかしながら撮られる画像の遠近感は、作業現場１４における機械１の場所及び配向の決定が実施される際に機械１に適用されることになる少なくとも１つの位置決めカメラＰＣＡの遠近感と実質的に同じであることが好ましい。画像は、画像を１つに組み合わせて、即ち結合して多数の画像グループ又は少なくとも１つの画像グループ（ＧＩＭ：ｇｒｏｕｐ ｏｆ ｉｍａｇｅｓ）を形成するために、大量のオーバラップを使用して撮られる。個々の画像は、画像グループＧＩＭ中の少なくとも１つの他の画像と十分にオーバラップしなければならないが、画像グループＧＩＭ中のすべての他の画像とオーバラップしなければならないわけではないことに留意されたい。画像のオーバラップは事例毎に変化してもよく、例えば４０％と８０％の間である。画像化される領域が、多くの特徴を有する建物などの不変を維持する多くの固体アイテムを含んでいる場合、オーバラップはより少なくなり得る。一方、画像化される領域が、砕石、若い木、藪、又は芝生、或いは更には滑らかな白壁などの多くの可動又は可変アイテムを含んでいる場合、オーバラップははるかに多くなる。オーバラップが多いほど、画像が首尾よく結合される可能性がより高くなり、より密度が高い特徴点マップを創出することができる。

【0052】

撮られた複数の画像の各々の画像データは、利用可能な慣性測定ユニットＩＭＵ及び／又はＧＮＳＳが存在している場合、画像毎の姿勢データ及び／又はＧＮＳＳ位置データを使用して補強することができる。これらを利用して、三次元シーン再現のための広く知られている技法であるＳｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎワークフローの間、特徴点マップを創出することができ、また、主要素として、画像からの特徴探求、個々の画像からの、及び個々の画像への特徴の突合せ、カメラの真性パラメータを使用した運動回復及び三角測量、及び任意選択で、Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔと呼ばれる最適化タスクを介したシーン再現のための最適モデル・パラメータの発見を含む。

【0053】

Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔは最適化タスクであり、三次元シーン再現のために必要なパラメータが解決される。これらは、他の画像に対する画像の回転及び並進、画像中の共通特徴点の三次元座標、及びカメラの真性パラメータなどの外部／非本質的パラメータであってもよい。また、カメラの非本質的パラメータは、例えばワールドＷＤＣＳ又は作業現場ＷＣＳ座標系におけるカメラの場所及び姿勢であってもよい。したがってＢｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔの一部を形成している数学モデルは、モデルに適用されるパラメータの数に基づいて異なっていてもよい。したがって、それは、解決されるべきものを定義するのは設計選択である。また、モデル中の解決されるべき、又は最適化されるべきすべてのパラメータには、初期値を使用して指定される予備初期値を割り当てることができ、一方、モデル中のパラメータのうちのいくつかは、予め分かっている固定値を有することができる。Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔの目的は、撮られた画像中に存在する特徴の情報に関連する外部画像パラメータなどの、最適化するべく選択されたすべてのモデル・パラメータを最適化することである。上で考察した真性カメラ・パラメータ及び非本質的カメラ・パラメータが既に分かっている場合、Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔは不要である。Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ最適化におけるすべての一致した検出された特徴点（ＤＦＰ：ｄｅｔｅｃｔｅｄ ｆｅａｔｕｒｅ ｐｏｉｎｔ）を含むことが必ずしも有意義ではない場合がそうであり得る。廃棄された検出された特徴点ＤＦＰは、Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ後の最終三角測量で再現することができる。したがってこれらの検出された特徴点ＤＦＰは、ＰｎＰに基づく方法を使用して航行する場合に利用することができる。また、画像非本質的パラメータはＢｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ内で解決されるため、画像上に存在している検出された非一致特徴点（ＤＦＰ－ＮＭ：ｄｅｔｅｃｔｅｄ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｎｏｔ ｍａｔｃｈｅｄ）であっても、追って考察されるような実施例で、機械の場所及び配向を実時間で決定する際に利用することができ、したがって三次元座標がないＭＦＰと共に記憶することができる。位置及び／又は配向／姿勢、画像の真性パラメータ、画像の非本質的パラメータ又は画像のパラメータについて話す場合、これらは、画像を撮る時点におけるカメラの同様のパラメータであることに留意されたい。したがって例えばカメラの真性パラメータ及び非本質的パラメータが、画像が撮られた時点で分かっていた場合、これらのパラメータをカメラによって撮られた画像の真性パラメータ及び非本質的パラメータとして使用することができ、また、カメラの真性パラメータ及び非本質的パラメータが、画像が撮られた時点で分かっていなかった場合、それらはＢｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔで解決されることになり、また、画像の真性パラメータ及び非本質的パラメータとして同じく考察されることになる。別法として、真性カメラ・パラメータのみが分かっている場合、それらを既知の情報として同じくＢｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔに供給することができる。上で示したようにＢｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ手順は三次元シーン再現と関連して広く知られている技法であるが、例えば非特許文献１は、Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ手順をより詳細に開示している。

【0054】

通常、画像が作業現場環境から撮られる際に利用することができる画像姿勢及び／又はＧＮＳＳ位置データは存在しない。例えばＧＮＳＳは、トンネルの中、橋の下、又は高い建物を有する都市環境では利用することができず、或いは画像を撮るカメラＣＡ、ＰＣＡは、そのカメラＣＡ、ＰＣＡの場所及び／又は配向を決定することになる位置決めシステムに接続されない。その場合、地上制御点ネットワークを適用することができる。地上制御点は、作業現場１４全体にわたって、好ましくは一様に広がっている基準点又は基準特徴点である。これらの基準点は画像から認識される必要があるため、それらは、その認識を可能にするための特定のマーカを具備している。地上制御点は、例えば４平方チェッカ・マーカ又はＡｒｕｃｏマーカであってもよく、前者は、通常、画像からの検出がより正確である。チェッカ・マーカが使用される場合、マーカは必ずしも固有である必要はなく、即ちそれらはすべて全く同じであってもよく、それにより個々のマーカの場所はそれぞれのマーカを特定する。チェッカ・マーカは画像の中で検出することができるが、その実際の識別は、例えばマーカ上のコンピュータ可読数を使用して、文脈ベース認識によって実施され、即ち画像の中で見ることができる対象を取り囲んでいるもの、或いは後で、画像グループの再現の作業現場座標系及び三次元座標系の両方における点同士の間のマーカの距離及び角度組合せ数学を使用した三次元シーンで検出される。

【0055】

作業現場環境シーンを正しいスケールで作業現場座標系ＷＣＳの中にもたらすように特徴点マップ、即ち航法マップを創出するために、画像毎の可能姿勢データを有するＧＮＳＳ位置データ、又は別法として地上制御点ネットワークが適用される。別法としては、画像毎の姿勢データ及びＧＮＳＳ位置データを地上制御点ネットワークと一体で適用して特徴マップを創出し、それにより作業現場環境シーンを正しいスケールで作業現場座標系ＷＣＳの中にもたらすことも可能である。Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔを適用する場合、再現された三次元作業現場環境シーンからワールドＷＤＣＳ又は作業現場ＷＣＳ座標系への座標変換は、Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔの後に、個別の最適化タスクで解決することができる。検出された特徴に対する精度情報を描写している共分散行列をＢｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ手順で解決することも可能である。

【0056】

撮られた作業現場環境画像から三次元シーンを再現するためには、複数の画像から同じ特徴点を見出す必要がある。次にこれらの共通特徴点に対する三次元座標を計算することができる。撮られた画像中で見出される共通特徴点が多いほど、高い精度の再現がより確実になる。

【0057】

撮られた画像では、三次元作業現場環境ＷＥにおける特徴は二次元平面の上に描写され、画像中の特徴の二次元場所は二次元画像座標、即ち画像ピクセル座標によって決定される。いくつかの画像からの同じ特徴の発見は、全面的に自動的に実現することができ、画像中の共通対象点を手動で拾い上げる必要はないが、それは本明細書においては除外されない。ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ：スケール不変式特徴変換）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ：スピード－アップ・ローバスト特徴）及びＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ：配向ＦＡＳＴ及び回転ＢＲＩＥＦ）はこれらの特徴検出アルゴリズムのいくつかの実例である。これらのすべては、単一のピクセル点の周りのピクセル値又はピクセル・テクスチャを利用することにより、画像中のその単一のピクセル点に対するそれぞれの特徴記述子を創出する。特徴記述子は、検出された特徴の特性を決定し、或いは定義する。単一のピクセル点の周りのピクセル値を利用することにより、画像中のその単一のピクセル点に対する特徴記述子を創出する主要な実例は図４に示されており、ピクセル点ｐに対する特徴記述子は、ピクセル点ｐの周りに残っている２７個のピクセルのピクセル値又はテクスチャによって創出されることになることが示されている。

【0058】

突合せＯＲＢベース特徴記述子は、照明状態、ぼやけ、回転及びスケールなどの画像化条件の変化に対して実質的に頑丈であり、また、実時間アプリケーションのために十分に高速で計算するため、ＯＲＢベース特徴記述子の使用は、可動機械１の場所及び配向を決定するのに有利である。

【0059】

異なる画像に出現する同じ特徴は、それらの特徴記述子を比較することによって突き合わせることができる。実施例によれば、特徴突合せ手順は、広く知られている力任せ探求ベース問題解決技法、及び解決のためのすべての可能候補を系統立てて列挙し、且つ、個々の候補が問題のステートメントを満たしているかどうかをチェックすることからなるアルゴリズム・パラダイムを使用して実現することができる。

【0060】

したがって本明細書において開示されている解決法における、異なる画像に出現する特徴の突合せに関連する手順は、すべての特徴の記述子を比較し、且つ、異なる画像中の同じ特徴に対応させるための最良突合せを選択することを含むことができる。更に、順方向－逆方向一貫性チェックを実施することができ、例えば第１の画像中のｉ番目の特徴記述子が第２の画像中のｊ番目の特徴記述子を最良突合せとして有しているかどうか、また、その逆に第２の画像中のｊ番目の特徴記述子が第１の画像中のｉ番目の特徴記述子を最良突合せとして有しているかどうかが検証される。最後に、特徴記述子のために定義された抽象距離である十分に短い特徴記述子距離と一致する特徴記述子のみが、異なる画像中の同じ特徴を表すために受け入れられる。

【0061】

ワールドＷＤＣＳ又は作業現場ＷＣＳ座標系における特徴に対する三次元場所座標、及びすべての画像に対する姿勢及び位置、並びに特徴記述子と共に、特徴を見ることができる画像中のそれらのそれぞれの二次元画像座標を獲得すると、特徴の記述子及びそれらの三次元座標を一体にリンクさせて、特徴点マップ即ち航法マップを作成することができる。特徴点マップでは、個々の特徴に独自に索引を付けることが好ましい。本明細書において開示されている解決法のための特徴点マップでは、例えば、マップ特徴点ＭＦＰを形成している特徴毎に以下の情報を記憶することができる。
・特徴索引（例えば０又は１から始まる索引番号）
・特徴記述子（ＯＲＢ記述子又はＡＲＵＣＯコードなど）
・恐らくは決定された座標の精度の不確実性を示す楕円体を含む、三次元作業現場ＷＣＳ又はワールドＷＤＣＳ座標系座標
・同じ特徴を見ることができるそれらの画像を識別する画像識別子（同じ特徴を見ることができる少なくとも１つ、典型的には少なくとも２つの画像が存在する）
・恐らくは画像座標の精度の不確実性を示す楕円を含む、特徴を見ることができるそれらの画像に対する特徴の場所に対する画像座標
・ワールドＷＤＣＳ又は作業現場ＷＣＳ座標系における個々の画像の位置及び姿勢
・共分散行列、即ち特徴に対する精度情報
・特徴に対する静的定格
・特徴の場所、即ちバルコニー、工事仮設小屋、マンホール、太い木、破石を記述している人工又は自然対象分類を含む意味分類情報
・全方位、度単位の北、北－東－西方向、又は作業現場の地上領域、即ち南側駐車領域などの特徴を見ることができる観察方向

【0062】

特徴点マップを創出するためのマップ特徴点を提供するための第１の実施例
図５ａ、図５ｂ及び図５ｃは、特徴点マップを創出するための複数のマップ特徴点ＭＦＰを決定するための実施例を概略的に示したものであり、即ち作業現場環境ＷＥから、複数の区別可能な特徴ＤＦを複数のマップ特徴点ＭＦＰとして決定するための第１の実施例を概略的に示したものであり、複数のマップ特徴点ＭＦＰは少なくとも識別情報及び場所データを有し、識別情報は、画像からマップ特徴点ＭＦＰを識別するための、そのマップ特徴点ＭＦＰに対する特徴記述子のような少なくとも１つの固有識別子を含み、また、場所データは、作業現場１４における、即ち作業現場座標系ＷＣＳにおけるマップ特徴点ＭＦＰの三次元場所、又は画像識別子を有する二次元画像座標、即ちマップ特徴点ＭＦＰが見出され、且つ、そのマップ特徴点ＭＦＰから画像ピクセル場所が見出される少なくとも１つの画像である情報のうちの少なくとも１つを含む。この実施例では、特徴点マップのためのマップ特徴点ＭＦＰは、作業現場１４に予め設定されている基準特徴点（ＲＦＰ：ｒｅｆｅｒｅｎｃｅ ｆｅａｔｕｒｅ ｐｏｉｎｔ）を利用することによって決定されている。

【0063】

図５ａ、図５ｂ及び図５ｃの実施例は、少なくとも１つのカメラＣＡ、ＰＣＡによって複数の二次元作業現場環境画像（ＷＩＭ：ｗｏｒｋｓｉｔｅ ｅｎｖｉｒｏｎｍｅｎｔ ｉｍａｇｅ）を撮るステップを含み、少なくとも１つのカメラＣＡ、ＰＣＡは決定された真性パラメータ・セットを有している。図５ｂは、作業現場環境ＷＥから撮られた４つの連続する作業現場環境画像ＷＩＭを概略的に示したものである。作業現場環境画像ＷＩＭは、連続する画像ＷＩＭの間に有意なオーバラップ、例えば４０％から８０％のオーバラップが存在するように撮られることが好ましい。明確にするために、図５ｂには、連続する画像ＷＩＭは互いに離れて示されている。一番左側の画像ＷＩＭは、最初に撮られた作業現場環境画像ＷＩＭと見なすことができ、また、一番右側の画像ＷＩＭは、最後に撮られた作業現場環境画像ＷＩＭと見なすことができる。

【0064】

画像ＷＩＭの撮影は、作業現場１４の周りを移動する何らかの機械１の中に取り付けられた少なくとも１つの位置決めカメラＰＣＡによって実施することができ、及び／又は何らかの機械１に取り付けられた位置決めカメラＰＣＡではない少なくとも何らかの他のカメラＣＡによって実施することができる。少なくとも１つの他のカメラＣＡは、例えば作業現場環境ＷＥの中を移動するようになされたドローンに取り付けることができる。１つの他のカメラＣＡは、図１には極めて概略的に示されている。カメラＣＡ、ＰＣＡの焦点は、図５ｂに、参照符号ＣＦＰで示されている黒い点で概略的に示されている。

【0065】

複数の二次元作業現場環境画像ＷＩＭを撮るステップには、複数の二次元作業現場環境画像ＷＩＭの各々から、
ａ）個々の区別可能な特徴ＤＦを、検出された特徴点ＤＦＰとしてそれぞれの二次元作業現場環境画像ＷＩＭの識別情報及び画像座標と関連付けるための区別可能な特徴ＤＦ、又は、
ｂ）基準特徴点ＲＦＰであって、基準特徴点ＲＦＰは作業現場１４に予め設定され、且つ、個々の基準特徴点ＲＦＰを検出された基準特徴点（ＤＲＦＰ：ｄｅｔｅｃｔｅｄ ｒｅｆｅｒｅｎｃｅ ｆｅａｔｕｒｅ ｐｏｉｎｔ）としてそれぞれの二次元作業現場環境画像ＷＩＭの画像座標と更に関連付けるために、識別情報及び場所データと関連付けられる、基準特徴点ＲＦＰ
のうちの少なくとも１つを検出するステップが後続する。

【0066】

したがって複数の画像のうちの個々の画像から区別可能な特徴ＤＦを検出するステップは、オプションａ）及びｂ）のうちの１つだけ、又はオプションａ）及びｂ）の両方を含むことができる。例えばいくつかの画像からオプションａ）特徴のみを見出し、いくつかの画像からオプションｂ）特徴のみを見出し、また、いくつかの画像からオプションａ）及びオプションｂ）特徴の両方を見出すことができる。

【0067】

したがって獲得される二次元作業現場環境画像ＷＩＭは、２種類の区別可能な特徴、即ち検出された特徴点ＤＦＰとして決定される第１の特徴、及び検出された基準特徴点ＤＲＦＰとして決定される基準特徴点ＲＦＰである第２の特徴を含むことができる。

【0068】

最初に基準特徴点ＲＦＰ、即ち上記オプションｂ）を考察すると、基準特徴点ＲＦＰは作業現場１４に予め設定されている基準点である。これらは、例えば上で考察したマーカであってもよい。図５ｂでは、これらの基準特徴点ＲＦＰは、十字を取り囲んでいる円を含む図形記号に対応している。カメラ焦点（ＣＦＰ：ｃａｍｅｒａ ｆｏｃａｌ ｐｏｉｎｔ）から基準特徴点ＲＦＰまでの視界の線は、それぞれの矢印を使用して概略的に示されている。作業現場環境画像ＷＩＭでは、基準特徴点ＲＦＰはアスタリスクの図形記号で示されている場所に設定されている。

【0069】

基準特徴点ＲＦＰが三次元ワールドＷＤＣＳ又は作業現場ＷＣＳ座標系座標におけるそれらの識別情報及び場所データと関連付けられ、且つ、それぞれの二次元作業現場環境画像ＷＩＭにおけるそれらのそれぞれの画像座標と関連付けられると、基準特徴点ＲＦＰを検出された基準特徴点ＤＲＦＰとして決定することができる。したがって図５ｂのアスタリスクの図形記号を検出された基準特徴点ＤＲＦＰとして表すことができ、また、画像座標は、それぞれの作業現場環境画像ＷＩＭ中のそれぞれの検出された基準特徴点ＤＲＦＰに関連付けられたアスタリスクの画像ピクセル座標を表す。

【0070】

次に検出された特徴点ＤＦＰとして決定される区別可能な特徴ＤＦを考察すると、図５ｂは、上に向いている先端を有する３つの三角形と関連付けられた建物１５、及び上に向いている先端を有する三角形と関連付けられた２つの石１６、並びに下に向いている先端を有する三角形と関連付けられた１つの石１６を開示している。三角形は、図５ｂでは、作業現場環境画像ＷＩＭ中で検出される区別可能な特徴ＤＦを描写しており、また、上で考察した予め設定されている基準特徴点ＲＦＰとは異なっている。下に向いている三角形は、以下でより詳細に考察されるように、２つ以上の画像中で同じとして一致し得ない、或いは同じとして突き合わされない区別可能な特徴ＤＦを記述している。図５ｂには、三角形は作業現場１４で不動と見なされている対象と関連付けられていることが示されており、これらの種類の対象は、機械１を操縦するための特徴点マップを創出する観点からすると好ましい。作業現場１４における不動又は可動の対象の考察は、当技術分野で知られている意味論的画像区分化を使用して実施することができる。何らかの点に対して、作業現場１４における不動又は可動の対象の考察は、例えばすぐに作業現場１４を離れる自動車から検出されたすべての区別可能な特徴を選択し、且つ、それらを可動対象の上に存在していることを決定することにより、手動で実施することも可能である。カメラ焦点ＣＦＰから検出された三角形までの視界の線は、それぞれの矢印を使用して概略的に示されている。作業現場環境画像ＷＩＭ中では、これらの三角形は、小さい黒い円の図形記号で示されている場所に設定されている。

【0071】

三角形によって表されている区別可能な特徴ＤＦが、それぞれの二次元作業現場環境画像ＷＩＭ中でそれらの識別情報及びそれらの画像座標と関連付けられると、それらは検出された特徴点ＤＦＰとして決定される。したがって図５ｂの小さい黒い円の図形記号を検出された特徴点ＤＦＰとして表すことができ、また、画像座標は、それぞれの作業現場環境画像ＷＩＭ中のそれぞれの検出された特徴点ＤＦＰに関連付けられた小さい黒い円の画像ピクセル座標を表す。

【0072】

本明細書においては、区別可能な特徴ＤＦを検出する手順、及び検出された特徴点ＤＦＰ及び検出された基準特徴点ＤＲＦＰの決定は、新しい作業現場環境画像ＷＩＭが撮られ、それが必ずしも実時間である必要がない限り、実施されることが留意される。また、本明細書においては、いくつかの基準特徴点ＲＦＰは、最初は、検出された特徴点ＤＦＰとして誤って検出されることになる可能性があり得るが、後で、検出された基準特徴点ＤＲＦＰとして正しく解釈されることになり得ることが同じく留意される。

【0073】

作業現場環境画像ＷＩＭを獲得し、且つ、その中に区別可能な特徴ＤＦを検出すると、異なる作業現場環境画像ＷＩＭ中の同じ検出された特徴点ＤＦＰ又は同じ検出された基準特徴点ＤＲＦＰとして一致した
－ 検出された特徴点ＤＦＰ、又は
－ 検出された基準特徴点ＤＲＦＰ
のうちの少なくとも１つを有する作業現場環境画像ＷＩＭを結合することにより、作業現場環境画像ＷＩＭから少なくとも１つの画像グループＧＩＭが同じく創出される。

【0074】

作業現場環境画像ＷＩＭから少なくとも１つの画像グループＧＩＭを創出する場合、以下で考察される特定の条件に基づいて、作業現場環境画像ＷＩＭから少なくとも１つの画像グループＧＩＭ、即ち少なくとも１つの画像コラージュが創出される。画像グループＧＩＭでは、最低でも、異なるカメラ場所から撮影された少なくとも２つの異なる作業現場環境画像ＷＩＭが同じグループ、即ちこれらの異なる作業現場環境画像ＷＩＭ中の同じ点として一致した検出された特徴点ＤＦＰ及び／又は検出された基準特徴点ＤＦＲＰに基づく画像グループＧＩＭにグループ化される。その最低でも少なくとも２つの作業現場環境画像ＷＩＭを結合して、この画像グループＧＩＭの中に選択されるこれらの作業現場環境画像ＷＩＭの各々に、個々の単一の作業現場環境画像ＷＩＭと残りの画像グループ中の１つの単一の他の画像との間における同じ点として一致した少なくとも５つの検出された特徴点ＤＦＰ又は検出された基準特徴点ＤＲＦＰが存在し、且つ、受入れ可能な画像グループ全体が、受け入れ可能な画像グループＧＩＭのすべての作業現場環境画像ＷＩＭ中の同じ点として一致した少なくとも３つの検出された基準特徴点ＤＲＦＰを含む、という条件に基づいて、受入れ可能な画像グループＧＩＭにすることができる。より詳細には、次の画像を画像グループに結合する場合、次の画像を画像グループに結合する少なくとも５つの点（検出された特徴点ＤＦＰ又は検出された基準特徴点ＤＲＦＰのいずれか、或いは４つのＤＦＰ及び１つのＤＲＦＰなどのそれらの何らかの種類の混合）が存在していなければならず、また、これらの点は、画像グループの中に既に存在している１つの単一の画像の中に存在していなければならない。したがってこれらの５つの点は画像グループのすべての他の画像の中に存在している必要はない。５つの結合点を有する１つの画像で十分であり、２つ以上も同じく受入れ可能であるが、既に言及したようにその必要はない。

【0075】

例えば画像グループは１００の画像を含むことが可能であり、これらの画像は建物のすべての周りから撮られる。これらの画像の各々は、画像を先行する画像（第１の画像を除く）及び後続する画像（最後の画像を除くが、この最後の画像は第１の画像に結合することができるに結合する５つの点を含むことができる。別の実例は、第２の画像が５つの点によって第１の画像に結合され、第３の画像が５つの点によって第１の画像に結合され、また、第４の画像が５つの点によって第３の画像に結合され、且つ、５つの点が第２の画像に結合される、画像グループＧＩＭの中に４つの画像が存在する実例であってもよい。したがって第４の画像は５つの点（検出された特徴点ＤＦＰ又は検出された基準特徴点ＤＲＦＰ、或いはそれらの組合せのいずれか）によって、画像グループ中の、第４の画像の結合に先だって既に結合されている２つの画像に結合される。

【0076】

上で言及した画像グループを創出する場合、それぞれの作業現場環境画像ＷＩＭを結合して画像グループＧＩＭを形成する決定を下すための作業現場環境画像ＷＩＭの外部の情報は不要である。しかしながら画像の各々が撮られる場所に関して利用することができる情報、例えばこれらの画像が撮られる際のカメラの場所及び配向などの情報が存在している場合、この情報は、例えば画像が同じ場所から逆方向に撮られている場合、いくつかの画像は、単一の一致点さえ有する理論的可能性さえ有していないことを伝えることができるため、その情報を使用して、これらの画像の結合をスピード・アップすることができる。

【0077】

図５ｂを参照すると、これは、最低でも、受入れ可能画像グループは、３つの最も左側の画像、又は左から２番目の画像を有する最も右側の画像を使用して形成することができることを意味している。最良の画像グループは、図５ｂの４つの作業現場実施例画像のすべてを含むことになる。

【0078】

図５ｃは、少なくとも１つのカメラＣＡ、ＰＣＡによって撮られた連続画像ＷＩＭであっても、或いは連続画像ＷＩＭでなくてもよい５つの異なる作業現場環境画像ＷＩＭで形成された１つの画像グループＧＩＭを概略的に示したものである。しかしながら画像の順序を知ることにより、画像のグループ化をスピード・アップすることができる。明確にするために図５ｂとは少し異なっている図５ｃでは、上に向いている先端を有する三角形は、ここでは、少なくとも２つの作業現場環境画像ＷＩＭ中の同じとして一致した検出された特徴点ＤＦＰとして簡潔に表されており、また、十字を取り囲んでいる円は、ここでは、少なくとも２つの作業現場環境画像ＷＩＭ中の同じとして一致した検出された基準特徴点ＤＲＦＰとして簡潔に表されている。図５ｃは、下に向いている先端を有する三角形を更に含み、これらの三角形は作業現場環境画像ＷＩＭの中で検出された区別可能な特徴ＤＦを表しているが、識別されていない、即ち２つ以上の作業現場環境画像ＷＩＭ中の同じ点として突き合わされていない。

【0079】

図５ｃの実例では、個々の単一の作業現場環境画像ＷＩＭは、たまたま、少なくとも１つの検出された基準特徴点ＤＲＦＰを含んでいる。この状況は、複数の画像のうちの１つ、２つ、更には３つが単一の検出された基準特徴点ＤＲＦＰを含んでいない状況でもあり得る。図５ｃの実例における５つの異なる作業現場環境画像ＷＩＭは互いに結合されており、即ち用紙の平面における少なくとも１つの方向にオーバラップして互いに接続され、作業現場環境画像のグループＧＩＭを形成している。少なくとも２つの画像中の同じ点として一致した少なくとも３つの基準特徴点ＲＦＰが存在しており、また、個々の画像が、検出された基準特徴点ＤＲＦＰ、又は同じ点として一致した検出された特徴点ＤＦＰのうちの少なくとも１つを少なくとも５つ有する何らかの他の画像に結合されているため、このグループは受入れ可能である。画像を互いに結合し、且つ、少なくとも２つの画像中の同じ点として一致した少なくとも３つの基準特徴点ＲＦＰを有するためには、これらの画像のすべてが必要であるため、これらの画像のうちのいずれの１つが失われても、グループは、受入れ可能な画像グループを形成することができなくなり得ることに留意されたい。

【0080】

そのような個々のグループ、即ち同じとして一致した少なくとも３つの検出された基準特徴点ＤＲＦＰを含み、且つ、同じとして一致した少なくとも５つの点によって個々の画像をグループの少なくとも１つの他の画像と結合している個々の画像グループＧＩＭは、特徴点マップのためのマップ特徴点を決定するための更なる分析のために受け入れられる。条件が満たされない場合、画像グループＧＩＭは更なる分析から拒絶される。同じ点として一致した十分な量の検出された特徴点ＤＦＰの三次元場所を決定し、或いは任意の他のこのような点を画像から決定することにより、拒絶を回避する機会が依然として存在し、これらの点は、いずれも少なくとも２つの画像から検出することができ、これらの点は、同じとして一致した最少量の少なくとも３つの検出された基準特徴点ＤＲＦＰを満たすために、検出された基準特徴点ＤＲＦＰになるように三次元座標を決定することができる。この種の操作は、目に見えるマーカを有する別の画像セットを撮る必要がないため、時間を節約することが可能である。画像の数は、場合によっては５つよりもはるかに多くすることができる。

【0081】

上で既に言及した図５ｂの実例をもう一度参照すると、左側及び最も右側の作業現場環境画像ＷＩＭからの第２の作業現場環境画像ＷＩＭは、両方の画像が同じ３つの検出された基準特徴点ＤＲＦＰを参照し、したがって同じとして一致した少なくとも３つの検出された基準特徴点ＤＲＦＰを画像グループの中にも含んでいるため、また、両方の画像が、更に、同じとして一致した少なくとも２つの検出された特徴点ＤＦＰを参照し、したがって同じとして一致した全部で５つの量のＤＦＰ／ＤＲＦＰ点を満たしているため、受入れ可能な２つの画像グループを形成することができる。この場合、これらの２つの画像に共通の３つの異なる検出された基準特徴点ＤＲＦＰが存在している。同様に、例えば３つの最も左側の画像、又は３つの最も右側の画像は、相俟って、それぞれの２つの受入れ可能な画像グループを形成することができる。しかしながら例えば２つの最も右側の画像は、それらの２つの最も右側の画像が、それらが参照した２つの同じ検出された基準特徴点ＤＲＦＰしか有しておらず、したがって同じとして一致した少なくとも３つの検出された基準特徴点ＤＲＦＰを画像グループの中に含む条件を満たしていないため、それらは同じ点として一致した５つの追加検出された特徴点ＤＦＰを有しているが、何らかの他の画像なしでは、受入れ可能な画像グループを形成することはできない。

【0082】

更なる分析手順では、受け入れられた画像グループＧＩＭに含まれている、同じ点として一致した少なくとも３つの検出された基準特徴点ＤＲＦＰの識別情報及び場所データを利用することにより、受け入れられた画像グループＧＩＭ毎に、画像グループＧＩＭの場所及び配向、及び同じ点として一致した検出された特徴点ＤＦＰに対する識別情報及び場所データが決定され、
－ 決定された識別情報及び場所データと同じ点として一致した検出された特徴点ＤＦＰ、又は
－ 同じ点として一致し、且つ、識別情報及び場所データと関連付けられた、検出された基準特徴点ＤＦＲＰ
のうちの少なくとも１つが複数のマップ特徴点ＭＦＰとして決定される。この手順では、同じ点として一致した少なくとも３つの検出された基準特徴点の各々の三次元場所を使用することにより、それぞれの画像グループＧＩＭの検出された特徴点ＤＦＰの三次元場所が作業現場座標系ＷＣＳで決定される。

【0083】

言い換えると、受け入れられた画像グループＧＩＭ中のこれらの検出された特徴点ＤＦＰ及び検出された基準特徴点ＤＲＦＰのみを航法マップのためのマップ特徴点ＭＦＰとして選択することができ、これらの検出された特徴点ＤＦＰ及び検出された基準特徴点ＤＲＦＰが、複数の二次元作業現場環境画像ＷＩＭの各々から区別可能な特徴ＤＦを検出するステップで決定されたそれらの決定された識別情報に基づいて、同じ点として突き合わされる。図５ｄは、図５ｃに示されている検出された特徴点ＤＦＰ及び検出された基準特徴点ＤＲＦＰの中から相応じて選択された、受け入れられたマップ特徴点ＭＦＰの実例を概略的に示したものである。

【0084】

本明細書において開示されているマップ特徴点ＭＦＰの決定に関連する実施例によれば、受け入れられた画像グループＧＩＭ毎に、画像グループＧＩＭの場所及び配向、及び同じとして一致した検出された特徴点ＤＦＰに対する識別情報及び場所データを決定するステップは、受け入れられた画像グループに含まれている少なくとも３つの検出された基準特徴点ＤＦＲＰの識別情報及び場所データを利用することにより、同じとして一致した検出された特徴点ＤＦＰに対する静的定格を決定するステップを更に含み、
－ 決定された識別情報、場所データ及び静的定格と同じとして一致した検出された特徴点ＤＦＰ、又は
－ 識別情報及び場所データと関連付けられた検出された基準特徴点ＤＲＦＰ
のうちの少なくとも１つが複数のマップ特徴点ＭＦＰとして決定される。

【0085】

静的定格は、マップ特徴点ＭＦＰとして適用される検出された特徴点ＤＦＰの場所の精度に関する測度を提供する。この精度情報は、少なくとも３つの検出された基準特徴点ＤＲＦＰの識別情報及び場所データを利用することによって決定される。個々の検出された特徴点ＤＦＰの精度に関して、例えば画像が撮影された時点におけるカメラからの検出された特徴点ＤＦＰの距離は、例えば検出された特徴点ＤＦＰがカメラから離れるほど、検索される情報が不正確になる方法で大きく影響することになり得る。検出された特徴点ＤＦＰの静的定格に関連する情報のほとんどは、上で考察したＢｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔの間に決定され、且つ、それぞれの検出された特徴点ＤＦＰの三次元場所に対する対応する共分散行列によって表される。したがって静的定格は、決定された三次元座標の精度の不確実性を示す楕円体であってもよい。

【0086】

検出された基準特徴点ＤＦＲＰは作業現場１４に予め設定されたマーカに対応しているため、それらの場所データは予め分かっており、したがって検出された基準特徴点ＤＦＲＰに対する静的定格は、１００％又は１００％に極めて近いと見なされる。その最良の状態で、検出された特徴点ＤＦＰに対する静的定格は、Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ中の極めて正確な計算で１００％に近づき得るが、典型的には、検出された特徴点ＤＦＰに対する精度は、１００％より幾分か低い。

【0087】

作業現場１４における不動又は可動の対象の考察は意味論的画像区分化を使用して実施することができ、また、対象上の検出された特徴点ＤＦＰに対する決定される静的定格に影響を及ぼすことになる。何らかの点に対して、意味論的画像区分化は、例えばすぐに作業現場１４を離れる自動車から検出されたすべての区別可能な特徴又は検出された特徴点ＤＦＰを選択し、且つ、それらを可動対象の上に存在していることを決定することにより、手動で実施することも可能であり、これは、最終的には、それらの点に対する静的定格を最低と見なすことになり、したがってマップ特徴点ＭＦＰとして選択されないことになる。しかしながら画像を画像グループＧＩＭに結合するときは、これらの点を使用することができる。この場合、自動車が去ってしまうと、この領域にはマップ特徴点ＭＦＰが不足することになることを心に留めておかなければならない。定格に関連する考察は、追ってこの説明の中で見出すことができる。

【0088】

特徴点マップを創出するためのマップ特徴点を提供するための第２の実施例
図６は、特徴点マップを創出するための複数のマップ特徴点ＭＦＰを決定するための第２の実施例を概略的に示したものであり、即ち作業現場環境ＷＥから、複数の区別可能な特徴ＤＦを複数のマップ特徴点ＭＦＰとして決定するための第２の実施例を概略的に示したものであり、複数のマップ特徴点ＭＦＰは少なくとも識別情報及び場所データを有し、識別情報は、画像からマップ特徴点ＭＦＰを識別するための、そのマップ特徴点ＭＦＰに対する特徴記述子のような少なくとも１つの固有識別子を含み、また、場所データは、作業現場１４におけるマップ特徴点ＭＦＰの三次元場所、又は画像識別子を有する二次元画像座標のうちの少なくとも１つを含む。この実施例では、特徴点マップのためのマップ特徴点ＭＦＰの三次元場所は、カメラの位置を決定するための可能な少なくとも１つのセンサが適用されたカメラＣＡ、ＰＣＡを有する衛星ベース位置決めシステムＧＮＳＳを利用することによって決定されている。カメラＣＡ、ＰＣＡの配向情報が分かると、その情報は位置／場所情報と共に使用することができる。

【0089】

この実施例は、少なくとも１つのカメラＣＡ、ＰＣＡによって複数の二次元作業現場環境画像ＷＩＭを撮るステップを含み、少なくとも１つのカメラＣＡ、ＰＣＡは決定された真性パラメータ・セットを有しており、また、作業現場座標系ＷＣＳにおける決定された場所、及び恐らくは決定された配向を有している。既に考察したように、作業現場環境画像ＷＩＭは、連続する画像ＷＩＭの間に有意なオーバラップ、例えば４０％から８０％のオーバラップが存在するように撮られることが好ましい。撮られた作業現場環境画像ＷＩＭは図５ｂに示されている作業現場環境画像ＷＩＭと同様であってもよいが、作業現場１４における可能な予め設定された基準特徴点ＲＦＰが異なっており、また、撮られた作業現場環境画像ＷＩＭ中で見ることができるものは、図５ｂにおける検出された特徴点ＤＦＰに関連する点と同様の区別可能な特徴と見なすことができる。言い換えると、この実施例では、基準特徴点ＲＦＰは、予め決定された三次元場所を有する基準特徴点としては不要であるが、必要に応じて使用することができる。

【0090】

画像ＷＩＭの獲得は、作業現場１４の周りを移動する何らかの機械１の中に取り付けられた少なくとも１つの位置決めカメラＰＣＡによって実施することができ、及び／又は何らかの機械１に取り付けられた位置決めカメラＰＣＡではない少なくとも何らかの他のカメラＣＡによって実施することができる。同じく本明細書においては、少なくとも１つの他のカメラＣＡは、個々の画像ＷＩＭに関して、カメラＣＡの少なくとも場所を決定することができる限り、例えば作業現場環境ＷＥの中を移動するようになされたドローンに取り付けることができる。決定されている場合、カメラＣＡの配向情報を同じく使用することができる。

【0091】

複数の二次元作業現場環境画像ＷＩＭを撮るステップには、複数の二次元作業現場環境画像ＷＩＭの各々から区別可能な特徴ＤＦを検出し、且つ、それぞれの二次元作業現場環境画像ＷＩＭの画像座標を使用して区別可能な特徴ＤＦを検出された特徴点ＤＦＰとして決定するステップが後続する。

【0092】

したがって本明細書においては、獲得される二次元作業現場環境画像ＷＩＭは、１つの種類の区別可能な特徴、即ち図５ｂ及び図５ｃで説明した、上に向いている、又は下に向いている先端を有する三角形を有する検出された特徴点ＤＦＰに対応すると見なされる特徴のみを含む。また、上で言及したように、作業現場環境画像ＷＩＭの中で見ることができる、作業現場１４における可能な予め設定された基準特徴点ＲＦＰも、検出されると、同じく検出された特徴点ＤＦＰと見なされ、この場合もそれらからの場所情報は不要であるが、必要に応じて使用することができる。したがって本明細書においては、図の中の基準特徴点ＲＦＰ及び検出された基準特徴点ＤＲＦＰに関連する図形記号が、省略されているか、或いは検出された特徴点ＤＦＰに関連する三角形の図形記号に置き換えられていると見なされるかのいずれかである場合、図５ｂ及び図５ｃの開示を適用することができる。三角形を使用して表されている区別可能な特徴ＤＦがそれぞれの二次元作業現場環境画像ＷＩＭの中でそれらの画像座標、即ちそれらの画像ピクセル座標と関連付けられると、これらは検出された特徴点ＤＦＰとして決定される。

【0093】

本明細書においては、区別可能な特徴ＤＦ及び検出された特徴点ＤＦＰを検出する手順は、新しい作業現場環境画像ＷＩＭが獲得され、それが必ずしも実時間である必要がない限り、実施されることが留意される。

【0094】

作業現場環境画像ＷＩＭを獲得し、且つ、その中に区別可能な特徴ＤＦを検出すると、異なる作業現場環境画像ＷＩＭ中の同じとして一致した検出された特徴点ＤＦＰを有する作業現場環境画像ＷＩＭを結合することにより、作業現場環境画像ＷＩＭから少なくとも１つの画像グループＧＩＭが同じく創出される。少なくとも１つの画像グループを創出するための本明細書における手順は、上で開示した手順と同様であるが、本明細書においては検出された特徴点ＤＦＰのみが考慮される点が異なっている。

【0095】

更に、作業現場１４の特徴点マップのためのマップ特徴点ＭＦＰを決定するために、画像グループＧＩＭ毎に、個々のそれぞれの二次元作業現場環境画像ＷＩＭを有する少なくとも１つのカメラＣＡ、ＰＣＡの作業現場座標系ＷＣＳにおける場所及び配向を利用することにより、同じとして一致した検出された特徴点ＤＦＰに対する識別情報及び場所データが決定され、決定された識別情報及び場所データと同じとして一致した検出された特徴点ＤＦＰが複数のマップ特徴点ＭＦＰとして決定される。

【0096】

言い換えると、画像グループＧＩＭ中のこれらの検出された特徴点ＤＦＰのみが特徴点マップのためのマップ特徴点ＭＦＰとして選択されることになり、これらの検出された特徴点ＤＦＰが、複数の二次元作業現場環境画像ＷＩＭの各々から区別可能な特徴ＤＦを検出するステップで決定されたそれらの決定された識別情報に基づいて、同じ点として突き合わされる。

【0097】

本明細書において開示されているマップ特徴点ＭＦＰの決定に関連する実施例によれば、画像グループＧＩＭ毎に、同じとして一致した検出された特徴点ＤＦＰに対する識別情報及び場所データを決定するステップは、個々のそれぞれの二次元作業現場環境画像ＷＩＭを有する少なくとも１つのカメラＣＡ、ＰＣＡの作業現場座標系ＷＣＳにおける場所及び配向を利用することにより、同じとして一致した検出された特徴点ＤＦＰに対する静的定格を決定するステップを更に含み、決定された識別情報、場所データ及び静的定格と同じとして一致した検出された特徴点ＤＦＰが複数のマップ特徴点ＭＦＰとして決定される。

【0098】

本明細書においては、上記静的定格に関連する考察を同じく適用することができ、本明細書においては、少なくとも３つの検出された基準特徴点ＤＲＦＰの識別情報及び場所データの代わりに、個々のそれぞれの二次元作業現場環境画像ＷＩＭを有する少なくとも１つのカメラＣＡ、ＰＣＡの作業現場座標系ＷＣＳにおける場所及び恐らくは同じく配向を利用することによって静的定格が決定される点が異なっている。言い換えると、画像が撮られる際に、その画像を撮ったカメラＣＡ、ＰＣＡの場所及び配向データ並びにそれらの精度情報、即ち例えば決定された精度予測値を、その画像が撮られた厳密な時間瞬時に使用することができる。静的定格は、更に、画像場所／配向測定及びＢｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ計算から誘導された検出された特徴点ＤＦＰ精度情報を含むことができる。

【0099】

マップ特徴点ＭＦＰの静的定格の相違は、例えば、マップ特徴点ＭＦＰが配置されている場所、及び画像が撮られた時間におけるカメラＣＡ、ＰＣＡの間の距離、並びにマップ特徴点ＭＦＰになる区別可能な特徴ＤＦの種類によるものである。マップ特徴点ＭＦＰが細い木又は細い枝の上に配置されると、意味論的分類は、ほぼ同じ状況において検出される太い木又は太い枝と比較して、より低い定格をそのマップ特徴点ＭＦＰに与えることができる。全く同じ状況で、建物の窓の隅に配置されたマップ特徴点ＭＦＰに更に高い定格を与えることができる。更に、状況が変化する場合、建物の窓の隅、細い木、細い枝、太い木又は太い枝に配置されたマップ特徴点ＭＦＰの静的定格の優越性は、例えばこれらの画像が撮られた時点におけるカメラＣＡ、ＰＣＡからこれらの対象までの距離、及び／又は精度の相違、及び個々の画像が撮られた時点の気候又は照明状態の相違、又は個々の対象に関する相違、即ちこれらの対象の各々が曇った状況、日が照っている状況、霧がかかっている状況又は雨が降っている状況で画像化されたかどうかによって大きく変化する。要するに、静的定格に影響を及ぼす多くの可変要因が存在している。静的定格に関連する情報及び静的定格自体は、個々のマップ特徴点ＭＦＰの識別情報の中に含めることができる。

【0100】

機械の場所及び配向の決定は、より高い定格を有するマップ特徴点ＭＦＰを使用して実施することができ、即ち現在の場所で、より低い定格を有するマップ特徴点ＭＦＰを少なくとも一時的に廃棄することによって実施することができるため、定格は、利用可能な多くのマップ特徴点ＭＦＰが存在している状況において有用である。例えば小さすぎる値を有するマップ特徴点ＭＦＰは機械１の場所及び配向の決定には使用されない場合、定格値閾値を選択することができる。別の手法は、位置決めカメラＰＣＡが位置決めカメラＰＣＡの最も新しく決定された場所及び配向に関連して導かれる領域に配置される最も高い定格のマップ特徴点ＭＦＰの量を選択することによるものであってもよい。位置決めカメラＰＣＡの既に決定済みの場所及び配向を考慮する手法は、更に、追って考察される動的定格を使用することができる。

【0101】

実施例によれば、検出された特徴点ＤＦＰに対する総合定格が更に決定され、総合定格は静的定格又は動的定格のうちの少なくとも１つ、即ち静的定格及び／又は動的定格を含み、動的定格は、個々の位置決めカメラＰＣＡに関して、少なくとも１つの位置決めカメラの各々のその前に決定された場所及び配向又は向いている方向を個別に考慮して、複数の決定されたマップ特徴点ＭＦＰの各々毎に決定される。少なくとも１つの位置決めカメラＰＣＡの各々の向いている方向又は配向は、ここでは、個々の位置決めカメラＰＣＡの視野角セクターを意味している。多数のマップ特徴点ＭＦＰが、それでも、位置決めカメラＰＣＡが観察している観察領域に近くない場合、これらのマップ特徴点ＭＦＰは、その位置決めカメラＰＣＡに対する最低の動的定格を得ることができるようになり、それは例えば０、即ちゼロ又は空であり得る。総合定格は静的定格と動的定格の合計であってもよく、或いは総合定格は静的定格と動的定格の積であってもよい。したがって例えば１つの位置決めカメラＰＣＡの後方に位置しているマップ特徴点はゼロの総合定格を得ることになる可能性があり、それは、機械の場所及び配向を決定する際に、それぞれの１つの位置決めカメラＰＣＡによってその時に撮られた画像からこのようなマップ特徴点ＭＦＰを見出す試行をしないことを意味することになり得る。一方、上で言及した「１つの位置決めカメラＰＣＡ」に対してその配向又は向いている方向が約１８０度異なる機械１の他の側に存在している別の位置決めカメラＰＣＡが存在していると、この別の位置決めカメラＰＣＡは、恐らくそれぞれのマップ特徴点ＭＰＦに対して１の動的定格、即ち全定格又は最も高い定格を付けることになる。更に、当該マップ特徴点ＭＰＦが２つの位置決めカメラＰＣＡの間に存在し、したがって両方のカメラの動的定格が０、即ちゼロ又は空であり得る機会が存在し得る。

【0102】

この実施例によれば、上で考察したように動的定格は、個々の位置決めカメラＰＣＡに対して、少なくとも１つの位置決めカメラＰＣＡの各々の既に決定されている場所及び配向を個別に考慮することにより、複数の決定されたマップ特徴点ＭＦＰの各々毎に対して決定される。本明細書においては、追加又は別法として、当該マップ特徴点ＭＦＰに対応する検出された特徴点ＤＦＰからのそれぞれの位置決めカメラＰＣＡの実現された距離に基づいて、異なる重み即ち動的定格をマップ特徴点ＭＦＰ毎に適用することができる。

【0103】

総合定格は、この場合、当該マップ特徴点ＭＦＰ及び個々の当該位置決めカメラＰＣＡに対して決定された静的定格若しくは動的定格又は組合せ、或いは静的定格及び動的定格の重み付き組合せのいずれかである。

【0104】

実施例によれば、総合定格は静的定格又は動的定格のうちの少なくとも１つであり、また、総合定格は少なくとも２つの層をなしている。

【0105】

この実施例によれば、総合定格は、静的定格又は動的定格、或いは静的定格及び動的定格の組合せである。更に、総合定格は少なくとも２つの層をなしており、即ち少なくとも２つの異なるレベルを含み、それぞれの検出された特徴点ＤＦＰに関連する個々のマップ特徴点ＭＦＰ、及びそれらの個々の時間瞬時における点有用性に関連する例えば精度又は他のデータを異なる定格等級に分類することができ、或いは例えば当該マップ特徴点ＭＦＰに対応する検出された特徴点ＤＦＰの精度及び他の識別情報、及び個々の位置決めカメラＰＣＡ及び配向、即ちその視野角セクターに対する個々のマップ特徴点ＭＦＰの場所に基づく定格に分類することができる。検出された基準特徴点ＤＲＦＰに対応するマップ特徴点は、作業現場１４における既知の位置における予め設定されたマーカのため、通常は最も高い精度を有しており、したがって通常は最も高い層の定格を有するように分類される。

【0106】

実施例によれば、最低の層をなしている総合定格を有する少なくともマップ特徴点ＭＦＰは、複数のマップ特徴点の量が閾値より多い場合、廃棄され、閾値は手動で決定され、及び／又は自動的に決定される。

【0107】

この実施例によれば、特徴点マップに適用される適用可能なマップ特徴点ＭＦＰの数が不必要に多い場合、低い精度を有するマップ特徴点ＭＦＰは、定格の有用性に関連して既に同じく説明したように廃棄することができる。これは、機械１の場所及び配向を決定するために必要な計算能力を低減し、及び／又は機械１の場所及び配向の決定の迅速性を改善する。閾値の決定は、例えば、当該作業現場１４において検出された基準点ＤＦＰの数及び他の関連するデータに関する履歴データに基づくことができ、また、履歴データは、現在進行中の作業フェーズの間に受け取ったデータに基づいて更新することができる。

【0108】

特徴点マップを創出するためのマップ特徴点を提供するための第３の実施例
本明細書においては、特徴点マップを創出するための複数のマップ特徴点ＭＦＰを決定するための第３の実施例、即ち作業現場環境ＷＥから、複数の区別可能な特徴ＤＦを複数のマップ特徴点ＭＦＰとして決定するための第３の実施例が開示され、複数のマップ特徴点ＭＦＰは少なくとも識別情報及び場所データを有し、識別情報は、マップ特徴点ＭＦＰに対する特徴記述子のような少なくとも１つの固有識別子を含み、また、場所データは、作業現場１４におけるマップ特徴点ＭＦＰの少なくとも三次元場所を含む。

【0109】

この第３の実施例によれば、特徴点マップを創出するためのマップ特徴点ＭＦＰは、地上移動情報モデルから検索されたデータから少なくとも部分的に決定され、地上移動情報モデルは、地理空間情報システム（ＧＩＳ）、建物情報モデル化（ＢＩＭ）、インフラ即ち下部構造建物情報モデル化（Ｉ－ＢＩＭ）、民間情報モデル（ＣＩＭ）又はＳｍａｒｔＣｉｔｙ Ｐｌａｔｆｏｒｍのうちの少なくとも１つに基づいている。地上移動情報モデルは、作業現場１４のための、異なる種類の下部構造及びそのモデル及び異なる副構造、例えば基礎構造の異なる層、充填層、表面層、等々など意味及び特性を定義することができる分類システムを含む。地上移動情報モデルでは、計画された最終構造は、計画された最終構造を完成させるために完成されるべき多くの副構造に分割されている可能性がある。今度は、個々の作業フェーズが、当該作業フェーズを完了するために機械１によって実施される多くの特定の個々の操作の形態であっても、特定の作業命令を含むことができる。

【0110】

この実施例によれば、地上移動情報モデルは、例えばモデル中の構造の何らかの幾何学情報に基づいて、その三次元場所がモデルの中で分かっている、また、新しいマップ特徴点ＭＦＰの基本として使用するためにモデルから検索することができる少なくともいくつかの区別可能な特徴ＤＦを含むことができる。新しいマップ特徴点ＭＦＰの基本は、識別情報及び場所データの中の情報を含むことができるが、識別情報は、特徴をマップ特徴点ＭＦＰにするために必要な特徴記述子を含むことはできない。特徴記述子は、特徴領域及びその周囲を含む少なくとも１つの画像を撮ることによって生成することができる。別の方法は、生成されたマップ特徴点ＭＦＰから、又は撮られた複数の二次元作業現場環境画像ＷＩＭから決定された区別可能な特徴ＤＦから、地上移動情報モデル即ち土工情報モデルの中でその場所を識別することができる特徴を識別し、且つ、土工情報モデルからこれらの特徴に対する場所データ、及びこれらの特徴を区別可能な特徴として見出すことができる少なくとも１つの画像から特徴記述子を生成することであってもよい。特徴に対する特徴記述子が１つの画像のみから見出された区別可能な特徴から獲得された場合、特徴が存在するそれぞれの画像に関連するそれらの各々の２つ以上の特徴記述子が存在し得るが、生成されたマップ特徴点ＭＦＰは１つの特徴記述子のみを含むことになる。

【0111】

別法としては、作業現場環境ＷＥから、複数の区別可能な特徴ＤＦを複数のマップ特徴点ＭＦＰとして決定するステップは、更なるマップ特徴点ＭＦＰが地上移動情報モデルから検索されたデータから少なくとも部分的に決定されるステップを更に含み、地上移動情報モデルは、地理空間情報システム（ＧＩＳ）、建物情報モデル化（ＢＩＭ）、インフラ即ち下部構造建物情報モデル化（Ｉ－ＢＩＭ）、民間情報モデル（ＣＩＭ）又はＳｍａｒｔＣｉｔｙ Ｐｌａｔｆｏｒｍのうちの少なくとも１つに基づいている。

【0112】

別法としては、複数のマップ特徴点ＭＦＰは、上で開示した、特徴点マップを創出するためのマップ特徴点ＭＦＰを提供するための第１の実施例、又は上で開示した、特徴点マップを創出するためのマップ特徴点ＭＦＰを提供するための第２の実施例のいずれかに従って決定され、また、更に、地上移動情報モデルから検索されたデータから少なくとも部分的に決定され、地上移動情報モデルは、地理空間情報システム（ＧＩＳ）、建物情報モデル化（ＢＩＭ）、インフラ即ち下部構造建物情報モデル化（Ｉ－ＢＩＭ）、民間情報モデル（ＣＩＭ）又はＳｍａｒｔＣｉｔｙ Ｐｌａｔｆｏｒｍのうちの少なくとも１つに基づいている。

【0113】

図８は、いくつかの地上移動情報モデル即ち土工情報モデルを概略的に開示したものである。

【0114】

特徴点マップを創出するためのマップ特徴点を提供するための第４の実施例
本明細書においては、特徴点マップを創出するための複数のマップ特徴点ＭＦＰを決定するための第４の実施例、即ち作業現場環境ＷＥから、複数の区別可能な特徴ＤＦを複数のマップ特徴点ＭＦＰとして決定するための第４の実施例が開示され、複数のマップ特徴点ＭＦＰは少なくとも識別情報及び場所データを有し、識別情報は、マップ特徴点ＭＦＰに対する特徴記述子のような少なくとも１つの固有識別子を含み、また、場所データは、作業現場１４におけるマップ特徴点ＭＦＰの少なくとも三次元場所を含む。

【0115】

この第４の実施例によれば、特徴点マップを創出するためのマップ特徴点ＭＦＰは、上記第１の実施例、第２の実施例又は第３の実施例のうちの少なくとも２つの実施例で開示されている、特徴点マップを創出するためのマップ特徴点を提供するための方法に従って、マップ特徴点ＭＦＰの組合せセットとして決定される。

【0116】

もう一度図２ａ及び図２ｂ並びに関連する説明を参照すると、図７ａ、図７ｂ及び図７ｃは、図２ａ及び図２ｂの観点で、作業現場１４における機械１の場所及び配向を決定するための実施例を概略的に示したものである。上で説明したマップ特徴点ＭＦＰを含む事前創出済み特徴点マップを利用することができる場合、作業現場１４の中を移動している機械１の場所及び配向を決定することができる。

【0117】

これを実現するために、方法は、機械１が動いている間、少なくとも１つの位置決めカメラＰＣＡの各々によって、個々の位置決めカメラＰＣＡにおける平均約５０ミリ秒の時間間隔である、１０ミリ秒から１００ミリ秒の間などの極めて短い時間間隔で、実質的に連続的に二次元位置決め画像（ＰＩＭ：ｐｏｓｉｔｉｏｎｉｎｇ ｉｍａｇｅ）を撮るステップを含む。作業フェーズを実現するための何らかの操作アクションを実施することなしに機械１が作業現場１４で停止した場合は、位置決め画像ＰＩＭを撮るための時間間隔を延長することができる。

【0118】

二次元位置決め画像ＰＩＭが撮られるのと同時に、その二次元位置決め画像ＰＩＭから区別可能な特徴ＤＦが航法特徴点（ＮＦＰ：ｎａｖｉｇａｔｉｏｎ ｆｅａｔｕｒｅ ｐｏｉｎｔ）として検出され、且つ、個々のそれぞれの位置決め画像ＰＩＭ中の航法特徴点ＮＦＰ毎に二次元画像座標即ち画像ピクセル座標が決定され、航法特徴点ＮＦＰの各々は少なくとも識別情報を有している。したがってこれらの二次元位置決め画像ＰＩＭの内容は、図７ｂで分かるように、例えば図５ｃに示されている作業現場環境画像ＷＩＭの内容に幾分か類似している。

【0119】

二次元位置決め画像ＰＩＭが撮られるのと同時に、区別可能な特徴ＤＦをその位置決め画像ＰＩＭから航法特徴点ＮＦＰとして検出するために、また、位置決め画像中の航法特徴点ＮＦＰ毎に二次元画像座標を決定するためにその内容が分析され、航法特徴点ＮＦＰは、事前創出済み特徴点マップ中の複数のマップ特徴点ＭＦＰと突き合わされ、それにより航法特徴点の識別情報が、マップ特徴点ＭＦＰ、又は検出された非一致特徴点ＤＦＭ－ＮＭのうちの少なくとも１つの識別情報と突き合わされる。

【0120】

航法特徴点ＮＦＰとマップ特徴点ＭＦＰの突合せに応答して、
－ 一致した、マップ特徴点ＭＦＰ、又は検出された非一致特徴点ＤＦＰ－ＮＭのうちの少なくとも１つの場所データ
－ 対応する一致した航法特徴点ＮＦＰの二次元画像座標、及び
－ 個々の対応する位置決めカメラＰＣＡの機械座標系ＭＣＳにおける決定された真性パラメータ・セット及び決定された場所及び配向
に少なくとも基づいて、作業現場における機械１の場所及び配向を決定することができる。

【0121】

機械１の場所及び配向は、少なくとも２つの異なる方法で決定することができ、いずれの方法においても、機械１の中に存在している慣性測定ユニットＩＭＵなどのセンサ及び／又はセンサのグループを利用して、更なる頑丈性及び／又は精度を提供することができる。

【0122】

本明細書における第１の実施例又は方法によれば、航法特徴点ＮＦＰと一致するマップ特徴点ＭＦＰの三次元情報を使用するＰｎＰ－解決法（ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ問題）を適用することができる。この解決法では、個々の一致したマップ特徴点ＭＦＰの場所データ、及び個々の対応する一致した航法特徴点ＮＦＰの二次元画像座標に基づいて、作業現場１４における少なくとも１つの位置決めカメラＰＣＡの場所及び配向が最初に決定される。したがってＰｎＰ－問題への入力は、一致したマップ特徴点ＭＦＰの三次元場所データ、及び対応する一致した航法特徴点ＮＦＰの二次元画像座標であり、また、ＰｎＰ－問題の出力は、作業現場１４における少なくとも１つの位置決めカメラＰＣＡの場所及び配向である。決定された真性パラメータ・セット、及び機械座標系ＭＣＳにおける個々の対応する位置決めカメラＰＣＡの決定された場所及び配向に基づいて、作業現場１４における少なくとも１つの位置決めカメラＰＣＡの決定された場所及び配向を作業現場１４における機械１の場所及び配向に変換することができる。ＰｎＰ－問題は、概ね、例えば非特許文献２の中でより詳細に考察されている。

【0123】

上で決定された局所化結果は、統計的予測を介して改善することができ、例えば変数に対する非線形最適化問題を解決することによって改善することができる。このような非線形最適化問題は、測定誤差は通常は分散されることを仮定している、よく知られているベイズ統計学に起因している。ここでの基本着想は、状態変数に対するいくつかの値が解決される（現在の状態予測値）ことを仮定して、特徴測値を比較すること、即ちカメラからの航法特徴点ＮＦＰの画像座標及びＩＭＵからの可能な慣性測値及び／又は他のセンサ又はセンサのグループからの可能な他の測値を、カメラ投影モデル及び恐らくはＩＭＵ運動モデル及び／又は恐らくは他のセンサ又はセンサのグループのモデルによって計算された人工／模擬測値に対して比較することである。この比較に基づいて、比較結果を小さくするために現在の状態予測値が変更される。この調整プロセスは、恐らく、収束するまで、即ちそれ以上有意な改善が得られなくなるまで繰り返される。

【0124】

特徴点マップ中のマップ特徴点と一致したそれらの特徴の三次元場所の情報は、今は、解決されるべき状態変数として含まれている特徴の三次元場所に対する先行情報として、最適化問題に組み込むことができる。実際には、これは、最適化問題の中で最小化される関数は、マップ特徴点ＭＦＰと一致した特徴の三次元場所に対する現在の予測値を特徴点マップに記憶されている場所値に対して比較する項を含むことを意味している。したがって状態予測値が最適化の間に調整されると、これらの項は、カメラ測定から計算された三次元特徴場所が特徴点マップに記憶されている三次元場所から、少なくともマップ特徴点の三次元場所不確実性情報によって許容される以上に離れないように解決を強制し、それにより決定された局所化結果に変動が累積されるのを防止する。

【0125】

本明細書における第２の実施例又は方法によれば、機械１の場所及び配向は１つの単一の画像によって決定される。その場所及び配向が正確に決定されるこのような画像では、その画像を撮ったカメラＣＡ、ＰＣＡの真性パラメータが分かっており、また、画像は、位置決めカメラＰＣＡによる特徴の検出を可能にするＯＲＢ記述子又はＡＲＵＣＯコード、等々などの特徴記述子を有する少なくとも５つの検出された点を含む。したがって第２の実施例又は方法では、少なくとも２つの画像内で同じとして一致しなかった、検出された特徴点ＤＦＰも、マップ特徴点ＭＦＰに加えて同じく使用することができ、その一致しなかった検出された特徴点ＤＦＰが少なくとも特徴記述子を含んでいる場合、画像識別子は、特徴を見出すことができる画像、及び特徴が画像中にある二次元画像座標を識別する。この画像識別子及び二次元画像座標は、画像識別子を使用して二次元画像座標を決定する欄に存在していてもよい。２つ以上の画像内で一致しなかったこれらの検出された特徴点ＤＦＰは、例えば作業現場の縁領域、又は機械の位置決めが生じたと見なされた作業領域の縁領域で極端に有用であり得る。

【0126】

本明細書における第２の実施例又は方法によれば、少なくとも１つの位置決めカメラＰＣＡのうちの１つは、マップ特徴点ＭＦＰ又は検出された非一致特徴点ＤＦＰ－ＮＭのうちの少なくとも１つと一致する少なくとも５つの航法特徴点ＮＦＰを検出し、これらの点は、画像の場所及び配向が分かっている、即ちカメラＣＡ、ＰＣＡがその画像を撮った時点のカメラのＣＡ、ＰＣＡ場所及び配向が分かっている１つの単一の画像中に存在する。受け入れられた画像グループＧＩＭの各々の場所及び配向が決定されると、同じくその画像グループＧＩＭ中の個々の画像の場所及び配向が決定されるため、このような画像は、例えば受け入れられた画像グループＧＩＭの画像である。この実施例では、マップ特徴点ＭＦＰの場所データ及び検出された非一致特徴点ＤＦＰ－ＮＭの場所データは、画像識別子を使用して二次元画像座標を決定する欄を含む。個々のマップ特徴点ＭＦＰにおける、画像識別子を使用して二次元画像座標を決定するこれらの場所データ欄の数は少なくとも１つであり、また、画像が存在するだけの数であってもよく、その場所及び配向は、それぞれの特徴を検出することによって決定される。一方、同じ点としての検出された非一致特徴点ＤＦＰ－ＮＭにおける、画像識別子を使用して二次元画像座標を決定するこれらの欄の数は１つだけである。同じとして検出された非一致特徴点ＤＦＰ－ＮＭは、例えば図５ｂ、図５ｃ及び図７ｃに、先端が下に向いている三角形で示されており、また、参照符号ＤＦＰ－ＮＭで表されている。

【0127】

この実施例又は方法では、マップ特徴点ＭＦＰ又は検出された非一致特徴点ＤＦＰ－ＮＭの場所データ中の少なくとも１つの欄の全く同じ画像識別子がこれらの少なくとも５つの、同じ画像の中に存在しているマップ特徴点ＭＦＰ又は検出された非一致特徴点ＤＦＰ－ＮＭのうちの少なくとも１つを検証しており、また、画像識別子によって、その画像の画像場所及び配向データ、即ちその画像が撮られた時点におけるカメラの場所及び配向データを決定することができる。二次元画像座標は、少なくとも５つの、マップ特徴点ＭＦＰ又は検出された非一致特徴点ＤＦＰ－ＮＭのうちの少なくとも１つにおけるそれぞれの画像識別子欄に関して、それぞれのマップ特徴点ＭＦＰ又は検出された非一致特徴点ＤＦＰ－ＮＭが見出される画像ピクセル中の画像を特定する。この第２の解決法又は方法では、機械１の場所及び配向は、二次元位置決め画像ＰＩＭがそれらのうちの少なくとも５つを検出することができ、また、それらの点の場所データが場所データ欄に同じ画像識別子を有する点を検証し、且つ、画像識別子が画像場所及び配向を教える場合、検出された非一致特徴点ＤＦＰ－ＮＭのみを使用することによってでも決定することができ、例えば図５ｃの最も左側又は最も右側の作業現場環境画像ＷＩＭのいずれかを使用することによってでも決定することができることに留意されたい。

【0128】

したがって少なくとも５つのマップ特徴点ＭＦＰ又は検出された非一致特徴点ＤＦＰ－ＮＭが単一の位置決め画像ＰＩＭから見出されると、例えば受け入れられた画像グループＧＩＭ毎にその画像グループＧＩＭの場所及び配向が決定された時点、又は例えばカメラＣＡ、ＰＣＡを使用して画像が撮られ、その場所及び配向がその画像を撮った時点で決定された時点で決定された単一の画像の決定された場所及び配向を有する単一の画像中のマップ特徴点ＭＦＰ及び／又は検出された非一致特徴点ＤＦＰ－ＮＭと一致したこれらの少なくとも５つの航法特徴点ＮＦＰを使用することにより、このような位置決めカメラＰＣＡの場所及び配向を決定することができる。

【0129】

この第２の実施例又は方法では、第１の実施例又は方法と同様、最適化による精度改善を実施することができる。

【0130】

この解決法は、作業現場環境における機械の場所及び配向の頑丈で、且つ、正確な決定を提供する。この解決法は、機械の場所及び配向を決定する際に誤差を累積しない。この解決法は、複数の区別可能な特徴から、機械が作業現場の中を移動し、且つ、操作する際に土工機械によって適用される複数の固有マップ特徴点を創出する。マップ特徴点は識別情報を含み、識別情報は、特徴記述子及び場所データなどの少なくとも固有識別子を含み、作業現場環境におけるその少なくとも三次元場所を含み、及び／又は画像識別子を有する二次元画像座標を含み、したがってこのような検出されたマップ特徴点を含む１つ又は複数の画像を識別するこのような場所データ欄を含み、マップ特徴点ＭＦＰはこの画像又はこれらの画像の中に存在する。

【0131】

意味論的情報の適用に関連する上記考察を参照すると、特徴点マップを創出する頑丈性は、区別可能な特徴を使用して得られる意味論的情報によって更に改善することができる。意味論的情報は、例えば少なくとも１つの区別可能な特徴ＤＦが関係している対象の永続性に関する情報を含むことができる。ある時間が経過すると、恐らく作業現場から完全に消失し、或いは恐らく作業現場におけるそれらの位置が少なくとも変化する対象は、長期間の使用が意図された特徴点マップでは、マップ特徴点のための固定点として好ましく適用されない。したがって例えば意味論的情報を適用して、作業現場環境に頑強に存在している対象にマップ特徴点を故意に割り当てることができる。

【0132】

また、当該アプリケーションのために使用されることが意図されたカメラを較正することにより、特徴点を創出する精度並びに作業現場における土工機械の場所及び配向を決定する精度を同じく改善することができる。特徴点マップのためのマップ特徴点として適用することができる区別可能な特徴を検出するために使用されることが意図されたカメラは、特徴点マップを創出する手順の開始時に較正することができる。作業現場における土工機械の移動中又は操作中における航法特徴点として適用することができる区別可能な特徴を検出するために使用されることが意図されたカメラも、操縦中に実時間で同じく較正することができる。カメラを較正する場合、その真性パラメータが予測される。カメラの真性パラメータは、その画像中心、焦点距離、スキュー及びレンズ歪みなどのその内部特性に関連している。

【0133】

機械の移動中及び操作中における実時間での機械の場所及び配向の決定の頑丈性、例えば生じる衝撃及び振動によるカメラ・モデル・パラメータの変化に対する頑丈性を増すために、真性カメラ・パラメータは、操縦中に収集されたデータから構築された非線形最適化問題で最適化されるべき変数として含まれてもよい。この非線形最適化問題は、上で説明した非線形最適化問題に類似しているが、ここでは位置決めカメラＰＣＡの真性パラメータ・セットは、他のパラメータと共に最適化／改善されるべきである点が異なっている。そのためには、データ、即ち異なるカメラ場所から得られた特徴測値からカメラ・パラメータを観察することができることが必要であり、したがってカメラ真性パラメータを観察可能にするこのようなデータを選択しなければならない。観察可能性の測度は、操縦中に収集された特定のデータ・セットが与えられると、共分散行列などの予測されたパラメータの不確実性に基づいて定義することができる。特定のデータ・セットは、ここでは、特徴測定を含むカメラ経路の特定のセグメントであってもよく、特徴測定は、カメラがこの経路を通って移動すると実施される。観察可能性の測度が十分に良好である場合、パラメータの更新が実施される。また、カメラ真性パラメータの良好な観察可能性を有する複数のデータ・セットがこの予測値に含まれてもよい。また、良好な観察可能性を有する最も新しいデータ・セットから決定された予測値、及びより長い時間期間の間に収集された多くのデータ・セットからの予測値のような、これらのパラメータに対する２つの異なるセットの予測値を比較することにより、真性カメラ・パラメータの変化を検出することも可能であり、このような予測値の相違は真性カメラ・パラメータの変化を示す。この情報を使用して、いつパラメータを再予測する必要があるかどうかを決定することができる。この予測プロセスは局所化プロセスと平行して実施される。この平行プロセスで首尾よくパラメータを解決すると、局所化プロセスで使用されたカメラ真性パラメータが新しいパラメータに置き換えられる。

【0134】

実施例によれば、作業現場１４における土工機械１の場所及び配向を決定するステップは、連続する位置決め画像ＰＩＭ間の航法特徴点ＮＦＰを追跡するステップに更に基づいており、連続する位置決め画像ＰＩＭ間で追跡される航法特徴点ＮＦＰは、位置決めカメラＰＣＡの場所及び配向の変化を示す。

【0135】

この実施例は、位置決め画像ＰＩＭから検出された航法特徴点ＮＦＰを何らかの理由で特徴点マップ中のマップ特徴点ＭＦＰと突き合わせることができない場合に、作業現場１４における機械の場所及び配向の短期間決定のために適用することができる視覚オドメトリ手順を提供する。視覚オドメトリを使用する理由は、例えば霧、降雪、降雨、極端な日照り気候、霜又は砂埃であってもよい。この方法により、機械の場所及び配向の決定が更に頑丈になり、また、航法特徴点ＮＦＰがマップ特徴点ＭＦＰに十分に一致しない短期間にわたってその決定を管理することができる。

【0136】

特徴点マップ中のマップ特徴点ＭＦＰへの航法特徴点ＮＦＰの突合せを何らかの短い時間期間の間に実施することができない場合、同時局所化及びマップ作成の手順を開始して、撮られた位置決め画像の中で追跡された特徴の解決された三次元場所に基づいて一時的特徴点マップを作成し、この一時的特徴点マップの中で機械１を局所化することができる。この一時的特徴点マップでは、検出された特徴はマップ特徴点として使用される。

【0137】

図９は、視覚オドメトリ手順に関連する実施例を概略的に示したものである。図９は、先行する位置決め画像ＰＩＭを撮っているときの作業現場１４のある位置における機械１を点線で概略的に示し、また、図９に示されている位置決め画像ＰＩＭを撮っているときの作業現場１４の位置における機械１を連続線で概略的に示している。位置決めカメラＰＣＡによって作業現場１４で検出された特徴は充填十字の図形記号で表されている。位置決め画像ＰＩＭの中では、これらの検出された特徴は、菱形の図形記号によって示されている場所に設定されている。位置決め画像ＰＩＭ中の点線は、位置決め画像中の検出された特徴の、先行する位置決め画像と現在の位置決め画像の間の位置の移動を表し、位置決め画像ＰＩＭを撮っている位置決めカメラＰＣＡの位置及び配向の変化を反映している。

【0138】

同時局所化及びマップ作成手順では、最新の位置決め画像中で検出された特徴は、実際の特徴点マップに対してだけでなく、一時的特徴点マップに対しても一致するように試行される。この方法は、創出された一時的特徴点マップは良好な精度を有していることを仮定しているが、長期間にわたって継続する実際の特徴マップに対する特徴突合せが不首尾である場合であっても、良好な局所化精度を維持することができる。

【0139】

良好な精度を有する一時的特徴点マップを作成するために、ループ検出及びループ閉鎖機能性を首尾よく実施した後に、一時的特徴点マップを更新することができる。ループ検出は、作業現場１４において機械がその前に位置していた領域、即ち１つ又は複数の先行する位置決め画像ＰＩＭの中で見ることができる作業現場の領域を、先行する時間に撮られた位置決め画像に対する最新の位置決め画像の比較に基づいて認識することができることを意味している。特性値、例えばいわゆるＢａｇ－ｏｆ－Ｗｏｒｄｓを比較のために位置決め画像から計算することができる。ループが検出されると、オドメトリのみを使用することによる局所化の場合、探求フェーズの間、累積した変動、即ち局所化誤差をループ閉鎖機能性を使用して修正することができ、これは、ループを形成している探求経路の拘束、即ちループ拘束を考慮し、この拘束を使用して、探求の間に作成された経路及び局所マップを再最適化する。このプロセスは実時間局所化プロセスと平行して実施される。首尾よく再最適化されると、新しいマップ点を使用して一時的特徴点マップを更新することができる。

【0140】

実施例によれば、土工機械１の場所及び配向は土工情報モデルの中で更に決定され、土工情報は、地理空間情報システム（ＧＩＳ）、建物情報モデル化（ＢＩＭ）、インフラ即ち下部構造建物情報モデル化（Ｉ－ＢＩＭ）、民間情報モデル（ＣＩＭ）又はＳｍａｒｔＣｉｔｙ Ｐｌａｔｆｏｒｍのうちの少なくとも１つに基づいている。この実施例によれば、作業現場１４のために使用中の土工情報モデルは、実質的に実時間で更新して、作業現場１４における機械１の場所及び配向に関する情報を含むことができる。この情報は、例えば、作業現場１４で操作している他の機械又は人の周りに設定された安全境界の可能な越境を検出するための、また、必要に応じて停止するように機械１を制御するための更なる可能な測度として使用することができる。

【0141】

実施例によれば、土工機械１の工具は、土工情報モデルで記述される構造を創出するように制御される。この実施例によれば、機械１は、土工情報モデルで記述される、意図された計画構造を完成するために、制御ユニット１１によって制御されて実施される特定の制御アクションの形態であっても、土工情報モデルから、例えば特定の作業命令を受け取ることができる。

【0142】

実施例によれば、土工情報モデルが追従すべき竣工時データが作成される。この実施例によれば、作業現場１４の進捗を記述している竣工時データで土工情報モデルを補足することができる。作業現場１４の進捗に関する竣工時データは、土工機械１の中で作成することができ、或いは機械１が作業現場１４の中を移動する際に、又は機械１が作業現場１４の計画された構造を完成するために作業タスクを実施する際に、土工機械１によって作成することができる。したがって機械１は、当該機械１によって実施される作業タスクに応答して、作業現場１４の進捗に関連する竣工時データを収集することができるだけでなく、作業現場１４の他の機械によって実施される作業タスクに応答して、作業現場１４の進捗に関連する竣工時データを収集することができる。

【0143】

実施例によれば、竣工時データは、作業現場情報管理システム又は作業現場１４で動作している機械のうちの少なくとも１つに送信される。竣工時データは、作業現場１４の計画された構造の完成に応答して、計画された構造の一部を形成している副構造の完成に応答して、或いは副構造を実現するために実施される特定の個々の操作の完了に応答して送信することができる。

【0144】

技術の進歩につれて様々な方法で本発明の概念を実現することができることは当業者には明らかであろう。本発明及びその実施例は上で説明した実例に限定されず、特許請求の範囲内で変更することができる。

【図1】

【図2a】

【図2b】

【図3】

【図4】

【図5a】

【図5b】

【図5c】

【図5d】

【図6】

【図7a】

【図7b】

【図7c】

【図8】

【図9】

【手続補正書】

【提出日】2023-12-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

作業現場座標系における土工機械の場所及び配向を決定するための方法であって、前記方法は、
特徴点マップを作成するステップであって、
決定された真性パラメータ・セットを有する少なくとも１つのカメラによって複数の二次元作業現場環境画像を撮ることにより、作業現場環境から、複数の区別可能な特徴を複数のマップ特徴点として決定するステップであって、前記真性パラメータ・セットが、リアル－ワールド・ビューからの個々の画像ピクセルのフォーメーションを、画像について定義する、ステップと、
前記複数の二次元作業現場環境画像の個々から、
個々の区別可能な特徴を、検出された特徴点として前記それぞれの二次元作業現場環境画像の識別情報及び画像座標と関連付けるための区別可能な特徴、又は
基準特徴点としての区別可能な特徴であって、前記基準特徴点が作業現場に予め設定され、且つ、基準特徴点の各々を検出された基準特徴点として前記それぞれの二次元作業現場環境画像の画像座標と更に関連付けるために、前記作業現場座標系における識別情報及び場所データと関連付けられる、区別可能な特徴
のうちの少なくとも１つを検出するステップと、
少なくとも１つの画像グループを創出するステップであって、
前記作業現場環境画像中の同じ点として一致した前記検出された特徴点、又は結合される前記作業現場環境画像中の同じ点として一致した前記検出された基準特徴点のうちの少なくとも１つを少なくとも５つ有することによって前記作業現場環境画像を互いに結合するステップと、
少なくとも２つの作業現場環境画像、及び同じ点として一致した少なくとも３つの検出された基準特徴点を含む個々の画像グループを受け入れるステップと、
含まれている前記少なくとも３つの検出された基準特徴点の前記識別情報及び場所データを利用することにより、受け入れられた画像グループ毎に、前記画像グループの場所及び配向、及び同じ点として一致した検出された特徴点に対する識別情報及び場所データを決定するステップであって、そこから
同じ点として一致した前記検出された特徴点、及び同じ点として一致した前記検出された基準特徴点が前記特徴点マップのためのマップ特徴点として決定され、前記特徴点マップの前記複数のマップ特徴点が少なくとも識別情報及び場所データを有し、前記識別情報が前記区別可能な特徴を識別する少なくとも固有識別子を含み、また前記場所データが前記作業現場座標系における三次元場所を含む、ステップと
によって創出するステップと
によって作成するステップと、
少なくとも１つの位置決めカメラを前記土工機械の上に設定するステップであって、前記少なくとも１つの位置決めカメラが決定された真性パラメータ・セット、及び機械座標系における決定された場所及び配向を有する、ステップと、
前記土工機械に前記特徴点マップを提供するステップと、
少なくとも１つの位置決めカメラによって二次元位置決め画像を撮るステップと、
前記二次元位置決め画像から、区別可能な特徴を航法特徴点として検出し、且つ、航法特徴点毎に二次元画像座標及び識別情報を決定するステップと、
前記航法特徴点の識別情報と前記特徴点マップの前記マップ特徴点の前記識別情報とを突き合わせるステップと
を含み、
前記作業現場座標系における前記土工機械の前記場所及び配向を決定することが、少なくとも
一致したマップ特徴点の前記場所データ、
対応する一致した航法特徴点の前記二次元画像座標、並びに
前記少なくとも１つの位置決めカメラの各々の前記決定された真性パラメータ・セット、及び個々の対応する位置決めカメラの前記機械座標系における前記決定された場所及び配向
に基づく、方法。

【請求項2】

作業現場環境から、複数の区別可能な特徴を複数のマップ特徴点として決定する前記ステップが、
少なくとも１つのカメラによって複数の二次元作業現場環境画像を撮るステップであって、前記少なくとも１つのカメラが、
決定された真性パラメータ・セットと、
前記作業現場座標系における決定された場所と
を有する、ステップと、
前記複数の二次元作業現場環境画像の各々から区別可能な特徴を検出し、且つ、それぞれの二次元作業現場環境画像の画像座標を使用して、前記区別可能な特徴を検出された特徴点として決定するステップと、
前記作業現場環境画像中の同じ点として一致した検出された特徴点を有する少なくとも１つの画像グループを創出するステップと、
前記画像グループ毎に、個々のそれぞれの二次元作業現場環境画像を有する前記少なくとも１つのカメラの前記作業現場座標系における前記場所を利用することにより、同じとして一致した検出された特徴点に対する識別情報及び場所データを決定するステップと
を更に含み、
決定された識別情報及び場所データと同じとして一致した前記検出された特徴点が複数のマップ特徴点として決定される、請求項１に記載の方法。

【請求項3】

作業現場環境から、複数の区別可能な特徴を複数のマップ特徴点として決定する前記ステップでは、地上移動情報モデルから検索されたデータから少なくとも部分的に決定された他のマップ特徴点を更に含み、前記地上移動情報モデルは、地理空間情報システム、建物情報モデル化、インフラ即ち下部構造建物情報モデル化、民間情報モデル又はＳｍａｒｔＣｉｔｙ Ｐｌａｔｆｏｒｍのうちの少なくとも１つに基づく、請求項１に記載の方法。

【請求項4】

受け入れられた画像グループ毎に、前記画像グループの場所及び配向、及び同じとして一致した検出された特徴点に対する識別情報及び場所データを決定する前記ステップが、含まれている前記少なくとも３つの検出された基準特徴点の前記識別情報及び場所データを利用することにより、同じとして一致した前記検出された特徴点に対する静的定格を決定するステップを更に含み、
決定された識別情報、場所データ及び前記静的定格と同じとして一致した前記検出された特徴点、又は識別情報及び場所データと関連付けられた検出された基準特徴点のうちの少なくとも１つが複数のマップ特徴点として決定される、請求項１に記載の方法。

【請求項5】

画像グループ毎に、同じとして一致した検出された特徴点に対する識別情報及び場所データを決定するステップが、個々のそれぞれの二次元作業現場環境画像を有する前記少なくとも１つのカメラの前記作業現場座標系における前記場所を利用することにより、同じとして一致した前記検出された特徴点に対する静的定格を決定するステップを更に含み、
決定された識別情報、場所データ及び静的定格と同じとして一致した前記検出された特徴点が複数のマップ特徴点として決定される、請求項２に記載の方法。

【請求項6】

前記方法が総合定格を決定するステップを更に含み、前記総合定格が静的定格又は動的定格のうちの少なくとも１つを含み、前記動的定格が、個々の位置決めカメラに関して、前記少なくとも１つの位置決めカメラの各々のその前に決定された場所及び配向を個別に考慮して、前記複数の決定されたマップ特徴点の各々毎に決定される、請求項４又は５に記載の方法。

【請求項7】

前記総合定格が前記静的定格又は前記動的定格のうちの少なくとも１つであり、前記総合定格が少なくとも２つの層をなす、請求項６に記載の方法。

【請求項8】

最低層の総合定格を有する少なくとも前記マップ特徴点は、複数のマップ特徴点の量が閾値より多い場合、廃棄され、前記閾値が手動又は自動のうちの少なくともいずれかによって決定される、請求項７に記載の方法。

【請求項9】

前記作業現場における前記土工機械の前記場所及び配向を決定することが、連続する位置決め画像間の航法特徴点を追跡するステップに更に基づき、前記連続する位置決め画像間で追跡される前記航法特徴点が前記位置決めカメラの場所及び配向の変化を示す、請求項１から５までのいずれか一項に記載の方法。

【請求項10】

前記方法が、土工情報モデルにおける前記土工機械の前記場所及び配向を決定するステップを更に含み、土工情報が、地理空間情報システム、建物情報モデル化、インフラ即ち下部構造建物情報モデル化、民間情報モデル及びＳｍａｒｔＣｉｔｙ Ｐｌａｔｆｏｒｍのうちの少なくとも１つに基づく、請求項１から５までのいずれか一項に記載の方法。

【請求項11】

前記方法が、前記土工情報モデルで記述される構造を創出するために前記土工機械の工具を制御するステップを更に含む、請求項１０に記載の方法。

【請求項12】

前記方法が、前記土工情報モデルが追従すべき竣工時データを作成するステップを更に含む、請求項１０に記載の方法。

【請求項13】

前記方法が、竣工時データを作業現場情報管理システム又は前記作業現場で動作している機械のうちの少なくとも１つに送信するステップを更に含む、請求項１２に記載の方法。

【請求項14】

前記カメラ真性パラメータが操縦中に収集された少なくとも１つのデータ・セットによって更新され、前記データ・セットが特徴測定を含むカメラ経路の特定のセグメントによって創出され、前記特徴測定が、カメラが前記経路を通って移動すると実施される、請求項１から５までのいずれか一項に記載の方法。

【国際調査報告】