▶ トプコン ポジショニング システムズ， インク．の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-08
(45)【発行日】2023-12-18
(54)【発明の名称】視覚に基づくブレード位置決め
(51)【国際特許分類】
G06T 7/70 20170101AFI20231211BHJP
G06T 7/80 20170101ALI20231211BHJP
G06T 7/60 20170101ALI20231211BHJP
G06T 7/90 20170101ALI20231211BHJP
G01B 11/00 20060101ALI20231211BHJP
E02F 3/76 20060101ALI20231211BHJP
【ＦＩ】
G06T7/70 A
G06T7/80
G06T7/60 300
G06T7/90 A
G01B11/00 H
E02F3/76
【請求項の数】
20
(21)【出願番号】P 2022507457
(86)(22)【出願日】2020-06-22
(65)【公表番号】
(43)【公表日】2022-10-17
(86)【国際出願番号】 US2020038869
(87)【国際公開番号】W WO2021025791
(87)【国際公開日】2021-02-11
【審査請求日】2023-03-24
(31)【優先権主張番号】16/532,331
(32)【優先日】2019-08-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】505315742
【氏名又は名称】トプコン ポジショニング システムズ， インク．
(74)【代理人】
【識別番号】100096884
【弁理士】
【氏名又は名称】末成 幹生
(72)【発明者】
【氏名】ケリー，ドナ
(72)【発明者】
【氏名】ピメノフ，アレクサンダー アレクサンドロヴィッチ
(72)【発明者】
【氏名】ヴェルデルニコフ，アレクセイ
(72)【発明者】
【氏名】ボグダニュク，イワン アレクサンドロヴィッチ
(72)【発明者】
【氏名】スミルノフ，ミハイル ニコラエビッチ
【審査官】片岡 利延
(56)【参考文献】
【文献】米国特許出願公開第２０１４／０２７７９５６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０１５３１９１（ＵＳ，Ａ１）
【文献】特表２０１９－５２１４０３（ＪＰ，Ａ）
【文献】特開２０１６－０３５４６１（ＪＰ，Ａ）
【文献】特開２００７－１４８７８４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７０
Ｇ０６Ｔ ７／８０
Ｇ０６Ｔ ７／６０
Ｇ０６Ｔ ７／９０
Ｇ０１Ｂ １１／００
Ｅ０２Ｆ ３／７６
(57)【特許請求の範囲】
【請求項1】
機械に取り付けられた手段の位置を決定するための視覚システムであって、前記手段の画像を撮影する画像取得装置と、
プロセッサと、
コンピュータプログラム命令を格納するメモリと
を備え、
前記画像取得装置は、（ｉ）前記手段上に遠位で位置する少なくとも２つの対象点を視認でき、かつ、前記手段の全範囲の動作によっても前記少なくとも２つの対象点が前記画像内に視認可能であるよう位置し、かつ、（ｉｉ）原点を共有する前記手段の動作のあらゆる組み合わせが、方位図法によって、前記少なくとも２つの対象点を前記画像取得装置の画像平面にマッピングさせるものであり、
前記コンピュータプログラム命令が前記プロセッサ上で実行されると、前記プロセッサに次の演算を実行させるものであり、
前記演算は、前記画像中の前記２つの対象点のそれぞれの位置および前記機械の前記手段の関節の既知の形状を使用して、前記画像中の前記２つの対象点の投影を逆転させることにより、前記視覚システムの視覚システム座標系内で前記少なくとも２つの対象点のそれぞれの位置を計算するものであることを特徴とする視覚システム。
【請求項2】
前記演算はさらに、前記視覚システムを較正するものであり、前記較正は、
それぞれの回転中心の周囲の前記手段の動作を表す前記手段の複数の位置と、複数の画像と、前記少なくとも２つの対象点に関連する複数の距離とを収集し、
前記視覚システム座標系内の前記それぞれの回転中心のそれぞれの位置を計算することを特徴とする請求項１に記載の視覚システム。
【請求項3】
前記機械はブルドーザーであり、前記手段はブレードであり、前記少なくとも２つの対象点は前記ブレードの上部のそれぞれの末端の角部であり、前記視覚システムはさらに、
その中心周囲の回転動作に有限の範囲を有する前記ブレードのボールジョイントと、
前記ブルドーザーのＣフレームとを有し、
前記ボールジョイントは、前記Ｃフレーム上の固定された回転軸周囲の固定された半径の円弧内で運ばれることを特徴とする請求項２に記載の視覚システム。
【請求項4】
前記少なくとも２つの対象点は、前記手段に固定されているそれぞれの目標に関連することを特徴とする請求項１に記載の視覚システム。
【請求項5】
前記演算はさらに、前記手段の一または複数の視覚的特徴を選択し、ここで前記手段の前記一または複数の視覚的特徴は、次の（ｉ）～（ｖｉ）の少なくとも一つから選択されたものであり、（ｉ）一または複数の端部または線要素およびそれらに対応する画像の向き；（ｉｉ）一または複数の幾何学的形状および関連する幾何学的比率；（ｉｉｉ）色または強度の変化；（ｉｖ）それらの間の関係を含む特徴の組み合わせ；（ｖ）前記一または複数の視覚的特徴が見出される前記画像の領域；および（ｖｉ）前記画像平面中の前記一または複数の視覚的特徴の軌跡
複数の物体認識操作を用いて選択された前記一または複数の視覚的特徴を評価することによって前記少なくとも２つの対象点を取得することを特徴とする請求項１に記載の視覚システム。
【請求項6】
前記視覚システム演算の前記較正はさらに、前記Ｃフレームの前記固定された回転軸を決定し、
前記Ｃフレームの前記固定された回転軸周囲の前記ボールジョイントの固定された半径の前記円弧を決定し、
前記ボールジョイントの前記中心からの前記手段上の前記少なくとも２つの対象点のそれぞれとのそれぞれの第１距離を決定し、
前記手段上の前記少なくとも２つの対象点間のそれぞれの第２距離を決定することを特徴とする請求項３に記載の視覚システム。
【請求項7】
前記視覚システム演算の前記較正はさらに、前記ブレードのための参考位置を決定し、前記参考位置は、前記機械の座標系に関して前記ブレードの公知の位置であることを特徴とする請求項６に記載の視覚システム。
【請求項8】
前記演算はさらに、前記ブレードの位置を決定するものであり、前記決定は、
そこに示される少なくとも２つの対象点のそれぞれを有する画像を取得し、
エラー閾値を最小化することによって前記Ｃフレームの向きを決定し、ここで、前記エラー閾値は、前記少なくとも２つの対象点の間の計算された距離の、前記複数の距離から少なくとも１つの距離を用いて定義され、
前記最小化されたエラー閾値に達すると、前記少なくとも２つの対象点のそれぞれの位置を出力することを特徴とする請求項３に記載の視覚システム。
【請求項9】
前記画像取得装置は、前記機械上に、そこから単一の視点が可能となるよう搭載されたことを特徴とする請求項１に記載の視覚システム。
【請求項10】
前記方位図法は、遠方側一般視点型であることを特徴とする請求項１に記載の視覚システム。
【請求項11】
機械に取り付けられた手段の位置を決定する方法であって、前記手段の画像を画像取得装置から取得し、前記画像取得装置は、（ｉ）前記手段上に遠位で位置する少なくとも２つの対象点を視認でき、かつ、前記手段の全範囲の動作によっても前記少なくとも２つの対象点が前記画像内に視認可能であるよう位置し、かつ、（ｉｉ）原点を共有する前記手段の動作のあらゆる組み合わせが、方位図法によって、前記少なくとも２つの対象点を前記画像取得装置の画像平面にマッピングさせるものであり、
前記画像中の前記２つの対象点のそれぞれの位置および前記機械の前記手段の関節の既知の形状を使用して、前記画像中の前記２つの対象点の投影を逆転させることにより、前記視覚システムの視覚システム座標系内で前記少なくとも２つの対象点のそれぞれの位置を計算するものであることを特徴とする方法。
【請求項12】
前記方法はさらに、前記視覚システムを較正するものであり、前記較正は、
それぞれの回転中心の周囲の前記手段の動作を表す前記手段の複数の位置と、複数の画像と、前記少なくとも２つの対象点に関連する複数の距離とを収集し、
前記視覚システム座標系内の前記それぞれの回転中心のそれぞれの位置を計算することを特徴とする請求項１１に記載の方法。
【請求項13】
前記機械は、Ｃフレームを有するブルドーザーであり、前記手段は、前記Ｃフレーム上の固定された回転軸周囲の固定された半径の円弧内で運ばれるボールジョイントを有するブレードであり、前記少なくとも２つの対象点は前記ブレードの上部のそれぞれの末端の角部であり、前記ブレードの前記ボールジョイントは、その中心周囲の回転動作に有限の範囲を有することを特徴とする請求項１２に記載の方法。
【請求項14】
前記方法はさらに、前記少なくとも２つの対象点を、前記手段に固定されているそれぞれの目標に関連させることを特徴とする請求項１１に記載の方法。
【請求項15】
前記方法はさらに、前記手段の一または複数の視覚的特徴を選択し、ここで前記手段の前記一または複数の視覚的特徴は、次の（ｉ）～（ｖｉ）の少なくとも一つから選択されたものであり、（ｉ）一または複数の端部または線要素およびそれらに対応する画像の向き；（ｉｉ）一または複数の幾何学的形状および関連する幾何学的比率；（ｉｉｉ）色または強度の変化；（ｉｖ）それらの間の関係を含む特徴の組み合わせ；（ｖ）前記一または複数の視覚的特徴が見出される前記画像の領域；および（ｖｉ）前記画像平面中の前記一または複数の視覚的特徴の軌跡
複数の物体認識操作を用いて選択された前記一または複数の視覚的特徴を評価することによって前記少なくとも２つの対象点を取得することを特徴とする請求項１１に記載の方法。
【請求項16】
前記視覚システムの前記較正はさらに、前記Ｃフレームの前記固定された回転軸を決定し、
前記Ｃフレームの前記固定された回転軸周囲の前記ボールジョイントの固定された半径の前記円弧を決定し、
前記ボールジョイントの前記中心からの前記手段上の前記少なくとも２つの対象点のそれぞれとのそれぞれの第１距離を決定し、
前記手段上の前記少なくとも２つの対象点間のそれぞれの第２距離を決定することを特徴とする請求項１３に記載の方法。
【請求項17】
前記視覚システムの前記較正はさらに、前記ブレードのための参考位置を決定し、前記参考位置は、前記機械の座標系に関して前記ブレードの公知の位置であることを特徴とする請求項１６に記載の方法。
【請求項18】
前記方法はさらに、前記ブレードの位置を決定するものであり、前記決定は、
そこに示される少なくとも２つの対象点のそれぞれを有する画像を取得し、
エラー閾値を最小化することによって前記Ｃフレームの向きを決定し、ここで、前記エラー閾値は、前記少なくとも２つの対象点の間の計算された距離の、前記複数の距離から少なくとも１つの距離を用いて定義され、
前記最小化されたエラー閾値に達すると、前記少なくとも２つの対象点のそれぞれの位置を出力することを特徴とする請求項１３に記載の方法。
【請求項19】
前記画像取得装置は、前記機械上に、そこから単一の視点が可能となるよう搭載されたことを特徴とする請求項１１に記載の方法。
【請求項20】
前記方位図法は、遠方側一般視点型であることを特徴とする請求項１１に記載の方法。【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０１９年８月５日出願の米国特許出願第１６／５３２，３３１号の優先権を主張し、その開示は、全て本願に含まれている。
【0002】
本発明は、動作する端部を有する動作する手段の位置を決定することに関し、より具体的には、機械に対するブレードの姿勢または位置を決定するセンサーシステムのための方法および装置に関する。
【背景技術】
【0003】
建設重機（例えば、ブルドーザー、地ならし機、トラクター、舗装機、フロントエンドローダー、バックホー等）は、通常、特定の機能を実行させるために用いられる一または複数の動作端部（例えば、ブレード）を有する。ここで使用される、動作端部という用語は一般に、正確な位置決めを必要とする特定の機能を実行するための重機のあらゆる構成要素を意味する。例えば、動作端部は、ごく一部の例を挙げると、ドーザーまたは地ならし機のブレード、またはバックホーのバスケットを含む。
【0004】
重機のユーザーは、様々な典型的な現場の機能を実行するために、動作端部を活用する（例えば、現場の一区画を目的の傾斜および幅に平らにするためにドーザーのブレードを使用する）。適切な現場への要求または仕様に適合することを確実にするため、この動作は、重機を操作している間連続的に確認される。例えば、この動作は通常、所望の傾斜および幅に到達して仕様に対して実証されるまでの間、繰り返しのプロセスを要求する。
【0005】
したがって、装置の製造者は通常、ある種の動作端部自動位置決めシステムを備えた重機を供給し、現場で重機を動作させる間にユーザーを正確にガイドすることによって、ユーザーに役立たせ、生産性を向上させている。従来のある動作端部制御システムは、動作端部に固定された一または複数のセンサーを採用しており、重機車両上の固定点に対する位置および／または向きをモニターしている。例えば、一または複数のケーブルを介して、動作端部の位置情報が車両の運転室区域内に位置する制御システムに中継される。重機車両の位置は、これらのみに限定されないが、ＬＰＳ（局所的測位システム）、視覚またはＬＩＤＡＲ（光による検知と測距）システムのどちらかに基づくＳＬＡＭ（同時位置測定およびマッピング）、または、良く知られたタスク中心位置確認方法を含む多数の方法によって提供される。例えば、重機車両は、良く知られた方法により機械の正確な位置を提供する全地球的航法衛星システム（ＧＮＳＳ）受信機を有することができる。中継されたブレード位置を組み合わされたこの位置情報は、現場を正確な傾斜および／または水準とするために、動作端部制御システムに活用される。
【発明の概要】
【発明が解決しようとする課題】
【0006】
このようなセンサーに基づく動作端部制御システムの一つの欠点は、センサーは動作端部上に設けられた非常に敏感な素子であり、過酷な動作環境に関連して損傷リスクにさらされるということである。例えば、操作の間、重機に掛かる大きな機械的応力や、センサーに当たる汚れや他の物質は、素子を誤動作させ、位置合わせを誤り、および／または再度の較正が必要になる可能性がある。
【0007】
よって、通常の重機操作の間の機械に対するブレードの姿勢または位置を正確に決めるための改良されたセンサー技術が要求されている。
【課題を解決するための手段】
【0008】
様々な実施形態によって、重機車両に対するブレードの姿勢または位置を決める重機のための視覚に基づくセンサーシステムを提供する。
【0009】
一実施形態によれば、画像取得装置（例えば、単一のカメラ）は、ブレード位置を決定するために、画像平面のブレード上または周辺の特定の対象点（例えば、ブレードの上部角部）を機械参考フレーム内の特定の回転にマッピングする方位図法を用いることによって、単一の視点として確立される。このようにして、一または複数の対象点、例えばブレード角部の取得および追跡のための画像分析のために視覚に基づくセンサーシステムが採用される。この動作端部位置情報は、画像取得装置によってキャプチャされた画像から取得され、位置情報は、視覚システムに特有の座標系内で計算される。動作端部位置情報は、ＧＮＳＳ座標系（または、ＬＩＤＡＲ等の関連する重機の位置と向きを決定する他の方法）に変換され、その情報は、関連する重機（例えば、ブルドーザー）のブレードを制御するのに用いられる。
【0010】
本実施形態によれば、視覚に基づくセンサーシステムは、重機に対するブレード位置の正確な決定を提供する。模式的には、画像取得装置（例えば、単一のカメラ）は、ブレード（例えば、個々の上部角部を有するブレードの上端）周辺の空間領域の固定視野にて重機に搭載される。模式的には、視覚システムは、角部が球面（すなわち、視覚システムにより数学的に確立される対象の球表面）内に存在するようなブレードのブレード上端（すなわち、２つのそれぞれの対象点を定義する第１角部および第２角部）を識別し、その球面は、ブレードを包含し、それぞれの角部の動作は、対象の球表面上のそれぞれの所謂区画内に制限される。画像取得装置によって撮られた画像内でこれら第１および第２角部を識別した後、視覚システムは、球面を、画像取得装置の前方である画像平面にマッピングする方位図法を用いる。すなわち、本実施形態によれば、対象の球表面の好適な半径（ＲＥ）での方位図法は、球面上の角部位置を平面上の位置に全単射的にマッピングする。このようにして、それぞれの角部は、単一の視点で投射図法が採用されたように（およびこれにより第２のカメラの必要性がなくなる）、取得された画像内および視覚システム座標系で計算されたそれらの位置で識別される。本実施形態によれば、それぞれのブレード角部の（それらのそれぞれの第１および第２区画内での）位置およびそれによる動作ブレード端部は、視覚システムを中心とした座標系に基づいて、Ｘ、Ｙ、Ｚ位置および／または回転の観点から決定される。
【0011】
本実施形態によれば、所謂予備投影によるブレード位置の計算を完了するために要求される、関連する重機（例えば、ブルドーザー）の特定の特徴の位置および長さを決定するため、インストールの時に較正が実施される。較正は一般的に、関連する重機上の特定のアクセス可能な特徴と、カメラ画像中のこれら特徴の対応する位置との間の測定の組み合わせからなる。これらの測定から、関連する重機の特定の特徴の要求される位置および長さが計算される。
【0012】
本実施形態によれば、較正は、視覚システムから機械座標系への変換を取得するためだけに実施される。ＧＮＳＳが利用可能な場合、ＧＮＳＳシステムの座標系の観点から、ブレードの動作端部の位置を生成するために第２の変換が適用され、それはその後、ブレードおよび／または重機に現場において特定の機能を実施させるために制御するために用いられる（例えば、正確な整地）。
【0013】
一実施形態によれば、機械に取り付けられた手段の位置を決定するための視覚システムは、手段の画像を撮影する画像取得装置を含む。画像取得装置は、（１）手段上の末端に位置する少なくとも２つの対象点が、手段の動作の全範囲にわたって画像中で視認可能であるように、そして、（２）原点を共有する手段の動作のいかなる組み合わせによっても対象点が方位図法によって画像取得装置の画像平面上にマッピングされるものであるように、位置する。一例においては、対象点は、手段に固定されたそれぞれの目標に関連する。視覚システムはさらに、視覚システムの座標系において、画像中の特徴点のそれぞれの位置および機械の手段の関節の公知の形状とを使用することで画像において対象点の投影を逆転させることによって対象点のそれぞれの位置を計算するために、処理装置およびメモリを有する。
【0014】
模式的な一実施形態においては、視覚システムは、それぞれの回転中心の周囲における手段の動作を表す手段の複数の位置のためのその複数の位置のそれぞれの位置、複数の画像、および、少なくとも２つの対象点に関連する複数の距離を収集することによって、較正される。視覚システム座標系におけるそれぞれの回転中心の各々のそれぞれの位置は、その後計算される。一例においては、機械はブルドーザーであり、手段はブレードであり、対象点は、ブレードのそれぞれの上部末端の角部に位置する。ブレードのボールジョイントは、その中心周囲の回転動作の有限範囲を有しており、ボールジョイントは、ブルドーザーのＣフレーム上の固定された回転軸周囲の固定された半径の円弧で運ばれる。
【0015】
当業者が以下の詳細な説明およびその後に添付する図面を参照すれば、本発明のこれら利点および他の利点は、理解されるであろう。
【図面の簡単な説明】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【発明を実施するための形態】
【0025】
数多くの実施形態に従って、重機車両に対するブレードの姿勢や位置を決定する重機用の視覚に基づくセンサーシステムが提供される。
【0026】
図１は、一実施形態に従って構成された重機車両の典型例を示す。より具体的には、ブルドーザー１００（ここで、ドーザー１００としても参照される）は、模式的には、動作端部（すなわち、ブレード１１０）および、ブレードに関連する（例えば、ブレードの上端１３０）一または複数の対象点１４０の画像を得るためにブルドーザー１００の運転室屋根に搭載された画像取得装置１２０（すなわち、単一のカメラ）を備える。なお、図１では画像取得装置１２０はドーザー１００の屋根に搭載されているが、画像取得装置１２０は、他の好適な位置に搭載しても良い。例えば、代替搭載位置は、ドーザー１００のフロントグリルや、一定の線状の視野特性（詳細は後述する）があるブレード１１０に十分近い他の位置がある。さらに、視覚システム座標系におけるブルドーザー１００のＣフレーム１８０のための旋回軸位置１９０（例えば、ボールジョイント）は、以下、較正操作に関して、詳述される。一または複数の対象点１４０は一般的に、ブレード１１０のブレード端１３０の上の角部に、またはその近くにあるが、必ずしも全ての場合においてそれらの角部ではなくてよい。例えば、対象点１４０は、ブレード１１０の頂部より幾分か内側で下側でもよい。数多くの公知のアンテナ１５０は、ドーザー１００が通信信号を送受信することを可能とし、そして、位置決めシステム１６０は、位置および機首方向情報を提供するために従来の手法で用いられる。図示されているとおり、実施形態によれば、画像取得装置１２０は、ブレード１１０（および、ブレード上端、例えばブレード上端１３０）の周囲の空間領域の固定視野１７０を有する。なお、ここでの説明はブレード１１０を有するブルドーザー１００に言及しているが、実施形態の原則は、動作端部を採用したあらゆるタイプの重機または他の機械にも等しく適用可能である。さらに、図１に示された比率は原寸通りではなく、典型例という性質のものである。
【0027】
図２は、実施形態による、機械に対するブレードの姿勢または位置を決定するセンサーシステムの典型例を示す。具体的には、センサーシステムは、カメラ１２０と、視覚システム処理装置２４５とを有する視覚に基づくブレード位置システム２００を備える。図示するように、位置決めシステム１６０は、ブルドーザー１００に関連する位置および機首方向情報２５５を、従来の手法により、機械制御システム２２０に提供する。機械制御システム２２０はさらに、視覚に基づくブレード位置システム２００の視覚システム処理装置２４５によって処理されたブレード１１０の位置に関するブレード姿勢情報２６０を受信し、油圧システム命令２６５を重機（すなわち、ドーザー１００）に送信するのを容易にする。詳細を以下に述べる。
【0028】
上述したように、この実施形態は、ブレードに固定された特別な目標を必要とすることなく、単一のカメラ（例えば、カメラ１２０）を使って、ブレード（例えば、ブレード１１０）上またはその周囲の対象点の取得および追跡を行うために画像分析を採用している。模式的に示すように、また、上述するように、本実施形態に従うと、対象点は、ブレードの端部（例えば、ブレードの端部の上側の角）上またはその周辺の固定位置を表す。本開示の実施形態における視覚に基づくブレード位置決めの伝達を強化するため、ブレードの特徴の視覚的特徴、例えば線形の特徴（例えば、端部、線形要素等）、平行な特徴、固定角度（例えば、直角）、輪郭、質感および色が（一または複数組み合わされて）採用される。これらの特徴は、特定の特徴点の特徴を定義する三つの基本的基準である、外観（例えば、輝度、色、質感およびこれらの派生）、形状（例えば、大きさ、形、比率および配向）および位置（左舷対右舷側、最終確認位置、軌跡）に区分される。対象点は、例として数多くの物体認識操作を用いる視覚的特徴を評価することによって獲得することができる。
【0029】
本開示の実施形態による視覚に基づくブレード位置決めシステムは、数多くの自由度（すなわち、座標系内での移動または回転のあらゆる機会である自由度）でのブレードの動き、例えば、回転、傾斜、上昇、チルト（走行面に対するブレード面の左右の高さの傾き）、ずれの取り込みを可能にし、そこに関連する（後述する）特定の方位図法を活用する。明らかであるとおり、ブレードの回転、傾斜およびチルトは通常、回転中心を共有しており、回転中心から等距離にあるブレード上の特徴の動き（例えば、ブレードの上側の角のそれぞれ、すなわち、地ならしされた地面から最も遠いブレードの角）は、球状面内に存在している（数学的表現の観点から）。この理由によって、適切に位置する投影点を有する方位図法は、球面上に位置する対象の位置を、本実施形態によるブレードの位置決めに用いられる平面上に全単射としてマッピングする。もし投影点が視覚システムのカメラの開口部に相当するなら、これは、ブレードの特徴（例えば、角部）の位置を画像平面上での位置にする唯一のマッピングとなる。この投影の逆転（すなわち、視覚システムの座標系内におけるブレードの対象の特徴の位置の計算）をするには、それら特徴間の距離と、回転中心までのそれらの個々の距離の情報が必要となる（較正の際に計算される）。
【0030】
例えば、図３は、実施形態において有用な単一カメラを採用した方位図法３００の様々な形態を示し、以降、詳細を説明する。上昇（例えば、ドーザーのＣフレームとボールジョイントの関節）を含めるには、追加の較正データが必要となる。なぜなら、上昇を制御する回転中心（例えば、ドーザーのＣフレームの回転軸）は、必然的に先述の自由度（例えば、ドーザーのボールジョイント）の回転中心から見て遠位部であるからである。この場合、先述の二つの回転中心間の距離の情報（例えば、Ｃフレーム軸周辺のボールジョイントの動きの半径）があれば十分である。一般的に、ブレードの位置決めのために自由度を加算することは、対応する形状定義（例えば、一連の関節間の中心と、あらゆる静止中心の幾何学的位置との半径）が要求される。
【0031】
図４（Ａ）および（Ｂ）は、図１の重機車両の実施形態によるブレード動作の決定の一例を示す。図示するように、共に説明する図４（Ａ）および（Ｂ）では、ブレード１１０を有するブルドーザー１００が現場４８０にて、符号４７０の動きを行っている。本実施形態に従えば、ブルドーザー１００の運転室の屋根に搭載された画像取得装置１２０（例えば、単一のカメラ）は、ブレードに関連する一または複数の対象点（例えば、ブレードの上側端部の第１角部４１０および第２角部４２０）を得るために用いられる。模式的に示すように、画像取得装置１２０から見て、第１角部４１０はブレード１１０の上側左角であり、第２角部４２０はブレード１１０の上側右角である。既に詳述したように、ブレード１１０のこれら上側両角は、（数学的意味において）常に球面４３０上（すなわち、対象の球面）にあり、その球面中心はブレード１１０の動作軸の交点４６０である。本実施形態に従えば、各角部の動きは、いわゆるパッチ（区画）に限定される。模式的に示すように、第１角部４１０は第１パッチ４４０に限定され、第２角部４２０は第１パッチ４５０に限定される（図４（Ｂ）に図示）。
【0032】
本実施形態によれば、画像取得装置１２０は、第１角部４１０および第２角部４２０の位置、すなわちこれら角部が存在する動作端部（すなわち、ブレード１１０）の位置の情報を取得するために採用される。画像取得装置１２０の固定視野１７０の中をブレード１１０が動くと、第１角部４１０および第２角部４２０のそれぞれの一または複数の画像が得られる。ここで本実施形態の原則に従えば、全ての追跡および視覚に基づく計算は、ブレード上に持続的に識別される視覚的特徴の位置を用いて行われる。これら特徴は、上部の角部とすることができ、また、そうでない場合もある。位置のために用いられる特徴が上部の角部でない場合、上部の角部の位置は計算されない。さらに、二つの特徴の位置は、末端かつ、概して上部角部の近くでなければならない。特徴がブレード上で対称的に位置している場合、それらは同じ球面上に存在することとなるが、このことは必須ではない。特徴とボールジョイントとの半径上の距離が異なる場合、それら特徴はそれぞれの半径を有する同心球面上の存在することになる。
【0033】
前述のように、方位図法は、球面４３０を画像フレームにマッピングするために採用される。図５（Ａ）および（Ｂ）は、本実施形態による図４（Ａ）および（Ｂ）のブレード動作決定のために球面を画像フレームにマッピングする方位図法を模式的に図示している。上述のように、方位図法はここで、球面（すなわち、上述のブレード角部のそれぞれの動作が存在する、対象物の球表面）を画像フレームにマッピングするための視覚に基づくセンサー技術に用いられ、開示される実施形態のさらなる理解のため、ここで方位図法について詳述する。図５（Ａ）は、接線５６０を有する方位図法５００のある形態を模式的に示している。一実施形態における単一のカメラの使用に対応する方位図法のタイプは、「遠方側一般視点」タイプと称され、対応する球面の近くであるが外側の点から球表面の内部の一部を視覚化する特性を持っている。図５（Ａ）に示すように、遠方側投影（すなわちＲＥ＜－２）は、実際のレンズを通じて半球をマッピングする。示されるように、視点（画像取得装置１２０によって定義される）は、ブルドーザー１００の内部から両区画（すなわち第１区画４４０と第２区画４５０）を視覚化するために十分に近くでなければならない。このようにして、図５（Ｂ）に示されるように、球面４３０は、この図示例ではＲＥがおおよそ－２．４となるよう視点（例えば接線５６０に沿う図５（Ｂ）の接触５２０も参照）からの接線円錐５１０によって切り取られる。
【0034】
図２に戻り、画像取得装置１２０（カメラとして図示されている）からの画像は、視覚に基づくブレード位置システム２００の視覚システム座標システム中の第１角部４１０および第２角部４２０の位置を決定するために視覚システム処理装置２４５によって処理される。このようにして、視覚に基づくブレード位置システム２００は、模式的に示される第１角部４１０および第２角部４２０のために確立された予め決定された空間的関係を使用することによって、視覚システム座標システム内において、動作端部（すなわち、ブレード１１０）の位置を識別する。
【0035】
模式的に示すように、固定視野１７０は、ブレード１１０の操作中に第１角部４１０および第２角部４２０が動く範囲である空間的領域を包含する。画像取得装置１２０は、取得した画像に、第１角部と第２角部４２０との関係を定義（画像ピクセルで）する尺度を確立するために、（例えば、インストール時に）較正される。このことは、視野内における個々の角部の尺度および位置に関する基線の確立を容易にする。模式的に示すように、ブレード１１０の（および、代わりにブレード端の第１角部４１０および第２角部４２０の、としてもよい）定位置が取得される。基線を確立することで、第１角部４１０および／または第２角部４２０が視野１７０を通して動いたとしてもそれらの位置の識別が容易になる。操作中、画像取得装置１２０は、固定視野１７０内の画像を取得し、視覚処理装置２４５は、各画像中で第１角部４１０および第２角部４２０の位置決めを行う。較正は、公知の方法によるカメラのレンズ中の歪みの修正も含む。前述の較正の追加の特徴は以下に述べる。
【0036】
さらに、動作端部が上昇すると、第１角部４１０および第２角部４２０の位置が上昇する。同様に、動作端部が左右へ動作および／または回転すると、視野内の第１角部４１０および第２角部４２０の位置がそれに従ってずれ、および／または回転する。このようにして、視覚に基づくブレード位置システム２００は、動作端部の情報（例えば、ブレード姿勢情報２６０）のセットを機械制御システム２２０に出力し、機械制御システム２２０は、公知の方法によって、そのような情報を従来のＧＮＳＳシステムによって提供された航法情報と統合する。
【0037】
図６は、本実施形態によって、方位図法を用いて図５（Ａ）および（Ｂ）の球面区画４４０および４５０を画像６４０にマッピングすることを模式的に示している。図６に示すように、画像６４０は、画像中の投射可能表面の画像境界６５０と共に確立され、ブレード角部４１０／区画４４０は画像６４０の左側区画６２０と関連し、ブレード角部４２０／区画４５０は画像６４０の右側区画６３０と関連するようになっている。画像６４０から一またはそれ以上の付加的な自由度を分析するために、さらなる制限を用いることもできる。模式的には、較正および、与えられた画像のブレード上の位置特徴のピクセル位置からデータを与えられ、視覚システム座標系内の位置特徴の位置は、視覚システム座標系内のＣフレームの向き（すなわち角度）に相当する単一の未知の事項の観点から表現することができる。
【0038】
図７は、本実施形態による図５（Ａ）および（Ｂ）、図６のマッピングによるブレードの図７００を模式的に示す。上述するように、上記の較正および、与えられた画像のブレード上の位置特徴のピクセル位置からデータを与えられ、視覚システム座標系内の位置特徴の位置は、参照する視覚システムフレーム中のＣフレームの向き（すなわち角度）に相当する単一の未知の事項の観点から表現することができる。模式的には、全体の較正は、（１）工場での較正および（２）インストール時較正からなる。
【0039】
工場での較正（すなわち、視覚システム座標系内のピクセル位置の角度間隔へのマッピングを確立するためのカメラ／レンズシステムの歪み修正）としては、歪みを修正する較正が工場で一度実施され、視覚システム座標系内の画像のピクセル位置から角度間隔への正確なマッピングを提供することができる。機械のインストール時の較正が要求され、それは、ブレードの自由度および関節の配置に基づく数多くの段階によって達成される。ボールジョイントにブレードが搭載されたドーザーのため、視覚システム座標系内の二つの特徴位置のそれぞれに相当する球面（ボールを中心とする）の半径と、車軸またはＣフレームの軸の位置を較正によって見出さなければならない。前者は、その関節（実際の）の端部へのブレードおよび得られる各姿勢を位置決めすることによって達成され、位置特徴（「上部角部」、例えば４１０に相当）とカメラ１２０の距離７１０が、位置特徴の画像６４０中での画素位置７１５と併せて記録される。この手続きの間、Ｃフレーム（例えばＣフレーム１８０）は不動でなければならない。ブレード上の特徴間の距離と組み合わせた４つの極端な姿勢に相当する測定は、二つの特徴位置のそれぞれに相当する球面（ボールを中心とする）の半径を計算するのに十分である。後者は、Ｃフレームをその軸の周りに回転させ、画像中の相当する画素位置と併せて位置特徴とカメラとの距離を記録することによって達成される。Ｃフレームの回転の軸と平面の位置と向きを計算するためには、Ｃフレームの４つの位置があれば十分である。同様にして、既にキャプチャした自由度と回転原点を共有しない付加的な自由度は、姿勢計算で使用するために特徴付けることができる。
【0040】
図８は、実施形態による機械に対するブレード姿勢または位置のためのセンサーシステムの模式的な操作８００のフローチャート図を示す。ステップ８０５では、この度のインストールにおいて較正を行うべきか否かの評価がなされる。この決定は、インストールの履歴（記憶装置に格納）によって、または従来のユーザーインタフェースからの入力としてなされる。ステップ８１５では、ブレードの画像（例えば画像６４０）中の特徴を取得するための視覚システムのための較正がなされ、ブレード（例えばブレード１１０）上の参考位置（例えば４１０および４２０）に相当する。特徴は、特別な記述子によって識別され、その記述子は、視覚システムによってキャプチャされた一連の画像（例えば、画像６４０）中のブレード上の特徴の位置、点の周辺の特性、特徴の向き、または特徴位置（たとえば、特徴位置７１５）の軌跡を含む情報を含むがこれらのみに限定されない。ステップ８２０では、視覚システム座標系内のドーザー（たとえば、ドーザー１００）のＣフレーム（たとえば、Ｃフレーム１８０）の軸位置（たとえば、軸位置１９０）が、較正によって獲得される。このステップおよび後に続く較正ステップのため、図８において、カメラ（たとえば、カメラ１２０）とブレード上の参考位置（たとえば、参考位置４１０および４２０）との間の距離測定装置（例えば、ヨーヨーのような上下動するもの）が一時的にインストールされると仮定される。この較正のステップを実行するため、ブレード１１０は、ボールジョイント（たとえば、ボールジョイント４６０）に対して固定して保持される。ブレード１１０上の参考位置４１０および４２０のそれぞれの距離（たとえば、距離７１０）および画像位置（たとえば、画像位置７１５）は、そこで少なくとも３つのＣフレームの位置でキャプチャされる。よく知られた方法によって、視覚システム座標系内のブレード１１０上の参考位置４２０および４３０に相当する点の位置が計算される。Ｃフレーム１８０の軸位置１９０にある軸は、それぞれの側に関連する点のセットにそれぞれに合う二つの円の中心間の直線と同一である。
【0041】
同様にして、ボールジョイント４６０に対するブレード１１０の位置は、ステップ８２５で特徴付けられる。この場合、実際にボールジョイント４６０の周りでブレード１１０が最大範囲の動作となることを許容するように、Ｃフレーム１８０は上昇した位置にて固定される。ブレード１１０上の参考位置４１０および４２０のそれぞれの距離（たとえば、距離７１０）および画像位置（例えば、画像位置７１５）は収集することができ、球面区画（たとえば、区画４４０および４５０）の角部に相当する関連する点が計算される。よく知られた方法では、各区画４４０および４５０に関連する球面４３０の中央位置および半径は、そのような区画の角部に相当する点から計算することができる。区画４４０および４５０に関連する球面４３０の中心は、ボールジョイント４６０の中心に一致する。
【0042】
較正の最終ステップであるステップ８３０では、ドーザー１００が平面にあり、ブレード１００も静止して同じ平面にあり、ブレード１１０上の参考位置４１０および４２０のそれぞれの距離７１０および画像位置７１５が収集され、視覚システム座標系内の関連する点の位置が計算される。このデータは、公知の方法によって、格付けにおいて機械制御によって使用するためのゼロ位置を提供するために用いられる。ステップ８３５にて、較正手続きは、操作中のブレード姿勢の計算に用いるための計算された値を保存し、較正が成功したことを反映させるためにインストール履歴を編集することで完了する。操作（すなわち、ブレードの周期的な報告）では、ステップ８０５において、較正ステップを行うかの決定は「Ｎｏ」と評価され、ステップ８１０において、次の決定、ブレード姿勢を追跡するかの決定は「Ｙｅｓ」と評価される。この場合、運用サイクルにおけるステップ８４０にての第１のタスクは、上記で詳述したように、較正におけるものと同じ技術を用い、画像７１５中のブレードの特徴を位置決めすることである。
【0043】
一実施形態においては、次のステップ８４５では、視覚システム座標系に関するＣフレーム１８０の向き（すなわち姿勢）を推定する。この推定を生成する方法は、インストールに合わせられた／合わせられていない任意の固定値、画像７１５中の特徴位置に基づく近似値、または、早急に先行して決定された向きに基づくＣフレーム１８０の動作の軌跡、が含まれるが、これらのみに限定されない。よく知られた方法では、この後、ステップ８５０で、Ｃフレーム１８０の推定された向きおよび画像７１５内の特徴位置から、ブレード１１０上の参考位置４１０および４２０の視覚システム座標系内での位置の計算が可能となる。これらの計算された位置間の距離は、ステップ８５５で計算することができ、較正において見出された参考位置間の距離に対してステップ８６０でテストすることができる。このテストにおいて評価されたエラーは、ステップ８４５から推定されたＣフレームの姿勢を変形するのに用いられ、テストにおいて評価されたエラーが十分小さい（例えば、あるエラー閾値以内であること）とみなされるまでステップ８６０でループが続き、ステップ８６５でブレードの姿勢の結果が報告される。
【0044】
上記で詳述したように、ここでの様々な実施形態は、方法およびそれら方法を実現する装置の形で具体化することができる。開示された方法は、ユーザーの装置に組み込まれた、および／または、通信可能に接続された、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、およびコンピュータで読み込み可能な媒体（まとめて「コンピュータ」と総称する）の組み合わせによって実施される。図９は、ここで様々な実施形態による視覚に基づくブレード位置決めの方法を実行するために使用される典型的なコンピュータ９００の高レベルブロック図である。コンピュータ９００は、データ格納装置９２０およびメモリ９３０と動作可能に組み合わせられた処理装置９１０を有する。処理装置９１０は、そのような操作を定義するコンピュータプログラム命令を実行することによって、コンピュータ９００の全操作を制御する。通信バス９６０は、コンピュータ９００の様々な要素間の組み合わせおよび通信を容易にする。コンピュータプログラム命令は、データ格納装置９２０または不揮発性コンピュータ読み込み可能媒体に格納され、そしてコンピュータプログラム命令の実行が要求されたとき、メモリ９３０に読み出される。このようにして、開示された方法のステップ（例えば、図８およびここに関連する上記の議論を参照）は、メモリ９３０および／またはデータ格納装置９２０に格納されたコンピュータプログラム命令によって定義することができ、コンピュータプログラム命令を実行するプロセッサ９１０によって制御することができる。例えば、コンピュータプログラム命令は、開示された方法で定義される典型的操作を実行するように当業者によってプログラムされたコンピュータで実行可能なコードとして実行することができる。したがって、コンピュータプログラム命令を実行することによって、処理装置９１０は、開示された方法によって定義されるアルゴリズムを実行する。コンピュータ９００はまた、ネットワーク（例えば、ワイヤレス通信ネットワーク）、または良く知られた通信プロトコルを介して、他の装置と通信する一または複数の通信インタフェース９５０を含む。例えば、そのような通信インタフェースは、多数あるよく知られた方法で有線または無線のやりとりをするための受信機、送受信機またはモデムである。コンピュータ９００はまた、ユーザーがコンピュータ９００とやりとりを可能にする一または複数の入出力装置９４０（例えば、カメラ、ディスプレイ、キーボード、マウス、スピーカー、マイク、ボタン等）を含む。
【0045】
処理装置９１０は、一般的なおよび特別な目的のマイクロプロセッサを含み、単一のプロセッサまたはコンピュータ９００の複数のプロセッサの一つである。処理装置９１０は、例えば、一または複数の中央演算装置（ＣＰＵ）を有する。処理装置９１０、データ格納装置９２０および／またはメモリ９３０は、一または複数の特定用途向け集積回路（ＡＳＩＣ）および／または一または複数のフィールドプログマラブルゲートアレイ（ＦＰＧＡ）を含むか、これらにより補完されるか、またはこれらに組み込まれる。
【0046】
データ格納装置９２０およびメモリ９３０のそれぞれは、有形の不揮発性コンピュータ読み込み可能な媒体を有する。データ格納装置９２０およびメモリ９３０のそれぞれは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダブルデータレートシンクロナスダイナミックランダムアクセスメモリ（ＤＤＲ ＲＡＭ）または他のランダムアクセス半導体メモリ装置等の高速ランダムアクセスメモリを含み、また、内部ハードディスクおよびリムーバブルディスク等の一または複数の磁気ディスク格納装置、光磁気ディスク格納装置、光学ディスク格納装置、フラッシュメモリ装置、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）等の半導体メモリ装置、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク読み出し専用メモリ（ＤＶＤ－ＲＯＭ）、または他の不揮発性半導体格納装置等の不揮発性メモリを含む。
【0047】
入出力装置９４０は、カメラ、プリンタ、スキャナ、ディスプレイスクリーン等の周辺機器を含む。例えば、入出力装置９４０は、ユーザーに情報を表示するためのカソードレイチューブ（ＣＲＴ）、プラズマ、または液晶ディスプレイモニタ等のディスプレイ装置、ユーザーがコンピュータ９００に入力することができるキーボード、および、マウスやトラックボール等の指示装置を含む。
【0048】
なお、説明の明確性のため、ここで記述されている模式的実施形態は、個々の機能ブロックまたは機能ブロックの組み合わせで示されている。これらブロックが表す機能は、専用のハードウェア、または分割されたハードウェアの使用を通じて提供され、ハードウェアはソフトウェアを実行できるものを含むが、それのみに限定されない。模式的な実施形態は、ここで記述する操作を実行するデジタル信号プロセッサ（「ＤＳＰ」）ハードウェアおよび／またはソフトウェアを含む。このように、例えば、当業者によって、本願のブロック図は、本願の様々な実施形態において記述された原則の模式的な機能、操作および／または回路の概念的な見解を表すと評価されるであろう。同様に、全てのフローチャート、フロー図、状態遷移図、疑似コード、プログラムコード等は、コンピュータ、機械または処理装置が明確に開示されていないとしても、実質的にコンピュータ読み込み可能な媒体に表わされそしてコンピュータ、機械または処理装置で実行される様々なプロセスを表すと評価されるであろう。当業者であれば、実際のコンピュータまたはコンピュータシステムの実行は、他の構造を有し、他の構成要素も同様に含み、そして、そのようなコンピュータの構成要素のいくつかの高レベルな描写は、模式的な目的のものであると認識するであろう。
【0049】
上述の詳細な説明は、模式的かつ例示的であるとあらゆる点で理解されるべきであり、限定されるものではなく、本願で開示する発明の範囲は、詳細な説明からではなく、特許法で許容される全容によって解釈された請求の範囲から決定されるべきものである。本願で開示され記述される実施形態は、本発明の原則の模式に過ぎず、当業者であれば、本願発明の範囲および本質から逸脱することなく、さまざまな変更を実行することができると理解するべきである。当業者は、本願発明の範囲および本質から逸脱することなく、様々な他の特徴の組み合わせを実行することができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】