IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トプコン ポジショニング システムズ, インク.の特許一覧

<>
  • 特表-視覚に基づくブレード位置決め 図1
  • 特表-視覚に基づくブレード位置決め 図2
  • 特表-視覚に基づくブレード位置決め 図3
  • 特表-視覚に基づくブレード位置決め 図4
  • 特表-視覚に基づくブレード位置決め 図5
  • 特表-視覚に基づくブレード位置決め 図6
  • 特表-視覚に基づくブレード位置決め 図7
  • 特表-視覚に基づくブレード位置決め 図8
  • 特表-視覚に基づくブレード位置決め 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-17
(54)【発明の名称】視覚に基づくブレード位置決め
(51)【国際特許分類】
   G06T 7/70 20170101AFI20221007BHJP
   G06T 7/80 20170101ALI20221007BHJP
   G06T 7/60 20170101ALI20221007BHJP
   G06T 7/90 20170101ALI20221007BHJP
   G01B 11/00 20060101ALI20221007BHJP
   E02F 3/76 20060101ALI20221007BHJP
【FI】
G06T7/70 A
G06T7/80
G06T7/60 300
G06T7/90 A
G01B11/00 H
E02F3/76
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022507457
(86)(22)【出願日】2020-06-22
(85)【翻訳文提出日】2022-04-04
(86)【国際出願番号】 US2020038869
(87)【国際公開番号】W WO2021025791
(87)【国際公開日】2021-02-11
(31)【優先権主張番号】16/532,331
(32)【優先日】2019-08-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】505315742
【氏名又は名称】トプコン ポジショニング システムズ, インク.
(74)【代理人】
【識別番号】100096884
【弁理士】
【氏名又は名称】末成 幹生
(72)【発明者】
【氏名】ケリー,ドナ
(72)【発明者】
【氏名】ピメノフ,アレクサンダー アレクサンドロヴィッチ
(72)【発明者】
【氏名】ヴェルデルニコフ,アレクセイ
(72)【発明者】
【氏名】ボグダニュク,イワン アレクサンドロヴィッチ
(72)【発明者】
【氏名】スミルノフ,ミハイル ニコラエビッチ
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA01
2F065AA06
2F065AA12
2F065AA17
2F065AA31
2F065DD16
2F065FF04
2F065JJ19
2F065JJ26
2F065QQ08
2F065QQ24
2F065QQ25
2F065QQ26
2F065QQ29
2F065QQ31
2F065RR08
2F065SS02
5L096AA02
5L096AA06
5L096BA08
5L096BA18
5L096CA02
5L096DA02
5L096FA03
5L096FA06
5L096FA09
5L096FA66
5L096FA67
5L096FA69
5L096FA76
5L096GA51
(57)【要約】
重機車両に対するブレードの姿勢と位置を決定する重機または他の機械のための視覚に基づくセンサーシステムが提供され、センサーシステムは、画像取得装置および視覚システム処理装置を有する視覚に基づくブレード位置システムを有する。

【特許請求の範囲】
【請求項1】
機械に取り付けられた手段の位置を決定するための視覚システムであって、
前記手段の画像を撮影する画像取得装置と、
プロセッサと、
コンピュータプログラム命令を格納するメモリと
を備え、
前記画像取得装置は、(i)前記手段上に遠位で位置する少なくとも2つの対象点を視認でき、かつ、前記手段の全範囲の動作によっても前記少なくとも2つの対象点が前記画像内に視認可能であるよう位置し、かつ、(ii)原点を共有する前記手段の動作のあらゆる組み合わせが、方位図法によって、前記少なくとも2つの対象点を前記画像取得装置の画像平面にマッピングさせるものであり、
前記コンピュータプログラム命令が前記プロセッサ上で実行されると、前記プロセッサに次の演算を実行させるものであり、
前記演算は、前記画像中の前記2つの対象点のそれぞれの位置および前記機械の前記手段の関節の既知の形状を使用して、前記画像中の前記2つの対象点の投影を逆転させることにより、前記視覚システムの視覚システム座標系内で前記少なくとも2つの対象点のそれぞれの位置を計算するものであることを特徴とする視覚システム。
【請求項2】
前記演算はさらに、前記視覚システムを較正するものであり、
前記較正は、
それぞれの回転中心の周囲の前記手段の動作を表す前記手段の複数の位置と、複数の画像と、前記少なくとも2つの対象点に関連する複数の距離とを収集し、
前記視覚システム座標系内の前記それぞれの回転中心のそれぞれの位置を計算することを特徴とする請求項1に記載の視覚システム。
【請求項3】
前記機械はブルドーザーであり、前記手段はブレードであり、前記少なくとも2つの対象点は前記ブレードの上部のそれぞれの末端の角部であり、
前記視覚システムはさらに、
その中心周囲の回転動作に有限の範囲を有する前記ブレードのボールジョイントと、
前記ブルドーザーのCフレームとを有し、
前記ボールジョイントは、前記Cフレーム上の固定された回転軸周囲の固定された半径の円弧内で運ばれることを特徴とする請求項2に記載の視覚システム。
【請求項4】
前記少なくとも2つの対象点は、前記手段に固定されているそれぞれの目標に関連することを特徴とする請求項1に記載の視覚システム。
【請求項5】
前記演算はさらに、
前記手段の一または複数の視覚的特徴を選択し、ここで前記手段の前記一または複数の視覚的特徴は、次の(i)~(vi)の少なくとも一つから選択されたものであり、(i)一または複数の端部または線要素およびそれらに対応する画像の向き;(ii)一または複数の幾何学的形状および関連する幾何学的比率;(iii)色または強度の変化;(iv)それらの間の関係を含む特徴の組み合わせ;(v)前記一または複数の視覚的特徴が見出される前記画像の領域;および(vi)前記画像平面中の前記一または複数の視覚的特徴の軌跡
複数の物体認識操作を用いて選択された前記一または複数の視覚的特徴を評価することによって前記少なくとも2つの対象点を取得することを特徴とする請求項1に記載の視覚システム。
【請求項6】
前記視覚システム演算の前記較正はさらに、
前記Cフレームの前記固定された回転軸を決定し、
前記Cフレームの前記固定された回転軸周囲の前記ボールジョイントの固定された半径の前記円弧を決定し、
前記ボールジョイントの前記中心からの前記手段上の前記少なくとも2つの対象点のそれぞれとのそれぞれの第1距離を決定し、
前記手段上の前記少なくとも2つの対象点間のそれぞれの第2距離を決定することを特徴とする請求項3に記載の視覚システム。
【請求項7】
前記視覚システム演算の前記較正はさらに、
前記ブレードのための参考位置を決定し、前記参考位置は、前記機械の座標系に関して前記ブレードの公知の位置であることを特徴とする請求項6に記載の視覚システム。
【請求項8】
前記演算はさらに、前記前記ブレードの位置を決定するものであり、
前記決定は、
そこに示される少なくとも2つの対象点のそれぞれを有する画像を取得し、
エラー閾値を最小化することによって前記Cフレームの向きを決定し、ここで、前記エラー閾値は、前記少なくとも2つの対象点の間の計算された距離の、前記複数の距離から少なくとも1つの距離を用いて定義され、
前記最小化されたエラー閾値に達すると、前記少なくとも2つの対象点のそれぞれの位置を出力することを特徴とする請求項3に記載の視覚システム。
【請求項9】
前記画像取得装置は、前記機械上に、そこから単一の視点が可能となるよう搭載されたことを特徴とする請求項1に記載の視覚システム。
【請求項10】
前記方位図法は、遠方側一般視点型であることを特徴とする請求項1に記載の視覚システム。
【請求項11】
機械に取り付けられた手段の位置を決定する方法であって、
前記手段の画像を画像取得装置から取得し、前記画像取得装置は、(i)前記手段上に遠位で位置する少なくとも2つの対象点を視認でき、かつ、前記手段の全範囲の動作によっても前記少なくとも2つの対象点が前記画像内に視認可能であるよう位置し、かつ、(ii)原点を共有する前記手段の動作のあらゆる組み合わせが、方位図法によって、前記少なくとも2つの対象点を前記画像取得装置の画像平面にマッピングさせるものであり、
前記画像中の前記2つの対象点のそれぞれの位置および前記機械の前記手段の関節の既知の形状を使用して、前記画像中の前記2つの対象点の投影を逆転させることにより、前記視覚システムの視覚システム座標系内で前記少なくとも2つの対象点のそれぞれの位置を計算するものであることを特徴とする方法。
【請求項12】
前記方法はさらに、前記視覚システムを較正するものであり、
前記較正は、
それぞれの回転中心の周囲の前記手段の動作を表す前記手段の複数の位置と、複数の画像と、前記少なくとも2つの対象点に関連する複数の距離とを収集し、
前記視覚システム座標系内の前記それぞれの回転中心のそれぞれの位置を計算することを特徴とする請求項11に記載の方法。
【請求項13】
前記機械は、Cフレームを有するブルドーザーであり、前記手段は、前記Cフレーム上の固定された回転軸周囲の固定された半径の円弧内で運ばれるボールジョイントを有するブレードであり、前記少なくとも2つの対象点は前記ブレードの上部のそれぞれの末端の角部であり、前記ブレードの前記ボールジョイントは、その中心周囲の回転動作に有限の範囲を有することを特徴とする請求項12に記載の方法。
【請求項14】
前記方法はさらに、前記少なくとも2つの対象点を、前記手段に固定されているそれぞれの目標に関連させることを特徴とする請求項11に記載の方法。
【請求項15】
前記方法はさらに、
前記手段の一または複数の視覚的特徴を選択し、ここで前記手段の前記一または複数の視覚的特徴は、次の(i)~(vi)の少なくとも一つから選択されたものであり、(i)一または複数の端部または線要素およびそれらに対応する画像の向き;(ii)一または複数の幾何学的形状および関連する幾何学的比率;(iii)色または強度の変化;(iv)それらの間の関係を含む特徴の組み合わせ;(v)前記一または複数の視覚的特徴が見出される前記画像の領域;および(vi)前記画像平面中の前記一または複数の視覚的特徴の軌跡
複数の物体認識操作を用いて選択された前記一または複数の視覚的特徴を評価することによって前記少なくとも2つの対象点を取得することを特徴とする請求項11に記載の方法。
【請求項16】
前記視覚システムの前記較正はさらに、
前記Cフレームの前記固定された回転軸を決定し、
前記Cフレームの前記固定された回転軸周囲の前記ボールジョイントの固定された半径の前記円弧を決定し、
前記ボールジョイントの前記中心からの前記手段上の前記少なくとも2つの対象点のそれぞれとのそれぞれの第1距離を決定し、
前記手段上の前記少なくとも2つの対象点間のそれぞれの第2距離を決定することを特徴とする請求項13に記載の方法。
【請求項17】
前記視覚システムの前記較正はさらに、
前記ブレードのための参考位置を決定し、前記参考位置は、前記機械の座標系に関して前記ブレードの公知の位置であることを特徴とする請求項16に記載の方法。
【請求項18】
前記方法はさらに、前記前記ブレードの位置を決定するものであり、
前記決定は、
そこに示される少なくとも2つの対象点のそれぞれを有する画像を取得し、
エラー閾値を最小化することによって前記Cフレームの向きを決定し、ここで、前記エラー閾値は、前記少なくとも2つの対象点の間の計算された距離の、前記複数の距離から少なくとも1つの距離を用いて定義され、
前記最小化されたエラー閾値に達すると、前記少なくとも2つの対象点のそれぞれの位置を出力することを特徴とする請求項13に記載の方法。
【請求項19】
前記画像取得装置は、前記機械上に、そこから単一の視点が可能となるよう搭載されたことを特徴とする請求項11に記載の方法。
【請求項20】
前記方位図法は、遠方側一般視点型であることを特徴とする請求項11に記載の方法。

【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2019年8月5日出願の米国特許出願第16/532,331号の優先権を主張し、その開示は、全て本願に含まれている。
【0002】
本発明は、動作する端部を有する動作する手段の位置を決定することに関し、より具体的には、機械に対するブレードの姿勢または位置を決定するセンサーシステムのための方法および装置に関する。
【背景技術】
【0003】
建設重機(例えば、ブルドーザー、地ならし機、トラクター、舗装機、フロントエンドローダー、バックホー等)は、通常、特定の機能を実行させるために用いられる一または複数の動作端部(例えば、ブレード)を有する。ここで使用される、動作端部という用語は一般に、正確な位置決めを必要とする特定の機能を実行するための重機のあらゆる構成要素を意味する。例えば、動作端部は、ごく一部の例を挙げると、ドーザーまたは地ならし機のブレード、またはバックホーのバスケットを含む。
【0004】
重機のユーザーは、様々な典型的な現場の機能を実行するために、動作端部を活用する(例えば、現場の一区画を目的の傾斜および幅に平らにするためにドーザーのブレードを使用する)。適切な現場への要求または仕様に適合することを確実にするため、この動作は、重機を操作している間連続的に確認される。例えば、この動作は通常、所望の傾斜および幅に到達して仕様に対して実証されるまでの間、繰り返しのプロセスを要求する。
【0005】
したがって、装置の製造者は通常、ある種の動作端部自動位置決めシステムを備えた重機を供給し、現場で重機を動作させる間にユーザーを正確にガイドすることによって、ユーザーに役立たせ、生産性を向上させている。従来のある動作端部制御システムは、動作端部に固定された一または複数のセンサーを採用しており、重機車両上の固定点に対する位置および/または向きをモニターしている。例えば、一または複数のケーブルを介して、動作端部の位置情報が車両の運転室区域内に位置する制御システムに中継される。重機車両の位置は、これらのみに限定されないが、LPS(局所的測位システム)、視覚またはLIDAR(光による検知と測距)システムのどちらかに基づくSLAM(同時位置測定およびマッピング)、または、良く知られたタスク中心位置確認方法を含む多数の方法によって提供される。例えば、重機車両は、良く知られた方法により機械の正確な位置を提供する全地球的航法衛星システム(GNSS)受信機を有することができる。中継されたブレード位置を組み合わされたこの位置情報は、現場を正確な傾斜および/または水準とするために、動作端部制御システムに活用される。
【発明の概要】
【発明が解決しようとする課題】
【0006】
このようなセンサーに基づく動作端部制御システムの一つの欠点は、センサーは動作端部上に設けられた非常に敏感な素子であり、過酷な動作環境に関連して損傷リスクにさらされるということである。例えば、操作の間、重機に掛かる大きな機械的応力や、センサーに当たる汚れや他の物質は、素子を誤動作させ、位置合わせを誤り、および/または再度の較正が必要になる可能性がある。
【0007】
よって、通常の重機操作の間の機械に対するブレードの姿勢または位置を正確に決めるための改良されたセンサー技術が要求されている。
【課題を解決するための手段】
【0008】
様々な実施形態によって、重機車両に対するブレードの姿勢または位置を決める重機のための視覚に基づくセンサーシステムを提供する。
【0009】
一実施形態によれば、画像取得装置(例えば、単一のカメラ)は、ブレード位置を決定するために、画像平面のブレード上または周辺の特定の対象点(例えば、ブレードの上部角部)を機械参考フレーム内の特定の回転にマッピングする方位図法を用いることによって、単一の視点として確立される。このようにして、一または複数の対象点、例えばブレード角部の取得および追跡のための画像分析のために視覚に基づくセンサーシステムが採用される。この動作端部位置情報は、画像取得装置によってキャプチャされた画像から取得され、位置情報は、視覚システムに特有の座標系内で計算される。動作端部位置情報は、GNSS座標系(または、LIDAR等の関連する重機の位置と向きを決定する他の方法)に変換され、その情報は、関連する重機(例えば、ブルドーザー)のブレードを制御するのに用いられる。
【0010】
本実施形態によれば、視覚に基づくセンサーシステムは、重機に対するブレード位置の正確な決定を提供する。模式的には、画像取得装置(例えば、単一のカメラ)は、ブレード(例えば、個々の上部角部を有するブレードの上端)周辺の空間領域の固定視野にて重機に搭載される。模式的には、視覚システムは、角部が球面(すなわち、視覚システムにより数学的に確立される対象の球表面)内に存在するようなブレードのブレード上端(すなわち、2つのそれぞれの対象点を定義する第1角部および第2角部)を識別し、その球面は、ブレードを包含し、それぞれの角部の動作は、対象の球表面上のそれぞれの所謂区画内に制限される。画像取得装置によって撮られた画像内でこれら第1および第2角部を識別した後、視覚システムは、球面を、画像取得装置の前方である画像平面にマッピングする方位図法を用いる。すなわち、本実施形態によれば、対象の球表面の好適な半径(R)での方位図法は、球面上の角部位置を平面上の位置に全単射的にマッピングする。このようにして、それぞれの角部は、単一の視点で投射図法が採用されたように(およびこれにより第2のカメラの必要性がなくなる)、取得された画像内および視覚システム座標系で計算されたそれらの位置で識別される。本実施形態によれば、それぞれのブレード角部の(それらのそれぞれの第1および第2区画内での)位置およびそれによる動作ブレード端部は、視覚システムを中心とした座標系に基づいて、X、Y、Z位置および/または回転の観点から決定される。
【0011】
本実施形態によれば、所謂予備投影によるブレード位置の計算を完了するために要求される、関連する重機(例えば、ブルドーザー)の特定の特徴の位置および長さを決定するため、インストールの時に較正が実施される。較正は一般的に、関連する重機上の特定のアクセス可能な特徴と、カメラ画像中のこれら特徴の対応する位置との間の測定の組み合わせからなる。これらの測定から、関連する重機の特定の特徴の要求される位置および長さが計算される。
【0012】
本実施形態によれば、較正は、視覚システムから機械座標系への変換を取得するためだけに実施される。GNSSが利用可能な場合、GNSSシステムの座標系の観点から、ブレードの動作端部の位置を生成するために第2の変換が適用され、それはその後、ブレードおよび/または重機に現場において特定の機能を実施させるために制御するために用いられる(例えば、正確な整地)。
【0013】
一実施形態によれば、機械に取り付けられた手段の位置を決定するための視覚システムは、手段の画像を撮影する画像取得装置を含む。画像取得装置は、(1)手段上の末端に位置する少なくとも2つの対象点が、手段の動作の全範囲にわたって画像中で視認可能であるように、そして、(2)原点を共有する手段の動作のいかなる組み合わせによっても対象点が方位図法によって画像取得装置の画像平面上にマッピングされるものであるように、位置する。一例においては、対象点は、手段に固定されたそれぞれの目標に関連する。視覚システムはさらに、視覚システムの座標系において、画像中の特徴点のそれぞれの位置および機械の手段の関節の公知の形状とを使用することで画像において対象点の投影を逆転させることによって対象点のそれぞれの位置を計算するために、処理装置およびメモリを有する。
【0014】
模式的な一実施形態においては、視覚システムは、それぞれの回転中心の周囲における手段の動作を表す手段の複数の位置のためのその複数の位置のそれぞれの位置、複数の画像、および、少なくとも2つの対象点に関連する複数の距離を収集することによって、較正される。視覚システム座標系におけるそれぞれの回転中心の各々のそれぞれの位置は、その後計算される。一例においては、機械はブルドーザーであり、手段はブレードであり、対象点は、ブレードのそれぞれの上部末端の角部に位置する。ブレードのボールジョイントは、その中心周囲の回転動作の有限範囲を有しており、ボールジョイントは、ブルドーザーのCフレーム上の固定された回転軸周囲の固定された半径の円弧で運ばれる。
【0015】
当業者が以下の詳細な説明およびその後に添付する図面を参照すれば、本発明のこれら利点および他の利点は、理解されるであろう。
【図面の簡単な説明】
【0016】
図1図1は、一実施形態によって構成された典型的な重機車両を示す。
【0017】
図2図2は、一実施形態における機械に対するブレードの姿勢または位置を決定する典型的なセンサーシステムを示す。
【0018】
図3図3は、一実施形態における単一のカメラを使用した模式的な方位図法の変形例を示す。
【0019】
図4図4(A)および4(B)は、図1の重機車両のための一実施形態におけるブレード動作決定の一例を示す。
【0020】
図5図5(A)および5(B)は、実施形態における図4(A)および(B)のブレード動作決定のための、球面を画像フレームにマッピングする模式的な方位図法を示す。
【0021】
図6図6は、実施形態における図5(A)および(B)の球面区画を画像とする模式的なマッピングを示す。
【0022】
図7図7は、実施形態における図5(A)および(B)および図6のマッピングにおける模式的なブレード画像を示す。
【0023】
図8図8は、一実施形態における機械に対するブレード姿勢および位置のセンサーシステムのための模式的な操作のフローチャートを示す。
【0024】
図9図9は、一実施形態における典型的なコンピュータの高レベルブロック図を示す。
【発明を実施するための形態】
【0025】
数多くの実施形態に従って、重機車両に対するブレードの姿勢や位置を決定する重機用の視覚に基づくセンサーシステムが提供される。
【0026】
図1は、一実施形態に従って構成された重機車両の典型例を示す。より具体的には、ブルドーザー100(ここで、ドーザー100としても参照される)は、模式的には、動作端部(すなわち、ブレード110)および、ブレードに関連する(例えば、ブレードの上端130)一または複数の対象点140の画像を得るためにブルドーザー100の運転室屋根に搭載された画像取得装置120(すなわち、単一のカメラ)を備える。なお、図1では画像取得装置120はドーザー100の屋根に搭載されているが、画像取得装置120は、他の好適な位置に搭載しても良い。例えば、代替搭載位置は、ドーザー100のフロントグリルや、一定の線状の視野特性(詳細は後述する)があるブレード110に十分近い他の位置がある。さらに、視覚システム座標系におけるブルドーザー100のCフレーム180のための旋回軸位置190(例えば、ボールジョイント)は、以下、較正操作に関して、詳述される。一または複数の対象点140は一般的に、ブレード110のブレード端130の上の角部に、またはその近くにあるが、必ずしも全ての場合においてそれらの角部ではなくてよい。例えば、対象点140は、ブレード110の頂部より幾分か内側で下側でもよい。数多くの公知のアンテナ150は、ドーザー100が通信信号を送受信することを可能とし、そして、位置決めシステム160は、位置および機首方向情報を提供するために従来の手法で用いられる。図示されているとおり、実施形態によれば、画像取得装置120は、ブレード110(および、ブレード上端、例えばブレード上端130)の周囲の空間領域の固定視野170を有する。なお、ここでの説明はブレード110を有するブルドーザー100に言及しているが、実施形態の原則は、動作端部を採用したあらゆるタイプの重機または他の機械にも等しく適用可能である。さらに、図1に示された比率は原寸通りではなく、典型例という性質のものである。
【0027】
図2は、実施形態による、機械に対するブレードの姿勢または位置を決定するセンサーシステムの典型例を示す。具体的には、センサーシステムは、カメラ120と、視覚システム処理装置245とを有する視覚に基づくブレード位置システム200を備える。図示するように、位置決めシステム160は、ブルドーザー100に関連する位置および機首方向情報255を、従来の手法により、機械制御システム220に提供する。機械制御システム220はさらに、視覚に基づくブレード位置システム200の視覚システム処理装置245によって処理されたブレード110の位置に関するブレード姿勢情報260を受信し、油圧システム命令265を重機(すなわち、ドーザー100)に送信するのを容易にする。詳細を以下に述べる。
【0028】
上述したように、この実施形態は、ブレードに固定された特別な目標を必要とすることなく、単一のカメラ(例えば、カメラ120)を使って、ブレード(例えば、ブレード110)上またはその周囲の対象点の取得および追跡を行うために画像分析を採用している。模式的に示すように、また、上述するように、本実施形態に従うと、対象点は、ブレードの端部(例えば、ブレードの端部の上側の角)上またはその周辺の固定位置を表す。本開示の実施形態における視覚に基づくブレード位置決めの伝達を強化するため、ブレードの特徴の視覚的特徴、例えば線形の特徴(例えば、端部、線形要素等)、平行な特徴、固定角度(例えば、直角)、輪郭、質感および色が(一または複数組み合わされて)採用される。これらの特徴は、特定の特徴点の特徴を定義する三つの基本的基準である、外観(例えば、輝度、色、質感およびこれらの派生)、形状(例えば、大きさ、形、比率および配向)および位置(左舷対右舷側、最終確認位置、軌跡)に区分される。対象点は、例として数多くの物体認識操作を用いる視覚的特徴を評価することによって獲得することができる。
【0029】
本開示の実施形態による視覚に基づくブレード位置決めシステムは、数多くの自由度(すなわち、座標系内での移動または回転のあらゆる機会である自由度)でのブレードの動き、例えば、回転、傾斜、上昇、チルト(走行面に対するブレード面の左右の高さの傾き)、ずれの取り込みを可能にし、そこに関連する(後述する)特定の方位図法を活用する。明らかであるとおり、ブレードの回転、傾斜およびチルトは通常、回転中心を共有しており、回転中心から等距離にあるブレード上の特徴の動き(例えば、ブレードの上側の角のそれぞれ、すなわち、地ならしされた地面から最も遠いブレードの角)は、球状面内に存在している(数学的表現の観点から)。この理由によって、適切に位置する投影点を有する方位図法は、球面上に位置する対象の位置を、本実施形態によるブレードの位置決めに用いられる平面上に全単射としてマッピングする。もし投影点が視覚システムのカメラの開口部に相当するなら、これは、ブレードの特徴(例えば、角部)の位置を画像平面上での位置にする唯一のマッピングとなる。この投影の逆転(すなわち、視覚システムの座標系内におけるブレードの対象の特徴の位置の計算)をするには、それら特徴間の距離と、回転中心までのそれらの個々の距離の情報が必要となる(較正の際に計算される)。
【0030】
例えば、図3は、実施形態において有用な単一カメラを採用した方位図法300の様々な形態を示し、以降、詳細を説明する。上昇(例えば、ドーザーのCフレームとボールジョイントの関節)を含めるには、追加の較正データが必要となる。なぜなら、上昇を制御する回転中心(例えば、ドーザーのCフレームの回転軸)は、必然的に先述の自由度(例えば、ドーザーのボールジョイント)の回転中心から見て遠位部であるからである。この場合、先述の二つの回転中心間の距離の情報(例えば、Cフレーム軸周辺のボールジョイントの動きの半径)があれば十分である。一般的に、ブレードの位置決めのために自由度を加算することは、対応する形状定義(例えば、一連の関節間の中心と、あらゆる静止中心の幾何学的位置との半径)が要求される。
【0031】
図4(A)および(B)は、図1の重機車両の実施形態によるブレード動作の決定の一例を示す。図示するように、共に説明する図4(A)および(B)では、ブレード110を有するブルドーザー100が現場480にて、符号470の動きを行っている。本実施形態に従えば、ブルドーザー100の運転室の屋根に搭載された画像取得装置120(例えば、単一のカメラ)は、ブレードに関連する一または複数の対象点(例えば、ブレードの上側端部の第1角部410および第2角部420)を得るために用いられる。模式的に示すように、画像取得装置120から見て、第1角部410はブレード110の上側左角であり、第2角部420はブレード110の上側右角である。既に詳述したように、ブレード110のこれら上側両角は、(数学的意味において)常に球面430上(すなわち、対象の球面)にあり、その球面中心はブレード110の動作軸の交点460である。本実施形態に従えば、各角部の動きは、いわゆるパッチ(区画)に限定される。模式的に示すように、第1角部410は第1パッチ440に限定され、第2角部420は第1パッチ450に限定される(図4(B)に図示)。
【0032】
本実施形態によれば、画像取得装置120は、第1角部410および第2角部420の位置、すなわちこれら角部が存在する動作端部(すなわち、ブレード110)の位置の情報を取得するために採用される。画像取得装置120の固定視野170の中をブレード110が動くと、第1角部410および第2角部420のそれぞれの一または複数の画像が得られる。ここで本実施形態の原則に従えば、全ての追跡および視覚に基づく計算は、ブレード上に持続的に識別される視覚的特徴の位置を用いて行われる。これら特徴は、上部の角部とすることができ、また、そうでない場合もある。位置のために用いられる特徴が上部の角部でない場合、上部の角部の位置は計算されない。さらに、二つの特徴の位置は、末端かつ、概して上部角部の近くでなければならない。特徴がブレード上で対称的に位置している場合、それらは同じ球面上に存在することとなるが、このことは必須ではない。特徴とボールジョイントとの半径上の距離が異なる場合、それら特徴はそれぞれの半径を有する同心球面上の存在することになる。
【0033】
前述のように、方位図法は、球面430を画像フレームにマッピングするために採用される。図5(A)および(B)は、本実施形態による図4(A)および(B)のブレード動作決定のために球面を画像フレームにマッピングする方位図法を模式的に図示している。上述のように、方位図法はここで、球面(すなわち、上述のブレード角部のそれぞれの動作が存在する、対象物の球表面)を画像フレームにマッピングするための視覚に基づくセンサー技術に用いられ、開示される実施形態のさらなる理解のため、ここで方位図法について詳述する。図5(A)は、接線560を有する方位図法500のある形態を模式的に示している。一実施形態における単一のカメラの使用に対応する方位図法のタイプは、「遠方側一般視点」タイプと称され、対応する球面の近くであるが外側の点から球表面の内部の一部を視覚化する特性を持っている。図5(A)に示すように、遠方側投影(すなわちR<-2)は、実際のレンズを通じて半球をマッピングする。示されるように、視点(画像取得装置120によって定義される)は、ブルドーザー100の内部から両区画(すなわち第1区画440と第2区画450)を視覚化するために十分に近くでなければならない。このようにして、図5(B)に示されるように、球面430は、この図示例ではRがおおよそ-2.4となるよう視点(例えば接線560に沿う図5(B)の接触520も参照)からの接線円錐510によって切り取られる。
【0034】
図2に戻り、画像取得装置120(カメラとして図示されている)からの画像は、視覚に基づくブレード位置システム200の視覚システム座標システム中の第1角部410および第2角部420の位置を決定するために視覚システム処理装置245によって処理される。このようにして、視覚に基づくブレード位置システム200は、模式的に示される第1角部410および第2角部420のために確立された予め決定された空間的関係を使用することによって、視覚システム座標システム内において、動作端部(すなわち、ブレード110)の位置を識別する。
【0035】
模式的に示すように、固定視野170は、ブレード110の操作中に第1角部410および第2角部420が動く範囲である空間的領域を包含する。画像取得装置120は、取得した画像に、第1角部と第2角部420との関係を定義(画像ピクセルで)する尺度を確立するために、(例えば、インストール時に)較正される。このことは、視野内における個々の角部の尺度および位置に関する基線の確立を容易にする。模式的に示すように、ブレード110の(および、代わりにブレード端の第1角部410および第2角部420の、としてもよい)定位置が取得される。基線を確立することで、第1角部410および/または第2角部420が視野170を通して動いたとしてもそれらの位置の識別が容易になる。操作中、画像取得装置120は、固定視野170内の画像を取得し、視覚処理装置245は、各画像中で第1角部410および第2角部420の位置決めを行う。較正は、公知の方法によるカメラのレンズ中の歪みの修正も含む。前述の較正の追加の特徴は以下に述べる。
【0036】
さらに、動作端部が上昇すると、第1角部410および第2角部420の位置が上昇する。同様に、動作端部が左右へ動作および/または回転すると、視野内の第1角部410および第2角部420の位置がそれに従ってずれ、および/または回転する。このようにして、視覚に基づくブレード位置システム200は、動作端部の情報(例えば、ブレード姿勢情報260)のセットを機械制御システム220に出力し、機械制御システム220は、公知の方法によって、そのような情報を従来のGNSSシステムによって提供された航法情報と統合する。
【0037】
図6は、本実施形態によって、方位図法を用いて図5(A)および(B)の球面区画440および450を画像640にマッピングすることを模式的に示している。図6に示すように、画像640は、画像中の投射可能表面の画像境界650と共に確立され、ブレード角部410/区画440は画像640の左側区画620と関連し、ブレード角部420/区画450は画像640の右側区画630と関連するようになっている。画像640から一またはそれ以上の付加的な自由度を分析するために、さらなる制限を用いることもできる。模式的には、較正および、与えられた画像のブレード上の位置特徴のピクセル位置からデータを与えられ、視覚システム座標系内の位置特徴の位置は、視覚システム座標系内のCフレームの向き(すなわち角度)に相当する単一の未知の事項の観点から表現することができる。
【0038】
図7は、本実施形態による図5(A)および(B)、図6のマッピングによるブレードの図700を模式的に示す。上述するように、上記の較正および、与えられた画像のブレード上の位置特徴のピクセル位置からデータを与えられ、視覚システム座標系内の位置特徴の位置は、参照する視覚システムフレーム中のCフレームの向き(すなわち角度)に相当する単一の未知の事項の観点から表現することができる。模式的には、全体の較正は、(1)工場での較正および(2)インストール時較正からなる。
【0039】
工場での較正(すなわち、視覚システム座標系内のピクセル位置の角度間隔へのマッピングを確立するためのカメラ/レンズシステムの歪み修正)としては、歪みを修正する較正が工場で一度実施され、視覚システム座標系内の画像のピクセル位置から角度間隔への正確なマッピングを提供することができる。機械のインストール時の較正が要求され、それは、ブレードの自由度および関節の配置に基づく数多くの段階によって達成される。ボールジョイントにブレードが搭載されたドーザーのため、視覚システム座標系内の二つの特徴位置のそれぞれに相当する球面(ボールを中心とする)の半径と、車軸またはCフレームの軸の位置を較正によって見出さなければならない。前者は、その関節(実際の)の端部へのブレードおよび得られる各姿勢を位置決めすることによって達成され、位置特徴(「上部角部」、例えば410に相当)とカメラ120の距離710が、位置特徴の画像640中での画素位置715と併せて記録される。この手続きの間、Cフレーム(例えばCフレーム180)は不動でなければならない。ブレード上の特徴間の距離と組み合わせた4つの極端な姿勢に相当する測定は、二つの特徴位置のそれぞれに相当する球面(ボールを中心とする)の半径を計算するのに十分である。後者は、Cフレームをその軸の周りに回転させ、画像中の相当する画素位置と併せて位置特徴とカメラとの距離を記録することによって達成される。Cフレームの回転の軸と平面の位置と向きを計算するためには、Cフレームの4つの位置があれば十分である。同様にして、既にキャプチャした自由度と回転原点を共有しない付加的な自由度は、姿勢計算で使用するために特徴付けることができる。
【0040】
図8は、実施形態による機械に対するブレード姿勢または位置のためのセンサーシステムの模式的な操作800のフローチャート図を示す。ステップ805では、この度のインストールにおいて較正を行うべきか否かの評価がなされる。この決定は、インストールの履歴(記憶装置に格納)によって、または従来のユーザーインタフェースからの入力としてなされる。ステップ815では、ブレードの画像(例えば画像640)中の特徴を取得するための視覚システムのための較正がなされ、ブレード(例えばブレード110)上の参考位置(例えば410および420)に相当する。特徴は、特別な記述子によって識別され、その記述子は、視覚システムによってキャプチャされた一連の画像(例えば、画像640)中のブレード上の特徴の位置、点の周辺の特性、特徴の向き、または特徴位置(たとえば、特徴位置715)の軌跡を含む情報を含むがこれらのみに限定されない。ステップ820では、視覚システム座標系内のドーザー(たとえば、ドーザー100)のCフレーム(たとえば、Cフレーム180)の軸位置(たとえば、軸位置190)が、較正によって獲得される。このステップおよび後に続く較正ステップのため、図8において、カメラ(たとえば、カメラ120)とブレード上の参考位置(たとえば、参考位置410および420)との間の距離測定装置(例えば、ヨーヨーのような上下動するもの)が一時的にインストールされると仮定される。この較正のステップを実行するため、ブレード110は、ボールジョイント(たとえば、ボールジョイント460)に対して固定して保持される。ブレード110上の参考位置410および420のそれぞれの距離(たとえば、距離710)および画像位置(たとえば、画像位置715)は、そこで少なくとも3つのCフレームの位置でキャプチャされる。よく知られた方法によって、視覚システム座標系内のブレード110上の参考位置420および430に相当する点の位置が計算される。Cフレーム180の軸位置190にある軸は、それぞれの側に関連する点のセットにそれぞれに合う二つの円の中心間の直線と同一である。
【0041】
同様にして、ボールジョイント460に対するブレード110の位置は、ステップ825で特徴付けられる。この場合、実際にボールジョイント460の周りでブレード110が最大範囲の動作となることを許容するように、Cフレーム180は上昇した位置にて固定される。ブレード110上の参考位置410および420のそれぞれの距離(たとえば、距離710)および画像位置(例えば、画像位置715)は収集することができ、球面区画(たとえば、区画440および450)の角部に相当する関連する点が計算される。よく知られた方法では、各区画440および450に関連する球面430の中央位置および半径は、そのような区画の角部に相当する点から計算することができる。区画440および450に関連する球面430の中心は、ボールジョイント460の中心に一致する。
【0042】
較正の最終ステップであるステップ830では、ドーザー100が平面にあり、ブレード100も静止して同じ平面にあり、ブレード110上の参考位置410および420のそれぞれの距離710および画像位置715が収集され、視覚システム座標系内の関連する点の位置が計算される。このデータは、公知の方法によって、格付けにおいて機械制御によって使用するためのゼロ位置を提供するために用いられる。ステップ835にて、較正手続きは、操作中のブレード姿勢の計算に用いるための計算された値を保存し、較正が成功したことを反映させるためにインストール履歴を編集することで完了する。操作(すなわち、ブレードの周期的な報告)では、ステップ805において、較正ステップを行うかの決定は「No」と評価され、ステップ810において、次の決定、ブレード姿勢を追跡するかの決定は「Yes」と評価される。この場合、運用サイクルにおけるステップ840にての第1のタスクは、上記で詳述したように、較正におけるものと同じ技術を用い、画像715中のブレードの特徴を位置決めすることである。
【0043】
一実施形態においては、次のステップ845では、視覚システム座標系に関するCフレーム180の向き(すなわち姿勢)を推定する。この推定を生成する方法は、インストールに合わせられた/合わせられていない任意の固定値、画像715中の特徴位置に基づく近似値、または、早急に先行して決定された向きに基づくCフレーム180の動作の軌跡、が含まれるが、これらのみに限定されない。よく知られた方法では、この後、ステップ850で、Cフレーム180の推定された向きおよび画像715内の特徴位置から、ブレード110上の参考位置410および420の視覚システム座標系内での位置の計算が可能となる。これらの計算された位置間の距離は、ステップ855で計算することができ、較正において見出された参考位置間の距離に対してステップ860でテストすることができる。このテストにおいて評価されたエラーは、ステップ845から推定されたCフレームの姿勢を変形するのに用いられ、テストにおいて評価されたエラーが十分小さい(例えば、あるエラー閾値以内であること)とみなされるまでステップ860でループが続き、ステップ865でブレードの姿勢の結果が報告される。
【0044】
上記で詳述したように、ここでの様々な実施形態は、方法およびそれら方法を実現する装置の形で具体化することができる。開示された方法は、ユーザーの装置に組み込まれた、および/または、通信可能に接続された、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、およびコンピュータで読み込み可能な媒体(まとめて「コンピュータ」と総称する)の組み合わせによって実施される。図9は、ここで様々な実施形態による視覚に基づくブレード位置決めの方法を実行するために使用される典型的なコンピュータ900の高レベルブロック図である。コンピュータ900は、データ格納装置920およびメモリ930と動作可能に組み合わせられた処理装置910を有する。処理装置910は、そのような操作を定義するコンピュータプログラム命令を実行することによって、コンピュータ900の全操作を制御する。通信バス960は、コンピュータ900の様々な要素間の組み合わせおよび通信を容易にする。コンピュータプログラム命令は、データ格納装置920または不揮発性コンピュータ読み込み可能媒体に格納され、そしてコンピュータプログラム命令の実行が要求されたとき、メモリ930に読み出される。このようにして、開示された方法のステップ(例えば、図8およびここに関連する上記の議論を参照)は、メモリ930および/またはデータ格納装置920に格納されたコンピュータプログラム命令によって定義することができ、コンピュータプログラム命令を実行するプロセッサ910によって制御することができる。例えば、コンピュータプログラム命令は、開示された方法で定義される典型的操作を実行するように当業者によってプログラムされたコンピュータで実行可能なコードとして実行することができる。したがって、コンピュータプログラム命令を実行することによって、処理装置910は、開示された方法によって定義されるアルゴリズムを実行する。コンピュータ900はまた、ネットワーク(例えば、ワイヤレス通信ネットワーク)、または良く知られた通信プロトコルを介して、他の装置と通信する一または複数の通信インタフェース950を含む。例えば、そのような通信インタフェースは、多数あるよく知られた方法で有線または無線のやりとりをするための受信機、送受信機またはモデムである。コンピュータ900はまた、ユーザーがコンピュータ900とやりとりを可能にする一または複数の入出力装置940(例えば、カメラ、ディスプレイ、キーボード、マウス、スピーカー、マイク、ボタン等)を含む。
【0045】
処理装置910は、一般的なおよび特別な目的のマイクロプロセッサを含み、単一のプロセッサまたはコンピュータ900の複数のプロセッサの一つである。処理装置910は、例えば、一または複数の中央演算装置(CPU)を有する。処理装置910、データ格納装置920および/またはメモリ930は、一または複数の特定用途向け集積回路(ASIC)および/または一または複数のフィールドプログマラブルゲートアレイ(FPGA)を含むか、これらにより補完されるか、またはこれらに組み込まれる。
【0046】
データ格納装置920およびメモリ930のそれぞれは、有形の不揮発性コンピュータ読み込み可能な媒体を有する。データ格納装置920およびメモリ930のそれぞれは、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、ダブルデータレートシンクロナスダイナミックランダムアクセスメモリ(DDR RAM)または他のランダムアクセス半導体メモリ装置等の高速ランダムアクセスメモリを含み、また、内部ハードディスクおよびリムーバブルディスク等の一または複数の磁気ディスク格納装置、光磁気ディスク格納装置、光学ディスク格納装置、フラッシュメモリ装置、消去可能プログラム可能読み出し専用メモリ(EPROM)、電気的消去可能プログラム可能読み出し専用メモリ(EEPROM)等の半導体メモリ装置、コンパクトディスク読み出し専用メモリ(CD-ROM)、デジタル多目的ディスク読み出し専用メモリ(DVD-ROM)、または他の不揮発性半導体格納装置等の不揮発性メモリを含む。
【0047】
入出力装置940は、カメラ、プリンタ、スキャナ、ディスプレイスクリーン等の周辺機器を含む。例えば、入出力装置940は、ユーザーに情報を表示するためのカソードレイチューブ(CRT)、プラズマ、または液晶ディスプレイモニタ等のディスプレイ装置、ユーザーがコンピュータ900に入力することができるキーボード、および、マウスやトラックボール等の指示装置を含む。
【0048】
なお、説明の明確性のため、ここで記述されている模式的実施形態は、個々の機能ブロックまたは機能ブロックの組み合わせで示されている。これらブロックが表す機能は、専用のハードウェア、または分割されたハードウェアの使用を通じて提供され、ハードウェアはソフトウェアを実行できるものを含むが、それのみに限定されない。模式的な実施形態は、ここで記述する操作を実行するデジタル信号プロセッサ(「DSP」)ハードウェアおよび/またはソフトウェアを含む。このように、例えば、当業者によって、本願のブロック図は、本願の様々な実施形態において記述された原則の模式的な機能、操作および/または回路の概念的な見解を表すと評価されるであろう。同様に、全てのフローチャート、フロー図、状態遷移図、疑似コード、プログラムコード等は、コンピュータ、機械または処理装置が明確に開示されていないとしても、実質的にコンピュータ読み込み可能な媒体に表わされそしてコンピュータ、機械または処理装置で実行される様々なプロセスを表すと評価されるであろう。当業者であれば、実際のコンピュータまたはコンピュータシステムの実行は、他の構造を有し、他の構成要素も同様に含み、そして、そのようなコンピュータの構成要素のいくつかの高レベルな描写は、模式的な目的のものであると認識するであろう。
【0049】
上述の詳細な説明は、模式的かつ例示的であるとあらゆる点で理解されるべきであり、限定されるものではなく、本願で開示する発明の範囲は、詳細な説明からではなく、特許法で許容される全容によって解釈された請求の範囲から決定されるべきものである。本願で開示され記述される実施形態は、本発明の原則の模式に過ぎず、当業者であれば、本願発明の範囲および本質から逸脱することなく、さまざまな変更を実行することができると理解するべきである。当業者は、本願発明の範囲および本質から逸脱することなく、様々な他の特徴の組み合わせを実行することができる。

図1
図2
図3
図4
図5
図6
図7
図8
図9
【国際調査報告】