特開 2024-91532 建設重機における物体視覚化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024091532

(43)【公開日】2024-07-04

(54)【発明の名称】建設重機における物体視覚化

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240627BHJP

   E02F 9/26 20060101ALI20240627BHJP

【ＦＩ】

H04N7/18 J

E02F9/26 B

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023211823

(22)【出願日】2023-12-15

(31)【優先権主張番号】18/086,713

(32)【優先日】2022-12-22

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】505236469

【氏名又は名称】キャタピラー エス エー アール エル

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】高本 海

(72)【発明者】

【氏名】リー シールイ

【テーマコード（参考）】

2D015

5C054

【Ｆターム（参考）】

2D015HA03

2D015HB05

5C054CA04

5C054CC02

5C054FC12

5C054FE09

5C054FE13

5C054FE28

5C054HA30

(57)【要約】      （修正有）

【課題】建設作業機械の作業領域内にある物体を建設作業機械の運転室内から視覚化する。
【解決手段】ビデオデータおよび距離データ（３２６）を生成するように組み立てられたステレオカメラ（１００）が建設作業機械（１０）に取り付けられている。建設機械（１０）に取り付けられた作業ツール（３０）の位置は、センサ信号から計算され、距離データ（３２６）は、作業ツール（３０）に位置する物体を明示するために分析される。作業ツール（３０）の空間的位置にある物体の物体画像を視覚的に強調する物体インジケータ（４２０）を含むビデオオーバーレイがレンダリングされる。レンダリングされたビデオデータとビデオオーバーレイとの合成画像（４１０）は、モニター（２１０、３６０）に表示される。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業ツール（３０）が取り付けられた遠位端に作業アーム（２０）を有する建設作業機械（１０）であって、前記作業機械（１０）が、
ビデオデータ（３２４）および距離データ（３２６）を生成するように組み立てられたステレオカメラ（１００）と、
シャシー（４８）上に組み立てられ、内部および外部を有する運転室（４５）と、
前記運転室の内部に設置され、視覚データを表示するように組み立てられたモニター（２１０、３６０）と、
前記作業機械（１０）に機械的に連結され、前記運転室（４５）の外部と前記ステレオカメラ（１００）との間に介在するカメラマウント（１２２）であって、前記ステレオカメラ（１００）を位置付けるように組み立てられたカメラマウント（１２２）と、
プロセッサー回路（３５０）と、を備え、前記プロセッサー回路（３５０）が、
前記作業ツール（３０）の空間的位置を計算し、
前記作業ツール（３０）の空間的位置に対応する前記距離データ（３２６）を分析して、その場所にある物体を明示し、
前記作業ツール（３０）の空間的位置にある前記物体の物体画像を視覚的に強調する物体インジケータ（４２０）を含むビデオオーバーレイをレンダリングし、
前記レンダリングされたビデオデータと前記ビデオオーバーレイ（４１０）との合成画像（４１０）を前記モニター（２１０、３６０）に表示するように組み立てられている、建設作業機械（１０）。

【請求項2】

前記プロセッサー回路（３５０）が、
前記作業アーム（２０）上の位置センサ（２６）からの位置信号（３４４）を受け入れ、
前記位置信号（３４４）から前記作業ツール（２０）の空間的位置を計算するようにさらに組み立てられている、請求項１に記載の建設作業機械。

【請求項3】

多様な作業ツールの寸法を格納しているツールデータベース（３８２）を記憶するように組み立てられたメモリ回路（３８０）をさらに備え、前記プロセッサー回路（３５０）が、
前記ツールデータベース（３８２）から前記作業ツール（２０）の寸法を取得し、
前記作業ツール（２０）の取得した寸法および前記位置信号（３４４）から前記作業ツール（２０）の空間的位置を計算するようにさらに組み立てられている、請求項２に記載の建設作業機械。

【請求項4】

前記プロセッサー回路（３５０）が、
前記作業ツール（２０）の空間的位置にある前記物体画像のエッジに関するエッジインジケータを含むように前記ビデオオーバーレイをレンダリングするようにさらに組み立てられている、請求項１に記載の建設作業機械。

【請求項5】

前記プロセッサー回路（３５０）が、
前記合成ビデオ画像（４１０）に表された距離を明示する距離凡例を含むように前記ビデオオーバーレイをレンダリングするようにさらに組み立てられている、請求項１に記載の建設作業機械。

【請求項6】

前記運転室の内部に配設され、前記作業アーム（２０）を動作させるように組み立てられた制御部（６６）をさらに備え、前記プロセッサー回路（３５０）が、
前記位置信号（３４４）によって明示される前記作業アーム（２０）の動作を受けて前記作業ツール（３０）の空間的位置を再計算するようにさらに組み立てられている、請求項１に記載の建設作業機械。

【請求項7】

前記運転室（４５）の高さが、前記シャシー（４８）に対して固定されており、前記カメラマウント（１２２）が、前記ステレオカメラ（１００）を前記運転室（４５）に対して上昇させるように組み立てられている、請求項１に記載の建設作業機械。

【請求項8】

作業領域内で動作する建設作業機械（１０）における物体視覚化プロセス（６００）であって、前記建設作業機械（１０）が、オペレータが前記作業領域内で建設タスクを行う運転室（４５）と、前記建設作業機械（１０）を地面に沿って移動させる走行体（５０）と、を備え、前記プロセス（６００）が、
作業ツール（３０）を、前記作業領域内で前記建設タスクを行う前記作業機械（１０）に取り付けること（６２５）と、
前記作業ツールの空間的位置を計算すること（６３０）と、
その計算された空間的位置にある前記作業ツール（３０）の視認線ビデオデータおよび距離データ（３２６）を、捕捉すること（６４０）と、
前記作業ツール（３０）の空間的位置に対応する前記距離データ（３２６）を分析して、その場所にある物体を明示すること（６４５）と、
前記作業ツールの空間的位置にある前記物体の物体画像を視覚的に強調する物体インジケータ（４２０）を含むビデオオーバーレイをレンダリングすること（６５５）と、
前記レンダリングされたビデオデータと前記ビデオオーバーレイとの合成画像（４１０）を表示すること（６１６）と、を含む、物体視覚化プロセス（６００）。

【請求項9】

前記作業ツール（３０）において、前記視認線捕捉を方向付ける目標を確立すること（６７０）と、
前記目標の空間的位置を計算すること（６３０）と、
その計算された空間的位置にある前記目標の視認線ビデオデータおよび距離データ（３２６）を捕捉すること（６５０）と、をさらに含む、請求項８に記載の物体視覚化プロセス。

【請求項10】

作業ツールデータベースから前記作業ツールの寸法を取得すること（６３０）と、
前記作業ツールの寸法から前記目標の空間的位置を計算すること（６３０）と、をさらに含む、請求項９に記載の物体視覚化プロセス。

【請求項11】

前記目標の空間的位置にある前記物体画像を囲む視覚フレームを含むように前記ビデオオーバーレイをレンダリングすること（６５５）をさらに含む、請求項１０に記載の物体視覚化プロセス。

【請求項12】

前記合成ビデオ画像に表された距離を明示する距離凡例を含むように前記ビデオオーバーレイをレンダリングすること（６５５）をさらに含む、請求項１０に記載の物体視覚化プロセス。

【請求項13】

前記走行体（５０）に対する前記運転室（４５）の高さを固定することと、
ステレオカメラ（１００）を前記運転室（４５）に対して上昇させて、その視認線を前記作業ツールの空間的位置と揃えること（６３５）と、をさらに含む、請求項８に記載の物体視覚化プロセス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータビジョンおよび物体視覚化に関するものであり、より具体的には、建設機械の作業領域内にある物体を建設機械の運転室内から視覚化することに関するものである。

【背景技術】

【0002】

建設産業界で見られるような現代の重量物取扱装置のオペレータは、自らの機械で驚くべき離れ業を演じることができる。かかる離れ業を演じる上で鍵となるのは、作業ツール、すなわち建設作業タスクを行う重機部品とその周囲が明瞭に視認できることである。しかし、作業ツールは、オペレータの視認線内の障害物または機械の広い到達範囲によって運転室から完全に見えなくなってしまうことが多い。Ｃａｔｅｒｐｉｌｌａｒ社製の履帯式資材取扱装置（ｔｒａｃｋ ｍａｔｅｒｉａｌ ｈａｎｄｌｅｒ）モデルＭＨ３２５０は、高い視点を得るために運転室全体を上昇させる機構による解決策を提供している。他の解決策としては、作業領域に対するオペレータの視界を改善する重機上の位置に、デジタル撮像デバイスおよび技法、例えばデジタルカメラ、コンピュータビジョンなどを配備することが挙げられる。例えば、米国特許第９，３００，９５４号は、作業車両向けの周囲情報取得デバイスを対象としており、作業領域のオペレータの視界改善を目指すシステムの一例である。撮像デバイスおよび距離判定デバイスが、伸縮式クレーンブームの最上部に搭載されており、そこからブームオペレータが、距離（深さ）情報を受信する。米国特許第１０，８２９，９１０号は、作業機械用の画像表示システムを対象としており、作業視界の改善を目指すシステムの別例である。撮像デバイスおよび距離検出デバイスが、作業機械の運転室の最上部に搭載されており、作業領域の地形を明示する計算されたグリッドが表示される。

【0003】

これらのシステムによって遠隔作業領域が視認でき得るものの、作業インターフェース、すなわち、作業ツールが作業中の媒体に接触する位置までの視認線は、作業ツール自体によって遮られ得る。重機のオペレータの周囲認識向上に向けた工学研究および製品開発努力が続いている。

【発明の概要】

【0004】

本発明概念の一態様において、建設作業機械は、作業ツールが取り付けられた遠位端に作業アームを有する。ステレオカメラは、ビデオデータおよび距離データを生成するように組み立てられており、運転室は、内部および外部を有して組み立てられている。モニターは、運転室の内部に設置されており、視覚データを表示するように組み立てられている。カメラマウントは、作業機械に機械的に連結されており、運転室の外部とステレオカメラとの間に介在し、ステレオカメラを位置付けるように組み立てられている。プロセッサー回路は、作業ツールの空間的位置を計算し、作業ツールの空間的位置に対応する距離データを分析して、その場所にある物体を明示する。プロセッサー回路は、作業ツールの空間的位置にある物体の物体画像を視覚的に強調する物体インジケータを含むビデオオーバーレイをレンダリングする。レンダリングされたビデオデータとビデオオーバーレイとの合成画像は、モニターに表示される。

【0005】

本発明概念の別の態様においては、作業領域内で動作する建設作業機械における物体視覚化プロセスが提供される。建設作業機械は、オペレータが作業領域内で建設タスクを行う運転室と、建設作業機械を地面に沿って移動させる走行体と、を含む。作業ツールは、作業領域内で建設タスクを行う作業機械に取り付けられる。作業ツールの空間的位置が計算され、その計算された空間的位置にある作業ツールの視認線ビデオデータおよび距離データが捕捉される。作業ツールの空間的位置に対応する距離データが分析されて、その場所にある物体を明示する。作業ツールの空間的位置にある物体の物体画像を視覚的に強調する物体インジケータを含むビデオオーバーレイがレンダリングされる。レンダリングされたビデオデータとビデオオーバーレイとの合成画像が表示される。

【0006】

本発明概念のさらに別の態様においては、建設作業機械上の物体視覚化システムが提供され、ここで、建設作業機械は、作業アームが建設タスクを行うように動作し、走行体が地面を横切って建設作業機械を輸送するように動作する運転室を有する。ステレオカメラは、運転室より上方の位置からビデオデータおよび距離データを生成するように組み立てられている。モニターは、運転室の内部に設置されており、視覚データを表示するように組み立てられている。プロセッサー回路は、作業アームの構成に従って目標の空間的位置を計算し、目標の空間的位置に対応する距離データを分析して、その場所にある物体を明示する。プロセッサー回路は、目標の空間的位置にある物体の物体画像を視覚的に強調する物体インジケータを含むビデオオーバーレイをさらにレンダリングし、レンダリングされたビデオデータとビデオオーバーレイとの合成画像をモニターに表示する。

【図面の簡単な説明】

【0007】

【図1】本発明概念を具現化できる例示的な作業機械の図である。

【図2】本発明概念を具現化できる例示的な運転室の内部の図である。

【図3】本発明概念を具現化できる例示的な物体視覚化システムの概略ブロック図である。

【図4】本発明概念の一実施形態を用いた例示的な掘削プロセスの図である。

【図5】本発明概念の一実施形態を用いた例示的な積込動作の図である。

【図6】本発明概念を具現化できる例示的な物体視覚化プロセスのフロー図である。

【発明を実施するための形態】

【0008】

本発明概念は、添付の図面を参照して本明細書に詳述されている、その特定の実施形態によって最も良好に説明されており、同様の参照番号は、全体を通して同様の特徴部を指す。発明という用語が本明細書で使用される場合には、下記の実施形態の根底をなす発明概念を暗示することが意図されており、単に実施形態そのものを暗示するのではないということを理解すべきである。全般的な発明概念は、下記の例示的実施形態に限定されず、以下の説明は、かかる観点から読まれるべきであるということをさらに理解すべきである。

【0009】

加えて、本明細書で、例示的という単語は、「例、事例、または例示となること」を意味する目的で使用される。本明細書で例示として指定された構成、プロセス、設計、技法などの任意の実施形態は、必ずしも他のかかる実施形態よりも好適または有利であると解釈されるべきではない。

【0010】

本明細書に記載された図面は、様々な相互運用機能モジュールを例示する概略ブロック図を含む。かかる図は、電気的な概略図となることを意図するものではなく、例示された相互接続は、信号の流れ、機能部品間の様々な相互運用、および／またはプロセスを描いていることを意図するものであり、必ずしも、かかる部品間の直接的な電気接続とは限らない。さらに、別々の部品を介して例示および説明された機能は、示されたとおりに分散している必要はなく、図中の別個のブロックは、必ずしも別個の電気部品を描いていることを意図していない。

【0011】

図１は、本発明を具現化できる例示的な作業機械１０としての油圧掘削機の図である。開示された主題は、油圧掘削機に限定されないということを理解すべきであり、当業者であれば、本発明が具現化され得る他の機械を認識するであろう。作業機械１０は、作業機械本体４０と、例示的な作業機械履帯５０などの下部走行体との間に機械的に介在するターンテーブル機構９０を中心に回転できる、作業機械本体４０で代表的に例示される上部旋回体を含み得る。作業機械履帯５０は、重力に抗して作業機械１０を支持するようにも組み立てられたり別様に構成されたりして、作業機械１０が地面、例えば図面に描かれた座標軸によって参照されるＸ－Ｚ平面を横断するのに使用される機構を提供し得る。

【0012】

作業機械１０は、作業アーム２０を含み得、作業アーム２０は、それに選択的に連結された作業ツール３０を位置付けるように組み立てられたり別様に構成されたりし得る。図１の例示的な実施形態においては、作業ツール３０が、作業ツールバケット３２を作業ツール把持爪３４と組み合わせ得る。作業ツール把持爪３４は、作業ツールバケット３２とは別々に動作可能になっていて把持特徴部を提供し得るとともに、作業ツールバケット３２用のカバーにもなり得る。ただし、以下にさらに詳述するとおり、異なる作業ツール３０が作業アーム２０に取り付けられることもあり、本発明概念の実装形態は、所与の建設タスクのためにどの作業ツール３０が作業アーム２０に取り付けられるかに関係なく同様の方式で動作し得る。

【0013】

作業アーム２０は、関節式であってもよく、スティック２９に枢動可能に連結され、油圧アクチュエータ２８で代表的に例示される油圧アクチュエータを介して異なる空間構成に動作可能なブーム２１を備えてもよい。作業ツール３０は、ツール接続ピン２５で代表的に例示される１本以上のピンによってスティック２９に選択的に取り付けられ得る。ブーム２１およびスティック２９それぞれには、その上に設置されたセンサがあり得、このセンサは、それぞれ、慣性測定ユニット（ＩＭＵ）２４および２６で代表的に例示され、下記のとおり、その移動を明示する基となる信号を生成する。

【0014】

作業機械１０は、機械オペレータが、とりわけ作業アーム２０および作業ツール３０を動作させる運転室４５を含み得る。図２を参照して運転室４５の内部について説明する。本論議のために、運転室４５は、それ自体がターンテーブル機構９０に連結されている作業機械シャシー４８で代表的に例示されるシャシー上に設置され得ることに留意すれば十分である。さらに、本発明の実施形態は、本明細書で使用されているとおり、例えばＹ軸沿いの高さが固定されている運転室４５を意味する非昇降型（ｚｅｒｏ－ｒｉｓｅｒ）運転室を実装し得る。本発明の原理により、上記のような昇降可能型運転室が不要となり、例えば運転室４５は、作業機械履帯５０に対して、例えばＹ軸に平行な高さに固定され得る。

【0015】

図１に例示するとおり、作業機械１０は、オペレータ視野（ＦＯＶ）４２で代表的に例示される視界の外に作業ツール３０を配置できる到達範囲または延伸性を有し得る。例えば、ブーム２１の長さＬ１とスティック２９の長さＬ２とを合わせた長さであるＬ１＋Ｌ２は、作業機械１０が載置されている基部の長さ、例えばＬ０よりも大幅に、例えば２倍長くてもよい。かかる次元性は本発明を実施するのに必要ないが、上述の例示的な条件（Ｌ１＋Ｌ２）＞＞Ｌ０は、サポートを受けていないオペレータが作業ツール３０の周りの領域をその範囲で確認できる度合いを制限するオペレータＦＯＶ４２と組み合わせると、本発明の実施形態が良好に適している用途の一例となるということを理解すべきである。

【0016】

本発明の実施形態は、上記の制限された視界の問題を軽減し得るとともに、作業ツール３０の周りの領域の視界全体を改善し得る。実施形態においては、例えば、ステレオカメラ１００で代表的に例示される高架カメラを配備し得、このカメラは、異なる範囲または視覚的深さで作業領域を捕捉するのに十分なカメラＦＯＶψを有する。ステレオカメラ１００は、目標位置（Ｘ_１，Ｙ_１，Ｚ_１）で画像を捕捉するためにカメラ位置（Ｘ_０，Ｙ_０，Ｚ_０）まで引き上げられ得、この例において、これは、ツール接続ピン２５の位置によって実現されている。ただし、本発明を具現化する機械は、様々な作業ツール３０に関する情報を格納する下記のようなデータベースにアクセスし得る。そのため、作業インターフェースに近い目標位置（Ｘ_１，Ｙ_１，Ｚ_１）が選択され得る。かかるデータベースから、例えば、とりわけ作業ツール長さＬ３を得るために作業ツール３０の寸法が調べられ得る。そのように具現化された場合、作業機械１０は、作業ツール３０の遠位端３５の位置を目標位置（Ｘ_１，Ｙ_１，Ｚ_１）として計算し得る。

【0017】

ステレオカメラ１００を適切な高さＨまで上昇させるために、本発明の実施形態では、関節式カメラマウント（ＡＣＭ）１２０など、運転室４５の外部のＡＣＭ機械マウント１３０によって作業機械１０にしっかりと取り付けられ得る延伸可能なカメラマウントを利用し得る。ステレオカメラ１００は、ＡＣＭカメラマウント１２２によってＡＣＭ１２０にしっかりと取り付けられ得る。図１に図示された例においては、ＡＣＭ１２０が、パンタグラフ、すなわち、電車などの最上部にある、導電性プレートを引き上げて頭上の電線に押し付ける構造に似ている。ただし、かかる構造が本発明の実施に必須ではないということを理解すべきである。とはいえ、図示の例においては、ＡＣＭ１２０が、互いに枢動可能に接続された上部ＡＣＭリンク１０５ａおよび下部ＡＣＭリンク１０５ｂを備える。ステレオカメラ１００は、ＡＣＭ延伸アクチュエータ１０７の活性化によってＡＣＭ１２０上で引き上げられかつ引き下げられ得、ＡＣＭカメラ傾斜アクチュエータ１２４の活性化によってカメラ傾斜角Ωに傾けられ得る。ＡＣＭ高度Ｈおよびカメラ傾斜角Ωにおいて、ステレオカメラ１００は、作業アーム２０または作業ツール３０上の目標に向けられたカメラ視認線１４０を獲得して、目標｜｜（Ｘ_１，Ｙ_１，Ｚ_１）－（Ｘ_０，Ｙ_０，Ｚ_０）｜｜までの範囲を判定し得る。当業者であれば、双眼システムとして、ステレオカメラ１００からのデータが、距離または視覚的深さを、少なくとも距離分解能Δまで計算するのに使用され得ることを理解するであろう。

【0018】

図２は、本発明を具現化できる作業機械１０の例示的な運転室４５の内部の図である。運転室４５は、オペレータの座席６２と、オペレータレバー６６など、オペレータコマンドを出し得るオペレータ制御部の補完物と、を含み得る。オペレータコマンドに応答するコンピュータリソース、リレー、ケーブルなどは、機械キャビネット６４内に位置し得る。運転室４５は、システム情報ならびに後述する合成画像データを表示するように組み立てられたり別様に構成されたりし得る小型運転室モニター６８も含み得る。本発明の様々な実施形態が、オペレータの前方およびオペレータＦＯＶ４２内に所在し得る大型運転室モニター２１０を含み得るのに対し、小型運転室モニター６８は、オペレータＦＯＶ４２の外側、例えば、例示のとおり下方かつ側方に所在し得る。大型運転室モニター２１０は、小型運転室モニター６８よりも広いアスペクト比を有し得るため、作業中の領域を広く詳細に映し出し得る。いくつかの実施形態において、モニターは、遠隔モニター２２０で代表的に例示されるとおり、作業機械１０から遠隔にあり得、通信リンク２２２を介してビデオデータを受信する。通信リンク２２２はまた、遠隔制御情報を搬送し得、遠隔オペレータは、この遠隔制御情報により作業機械１０を動作させることができる。

【0019】

図３は、本発明概念を具現化できる例示的な物体視覚化システム３００の概略ブロック図である。図示された例において、ステレオカメラ１００は、例えば輝度／クロミナンスデータ３２４、ならびにカメラＦＯＶψ内のそれぞれの物体までのカメラＬＯＳ１４０沿いの視覚的深さ（距離）を距離分解能Δで明示する距離データ３２６によってビデオデータを生成するように組み立てられたり別様に構成されたりする。これらのデータは、モジュールまたは統合された光学／データ処理システムから直接提供されるものとして図面に例示されているが、立体視測距技法データを用いた深さまたは距離は、ステレオカメラ１００の左側光学的開口３３２ｌと右側光学的開口３３２ｒとの間の光軸間距離Ｄがわかっているだけでユークリッドの第一原理から計算可能であり、ステレオカメラ光学素子と同じハウジング内で計算される必要はないということを理解すべきである。図示された例においては、それぞれの左側および右側光学的開口３３２ｌおよび３３２ｒの離間距離がＤであるステレオカメラ１００のそれぞれの単眼鏡（非図示）の背後にある画像捕捉センサアレイ（非図示）間のフレーム間視差から距離データが導出され得る。距離データ３２６は、例えば、上述したフレーム間視差から計算された距離を、輝度／クロミナンスデータ３２４で捕捉された物体と関連付けるコンピュータ可読データを含むと仮定される。特定の実施形態においては、距離データ３２６および輝度／クロミナンスデータ３２４が、単一シャシー上および／または単一ハウジング内の並列単眼光学系、デジタル立体視ハードウェアおよび任意選択でソフトウェア、画像処理ハードウェアおよび任意選択でソフトウェア、ならびに出力および任意選択で入力回路を組み合わせるシステムの出力物であり得る。いくつかの実施形態においては、それらの出力物を作り出す市販のステレオカメラが使用され得る。距離データ、例えば距離データ３２６、および関連ビデオデータ、すなわち、輝度／クロミナンスデータ３２４の産生に関する実装形態の詳細は、本発明の実施に必須でなく、現代および／または従来の技法が用いられてもよいことから、簡潔にするために省略される。

【0020】

広い視界で見ると、物体視覚化システム３００は、オペレータレバー６６で代表的に例示されるオペレータ制御部と、カメラ位置コントローラ３３０およびフロントアタッチメントコントローラ（ｆｒｏｎｔ ａｔｔａｃｈｍｅｎｔ ｃｏｎｔｒｏｌｌｅｒ）３４０で代表的に例示されるコントローラ回路と、ビデオ処理回路３５０およびビデオメモリ３６２で代表的に例示されるビデオデータプロセッサーと、運転室ディスプレイ３６０などのディスプレイと、を備えるとみなされ得る。同じく広い視界で見た場合、オペレータがタスクを行うと、コントローラ回路が、物理的機械類を動作させる制御信号を提供することに加え、ツール位置を推定できる基となる機械センサデータを提供し得る。機械センサデータを収集すると同時に、ステレオカメラで生成されたビデオデータおよび距離データの両方も収集され得、両方のデータセットがビデオデータプロセッサーに提供され得る。そこで、距離データは、推定ツール位置を踏まえて分析され、距離データから確立された推定ツール位置にある物体は、ハイライト表示されるか別様に明示され、ビデオデータ上に重ね合わされ、ディスプレイに表示される。本発明の実施形態は、作業領域内の物体を明瞭に明示するために、高い視点から生成されたビデオおよび距離データに対してかかるビデオ処理を行い得る。

【0021】

例示的な作業機械１０は、様々なタイプおよび機能のオペレータ制御部を通じて動作し得、それらは全て、従来の技法を用いて実装することができ、オペレータレバー６６によって図３に表されている。これらの制御部は、オペレータコマンド４７で代表的に例示されるコマンド信号または同等のメッセージを作り出し得、これらの信号またはメッセージにより、作業アーム２０の移動または作業ツール把持爪３４の動作など何らかの活動が強制的に実行される。これらのオペレータ制御部の中には、活性化されるとカメラ配備コマンド（ｄｅｐｌｏｙ ｃａｍｅｒａ ｃｏｍｍａｎｄ）４９を生成するものがあり得る。本発明は、カメラ配備コマンド４９を生成する特定の制御部に固有のものではなく、一実施形態においては、カメラ配備コマンド４９が、大型運転室モニター２１０をオンにしたことを受けて生成される。カメラ配備コマンド４９は、生成されると、カメラ延伸信号３１６を提供することによってＡＣＭ延伸アクチュエータ１０７のＡＣＭ延伸アクチュエータモータ３１２を作動させるように、かつカメラ傾斜信号３１８を提供することによってＡＣＭカメラ傾斜アクチュエータ１２４のＡＣＭカメラ傾斜アクチュエータモータ３１４を作動させるように組み立てられたり別様に構成されたりし得るカメラ位置コントローラ３３０に提供され得る。カメラ延伸信号３１６は、ステレオカメラ１００をＡＣＭ高度Ｈまで引き上げるように活性化され得、カメラ傾斜信号３１８は、ステレオカメラ１００をカメラ傾斜角Ωで目標に向けるように活性化され得る。

【0022】

オペレータコマンド４７の中には、作業アーム２０を動作させるフロントアタッチメントコントローラ３４０に提供されるものがあり得る。フロントアタッチメントコントローラ３４０には、ブームＩＭＵ２４およびスティックＩＭＵ２６などのセンサを介して、作業アーム２０がその動作中に見つけられる構成に関するフィードバックが提供され得る。命令された作業アーム構成は、作業ツール３０の空間的位置を確立し、ビデオプロセッサー回路３５０に提供され得るブーム位置信号３４４およびスティック位置信号３４６に反映され得る。

【0023】

建設タスクを行う前に、作業ツール３０など、そのタスクに適した作業ツールが作業アーム２０に取り付けられ得る。物体視覚化システム３００は、選択された作業ツールに関する寸法および他の情報を保持するメモリ回路３８０に記憶されたツールデータベース３８２を含み得、その情報は、システムによって取得され、目標位置、例えば作業ツール３０の遠位端３５の位置を推定するのに利用され得る。

【0024】

建設タスクが進むにつれて、とりわけ二重プロセスが同時に動作し、作業ツール３０の空間的位置が、輝度／クロミナンスデータ３２４および距離データ３２６と同じく継続的に更新される。この情報は、ビデオプロセッサー回路３５０に伝達され得、そこで継続的に更新される表示画像が生成され得、この画像には、作業領域内の物体が目立つように明示される。

【0025】

距離データ３２６は、距離マップが生成され得る距離マッピング処理部品３５２に提供され得る。かかる距離マップは、視覚的物体情報と、その視覚的物体までの距離を明示する距離情報とを関連付けたコンピュータ可読情報であり得る。一方、ブーム位置信号３４４およびスティック位置信号３４６は、作業ツール３０の空間的位置を計算するツール位置処理部品３５４に提供され得る。物体／ツール位置処理部品３５６は、ツール位置処理部品３５４によって計算されたツール位置と距離マッピング処理部品３５２によって計算された物体位置との論理的交点（交点演算子３５３で代表的に例示される）を計算することができる。この交差動作により、作業ツール位置にある物体に関する物体情報を含むデータセットが作り出され得、このデータセットは、マーカーオーバーレイ処理部品３５７に提供され得る。その場所で、どの物体が作業領域に存在し得るかを目立つように明示するビデオオーバーレイが生成され得る。生成されたビデオオーバーレイデータは、輝度／クロミナンスデータ３２４と組み合わされ得、合成画像データ３５９、例えば周囲認識インジケータと重ね合わされた映像として、ビデオメモリ３６２にレンダリングされ得る。合成画像データは、最終的には運転室ディスプレイ３６０に表示され得る。

【0026】

図４は、本発明の一実施形態を用いた例示的な掘削プロセス４００の図である。この図面は、複数のパネルに分割されており、それぞれは、地中への掘削が深くなっていく様子、例えば深さ１～４を描いている。各パネルは、モニター４５０に表示された例示的な合成画像、例えばそれぞれの合成画像４１０ａ～４１０ｄも含む。

【0027】

本発明の実施形態において、本明細書で「焦点方式」と呼ばれるものが利用され得る。この焦点方式により、作業ツール３０が位置付けられている場所に応じて、物体の目立つレベルが様々レベルで表示される。一例として、作業ツール３０が物体から設定距離内にあるときに物体の画像を囲み得る焦点方式が確立され得る。焦点方式は、物体がカメラＦＯＶψ内にあるが、物体からの先述の設定距離内にないときには、物体の画像をさらにグレーアウトしたり別様に物体の画像の強調を解除したりし得る。いくつかの実施形態においては、エッジ検出が利用され得、物体のエッジがハイライト表示され得る。

【0028】

深さ１では、作業機械１０が作業ツール３０を取り付け、ステレオカメラ１００を配備し、掘削を開始した可能性がある。モニター４５０上の合成画像４１０ａは、作業アーム画像２０’、作業ツール画像３０’、および作業領域画像４４０’を含み得る。深さ２では、作業機械１０が、部分的に埋まっている上部物体４０２に遭遇し得る。合成画像４１０ｂは、物体インジケータ４２０内に上部物体画像４０２’を含み得る。この例示的合成画像４１０ｂでは、物体インジケータ４２０が、例えば、上部物体画像４０２’を囲むマーカーオーバーレイ処理部品３５７によって生成されたフレームであり得る。幅広い他の物体インジケータのアレイを本発明の実施形態と、その精神および意図された範囲から逸脱せずに併用して作業領域内の物体を明示してもよい。

【0029】

深さ３では、掘削が上部物体４０２の深さを超えて進んだ可能性があり、適用された焦点方式を受けて上部物体画像４０２’の強調が解除され得る。ただし、特定の実施形態においては、作業ツール３０が下部物体４０４に向かう途中で上部物体４０２を通過するときに、上部物体画像４０２’をフレームで囲むことなどによって上部物体画像４０２’が明示され、その後、作業ツール３０が上部物体４０２を通過したときに、合成画像４１０ｃに示すように強調が解除される焦点方式が実装され得る。深さ４とマークされたパネルに例示されているとおり、合成画像、例えば合成画像４１０ｄは、各々が焦点方式に従って様々な強調レベルにある１つより多くの物体の画像を含み得る。いくつかの実施形態において、様々な強調レベルは、例えば、深さ凡例４３０によって特定または推定され得る物体の深さに対応する。

【0030】

図５は、本発明概念の一実施形態を用いた例示的な積込動作の図である。本発明の実施形態は、図４を参照して上述した、Ｚ軸に沿った掘削中の物体視覚化を説明する技法と同様または類似の技法を用いて、作業がＸ－Ｙ平面内で行われているときにも物体をハイライト表示し得る。図５は、地面の上で資材を運搬するように組み立てられたり別様に構成されたりする運搬機５１０のモニター５０５のビューを描いている。資材は、上記のようなステレオカメラを備えた作業機械に機械的に連結され得る作業機械バケット５２０によって運搬機５１０に積み込まれ得る。モニター５０５上に提示されるビューは、本明細書に記載されているステレオカメラおよびプロセスによって生成された合成画像であり得る。

【0031】

説明のために、地面、すなわちＸ－Ｙ平面における作業機械バケット５２０の位置の投影５２２が例示されており、作業機械バケット５２０の移動に合わせてＸ－Ｙ平面内で移動し得る。運搬機５１０の位置に対する作業機械バケット５２０の位置は、物体がハイライト表示される方式を確立し得る。図５に例示するとおり、運搬機５１０のエッジは、適切なエッジ検出技法によって検出され、実施された焦点方式に従ってハイライト表示されたり別様に明示されたりし得る。例えば、作業機械バケット５２０に近い方のエッジ５３４は、作業機械バケット５２０から遠い方のエッジ５３２とは異なる方式、例えば異なる色、陰影、塗りつぶしなどでマークされる。作業機械バケット５４０から指定距離よりも外側のエッジは、マークされないままであり得る。作業機械バケット５２０が旋回されると、モニター５０５に表示された合成画像内のマーキングは、作業機械バケット５２０への接近を明示するために、実施された焦点方式に従って変わり得る。

【0032】

図５の下部パネルに描かれているとおり、焦点方式は、作業機械バケット５２０を中心とする一組の同軸フィールド５５２を含む地面インジケータ５１０を含み得る。各地面インジケータフィールド５５２は、作業機械のオペレータが様々な物体までの相対距離を判断できるように、異なる陰影、色、塗りつぶしなどを有し得る。加えて、運搬機５１０上の物体など、垂直に配向された物体のエッジは、そのエッジが存在する地面インジケータフィールド５５２に明示され得るか、それに従ってハイライト表示され得る。

【0033】

図６は、本発明概念を具現化できる例示的な物体視覚化プロセス６００のフロー図である。動作６２５では、オペレータが作業ツールを作業機械に取り付け得る。動作６３０では、目標位置が、ツールデータベース２８０から取得された取り付け済み作業ツールの寸法を含めて計算され得る。オペレータは、合成画像データ６１６を表示するために大型運転室モニター２１０または小型運転室モニター６８のどちらが使用されるかを判定する運転室モニター選択コマンド（ｓｅｌｅｃｔ ｃａｂ ｍｏｎｉｔｏｒ ｃｏｍｍａｎｄ）６０４も出し得る。加えて、オペレータは、カメラ配備コマンド６０２も出し得、このコマンドを受けて、動作６３５により、ＡＣＭを介してＡＣＭ高さＨおよびカメラ傾斜角Ωなどにカメラを位置付け得、カメラ１００は、輝度／クロミナンスデータ６１２および距離データ６１４を継続的に生成し得る。動作６４０では、距離データ６１４から距離マップが作られ得、動作６４５では、作業ツール位置にある距離マップ内の物体が特定され得る。物体視覚化プロセス６００が動作６５０へと移行し得、それにより、焦点方式に従ってビデオオーバーレイが生成され得る。動作６５５では、輝度／クロミナンスデータ６１２から作り出されたビデオ画像がビデオオーバーレイと重ね合わされて、選択されたモニターに表示され得る合成画像データ６１６を形成し得る。作業ツール位置が変わったかどうかをツール位置データ６１８から判定するために動作６６０が実行され得、変わった場合には、プロセス６００が動作６７０へと移行し得、それにより、新しい目標位置がツール寸法から計算され得、更新された距離マップが動作６４０で作られ得る。動作６６５では、物体視覚化プロセス６００がシャットダウンされるべきかどうかが判定され得、シャットダウンについての肯定指示まで、または作業ツールが位置を変更するまで、動作６６５に留まる。

【0034】

本全般的発明概念の特定の実施形態は、コンピュータ可読媒体上で符号化されたプロセッサー命令として製造、輸送、市場投入、および／または販売される機能部品を提供する。本全般的発明概念は、そのように具現化されたときに、プロセッサー命令が実行される処理プラットフォームに関係なく、かつプロセッサー命令がコンピュータ可読媒体上で符号化される方式に関係なく実施することができる。

【0035】

上記のコンピュータ可読媒体は、電気、磁気、および光学ストレージデバイスなど、命令が符号化され、その後プロセッサーによって取得され、復号され、実行され得る任意の非一時的媒体であり得るということを理解すべきである。非一時的なコンピュータ可読記録媒体の例としては、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および他の電気的なストレージ；ＣＤ－ＲＯＭ、ＤＶＤ、および他の光学ストレージ；ならびに磁気テープ、フロッピーディスク、ハードディスク、および他の磁気ストレージが挙げられるが、これらに限定されない。プロセッサー命令は、上記の実施形態によって例示されるような本全般的発明概念を実現する様々なプログラミング言語のアルゴリズム構成から導出され得る。

【0036】

上記の説明は、本発明概念の可能な実装形態を例示することを意図しており、限定的なものではない。本開示を検討すれば、数多くの変形、修正、および代替が当業者に明らかになるであろう。例えば、図示および記載されたものと同等の部品は代用し得るため、個々に説明された要素および方法を組み合わせてもよく、別個と記載された要素を多数の部品にわたって分散させたりしてもよい。そのため、本発明の範囲は、上記の説明を参照して決定されるべきではなく、添付の請求項をそれらの均等物の全範囲と併せて参照して決定されるべきである。当業者によって理解されるとおり、本開示の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本開示の態様は、本明細書では全て一般に「回路」、「モジュール」、または「システム」と呼ぶことができる、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形態をとり得る。さらに、本開示の態様は、コンピュータ可読プログラムコードが具現化された１つ以上のコンピュータ可読媒体（単数または複数）で具現化されたコンピュータプログラム製品の形態をとり得る。

【0037】

本明細書に開示された要素の機能は、開示された機能を行うように構成またはプログラムされた汎用プロセッサー、専用プロセッサー、集積回路、ＡＳＩＣ（「特定用途向け集積回路」）、従来の回路、および／またはそれらの組み合わせを含む回路または処理回路を使用して実装され得る。プロセッサーは、その内部にトランジスタおよび他の回路を含むことから、処理回路または回路とみなされる。プロセッサーは、メモリに記憶されたプログラムを実行するプログラムされたプロセッサーであり得る。本開示では、回路、ユニット、または手段が、記載された機能を実行するか、行うようにプログラムされたハードウェアである。ハードウェアは、記載された機能を実行するようにプログラムまたは構成された、本明細書に開示されているか別様に知られている任意のハードウェアであり得る。ハードウェアが、回路の一種とみなされ得るプロセッサーである場合、回路、手段、またはユニットは、ハードウェアとソフトウェアとの組み合わせであり、ソフトウェアは、ハードウェアおよび／またはプロセッサーを構成するのに使用される。

【0038】

さらに、本明細書で使用されている「回路」という用語は、以下のいずれかまたは全てを指し得る：（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみでの実装など）、（ｂ）（該当する場合）（ｉ）プロセッサー（単数または複数）の組み合わせ、または（ｉｉ）プロセッサー（単数または複数）／ソフトウェア（デジタル信号プロセッサー（単数または複数）を含む）、協働して携帯電話もしくはサーバなどの装置に様々な機能を行わせるソフトウェアおよびメモリ（単数または複数）の部分など、回路とソフトウェア（および／またはファームウェア）の組み合わせ、ならびに（ｃ）ソフトウェアまたはファームウェアが物理的に存在しない場合でも、動作のためにソフトウェアまたはファームウェアを必要とするマイクロプロセッサー（単数または複数）またはマイクロプロセッサー（単数または複数）の一部分などの回路。「回路」についてのこの定義は、任意の請求項を含む本出願におけるこの用語の全用途に該当し得る。さらなる例として、本出願で使用されている「回路」という用語は、単にプロセッサー（もしくは複数のプロセッサー）またはプロセッサーの一部分ならびにその（もしくはそれらの）付随ソフトウェアおよび／またはファームウェアの実装形態も網羅することができる。

【0039】

「データ」、「コンテンツ」、「情報」という用語および同様の用語の使用は、本開示のいくつかの例示的実施形態によれば、送信、受信、動作、および／または記憶が可能なデータに言及する目的で互換的に利用され得る。「ネットワーク」という用語は、一群の相互接続されたコンピュータまたは他のコンピューティングデバイスを指し得る。ネットワーク内では、これらのコンピュータまたは他のコンピューティングデバイスが、１つ以上のスイッチ、ルータ、ゲートウェイ、アクセスポイントなどを介することを含む様々な手段によって直接的または間接的に相互接続され得る。

【0040】

本開示の態様は、本開示の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して上記で説明されている。この点に関して、図面中のフローチャートおよびブロック図は、本開示の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を例示するものである。例えば、フローチャートまたはブロック図内の各ブロックは、指定された論理機能（単数または複数）を実装するための１つ以上の実行可能命令を含むモジュール、セグメント、またはコードの一部分を表し得る。いくつかの代替実装形態においては、ブロックに記載された機能が、図面に記載された順序とは異なる順序で行われ得るということにも留意すべきである。例えば、連続して示された２つのブロックが、実際には実質的に同時に実行されたり、ブロックが、関与する機能に応じて時として逆の順序で実行されたりし得る。ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図内のブロックの組み合わせは、指定された機能を行ったり行為をなしたりする専用ハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令との組み合わせによって実装できるということことにも留意すべきであろう。

【0041】

また、フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実装され得るということが理解されるであろう。これらのコンピュータプログラム命令は、機械を作り出すために、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサーに提供され得、これにより、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサーを介して実行される命令は、フローチャートおよび／またはブロック図のブロック（単数または複数）で指定された機能／行為を実装するための手段を作成する。

【0042】

これらのコンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスを特定の方式で機能させるように指示することができるコンピュータ可読媒体にも記憶され得、これにより、コンピュータ可読媒体に記憶された命令は、フローチャートおよび／またはブロック図のブロック（単数または複数）で指定された機能／行為を実装する命令を含む製品を作り出す。これらのコンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを行わせて、コンピュータ実装プロセスを作り出し得、これにより、コンピュータまたは他のプログラマブル装置上で実行される命令は、フローチャートおよび／またはブロック図のブロック（単数または複数）で指定された機能／行為を実装するためのプロセスを提供する。

【0043】

明示的に除外されない限り、部品、構造、または動作を説明するための単数形の使用は、複数のかかる部品、構造、もしくは動作、またはそれらの均等物の使用を除外しない。本発明について説明する文脈における（特に、以下の請求項の文脈における）単数形の用語（「ａ」および「ａｎ」および「ｔｈｅ」および「少なくとも１つ」）または用語「１つ以上の」ならびに同様の指示物の使用は、本明細書に別段の指示がない限り、または文脈によって明らかに矛盾しない限り、単数および複数の両方を網羅すると解釈されるべきである。１つ以上の項目のリストが後に続く「少なくとも１つ」という用語（例えば「ＡおよびＢのうちの少なくとも１つ」または「ＡおよびＢのうちの１つ以上」）の使用は、本明細書に別段の指示がない限り、または文脈によって明らかに矛盾しない限り、列挙された項目（ＡまたはＢ）から選択された１つの項目、または列挙された項目（ＡおよびＢ；Ａ、ＡおよびＢ；Ａ、ＢおよびＢ）のうちの２つ以上の任意の組み合わせを意味するものと解釈されるべきである。同様に、本明細書で使用されている「または」という単語は、一組の項目の任意の可能な順列を指す。例えば、「Ａ、Ｂ、またはＣ」という句は、Ａ、Ｂ、Ｃのうちの少なくとも１つ、もしくはＡ；Ｂ；Ｃ；ＡおよびＢ；ＡおよびＣ；ＢおよびＣ；Ａ、Ｂ、およびＣ；またはＡおよびＡ；Ｂ、Ｂ、およびＣ；Ａ、Ａ、Ｂ、Ｃ、およびＣなどの任意の項目のうちの複数のいずれかなど、それらの任意の組み合わせを指す。

【0044】

加えて、本明細書で使用され得る「左」、「右」、「頂部」、「底部」、「前」、「後」、「側」、「高さ」、「長さ」、「幅」、「上部」、「下部」、「内部」、「外部」、「内側」、「外側」などの用語は、単に基準点を説明するにすぎず、必ずしも開示された主題の実施形態を任意の特定の配向または構成に限定するものではないということを理解すべきである。さらに、「第１の」、「第２の」、「第３の」などの用語は、本明細書に記載されているような多数の部分、部品、基準点、動作および／または機能のうちの１つを特定するにすぎず、同様に、開示された主題の実施形態を任意の特定の構成または配向に必ずしも限定しない。

【0045】

本開示の態様は、上記の実施形態を参照して具体的に示され、説明されてきたが、当業者は、開示される内容の精神および範囲から逸脱することなく、開示された機械、アセンブリ、システム、および方法の修正によって、様々な追加の実施形態が企図され得ることが理解するであろう。そのような実施形態は、請求項およびその任意の均等物に基づいて決定される本開示の範囲内に入るものとして理解されるべきである。

【産業上利用可能性】

【0046】

建設重機のオペレータには、作業ツールが位置する場所、ならびに作業領域内に存在し得る任意の物体が明瞭に見えることが必須である。これは、人員の安全性の問題であるだけでなく、完了した建設タスクの品質レベルの鍵でもある。作業ツールが運転室から相当に離れた場所に位置すると、オペレータの視界が制限され、この状況は、現代の建設重機のサイズおよび全体的な能力に伴ってますます一般化してきている。

【0047】

本開示の発明概念は、高架カメラと、作業領域の俯瞰図を作り出すビデオ処理と、作業領域内にある物体を強調するインジケータとを介して、オペレータの視界不良を緩和する。本明細書に記載されたこれらおよび他の特徴部は、人員の安全性を高める。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【外国語明細書】