特表 2025-502286 物体検出視覚システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-24

(54)【発明の名称】物体検出視覚システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250117BHJP

   G06T 7/70 20170101ALI20250117BHJP

   E02F 9/26 20060101ALI20250117BHJP

【ＦＩ】

H04N7/18 J

G06T7/70 A

E02F9/26 B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024542074

(86)(22)【出願日】2023-01-09

(85)【翻訳文提出日】2024-07-12

(86)【国際出願番号】 US2023010370

(87)【国際公開番号】W WO2023141026

(87)【国際公開日】2023-07-27

(31)【優先権主張番号】17/648,795

(32)【優先日】2022-01-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】391020193

【氏名又は名称】キャタピラー インコーポレイテッド

【氏名又は名称原語表記】ＣＡＴＥＲＰＩＬＬＡＲ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(74)【代理人】

【識別番号】110002848

【氏名又は名称】弁理士法人ＮＩＰ＆ＳＢＰＪ国際特許事務所

(72)【発明者】

【氏名】ペトラニー、ピーター ジェイ．

(72)【発明者】

【氏名】ガッタグ、マシュー エー．

(72)【発明者】

【氏名】マレー、ジェイコブ シー．

(72)【発明者】

【氏名】パナラ、ヴァムシ ケー．

(72)【発明者】

【氏名】マクファーランド、ロバート エス．

【テーマコード（参考）】

2D015

5C054

5L096

【Ｆターム（参考）】

2D015HA03

2D015HB05

5C054CA04

5C054CC02

5C054FC12

5C054FC14

5C054FC15

5C054FD03

5C054FD07

5C054FE09

5C054FE14

5C054HA30

5L096CA22

5L096FA22

5L096FA69

(57)【要約】

物体検出視覚システムおよび方法が開示される。産業機械の視覚システム内の物体を検出するための方法（３００）は、一つ以上の視覚カメラ（４０）から画像データ（１１０）を受信することと、一つ以上の検出装置（５０）から検出データ（１１２）を受信することとを含む。検出データ（１１２）は、一つ以上の検出された物体を含む。方法は、検出データ（１１２）と画像データ（１１０）とを組み合わせることと、画像データ（１１０）内の一つ以上の物体に基づいて、画像データ（１１０）内の検出データ（１１２）を変換することと、を含む。方法（３００）はまた、変換された検出データ（１１２）に基づいて、画像データ（１１０）内に検出された一つ以上の物体の表示（１２０）を表示することを含む。

【特許請求の範囲】

【請求項1】

産業機械（１０）の視覚システム（１００）内の物体を検出するための方法（３００）であって、
一つ以上の視覚カメラ（４０）から画像データ（１１０）を受信することと、
一つ以上の検出装置（５０）から検出データ（１１２）を受信することであって、前記検出データ（１１２）が一つ以上の検出された物体（５０４）を含む、受信することと、
前記検出データ（１１２）と前記画像データ（１１０）とを組み合わせることと、
前記画像データ（１１０）内の一つ以上の物体に基づいて、前記画像データ（１１０）内の前記検出データ（１１２）を変換することと、
前記変換された検出データ（１１２）に基づいて、前記画像データ（１１０）内に前記検出された一つ以上の物体の表示（１２０、５０８）を表示することと、を含む、方法（３００）。

【請求項2】

前記一つ以上の検出装置（５０）が、物体を検出するための一つ以上のプロセッサを含む、請求項１に記載の方法（３００）。

【請求項3】

前記一つ以上の視覚カメラ（４０）が、物体検出能力を有しない一つ以上のカメラを含む、請求項１または２に記載の方法（３００）。

【請求項4】

前記検出データ（１１２）が、前記一つ以上の検出された物体（５０４）の第一の座標を含む、請求項１～３のいずれかに記載の方法（３００）。

【請求項5】

前記第一の座標と前記画像データ（１１０）とを組み合わせることをさらに含む、請求項４に記載の方法（３００）。

【請求項6】

前記第一の座標を前記画像データ（１１０）内の物体に変換して、前記画像データ（１１０）内の前記検出された物体（５０４）の第二の座標を生成することをさらに含む、請求項５に記載の方法（３００）。

【請求項7】

前記第一の座標を変換することが、保存された座標変換に基づいて前記第一の座標を変換することを含む、請求項６に記載の方法（３００）。

【請求項8】

前記第一の座標を変換することが、
前記画像データ（１１０）内の前記第一の座標を移動させるユーザ入力（１１４）を受信することと、
前記ユーザ入力（１１４）に基づいて、前記第一の座標を第二の座標に変換することと、を含む、請求項６に記載の方法（３００）。

【請求項9】

一つ以上の視覚カメラ（４０）と、
一つ以上の検出装置（５０）と、
コントローラ（１０４）であって、
一つ以上の視覚カメラ（４０）から画像データ（１１０）を受信し、
一つ以上の検出装置（５０）から、検出データ（１１２）であって、一つ以上の検出された物体（５０４）を含む、検出データ（１１２）を受信し、
前記検出データ（１１２）と前記画像データ（１１０）とを組み合わせ、
前記画像データ（１１０）内の一つ以上の物体に基づいて、前記画像データ（１１０）内の前記検出データ（１１２）を変換し、
前記変換された検出データ（１１２）に基づいて、前記画像データ（１１０）内の前記検出された一つ以上の物体の表示（１２０）を表示するように構成された、コントローラ（１０４）と、を備える、物体検出視覚システム（１００）。

【請求項10】

前記一つ以上の視覚カメラ（４０）が、物体検出能力を有しない一つ以上のカメラを含む、請求項９に記載の物体検出視覚システム（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、産業機械用の視覚システムに関し、より詳細には、こうした産業機械用の物体検出視覚システムに関する。

【背景技術】

【0002】

掘削、緩め、搬送、締固め、または他の土木作業を実施するために使用されるようなものなどの様々な産業機械は、一つ以上のカメラを有する視覚システムを備えてもよい。視覚システムは、こうした産業機械のオペレータに、産業機械の周りの環境の様々な視野、および／または環境の完全な周辺視野（例えば、３Ｄ視野）を提供し得る。こうした視覚システムは、典型的なビデオカメラを利用して、各ビューに対してビデオ画像を提供し得る。しかしながら、典型的なビデオカメラは、環境の表示を視覚的に提供する能力のみを有し、産業機械近くの環境の周りの物体を検出する能力、またはこうした物体の表示を提供する能力を有しない。物体検出および物体分類は、物体がビデオカメラからのディスプレイで見ることが困難である場合に有用であり得る。さらに、自動物体検出および物体分類能力は、産業機械の自律的な動作を可能にし得る。

【0003】

典型的なビデオカメラを物体検出装置（例えば、物体検出が可能な検出カメラ）と交換またはアップグレードすることは、運転からの産業機械の不必要なダウンタイムを必要とする、それぞれの産業機械上の複雑なソフトウェアおよびハードウェア更新を必要とし得る。したがって、運転および／または保守のコストは、典型的なビデオカメラをこうした検出装置と交換する必要があるため、増加し得る。さらに、物体検出装置からの物体検出情報を、典型的なビデオカメラによって提供される表示された画像上に正しくマッピングすることは困難であり得る。

【0004】

２０２１年６月１７日に公開された米国特許出願公開第２０２１０１８１３５１号（「３５１号公開」）は、自律運転に関連する方法および装置を記載している。‘３５１公開の方法には、受信したカメラ画像内の物体を検出することと、受信したＬＩＤＡＲ画像内の同じ物体を検出することとが含まれる。方法は、カメラ画像内の検出された物体をＬＩＤＡＲ画像内の検出された物体と組み合わせて、カメラ画像内に二つのバウンディングボックス（例えば、カメラ物体検出から一つおよびＬＩＤＡＲ物体検出から一つ）を表示することをさらに含む。しかしながら、‘３５１公開の方法および装置は、物体検出能力を有しないカメラを有する既存の視覚システムにおける物体検出の提供に対処しない。

【0005】

本開示の物体検出視覚システムは、上述の問題および／または当技術分野における他の問題のうちの一つ以上を解決することができる。しかしながら、本開示の範囲は、添付の特許請求の範囲によって定義され、いかなる特定の問題を解決することができることによって定義されない。

【発明の概要】

【0006】

一態様では、産業機械の視覚システム内の物体を検出するための方法が開示される。方法は、一つ以上の視覚カメラから画像データを受信することと、一つ以上の検出装置から検出データを受信することであって、検出データが一つ以上の検出された物体を含む、受信することと、検出データと画像データを組み合わせることと、画像データ内の一つ以上の物体に基づいて、画像データ内の検出データを変換することと、変換された検出データに基づいて、画像データ内の検出された一つ以上の物体の表示を表示することと、を含む。

【0007】

別の態様では、物体検出視覚システムが開示される。物体検出視覚システムは、一つ以上の視覚カメラと、一つ以上の検出装置と、コントローラであって、一つ以上の視覚カメラから画像データを受信し、一つ以上の検出装置からの検出データであって、検出データが、一つ以上の検出された物体を含む、検出データを受信し、検出データと画像データを組み合わせ、画像データ内の一つ以上の物体に基づいて、画像データ内の検出データを変換し、変換された検出データに基づいて、画像データ内に検出された一つ以上の物体の表示を表示するように構成された、コントローラと、を含む。

【0008】

さらに別の態様では、産業機械の視覚システム内の物体を検出するための方法が開示される。この方法には、一つ以上の視覚カメラから画像データを受信することと、物体を検出するための一つ以上のプロセッサを有する一つ以上の物体検出カメラから検出データを受信することであって、検出データが、一つ以上の検出された物体の第一の座標を含む、受信することと、第一の座標と画像データを組み合わせることと、画像データ内の一つ以上の物体に基づいて、画像データ内の第一の座標を変換して、画像データ内の一つ以上の検出された物体の第二の座標を生成することと、一つ以上の検出された物体の第二の座標に基づいて、画像データ内に検出された一つ以上の物体の表示を表示することと、が含まれる。

【図面の簡単な説明】

【0009】

本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、様々な例示的な実施形態を示し、説明とともに、本開示の実施形態の原理を説明するのに役立つ。

【0010】

【図1】図１は、本開示の態様による、物体検出視覚システムを有する産業機械の概略図である。

【図2】図２は、図１の産業機械のための例示的な物体検出視覚システムの概略図である。

【図3】図３は、図１および図２の物体検出視覚システム内の物体を検出するための例示的な方法を示すフローチャートを提供する。

【図4】図４は、図１および図２の物体検出視覚システムを較正するための例示的な方法を示すフローチャートを提供する。

【図5A】図５Ａ～５Ｃは、図１および図２の物体検出視覚システムの様々な視野を図示する。

【図5B】同上。

【図5C】同上。

【発明を実施するための形態】

【0011】

前述の一般的な説明および以下の詳細な説明はどちらも、単に例示的および説明的なものにすぎず、特許請求する特徴を限定しない。本明細書で使用される「備える（ｃｏｍｐｒｉｓｅｓ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、またはそれらの他の変形は、非排他的な包含を網羅することを意図し、それによって要素のリストを含む工程、方法、物品、または装置は、単にそれらの要素のみを含むのではなく、そのような工程、方法、物品、または装置に明示的に列挙されていないか、または内在していない他の要素を含んでもよい。本開示では、別段の記載がない限り、例えば「約」、「実質的に」、および「およそ」などの相対的な用語は、記載された値の±１０％の変動の可能性を示すために使用される。

【0012】

図１は、本開示の態様による、物体検出視覚システム１００を有する産業機械１０の概略図を示す。本明細書の開示は、任意のタイプの産業機械または車両に適用可能であり得るが、以下では特に掘削機を参照する。例えば、産業機械１０は、オフハイウェイトラック、ブルドーザ、連接台車、スクレーパ、コンパクタ、舗装機、ホイールローダ、モータグレーダ、または任意の他のタイプの産業機械を含み得るが、これらに限定されない。図１に示すように、産業機械１０は、フレーム１２および機械１４を含み得る。フレーム１２は、一般に、産業機械１０の様々なアセンブリおよび機械的システムを支持し、一つ以上のトラック１６またはホイールなどの輸送機構によって地面上に支持され得る。フレーム１２は、エンジン、モータ、発電機、バッテリ、ポンプ、エアコンプレッサ、油圧流体貯蔵タンク、および／または産業機械１０に給電および動作するために必要な任意の他の機器を含み得る機械１４を支持し得る。産業機械１０はまた、掘削ツール、フォークリフト、ブレード、ダンプベッド、またはタスクを実施するための任意の他の装置などの器具を含んでもよい。

【0013】

フレーム１２は、ユーザまたはオペレータが、ユーザインターフェース、制御、および／またはディスプレイ２２などの一つ以上のオペレータインターフェース２０を介して産業機械１０を操作し、制御し得る、オペレータキャブ１８をさらに支持し得る。オペレータインターフェース２０は、ステアリング装置（例えば、ステアリングホイールおよび／またはジョイスティック）、およびタッチスクリーンディスプレイ装置などの一つ以上のディスプレイ２２、ボタン付きキーパッド、またはこれに類するものなどを含み得る。オペレータインターフェース２０およびディスプレイ２２の態様は、産業機械１０から遠隔に位置し得ることが理解される。

【0014】

産業機械１０は、産業機械１０の周りの意識を高めるため、および所望する場合、産業機械１０の態様を制御するための物体検出視覚システム１００をさらに含む。物体検出視覚システム１００は、電子制御モジュール（ＥＣＭ）、一つ以上の視覚カメラ４０、一つ以上の検出装置５０、ならびにオペレータインターフェース２０およびディスプレイ２２のうちの一つ以上などのコントローラ１０４を含み得る。一つ以上の視覚カメラ４０、一つ以上の検出装置５０、オペレータインターフェース２０およびディスプレイ２２は、有線通信ラインおよび／または無線手段を介して、コントローラ１０４（破線によって図１に示すように）と通信し得る。

【0015】

一つ以上の視覚カメラ４０は、産業機械１０の周りの環境の画像データを捕捉するための任意のタイプのビデオカメラまたはこれに類するものを含み得る。一つ以上の視覚カメラ４０は、産業機械１０の任意の部分に取り付けられてもよく、または搭載されてもよい。本明細書で使用される場合、「カメラ」とは概して、画像データ、例えば、静止画像、ビデオストリーム、タイムラプスシーケンス、またはこれに類するものなどを捕捉および送信するように構成された装置を指す。一つ以上の視覚カメラ４０は、物体検出能力のないカメラを含み得る。一つ以上の視覚カメラ４０は、単眼またはステレオデジタルカメラ、高解像度デジタルカメラ、または任意の適切なデジタルカメラを含み得る。例えば、一つ以上の視覚カメラ４０は、カラー単眼デジタルカメラまたはステレオデジタルカメラ（例えば、二つのモノクロカメラ撮像装置およびカラー単眼撮像装置を含むカメラセット）を含み得る。一つ以上のカメラ４０は、以下にさらに詳述するように、捕捉された画像データをコントローラ１０４に送信または転送してもよい。カメラ４０は、二次元（２Ｄ）画像を捕捉してもよく、画像データ内に範囲情報または物体検出情報を提供できない。例えば、カメラ４０は、物体検出能力を有しなくてもよい。一部の事例では、カメラ４０は、産業機械１０の環境の完全な周囲視野を捕捉し得る。したがって、カメラ４０は、３６０度の水平視野（ＦＯＶ）を有し得る。二つの視覚カメラ４０のみが図１に示されているが、産業機械１０は、任意の方法または位置で産業機械１０上に配置された任意の数のカメラ４０を含み得ることが理解される。カメラ４０は、固有および外因的特性を含み得る。例えば、固有特性は、焦点距離、光学中心、ピクセル方位角、ピクセル仰角、またはカメラ４０に関連付けられた任意の他の内部パラメータなどの、カメラ４０の内部パラメータを含み得る。外因パラメータは、ロール、ピッチ、ヨー、地表レベルに対するくぼみの角度、水平位置、垂直位置、またはカメラ４０に関連付けられた任意の他の外部パラメータなどの、カメラ４０の外部パラメータを含み得る。

【0016】

一つ以上の検出装置５０は、産業機械１０の前方および／または周囲の一つ以上の物体をスキャンするか、またはその他の方法で検出するための、検出カメラ（単眼および／またはステレオカメラを含む）、光学センサ、レーダセンサ、ＬＩＤＡＲセンサ、ソナーセンサなどの任意のタイプの物体検出装置を含み得る。物体は、例えば、人、動物、機器片、別の車両、および／または産業機械１０の周りの環境内の任意の他のタイプの物体を含み得る。検出装置５０は、視覚カメラ４０の位置に概して対応する位置で、産業機械１０の任意の部分に取り付けられてもよく、または搭載されてもよい。例えば、各検出装置５０は、視覚カメラ４０および対応する検出装置５０が、実質的に類似しているが、異なる視野（ＦＯＶ）を含むように、視覚カメラ４０に実質的に隣接して配置されてもよい。検出装置５０は、視覚カメラ４０と実質的に類似しているが、異なる外因パラメータを含み得る（例えば、検出装置５０は、視覚カメラ４０とわずかに異なるロール、ピッチ、ヨー、くぼみの角度、水平位置、および／または垂直位置を含み得る）。検出装置５０の固有パラメータは、視覚カメラ４０の固有パラメータとは異なってもよい。例えば、検出装置５０の焦点距離、光学中心、ピクセル方位角、およびピクセル仰角は、視覚カメラ４０の焦点距離、光学中心、ピクセル方位角、およびピクセル仰角とは異なってもよい。

【0017】

検出装置５０は、任意のタイプの物体検出装置（例えば、単眼および／またはステレオ検出カメラ、光学センサ、レーダセンサ、ＬＩＤＡＲセンサ、ソナーセンサなど）を含み得るが、特に検出カメラを参照する。本明細書で使用される場合、「検出カメラ」は、検出データ（例えば、画像データ）を捕捉し、検出データ（例えば、検出カメラのＦＯＶ内）に存在する一つ以上の物体を検出するように構成される、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、画像信号プロセッサ、またはこれに類するものなどのプロセッサ（図示せず）を有する装置を含み得る。検出カメラは、検出データ内の一つ以上の物体の三次元（３Ｄ）座標を生成してもよい。例えば、検出装置５０のプロセッサは、機械学習および／または人工知能（例えば、ニューラルネットワークまたはこれに類するもの）を使用して、既知の検出アルゴリズムを使用して２Ｄバウンディングボックスを生成し、バウンディングボックス内の物体を識別し、物体の３Ｄ位置および／または速度を計算し得る。したがって、検出装置５０は、検出カメラ５０の外因パラメータおよび固有パラメータに基づいて、座標空間内の物体の中心（例えば、バウンディングボックスの中心）の３Ｄ座標を計算してもよい。検出装置５０は、以下でさらに詳述するように、物体の３Ｄ座標をコントローラ１０４に送信してもよい。当然のことながら、検出装置５０は、当技術分野で既知の任意の手段によって物体を検出し、３Ｄ座標を生成し得る。

【0018】

ディスプレイ２２は、コントローラ１０４の出力を産業機械１０のオペレータに提示するために使用される一つ以上の装置を含み得る。ディスプレイ２２は、ＬＣＤディスプレイ装置、またはマルチ画面ディスプレイなどの単一画面ディスプレイを含み得る。ディスプレイ２２は、異なるコンテンツ（例えば、異なるカメラ４０からの画像データ）を同じディスプレイ上または異なるディスプレイ２２上に表示するための複数のディスプレイを含み得る。ディスプレイ２２は、有線通信および／または無線手段（図１に破線で示すように）を介してコントローラ１０４と通信してもよく、産業機械１０に搭載されて、および／または産業機械１０から遠隔に位置してもよい。以下でより詳細に説明するように、ディスプレイ２２は、カメラ４０によって捕捉された画像データに基づいて、産業機械１０の周りの環境の表現を表示するために使用されてもよく、以下に詳述するように、検出された物体５０４の表示を表示してもよい（図５Ａ～５Ｃを参照されたい）。ディスプレイ２２は、タッチセンシティブ画面を含んでもよく、したがって、データを（例えば、ユーザ入力から）入力し、情報を記録する能力を有してもよい。

【0019】

図２は、産業機械１０の少なくとも一部分を動作および／または制御するための例示的な物体検出視覚システム１００の概略図である。物体検出視覚システム１００は、入力１０２、コントローラ１０４、および出力１０６を含み得る。入力１０２は、一つ以上の視覚カメラ４０からの画像データ１１０、一つ以上の検出装置５０からの検出データ１１２、および／またはオペレータインターフェース２０またはディスプレイ２２からのユーザ入力１１４を含み得る。画像データ１１０は、視覚カメラ４０によって捕捉された画像データを含み得る。検出データ１１２は、検出装置５０によって検出および生成される、検出された物体の３Ｄ座標を含み得る。ユーザ入力１１４は、以下でさらに詳述するように、ユーザからオペレータインターフェース２０またはディスプレイ２２を介して受信された選択を含んで、検出装置５０からの３Ｄ座標を、視覚カメラ４０からの画像データ１１０内の物体の３Ｄ座標に変換し得る。

【0020】

出力１０６は、例えば、検出された物体の表示１２０を含み得る。コントローラ１０４はまた、物体検出モジュール１０８を含む。物体検出モジュール１０８は、下記の図３および図４を参照して説明するように、入力１０２を受信し、視覚システム内の物体を検出するための方法３００、および／または物体検出視覚システム１００を較正するための方法４００を実装し、出力１０６を制御してもよい。

【0021】

コントローラ１０４は、産業機械１０の視覚システム内の物体を検出するための手段を含み得る、単一のマイクロプロセッサまたは複数のマイクロプロセッサを具体化し得る。例えば、コントローラ１０４は、メモリ、二次記憶装置、および本開示と一致するタスクを達成するための中央処理ユニットまたは任意の他の手段などのプロセッサを含み得る。コントローラ１０４に関連付けられたメモリまたは二次記憶装置は、図３の方法３００および図４の方法４００の機能など、コントローラ１０４がその機能を実施するのを補助し得るデータおよび／またはソフトウェアルーチンを保存し得る。さらに、コントローラ１０４に関連付けられたメモリまたは二次記憶装置はまた、物体検出視覚システム１００に関連付けられた様々な入力１０２から受信したデータを保存してもよい。多数の市販のマイクロプロセッサが、コントローラ１０４の機能を実施するように構成され得る。当然のことながら、コントローラ１０４は、多数の他の機械機能を制御することができる一般的な機械コントローラを容易に具体化することができる。別の方法として、専用機械コントローラを提供することができる。さらに、コントローラ１０４またはその一部分は、産業機械１０から遠隔に位置してもよい。信号調整回路、通信回路、油圧または他の作動回路、および他の適切な回路を含む、様々な他の既知の回路が、コントローラ１０４と関連付けられてもよい。

【0022】

コントローラ１０４はまた、モジュール１０８によって使用するための保存された値を含んでもよい。例えば、保存された値は、検出装置５０からの検出された物体の座標、座標変換、および構成ファイルを含み得る。検出された物体の座標は、産業機械１０および／または物体が移動するにつれて更新されてもよい。座標変換は、以下でさらに詳述するように、検出装置５０からの座標の、視覚カメラ４０からの画像データ１１０内の座標への変換を含み得る。構成ファイルは、以下にさらに詳述するように、モジュール１０８が、ディスプレイ２２を介して画像データ１１０内の検出された物体の表示１２０を提供するために、新しく検出された物体の座標を画像データ１１０内の座標系に変換し得るような座標変換の保存された較正を含み得る。

【0023】

検出された物体の表示１２０は、以下でさらに詳述するように、ディスプレイ２２を介して画像データ１１０に表示される検出された物体の表示（例えば、ハイライト、バウンディングボックスなど）を含み得る。コントローラ１０４は、座標変換に基づいて表示１２０を導き出すことができ、以下にさらに詳述するように、表示１２０をディスプレイ２２上に表示１２０を表示するためにディスプレイ２２に送信することができる。

【産業上の利用可能性】

【0024】

本開示の物体検出視覚システム１００の開示された態様は、一つ以上の視覚カメラ４０および一つ以上の検出装置５０を有する視覚システムを有する任意のタイプの産業機械１０で使用されてもよい。

【0025】

図１を参照すると、産業機械１０の動作中、オペレータは、作業を実施するために、産業機械１０を制御して、地表の周りを操作し得る。視覚カメラ４０は、産業機械１０が動作するときに、ディスプレイ２２上の産業機械１０の周りの環境の様々な視界を提供し得る。しかしながら、視覚カメラ４０自体は、産業機械１０の周りの環境中の物体を検出できない。さらに、視覚カメラ４０を検出装置５０と交換することは、完全なソフトウェアおよび／またはハードウェアのオーバーホールを必要とする場合があり、それ故に特定の産業機械１０の不必要に長いダウンタイムを必要とする場合があり、これはコストの増加につながる場合がある。したがって、図３および図４を参照して以下に詳述するように、物体検出視覚システム１００は、検出装置５０を使用して物体を検出し、視覚カメラ４０から画像データ１１０内の検出された物体の表示を提供し得る。

【0026】

図３は、産業機械１０の視覚システム１００内の物体を検出するための例示的な方法３００を示すフローチャートを示す。ステップ３０５では、モジュール１０８は、視覚カメラ４０から画像データ１１０を受信してもよい。例えば、モジュール１０８は、一つ以上の視覚カメラ４０からビデオストリームを受信し、画像データ１１０をディスプレイ２２上に表示してもよい。

【0027】

ステップ３１０では、モジュール１０８は、検出装置５０から検出データ１１２を受信してもよい。ステップ３１５では、モジュール１０８は、検出データ１１２に基づいて物体を検出してもよい。物体検出は、上記に詳述されるように、当技術分野で既知の任意の手段によって実施されてもよい。図５Ａを参照すると、検出装置５０の例示的なＦＯＶ５００が示されている。ＦＯＶ５００は、検出装置５０がディスプレイ２２と直接通信していないため、ディスプレイ２２上に表示されない。したがって、図５ＡのＦＯＶ５００は、例示のみを目的としている。図５Ａは、検出装置５０のＦＯＶ５００の作業現場の周りの複数の検出された物体５０４、および検出された物体５０４の表示５０６を示す。明確にするために、単一の物体５０４および単一の表示５０６のみが、図５Ａにおいて参照される。しかしながら、検出装置５０は、各検出装置５０のＦＯＶ５００内の任意の数の物体を検出し得ることが理解される。図５ＡのＦＯＶ５００はまた、検出装置５０の例示的なグリッドまたは座標系を示す。正方形座標系を図５Ａに示すが、例えば、三角形グリッドまたはこれに類するものなど、任意のタイプの座標系またはグリッドを使用し得ることが理解される。

【0028】

ステップ３２０では、モジュール１０８は、検出された物体の第一の座標を生成してもよい。例えば、モジュール１０８は、検出装置５０の座標系内の検出された物体の３Ｄ座標を生成してもよい。一部の例では、受信した検出データ１１２は、検出された物体の生成された第一の座標を含み得る。例えば、検出装置５０は、検出データ１１２をモジュール１０８に送信する前に、物体を検出し、検出された物体の第一の座標を生成し得る。したがって、ステップ３１５およびステップ３２０は、モジュール１０８が物体を別々に検出せず、検出された物体の第一の座標を生成しないという点で、任意のステップであってもよい。

【0029】

ステップ３２５では、モジュール１０８は、検出データ（例えば、生成された第一の座標）を画像データ１１０と組み合わせてもよい。例えば、モジュール１０８は、検出データ１１２からの検出物体５０４の生成された第一の座標を、視覚カメラ４０からの画像データ１１０上にオーバーレイまたはマッピングしてもよい。一部の例では、モジュール１０８は、画像データを第一の座標上にマッピングし得る。図５Ｂを参照すると、視覚カメラ４０の例示的なＦＯＶ５０２のディスプレイが示されている。ＦＯＶ５０２は、視覚カメラ４０からの画像データ１１０によって提供されてもよく、上記に詳述するように、ディスプレイ２２上に表示されてもよい。図５Ｂの例は、図５ＢのＦＯＶ５０２内に検出されない、またはそうでなければ示されていない作業現場の周りの複数の物体５０４を示す。視覚カメラ４０のＦＯＶ５０２上の検出装置５０からの検出された物体５０４の第一の座標は、検出装置５０の座標系を含み得る。図５Ｂに示すように、複数の物体５０４は、視覚カメラ４０と検出装置５０との間の外因パラメータと固有パラメータとの差異に起因して、図５ＡのＦＯＶ５００内の複数の物体５０４からずれてもよい。したがって、図５Ｂでは、検出装置５０からの検出された物体５０４の表示５０６の第一の座標は、画像データ１１０内の物体５０４と整列しなくてもよい。

【0030】

ステップ３３０では、モジュール１０８は、構成ファイルが生成および保存されたかどうかを判定し得る。上記に詳述するように、構成ファイルは、保存された座標変換を含み得る。座標変換は、検出装置５０と視覚カメラ４０との間の外因および固有の差異に基づいて、視覚カメラ４０のＦＯＶ５０２の座標系における、検出装置５０からの第一の座標の第二の座標へのメッシュ変換を含み得る。例えば、保存された座標変換は、検出された物体５０４の表示５０６の第一の座標を、視覚カメラ４０からの画像データ１１０内の物体５０４と整列させて、検出された物体５０４の表示５０８の第二の座標を生成するために、検出装置５０の座標系の視覚カメラ４０の座標系への変換を含み得る。

【0031】

したがって、保存された構成ファイル（例えば、保存された座標変換）があると判定すると（ステップ３３０：はい）、モジュール１０８は、構成ファイルに基づいて、第一の座標を画像データ１１０内の物体５０４に変換してもよい（ステップ３３５）。モジュール１０８は、（図５Ｃに示すように）変換された第二の座標に基づいて画像データ１１０内の検出された物体５０４の表示５０８を生成することができる。ステップ３４０では、モジュール１０８は、検出された物体５０４の表示５０８を有する画像データ１１０を一つ以上のディスプレイ２２上に表示し得る。上記で詳述したように、表示５０８は、検出された物体５０４のハイライト、バウンディングボックス、点、またはディスプレイ２２上の検出された物体５０４を示すための任意の他の表示５０８を含み得る。図５Ｃに示すように、座標系またはグリッドは、保存された座標変換によって、検出装置５０の座標系から変換されている。

【0032】

初期較正中、モジュール１０８は、構成ファイルを生成し得る。例えば、構成ファイルが保存されていない場合（ステップ３３０：いいえ）、モジュール１０８は、物体検出視覚システム１００を較正するための方法４００を実施し得る。

【0033】

図４は、物体検出視覚システム１００を較正するための例示的な方法４００を示すフローチャートを提供する。ステップ４０５では、モジュール１０８は、ユーザ入力を受信してもよい。例えば、ユーザは、タッチスクリーンディスプレイ２２（または他の入力装置）と対話して、表示５０６をドラッグするか、または他の方法で移動させて、表示５０６を一つ以上のディスプレイ２２上に表示される画像データ１１０内の物体５０４と整列させてもよい。

【0034】

ステップ４１０では、モジュール１０８は、ユーザ入力に基づいて、第一の座標を画像データ１１０内の物体５０４に変換してもよい。例えば、ユーザが各表示５０６を移動すると、モジュール１０８は、表示５０６の第一の座標を変換して、変換された座標系内の第二の座標を変換した、変換された表示５０８を生成することができる（図５Ｃに示すように）。

【0035】

ステップ４１５では、モジュール１０８は、次いで、変換された第二の座標に基づいて構成ファイルを生成し、上記に詳述されるように、使用のために構成ファイルを保存してもよい。次に、モジュール１０８は、検出された物体５０４の表示５０８を有する画像データ１１０を表示し得る（ステップ３４０）。

【0036】

次に、モジュール１０８は、視覚カメラ４０から画像データ１１０を受信し続け（ステップ３０５）、検出装置５０からデータを検出して（ステップ３１０）、新しい物体を検出してもよい。したがって、モジュール１０８は、方法３００を連続的に実施して、ＦＯＶ５００およびＦＯＶ５０２内に新たに検出された物体５０４の表示５０８を表示し得る。新たに検出された物体５０４は、ＦＯＶ５００およびＦＯＶ５０２内に新しい物体を含んでもよく、および／またはＦＯＶ５００およびＦＯＶ５０２に対して移動した（例えば、物体５０４自体が移動するため、および／または産業機械１０が移動するため）同じ検出された物体５０４を含んでもよい。

【0037】

本開示の物体検出視覚システム１００は、一つ以上の視覚カメラ４０を有する既存の視覚システムを有する産業機械１０のための改善された物体検出システムを提供し得る。例えば、物体検出視覚システム１００は、産業機械１０のオンボードソフトウェアの複雑かつ完全な更新を必要とすることなく、検出装置５０の設置を可能にし得る。さらに、物体検出視覚システム１００は、専用の検出装置５０による先行技術のシステムと比較して、既存の視覚システムのディスプレイ２２上に検出された物体の表示をより正確に表示し得る。したがって、物体検出視覚システム１００は、こうした産業機械１０上の物体検出を可能にするために、視覚カメラ４０を有する既存の視覚システムを有する産業機械１０上に比較的容易に設置され得る、アフターマーケットシステムを提供し得る。したがって、物体検出視覚システム１００は、産業機械１０の不必要なダウンタイムを低減することができ、したがって、産業機械１０上に検出装置５０を設置することに関連する保守および設置コストを節約し得る。さらに、物体検出視覚システム１００は、産業機械１０の既存の視覚システムにおける物体検出および物体分類を可能にすることができ、視覚カメラ４０からの既存のディスプレイ２２内の検出された物体の特定の位置を提供することができる。したがって、物体検出視覚システム１００は、オペレータがそれぞれのタスクをより効率的かつ迅速に完了することを可能にすることができ、および／または産業機械１０の自律的動作を可能にすることができる。

【0038】

本開示の範囲から逸脱することなく、本開示に対して、さまざまな修正および変形を行うことができることは、当業者には明らかであろう。システムのその他の実施形態は、本明細書および本明細書に開示されるシステムの実践を考慮することで、当業者には明らかであろう。本明細書および実施例は、例としてのみ考慮されることが意図され、開示の真の範囲は、以下の特許請求の範囲およびそれらの等価物によって示される。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【国際調査報告】