特表 2024-530571 検出ベースの近接警報システムをリトリガするためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-23

(54)【発明の名称】検出ベースの近接警報システムをリトリガするためのシステムおよび方法

(51)【国際特許分類】

   G08B 21/00 20060101AFI20240816BHJP

   G08B 23/00 20060101ALI20240816BHJP

   E02F 9/24 20060101ALI20240816BHJP

【ＦＩ】

G08B21/00 U

G08B23/00 520B

E02F9/24 B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023579218

(86)(22)【出願日】2022-05-20

(85)【翻訳文提出日】2023-12-22

(86)【国際出願番号】 US2022030218

(87)【国際公開番号】W WO2023278061

(87)【国際公開日】2023-01-05

(31)【優先権主張番号】17/364,543

(32)【優先日】2021-06-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＦＩＲＥＷＩＲＥ

(71)【出願人】

【識別番号】391020193

【氏名又は名称】キャタピラー インコーポレイテッド

【氏名又は名称原語表記】ＣＡＴＥＲＰＩＬＬＡＲ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】メイリー、ジェイコブ シー．

【テーマコード（参考）】

2D015

5C086

5C087

【Ｆターム（参考）】

2D015GA03

2D015GB06

5C086AA22

5C086AA54

5C086BA19

5C086CA25

5C086CA28

5C086CB36

5C086DA33

5C086EA41

5C086EA45

5C086FA01

5C086FA11

5C087AA07

5C087AA31

5C087AA51

5C087DD41

5C087EE18

5C087FF04

5C087FF19

5C087GG02

5C087GG08

5C087GG17

5C087GG35

5C087GG66

(57)【要約】

機械（１０）上に位置付けられたカメラ（１０４）と、プロセッサ（１２１０）と、プロセッサによって実行するための命令を含む一つ以上のメモリデバイス（１２５０）とを含む、近接警報システム（１００）。システムは、カメラ（１０４）から、カメラ（１０４）の視野（ＦＯＶ）内の物体（２０）を描写する画像データを受信する（２０２）ための命令を含む。システムは、画像データに基づいて、物体（２０）と機械（１０）との間の第一の距離を導出する（２０４）ための命令を含み、第一の距離が第一の閾値距離Ｄ１よりも小さいときに、警報（１０８）がトリガされる（２０６）。システムは、警報（１０８）をスヌーズして警報（１０８）を停止するよう要求を受信する（２０８）ための命令を含み得る。カメラ（１０４）から、追加の画像データを受信（２１０）してもよく、物体（２０）と機械（１０）との間の第二の距離は、追加の画像データに基づいて導出される（２１２）。システムは、第二の距離が第二の閾値距離（Ｄ２）よりも小さいときに、スヌーズを解除して警報（１０８）をリトリガする（２１４）するための命令を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

近接警報システム（１００）であって、
機械（１０）上に位置付けられた一つ以上のカメラ（１０４）と、
一つ以上のプロセッサ（１２１０）と、
前記一つ以上のプロセッサ（１２１０）によって実行されたときに、前記一つ以上のプロセッサ（１２１０）に、
前記一つ以上のカメラ（１０４）から、前記一つ以上のカメラ（１０４）の視野（ＦＯＶ）内に配置される物体（２０）を描写する画像データを受信する（２０２）ことと、
前記画像データに基づいて、前記物体（２０）と前記機械（１０）との間の第一の距離を導出する（２０４）ことと、
前記第一の距離が第一の閾値距離（Ｄ１）よりも小さいときに、警報（１０８）をトリガする（２０６）ことと、
前記警報（１０８）をスヌーズして前記警報（１０８）を停止するよう要求を受信する（２０８）ことと、
前記一つ以上のカメラ（１０４）から、前記物体（２０）を描写する追加の画像データを受信する（２１０）ことと、
前記追加の画像データに基づいて、前記物体（２０）と前記機械（１０）との間の第二の距離を導出する（２１２）ことと、
前記第二の距離が第二の閾値距離（Ｄ２）よりも小さいときに、前記スヌーズを解除して前記警報（１０８）をリトリガする（２１４）ことと、を行わせる、格納された命令を有する一つ以上のメモリデバイス（１２５０）と、を備える、近接警報システム（１００）。

【請求項2】

前記警報（１０８）をスヌーズするよう第二の要求を受信し、
前記一つ以上のカメラ（１０４）から、前記物体（２０）を描写するさらなる画像データを受信し、
前記さらなる画像データに基づいて、前記物体（２０）と前記機械（１０）との間の第三の距離を導出し、
前記第三の距離が第三の閾値距離（Ｄ３）よりも小さいときに、第二のスヌーズを解除して前記警報（１０８）をリトリガするための命令をさらに含む、請求項１に記載のシステム（１００）。

【請求項3】

前記第一の閾値距離（Ｄ１）が、視覚的警報（１０８）に対応し、前記第二の閾値距離（Ｄ２）および第三の閾値距離（Ｄ３）が、可聴および触覚警報（１０８）にそれぞれ対応する、請求項２に記載のシステム（１００）。

【請求項4】

近接警報システム（１００）であって、
機械（１０）上に位置付けられた一つ以上のカメラ（１０４）と、
一つ以上のプロセッサ（１２１０）と、
前記一つ以上のプロセッサ（１２１０）によって実行されたときに、前記一つ以上のプロセッサ（１２１０）に、
前記一つ以上のカメラ（１０４）から、前記一つ以上のカメラ（１０４）の視野（ＦＯＶ）内に配置される物体（２０）を描写する画像データを受信する（４０２）ことと、
前記画像データに基づいて、前記物体（２０）と前記機械（１０）との間の第一の距離を導出する（４０４）ことと、
前記第一の距離が第一の閾値距離（Ｄ１）よりも小さいときに、警報（１０８）をトリガする（４０６）ことと、
前記警報（１０８）をスヌーズして前記警報（１０８）を停止するよう要求を受信する（４０８）ことと、
前記警報（１０８）をスヌーズするよう前記要求を受信すると、バッファゾーン距離（Ｄｂ）を定義する（４１０）ことと、
前記一つ以上のカメラ（１０４）から、前記物体（２０）を描写する追加の画像データを受信する（４１２）ことと、
前記追加の画像データに基づいて、前記物体（２０）と前記機械（１０）との間の第二の距離を導出する（４１４）ことと、
前記第二の距離が第二の閾値距離（Ｄ２）よりも小さく、かつ、
前記第一の距離と前記第二の距離との間の差が、前記バッファゾーン距離（Ｄｂ）よりも大きいときに、前記スヌーズを解除して前記警報（１０８）をリトリガする（４１６）ことと、を行わせる、格納された命令を有する一つ以上のメモリデバイス（１２５０）と、を備える、近接警報システム（１００）。

【請求項5】

前記バッファゾーン距離（Ｄｂ）が、前記第一の距離に比例する、請求項４に記載のシステム（１００）。

【請求項6】

前記バッファゾーン距離（Ｄｂ）が、前記物体（２０）の速度に反比例する、請求項５に記載のシステム（１００）。

【請求項7】

前記警報（１０８）をスヌーズするよう第二の要求を受信し、
前記一つ以上のカメラ（１０４）から、前記物体（２０）を描写するさらなる画像データを受信し、
前記さらなる画像データに基づいて、前記物体（２０）と前記機械（１０）との間の第三の距離を導出し、
前記第三の距離が、第三の閾値距離（Ｄ３）よりも小さく、かつ、
前記第二の距離と前記第三の距離との間の差が、前記バッファゾーン距離（Ｄｂ）よりも大きいときに、前記第二のスヌーズを解除して前記警報（１０８）をリトリガするための命令をさらに含む、請求項４に記載のシステム（１００）。

【請求項8】

前記第一の閾値距離（Ｄ１）が、視覚的警報（１０８）に対応し、前記第二の距離（Ｄ２）および第三の閾値距離（Ｄ３）が、可聴および触覚警報（１０８）にそれぞれ対応する、請求項７に記載のシステム（１００）。

【請求項9】

近接警報システム（１００）であって、
機械（１０）上に位置付けられた一つ以上のカメラ（１０４）と、
一つ以上のプロセッサ（１２１０）と、
前記一つ以上のプロセッサ（１２１０）によって実行されたときに、前記一つ以上のプロセッサ（１２１０）に、
前記一つ以上のカメラ（１０４）から、前記一つ以上のカメラ（１０４）の視野（ＦＯＶ）内に配置された物体（２０）を描写する画像データを受信する（６０２）ことと、
前記画像データに基づいて、前記物体（２０）と前記機械（１０）との間の第一の距離を導出する（６０４）ことと、
前記第一の距離が第一の閾値距離（Ｄ１）よりも小さいときに、警報（１０８）をトリガする（６０６）ことと、
前記警報（１０８）をスヌーズして前記警報（１０８）を停止するよう要求を受信する（６０８）ことと、
前記警報（１０８）をスヌーズするよう前記要求を受信すると、前記画像データに基づいて、前記機械（１０）と前記物体（２０）との間の接近速度（Ｓ）を導出する（６１０）ことと、
前記物体（２０）が第二の閾値距離（Ｄ２）未満の距離に位置する期間（Ｔ）を計算する（６１２）ことと、
前記期間（Ｔ）が時間閾値（ｔ）よりも小さいときに、前記スヌーズを解除して前記警報（１０８）をトリガする（６１４）ことと、を行わせる、格納された命令を有する一つ以上のメモリデバイス（１２５０）と、を備える、近接警報システム（１００）。

【請求項10】

前記時間閾値（ｔ）が２秒である、請求項９に記載のシステム（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本特許出願は、近接警報システム、より具体的には、近接ベースの近接警報システムのリトリガを対象とする。

【背景技術】

【0002】

油圧ショベルなどの機械で使用される近接警報システムは、典型的には、物体が機械の近くにある、および／または機械に近づいているという可聴アラートを認識する、またはスヌーズ（一時停止）するための方法を有する。可聴警報をスヌーズできない、および十分な時間にわたってスヌーズできないことは、安全システムが無視される、またはオペレータによって作動停止されることにさえつながりかねない。

【0003】

警報システムがスヌーズされている間にさらなる懸念が生じる可能性を考慮して、スヌーズされた警報をリトリガするための基準を確立しようとする努力がなされてきた。例えば、Ｌｅｗｉｓの米国特許第８，２７５，８４７号（以下、「Ｌｅｗｉｓ」）は、現在の、または差し迫った機器の故障を示す警報を取り扱うための警報処理システムを含む、対話型保守管理システム（ＩＭＭＳ）を記載する。ＩＭＭＳは、機器のダウンタイムを低減し、機器の故障を低減または防止するために、露天掘りなどの産業状況で使用され得る。ＬｅｗｉｓのＩＭＭＳは、フレキシブルな応答システムを使用して、警報処理システムの性能を追跡、分析、および改善する。Ｌｅｗｉｓは機器の故障に関連する警報を対象としているため、Ｌｅｗｉｓが定義する警報をリトリガするための基準は、近接警報システムには適切ではない。例えば、Ｌｅｗｉｓは、保守施設が利用可能となった後に、必要な保守／修理のためにスヌーズされた警報をリトリガする。

【0004】

したがって、依然として、近くにある、および／または近づいている物体に対してオペレータに警告するために機械で使用される近接警報システムを改善する余地がある。本明細書に記載の例示的なシステムおよび方法は、上述の欠陥および／または従来技術における他の問題のうちの一つ以上を克服することを対象とする。

【発明の概要】

【0005】

一部の実施形態では、近接警報システムは、機械上に位置付けられた一つ以上のカメラ、一つ以上のプロセッサ、および一つ以上のメモリデバイスを含み得る。メモリデバイスは、一つ以上のプロセッサによって実行するための命令を含み得る。システムは、一つ以上のカメラから、一つ以上のカメラの視野内に配置された物体を描写する画像データを受信するための命令を含み得る。システムは、画像データに基づいて、物体と機械との間の第一の距離を導出するための命令を含んでもよく、第一の距離が第一の閾値距離よりも小さいときに、警報がトリガされる。システムはまた、警報をスヌーズして警報を停止するよう要求を受信するための命令を含み得る。一つ以上のカメラから、物体を描写する追加の画像データを受信してもよく、物体と機械との間の第二の距離は、追加の画像データに基づいて導出される。システムは、第二の距離が第二の閾値距離よりも小さいときに、スヌーズを解除して警報をリトリガするための命令を含み得る。

【0006】

一部の態様では、システムは、警報をスヌーズするよう第二の要求を受信する、一つ以上のカメラから、物体を描写するさらなる画像データを受信する、さらなる画像データに基づいて、物体と機械との間の第三の距離を導出する、および、第三の距離が第三の閾値距離よりも小さいときに、第二のスヌーズを解除して警報をリトリガするための命令をさらに含む。一部の態様によれば、第一の閾値距離は、視覚的警報に対応し、第二および第三の閾値距離は、可聴および／または触覚警報にそれぞれ対応する。一部の態様では、第一の閾値距離は、機械から９メートルであり、第二の閾値距離は、機械から６メートルであり、第三の閾値距離は、機械から３メートルである。さらなる態様では、一つ以上のカメラは、機械の後方に位置付けられたカメラと、機械の左側および右側にそれぞれ位置付けられたカメラとを含む。一部の態様では、一つ以上のカメラは、物体が人であるかどうかを識別し、それによって警報が物体を人として区別することができる、物体識別システムを含む。

【0007】

一部の実施形態では、近接警報システムは、機械上に位置付けられた一つ以上のカメラ、一つ以上のプロセッサ、および一つ以上のメモリデバイスを含み得る。メモリデバイスは、一つ以上のプロセッサによって実行するための命令を含み得る。システムは、一つ以上のカメラから、一つ以上のカメラの視野内に配置された物体を描写する画像データを受信するための命令を含み得る。システムは、画像データに基づいて、物体と機械との間の第一の距離を導出するための命令を含んでもよく、第一の距離が第一の閾値距離よりも小さいときに、警報がトリガされる。システムはまた、警報をスヌーズして警報を停止するよう要求を受信するための命令を含み得る。警報をスヌーズするよう要求を受信すると、バッファゾーン距離が定義され得る。一つ以上のカメラから、物体を描写する追加の画像データを受信してもよく、物体と機械との間の第二の距離は、追加の画像データに基づいて導出される。システムは、第二の距離が第二の閾値距離よりも小さく、かつ第一の距離と第二の距離との間の差がバッファゾーン距離よりも大きいときに、スヌーズを解除して警報をリトリガするための命令を含み得る。

【0008】

一部の態様では、バッファゾーン距離は、第一の距離に比例する。一部の態様によれば、バッファゾーン距離は、物体の速度に反比例する。一部の態様では、システムは、警報をスヌーズするよう第二の要求を受信する、一つ以上のカメラから、物体を描写するさらなる画像データを受信する、さらなる画像データに基づいて、物体と機械との間の第三の距離を導出する、および、第三の距離が第三の閾値距離よりも小さく、かつ、第二の距離と第三の距離との間の差がバッファゾーン距離よりも大きいときに、第二のスヌーズを解除して警報をリトリガするための命令をさらに含む。

【0009】

一部の実施形態では、近接警報システムは、機械上に位置付けられた一つ以上のカメラ、一つ以上のプロセッサ、および一つ以上のメモリデバイスを含み得る。メモリデバイスは、一つ以上のプロセッサによって実行するための命令を含み得る。システムは、一つ以上のカメラから、一つ以上のカメラの視野内に配置された物体を描写する画像データを受信するための命令を含み得る。システムは、画像データに基づいて、物体と機械との間の第一の距離を導出するための命令を含んでもよく、第一の距離が第一の閾値距離よりも小さいときに、警報がトリガされる。システムはまた、警報をスヌーズして警報を停止するよう要求を受信するための命令を含み得る。警報をスヌーズするよう要求を受信すると、画像データに基づいて、機械と物体との間の接近速度が導出される。システムはまた、物体が第二の閾値距離よりも小さい距離に位置する期間を計算し、期間が時間閾値（例えば、２秒）よりも短いときに、スヌーズを解除して警報をリトリガするための命令を含み得る。

【図面の簡単な説明】

【0010】

本明細書に記載のシステムおよび方法は、添付図面と併せて以下の発明を実施するための形態を参照することによってより良く理解することができ、類似の参照番号は、同一または機能的に類似した要素を示す。

【図1】図１は、開示された技術の実施形態による、検出ベースの近接警報システムをリトリガするための方法を示す図である。

【図2】図２は、図１に示す方法を示すフロー図である。

【図3】図３は、開示された技術のさらなる実施形態による、検出ベースの近接警報システムをリトリガするための方法を示す図である。

【図4】図４は、図３に示す方法を示すフロー図である。

【図5】図５は、開示された技術のさらなる実施形態による、検出ベースの近接警報システムをリトリガするための方法を示す図である。

【図6】図６は、図５に示す方法を示すフロー図である。

【図7】図７は、いくつかの実装が動作し得る装置の概要を示すブロック図である。

【図8】図８は、いくつかの実装が動作し得る環境の概要を示すブロック図である。

【図9】図９は、一部の実装における、開示された技術を用いるシステムで使用され得る構成要素を示すブロック図である。

【発明を実施するための形態】

【0011】

本明細書に提供される見出しは、単に便宜上のものであり、実施形態の範囲に必ずしも影響を及ばさない。さらに、図面は必ずしも正確な縮尺ではない。例えば、図中の要素の一部の寸法は、実施形態の理解を高めるのに役立つよう、拡大または縮小されている場合がある。さらに、開示された技術は、様々な修正および代替的な形態に適しているが、特定の実施形態が図面に例示され、以下に詳細に説明される。しかしながら、説明される実施形態を不必要に制限することを意図するものではに。むしろ、実施形態は、本開示の範囲内に収まるすべての適切な修正、組み合わせ、等価物、および代替物を網羅することを意図する。

【0012】

ここで、上述したシステムおよび方法の様々な実施例をさらに詳細に説明する。以下の説明は、これらの実施例を完全に理解し、説明を可能にするための具体的な詳細を提供する。しかしながら、当業者であれば、本明細書で論じる技法および技術が、これらの詳細の多くがなくても実践され得ることを理解するであろう。同様に、当業者は、当該技術が、本明細書に詳細に説明されていない多くの他の特徴を含み得ることも理解するであろう。さらに、一部の公知の構造または機能は、関連する説明を不必要に不明瞭にすることを回避するために、以下に詳細に示されない、または説明されない場合がある。

【0013】

以下で使用される用語は、実施形態の一部の特定の実施例の詳細な説明と併せて使用されているが、その合理的に最も広義に解釈される。実際に、一部の用語は以下で強調される場合があるが、任意の制限された様式で解釈されることが意図される任意の用語は、本セクションでそのように明白かつ具体的に定義される。

【0014】

油圧ショベルなどの機械で使用される近接警報システムは、典型的には、物体が機械の近くにある、および／または機械に近づいているという可聴アラートを認識する、またはスヌーズ（一時停止）するための方法を有する。スヌーズ期間は、用途に応じて数分から数時間の範囲であり得る。その期間内において、スヌーズを解除して警報をリトリガすることが望ましいような、状況が変化する場合がある。本明細書では、スヌーズされた後にシステムをリトリガするための方法を含む、検出ベースの近接警報システムのためのシステムおよび方法が開示される。これらの方法は、機械の周囲の定義された警告ゾーン間を物体が移動するときに、警報をリトリガすることを含む。これらの方法はまた、物体の予測されるトラックが、選択された閾値期間内に警告ゾーン間で物体を移動させるときに、警報をリトリガすることを含む。画像ベースの検出システムは、画像の複雑さに応じて大きく変動し得る。言い換えれば、検出された物体の距離は、誤差の範囲内で変化し得る。したがって、物体が異なるゾーンを定義する距離閾値に近いときの誤警報を防止するのに役立つようバッファゾーンを使用するための方法も開示される。

【0015】

図１は、開示された技術の実施形態による、検出ベースの近接警報システム１００で構成される油圧ショベルなどの機械１０を示す。近接警報システム１００は、コントローラ１０２および複数のカメラ１０４を含み得る。一部の実施形態では、システムは、機械１０の後方に位置付けられたカメラ１０４（Ｒ）と、機械１０の左側および右側にそれぞれ位置付けられた二つのカメラ１０４（Ｓ）とを含み得る。図示した三つのカメラ構成は、およそ２７０度の視野（ＦＯＶ）を提供し、より広いまたはより狭い視野を用いることもできる。一部の実施形態では、異なる数および位置のカメラを使用することができる。コントローラ１０２は、一つ以上のプロセッサと、スヌーズ後にシステムをリトリガするための方法を含む、警報システムを制御するための命令を格納する一つ以上のメモリデバイスとを含み得る。

【0016】

カメラ１０４は、任意のタイプのアナログまたはデジタル画像センサ、デジタルカメラ、および／またはデジタルビデオカメラであり得る。例えば、カメラ１０４は、高ダイナミックレンジ（ＨＤＲ）カメラ、感光性カメラ、および／または超音速カメラであり得る。一部の実施形態では、カメラは、二次元画像データ、三次元画像データ、画像シーケンス、グレー画像データ、および／またはカラー画像データを提供し得る。一部の実施形態では、システム１００は、一つ以上の光検出および範囲（ＬＩＤＡＲ）センサ、一つ以上の音声ナビゲーション範囲（ＳＯＮＡＲ）センサ、一つ以上の無線検出および範囲（ＲＡＤＡＲ）センサ、または任意の他の適切なセンサタイプなどの任意の公知のタイプのセンサをさらに含み得る。一部の実施形態では、カメラは、物体が人、機械、車両、または他の障害物であるかどうかを識別することができる物体識別システムを備える。一部の実施形態では、警報システムは、機械１０の周りの物体の性質についてオペレータにさらに通知するために、物体を人、機械、車両、または他の障害物として区別するように構成される。一部の実施形態では、カメラは、ＦＯＶ内の各物体に対する、例えば、距離、ベ方位角度、および速度を含む画像データを提供することができる。

【0017】

検出ベースの近接警報システム１００は、ＦＯＶ内に複数の警告ゾーンを含み得る。一部の実施形態では、警告ゾーンは、機械からの閾値距離によって定義され得る。例えば、図１に示すように、第一の閾値距離Ｄ１は注意ゾーンを定義し、第二の閾値距離Ｄ２は警戒ゾーンを定義し、第三の閾値距離Ｄ３は臨界ゾーンを定義してもよく、閾値距離は、機械１０を中心とした同心円弧状領域を定義し得る。一部の実施形態では、第一の閾値距離Ｄ１は、機械から９メートルであり、第二の閾値距離Ｄ２は、機械から６メートルであり、第三の閾値距離Ｄ３は、機械から３メートルである。一部の実施形態では、閾値は構成可能であり得る。各警告ゾーンは、物体が対応する閾値距離よりも機械１０に近づくと、トリガされる（すなわち、作動される）異なる警報タイプに対応し得る。例えば、注意ゾーンは、視覚的警報（例えば、点滅光）に対応し得、警戒ゾーンは、可聴警報（例えば、スピーカーまたはサイレン）と視覚的警報の組み合わせに対応し得、臨界ゾーンは、可聴警報、視覚的警報、および触覚警報（例えば、振動機構）に対応し得る。一部の実施形態では、警報は、オペレータが機械操作を制御するために使用することができるユーザインターフェースを含み得る、機械１０のディスプレイ上に視覚的に出力され得る。

【0018】

人などの物体２０が、第一の距離閾値Ｄ１を越えて注意ゾーンに入ると、警報（例えば、可聴警報装置１０８）がトリガされる。警報が最初にトリガされると、オペレータは、例えば、機械の制御ディスプレイによって、または手動ボタン１０６を介して警報をスヌーズし得る。スヌーズ期間は、用途に応じて数分から数時間の範囲であり得る。その期間内において、スヌーズを解除して警報をリトリガ（すなわち、再作動）することが望ましいような、状況が変化する場合がある。例えば、物体がスヌーズ期間内に機械の近くに移動する場合、スヌーズを解除してオペレータに警告する必要がある場合がある。したがって、物体２０が第二の距離閾値Ｄ２を越えて警戒ゾーンに入る場合、スヌーズが解除されて警報がリトリガされ、物体が機械の近くに移動したこと、または機械が物体に近づいていることをオペレータに警告する。物体と機械との間の距離は、物体２０および／または機械１０の移動に起因して変化し得ることに留意されたい。

【0019】

注意ゾーンは視覚的警報のみに対応し得るため、一部の実施形態では、システムは、オペレータが視覚的注意ゾーン警報をスヌーズすることを許容しない。視覚的警報は、可聴警報および／または触覚警報ほど気を散らすものではなく、したがって、作動停止される可能性が低い。したがって、一部の実施形態では、物体２０が警戒ゾーンに入るとスヌーズ機構が作動し、物体２０が第三の距離閾値Ｄ３を越えて臨界ゾーンに入る場合、警報がリトリガされる。

【0020】

図２は、開示された技術の実施形態により警報をリトリガすることを含む、警報システムを制御するための、図１に対応する方法２００を示すフロー図である。ステップ２０２で、システムは、一つ以上のカメラから、一つ以上のカメラの視野内に配置された物体を描写する画像データを受信する。ステップ２０４で、システムは、画像データに基づいて、物体と機械との間の第一の距離を導出する。ステップ２０６で、システムは、第一の距離が第一の閾値距離よりも小さいときに、警報をトリガする。ステップ２０８で、システムは、警報をスヌーズして警報を停止するよう要求を受信する。ステップ２１０で、システムは、一つ以上のカメラから、物体を描写する追加の画像データを受信する。ステップ２１２で、システムは、追加の画像データに基づいて、物体と機械との間の第二の距離を導出する。ステップ２１４で、システムは、第二の距離が第二の閾値距離よりも小さいときに、スヌーズを解除して警報をリトリガする。一部の実施形態では、方法はまた、警報をスヌーズするよう第二の要求を受信することと、物体を描写するさらなる画像データを受信することと、さらなる画像データに基づいて、物体と機械との間の第三の距離を導出することと、第三の距離が第三の閾値距離よりも小さいときに、第二のスヌーズを解除して警報をリトリガすることとを含み得る。

【0021】

図３は、開示された技術のさらなる実施形態による、バッファゾーンを使用して検出ベースの近接警報をリトリガするための別の方法を示す図である。物体２０が第一の距離閾値Ｄ１を越えて注意ゾーンに入ると、警報がトリガされる。警報が最初にトリガされると、オペレータは警報をスヌーズし得る。警報をスヌーズするよう要求を受信すると、システムは、物体２０の表面を反映するバッファゾーン距離Ｄｂを定義する（図３に示すように、バッファゾーンは、物体２０とほぼ同じ形状を有するが、代替として、バッファゾーンは、物体の中心をその中心として有する円であってもよい）。一部の実装では、バッファゾーン距離Ｄｂは、第一の距離に正比例し得る。一部の実装では、バッファゾーン距離Ｄｂは、物体の速度に反比例し得る。バッファゾーン距離Ｄｂはまた、例えば人と車両では距離が異なるなど、物体のタイプに基づいて定義することができる。

【0022】

画像ベースの検出システムは、画像の複雑さに応じて精度が大きく変動し得る。言い換えれば、検出された物体の距離は、誤差の範囲内で変化し得る。バッファゾーンは、物体が、異なるゾーンを定義する距離閾値に近いときの誤警報を防止する。したがって、物体２０が第二の距離閾値Ｄ２を越えて警戒ゾーンに入る場合、スヌーズが解除され、また、物体がバッファゾーン距離Ｄｂ（こうした距離は、機械１０から物体２０までの直線で測定され得る）だけ機械１０の近くに移動した場合にのみ、警報がリトリガされる。バッファゾーンはまた、互いの閾値距離内にある複数の検出を統合するように作用する。

【0023】

図４は、開示された技術の実施形態により警報をリトリガすることを含む、警報システムを制御するための、図３に対応する方法４００を示すフロー図である。ステップ４０２で、システムは、一つ以上のカメラから、一つ以上のカメラの視野内に配置された物体を描写する画像データを受信する。ステップ４０４で、システムは、画像データに基づいて、物体と機械との間の第一の距離を導出する。ステップ４０６で、システムは、第一の距離が第一の閾値距離よりも小さいときに、警報をトリガする。ステップ４０８で、システムは、警報をスヌーズして警報を停止するよう要求を受信する。ステップ４１０で、システムは、警報をスヌーズするよう要求を受信すると、バッファゾーン距離を定義する。ステップ４１２で、システムは、一つ以上のカメラから、物体を描写する追加の画像データを受信する。ステップ４１４で、システムは、追加の画像データに基づいて、物体と機械との間の第二の距離を導出する。ステップ４１６で、システムは、第二の距離が第二の閾値距離よりも小さく、かつ第一の距離と第二の距離との間の差がバッファゾーン距離よりも大きいときに、スヌーズを解除して警報をリトリガする。一部の実施形態では、方法はまた、警報をスヌーズするよう第二の要求を受信することと、物体を描写するさらなる画像データを受信することと、物体と機械との間の第三の距離を導出することと、第三の距離が第三の閾値距離より小さく、かつ第二の距離と第三の距離との間の差がバッファゾーン距離よりも大きいときに、第二のスヌーズを解除することとを含み得る。

【0024】

図５は、開示された技術のさらなる実施形態による、物体の経路軌道またはトラック（例えば、速度）を使用して検出ベースの近接警報をリトリガするための別の方法を示す図である。物体２０が第一の距離閾値Ｄ１を越えて注意ゾーンに入ると、警報がトリガされる。警報が最初にトリガされると、オペレータは警報をスヌーズし得る。警報をスヌーズするよう要求を受信すると、システムは、機械と物体２０との間の接近速度Ｓを導出する。物体の速度Ｓおよび距離Ｄ１が、物体２０が構成可能な閾値期間ｔ内に次の脅威ゾーン（例えば、Ｄ２警戒ゾーン）に入ることをもたらす場合、スヌーズが解除されて警報がリトリガされる。物体のトラック情報を使用して、スヌーズを解除して警報をリトリガすることにより、急速に近づいている物体に対してより迅速にリトリガを提供し、オペレータにより多くの反応時間を提供することができる。

【0025】

図６は、開示された技術の実施形態により警報をリトリガすることを含む、警報システムを制御するための、図５に対応する方法６００を示すフロー図である。ステップ６０２で、システムは、一つ以上のカメラから、一つ以上のカメラの視野内に配置された物体を描写する画像データを受信する。ステップ６０４で、システムは、画像データに基づいて、物体と機械との間の第一の距離を導出する。ステップ６０６で、システムは、第一の距離が第一の閾値距離よりも小さいときに、警報をトリガする。ステップ６０８で、システムは、警報をスヌーズして警報を停止するよう要求を受信する。ステップ６１０で、システムは、警報をスヌーズするよう要求を受信すると、画像データに基づいて、機械と物体との間の接近速度Ｓを導出する。ステップ６１２で、システムは、物体が第二の閾値距離よりも小さい距離に位置する期間Ｔを計算する。ステップ６１４で、システムは、期間Ｔが時間閾値ｔよりも短いときに、スヌーズを解除して警報をリトリガする。一部の実施形態では、時間閾値ｔは、２秒であり得る。

【0026】

近接警報をリトリガするための上述のシステムおよび方法は、互いに組み合わせて、ならびに様々な警報リトリガイベントと併せて使用することができる。例えば、機械の油圧ロックが作動（ロック）から作動停止（ロック解除）に移行するとき、機械が構成可能な固定距離を走行するとき、および／または機械が構成可能な速度閾値を超えて走行するときに、スヌーズ警報をリトリガすることができる。必要に応じて、上記に概説したシステムは、物体が所定の時間、例えば、１０分間検出されなかったときに、物体アラートをリトリガするように構成されてもよい。

【0027】

適切なシステム
本明細書に開示される技術は、専用ハードウェア（例えば、回路）として、ソフトウェアおよび／またはファームウェアで適切にプログラムされたプログラマブル回路として、または専用回路とプログラマブル回路の組み合わせとして具現化され得る。したがって、実施形態は、コンピュータ、マイクロプロセッサ、プロセッサ、および／またはマイクロコントローラ（または他の電子装置）にプロセスを実施させるために使用され得る格納された命令を有する機械可読媒体を含み得る。機械可読媒体は、光ディスク、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイディスク）、磁気光学ディスク、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気もしくは光学カード、フラッシュメモリ、または電子命令を格納するのに適した他のタイプの媒体／機械可読媒体を含み得るが、これらに限定されない。

【0028】

いくつかの実装について、図を参照して以下でより詳細に論じる。図７は、開示された技術のいくつかの実装が動作し得る装置の概要を示すブロック図である。装置は、装置１２００のハードウェア構成要素を含み得る。装置１２００は、ＣＰＵ（プロセッサ）１２１０に入力を提供してアクションを通知する、一つ以上の入力装置１２２０を含み得る。アクションは、典型的には、入力装置から受信した信号を解釈し、通信プロトコルを使用して情報をＣＰＵ１２１０に通信する、ハードウェアコントローラによって媒介される。入力装置１２２０は、例えば、マウス、キーボード、タッチスクリーン、赤外線センサ、タッチパッド、ウェアラブル入力装置、カメラもしくは画像ベースの入力装置、マイク、または他のユーザ入力装置を含む。

【0029】

ＣＰＵ１２１０は、装置内の単一の処理ユニットまたは複数の処理ユニットであってもよく、または複数の装置にわたって分散されてもよい。ＣＰＵ１２１０は、例えば、ＰＣＩバスまたはＳＣＳＩバスなどのバスを使用して、他のハードウェア装置に結合することができる。ＣＰＵ１２１０は、ディスプレイ１２３０などの装置用のハードウェアコントローラと通信し得る。ディスプレイ１２３０を使用して、テキストおよびグラフィックを表示してもよい。一部の実施例では、ディスプレイ１２３０は、グラフィカルおよびテキストの視覚的フィードバックをユーザに提供する。一部の実装では、ディスプレイ１２３０は、入力装置がタッチスクリーンであるか、または視線方向監視システムを装備している場合などに、ディスプレイの一部として入力装置を含む。一部の実装では、ディスプレイは、入力装置とは別個である。表示装置の例は、ＬＣＤ表示画面、ＬＥＤ表示画面、投影表示、ホログラフィック表示、または拡張現実表示（ヘッドアップ表示装置またはヘッドマウント型装置など）などである。他のＩ／Ｏ装置１２４０はまた、ネットワークカード、ビデオカード、音声カード、可聴および／または視覚的警報、ＵＳＢ、ＦｉｒｅＷｉｒｅまたは他の外部装置、センサ、カメラ、プリンタ、スピーカ、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、ディスクドライブ、またはブルーレイデバイスなどのプロセッサに結合され得る。

【0030】

一部の実装では、装置１２００はまた、無線または有線ベースでネットワークノードと通信することができる通信装置を含む。通信装置は、例えば、ＴＣＰ／ＩＰプロトコルを使用して、ネットワークを介して別の装置またはサーバと通信することができる。装置１２００は、通信装置を利用して、複数のネットワーク装置にわたって動作を分散させることができる。

【0031】

ＣＰＵ１２１０は、メモリ１２５０へのアクセスを有し得る。メモリは、揮発性および不揮発性記憶装置のための一つ以上の様々なハードウェア装置を含み、読み取り専用および書き込み可能なメモリの両方を含み得る。例えば、メモリは、ランダムアクセスメモリ（ＲＡＭ）、ＣＰＵレジスタ、読み出し専用メモリ（ＲＯＭ）、およびフラッシュメモリ、ハードドライブ、フロッピーディスク、ＣＤ、ＤＶＤ、ブルーレイディスク、磁気記憶装置、テープドライブ、デバイスバッファなどの書き込み可能な不揮発性メモリを含み得る。メモリは、基本的なハードウェアから切り離された伝搬信号ではなく、したがってメモリは非一時的である。メモリ１２５０は、オペレーティングシステム１２６２、近接警報システム１２６４、および他のアプリケーションプログラム１２６６などのプログラムおよびソフトウェアを格納するプログラムメモリ１２６０を含み得る。メモリ１２５０はまた、プログラムメモリ１２６０または装置１２００の任意の要素に提供され得るデータベース情報などを含み得る、データメモリ１２７０を含み得る。

【0032】

一部の実装は、多数の他の汎用または専用コンピューティングシステム環境または構成で動作可能であり得る。公知のコンピューティングシステム、環境、および／または本技術での使用に好適であり得る構成の例は、パーソナルコンピュータ、サーバコンピュータ、手持ち式またはラップトップコンピュータ、携帯電話、移動電話、ウェラブル電子機器、ゲームコンソール、タブレット装置、マイクロプロセッサシステム、マイクロプロセッサベースシステム、プログラマブルコンシューマエレクトロニクス、ネットワークＰＣ、マイクロコンピュータ、メインフレームコンピュータ、上述のシステムまたは装置などのいずれかを含む分散コンピューティング環境を含むが、これらに限定されない。

【0033】

図８は、開示された技術のいくつかの実装が動作し得る環境１３００の概要を示すブロック図である。環境１３００は、一つ以上のクライアントコンピューティング装置１３０５Ａ～Ｄを含むことができ、その例は装置１２００を含み得る。クライアントコンピューティング装置１３０５は、ネットワーク１３３０を介した、サーバコンピューティング装置１３１０などの一つ以上のリモートコンピュータへの論理的接続を使用して、ネットワーク環境で動作することができる。

【0034】

一部の実装では、サーバコンピューティング装置１３１０は、クライアント要求を受信し、サーバ１３２０Ａ～Ｃなどの他のサーバを介してそれらの要求の遂行を調整するエッジサーバであり得る。サーバコンピューティング装置１３１０および１３２０は、装置１２００などのコンピューティングシステムを含み得る。各サーバコンピューティング装置１３１０および１３２０は、単一のサーバとして論理的に表示されているが、サーバコンピューティング装置は各々、同じまたは地理的に異なる物理的位置に位置する複数のコンピューティング装置を包含する分散コンピューティング環境であってもよい。一部の実装では、各サーバコンピューティング装置１３２０は、サーバ群に対応する。

【0035】

クライアントコンピューティング装置１３０５およびサーバコンピューティング装置１３１０および１３２０はそれぞれ、他のサーバ／クライアント装置に対するサーバまたはクライアントとして作用し得る。サーバ１３１０は、データベース１３１５に接続され得る。サーバ１３２０Ａ～Ｃはそれぞれ、対応するデータベース１３２５Ａ～Ｃに接続され得る。上述のように、各サーバ１３２０は、サーバ群に対応し得、これらのサーバの各々は、データベースを共有してもよく、あるいは独自のデータベースを有してもよい。データベース１３１５および１３２５は、情報を収納（例えば、格納）することができる。データベース１３１５および１３２５は、単一のユニットとして論理的に表示されているが、データベース１３１５および１３２５はそれぞれ、複数のコンピューティング装置を包含する分散コンピューティング環境であってもよく、それらの対応するサーバ内に位置することができ、または同じもしくは地理的に異なる物理的位置に位置してもよい。

【0036】

ネットワーク１３３０は、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）であり得るが、他の有線または無線ネットワークであってもよい。ネットワーク１３３０は、インターネット、または何らかの他の公衆もしくはプライベートネットワークであってもよい。クライアントコンピューティング装置１３０５は、有線または無線通信によるなど、ネットワークインターフェースを介してネットワーク１３３０に接続され得る。サーバ１３１０とサーバ１３２０との間の接続は、別個の接続として示されているが、これらの接続は、ネットワーク１３３０または別個の公衆またはプライベートネットワークを含む、任意の種類のローカル、広域、有線、または無線ネットワークであり得る。

【0037】

図９は、一部の実装における、開示された技術を用いるシステムで使用され得る構成要素１４００を示すブロック図である。構成要素１４００は、ハードウェア１４０２、汎用ソフトウェア１４２０、および特殊な構成要素１４４０を含む。上述のように、開示された技術を実施するシステムは、処理ユニット１４０４（例えば、ＣＰＵ、ＧＰＵ、ＡＰＵなど）、作業メモリ１４０６、記憶メモリ１４０８、ならびに入力および出力装置１４１０を含む、様々なハードウェアを使用することができる。構成要素１４００は、クライアントコンピューティング装置１３０５などのクライアントコンピューティング装置、またはサーバコンピューティング装置１３１０または１３２０などのサーバコンピューティング装置上に実装され得る。

【0038】

汎用ソフトウェア１４２０は、オペレーティングシステム１４２２、ローカルプログラム１４２４、および基本入力出力システム（ＢＩＯＳ）１４２６を含む、様々なアプリケーションを含み得る。特殊な構成要素１４４０は、ローカルプログラム１４２４などの汎用ソフトウェアアプリケーション１４２０のサブ構成要素であり得る。特殊な構成要素１４４０は、近接警報モジュール１４４４、カメラモジュール１４４６、画像データ計算モジュール１４４８、スヌーズ制御モジュール１４５０、および、データを転送し、インターフェース１４４２などの特殊な構成要素を制御するために使用され得る構成要素を含み得る。一部の実装では、構成要素１４００は、複数のコンピューティング装置にわたって分散されるコンピューティングシステム内にあってもよく、または特殊な構成要素１４４０のうちの一つ以上を実行するサーバベースのアプリケーションへのインターフェースであってもよい。

【0039】

当業者であれば、上述の図７～９に示した構成要素、および上述のフロー図のそれぞれが、様々な方法で変更され得ることを理解するであろう。例えば、ロジックの順序を並べ替えてもよく、サブステップは並列で実施されてもよく、図示されたロジックを省略してもよく、他のロジックが含まれてもよい。一部の実装では、上述の構成要素のうちの一つ以上は、本明細書に記載されるプロセスのうちの一つ以上を実行することができる。

【産業上の利用可能性】

【0040】

一部の実施形態では、近接警報システムは、近接警報モジュール１４４４、カメラモジュール１４４６、画像データ計算モジュール１４４８、およびスヌーズ制御モジュール１４５０を含み得る（図９）。動作中、カメラモジュール１４４６は、一つ以上のカメラから、一つ以上のカメラの視野内に配置された物体を描写する画像データを受信し得る。画像データ計算モジュール１４４８は、画像データに基づいて、物体と機械との間の第一の距離を導出し得る。近接警報モジュール１４４４は、第一の距離が第一の閾値距離よりも小さいときに、警報をトリガし得る。スヌーズ制御モジュール１４５０は、警報をスヌーズしてアラームを停止するよう要求を受信し得る。

【0041】

一部の実施形態では、カメラモジュール１４４６は、一つ以上のカメラから、物体を描写する追加の画像データを受信してもよく、画像データ計算モジュール１４４８は、追加の画像データに基づいて、物体と機械との間の第二の距離を導出し得る。スヌーズ制御モジュール１４５０は、第二の距離が第二の閾値距離よりも小さいときに、スヌーズを解除して警報をリトリガし得る。

【0042】

一部の実施形態では、スヌーズ制御モジュール１４５０はまた、警報をスヌーズするよう要求を受信すると、バッファゾーン距離を定義し得る。カメラモジュール１４４６は、一つ以上のカメラから、物体を描写する追加の画像データを受信してもよく、画像データ計算モジュール１４４８は、追加の画像データに基づいて、物体と機械との間の第二の距離を導出し得る。スヌーズ制御モジュール１４５０は、第二の距離が第二の閾値距離よりも小さく、かつ第一の距離と第二の距離との間の差がバッファゾーン距離よりも大きいときに、スヌーズを解除して警報をリトリガし得る。

【0043】

一部の実施形態では、画像データ計算モジュール１４４８は、警報をスヌーズするよう要求を受信すると、画像データに基づいて、機械と物体との間の接近速度を導出し得る。画像データ計算モジュール１４４８はまた、物体が第二の閾値距離よりも小さい距離に位置する期間を計算し得る。スヌーズ制御モジュール１４５０は、期間が時間閾値よりも短いときに、スヌーズを解除して警報をリトリガし得る。

【0044】

備考：
上記の説明および図面は例示であり、限定として解釈されるべきではない。本開示の完全な理解を提供するために、多数の具体的な詳細が説明される。しかしながら、一部の例では、説明を不明瞭にすることを回避するために、既知の詳細については説明しない。さらに、実施形態の範囲から逸脱することなく、様々な修正を行い得る。

【0045】

本明細書における「一実施形態」または「実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、または特性が本開示の少なくとも一つの実施形態に含まれることを意味する。本明細書の様々な箇所における語句「一実施形態では」の出現は、必ずしも全て同じ実施形態を言及するものではなく、他の実施形態を互いに除外する別個または代替的な実施形態でもない。さらに、一部の実施形態では示されるが他の実施形態では示されない、様々な特徴が説明される。同様に、一部の実施形態では必要であり得るが他の実施形態では必要ではない様々な要件が説明される。

【0046】

本明細書で使用される用語は、一般的に、当該技術分野、開示の文脈内、および、各用語が使用される特定の文脈内で、それらの通常の意味を有する。同じことが複数の方法で言えることは理解されよう。したがって、本明細書で論じられる用語の任意の一つ以上について、代替の言い回しおよび同義語を使用することができ、用語が本明細書において詳述または議論されるか否かに、いかなる特別な重要性もない。一部の用語について同義語が提供される。一つ以上の同義語の説明は、他の同義語の使用を除外しない。本明細書で論じる任意の用語の例を含む、本明細書の任意の場所における例の使用は、例示に過ぎず、本開示の範囲および意味、または任意の例示的な用語の範囲および意味をさらに限定することを意図するものではない。同様に、本開示は、本明細書において与えられる種々の実施形態に限定されない。別段の定義がない限り、本明細書で使用される全ての技術用語及び科学用語は、本開示が関連する当業者に通常理解されるものと同一の意味を有する。矛盾する場合には、定義を含めて本明細書が優先される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】