特許 7505791 安全定格マルチセル作業空間マッピングおよび監視

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-17

(45)【発行日】2024-06-25

(54)【発明の名称】安全定格マルチセル作業空間マッピングおよび監視

(51)【国際特許分類】

   G05D 1/43 20240101AFI20240618BHJP

   B25J 19/06 20060101ALI20240618BHJP

   B65G 1/137 20060101ALI20240618BHJP

【ＦＩ】

G05D1/43

B25J19/06

B65G1/137 G

【請求項の数】 21

(21)【出願番号】P 2021549787

(86)(22)【出願日】2020-02-25

(65)【公表番号】

(43)【公表日】2022-04-15

(86)【国際出願番号】 US2020019658

(87)【国際公開番号】W WO2020176472

(87)【国際公開日】2020-09-03

【審査請求日】2021-08-25

(31)【優先権主張番号】62/811,073

(32)【優先日】2019-02-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519287459

【氏名又は名称】ヴェオ ロボティクス， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】デネンバーグ， スコット

(72)【発明者】

【氏名】ソバルヴァッロ， パトリック

(72)【発明者】

【氏名】ヴュ， クララ

(72)【発明者】

【氏名】モエル， アルバート

(72)【発明者】

【氏名】ケルシー， リチャード エー．

【審査官】影山 直洋

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２２２０５２（ＵＳ，Ａ１）

【文献】特開平０３－２６６１０１（ＪＰ，Ａ）

【文献】特開平０６－３０９０１１（ＪＰ，Ａ）

【文献】特開２０１８－２０７３４９（ＪＰ，Ａ）

【文献】特開２００３－０２９８３２（ＪＰ，Ａ）

【文献】特開平１１－１１００４１（ＪＰ，Ａ）

【文献】特表２００６－５０１４８７（ＪＰ，Ａ）

【文献】特開２０１８－１８５７２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／４３

Ｂ２５Ｊ １９／０６

Ｂ６５Ｇ １／１３７

(57)【特許請求の範囲】

【請求項1】

３次元作業空間内の安全領域を識別するための安全システムであって、前記３次元作業空間は、制御された機械類と、前記作業空間を中心として分散される複数の作業セルと、１つ以上の自律的誘導車両とを含み、前記１つ以上の自律的誘導車両は、製造動作中に前記複数の作業セル間を移動するように構成され、前記安全システムは、各作業セル内に、
前記作業セルを中心として分散される複数のセンサであって、前記センサはそれぞれ、センサ視野内の前記作業セルの一部の画像を記録するためのものである、複数のセンサと、
コントローラであって、
前記センサによって取得された前記画像が、集合的に、前記作業空間を表すように、相互に対して前記センサを位置合わせすることと、
前記作業セルの３次元表現を複数のボリュームとして発生させることと、
前記作業セル内の１つ以上の安全ボリューム区域をマッピングすることであって、前記安全ボリューム区域は、前記機械類の安全区域の外側であり、前記安全区域は、前記機械類の少なくとも一部を囲繞する３次元ボリュームを含む、ことと、
第２のコントローラから、隣接する作業セルの少なくとも一部の３次元表現を複数のボリュームとして受信することと、
前記第２のコントローラに、前記作業セルの前記３次元表現の少なくとも一部を複数のボリュームとして伝送することと
を行うように構成される、コントローラと
を備え、前記１つ以上の自律的誘導車両は、前記１つ以上の自律的誘導車両の分類、場所、および配向を前記コントローラに伝送するように構成され、前記コントローラは、前記複数のボリューム内の前記１つ以上の自律的誘導車両に対応するボリュームを占有として分類するように構成されている、システム。

【請求項2】

前記コントローラはさらに、前記ボリュームのそれぞれを非占有、占有、または未知として分類するように構成され、前記安全ボリューム区域は、非占有としてマーキングされる、請求項１に記載の安全システム。

【請求項3】

前記第２のコントローラから受信された前記３次元表現内の前記ボリュームは、非占有、占有、または未知として分類される、請求項１に記載の安全システム。

【請求項4】

前記コントローラはさらに、前記第２のコントローラに、前記隣接する作業セルの中への前記作業セル内の物体の予測された移動を伝送するように構成される、請求項１に記載の安全システム。

【請求項5】

点は、ボクセルである、請求項１に記載の安全システム。

【請求項6】

前記第２のコントローラは、前記予測された移動に応答し、前記隣接する作業セルの安全区域の中への予測された侵入に応答して、前記隣接する作業セル内の機械類の動作を改変するように構成される、請求項４に記載の安全システム。

【請求項7】

前記第２のコントローラは、人間移動のモデルに従って、前記作業セルの中への前記予測された侵入を算出的に拡張するように構成される、請求項６に記載の安全システム。

【請求項8】

前記作業セル部分は、部分的に重複する、請求項１に記載の安全システム。

【請求項9】

前記第２のコントローラは、前記１つ以上の自律的誘導車両の軌道に従って、前記作業セルの中への前記予測された侵入を算出的に拡張するように構成される、請求項６に記載の安全システム。

【請求項10】

前記軌道は、前記１つ以上の自律的誘導車両によって前記第２のコントローラに通信される、請求項９に記載の安全システム。

【請求項11】

前記センサのうちの少なくともいくつかは、３Ｄセンサである、請求項１に記載の安全システム。

【請求項12】

前記センサのうちの少なくともいくつかは、飛行時間カメラである、請求項１１に記載の安全システム。

【請求項13】

前記センサのうちの少なくともいくつかは、３Ｄ ＬＩＤＡＲセンサである、請求項１１に記載の安全システム。

【請求項14】

３次元作業空間内の安全領域を識別するための安全システムであって、前記３次元作業空間は、制御された機械類と、前記作業空間を中心として分散される複数の作業セルと、１つ以上の自律的誘導車両とを含み、前記１つ以上の自律的誘導車両は、製造動作中に前記複数の作業セル間を移動するように構成され、前記安全システムは、
監督コントローラと、
各作業セル内に、
前記作業セルを中心として分散される複数のセンサであって、前記センサはそれぞれ、センサ視野内の前記作業セルの一部の画像を記録するためのものであり、前記作業セル部分は、少なくとも部分的に、相互と重複する、複数のセンサと、
ローカルコントローラであって、
前記センサによって取得された前記画像が、集合的に、前記作業セルを表すように、相互に対して前記センサを位置合わせすることと、
前記作業セルの３次元表現を複数のボリュームとして発生させることと、
前記作業セル内の１つ以上の安全ボリューム区域をマッピングすることであって、
前記安全ボリューム区域は、前記機械類の安全区域の外側であり、前記安全区域は、前記機械類の少なくとも一部を囲繞する３Ｄボリュームを含む、ことと、
前記監督コントローラに、前記作業セルの前記３次元表現の少なくとも一部を複数のボリュームとして伝送することと
を行うように構成される、ローカルコントローラと
を備え、
前記監督コントローラは、各ローカルコントローラに、他のローカルコントローラから受信されたデータに基づいて、前記ローカルコントローラと関連付けられる前記作業セルの中への物体の予測された移動を伝送するように構成され、
前記１つ以上の自律的誘導車両は、前記１つ以上の自律的誘導車両の分類、場所、および配向を前記ローカルコントローラまたは前記監督コントローラに伝送するように構成され、前記ローカルコントローラは、前記複数のボリューム内の前記１つ以上の自律的誘導車両に対応するボリュームを占有として分類するように構成されている、
システム。

【請求項15】

前記ローカルコントローラはさらに、前記ボリュームのそれぞれを非占有、占有、または未知として分類するように構成され、前記安全ボリューム区域は、非占有としてマーキングされる、請求項１４に記載の安全システム。

【請求項16】

点は、ボクセルである、請求項１４に記載の安全システム。

【請求項17】

各作業セルの前記ローカルコントローラは、前記予測された移動に応答し、その安全区域の中への予測された侵入に応答して、前記作業セル内の機械類の動作を改変するように構成される、請求項１４に記載の安全システム。

【請求項18】

各ローカルコントローラは、人間移動のモデルに従って、前記作業セルの中への予測された侵入を算出的に拡張するように構成される、請求項１７に記載の安全システム。

【請求項19】

前記センサのうちの少なくともいくつかは、３Ｄセンサである、請求項１４に記載の安全システム。

【請求項20】

前記センサのうちの少なくともいくつかは、飛行時間カメラである、請求項１９に記載の安全システム。

【請求項21】

前記センサのうちの少なくともいくつかは、３Ｄ ＬＩＤＡＲセンサである、請求項１９に記載の安全システム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１９年２月２７日に出願された米国仮特許出願第６２／８１１，０７３号の優先権および利益を主張し、それを参照することによってその全体として本明細書に組み込む。

【0002】

本発明の分野は、概して、人間および機械類が相互作用する、または近接する産業環境の監視に関し、具体的には、監視されるマルチセル作業空間内の非安全条件を検出するためのシステムおよび方法に関する。

【背景技術】

【0003】

現代の製造は、概して、それを通して、仕掛品が、仕掛品を搬送する、輸送の手段、例えば、コンベヤベルト、ローラステージ、車両（フォークリフト、カート、または台車等、誘導される、自律的である、または人間によって制御または運転される）、または作業セルの間を歩行または運転する人間によって移動される、固定された作業セルにおける製造プロセス（溶接、塗装、および組立等）のセットの逐次的実行を伴う。製造に関する単純かつ周知の配列は、組立ラインであり、作業セルは、ライン内に配列され、固定された経路を通して仕掛品（「ワークピース」）を移動させるコンベヤベルトまたはチェーンラインを通して接続される。あまり一般的ではない代替物は、ワークピースが作業セル内に留まり、製造プロセスが定位置で実施され、部品およびツールが逐次的製造ステップのために必要に応じて作業セルに進行するものである。本配列は、製造されているアイテムが大きい、または重すぎて作業セルの間で移動させることができない状況において一般的である。

【0004】

なおも別の配列は、セル製造と呼ばれ、作業セルは、ワークピース通過時間、部品送達、または作業命令の混合等の因子を最適化するために、工場床の周囲に柔軟に配列される。セル製造では、個々の作業セルは、「柔軟」である、すなわち、ある時間周期において生産されている製品の混合に従って、異なるワークピースに対して異なるプロセスステップを実施することが可能であり得、いくつかの作業セルは、個々のワークピースに対していくつかの逐次的ステップを実施し得る。セル製造は、工場レイアウトおよびワークフローが、迅速またはさらには動的に再構成され得るため、作業命令の変動が多い工場において特に有利である。

【0005】

各作業セルは、関連するプロセスステップのために必要な機械類および固定具を含む。例えば、塗装作業セルは、塗装ロボット、塗料分注および保護機器、および塗装されるアイテムを装填および装填解除するために必要な工具を有し得る。塗装作業セルはまた、作業セル内の機器を起動および管理するようにプログラムされ得る、コンピュータまたは電子制御システムを含む可能性が高いであろう。組立作業セルは、組み立てられるべきワークピースを保持するために必要な固定具、機械または人間が組立ステップを実行するためのツール、およびワークピースを作業セルから出し入れするためのコンベヤまたは装填機器を有し得る。同様に、ミリング作業セルは、手動または自動的のいずれかで、ミリング機械を装填および装填解除するための固定具および機器とともに、その中心にミリング機械を有し得る。ミリング機械は、ワークピースに対して必要な動作を統御する、コンピュータ化数値制御システムを有する可能性が高いであろう。

【0006】

作業セルは、完全に自動化され、それによって、ワークピースの装填および装填解除および製造ステップは全て、機械によって実施されるか、完全に手動であり、全てのステップは、人間（手または電動ツールを使用する可能性が高い）によって実行されるか、またはその間の何らかのものであり得、例えば、機械が、人間によって装填または装填解除される、または人間が、機械によって扱われている部品に対して製造ステップを実行する。自動化レベルは、絶えず増加しているが、人間は、依然として、工場床を支配し、工場タスクの大部分は、人間によって実施される。

【0007】

工場または製造現場は、いくつかの作業セルのみから成ることができる（例えば、単純な塗装部門）、またはこれは、それぞれ、自動車工場におけるもの等の製造ステップを実装する、数百の作業セルを有することができる。作業セルは、相互に隣接し得、したがって、仕掛品は、作業セルから作業セルに（例えば、コンベヤベルト、ガイドレール、または重力シュートを介して）渡される、または作業セルは、代わりに、人間または車両が通過することを可能にするためのレーンによって分離されることができる。時として、あるタイプの作業セル（例えば、溶接または塗装作業セル）は、物理的空間内でともに群化され、したがって、塗装または溶接される必要がある全てのワークピースは、塗装または溶接部門から出し入れされる。

【0008】

工場プロセスフローおよび生産プロファイルは、製造実行システム（ＭＥＳ）または他の工場制御システムを使用して、コンピュータを介して制御されることが増えている。工場制御システムは、それらが動作しているかどうか、それらの生産率、障害状態、保守要件、および他のインジケータ等の作業セルからの工場床レベル状態情報を集約する。より広範には、ＭＥＳは、工場においてだけではなく、また、倉庫または配送センター等の多数のアイテムおよび機器の状態および条件を追跡することが必要である他の用途においても使用される。倉庫または配送センターにおけるＭＥＳシステムの同等物は、倉庫管理システム（ＷＭＳ）として公知である。ＷＭＳは、保管中の商品の場所および可用性により焦点を当てるが、また、ピッキングステーションまたはパレタイザ等の倉庫内で使用される特殊化作業セルの状態を追跡する。

【0009】

最も低いレベルにおいて、本情報は、作業セル内、作業セル内の機械内、または仕掛品（または倉庫内の進行中の商品）を含有する面積内のフィールドセンサおよびアクチュエータによって収集される。これらのセンサおよびアクチュエータは、位置、圧力、温度、重量、運動、振動、またはそれから機械の状態が確認され得るインジケータの不在または存在に関する情報を連続的に収集し得る。本情報はまた、作業空間内の人間によって提供されることができ、人間は、機械類および仕掛品の状態を確認し、その情報を工場床上の人間－機械インターフェースを介して提供することができる。

【0010】

センサおよびアクチュエータによって、または人間によって収集されたこれらの低レベルデータ点は、次いで、プログラマブル論理コントローラ（ＰＬＣ）または産業マイクロコントローラユニット等の周辺デバイスを通して、監督制御およびデータ入手（ＳＣＡＤＡ）システムに集約される。ＳＣＡＤＡ（または同等の）システムは、本情報を収集し、分析し、ＭＥＳシステムに提示し、グラフィカルおよび他のユーザインターフェースを通して工場オペレータおよび作業者に提示し、それらの人々が個々の作業セルおよび製造工場全体の状態を確認し、それに応答することを可能にする。倉庫では、ＳＣＡＤＡシステムは、例えば、バーコード走査装置および物体識別センサおよびアクチュエータを使用して、在庫管理およびアイテム追跡により焦点を当て得る。

【0011】

算出性能の増加およびセンサおよび作動費用の激減は、これらのＳＣＡＤＡおよびＭＥＳシステムの採用を加速させ、事実上、製造プラットフォームを「よりスマート」にしている。知覚、能動、およびコンテキストアウェア製造制御システムを導入することによって生産を編成するための本モデルは、多くの場合、「インダストリ４．０」と称される。開ループの低データ強度静的製造プロセスの代わりに、増加するコンピュータ化制御のレベルは、工場床上の自動化および自律性を導入している。そのような自動化および自律性は、個々の製造ステップまたは作業セルが、サービスと見なされ得るように、工場床にコンテキストアウェアネスを追加する。これらのサービスは、次いで、可能性として恣意的な方法で組み合わせられ、小ロットサイズであっても、または高い製品変動性を伴っても、柔軟かつ費用効果のある製造を可能にすることができる。セル組立は、これが、仕掛品が無人輸送システムまたは自律的可動ロボット上で作業セルの間で往復される多方向レイアウトを可能にするため、自動化から特に利益を享受することができる。組立ラインの固定されたコンベヤの代わりに、自律的輸送システムは、レーザ走査装置、無線周波数識別（ＲＦＩＤ）技術、基準、または他の誘導およびマッピング技術によって作業セルの間で誘導される。そのようなアプローチは、迅速な組立レイアウト変更および柔軟な製造を可能にする。

【0012】

上記のように、代替製造配列は、仕掛品が、いくつかのステップにおいて定常のままであり、作業を実施する機械および人間が、自律的である、または人間によって運転され得る可動デバイス上で作業セルにもたらされるものである。例えば、自動車組立では、自動車本体は、単一の場所に留まることができる一方、可動ロボットアーム（単純に、自律車両上に搭載されるロボットであり得る）が、車両上に搭載されるべき部品（タイヤ、扉、または機関ブロック等）を搬送する可動車両とともに、作業セルに接近する。可動ロボットは、可能性として人間と協働して、そのタスクを実施し、次いで、別の自動車本体を伴う別の作業セルに続けて移動することができる。極端に言えば、作業セル自体が、可動性であり、製造タスクを実施すると同時に、工場の周囲の仕掛品を付加的定常作業セルに往復させることができる。

【0013】

自動車製造業者等の資本財製造業者は、自動車モデルの多様性の問題に対する解決策として、これらのセル製造概念を実験している。単一のモデルが、セダン、ハッチバック、およびコンバーチブルバージョンにおいて利用可能であり得るが、また、ディーゼル、プラグインハイブリッド、またはさらには電気等の異なるパワートレインにおいて利用可能であり得る。いくつかのモデルは、電気システムを配線する、または暖房シートまたはサンルーフ等の顧客特有オプションを配設するためにより多くの時間を要求する。本余分な時間は、ラインが、最も遅い製造作業セルステップとともに移動するため、作業セルが相互に隣接し、仕掛品を引動するコンベヤベルトまたはチェーンと接続される従来的組立ラインを減速させる。さらに、これらの顧客特有作業セル内の作業者および機械は、組立ラインに流れてきた自動車が、サンルーフ等の具体的オプションを要求しないとき、アイドル状態のままである。セル組立は、車両を空いているワークステーションに一定のペースで向け直すことによって、ラインを高速化し、アイドル時間を低減させることができる。

【0014】

倉庫オペレータもまた、自動化の度合いを増加させており、自動化回収および保管システム、コンベヤ、自動化ピッキングステーション、パレタイザ、およびデパレタイザに加えて、多数の自動化誘導または自律車両およびロボットを導入している。これらの増加する自動化のレベルは、倉庫内の人間および機械が、今後ますます相互に近接近して相互作用し、ＷＭＳが、機器および在庫だけではなく、また、倉庫内の人間も管理する必要性が存在することを意味する。

【0015】

これらの高度なＳＣＡＤＡおよびＭＥＳ工場および倉庫制御システムは、より強力であり、柔軟であり、普及したものになっているが、それらの焦点は、工場床上の（可動および固定両方の）機械類および機器に当てられており、監視されている機械とともに、かつそれに隣り合って作業する人間、または人間と機械との間の相互作用に当てられていない。工場床における製造作業セルおよび仕掛品輸送の圧倒的大部分は、依然として、人間による入力および労力を要求する。人間は、高頻度において、機械を装填および装填解除し、機械の支援を受けて製造動作を実行し、工場の周囲でワークピースを移動させている。「消灯された」工場または倉庫床（動作の間に人間による入力を要求しない）であっても、保守、障害復旧、または機器アップグレードのために人間を「消灯された」空間に定期的に進入させる。

【0016】

産業機械類は、多くの場合、人間にとって危険であるため、人間への害を防止することに対する最も一般的なアプローチは、防護として公知の機器を使用して、人間および機器を分離した状態に保つことである。１つの非常に単純かつ一般的なタイプの防護は、機械類を囲繞するケージであり、ケージの扉を開放することが、電気回路に、機械類を運転停止させるように構成される。これは、人間が、これが動作している間に機械類に決して接近し得ないことを確実にする。より洗練されたタイプの防護は、例えば、光学センサを伴い得る。実施例は、任意の物体が１つ以上の光エミッタおよび検出器によって定義された領域の中に侵入したかどうかを決定する、光カーテン、およびセンサから発出する一連の光線に沿った障害物までの最小距離を検出するために能動的光学感知を使用し、したがって、事前構成された２Ｄ区域の中への近接または侵入のいずれかを検出するように構成され得る、２Ｄ ＬＩＤＡＲセンサを含む。ロボット安全コントローラの進歩は、静的および動的安全領域のより洗練されたプログラミングを可能にし、より近接する人間－機械相互作用を可能にしている。

【0017】

協働的ロボットと併用されるもの等のいくつかのアプローチは、力、トルク、または容量センサを通して機械との衝突を検出すること、能動的または受動的応従性を通して力を限定すること、機械またはロボット速度を限定すること、または機械類上の危険な衝打区域またはピンチポイントにクッションを備える、またはパッドを入れることに依拠する。しかしながら、これらのアプローチのいずれも、衝突を防止せず、安全システムにおけるそれらの実行可能性および有用性を限定する。

【0018】

移動車両（人間によって動作される、および無人の両方であり、測位システムを介して誘導される、または完全に自律的であり得る）は、それらが、関連のあるとき、例えば、商品搬送機を装填または装填解除する、またはフォークリフトに進入するとき、車両へのアクセスを可能にしながら、工場床上の人間との意図せぬ衝突を防止しなければならないため、特別な問題を課す。いくつかの解決策が、可動車両と人間との間の安全な相互作用のために開発されている。最も単純なアプローチは、人間の周囲で動作する可動プラットフォームの速度に対して厳密な上限を設け、それらが、人間に到達する前に停止し得る、または人間が、機械との衝突を回避するために十分に迅速に反応し得るように、十分に遅い速度で進行することである。しかしながら、車両が、安全のためのオンボード感知を有し、その感知が、角を曲がった所を見ることができない場合、動作空間内の障害物は、人間が、車両に近接して出現することを可能にし、車両が安全に進行し得る最高速度を実質的に低減させ得る。

【0019】

他のアプローチは、車両または周辺環境のいずれかの上に搭載される、受動的警告信号または能動的感知を伴う。受動的アプローチは、移動車両を囲繞する面積内の人間によって聞こえ得る可聴信号または車両の経路の前方および後方にビームを投影し、その存在を人間にアラートするために移動車両上に搭載される警告スポットライトを含む。より情報が豊富な受動的警告システムは、２Ｄカメラの使用であり、これは、車両（例えば、人間が動作させるフォークリフト）上または遠隔のいずれかの車両運転者によって監視されることができる。これらの受動的アプローチは全て、限界を有する。可聴信号は、騒音の大きい工場床上の人間に聞こえない場合があり、視覚信号は、十分に明るくない場合がある、または機器または固定具によってオクルードされる場合があり、２Ｄカメラは、危険条件をトリガするために一定のオペレータの注意に依拠し、したがって、事故を防止するそれらの能力において限定される。

【0020】

能動的アプローチは、人間オペレータが工場床上にいる間に装着する、ＲＦＩＤタグまたは他の応答機方法の使用を含む。車両上または周辺環境上の受信機は、これらのＲＦＩＤタグまたは応答機を検出し、衝突または危険な状況が迫っているときに人間または車両にシグナリングすることができる。他のアプローチは、通常、移動車両の前部および後部上に、またはその角に搭載される、レーダ、ＬＩＤＡＲ、または超音波技術に基づく。

【0021】

これらの２Ｄアプローチは全て、３Ｄにおいて侵入を明確に検出するそれらの能力によって限定され、温度変化および照明等の周囲条件に非常に敏感である。さらに、それらの視野は、移動車両上のそれらの配向および配設によって限定される。移動車両の角に設置される前向き２Ｄ ＬＩＤＡＲ（２Ｄ ＬＩＤＡＲの頻繁な用途）は、その視界内にあるものしか「見る」ことができず、車両の後方または角を曲がった所を見ることができない。また、これは、２Ｄにおいてのみそのように行うことができるため、その視野の上方または下方からの障害物の進入は、検出されずにいるであろう。これらのビジョン視野制約およびオクルージョンは、車両の動作速度を限定し、効率およびサイクル時間を低減させる。

【0022】

別のアプローチは、障害物追跡および識別のために、移動車両上の２Ｄまたは３Ｄカメラを利用する。カメラを使用する既存のビジョンベースのシステムは、人間がオクルードされず、十分に分離され、明確に可視であるときに良好に稼働する。うつ伏せになる、屈む、または機械類または他の人間によって部分的にオクルードされる人間は、識別および追跡することがはるかに困難である。ステレオおよびＲＧＢカメラもまた、温度、採光、または振動等の環境条件の変化からの性能変動が生じやすい。

【0023】

必要とされるものは、人間および固定および可動機械類を含む作業空間内、および異なる作業セル間の全ての物体を確実かつ安全に検出、分類、および追跡するためのシステムおよび方法である。本検出、分類、および追跡は、それらが、工場または倉庫のもう１つの要素として工場または倉庫制御システムに組み込まれ得るように、３Ｄであり、全ての方向からのものであり、動的オクルージョンを考慮するべきである。これは、工場または倉庫内の機械が、人間の近接を「感知」し、（例えば）運転停止する、停止する、またはそれらの存在を人間にアラートすることによって、人間の存在に安全に応答することを可能にするであろう。

【発明の概要】

【課題を解決するための手段】

【0024】

本発明の実施形態は、人物、ロボット、または車両が、同一の工場床上の１つの作業セルまたは空間から別のものの中に通過するとき、新しい作業セルまたは空間が、分析および分類のタスクを繰り返す必要がなく、代わりに、新しい参入者を既存の作業セルまたは空間監視スキーマに直ちに統合し得るように、作業セルまたは分散監視システム間の通信を促進する。作業セルまたは空間はまた、オクルージョン、非安全面積、移動速度、および物体軌道等の属性を通信し、新しい作業セルまたは空間の監視システムによる迅速な反応を可能にすることができる。作業セルまたは空間は、それらの最近傍の近隣と直接通信するように構成されることができる、または通信は、中央サーバを通して扱われることができる。下記の説明は、主として、製造動作または工場に関するが、概念はまた、倉庫、配送センター、または発電所等、人間および機械が相互作用する必要がある任意の他の作業空間に適用可能である。

【0025】

本発明の実施形態は、人物、ロボット、または車両が、同一の工場床上の１つの作業セルまたは空間から別のものの中に通過するとき、新しい作業セルまたは空間が、分析および分類のタスクを繰り返す必要がなく、代わりに、新しい参入者を既存の作業セルまたは空間監視スキーマに直ちに統合し得るように、作業セルまたは分散監視システム間の通信を促進する。作業セルまたは空間はまた、オクルージョン、非安全面積、移動速度、および物体軌道等の属性を通信し、新しい作業セルまたは空間の監視システムによる迅速な反応を可能にすることができる。作業セルまたは空間は、それらの最近傍の近隣と直接通信するように構成されることができる、または通信は、中央サーバを通して扱われることができる。

【0026】

本明細書による方法およびシステムは、複数の個々の独立した作業セルおよび作業空間監視システムを接続または連結することによって、工場または倉庫内の恣意的な数の作業セルおよび作業空間の安全な監視を促進してもよい。本明細書に使用されるように、用語「作業空間」は、例えば、工場床上の作業セルの間の空間を指し、作業空間内の人間および車両は、作業セルにアクセスする、または作業セルの間で仕掛品を移動させ得る。個々の作業セル監視システムは、具体的作業セル、複数の作業セルを囲繞する作業空間、または作業セルを接続する作業空間（例えば、作業セルの間の車両のための、または人間アクセスのための輸送レーン）を網羅してもよい。

【0027】

種々の実施形態では、監視される作業セル内の領域は、占有、非占有、または未知としてマーキングされてもよく、空の空間のみが、任意の付加的安全基準、例えば、一式の制御された機械類からの最小距離が満たされるときのみ、最終的に安全と見なされることができる。一般に、各センサからの未加工データは、センサに対応するカバレッジの区域全体を通して、３Ｄマッピングされた空間の物体または境界が、決定的に検出されたかどうかを決定するために分析される。人物が、３Ｄ空間内で移動する際、人物は、典型的には、いくつかのセンサから一部の面積をオクルードし、一時的に未知である空間の面積をもたらすであろう。加えて、産業ロボットアーム等の移動する機械類もまた、一部の面積を一時的にオクルードし得る。人物または機械類が、異なる場所に移動すると、１つ以上のセンサは、未知の空間を再度観察することが可能であり、これを確認された空の状態に戻し、したがって、ロボットまたは機械が本空間内で動作することは、安全であろう。故に、いくつかの実施形態では、空間はまた、「潜在的に占有」として分類されてもよい。未知の空間は、未知の空間が占有され得る条件が生じると、潜在的に占有されていると見なされる。これは、未知の空間が、作業空間への進入点に隣接するとき、または未知の空間が、占有される、または潜在的に占有される空間に隣接する場合に起こり得る。潜在的に占有される空間は、作業空間を通して移動する人間を表すあるレートで未知の空間に「入る」。潜在的に占有される空間は、これが空であると観察されるまで、潜在的に占有されたままである。安全目的のために、潜在的に占有される空間は、占有される空間と同一と見なされる。

【0028】

能動的光学信号に依拠するもの等のいくつかのセンサモダリティに関して、物体または境界を決定的に検出するセンサの能力は、距離に伴って急速に低下し、すなわち、ある距離を越えると、センサは、関連付けられる照明レベルが、類似しすぎるため、物体と空の空間とを区別することが可能ではない場合がある。そのような場所における点または領域は、関連するセンサに対して「未知」としてマーキングされ、そのようにマーキングされた領域は、そのセンサによって空として確認されることができない。

【0029】

故に、第１の側面では、本発明は、制御された機械類と、作業空間を中心として分散される、複数の作業セルとを含む、３次元作業空間内の安全領域を識別するための安全システムに関する。種々の実施形態では、本システムは、各作業セル内に、作業セルを中心として分散される、複数のセンサであって、センサはそれぞれ、センサ視野内の作業セルの一部の画像を記録するためのピクセルのグリッドと関連付けられる、複数のセンサと、（ｉ）センサによって取得された画像が、集合的に、作業空間を表すように、相互に対してセンサを位置合わせし、（ｉｉ）作業セルの３次元表現を複数のボリュームとして発生させ、（ｉｉｉ）作業セル内の１つ以上の安全ボリューム区域をマッピングし、ボリューム区域は、機械類の安全区域の外側であり、（ｉｖ）第２のコントローラから、隣接する作業セルの少なくとも一部の３次元表現を複数のボリュームとして受信し、（ｖ）第２のコントローラに、作業セルの３次元表現の少なくとも一部を複数のボリュームとして伝送するように構成される、コントローラとを備える。

【0030】

種々の実施形態では、コントローラはさらに、ボリュームのそれぞれを非占有、占有、または未知として分類するように構成され、安全ボリューム区域は、非占有としてマーキングされる。第２のコントローラから受信された３次元表現内のボリュームは、非占有、占有、または未知として分類されてもよい。

【0031】

いくつかの実施形態では、コントローラはさらに、第２のコントローラに、隣接する作業セルの中への作業セル内の物体の予測された移動を伝送するように構成される。点は、ボクセルであってもよく、安全区域は、機械類の少なくとも一部を囲繞する３Ｄボリュームであってもよい。作業セル部分は、部分的に重複してもよい。

【0032】

第２のコントローラは、予測された移動に応答し、第２の作業セルの安全区域の中への予測された侵入に応答して、隣接する作業セル内の機械類の動作を改変するように構成されてもよい。第２のコントローラは、人間移動のモデルおよび／または自律的誘導車両の軌道に従って、作業セルの中への予測された侵入を算出的に拡張するように構成されてもよい。軌道は、例えば、自律的誘導車両によって第２のコントローラに通信されてもよい。

【0033】

種々の実施形態では、センサは、３Ｄセンサ、例えば、飛行時間カメラである。代替として、または加えて、センサのうちの少なくともいくつかは、３Ｄ ＬＩＤＡＲセンサであってもよい。

【0034】

別の側面では、本発明は、制御された機械類と、作業空間を中心として分散される、複数の作業セルとを含む、３次元作業空間内の安全領域を識別するための安全システムに関する。種々の実施形態では、本システムは、監督コントローラと、各作業セル内に、（ｉ）作業セルを中心として分散される、複数のセンサであって、センサはそれぞれ、センサ視野内の作業セルの一部の画像を記録するためのピクセルのグリッドと関連付けられ、作業セル部分は、少なくとも部分的に、相互と重複する、複数のセンサと、（ｉｉ）（Ａ）センサによって取得された画像が、集合的に、作業セルを表すように、相互に対してセンサを位置合わせし、（Ｂ）作業セルの３次元表現を複数のボリュームとして発生させ、（Ｃ）作業セル内の１つ以上の安全ボリューム区域をマッピングし、ボリューム区域は、機械類の安全区域の外側であり、（Ｄ）監督コントローラに、作業セルの３次元表現の少なくとも一部を複数のボリュームとして伝送するように構成される、ローカルコントローラとを備える。監督コントローラは、各ローカルコントローラに、他のローカルコントローラから受信されたデータに基づいて、ローカルコントローラと関連付けられる作業セルの中への物体の予測された移動を伝送するように構成されてもよい。

【0035】

種々の実施形態では、ローカルコントローラはさらに、ボリュームのそれぞれを非占有、占有、または未知として分類するように構成され、安全ボリューム区域は、非占有としてマーキングされる。点は、ボクセルであってもよく、安全区域は、機械類の少なくとも一部を囲繞する３Ｄボリュームであってもよい。各作業セルのローカルコントローラは、予測された移動に応答してもよく、その安全区域の中への予測された侵入に応答して、作業セル内の機械類の動作を改変するように構成されてもよい。例えば、各ローカルコントローラは、人間移動のモデルに従って、作業セルの中への予測された侵入を算出的に拡張するように構成されてもよい。

【0036】

センサのうちの少なくともいくつかは、３Ｄセンサ、例えば、飛行時間カメラおよび／または３Ｄ ＬＩＤＡＲセンサであってもよい。

【0037】

一般に、本明細書に使用されるように、用語「実質的に」は、±１０％を意味し、いくつかの実施形態では、±５％を意味する。加えて、本明細書全体を通した「一実施例（ｏｎｅ ｅｘａｍｐｌｅ）」、「ある実施例（ａｎ ｅｘａｍｐｌｅ）」、「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、または「ある実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」の言及は、実施例に関連して説明される特定の特徴、構造、または特性が、本技術の少なくとも１つの実施例に含まれることを意味する。したがって、本明細書全体を通した種々の箇所における語句「一実施例では（ｉｎ ｏｎｅ ｅｘａｍｐｌｅ）」、「ある実施例では（ｉｎ ａｎ ｅｘａｍｐｌｅ）」、「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、または「ある実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」の表出は、必ずしも全てが同一の実施例を指すわけではない。さらに、特定の特徴、構造、ルーチン、ステップ、または特性は、本技術の１つ以上の実施例において任意の好適な様式で組み合わせられてもよい。本明細書に提供される見出しは、便宜上のためだけのものであり、請求される技術の範囲または意味を限定または解釈することを意図していない。
本発明は、例えば、以下の項目を提供する。
（項目１）
制御された機械類と、作業空間を中心として分散される複数の作業セルとを含む３次元作業空間内の安全領域を識別するための安全システムであって、前記システムは、各作業セル内に、
前記作業セルを中心として分散される複数のセンサであって、前記センサはそれぞれ、センサ視野内の前記作業セルの一部の画像を記録するためのピクセルのグリッドと関連付けられる、複数のセンサと、
コントローラであって、
前記センサによって取得された前記画像が、集合的に、前記作業空間を表すように、相互に対して前記センサを位置合わせすることと、
前記作業セルの３次元表現を複数のボリュームとして発生させることと、
前記作業セル内の１つ以上の安全ボリューム区域をマッピングすることであって、前記ボリューム区域は、前記機械類の安全区域の外側である、ことと、
第２のコントローラから、隣接する作業セルの少なくとも一部の３次元表現を複数のボリュームとして受信することと、
前記第２のコントローラに、前記作業セルの３次元表現の少なくとも一部を複数のボリュームとして伝送することと
を行うように構成される、コントローラと
を備える、システム。
（項目２）
前記コントローラはさらに、前記ボリュームのそれぞれを非占有、占有、または未知として分類するように構成され、前記安全ボリューム区域は、非占有としてマーキングされる、項目１に記載の安全システム。
（項目３）
前記第２のコントローラから受信された前記３次元表現内の前記ボリュームは、非占有、占有、または未知として分類される、項目１に記載の安全システム。
（項目４）
前記コントローラはさらに、前記第２のコントローラに、前記隣接する作業セルの中への前記作業セル内の物体の予測された移動を伝送するように構成される、項目１に記載の安全システム。
（項目５）
点は、ボクセルである、項目１に記載の安全システム。
（項目６）
前記安全区域は、前記機械類の少なくとも一部を囲繞する３Ｄボリュームである、項目１に記載の安全システム。
（項目７）
前記第２のコントローラは、前記予測された移動に応答し、前記第２の作業セルの安全区域の中への予測された侵入に応答して、前記隣接する作業セル内の機械類の動作を改変するように構成される、項目４に記載の安全システム。
（項目８）
前記第２のコントローラは、人間移動のモデルに従って、前記作業セルの中への前記予測された侵入を算出的に拡張するように構成される、項目７に記載の安全システム。
（項目９）
前記作業セル部分は、部分的に重複する、項目１に記載の安全システム。
（項目１０）
前記第２のコントローラは、自律的誘導車両の軌道に従って、前記作業セルの中への前記予測された侵入を算出的に拡張するように構成される、項目７に記載の安全システム。
（項目１１）
前記軌道は、前記自律的誘導車両によって前記第２のコントローラに通信される、項目７に記載の安全システム。
（項目１２）
前記センサのうちの少なくともいくつかは、３Ｄセンサである、項目１に記載の安全システム。
（項目１３）
前記センサのうちの少なくともいくつかは、飛行時間カメラである、項目１２に記載の安全システム。
（項目１４）
前記センサのうちの少なくともいくつかは、３Ｄ ＬＩＤＡＲセンサである、項目１２に記載の安全システム。
（項目１５）
制御された機械類と、作業空間を中心として分散される複数の作業セルとを含む３次元作業空間内の安全領域を識別するための安全システムであって、前記システムは、
監督コントローラと、
各作業セル内に、
前記作業セルを中心として分散される複数のセンサであって、前記センサはそれぞれ、センサ視野内の前記作業セルの一部の画像を記録するためのピクセルのグリッドと関連付けられ、前記作業セル部分は、少なくとも部分的に、相互と重複する、複数のセンサと、
ローカルコントローラであって、
前記センサによって取得された前記画像が、集合的に、前記作業セルを表すように、相互に対して前記センサを位置合わせすることと、
前記作業セルの３次元表現を複数のボリュームとして発生させることと、
前記作業セル内の１つ以上の安全ボリューム区域をマッピングすることであって、前記ボリューム区域は、前記機械類の安全区域の外側である、ことと、
前記監督コントローラに、前記作業セルの３次元表現の少なくとも一部を複数のボリュームとして伝送することと
を行うように構成される、ローカルコントローラと
を備え、
前記監督コントローラは、各ローカルコントローラに、他のローカルコントローラから受信されたデータに基づいて、前記ローカルコントローラと関連付けられる前記作業セルの中への物体の予測された移動を伝送するように構成される、
システム。
（項目１６）
前記ローカルコントローラはさらに、前記ボリュームのそれぞれを非占有、占有、または未知として分類するように構成され、前記安全ボリューム区域は、非占有としてマーキングされる、項目１５に記載の安全システム。
（項目１７）
点は、ボクセルである、項目１５に記載の安全システム。
（項目１８）
前記安全区域は、前記機械類の少なくとも一部を囲繞する３Ｄボリュームである、項目１５に記載の安全システム。
（項目１９）
各作業セルの前記ローカルコントローラは、前記予測された移動に応答し、その安全区域の中への予測された侵入に応答して、前記作業セル内の機械類の動作を改変するように構成される、項目１５に記載の安全システム。
（項目２０）
各ローカルコントローラは、人間移動のモデルに従って、前記作業セルの中への予測された侵入を算出的に拡張するように構成される、項目１９に記載の安全システム。
（項目２１）
前記センサのうちの少なくともいくつかは、３Ｄセンサである、項目１５に記載の安全システム。
（項目２２）
前記センサのうちの少なくともいくつかは、飛行時間カメラである、項目２１に記載の安全システム。
（項目２３）
前記センサのうちの少なくともいくつかは、３Ｄ ＬＩＤＡＲセンサである、項目２１に記載の安全システム。

【図面の簡単な説明】

【0038】

図面では、同様の参照文字は、概して、異なる図全体を通して同一の部分を指す。また、図面は、必ずしも縮尺通りではなく、代わりに、概して、本発明の原理を図示することに重点が置かれている。以下の説明では、本発明の種々の実施形態が、以下の図面を参照して説明される。

【0039】

【図1】図１は、本発明のある実施形態による、監視される作業空間の斜視図である。

【0040】

【図2】図２は、本発明のある実施形態による、監視される作業空間内の領域の分類を図式的に図示する。

【0041】

【図3】図３は、本発明のある実施形態による、制御システムを図式的に図示する。

【0042】

【図4】図４は、本発明のある実施形態による、物体監視システムを図式的に図示する。

【0043】

【図5】図５は、一式の産業機械類に近接する漸進的安全エンベロープの定義を図式的に図示する。

【0044】

【図6】図６は、複数の監視される作業セルを含む、作業空間を図式的に図示する。

【発明を実施するための形態】

【0045】

以下の議論では、作業空間を監視し、安全目的のためにその中の領域を分類し、安全状態を動的に識別するための統合システムを説明する。ある場合には、後者の機能は、作業空間内のロボットの意味論分析およびこれが相互作用するワークピースの識別を伴う。しかしながら、これらの種々の要素が、別個に、または所望の組み合わせでともに実装され得、本明細書に議論される発明的側面が、説明される要素の全てを要求するわけではなく、これが、単に、提示を容易にするために、およびそれらの相互運用性を例証するためにともに記載されることを理解されたい。説明されるようなシステムは、単に、一実施形態を表す。
１．作業セル監視

【0046】

最初に、１０２_１および１０２_２に代表的に示される複数のセンサによって監視される、代表的３Ｄ作業セル１００を図示する、図１を参照する。センサ１０２は、理想的には、高フレームレート（例えば、３０Ｈｚ～１００Ｈｚ）を伴うカメラ、例えば、３Ｄ飛行時間カメラ、ステレオビジョンカメラ、または３Ｄ ＬＩＤＡＲセンサまたはレーダベースのセンサ等の従来の光学センサであってもよい。センサ１０２の動作モードは、作業セル１００の３Ｄ表現がセンサ１０２によって取得される画像または他のデータから取得可能である限り、重要ではない。図に示されるように、センサ１０２は、集合的に網羅し、従来のロボットコントローラ１０８によって制御されるロボット１０６を含む作業セル１００を監視することができる。ロボットは、種々のワークピースＷと相互作用し、作業セル１００内の人物Ｐは、ワークピースおよびロボット１０８と相互作用し得る。作業セル１００はまた、補助機器１１０の種々のアイテムを含有し得、これは、センサからその種々の部分をオクルードすることによって作業セルの分析を複雑にし得る。実際に、センサの任意の現実的な配列は、高頻度において、アクティブな作業セルの少なくとも一部を「見る」ことができないであろう。これは、図１の簡略化された配列に図示され、人物Ｐの存在に起因して、ロボットコントローラ１０８の少なくとも一部は、全てのセンサからオクルードされ得る。人々が横断し、定常物体でさえも時々移動され得る環境では、観察不可能な領域は、偏移および変動するであろう。

【0047】

図２に示されるように、本発明の実施形態は、作業セル領域を占有、非占有（または空）、または未知として分類する。図示を容易にするために、図２は、２次元における作業セル２００内の２つのセンサ２０２_１、２０２_２およびそれらのカバレッジの区域２０５_１、２０５_２を示し、同様に、３Ｄ物体の２Ｄ占有面積２１０のみが、示される。物体境界とセンサ２００との間のカバレッジ区域２０５の一部は、各センサが、本介在空間内にいかなる障害物も肯定的に検出しないため、非占有としてマーキングされる。物体境界における空間は、占有としてマーキングされる。物体境界を越えたカバレッジ区域２０５では、全ての空間が、未知としてマーキングされ、対応するセンサは、本領域内の占有を感知するように構成されるが、介在する物体２１０のため、そうすることができない。

【0048】

図１を再び参照すると、各センサ１０２からのデータが、制御システム１１２によって受信される。典型的には、立体の円錐である各センサによって網羅される空間のボリュームは、任意の好適な方式で表されてもよく、例えば、空間は、小さい（例えば、５ｃｍ）立方体または「ボクセル」の３Ｄグリッドまたは他の好適な形態のボリューム表現に分割されてもよい。例えば、作業セル１００は、２Ｄまたは３Ｄ光線追跡を使用して表されてもよく、センサ１０２から発出する２Ｄまたは３Ｄ光線の交差部が、作業セル１００のボリューム座標として使用される。本光線追跡は、動的に、または作業セル１００内の物体が制御システム１１２によって先に識別および捕捉される、事前算出されたボリュームの使用を介して実施されることができる。提示の便宜のために、続く議論は、ボクセル表現を仮定し、制御システム１１２は、ボクセルレベルにおいて作業セル１００の内部表現を維持し、ボクセルは、占有、非占有、または未知としてマーキングされる。

【0049】

図３は、汎用コンピュータ上で実装され得る、制御システム１１２の代表的実施形態をより詳細に図示する。制御システム１１２は、中央処理ユニット（ＣＰＵ）３０５と、システムメモリ３１０と、１つ以上の不揮発性大容量記憶デバイス（１つ以上のハードディスクおよび／または光学記憶ユニット等）３１２とを含む。システム１１２はさらに、それにわたってＣＰＵ３０５、メモリ３１０、および記憶デバイス３１２が、相互と、およびキーボードまたはマウス等の従来的入力デバイスを含み得る、ディスプレイ３２０および周辺機器３２２等の内部または外部入力／出力（Ｉ／Ｏ）デバイスと通信する、双方向性システムバス３１５を含む。制御システム１１２はまた、無線送受信機３２５と、１つ以上のＩ／Ｏポート３２７とを含む。送受信機３２５およびＩ／Ｏポート３２７は、ネットワークインターフェースを提供してもよい。用語「ネットワーク」は、本明細書では、コンピュータまたは電気通信デバイス（有線または無線電話、タブレット等）の有線または無線ネットワークを内包するように広く使用される。例えば、コンピュータネットワークは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）であってもよい。ＬＡＮネットワーキング環境内で使用されるとき、コンピュータは、ネットワークインターフェースまたはアダプタを通してＬＡＮに接続されてもよく、例えば、監督者が、ネットワークを無線で繋ぐタブレットを使用して制御システム１１２との通信を確立してもよい。ＷＡＮネットワーキング環境内で使用されるとき、コンピュータは、典型的には、モデムまたは他の通信機構を含む。モデムは、内部または外部であってもよく、ユーザ入力インターフェースまたは他の適切な機構を介してシステムバスに接続されてもよい。ネットワーク化されたコンピュータは、インターネット、イントラネット、エクストラネット、イーサネット（登録商標）、または通信を提供する任意の他のシステムを経由して接続されてもよい。いくつかの好適な通信プロトコルは、例えば、ＴＣＰ／ＩＰ、ＵＤＰ、またはＯＳＩを含む。無線通信に関して、通信プロトコルは、ＩＥＥＥ ８０２．１１ｘ（「Ｗｉ－Ｆｉ」）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ、ＩｒＤａ、近距離無線通信（ＮＦＣ）、または他の好適なプロトコルを含んでもよい。さらに、本システムの構成要素は、有線または無線経路の組み合わせを通して通信してもよく、通信は、コンピュータおよび電気通信ネットワークの両方を伴ってもよい。

【0050】

ＣＰＵ３０５は、典型的には、マイクロプロセッサであるが、種々の実施形態では、マイクロコントローラ、周辺集積回路要素、ＣＳＩＣ（特定顧客向け集積回路）、ＡＳＩＣ（特定用途向け集積回路）、論理回路、デジタル信号プロセッサ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＤ（プログラマブル論理デバイス）、ＰＬＡ（プログラマブル論理アレイ）等のプログラマブル論理デバイス、ＲＦＩＤプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、スマートチップ、または本発明のプロセスのステップを実装することが可能である任意の他のデバイスまたはデバイスの配列であってもよい。

【0051】

システムメモリ３１０は、一連のフレームバッファ３３５、すなわち、デジタル形態において（例えば、ピクセルまたはボクセルとして、または深度マップとして）、センサ１０２によって取得された画像を記憶するパーティションを含有し、データは、実際には、上記に議論されるようなＩ／Ｏポート３２７および／または送受信機３２５を介して着信し得る。システムメモリ３１０は、ＣＰＵ３０５の動作および他のハードウェア構成要素とのその相互作用を制御する、モジュールの群として概念的に例証される命令を含有する。オペレーティングシステム３４０（例えば、Ｗｉｎｄｏｗｓ（登録商標）またはＬｉｎｕｘ（登録商標））が、メモリ配分、ファイル管理、および大容量記憶デバイス３１２の動作等の低レベル基本システム機能の実行を指示する。より高いレベルでは、下記により詳細に説明されるように、分析モジュール３４２が、フレームバッファ３３５内に画像を登録し、それらを分析し、監視される作業セル１００の領域を分類する。分類の結果は、空間マップ３４５内に記憶されてもよく、これは、本明細書に説明されるように、空間マップ内に標識化された各ボクセル（または他の表現の単位）を伴う作業セル１００のボリューム表現を含有する。代替として、空間マップ３４５は、単純に、ボクセルの３Ｄアレイであってもよく、ボクセル標識が、別個のデータベース内（メモリ３１０内または大容量記憶装置３１２内）に記憶される。

【0052】

制御システム１１２はまた、３５０に集合的に示される従来の制御ルーチンを使用して、作業セル１００内の動作または機械類を制御してもよい。下記に解説されるように、作業セルの構成、その結果、そのボクセル表現と関連付けられる分類は、人物および／または機械が動き回る際に経時的に明確に変化し得、制御ルーチン３５０は、高レベルの安全性を達成するために、機械類を動作させる際にこれらの変化に応答し得る。システムメモリ３１０内のモジュールは全て、限定ではないが、Ｃ、Ｃ＋＋、Ｃ＃、Ａｄａ、Ｂａｓｉｃ、Ｃｏｂｒａ、Ｆｏｒｔｒａｎ、Ｊａｖａ（登録商標）、Ｌｉｓｐ、Ｐｅｒｌ、Ｐｙｔｈｏｎ、Ｒｕｂｙ等の高レベル言語または低レベルアセンブリ言語を含む、任意の好適なプログラミング言語でプログラムされてもよい。
１．１ センサ位置合わせ

【0053】

典型的なマルチセンサシステムでは、全ての他のセンサに対する各センサ１０２の精密な場所が、設定の間に確立される。センサ位置合わせは、通常、自動的に実施され、容易な設定および再構成を可能にするために可能な限り単純であるべきである。簡易化のために、各フレームバッファ３３５が、特定のセンサ１０２からの画像（周期的にリフレッシュされ得る）を記憶すると仮定して、分析モジュール３４２は、各センサからの画像の全てまたは一部をフレームバッファ３３５内の他のセンサからの画像と比較し、従来のコンピュータビジョン技法を使用し、それらの画像内の対応を識別することによって、センサ１０２を位置合わせしてもよい。初期位置合わせ近似を要求しない好適な大域的位置合わせアルゴリズムは、概して、２つのカテゴリ、すなわち、特徴ベースの方法および強度ベースの方法に分類される。特徴ベースの方法は、エッジ等の画像特徴の間の対応を識別する一方、強度ベースの方法は、強度パターンの間の相関メトリックを使用する。いったんおおよその位置合わせが、識別されると、反復最近接点（ＩＣＰ）アルゴリズムまたはその好適な変形が、位置合わせを微調整するために使用されてもよい。

【0054】

明確に異なるセンサ画像を提供するために、種々のセンサ１０２の視野の間に十分な重複が、存在し、作業セル１００内の十分な詳細が、存在する場合、静的作業セルの画像を比較することが、十分であり得る。これが当てはまらない場合、３Ｄにおいて特色のあるシグネチャを有する「位置合わせ物体」が、これが全てのセンサによって見られ得る作業セル１００内の場所に設置されることができる。代替として、位置合わせは、ある時間周期にわたって作業セル内で立っている、または作業セル全体を通して歩行している１人以上の人々の画像をセンサ１０２に記録させ、正確な位置合わせが達成されるまで十分な数の部分的に合致する画像を組み合わせることによって達成されることができる。

【0055】

作業セル１００内の機械類への位置合わせは、ある場合には、機械類が、その他に対して位置合わせされた少なくとも１つのセンサに可視である限り、特に、機械類が、特色のある３Ｄ形状（例えば、ロボットアーム）を有する場合、いかなる付加的器具使用も伴わずに達成されることができる。代替として、位置合わせ物体が、使用されることができる、またはディスプレイ３２０に示され、センサによって観察される場面を表示するユーザインターフェースが、ユーザが、画像のある部分を制御下の機械類の重要な要素として指定することを可能にしてもよい。いくつかの実施形態では、インターフェースは、構成を支援するために全てのセンサのカバレッジを示す双方向性３Ｄディスプレイを提供する。本システムが、機械類の危険な部分または複数の部分の場所および停止時間および／または距離等、（例えば、制御ルーチン３５０の目的のために）制御されている機械類についてのある程度の高レベル情報を用いて構成される場合、分析モジュール３４２は、センサが十分なカバレッジを提供しているかどうかに関する知的フィードバックを提供し、付加的センサの設置を示唆するように構成されてもよい。

【0056】

例えば、分析モジュール３４２は、歩行速度の保守的推定を前提として、人物がこれ（またはこれの周囲の安全区域）に到達する時間までに機械類を停止するために、これが人物を検出しなければならない観察される機械類からの最小距離を決定するようにプログラムされることができる。（代替として、要求される検出距離は、ディスプレイ３２０を介して本システムに直接入力されることができる。）随意に、分析モジュール３４２は、次いで、空間が全ての接近を検出するために十分に網羅されているかどうかを決定するために、全てのセンサの視野を分析することができる。センサカバレッジが、不十分である場合、分析モジュール３４２は、不足を改善するであろう、既存のセンサのための新しい場所または付加的センサのための場所を提案することができる。そうでなければ、制御システムは、デフォルトの安全状態になり、制御ルーチン３５０は、分析モジュール３４２が、事実上、全ての接近が監視され得ることを検証しない限り、機械類が動作することを可能にしないであろう。機械学習および遺伝的または進化的アルゴリズムの使用が、セル内の最適なセンサ設置を決定するために使用されることができる。最適化するべきパラメータは、限定ではないが、動作の間のロボットの周囲のオクルージョンの最小化およびロボットおよびワークピースの観察可能性を含む。

【0057】

所望される場合、本静的分析は、「背景」減算を含んでもよい。初期始動周期の間、いかなる物体も作業セル１００の中に侵入していないと安全に仮定され得るとき、分析モジュール３４２は、静的要素によって占有される全てのボクセルを識別する。それらの要素は、次いで、将来の測定値から減算され、潜在的な侵入物体と見なされることはできない。それにもかかわらず、連続的監視が、観察される背景画像が始動周期の間に記憶された空間マップ３４５と一貫することを確実にするために実施される。背景はまた、定常物体が、除去される、または作業セルに追加される場合、更新されることができる。

【0058】

センサ１０２が安全性を提供するために十分に観察することができないが、ケージ等の他の方法によって防護される一部の面積が、存在し得る。この場合では、ユーザインターフェースは、ユーザが、これらの面積を安全として指定することを可能にし、センサベースの安全性分析をオーバーライドすることができる。安全定格ソフト軸および律速もまた、ロボットのエンベロープを限定し、本システムの性能を改良するために使用されることができる。

【0059】

いったん位置合わせが、達成されると、センサ１０２は、作業セル１００が監視される間に同一の場所および配向に留まるべきである。１つ以上のセンサ１０２が、偶発的に移動される場合、結果として生じる制御出力は、無効であり、安全上の危険をもたらし得る。分析モジュール３４２は、位置合わせの継続した正確度を監視するために、初期位置合わせのために使用されるアルゴリズムを拡張してもよい。例えば、初期位置合わせの間、分析モジュール３４２は、位置合わせプロセスの間に捕捉される作業セルの静的要素のモデルへの観察されたデータの適合の正確度を捕捉するメトリックを算出してもよい。本システムが、動作する際、同一のメトリックが、再計算されることができる。任意の時点でそのメトリックが、規定された閾値を超える場合、位置合わせは、無効と見なされ、エラー条件が、トリガされ、応答して、任意の機械類が動作している場合、制御ルーチン３５０は、これを中止する、または機械類を安全状態に遷移させてもよい。
１．２ 占有される面積および潜在的に占有される面積の識別

【0060】

いったんセンサが、位置合わせされると、制御システム１１２は、作業セル１００の中への全ての侵入を識別することが可能であるために、高い固定頻度で（例えば、分析サイクル毎に）空間マップ３４５を周期的に更新する。空間マップ３４５は、センサ１０２のうちのいくつかまたは全てからのデータの融合を反映する。しかし、３Ｄデータの性質を前提として、センサ１０２の場所および作業セル１００の構成に応じて、オクルードする物体よりも危険な機械類に近接する物体（人々または人々の一部、例えば、腕を含み得る）を含む、１つの場所における物体が他の場所におけるセンサの物体のビューをオクルードするであろうことが、可能性として考えられる。したがって、確実に安全なシステムを提供するために、本システムは、占有される空間だけでなく、オクルードされる空間も監視する。

【0061】

一実施形態では、空間マップ３４５は、ボクセルグリッドである。一般に、各ボクセルは、占有、非占有、または未知としてマーキングされてもよく、空の空間のみが、任意の付加的安全基準、例えば、一式の制御された機械類からの最小距離が満たされるときのみ、最終的に安全と見なされることができる。各センサからの未加工データが、ボクセル毎に、３Ｄマッピングされた空間の物体または境界が、そのボクセルに対応するボリューム内で決定的に検出されたかどうかを決定するために分析される。安全性を強化するために、分析モジュール３４２は、１つを上回るセンサ１０２によって空であると観察されるボクセルのみを空として指定してもよい。再び、空として確認されることができない全ての空間は、未知としてマーキングされる。したがって、センサ１０２と光線に沿った検出された物体またはマッピングされた３Ｄ空間境界との間の空間のみが、空としてマーキングされてもよい。

【0062】

センサが、所与のボクセル内で任意のものを検出する場合、そのセンサの焦点から始まり、占有されるボクセルを通して通過する光線上に位置し、焦点と占有されるボクセルとの間に存在する全てのボクセルは、非占有として分類される一方、その光線上の占有されるボクセルを越えて位置する全てのボクセルは、そのセンサに関してオクルードされるとして分類され、全てのそのようなオクルードされるボクセルは、「未知」と見なされる。全てのセンサからの情報は、全てのセンサからオクルードされる面積を決定するために組み合わせられてもよく、これらの面積は、未知と見なされ、したがって、非安全である。分析モジュール３４２は、最後に、少なくとも一度（またはいくつかの実施形態では、少なくとも二度）「非占有」として事前にマーキングされたボクセルまたは作業セルボリュームのみを「非占有」としてマーキングしてもよい。作業セル内のボクセルまたは離散ボリュームと関連付けられるマーキングに基づいて、分析モジュール３４２は、空間マップ３４５内に１つ以上の安全ボリューム区域をマッピングしてもよい。これらの安全区域は、機械類の安全区域の外側であり、非占有としてマーキングされたボクセルまたは作業セルボリュームのみを含む。

【0063】

ＬＩＤＡＲおよび飛行時間カメラ等の反射に依存する能動的光学センサの一般的故障モードは、それらが不十分に反射性である表面からいかなる信号も返さないことである、および／またはセンサと表面との間の入射角が過剰に浅いときである。これは、本信号が、いかなる障害物にも遭遇しない場合に返される結果と区別不可能であり得るため、危険な失敗につながり得、言い換えると、センサは、障害物の可能性として考えられる存在にもかかわらず、空のボクセルを報告するであろう。これは、例えば、２Ｄ ＬＩＤＡＲセンサに関するＩＳＯ規格が、検出されなければならない物体の最小反射率に関する仕様を有する理由であるが、しかしながら、これらの反射率規格は、ＴｏＦ等のいくつかの３Ｄセンサモダリティにとって満たすことが困難であり得る。本故障モードを軽減するために、分析モジュール３４２は、一部の障害物が、同一の光線に沿ったさらなる範囲で決定的に検出される場合のみ、空間を空としてマーキングする。いかなる障害物も存在しない場合、光線の大部分が床に遭遇するであろうようにセンサをわずかに下向きに向けることによって、作業セル１００の大部分を確証的に分析することが、可能である。しかし、所与のボクセル内の感知された光レベルが、空または境界の存在を決定的に確立するために不十分である場合、ボクセルは、未知としてマーキングされる。信号および閾値は、使用されているセンサのタイプに依存し得る。強度ベースの３Ｄセンサ（例えば、ＴｏＦカメラ）の場合では、閾値は、信号強度であり得、これは、低反射率の作業セル内の物体によって減衰され得る。ステレオビジョンシステムの場合では、閾値は、視野内の個々の物体を分解する能力であり得る。他の信号および閾値の組み合わせも、使用されるセンサのタイプに応じて利用されることができる。
安全システムが、全ての未知の空間をこれが占有されているように見なすことによって作成されることができる。しかしながら、ある場合には、これは、過度に保守的であり、不良な性能をもたらし得る。したがって、これが潜在的に占有され得るかどうかに従って未知の空間をさらに分類することが、望ましい。人物が、３Ｄ空間内で移動する際、人物は、典型的には、いくつかのセンサから一部の面積をオクルードし、一時的に未知である空間の面積をもたらすであろう（図１参照）。加えて、産業ロボットアーム等の移動する機械類もまた、一部の面積を一時的にオクルードし得る。人物または機械類が、異なる場所に移動すると、１つ以上のセンサは、未知の空間を再度観察することが可能であり、これをロボットまたは機械が動作するために安全である確認された空の状態に戻すであろう。故に、いくつかの実施形態では、空間はまた、「潜在的に占有」として分類されてもよい。未知の空間は、未知の空間が占有され得る条件が生じると、潜在的に占有されていると見なされる。これは、未知の空間が、作業セルへの進入点に隣接するとき、または未知の空間が、占有される、または潜在的に占有される空間に隣接する場合に起こり得る。潜在的に占有される空間は、作業セルを通して移動する人間を表す、あるレートで、未知の空間に「入る」。潜在的に占有される空間は、これが空であると観察されるまで、潜在的に占有されたままである。安全目的のために、潜在的に占有される空間は、占有される空間と同一と見なされる。各ボクセルの状態を決定し、本システムが、複数のサンプルからのデータを組み合わせ、結果においてより高いレベルの信頼性を提供することを可能にするために、ベイジアンフィルタリングに基づくもの等の確率的技法を使用することが、望ましくあり得る。予測される速度（例えば、腕が人物が歩行し得るよりも速く上げられ得る）を含む、人間移動の好適なモデルが、容易に利用可能である。
２．物体の分類

【0064】

多くの用途に関して、上記に説明されるような作業セル内の領域の分類は、例えば、制御システム１１２が、通常動作の間にいかなる物体も全く存在するべきではない空間を監視している場合に十分であり得る。しかしながら、多くの場合では、１つ以上の機械および機械が作用しているワークピース等、通常動作の間に少なくともいくつかの物体が存在する面積を監視することが、望ましい。これらの場合では、分析モジュール３４２は、予期せぬ、または人間であり得る侵入する物体を識別するように構成されてもよい。そのような分類に対する１つの好適なアプローチは、個々の占有されるボクセルをより高いレベルで分析され得る物体にクラスタ化することである。

【0065】

これを達成するために、分析モジュール３４２は、ユークリッドクラスタリング、Ｋ平均クラスタリング、およびギブズサンプリングクラスタリング等のいくつかの従来の周知のクラスタリング技法のうちのいずれかを実装してもよい。これらまたは類似するアルゴリズムのうちのいずれかが、３Ｄ点群データから占有されるボクセルのクラスタを識別するために使用されることができる。点群データに最良に適合するメッシュを決定し、次いで、最適なクラスタリングを決定するためにメッシュ形状を使用するメッシュ技法もまた、使用されてもよい。いったん識別されると、これらのクラスタは、種々の方法で有用であり得る。

【0066】

クラスタリングが使用され得る１つの単純な方法は、小さすぎて、場合によっては人物を含有することができない、占有される、または潜在的に占有されるボクセルの小群を排除することである。そのような小クラスタは、上記に説明されるように、占有およびオクルージョン分析から生じ得、そうでなければ、制御システム１１２に、危害を誤って識別させ得る。クラスタは、各画像フレーム内の識別されたクラスタを前のフレーム内の近傍クラスタと単純に関連付けることによって、またはより洗練された画像処理技法を使用することによって経時的に追跡されることができる。クラスタの形状、サイズ、または他の特徴は、フレーム毎に識別および追跡されることができる。そのような特徴は、フレーム毎にクラスタの間の関連付けを確認するために、またはクラスタの運動を識別するために使用されることができる。本情報は、下記に説明される分類技法のうちのいくつかを強化する、または可能にするために使用されることができる。加えて、点のクラスタの追跡は、不正確な、したがって、潜在的に有害な状況を識別するために採用されることができる。例えば、前のフレーム内に存在しておらず、視野の既知の境界に近接していないクラスタは、エラー条件を示し得る。

【0067】

ある場合には、あるサイズを下回るクラスタをフィルタ処理して除去し、エラー状態を示すクラスタ遷移を識別することが、十分であり得る。しかしながら、他の場合では、物体を４つのカテゴリのうちの１つ以上のもの、すなわち、（１）システム１１２によって制御されている機械類の要素、（２）機械類が作用しているワークピースまたは複数のワークピース、および（３）予測不可能な方法で移動している場合があり、機械類によって害を及ぼされ得る、人々を含む他の異物にさらに分類することが、必要であり得る。人々対他の未知の異物を確証的に分類することが、必要である場合とそうではない場合がある。定義上、これらは、常時、機械類自体との「衝突」の状態にあり、したがって、検出され、適切に分類されない場合、本システムに機械類を誤って停止させるであろうため、機械類の要素をそのように決定的に識別することが、必要であり得る。同様に、機械類は、典型的には、ワークピースと接触するが、典型的には、機械類が人々と接触することは、有害である。したがって、分析モジュール３４２は、ワークピースと未知の異物、特に、人々とを区別することが可能となるべきである。

【0068】

機械類自体の要素は、分類目的のために、上記に説明される随意の背景減算較正ステップによって取り扱われてもよい。機械類が形状を変化させる場合では、機械類の要素は、例えば、分析モジュール３４２にこれらの要素についての情報（例えば、拡張可能３Ｄ表現として）を供給し、ある場合（産業ロボットアーム等）には、機械類の状態についての瞬間的情報の源を提供することによって、識別および分類されることができる。分析モジュール３４２は、センサ１０２による観察下で、単独で、機械類、コンベヤ等を動作させることによって「訓練」され、分析モジュール３４２が、運動および姿勢の全レパートリの実行からもたらされるそれらの精密な動作の領域を学習することを可能にしてもよい。分析モジュール３４２は、結果として生じる空間領域を占有として分類してもよい。

【0069】

従来のコンピュータビジョン技法が、分析モジュール３４２がワークピースと人間とを区別することを可能にするために採用されてもよい。これらは、深層学習、すなわち、データにおけるより高いレベルの抽象化を使用するように設計される機械学習の分野を含む。最も成功したこれらの深層学習アルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）であり、より最近では、リカレントニューラルネットワーク（ＲＮＮ）であった。しかしながら、そのような技法は、概して、人間ではないとしての人間の偶発的誤認が安全上の危険を引き起こさない状況において採用される。本環境内でそのような技法を使用するために、いくつかの修正が、必要とされ得る。第１に、機械学習アルゴリズムが、概して、誤検出または未検出を優先するように調整されることができる（例えば、ロジスティック回帰分析が、高特異性および低感度のために調整されることができる）。本シナリオにおける誤検出は、安全上の危険を生じず、ロボットが、ワークピースを人間と間違える場合、これは、保守的に反応するであろう。加えて、異なる画像性質に基づく複数のアルゴリズムまたはニューラルネットワークが、使用され、安全定格のための十分な信頼性を達成するために重要であり得る多様性を助長することができる。１つの特に有益な多様性の源は、同一の物体の３Ｄおよび２Ｄ両方の画像データを提供するセンサを使用することによって取得されることができる。任意の１つの技法が、物体を人間として識別する場合、物体は、人間と見なされるであろう。全てが未検出よりも誤検出を優先するように調整される、複数の技法または機械学習アルゴリズムを使用して、十分な信頼性が、達成されることができる。加えて、複数の画像が、経時的に追跡され、信頼性をさらに強化することができ、再び、全ての物体が、信頼性メトリックを達成するために十分な識別がこれを人間ではないとして特性評価するまで、人間と見なされることができる。本質的に、本多様なアルゴリズムアプローチは、人間を識別するのではなく、決定的に人間ではないものを識別する。

【0070】

分類技法を組み合わせることに加えて、任意のタイプの人間分類に全く依拠しない方法でワークピースを識別することが、可能である。１つのアプローチは、ワークピースのモデルを提供することによって本システムを構成することである。例えば、システム構成における「教示」ステップが、単純に、ワークピースの画像または重要な特徴を分析モジュール３４２に供給してもよく、これは、空間マップ３４５内で合致する構成を検索する、または代わりに、空間マップ内でそのようにワークピースを自動的に分類するためのニューラルネットワークの訓練を伴ってもよい。いずれの場合も、記憶されたモデルに正確に合致する物体のみが、ワークピースと見なされる一方、全ての他の物体は、人間と見なされる。

【0071】

別の好適なアプローチは、空間マップ３４５内で表されるように、ワークピースが進入するであろう作業セル内の特定の領域（コンベヤベルトの上部等）を規定することである。その場所における作業セルに進入する物体のみが、ワークピースとして見なすために適格である。ワークピースは、次いで、それらが作業セルに進入する時間からそれらが離れる時間までモデル化および追跡されることができる。ロボット等の監視される機械が、ワークピースを取り扱っている間、制御システム１１２は、ワークピースが、ロボットエンドエフェクタの予期される運動と一貫する様式でのみ移動することを確実にする。コンベヤベルト等の公知の機器もまた、このようにモデル化されることができる。人間は、ワークピースの様式で作業セルに進入すること、例えば、コンベヤ上に座ることを禁止され得る。

【0072】

これらの技法は全て、設計要件および環境制約に応じて、別個に、または組み合わせて使用されることができる。しかしながら、全ての場合に、分析モジュール３４２が、識別された物体がワークピースであるかどうかを見逃す状況が、存在し得る。これらの状況では、本システムは、安全状態に戻るべきである。インターロックが、次いで、人間作業者がいかなる異物も存在しないことを確認し得る作業セルの安全面積内に設置され、本システムが動作を再開することを可能にすることができる。

【0073】

いくつかの状況では、異物が、作業セルに進入するが、続けて、無視される、またはワークピースと見なされるべきである。例えば、構成時間に作業セル内に存在していなかった箱のスタックが、続けて、その中に設置され得る。柔軟なシステムが固定防護に取って代わるにつれてより一般的になるであろう本タイプの状況は、人間作業者が新しい物体を将来の相互作用のために安全として指定することを可能にするユーザインターフェース（例えば、ディスプレイ３２０内、または制御システム１１２と無線通信するデバイス上に示される）を提供することによって対処されてもよい。当然ながら、分析モジュール３４２および制御ルーチン３５０は、依然として、機械類が新しい物体と衝突しないように防止するように作用し得るが、新しい物体は、機械類に向かって移動し得る潜在的に人間の物体と見なされず、したがって、本システムがこれをより保守的ではない様式で取り扱うことを可能にするであろう。
３．制御出力の発生

【0074】

本段階において、分析モジュール３４２は、安全目的のために考慮されなければならない、監視される面積１００内の全ての物体を識別している。これらのデータを前提として、種々の措置が、とられ、制御出力が、発生されることができる。静的較正の間、または人間のいないデフォルト構成における作業セルで、空間マップ３４５は、センサカバレッジ、展開される機械類の構成、および人間と機械との間の不要な相互作用の機会を評価するために人間にとって有用であり得る。ケージまたは固定防護を設定しなくても、全体的作業セルレイアウトは、上記に説明されるように安全区域としてマーキングされる領域を通した、および不良なセンサカバレッジを伴う領域から離れるような人間移動を方向付ける、または促すことによって改良されてもよい。

【0075】

制御ルーチン３５０は、分析モジュール３４２に応答して、ある条件が検出されると、作業セル１００内のロボット等の動作する機械類への制御信号を発生させてもよい。本制御は、安全または非安全条件のいずれかを示すバイナリであり得る、または安全および非安全である行動のインジケーション等、より複雑であり得る。最も単純なタイプの制御信号は、占有される、または潜在的に占有されるボリュームのいずれかの侵入が特定の区域内で検出されるかどうかを示すバイナリ信号である。最も単純な場合では、単一の侵入区域が、存在し、制御システム１１２は、侵入を示す単一の出力を提供する。本出力は、機械類の動作を停止または限定するために、例えば、Ｉ／Ｏポート３２７を介して制御される機械類上の相補的ポートに配信されることができる。より複雑なシナリオでは、複数の区域が、別個に監視され、制御ルーチン３５０は、Ｉ／Ｏポート３２７またはアドレス指定される送受信機３２５を介して、ネットワークを経由して、標的の一式の機械類に（例えば、インターネットプロトコルまたは他の好適なアドレス指定スキームを使用して）デジタル出力を発行する。

【0076】

監視され得る別の条件は、２Ｄ近接センサの出力に匹敵する、作業セル内の任意の物体と機械との間の距離である。これは、それを下回ると出力がアサートされるべきである近接閾値を確立することによってバイナリ出力に変換されてもよい。本システムが、機械に最も近接する物体の場所および範囲を記録し、利用可能にすることもまた、望ましくあり得る。協働的産業ロボットのための安全システム等の他の用途では、所望の制御出力は、センサ１０２によって網羅される面積内で観察される全ての物体の場所、形状、および範囲を含んでもよい。
４．安全行動制約および安全区域の動的決定

【0077】

ＩＳＯ １０２１８およびＩＳＯ／ＴＳ １５０６６は、産業ロボットと人間作業者との間の協働を可能にし得る安全機能として、速度および分離監視を説明している。リスク低減が、ロボット運動の周期の間に人間作業者とロボットとの間に少なくとも保護分離距離を維持することによって達成される。本保護分離距離は、ロボットおよび人間作業者の位置および移動、ロボット停止距離、測定不確定性、システム待ち時間、およびシステム制御頻度を含む情報を使用して計算される。計算された分離距離が、保護分離距離を下回る値まで減少すると、ロボットシステムは、停止される。本方法論は、産業ロボットを超えて機械類に一般化されることができる。

【0078】

便宜上、以下の議論は、作業セル１００内で動作するロボットの周囲に安全区域を動的に定義することに焦点を当てる。しかしながら、本明細書に説明される技法が、複数のロボットにだけではなく、過剰に密接に接近すると危険であり得、経時的に変動し得る最小安全分離距離を有し、特定の活動が機械によって行われる任意の形態の機械類にも適用されることを理解されたい。上記に説明されるように、センサアレイが、各分析サイクルにおいて、ロボットおよびロボットを囲繞する面積内の全ての関連する物体の場所および範囲を３Ｄにおいて特性評価するために十分な画像情報を取得する。（各分析サイクルは、画像捕捉、フレームバッファのリフレッシュ、および算出分析を含み、故に、分析または制御サイクルの周期は、効果的な監視がリアルタイムで起こるために十分に短いが、これは、多くのコンピュータクロックサイクルを伴う。）分析モジュール３４２は、各サイクルにおけるロボットの現在の状態についての瞬間的情報とともに本情報を利用し、ロボットの運動に関する瞬間的な現在の安全行動制約を決定する。制約は、ロボットに、分析モジュール３４２によって直接、または制御ルーチン３５０を介してのいずれかで、送受信機３２５および／またはＩ／Ｏポート３２７を介してロボットに通信されてもよい。

【0079】

本システムの動作は、図４のシステム編成および動作の概念図示を参照して最も深く理解される。上記に説明されるように、センサアレイ１０２は、ロボット４０２を含む作業セル４００を監視する。ロボットの移動は、ロボット自体の一部である、またはそれと別個であり得る、従来のロボットコントローラ４０７によって制御され、例えば、単一のロボットコントローラが、１つを上回るロボットにコマンドを発行してもよい。ロボットの活動は、主として、ロボットアームを伴い得、その移動は、所望の移動をもたらすようにロボットアームジョイントを動作させるジョイントコマンドを使用して、ロボットコントローラ４０７によって指揮される。物体監視システム（ＯＭＳ）４１０が、センサ１０２から物体についての情報を取得し、作業セル４００内の関連する物体を識別するために本センサ情報を使用する。ＯＭＳ４１０は、任意の好適な有線または無線プロトコルを介してロボットコントローラ４０７と通信する。（産業ロボットでは、制御電子機器は、典型的には、外部制御ボックス内に常駐する。しかしながら、内蔵コントローラを伴うロボットの場合では、ＯＭＳ４１０は、ロボットのオンボードコントローラと直接通信する。）ロボット（典型的には、センサ１０２）から取得された情報を使用して、ＯＭＳ４１０は、ロボットの現在の状態を決定する。ＯＭＳ４１０は、それに応じて、ロボットの現在の状態および全ての識別された関連する物体を前提として、ロボット４０２に関する安全行動制約を決定する。最後に、ＯＭＳ４１０は、安全行動制約をロボット４０７に通信する。（図３を参照して、ＯＭＳ４１０の機能が、分析モジュール３４２によって、ある場合には、制御ルーチン３５０によって制御システム１１２内で実施されることを理解されたい。）
４．１ 関連する物体の識別

【0080】

センサ１０２は、上記に議論される様式で、固定頻度で物体分析モジュール４１５によって分析されるリアルタイム画像情報を提供し、特に、各サイクルにおいて、物体分析モジュール４１５は、ロボットの届く範囲内であるか、または保守的に予期される速度でロボットの届く範囲に移動し得るかのいずれかである、作業セル４００内の全ての物体の３Ｄ場所および範囲を識別する。関連するボリュームの全てが、センサ１０２の集合的視野内にあるわけではない場合、ＯＭＳ４１０は、そのように決定し、その領域内の全ての固定物体（またはそれらの物体の保守的上位セット）の場所および範囲を示す、および／または他の防護技法が監視されていない面積へのアクセスを防止するために使用されていることを検証するように構成されてもよい。
４．２ ロボット状態の決定

【0081】

ロボット状態決定モジュール（ＲＳＤＭ）４２０が、ロボットの瞬間的状態を決定するために、センサ１０２からのデータおよびロボット４０２および／またはロボットコントローラ４０７からの信号に応答する。特に、ＲＳＤＭ４２０は、作業セル４００内のロボット４０２の姿勢および場所を決定し、これは、センサ１０２、ロボットおよび／またはそのコントローラからの信号、またはこれらの源のある組み合わせからのデータを使用して達成されてもよい。ＲＳＤＭ４２０はまた、ロボット４０２またはその任意の付属品の瞬間的速度を決定してもよく、加えて、ロボットの瞬間的ジョイント加速度またはトルク、または計画される将来の軌道の知識が、下記に説明されるような後続サイクルに関する安全運動制約を決定するために必要とされてもよい。典型的には、本情報は、ロボットコントローラ４０７から発するが、ある場合には、下記に説明されるように、センサ１０２によって記録された画像から直接推測されてもよい。

【0082】

例えば、これらのデータは、安全定格データへのアクセスを提供する安全定格通信プロトコルを介して、ロボット４０２またはロボットコントローラ４０７によって提供され得る。ロボットの３Ｄ姿勢は、次いで、ロボット４０２全体の３Ｄ形状を取得するために、提供されるジョイント位置を各連結部の静的３Ｄモデルと組み合わせることによって決定されてもよい。

【0083】

ある場合には、ロボットは、安全定格ではないジョイント位置を通信するためのインターフェースを提供してもよく、その場合では、ジョイント位置は、（例えば、安全定格ソフトウェアを使用して）センサ１０２からの画像に対して検証されることができる。例えば、受信されたジョイント位置は、ロボット４０２全体の３Ｄモデルを発生させるために、各連結部の静的３Ｄモデルと組み合わせられてもよい。本３Ｄ画像は、ロボット自体の一部である感知データ内の任意の物体を除去するために使用されることができる。ジョイント位置が、正しい場合、これは、ロボット４０２に起因する全ての物体データを完全に排除するであろう。しかしながら、ジョイント位置が、不正確である場合、ロボット４０２の真の位置は、モデルから逸脱するであろう。前のサイクルでは、ジョイント位置は、そうでなければロボット４０２が中止されていたであろうため、正しかったと仮定されることができる。不正確な報告されたロボット位置の検出は、次いで、エラー条件をトリガするために使用されることができ、これは、制御システム１１２（図１参照）に、ロボット４０２を安全状態に遷移させるであろう。センサデータは、位置合わせの節において上記に説明される等の相関アルゴリズムを使用してロボットの位置を識別するために使用されることができ、本検出された位置は、ロボットによって報告されたジョイント位置と比較されることができる。ロボット４０２によって提供されたジョイント位置情報が、このように検証された場合、これは、ジョイント速度情報を検証するために使用されることができ、これは、次いで、将来のジョイント位置を予測するために使用されることができる。これらの位置が、以前に検証された実際のジョイント位置と一貫しない場合、プログラムは、エラー条件を同様にトリガすることができる。これらの技法は、非安全定格インターフェースの使用が、次いで、付加的安全機能を実施するために使用され得るデータを生成することを可能にする。

【0084】

最後に、ＲＳＤＭ４２０は、ロボット４０２またはコントローラ４０７によって提供されるいかなる情報も伴わず、センサ１０２によって提供される画像情報のみを使用してロボットのジョイント状態を決定するように構成されてもよい。ロボットにおける連結部の全てのモデルを前提として、いくつかの従来の周知のコンピュータビジョン技法のうちのいずれかが、モデルをセンサデータに位置合わせするためにＲＳＤＭ４２０によって使用され、したがって、画像内のモデル化された物体の場所を決定することができる。例えば、ＩＣＰアルゴリズム（上記に議論される）は、２つの３Ｄ点群の間の差異を最小限にする。ＩＣＰは、多くの場合、局所的に最適な解決策を効率的に提供し、したがって、おおよその場所が、既知である場合、正確に使用されることができる。ロボット４０２は、その前の位置から遠くに移動できないため、これは、アルゴリズムがサイクル毎に起動される場合であろう。故に、リアルタイムで起動するために十分に効率的ではない場合がある、大域的に最適な位置合わせ技法は、要求されない。カルマンフィルタまたは粒子フィルタ等のデジタルフィルタが、次いで、位置合わせアルゴリズムによって識別されたジョイント位置を前提として、瞬間的ジョイント速度を決定するために使用されることができる。

【0085】

これらの画像ベースの監視技法は、多くの場合、各システムサイクルにおいて起動されること、および本システムが前のサイクルにおいて安全状態にあったという仮定に依拠する。したがって、試験が、ロボット４０２が始動されるときに実行されてもよく、例えば、ロボットが既知の事前構成された「ホーム」位置にあり、全てのジョイント速度がゼロであることを確認する。自動化機器が、固定間隔において、例えば、機器が始動される、またはシフト変更されるとき、オペレータによって実行される試験のセットを有することは、一般的である。信頼性のある状態分析は、典型的には、各ロボット連結部の正確なモデルを要求する。本モデルは、事前に、例えば、ロボット製造業者によって提供される、または具体的計画のために産業エンジニアによって発生される３Ｄ ＣＡＤファイルから取得されることができる。しかしながら、そのようなモデルは、少なくともロボットおよびこれが有し得る可能性として考えられるアタッチメントの全てに関して入手可能ではない場合がある。

【0086】

この場合では、ＲＳＤＭ４２０が、例えば、センサ１０２を使用して、モデル自体を作成することが可能である。これは、ロボット４０２が、運動のセット、例えば、所与の用途における使用のために意図される運動および／またはセンサ１０２に各連結部の適切なビューを提供するように設計される運動のセットを通して起動する別個の訓練モードで行われてもよい。必要ではないが、各連結部の長さおよび回転軸等のロボットについてのいくつかの基本情報を事前に提供することが、可能である。本訓練モードの間、ＲＳＤＭ４２０は、全ての必要なアタッチメントを完備した各連結部の３Ｄモデルを発生させる。本モデルは、次いで、ロボット状態を決定するために、センサ画像と併せてＲＳＤＭ４２０によって使用されることができる。
４．３ 安全行動制約の決定

【0087】

従来的な軸および律速用途では、産業エンジニアは、ロボットの計画される軌跡および作業セルのレイアウトを前提として、ロボットに関して安全である行動を計算し、ロボットの運動の範囲の一部の面積を完全に禁止し、他の面積内で速度を限定する。これらの限定は、固定された静的作業空間環境を仮定する。ここでは、物体および人々が行き来し、位置を変化させる動的環境に関係し、したがって、安全行動が、全ての感知される関連する物体に基づいて、かつロボット４０２の現在の状態に基づいて、リアルタイムで安全行動決定モジュール（ＳＡＤＭ）４２５によって計算され、これらの安全行動は、サイクル毎に更新されてもよい。安全と見なされるために、行動は、ロボット４０２がいかなる定常物体とも衝突せず、また、ロボット４０２がロボットに向かって移動している場合がある人物と接触しないことを確実にするべきである。ロボット４０２は、ある程度の最大可能減速度を有するため、コントローラ４０７は、接触が行われる前にこれが完全な停止に到達し得ることを確実にするために、前もって十分にロボットを減速させ始めるように命令されるべきである。

【0088】

これを達成することに対する１つのアプローチは、ロボットの最大速度（ロボット自体またはその任意の付属品の速度を意味する）をロボット上の任意の点と回避されるべき感知された物体の関連するセットにおける任意の点との間の最小距離に比例的に変調することである。ロボットは、最近接する物体がそれを超えると衝突が懸念されないある閾値距離から遠く離れているとき、最大速度で動作することを可能にされ、ロボットは、物体がある最小距離内にある場合、完全に中止される。十分なマージンが、ある最大の現実的速度でロボットに向かう関連する物体または人間の移動を考慮するために、規定される距離に追加されることができる。これは、図５に図示される。外側エンベロープまたは３Ｄ区域５０２が、ロボット５０４の周囲にＳＡＤＭ４２５によって算出的に発生される。本区域５０２の外側では、人物Ｐの全ての移動は、動作サイクル内で、それらが危険をもたらすほど十分に人物をロボット５０４に近接させることができないため、安全と見なされる。区域５０２内に算出的に定義される、第２の３Ｄ区域５０８内の人物Ｐの身体の任意の部分の検出が、ＳＡＤＭ４２５によって位置合わせされるが、ロボット５０４は、全速で動作し続けることを可能にされる。人物Ｐの任意の部分が、区域５０８の閾値を横切るが、依然として、内部危険区域５１０の外側にある場合、ロボット５０４は、より緩慢な速度で動作するようにシグナリングされる。人物Ｐの任意の部分が、危険区域５１０の中に横切る、または人物移動のモデルに基づいて次のサイクル内でそうすることが予測される場合、ロボット５０４の動作は、中止される。これらの区域は、ロボット５０４が、環境内で移動される（または移動する）場合、更新されてもよい。

【0089】

本技法の精緻化は、ＳＡＤＭ４２５が、最大速度を最小距離の平方根に比例的に制御することであり、これは、一定減速度シナリオでは、速度が進行する距離の平方根に比例的に変化し、依然として等しく安全であるが、より平滑かつより効率的な結果をもたらすという事実を反映する。さらなる精緻化は、ＳＡＤＭ４２５が、最大速度を衝突までの最短可能時間に比例的に変調することであり、すなわち、将来的時間のロボットの現在の状態を予想し、ロボット軌道に向かう侵入を予想し、最近傍の潜在的衝突を識別することである。本精緻化は、ロボットがこれに向かうよりも障害物からより迅速に離れるように移動するであろう利点を有し、これは、依然として安全性を正しく保全しながら、処理能力を最大限にする。ロボットの将来の軌道は、その現在の速度だけではなく、後続コマンドにも依存するため、ＳＡＤＭ４２５は、その現在のジョイント位置および速度を前提として、ある反応時間内にロボット４０２によって到達可能な全ての点を考慮し、これらの状態のうちのいずれかの中の最短衝突時間に基づいて、制御信号を発行させてもよい。またさらなる精緻化は、ＳＡＤＭ４２５が、単純に瞬間的ジョイント速度ではなく、本計算を行うときにロボットの計画される軌道全体を考慮することである。加えて、ＳＡＤＭ４２５は、その軌道に沿った最大速度を単純に改変するのではなく、ロボットコントローラ４０７を介して、ロボットの軌道を改変してもよい。軌道の固定セットの中から潜在的衝突を低減または排除するものを選定する、またはさらにはオンザフライで新しい軌道を発生させることが、可能である。

【0090】

必ずしも安全性違反ではないが、作業セルの静的要素との衝突は、概して、望ましくない。関連する物体のセットは、壁および台等の静的背景およびワークピースおよび人間作業者等の移動する物体の両方を含む、作業空間内の全ての物体を含むことができる。事前構成またはランタイム検出のいずれかから、センサ１０２および分析モジュール３４２は、可能性として移動し得る物体を推測することが可能であってもよい。この場合では、上記に説明されるアルゴリズムのうちのいずれかが、不必要に処理能力を低減させないが、依然として、作業セルの静的部分との衝突の可能性を自動的に排除するように、移動し得る物体を考慮するために付加的マージンを残すが、静的であることが把握される物体のためのそれらのマージンを排除するように精緻化されることができる。

【0091】

潜在的に移動する物体の最大速度を考慮するために単純にマージンを残すことの他に、感知システムによって検出される情報に基づく推定技法が、将来的時間の人間および他の物体の移動を予想するために使用され、したがって、制御ルーチン３５０に利用可能な制御オプションを拡大することができる。例えば、骨格追跡技法が、検出された人間の移動する肢を識別し、人体の性質および、例えば、人物全体ではなく人物の腕の推定される移動に基づいて、潜在的衝突を限定するために使用されることができる。
４．４ ロボットへの安全行動制約の通信

【0092】

ＳＡＤＭ４２５によって識別された安全行動制約は、ロボット通信モジュール４３０を介して、各サイクルでＯＭＳ４１０によってロボットコントローラ４０７に通信されてもよい。上記に説明されるように、通信モジュールは、ロボットコントローラ４０７上の相補的ポートへのＩ／Ｏポート３２７インターフェースに対応してもよい、または送受信機３２５に対応してもよい。殆どの産業ロボットは、外部デバイスとの併用のための種々のインターフェースを提供する。好適なインターフェースは、少なくとも本システムの制御頻度において短い待ち時間で動作するべきである。インターフェースは、ロボットが通常通りプログラムされ、起動されることを可能にするように構成されることができ、最大速度が、インターフェースを経由して送信される。代替として、いくつかのインターフェースは、軌道がウェイポイントの形態で配信されることを可能にする。本タイプのインターフェースを使用して、ロボット４０２の意図される軌道が、ＯＭＳ４１０内に受信および記憶されることができ、これは、次いで、安全行動制約に応じて、ともにより近接する、またはさらに離れるウェイポイントを発生させてもよい。同様に、標的ジョイントトルクの入力を可能にするインターフェースが、本明細書に従って算出される軌道を駆動するために使用されることができる。これらのタイプのインターフェースもまた、ＳＡＤＭ４２５が、安全行動制約に応じて新しい軌道を選定する、または軌道を修正する場合に使用されることができる。

【0093】

ロボット状態を決定するために使用されるインターフェースのように、ロボット４０２が、関連する安全定格制御入力へのリアルタイムアクセスを提供する安全定格プロトコルをサポートする場合、これは、十分であり得る。しかしながら、安全定格プロトコルが、利用可能ではない場合、本システム上の付加的安全定格ソフトウェアが、システム全体が安全なままであることを確実にするために使用されることができる。例えば、ＳＡＤＭ４２５は、ロボットが、通信された安全行動に従って動作している場合、ロボットの予期される速度および位置を決定してもよい。ＳＡＤＭ４２５は、次いで、上記に説明されるように、ロボットの実際の状態を決定する。ロボットの行動が、予期される行動に対応しない場合、ＳＡＤＭ４２５は、典型的には、緊急停止信号を使用して、ロボットを安全状態に遷移させる。これは、事実上、安全定格停止機構を超えるリアルタイム安全定格インターフェースを要求することなく、リアルタイム安全定格制御スキームを実装する。

【0094】

ある場合には、ハイブリッドシステムが、最適であり得、多くのロボットが、安全監視停止装置を保持するために使用され得るデジタル入力を有する。例えば、侵入する物体が、ロボットから比較的に遠いとき、可変速度のための通信プロトコルを使用することが、望ましいが、ロボットが、完全に停止しなければならないとき、例えば、侵入する物体が、ロボットに近接するとき、デジタル安全監視停止装置を使用することが、望ましくあり得る。
５．マルチセル作業空間の監視

【0095】

図６に図示されるように、複数の作業セル（それぞれ、その独自の監視システムを伴う）１００_１ … １００_５が、近接して、または作業空間、レーン、または製造活動が行われないが、循環、保管、および／または作業セル１００へのアクセスを促進する他の面積によって分離されるかのいずれかで、工場床６００上に整列されてもよい。例えば、輸送レーン６１０は、仕掛品または材料の車両移動を促進してもよい一方、人間アクセスレーン６１２は、人間往来専用であり、車両を除外してもよい。製造が行われない面積もまた、連続する工場床面積（「網羅空間」）が、１つ以上のＯＭＳ４１０（図４参照）によって完全に管理され得るように、センサ１０２のアレイによって網羅されてもよい。

【0096】

１つの動作モードでは、複数のＯＭＳ４１０が、センサ１０２を共有し、すなわち、特定の作業セル１００または他の区域（例えば、輸送レーン６１０）に関与するＯＭＳ４１０が、隣接する区域のＯＭＳとセンサデータを共有する。しかし、各ＯＭＳ４１０は、実際には、コントローラ４０７と通信するという意味で、その区域にのみ関与する。網羅空間６００は、それによって、別個の、可能性として重複する安全区域に分割され、そのそれぞれは、単一のＯＭＳ４１０の担当である。しかしながら、各センサからのデータは、監視される区域に関与するＯＭＳ４１０にだけではなく、また、隣接する区域に関与するＯＭＳにも送信される。各ＯＭＳ４１０は、上記に説明されるように独立して動作し、１つのセンサからの照明が、別のものによって不適切に感知されないようにタイミングを協調させるようにセンサと通信するが、また、可能性として隣接する区域からデータを受信する。本構成は、例えば、センサ１０２の別個のセットが各組立ライン作業セルの上方に整列される、組立ラインの場合に使用されてもよい。組立ラインに沿ったセンサの間の間隔は、作業セルの長さに応じて、固定または可変であってもよい。

【0097】

図６では、５つの作業セル１００_１ … １００_５はそれぞれ、仕掛品が、隣接して（例えば、コンベヤベルトによって作業セル１から作業セル２に）、人間を使用して（人間アクセスレーン６１２を使用して作業セル２と作業セル３との間で）、または輸送レーン６１０を使用して、フォークリフト、自動化誘導車両、自律車両、またはさらには手押し車であり得る車両を介して（作業セル３と作業セル４との間のように）のいずれかで、作業セルの間で引き渡される、製造ステップを表す。

【0098】

本明細書に説明されるアプローチは、人間および他の移動する機器の存在下で複数の作業セルおよび他の区域（そのそれぞれは、離散制御システム１１２と関連付けられ得るＯＭＳ４１０によって監視される、またはいくつかの実装では、単一の制御システム１１２が、それぞれ、異なる監視される区域と関連付けられる複数のＯＭＳ４１０をサポートし得る）の安全監視および制御を可能にする。本監視および制御は、人間および機械（移動または固定のいずれか）が、工場内の複数の作業セルおよび作業空間を横断する同一の空間内で安全に動作することを可能にする。本発明の実施形態は、上記に説明されるように、他の区域のセンサに対して、および監視される区域１００内の制御下の任意の固定機器に対して各監視される区域１００に関与するセンサ１０２を位置合わせし、工場の動作の間に本位置合わせを安全に監視し続け、監視される区域１００毎に、区域自体からの、および隣接する区域からのセンサ入力を分析し、人間または他の移動する機械類によって占有され得る、または将来占有され得る領域を識別し、各監視される区域内の物体、隣接する監視される区域の間の物体の運動を識別および分類し、識別された物体およびそれらの位置および軌道、および監視される区域のそれぞれの中のオクルージョンおよび非安全空間の記録を維持し、いくつかの実施形態では、人間および機械類が、区域の間で移動する際、隣接する区域に関与するＯＭＳにその情報を転送し、人間との安全な相互作用を可能にするように、監視される区域内の機械類および移動する機器に関する制御出力を発生させることによって動作する。

【0099】

これらの制御出力は、これが、人間または障害物として分類される他の物体と近接近または接触する場合、危険として指定された機器または移動する機械類に関する安全減速または停止信号を含んでもよい。本指定は、例えば、人間相互作用から独立して仕掛品を搬送し得る、自律車両として識別される物体に関して一時的であり得、停止されている間、車両は、人間が接近することが安全である。指定は、代わりに、動作の間のいずれの時点でも人間と相互作用しないロボットに関して恒久的であり得る。

【0100】

本発明の実施形態は、個々のセンサを同一または隣接する監視される区域内の他のセンサにマッピングするための方法および機器、および具体的区域に割り当てられるＯＭＳ（ある場合には、離散制御システム１１２）、ある区域内のセンサ間および隣接する区域内のセンサ間の干渉およびクロストーク軽減のための方法および機器、具体的区域内のオクルージョンおよび非安全空間データを隣接する区域に安全に転送するための方法および機器、および定常（例えば、固定基部上に搭載されるロボット）または可動性（例えば、自動化誘導車両）であり得る具体的機械類に制御信号を動的にマッピングするための方法および機器を含んでもよい。

【0101】

図３－６を参照すると、別の動作モードでは、上記に説明されるように、隣接する作業空間面積に関与するコントローラを個々に相互と協調させる代わりに、中央監督制御システム６１５が、区域特有センサ１０２の複数のセットまたはさらには作業空間６００全体を統括し、その監督下の全てのセンサ１０２からデータを受信する。制御システム１１２と同一の全体的アーキテクチャを有し得る、中央制御システム６１５は、これが監視する複数の区域面積の空間マップ３４５を記憶し、空間マップの構成区域は、各区域内の機器４０２を制御するコントローラ４０７との通信を簡略化するために、区域マップとして別個に表されてもよい。区域マップは、ボクセルレベルにおいて連続し、したがって、異なる区域内のセンサ間の明示的位置合わせは、不必要である。区域から区域への人々または機器の移動は、容易に予測され、本実施形態では、中央制御システム６１５は、差し迫った侵入の詳細を影響を受ける区域に関与するＯＭＳ４１０に伝送する。そのＯＭＳは、伝送された詳細をその区域表現のその空間マップ表現に統合し、それに応じて反応し、それにおける安全条件を維持し、例えば、侵入する人間の算出された経路内の機器を運転停止させる、またはその動作を限定する、または侵入者が、例えば、衝突を回避するために作業セル機器と相互作用するように装備した運搬システムである場合、いかなる措置もとらない。
５．１ 区域間のセンサの位置合わせおよび監視

【0102】

隣接する区域に割り当てられるＯＭＳ間のローカル通信を利用する実施形態に関して、センサ１０２（同一の区域内および隣接する区域内の両方）間の位置合わせは、各センサ画像の全てまたは一部を他のセンサによって発生された画像と比較し、それらの画像間の対応を識別するために従来のコンピュータビジョン技法を使用することによって達成されることができる。種々のセンサの視野間の十分な重複および明確に異なる画像を提供するための監視される空間内の十分な詳細が、存在する場合、静的区域の画像を比較することが、十分であり得る。これが、該当しない場合、上記に説明されるように、３Ｄにおいて特色のあるシグネチャを有する位置合わせ物体が、これが十分な数のセンサによって見られ得る場所に設置されることができる。本物体は、全ての区域を網羅するセンサの共同位置合わせ、それによって、隣接する区域の間の位置合わせを促進するように、カート上に搭載され、異なる監視される区域を通して移動されることができる。センサ視野の間の十分な重複が、存在しない場合、位置合わせは、代わりに、機械類の相対的位置および配向の知識に基づくことができる。

【0103】

代替として、位置合わせは、本システム、すなわち、センサ１０２の全てを介した中央コントローラ６１５が、ある時間周期にわたる全体的網羅空間６００全体を通して歩行する１人以上の人間、または区域の間で移動する可動車両を観察することを可能にし、隣接する作業セルおよび作業空間の間の正確な位置合わせが取得されるまで、十分な数の部分的に合致する画像を組み合わせることによって達成されることができる。工場床上６００上のセンサ１０２の視覚表現を提供する従来のマッピングツールが、適切な場所に要求される数のセンサをレイアウトし、空間カバレッジ間隙を伴わずに面積全体を網羅することに役立つために採用されてもよい。

【0104】

位置合わせに対する他のアプローチは、その唯一の目的が位置合わせであり、区域毎のセンサ（およびその視野がマーカを含む隣接する区域のもの）間の位置合わせの連続的検証を可能にする、恒久的マーカまたは基準の区域内での設置を含む。これらのマーカは、例えば、センサと恒久的に整合されるＲＧＢカメラが、位置合わせデバイスとしての役割を果たし得るように、可視光に敏感であってもよい、または代替として、マーカは、それらが、ＩＲ飛行時間センサ等の他の感知モダリティによって検出され得るように、ＩＲ感受性であってもよい。

【0105】

初期位置合わせのために使用される同一のアルゴリズムは、位置合わせの継続した正確度を監視するために拡張されることができる。あるメトリック（例えば、二乗誤差）が、初期位置合わせの間に計算され、全体的空間６００内の静的要素（例えば、固定具またはライトポール）のモデルへの観察されたデータの適合の正確度を捕捉することができる。本システムが、動作する際、同一のメトリックは、再計算されることができる。そのメトリックが、規定された閾値を超える場合、位置合わせは、無効と見なされ、エラー条件が、ソフトウェアにおいてトリガされ、これは、機械類を安全状態に遷移させるであろう。本安全状態は、工場６００の具体的区域または面積に限られ得る、または区域の一部または全てを網羅し得る。他のモダリティによって防護される不十分に観察可能な面積は、安全と見なされ、内蔵された固有の安全性をオーバーライドし得る。
５．２ 作業セルおよび作業空間の間の占有される面積および潜在的に占有される面積の識別

【0106】

いったんセンサが、全てのアクティブな区域を横断して位置合わせされると、本システムは、高い固定頻度において、本システムによって監視される区域内の全ての侵入を識別する。区域内の複数のセンサからのデータは、ボクセルレベルにおいて、区域の３Ｄ境界を識別するために集約される。中央制御システム６１５を採用する実施形態では、本境界データは、ボクセルレベルにおいて網羅空間６００全体をマッピングするために、隣接する区域からのデータと整合される。上記に説明されるように、センサが、所与のボクセルにおける任意のものを検出する場合、そのセンサの焦点から始まり、占有されるボクセルを通して通過する光線上のセンサからより遠くに位置する全てのボクセルは、そのセンサに関してオクルードされると決定される一方、センサと占有されるボクセルとの間に位置する全てのものは、空と見なされることができる。

【0107】

制御システム６１５は、全てのセンサ１０２からの情報を組み合わせ、具体的区域内および隣接する区域を横断する全てのセンサから共同でオクルードされる面積を決定する。必要な場合、冗長センサが、ボクセルが、本システムによって空と見なされるために、１つを上回るセンサによって観察されなければならないように使用されることができる。空として確認されることができない全ての空間は、未知としてマーキングされる。中央制御システム６１５はまた、上記に説明されるような背景減算を実施し、区域の静的要素によって占有される全てのボクセルを識別してもよい。区域間を移動するように設計される機械類（例えば、フォークリフト、自動化誘導車両、レール、コンベヤ、および可動ロボットまたは車両上に搭載されるロボット）の３Ｄモデルは、「背景」の部分と見なされるが、区域の内側またはその間で移動することが可能な物体として識別される。工場６００の本３Ｄデータモデルは、商業的に入手可能な工場設計ソフトウェアツールによって発生されることができる。

【0108】

再度、教示ステップもまた、含まれることができる。１つのアプローチでは、個々の一式の可動機械類、コンベヤ等が、単独で、動作され、中央制御システム６１５が、教示ステップに基づいて、各一式の可動機器の予期される運動を学習する機械学習構成要素（例えば、ニューラルネットワーク）を含んでもよい。加えて、上記のように、教示ステップは、ワークピースの画像または重要な特徴を供給してもよい。訓練されたシステムは、それによって、区域内または区域の間の可能性として考えられる衝突を予測するために、移動可能機器の予期される運動（および／または最大速度）の内部モデルを開発してもよい。可動機器およびワークピースを認識する能力を用いて、本システムは、全ての認識されない物体を潜在的に人間として、回避されるべきであると保守的に見なすことができる。代替として、または加えて、物体運動および最大速度の単純な基準ライブラリからのエントリが、それらが、具体的に、またはカテゴリ（例えば、フォークリフトまたは電動カート）によってのいずれかで識別される際に可動物体と関連付けられ、運動予測のための基礎を提供することができる。

【0109】

第２のアプローチは、区域縁等、可動要素が区域に進入するであろう工場レベル空間マップ３４５内の特定の領域を規定することである。そのような規定された場所における区域に進入する物体のみが、区域の中に、およびその中で移動することが適格であると見なされ、そうでなければ、物体は、侵入として識別される。移動する物体は、次いで、モデル化され、それらが網羅空間に進入した時間からそれらがこれを離れる時間まで追跡されることができる。モデル化は、障害物およびそれらの周囲の可能性のある経路を考慮して、現在の物体軌道の単純な外挿を伴うことができる、または物体またはそのクラスと関連付けられる移動能力に基づくことができる。実際の軌道は、次のマッピングサイクルにおいて確認され、新しい軌道が、再算出されてもよい。代替として、計画された軌道は、移動する物体によって、例えば、無線伝送として作業空間レベル制御システム６１５に、または局所区域ＯＭＳに供給されてもよく、これは、区域を跨ぐ物体軌道が、追跡され得るように、隣接する区域のＯＭＳとデータを共有してもよい。

【0110】

侵入として識別されない可動要素は、将来の測定から減算されることができるが、連続的監視は、観察される背景画像が、始動周期の間に記憶された画像と一貫することを確実にする。加えて、背景内の物体によってオクルードされる面積を識別し、上記に説明されるように正しくこれらの未知の面積を取り扱うことが、必要である。これらのオクルージョンは、作業セル内の固定機械類によって作成されるもの等、恒久的であり得る、またはそれらは、区域内の移動する車両または人間によって作成されるもの等、一時的であり得る。区域内で動作することが適格であるとして前に識別された移動する物体は、中央制御システム６１５または局所区域ＯＭＳによって監視され、全ての可能性として考えられる物体構成、物理的位置、および速度に基づいて、先を見越して追跡されてもよい。
５．３ 区域内およびその間の物体の分類

【0111】

それらの最も単純なレベルにおいて、上記のプロシージャは、中央制御システム６１５に、占有される、および／または潜在的に占有されることが把握される領域を規定する、各監視される区域１００の内部のボクセルレベル表現を提供する。いくつかの用途に関して、本初歩的表現は、すなわち、本システムが、背景の一部として識別されるもの以外にいかなる移動する物体も存在するべきではない空間を監視している場合、十分であり得る。しかしながら、より一般的には、物体レベル識別が、例えば、通常動作が、移動する機械類部分、仕掛品、可動ロボットまたは他の車両等を伴う場合に必要である。そのような物体は、通常、固定および可動物体の元の背景マップの一部ではなく、それらを識別するために、概して、上記に説明されるように、より高い（すなわち、物体）レベルにおいて分析のための個々の占有されるボクセルをクラスタ化することが、有用である。

【0112】

特に、クラスタは、区域内または隣接する区域の間のいずれかで、単純に、現在のセンサ画像フレーム内のクラスタを前のフレーム内の近傍クラスタと関連付ける、またはより洗練された技法（Ｋ平均クラスタリングまたはサポートベクトルマシン等）を使用することによって、経時的に追跡されることができる。クラスタの形状、サイズ、または他の特徴は、識別され、これが既知の区域境界を横切る際、１つの区域から次の区域まで追跡されることができる。いったんクラスタが、識別されると、付加的技法が、それらが移動する際のそれらの精密な場所を分類およびマッピングするために適用されることができる。可動ロボットまたは自動化誘導車両等のある移動する物体が、それらの分類、場所、および配向を外部感知要素に、または中央制御システム６１５またはローカル制御システム１１２に直接無線で（例えば、上記のような通信プロトコルのうちの１つを使用して）伝送する能力を有してもよい。移動する物体が、これがその場所を確認するために識別し得る場所ビーコンまたは基準マーカを利用してもよい。従来的にセンサと適合されないものを含む、他の移動する物体（フォークリフト、ワークピース、仕掛品、またはさらには人間等）が、場所センサと独立して適合されることができ、これは、次いで、分類のために識別されたボクセルクラスタにマッピングされてもよい。

【0113】

別のアプローチは、ユーザインターフェースを通して具体的クラスタを人間、機械類、仕掛品、またはワークピースとしてマーキングするために、外部入力を使用することである。識別されたクラスタの初期物体レベル分類が、本外部入力に基づいて実施されることができる。入力データは、具体的クラスタを機械、人間、ワークピース、または仕掛品として手動で識別するオペレータから、またはそのデータベース内の情報または事前知識から具体的クラスタを自動的に分類する学習ソフトウェア（例えば、ベイズ分類器または物体検出および分類のために構成されたシステム）から生じてもよい。本アプローチの一実施形態は、空間内の全ての既知の物体を識別し、それ以外の任意のものを障害物として分類することである。別の実施形態では、人間等の保護を必要するそれらのアイテムのみが、肯定的に識別される。初期ステップにおいて分類されていない任意のクラスタ（分類後に網羅面積に進入する人間等）は、移動する機械類によって回避されるべき障害物と見なされてもよい。
５．４ 作業セルおよび作業空間内の物体、オクルージョン、および非安全空間の記録の維持および更新

【0114】

中央コントローラ実装では、区域レベルオクルージョンデータは、低減され、全ての区域の境界は、識別され、工場レベル空間マップ内に合体されてもよい。一実施形態では、区域レベルデータ構造が、移動する物体の位置、現在および将来の軌道、および関連付けられる区域内の全てのオクルージョンおよび障害物を記憶する。中央制御システム６１５は、人間、可動機械、または仕掛品が、区域の間で移動する（または可能性として移動することが予測される）際、本データ構造を隣接する区域に渡す。データ構造は、Ｃ構造または連結リスト、Ｐｙｔｈｏｎリストまたはディクショナリ、テーブル、関係またはフラットファイルデータベース、または他の好適な表現であってもよい。

【0115】

一方、分散区域レベル実装では、各ＯＭＳは、データ構造を区域内の各識別および分類された可動物体（人間、機械、または仕掛品等）と関連付け、分類された可動物体が、区域の間で移動する（またはその間で移動することが予測される）際、本データ構造を隣接する区域のＯＭＳに渡す。物体のデータ構造は、物体が移動するにつれてリアルタイムで、その新しい場所、軌道、および可能性として考えられる将来の位置を用いて更新される。物体運動が、区域内のオクルージョンおよび非安全空間を改変する際、オクルージョンおよび非安全空間マップもまた、更新される。

【0116】

例えば、人間が、作業セル内で移動する際、具体的センサによって見られるような人間によってオクルードされる空間は、可視状態になる一方、前に可視であった他の空間は、オクルードされた状態になる。本情報は、区域レベルデータ構造および／または区域内の移動する物体のそれぞれと関連付けられるデータ構造を更新するために使用される。これらの移動する物体は、定位置に固定されるが、固定されたボリュームにわたってそのアームを移動させることが可能であり、これが移動する際にオクルージョン、妨害、および非安全空間（例えば、ピンチポイント）を発生させる、ロボット等の定位置において移動する機械類を含み得る。
５．５ 網羅区域からの安全制御出力の発生

【0117】

本段階において、中央制御システム６１５は、または区域特有ＯＭＳは集合的に、安全目的のために考慮されなければならない全ての物体（固定、移動可能、および人間等の侵入）、それらの場所、およびそれらの軌道を識別している。物体（固定および移動可能の両方）と関連付けられる全てのオクルージョンおよび非安全空間は、識別およびマッピングされている。これらのデータを前提として、種々の制御出力が、発生されることができる。これまでに実施されたステップの全ては、安全重視用途のために実装されることができるため、これらの制御出力は、関連する信頼性規格を満たすことができる。

【0118】

最も単純なタイプの出力は、種々の区域内の侵入を示すバイナリ信号である。これらのバイナリ信号は、独立する、または作業空間マッピングシステム（例えば、分析モジュール３４２）に専用のＰＬＣを通して接続されることができる。これらの信号はさらに、工場レベルＳＣＡＤＡまたはＭＥＳシステムに集約するために外部安全ＰＬＣに、および即時の応答のために作業空間内の機器に直接接続されることができる。区域侵入情報もまた、フィールドバス、イーサネット（登録商標）、または無線等のデジタル通信プロトコルを経由して配信されることができる。ＳＣＡＤＡまたはＭＥＳシステムは、次いで、減速、停止、または他の安全情報を網羅空間の内側の機械類（固定または可動のいずれか）に中継することができ、その専用コントローラは、適切なコマンドを発行するであろう。本情報転送は、有線または無線手段を通して行われることができる。無線信号インターフェースが、例えば、安全情報を可動ロボットに中継するときに要求されてもよい。

【0119】

別の望ましい出力は、２Ｄ近接センサの出力に匹敵する、感知される面積内の任意の侵入と移動する機械または定常機械との間の距離である。本量は、それを下回ると出力がアサートされる近接閾値を使用して、バイナリ信号に変換されてもよい。本システム（すなわち、中央制御システム６１５またはＯＭＳ）が、機械に最も近接する侵入の場所、範囲、および／または形状を提供することもまた、望ましくあり得る。

【0120】

衝突の可能性は、同心円３Ｄ安全エンベロープを使用して、図５に関して上記に説明されるように監視されてもよい。これらの安全エンベロープの場所および３Ｄ範囲は、機械類が、動作し、侵入として分類された人間または可動機械類が、安全エンベロープ５０２、５０８、５１０を中心として、その間を移動する際、各時間ステップにおいて更新される。これらの更新は、作業セル内の全ての物体の場所および軌道、およびそれらが作業セル内および区域の間で移動する際にそれらが発生させるオクルージョンおよび非安全空間をリアルタイムで維持する、データ構造をリフレッシュすることによってもたらされる。近傍の物体のボリュームが重複することが非安全と見なされる移動する物体を囲繞するボリューム（それらの位置および推定される軌道によって決定される）は、衝突またはそれらを潜在的衝突コース上にもたらす移動に関して連続的にチェックされる。

【0121】

種々の実施形態では、安全エンベロープが、相互に接近する場合、機械類は、減速または停止され、作業セル内の人間は、警告を用いてアラートされる。エンベロープが、交差する場合、機械類は、中止され、安全違反アラートが、鳴らされる。警告または違反を引き起こす人間が、進路を外れて移動すると、アラームは、終了し、機械類は、その通常動作を再開する。物体が、区域を通して移動する際、具体的機械類と関連付けられる信号（例えば、可動ロボットに関する緊急停止）は、可動機械類および人間が、区域の間で移動する際、異なるコントローラ４０７に動的にマッピングされてもよい。これは、一式の機械類に関する具体的制御ループが、これが進行する際に機械に「追従する」ことを可能にする。本信号ハンドオフは、デュアルチャネル信号経路およびフェイルセーフアーキテクチャを用いて、安全定格様式で実施されてもよい。
５．６ 安全アーキテクチャ説明および考慮事項

【0122】

本明細書に説明されるアプローチを利用するシステムは、人間の安全性に関与するため、本システムのアーキテクチャおよび動作は、稼働時間、待ち時間、および干渉からの保護に関する産業安全規格を満たすべきである。分散実施形態では、区域センサアレイおよび関連付けられるＯＭＳはそれぞれ、その独自の安全プロトコルおよび動作を伴う独立した動作単位と見なされることができる。上記に詳述されるように、これらの区域レベルシステムは、通信が、独立し、隣接する最近傍の近隣にのみ行われるように、隣接する区域のシステムに（例えば、区域から区域に移動する侵入を識別するために）接続されることができる。区域の間の通信は、望ましくは、デュアルチャネルおよびフェイルセーフであるプロトコルを使用して行われ、安全定格通信および動作を可能にする。

【0123】

分散実施形態では、現場面積６００全体は、連結されるが、独立した感知システムの集合と見なされることができ、制御の単位が、少数のセンサおよびＯＭＳであるため、短い待ち時間を伴う。しかしながら、能動感知（ＴｏＦセンサ等）を使用する場合、本アーキテクチャは、各ＯＭＳが、独立して動作し、区域を横断するセンサトリガリングが、協調されないため、隣接する区域の間の干渉を呈し得る。これを軽減するために、完全分散実施形態であっても、区域の各小群は、作業セルのその小群のセンサのトリガリングおよびデータ捕捉を協調させるローカルマスタＯＭＳを有してもよい。全ての群化された作業セルのローカルマスタは、区域群間の干渉を軽減し、したがって、区域レベルにおいても同様に干渉を軽減するように協調する。軽減は、それらが、干渉することができないように、センサを時間多重化すること、または、信号干渉が、最小限にされるように、励起の周波数を時間変動させることを伴い得る。代替として、区域の各小群は、ランダムバックオフ等のピアツーピア通信アルゴリズムを使用して通信することができる。

【0124】

一元化実施形態では、全てのセンサは、中央制御システム６１５によって制御され、これは、センサ間の干渉を回避するように、データ捕捉を順次トリガする。これは、例えば、時分割または周波数分割多重化を使用して達成されることができ、中央制御システム６１５は、始動または構成相の間に周波数またはタイムスライスを区域およびセンサに割り当てる。代替として、中央制御システム６１５は、高速安全定格接続（無線であり得る）を経由してセンサからデータを受信し、待ち時間を最小限にし、別個の施行機構の必要性を排除することができる。

【0125】

区域レベルプロセッサに加えて、全体的システムは、各センサ、センサ群、およびコントローラの機能および状態を連続的にチェックし、侵入および機器故障または干渉の両方からの障害条件を識別する、監督プロセッサを有してもよい。さらに、識別された物体毎の位置、軌道、オクルージョン、および非安全空間データを含有するデータ構造もまた、安全定格様式で記憶および維持されてもよい。データ構造が、更新される際、バックアップコピーが、中央制御システム６１５に送信されてもよく、これは、データ構造の２つのコピー（その独自のものおよび区域ＯＭＳによって発生されたもの）が常時同じであることを連続的に検証する。形態または内容における任意の逸脱が、データ不整合が存在する具体的物体、またはシステム全体に関するアラームおよび停止信号をトリガしてもよい。コントローラの間で物体データ構造を転送する通信プロトコルもまた、望ましくは、通信チャネルの故障が、工場床上の潜在的衝突または非安全条件に関連のないシステム故障をトリガしないように、デュアルチャネルである。

【0126】

本発明のある実施形態が、上記に説明される。しかしながら、本発明が、それらの実施形態に限定されず、むしろ、本明細書に明確に説明されるものへの追加および修正もまた、本発明の範囲内に含まれることに明確に留意されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】