知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-27
(54)【発明の名称】潜在的占有エンベロープを使用した機械類の安全動作
(51)【国際特許分類】
B25J 19/06 20060101AFI20221020BHJP
G05B 19/4061 20060101ALI20221020BHJP
【ＦＩ】
B25J19/06
G05B19/4061
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022511241
(86)(22)【出願日】2020-08-21
(85)【翻訳文提出日】2022-02-21
(86)【国際出願番号】 US2020047399
(87)【国際公開番号】W WO2021041213
(87)【国際公開日】2021-03-04
(31)【優先権主張番号】63/048,338
(32)【優先日】2020-07-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/890,718
(32)【優先日】2019-08-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】519287459
【氏名又は名称】ヴェオ ロボティクス， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】クリヴェシュコ， イリヤ エー．
(72)【発明者】
【氏名】シュローダー， ポール ジェイコブ
(72)【発明者】
【氏名】ウォーテンバーグ， マレク
(72)【発明者】
【氏名】メロ， ブラッド シー．
(72)【発明者】
【氏名】ヴュ， クララ
(72)【発明者】
【氏名】デネンバーグ， スコット
(72)【発明者】
【氏名】フェルドマン， エイブラハム ケー．
(72)【発明者】
【氏名】ギャリガン， マシュー
(72)【発明者】
【氏名】ソバルヴァッロ， パトリック
(72)【発明者】
【氏名】オーコイン， ニコル
(72)【発明者】
【氏名】モエル， アルバート
【テーマコード（参考）】
3C269
3C707
【Ｆターム（参考）】
3C269AB33
3C269BB14
3C269MN40
3C269MN46
3C269PP15
3C707AS01
3C707BS09
3C707KS10
3C707KT01
3C707KT04
3C707LS20
3C707LU05
3C707LV01
3C707MS09
3C707MS14
3C707MS27
3C707NS02
(57)【要約】
３次元（３Ｄ）作業空間内で活動を実施する機械類の安全動作を施行するための種々の実施形態は、作業空間の３Ｄ空間表現を計算的に発生させることと、機械類および人間によって占有される空間に対応する作業空間の３Ｄ領域を計算的にマッピングすることと、それに基づいて、活動の物理的実施中、安全性プロトコルに従って、機械類の動作を制限することとを含む。一実施形態において、３Ｄ領域は、活動の実施中にのみ機械類によって到達可能な空間領域に限られる。
【特許請求の範囲】
【請求項1】
３次元（３Ｄ）作業空間内で活動を実施する機械類の安全動作を施行するための安全性システムであって、前記システムは、コンピュータメモリであって、前記コンピュータメモリは、（ｉ）前記機械類のモデルおよびその可能にされる移動と、（ｉｉ）人間に近接した前記機械類の速度制限および前記機械類と人間との間の最小分離距離を規定する安全性プロトコルとを記憶している、コンピュータメモリと、
プロセッサと
を備え、
前記プロセッサは、
記憶された画像から、前記作業空間の３Ｄ空間表現を計算的に発生させることと、
シミュレーションモジュールを介して、前記記憶されたモデルに従って、前記機械類による前記活動の少なくとも一部の実施をシミュレートすることと、
マッピングモジュールを介して、前記作業空間内の前記機械類によって占有される空間に対応する前記作業空間の第１の３Ｄ領域をマッピングすることであって、前記第１の３Ｄ領域は、前記シミュレーションモジュールによってシミュレートされた移動に及ぶ前記機械類の周囲の３Ｄエンベロープによって増大させられる、ことと、
前記作業空間内の人間によって占有または潜在的に占有される空間に対応する前記作業空間の第２の３Ｄ領域を識別することであって、前記第２の３Ｄ領域は、所定の将来の時間内の前記作業空間内の前記人間の予想される移動に対応する前記人間の周囲の３Ｄエンベロープによって増大させられる、ことと、
前記活動の物理的実施中、前記第１の領域と第２の領域との間の近接に基づいて、安全性プロトコルに従って、前記機械類の動作を制限することと
を行うように構成されている、システム。
【請求項2】
前記シミュレーションモジュールは、少なくとも部分的に前記機械類および前記人間に関連付けられた現在の状態に基づいて、前記作業空間の前記第１および第２の３Ｄ領域を動的にシミュレートするように構成され、前記現在の状態は、現在の位置、現在の向き、前記活動における次のアクションに関連付けられた予期される位置、前記活動における前記次のアクションに関連付けられた予期される向き、速度、加速度、幾何学形状、および／または、運動学のうちの少なくとも１つを備えている、請求項１に記載の安全性システム。
【請求項3】
前記第１の３Ｄ領域は、前記活動の実施中にのみ前記機械類によって到達可能な空間領域に限られる、請求項１に記載の安全性システム。
【請求項4】
前記第１の３Ｄ領域は、任意の活動の実施中に前記機械類によって到達可能なグローバル空間領域を含む、請求項１に記載の安全性システム。
【請求項5】
前記作業空間は、複数のボクセルとして計算的に表される、請求項１に記載の安全性システム。
【請求項6】
コンピュータビジョンシステムをさらに備え、前記コンピュータビジョンシステムは、それ自体、前記作業空間の周りに分配された複数のセンサであって、前記センサの各々は、センサ視野内の前記作業空間の部分の画像を記録するためのピクセルのグリッドに関連付けられており、前記画像は、深度情報を含む、複数のセンサと、
前記人間および前記機械類、およびそれらの移動を認識するための物体認識モジュールと
を備えている、請求項１に記載の安全性システム。
【請求項7】
前記作業空間の複数の前記部分は、集合的に、前記作業空間全体を覆う、請求項６に記載の安全性システム。
【請求項8】
前記第１の３Ｄ領域は、複数のネスト化された空間的に異なる３Ｄサブ区域に分割されている、請求項１に記載の安全性システム。
【請求項9】
前記第２の３Ｄ領域と前記サブ区域の各々との間の重複は、前記機械類の前記動作の異なる改変の程度をもたらす、請求項８に記載の安全性システム。
【請求項10】
前記プロセッサは、前記機械類によって取り扱われているワークピースを認識し、前記第１の３Ｄ領域を識別することにおいて前記ワークピースを前記機械類の一部として扱うようにさらに構成されている、請求項１に記載の安全性システム。
【請求項11】
前記プロセッサは、前記人間によって取り扱われているワークピースを認識し、前記第２の３Ｄ領域を識別することにおいて前記ワークピースを前記人間の一部として扱うようにさらに構成されている、請求項１に記載の安全性システム。
【請求項12】
前記プロセッサは、前記機械類がそれに近接した人間に接触することのない安全状態にされることができるように、前記機械類の動作を動的に制御するように構成されている、請求項１に記載の安全性システム。
【請求項13】
前記プロセッサは、前記タスクの実施中、前記機械類および前記人間の走査データを入手することと、
少なくとも部分的に前記機械類および前記人間オペレータの走査データに基づいて、それぞれ、前記第１および第２の３Ｄ領域を更新することと
を行うようにさらに構成されている、請求項１に記載の安全性システム。
【請求項14】
前記プロセッサは、前記機械類が、前記シミュレートされた３Ｄ領域の外側での動作の外側に逸脱したと決定された場合、前記活動の物理的実施中に前記機械類を停止させるようにさらに構成されている、請求項１に記載の安全性システム。
【請求項15】
前記プロセッサは、潜在的逸脱事象の前に前記機械類の予測される動作に基づいて、前記活動の物理的実施中に前記機械類を予防的に停止させるようにさらに構成され、それによって、慣性は、前記機械が前記シミュレートされた３Ｄ領域の外側に逸脱することを引き起こさない、請求項１に記載の安全性システム。
【請求項16】
３次元（３Ｄ）作業空間内で活動を実施する機械類の安全動作を施行する方法であって、前記方法は、（ｉ）前記機械類のモデルおよびその可能にされる移動と、（ｉｉ）人間に近接した前記機械類の速度制限および前記機械類と人間との間の最小分離距離を規定する安全性プロトコルとを電子的に記憶することと、
記憶された画像から、前記作業空間の３Ｄ空間表現を計算的に発生させることと、
前記記憶されたモデルに従って、前記機械類による活動の少なくとも一部の実施を計算的にシミュレートすることと、
前記作業空間内の前記機械類によって占有される空間に対応する前記作業空間の第１の３Ｄ領域を計算的にマッピングすることであって、前記第１の３Ｄ領域は、計算的にシミュレートされた移動に及ぶ前記機械類の周囲の３Ｄエンベロープによって増大させられる、ことと、
前記作業空間内の人間によって占有または潜在的に占有される空間に対応する前記作業空間の第２の３Ｄ領域を計算的に識別することであって、前記第２の３Ｄ領域は、所定の将来の時間内の前記作業空間内の前記人間の予想される移動に対応する前記人間の周囲の３Ｄエンベロープによって増大させられる、ことと、
前記活動の物理的実施中、前記第１の領域と第２の領域との間の近接に基づいて、安全性プロトコルに従って、前記機械類の動作を制限することと
を含む、方法。
【請求項17】
前記シミュレーションステップは、少なくとも部分的に前記機械類および前記人間に関連付けられた現在の状態に基づいて、前記作業空間の前記第１および第２の３Ｄ領域を動的にシミュレートすることを含み、前記現在の状態は、現在の位置、現在の向き、前記活動における次のアクションに関連付けられた予期される位置、前記活動における前記次のアクションに関連付けられた予期される向き、速度、加速度、幾何学形状、および／または、運動学のうちの少なくとも１つを備えている、請求項１６に記載の方法。
【請求項18】
前記第１の３Ｄ領域は、前記活動の実施中にのみ前記機械類によって到達可能な空間領域に限られる、請求項１６に記載の方法。
【請求項19】
前記第１の３Ｄ領域は、任意の活動の実施中に前記機械類によって到達可能なグローバル空間領域を含む、請求項１６に記載の方法。
【請求項20】
前記作業空間は、複数のボクセルとして計算的に表される、請求項１６に記載の方法。
【請求項21】
前記作業空間の周りに分配された複数のセンサを提供するステップであって、前記センサの各々は、センサ視野内の前記作業空間の部分の画像を記録するためのピクセルのグリッドに関連付けられており、前記画像は、深度情報を含む、ステップと、前記画像に基づいて、前記人間および前記機械類、およびそれらの移動を計算的に認識するステップと
をさらに含む、請求項１６に記載の方法。
【請求項22】
前記作業空間の複数の前記部分は、集合的に、前記作業空間全体を覆う、請求項２１に記載の方法。
【請求項23】
前記第１の３Ｄ領域は、複数のネスト化された空間的に異なる３Ｄサブ区域に分割される、請求項１６に記載の方法。
【請求項24】
前記第２の３Ｄ領域と前記サブ区域の各々との間の重複は、前記機械類の前記動作の異なる改変の程度をもたらす、請求項２３に記載の方法。
【請求項25】
前記機械類によって取り扱われているワークピースを計算的に認識するステップと、前記第１の３Ｄ領域を識別するステップにおいて前記ワークピースを前記機械類の一部として扱うステップとをさらに含む、請求項１６に記載の方法。
【請求項26】
前記人間によって取り扱われているワークピースを計算的に認識するステップと、前記第２の３Ｄ領域を識別するステップにおいて前記ワークピースを前記人間の一部として扱うステップとをさらに含む、請求項１６に記載の方法。
【請求項27】
前記機械類がそれに近接した人間に接触することのない安全状態にされることができるように、前記機械類の動作を動的に制御するステップをさらに含む、請求項１６に記載の方法。
【請求項28】
前記タスクの実施中、前記機械類および前記人間の走査データを入手するステップと、少なくとも部分的に前記機械類および前記人間オペレータの走査データに基づいて、それぞれ、前記第１および第２の３Ｄ領域を更新するステップと
をさらに含む、請求項１６に記載の方法。
【請求項29】
前記機械類が、前記シミュレートされた３Ｄ領域の外側での動作の外側に逸脱したと決定された場合、前記活動の物理的実施中に前記機械類を停止させるステップをさらに含む、請求項１６に記載の方法。
【請求項30】
潜在的逸脱事象の前に前記機械類の予測される動作に基づいて、前記活動の物理的実施中に前記機械類を予防的に停止させるステップをさらに含み、それによって、慣性は、前記機械が前記シミュレートされた３Ｄ領域の外側に逸脱することを引き起こさない、請求項１６に記載の方法。
【請求項31】
３次元（３Ｄ）作業空間内で活動を実施する機械類の安全動作を施行するための安全性システムであって、前記システムは、コンピュータメモリであって、前記コンピュータメモリは、（ｉ）前記機械類のモデルおよびその可能にされる移動と、（ｉｉ）人間に近接した前記機械類の速度制限および前記機械類と人間との間の最小分離距離を規定する安全性プロトコルとを記憶している、コンピュータメモリと、
プロセッサと
を備え、
前記プロセッサは、
記憶された画像から、前記作業空間の３Ｄ空間表現を計算的に発生させることと、
マッピングモジュールを介して、前記作業空間内の前記機械類によって占有される空間に対応する前記作業空間の第１の３Ｄ領域をマッピングすることであって、前記第１の３Ｄ領域は、前記活動の実施中に前記機械類によって実行される全ての移動に及ぶ前記機械類の周囲の３Ｄエンベロープによって増大させられる、ことと、
前記マッピングモジュールを介して、前記作業空間の第２の３Ｄ領域をマッピングすることであって、前記第２の３Ｄ領域は、現在の時間に始まる間隔中に前記機械類によって予測的に占有される前記第１の３Ｄ領域の一部に対応する、ことと、
前記作業空間内の人間によって占有または潜在的に占有される空間に対応する前記作業空間の第３の３Ｄ領域を識別することであって、前記第３の３Ｄ領域は、前記間隔中の前記作業空間内の前記人間の予想される移動に対応する前記人間の周囲の３Ｄエンベロープによって増大させられる、ことと、
前記活動の物理的実施中、前記第２の領域と第３の領域との間の近接に基づいて、前記安全性プロトコルに従って、前記機械類の動作を制限することと
を行うように構成されている、システム。
【請求項32】
前記間隔は、前記機械類を安全状態にするために要求される時間に対応する、請求項３１に記載の安全性システム。
【請求項33】
前記作業空間の周りに分配された複数のセンサをさらに備え、前記センサの各々は、センサ視野内の前記作業空間の部分の画像を記録するためのピクセルのグリッドに関連付けられており、前記作業空間の複数の前記部分は、集合的に、前記作業空間全体を覆い、前記マッピングモジュールは、前記機械類による前記活動の実施中に前記センサによって発生させられる画像に基づいて、前記作業空間の前記第１の３Ｄ領域を計算するように構成されている、請求項３１に記載の安全性システム。
【請求項34】
シミュレーションモジュールをさらに備え、前記マッピングモジュールは、前記機械類による前記活動の実施の前記シミュレーションモジュールによるシミュレーションに基づいて、前記作業空間の前記第１の３Ｄ領域を計算するように構成されている、請求項３１に記載の安全性システム。
【請求項35】
前記間隔は、少なくとも部分的に前記機械類を安全状態にするために要求される最悪の場合の時間に基づく、請求項３１に記載の安全性システム。
【請求項36】
前記間隔は、少なくとも部分的に前記作業空間の前記第３の３Ｄ領域に向かう方向における前記機械類の最悪の場合の停止時間に基づく、請求項３１に記載の安全性システム。
【請求項37】
前記第１の３Ｄ領域は、前記活動の実施中にのみ前記機械類によって到達可能な空間領域に限られる、請求項３１に記載の安全性システム。
【請求項38】
前記第１の３Ｄ領域は、任意の活動の実施中に前記機械類によって到達可能なグローバル空間領域を含む、請求項３１に記載の安全性システム。
【請求項39】
前記間隔は、少なくとも部分的に前記機械類の位置、速度、および加速度を規定する現在の状態に基づく、請求項３１に記載の安全性システム。
【請求項40】
前記間隔は、前記現在の時間に始まる前記活動を実施することにおける前記機械類のプログラムされた移動にさらに基づく、請求項３９に記載の安全性システム。
【請求項41】
前記作業空間は、複数のボクセルとして計算的に表される、請求項３１に記載の安全性システム。
【請求項42】
前記人間および前記機械類、およびそれらの移動を認識するための物体認識モジュールをさらに備えている、請求項３１に記載の安全性システム。
【請求項43】
前記作業空間の複数の前記部分は、集合的に、前記作業空間全体を覆う、請求項３３に記載の安全性システム。
【請求項44】
前記第１の３Ｄ領域は、複数のネスト化された空間的に異なる３Ｄサブ区域に分割されている、請求項３１に記載の安全性システム。
【請求項45】
前記第２の３Ｄ領域と前記サブ区域の各々との間の重複は、前記機械類の前記動作の異なる改変の程度をもたらす、請求項４４に記載の安全性システム。
【請求項46】
前記プロセッサは、前記機械類によって取り扱われているワークピースを認識し、前記第１の３Ｄ領域を識別することにおいて前記ワークピースを前記機械類の一部として扱うようにさらに構成されている、請求項３１に記載の安全性システム。
【請求項47】
前記プロセッサは、前記人間によって取り扱われているワークピースを認識し、前記第３の３Ｄ領域を識別することにおいて前記ワークピースを前記人間の一部として扱うようにさらに構成されている、請求項３１に記載の安全性システム。
【請求項48】
前記プロセッサは、前記機械類が停止させられるときを除いて、前記機械類と人間との間の接触を防止するように、前記機械類の最大速度を動的に制御するように構成されている、請求項３１に記載の安全性システム。
【請求項49】
前記プロセッサは、前記人間の現在の方向、速度、および加速度に基づいて、前記間隔中の前記作業空間内の前記人間の予想される移動を計算するように構成されている、請求項３１に記載の安全性システム。
【請求項50】
前記間隔中の前記作業空間内の前記人間の予想される移動の計算は、人間運動の運動学的モデルにさらに基づく、請求項４９に記載の安全性システム。
【請求項51】
前記プロセッサは、前記機械類が前記第１の３Ｄ領域の外側で動作していると決定された場合、前記活動の物理的実施中に前記機械類を停止させるようにさらに構成されている、請求項３１に記載の安全性システム。
【請求項52】
前記プロセッサは、前記間隔中の前記第３の３Ｄ領域の内側での前記機械類の予測される動作に基づいて、前記活動の物理的実施中に前記機械類を予防的に停止させるようにさらに構成されている、請求項３１に記載の安全性システム。
【請求項53】
３次元（３Ｄ）作業空間内で活動を実施する機械類の安全動作を施行する方法であって、前記方法は、（ｉ）前記機械類のモデルおよびその可能にされる移動と、（ｉｉ）人間に近接した前記機械類の速度制限および前記機械類と人間との間の最小分離距離を規定する安全性プロトコルとを電子的に記憶することと、
記憶された画像から、前記作業空間の３Ｄ空間表現を計算的に発生させることと、
前記作業空間内の前記機械類によって占有される空間に対応する前記作業空間の第１の３Ｄ領域を計算的にマッピングすることであって、前記第１の３Ｄ領域は、前記活動の実施中に前記機械類によって実行される全ての移動に及ぶ前記機械類の周囲の３Ｄエンベロープによって増大させられる、ことと、
前記作業空間の第２の３Ｄ領域を計算的にマッピングすることであって、前記第２の３Ｄ領域は、現在の時間に始まる間隔中に前記機械類によって予測的に占有される前記第１の３Ｄ領域の一部に対応する、ことと、
前記作業空間内の人間によって占有または潜在的に占有される空間に対応する前記作業空間の第３の３Ｄ領域を計算的に識別することであって、前記第３の３Ｄ領域は、前記間隔中の前記作業空間内の前記人間の予想される移動に対応する前記人間の周囲の３Ｄエンベロープによって増大させられる、ことと、
前記活動の物理的実施中、前記第２の領域と第３の領域との間の近接に基づいて、前記安全性プロトコルに従って、前記機械類の動作を制限することと
を含む、方法。
【請求項54】
前記間隔は、前記機械類を安全状態にするために要求される時間に対応する、請求項５３に記載の方法。
【請求項55】
前記作業空間の周りに分配された複数のセンサを提供することをさらに含み、前記センサの各々は、センサ視野内の前記作業空間の部分の画像を記録するためのピクセルのグリッドに関連付けられており、前記作業空間の複数の前記部分は、集合的に、前記作業空間全体を覆い、前記作業空間の前記第１の３Ｄ領域は、前記機械類による前記活動の実施中に前記センサによって発生させられる画像に基づいてマッピングされる、請求項５３に記載の方法。
【請求項56】
前記作業空間の前記第１の３Ｄ領域は、前記機械類による前記活動の実施の計算的シミュレーションに基づいてマッピングされる、請求項５３に記載の方法。
【請求項57】
前記間隔は、少なくとも部分的に前記機械類を安全状態にするために要求される最悪の場合の時間に基づく、請求項５３に記載の方法。
【請求項58】
前記間隔は、少なくとも部分的に前記作業空間の前記第３の３Ｄ領域に向かう方向における前記機械類の最悪の場合の停止時間に基づく、請求項５３に記載の方法。
【請求項59】
前記第１の３Ｄ領域は、前記活動の実施中にのみ前記機械類によって到達可能な空間領域に限られる、請求項５３に記載の方法。
【請求項60】
前記第１の３Ｄ領域は、任意の活動の実施中に前記機械類によって到達可能なグローバル空間領域を含む、請求項５３に記載の方法。
【請求項61】
前記間隔は、少なくとも部分的に前記機械類の位置、速度、および加速度を規定する現在の状態に基づく、請求項５３に記載の方法。
【請求項62】
前記間隔は、前記現在の時間に始まる前記活動を実施することにおける前記機械類のプログラムされた移動にさらに基づく、請求項６１に記載の方法。
【請求項63】
前記作業空間は、複数のボクセルとして計算的に表される、請求項５３に記載の方法。
【請求項64】
前記人間および前記機械類、およびそれらの移動を計算的に認識することをさらに含む、請求項５３に記載の方法。
【請求項65】
前記作業空間の複数の前記部分は、集合的に、前記作業空間全体を覆う、請求項５５に記載の方法。
【請求項66】
前記第１の３Ｄ領域は、複数のネスト化された空間的に異なる３Ｄサブ区域に分割される、請求項５３に記載の方法。
【請求項67】
前記第２の３Ｄ領域と前記サブ区域の各々との間の重複は、前記機械類の前記動作の異なる改変の程度をもたらす、請求項６６に記載の方法。
【請求項68】
前記機械類によって取り扱われているワークピースを認識するステップと、前記第１の３Ｄ領域を識別するステップにおいて前記ワークピースを前記機械類の一部として扱うステップとをさらに含む、請求項５３に記載の方法。
【請求項69】
前記人間によって取り扱われているワークピースを認識するステップと、前記第３の３Ｄ領域を識別するステップにおいて前記ワークピースを前記人間の一部として扱うステップとをさらに含む、請求項５３に記載の方法。
【請求項70】
前記機械類が停止させられるときを除いて、前記機械類と人間との間の接触を防止するように、前記機械類の最大速度を動的に制御するステップをさらに含む、請求項５３に記載の方法。
【請求項71】
前記間隔中の前記作業空間内の前記人間の予想される移動は、前記人間の現在の方向、速度、および加速度に基づいて計算される、請求項５３に記載の方法。
【請求項72】
前記間隔中の前記作業空間内の前記人間の予想される移動の計算は、人間運動の運動学的モデルにさらに基づく、請求項７１に記載の方法。
【請求項73】
前記機械類が前記第１の３Ｄ領域の外側で動作していると決定された場合、前記活動の物理的実施中に前記機械類を停止させるステップをさらに含む、請求項５３に記載の方法。
【請求項74】
前記間隔中の前記第３の３Ｄ領域の内側での前記機械類の予測される動作に基づいて、前記活動の物理的実施中に前記機械類を予防的に停止させるステップをさらに含む、請求項５３に記載の方法。
【請求項75】
３次元（３Ｄ）作業空間内で活動を実施する機械類の安全動作を施行するための安全性システムであって、前記システムは、コンピュータメモリであって、前記コンピュータメモリは、（ｉ）前記機械類のモデルおよびその可能にされる移動と、（ｉｉ）人間に近接した前記機械類の速度制限および前記機械類と人間との間の最小分離距離を規定する安全性プロトコルとを記憶している、コンピュータメモリと、
プロセッサと
を備え、
前記プロセッサは、
記憶された画像から、前記作業空間の３Ｄ空間表現を計算的に発生させることと、
マッピングモジュールを介して、前記作業空間内の前記機械類によって占有される空間に対応する前記作業空間の第１の３Ｄ領域をマッピングすることであって、前記第１の３Ｄ領域は、前記活動の実施中に前記機械類によって実行される全ての移動に及ぶ前記機械類の周囲の３Ｄエンベロープによって増大させられる、ことと、
前記作業空間内の人間によって占有または潜在的に占有される空間に対応する前記作業空間の第２の３Ｄ領域を識別することと
を行うように構成され、
前記第２の３Ｄ領域は、前記間隔中の前記作業空間内の前記人間の予想される移動に対応する前記人間の周囲の３Ｄエンベロープによって増大させられ、
（ｉ）前記コンピュータメモリは、前記作業空間の第１の３Ｄ領域内の制限区域の幾何学的表現をさらに記憶しており、
（ｉｉ）前記プロセッサは、前記活動の物理的実施中、（ａ）前記第１の領域と第２の領域との間の近接に基づく安全性プロトコルに従って、（ｂ）前記制限区域内またはその外側に留まるように、前記機械類の動作を制限するように構成されている、システム。
【請求項76】
前記プロセッサは、少なくとも部分的に前記機械類によって提供される状態データに基づいて、前記機械類の姿勢および軌道を識別するように構成されている、請求項７５に記載の安全性システム。
【請求項77】
前記状態データは、安全定格であり、安全定格通信プロトコルを経由して提供される、請求項７６に記載の安全性システム。
【請求項78】
前記状態データは、安全定格ではないが、複数のセンサから受信された情報によって検証される、請求項７７に記載の安全性システム。
【請求項79】
前記プロセッサによって実行可能な制御システムをさらに備え、前記制御システムは、安全定格および非安全定格コンポーネントを有し、前記制限区域内またはその外側に留まるための前記機械類の前記動作の制限は、前記安全定格コンポーネントによって実施される、請求項７５に記載の安全性システム。
【請求項80】
前記制限区域は、キープアウト区域であり、前記マッピングモジュールは、前記機械類が前記キープアウト区域に進入することなく前記活動を実施できる経路を決定するようにさらに構成されている、請求項７５に記載の安全性システム。
【請求項81】
前記制限区域は、キープイン区域であり、前記マッピングモジュールは、前記機械類が前記キープイン区域から離れることなく前記活動を実施できる経路を決定するようにさらに構成されている、請求項７５に記載の安全性システム。
【請求項82】
前記安全性プロトコルは、前記人間から前記機械類を分離する最小距離として保護分離距離を規定する、請求項７５に記載の安全性システム。
【請求項83】
前記プロセッサは、前記活動の物理的実施中、前記機械類と前記人間との間の瞬間的な測定された距離を前記保護分離距離と連続して比較し、少なくとも部分的に前記比較に基づいて前記機械類の動作速度を調節するように構成されている、請求項８２に記載の安全性システム。
【請求項84】
前記プロセッサは、前記活動の物理的実施中、前記保護分離距離より大きい距離における設定点まで前記機械類の動作速度を管理するように構成されている、請求項８２に記載の安全性システム。
【請求項85】
前記プロセッサによって実行可能な制御システムをさらに備え、前記制御システムは、安全定格および非安全定格コンポーネントを有し、前記機械類の前記動作速度は、前記非安全定格コンポーネントによって管理される、請求項８４に記載の安全性システム。
【請求項86】
前記第１の３Ｄ領域は、複数のネスト化された空間的に異なる３Ｄサブ区域に分割されている、請求項７５に記載の安全性システム。
【請求項87】
前記第２の３Ｄ領域と前記サブ区域の各々との間の重複は、前記機械類の前記動作の異なる改変の程度をもたらす、請求項８６に記載の安全性システム。
【請求項88】
前記プロセッサは、前記機械類によって取り扱われているワークピースを認識し、前記第１の３Ｄ領域を識別することにおいて前記ワークピースを前記機械類の一部として扱うようにさらに構成されている、請求項７５に記載の安全性システム。
【請求項89】
３次元（３Ｄ）作業空間内で活動を実施する機械類の安全動作を施行する方法であって、前記方法は、（ｉ）前記機械類のモデルおよびその可能にされる移動と、（ｉｉ）人間に近接した前記機械類の速度制限および前記機械類と人間との間の最小分離距離を規定する安全性プロトコルとを電子的に記憶するステップと、
記憶された画像から、前記作業空間の３Ｄ空間表現を計算的に発生させるステップと、
前記作業空間内の前記機械類によって占有される空間に対応する前記作業空間の第１の３Ｄ領域を計算的にマッピングするステップであって、前記第１の３Ｄ領域は、前記活動の実施中に前記機械類によって実行される全ての移動に及ぶ前記機械類の周囲の３Ｄエンベロープによって増大させられる、ステップと、
前記作業空間内の人間によって占有または潜在的に占有される空間に対応する前記作業空間の第２の３Ｄ領域を計算的に識別するステップであって、前記第２の３Ｄ領域は、前記間隔中の前記作業空間内の前記人間の予想される移動に対応する前記人間の周囲の３Ｄエンベロープによって増大させられる、ステップと、
前記作業空間の前記第１の３Ｄ領域内の制限区域の幾何学的表現を電子的に記憶するステップと、
前記活動の物理的実施中、前記第１の領域と第２の領域との間の近接に基づいて、安全性プロトコルに従って、前記機械類の動作を制限するステップであって、それによって、前記機械類は、前記制限区域内またはその外側に留まる、ステップと
を含む、方法。
【請求項90】
少なくとも部分的に前記機械類によって提供される状態データに基づいて前記機械類の姿勢および軌道を識別することをさらに含む、請求項８９に記載の方法。
【請求項91】
前記状態データは、安全定格であり、安全定格通信プロトコルを経由して提供される、請求項９０に記載の方法。
【請求項92】
前記状態データは、安全定格ではないが、複数のセンサから受信された情報によって検証される、請求項９１に記載の方法。
【請求項93】
安全定格および非安全定格コンポーネントを有する制御システムを提供することをさらに含み、前記制限区域内またはその外側に留まるための前記機械類の前記動作の制限は、前記安全定格コンポーネントによって実施される、請求項８９に記載の方法。
【請求項94】
前記制限区域は、キープアウト区域であり、前記機械類が前記キープアウト区域に進入することなく前記活動を実施できる経路を計算的に決定するステップをさらに含む、請求項８９に記載の方法。
【請求項95】
前記制限区域は、キープイン区域であり、前記機械類が前記キープイン区域から離れることなく前記活動を実施できる経路を計算的に決定するステップをさらに含む、請求項８９に記載の方法。
【請求項96】
前記安全性プロトコルは、前記人間から前記機械類を分離する最小距離として保護分離距離を規定する、請求項８９に記載の方法。
【請求項97】
前記活動の物理的実施中、前記機械類と前記人間との間の瞬間的な測定された距離を前記保護分離距離と連続して比較し、少なくとも部分的に前記比較に基づいて前記機械類の動作速度を調節することをさらに含む、請求項９６に記載の方法。
【請求項98】
前記活動の物理的実施中、前記保護分離距離より大きい距離における設定点まで前記機械類の動作速度を管理することをさらに含む、請求項９６に記載の方法。
【請求項99】
安全定格および非安全定格コンポーネントを有する制御システムを提供することをさらに含み、前記機械類の前記動作速度は、前記非安全定格コンポーネントによって管理される、請求項９８に記載の方法。
【請求項100】
前記第１の３Ｄ領域は、複数のネスト化された空間的に異なる３Ｄサブ区域に分割されている、請求項８９に記載の方法。
【請求項101】
前記第２の３Ｄ領域と前記サブ区域の各々との間の重複は、前記機械類の前記動作の異なる改変の程度をもたらす、請求項１００に記載の方法。
【請求項102】
前記機械類によって取り扱われているワークピースを計算的に認識するステップと、前記第１の３Ｄ領域を識別するステップにおいて前記ワークピースを前記機械類の一部として扱うステップとをさらに含む、請求項８９に記載の方法。
【請求項103】
人間－ロボット協働アプリケーションにおいて作業空間を空間的にモデル化するためのシステムであって、前記システムは、安全定格コンポーネントと非安全定格コンポーネントとを有するロボットコントローラと、
前記作業空間内でタスクを実施するときのロボットに関する第１の潜在的占有エンベロープおよび人間オペレータに関する第２の潜在的占有エンベロープを計算的に発生させるように構成された物体監視システムであって、前記第１および第２の潜在的占有エンベロープは、それぞれ、前記タスクの実施中に前記ロボットおよび前記人間オペレータによって実施可能な移動を空間的に包含する、物体監視システムと、
プログラムされたタスクの前記ロボットによる実行を引き起こすための前記コントローラの前記非安全定格コンポーネントによって実行可能な記憶された命令の第１の組と、
前記ロボットを停止または減速させるための前記コントローラの前記安全定格コンポーネントによって実行可能な記憶された命令の第２の組と
を備え、
前記物体監視システムは、前記第１の潜在的占有エンベロープと第２の潜在的占有エンベロープとの間の所定の近接の程度を計算的に検出し、それに基づいて、前記コントローラに前記ロボットを安全状態にさせるように構成されている、システム。
【請求項104】
前記所定の近接の程度は、保護分離距離に対応する、請求項１０３に記載のシステム。
【請求項105】
前記所定の近接の程度は、前記ロボットおよび前記人間オペレータの現在の状態に基づいて、前記物体監視システムによって動的に計算される、請求項１０３に記載のシステム。
【請求項106】
前記ロボットおよび前記人間オペレータを監視するためのコンピュータビジョンシステムをさらに備え、前記物体監視システムは、前記コンピュータビジョンシステムによって検出された前記オペレータの移動に応答して、前記第１の潜在的占有エンベロープのサイズを低減させることまたは拡大することを行うように構成されている、請求項１０３に記載のシステム。
【請求項107】
前記物体監視システムは、（ｉ）低減させられたサイズの潜在的占有エンベロープに従って、低減させられた速度で動作するように前記ロボットを減速させるためのコマンドを前記コントローラの前記非安全定格コンポーネントに発行し、（ｉｉ）ロボット動作を前記低減させられた速度以下で施行するためのコマンドを前記コントローラの前記安全定格コンポーネントに発行するように構成されている、請求項１０６に記載のシステム。
【請求項108】
前記物体監視システムは、（ｉ）拡大された潜在的占有エンベロープに従って、前記ロボットの速度を増加させるためのコマンドを前記コントローラの前記非安全定格コンポーネントに発行し、（ｉｉ）ロボット動作を前記増加された速度以下で施行するためのコマンドを前記コントローラの前記安全定格コンポーネントに発行するように構成されている、請求項１０６に記載のシステム。
【請求項109】
前記コントローラの前記安全定格コンポーネントは、前記低減させられたまたは拡大された第１の潜在的占有エンベロープをキープイン区域として施行するように構成されている、請求項１０６に記載のシステム。
【請求項110】
人間－ロボット協働アプリケーションにおいて作業空間を空間的にモデル化する方法であって、前記方法は、安全定格コンポーネントと非安全定格コンポーネントとを有するロボットコントローラを提供するステップと、
前記作業空間内でタスクを実施するときのロボットに関する第１の潜在的占有エンベロープおよび人間オペレータに関する第２の潜在的占有エンベロープを計算的に発生させるステップであって、前記第１および第２の潜在的占有エンベロープは、それぞれ、前記タスクの実施中に前記ロボットおよび前記人間オペレータによって実施可能な移動を空間的に包含する、ステップと、
前記コントローラの前記非安全定格コンポーネントによって、プログラムされたタスクの前記ロボットによる実行を引き起こすステップと、
前記コントローラの前記安全定格コンポーネントによって、前記第１の潜在的占有エンベロープと第２の潜在的占有エンベロープとの間の所定の近接の程度の計算的検出に基づいて、前記ロボットに安全状態に入らせるステップと
を含む、方法。
【請求項111】
前記所定の近接の程度は、保護分離距離に対応する、請求項１１０に記載の方法。
【請求項112】
前記所定の近接の程度は、前記ロボットおよび前記人間オペレータの現在の状態に基づいて、動的に計算される、請求項１１０に記載の方法。
【請求項113】
（ｉ）前記ロボットおよび前記人間オペレータを計算的に監視するステップと、（ｉｉ）前記オペレータの検出された移動に応答して、前記第１の潜在的占有エンベロープのサイズを低減させるステップまたは拡大するステップとをさらに含む、請求項１１０に記載の方法。
【請求項114】
前記コントローラの前記非安全定格コンポーネントによって、低減させられたサイズの潜在的占有エンベロープに従って、低減させられた速度で前記ロボットを動作させるステップと、前記コントローラの前記安全定格コンポーネントによって、ロボット動作を前記低減させられた速度以下で施行するステップとをさらに含む、請求項１１３に記載の方法。
【請求項115】
（ｉ）前記コントローラの前記非安全定格コンポーネントによって、拡大された潜在的占有エンベロープに従って、前記ロボットの速度を増加させることと、（ｉｉ）前記コントローラの前記安全定格コンポーネントによって、ロボット動作を前記増加された速度以下で施行することとをさらに含む、請求項１１３に記載の方法。
【請求項116】
前記コントローラの前記安全定格コンポーネントによって、前記低減させられたまたは拡大された第１の潜在的占有エンベロープをキープイン区域として施行することをさらに含む、請求項１１３に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、その全開示が参照することによって本明細書に組み込まれる米国仮特許出願第６２／８９０，７１８号（２０１９年８月２３日出願）および第６３／０４８，３３８号（２０２０年７月６日出願）の利益および優先権を主張する。
（発明の分野）
本願は、その全開示が参照することによって本明細書に組み込まれる米国仮特許出願第６２／８９０，７１８号（２０１９年８月２３日出願）および第６３／０４８，３３８号（２０２０年７月６日出願）の利益および優先権を主張する。
（発明の分野）
【0002】
本発明の分野は、概して、潜在的に危険な機械類の動作に関し、具体的に、協働的人間－ロボットアプリケーションに関する。
【背景技術】
【0003】
製造および他の産業用途のための従来的機械類は、費用を節約し、生産性および品質を向上させ、危険な、手間のかかる、または繰り返しの作業を排除し、および／または、人間能力を拡張する新しい形態の自動化に取って代わられているか、または、それらを用いて補完されている。例えば、産業ロボットは、人間の潜在能力をはるかに超え得る強度、速度、信頼性、および寿命を保有する。製造作業セルにおける人間－ロボット協働が増加する最近の傾向は、ロボット性能および能力に対して特に厳しい要件を課す。従来の産業ロボットは、人間に危険であり、通常、防護を通して人間から離れて保たれ、例えば、ロボットは、扉を伴うケージによって包囲され得、扉は、開放されると、電気回路に機械類を安全状態にさせる。他のアプローチは、光カーテンまたは２次元（２Ｄ）エリアセンサを伴い、それは、人間がそれに接近すると、または、所定の距離閾値を横断すると、機械類を減速させるか、または、それを停止させる。これらのシステムは、不利なこととして、作業空間の協働使用を制約する。
【0004】
一方、人間とロボットとを同じ作業空間内で動作させることは、ロボット性能に対する追加の要求を課す。両方は、急速かつ予期せぬ方法で位置および構成を変化させ、ロボットの応答時間、運動学、および動態に対する追加の性能要件を課し得る。典型的な産業ロボットは、固定されるが、それにもかかわらず、可能な移動軌道の広い「エンベロープ」にわたって傷害を引き起こし得る強力なアームを有し、人間が存在する空間内のこれらの軌道の知識を有することが、したがって、安全動作に必須である。
【0005】
一般に、ロボットアームは、精密に制御され得る回転および直動ジョイントによって接続されたいくつかの機械的リンクを備え、コントローラが、具体的アプリケーションのために自動化によって、または製造エンジニアによって決定およびプログラムされた軌道を達成するために、ジョイントの全てを調整する。ロボット軌道を正確に制御し得るシステムが、協働的人間－ロボットアプリケーションにおける安全性のために不可欠である。しかしながら、産業ロボットの正確度は、製造公差（例えば、機械的アームの製作に関する）、ジョイント摩擦、駆動装置非線形性、および制御システムの追従誤差等の因子によって限定される。加えて、これらのロボットマニピュレータの駆動装置およびジョイントにおけるバックラッシュまたは応従性は、ロボットアームの位置付け正確度および動的性能を限定し得る。
【0006】
マニピュレータの全到達可能ボリューム（または「ジョイント空間」）を記述する産業ロボットの運動学的定義が、個々のロボットリンク幾何学形状およびそれらの組み立てから導出される。ロボットの動的モデルが、入力として運動学的定義をとり、それにロボットが各ジョイント界面において可能である速度、加速度、力、運動範囲限界、およびモーメントについての情報を追加し、システム識別手順を適用し、ロボット動的モデルパラメータを推定することによって発生させられる。正確な動的ロボットモデルが、機械的設計、作業セルおよび性能シミュレーション、制御、診断、安全性およびリスク査定、および監督等の多くの分野において必要とされる。例えば、器用な操作タスクおよびロボットの近傍の人間を含む環境との相互作用は、具体的アプリケーションに関するロボットの動的モデルの正確な知識を要求し得る。推定されると、ロボットモデルパラメータは、停止距離および他の安全性関連量を計算するために使用されることができる。ロボットリンクは、典型的に、モータを装備する大きく重い金属鋳物であるので、それらは、移動する間、大きな慣性を有する。初期速度、有効荷重、およびロボット向きに応じて、ロボットは、停止コマンドが発行された後、停止するためにかなりの時間がかかり得る（および長い距離を進行し、数メートルも珍しくない）。
【0007】
ロボットアームの動的モデルは、直接測定されるか、または実験的に決定される種々の慣性および摩擦パラメータの観点から表される。ロボットマニピュレータのモデル構造は、周知であるが、システム識別のために必要とされるパラメータ値は、動的パラメータが、ロボット製造業者によって殆ど提供されず、多くの場合、直接測定可能ではないので、常に利用可能であるわけではない。コンピュータ支援設計（ＣＡＤ）データまたはモデルからのこれらのパラメータの決定は、それらが、ジョイント摩擦、ジョイントおよび駆動装置弾性、およびエンドエフェクタ、ワークピース、またはロボットドレスパッケージ等の追加の機器によって導入される質量のような動的効果を含まないこともあるので、完全な表現をもたらさないこともある。
【0008】
効果的なロボットシステム識別のための１つの重要な必要性は、ロボット機器の安全定格のためのジョイント加速度特性およびロボット停止距離の推定にある。人間が、ロボットアームに物理的に接近すると、安全性システムが、従事し、アームへの電力を遮断または低減させることができるが、ロボット慣性は、ロボットアームを移動させ続け得る。有効停止距離（停止コマンド等の安全性システムの従事から測定される）は、慣性効果を前提として、ロボットアームからの安全な分離距離を決定するための重要な入力である。同様に、全てのセンサシステムは、ある程度の量の待ち時間を含み、ジョイント加速度特性は、ロボットの状態が測定と制御出力の適用との間で変化し得る程度を決定する。ロボット製造業者は、通常、停止距離および時間を示す曲線またはグラフを提供するが、これらの曲線は、解釈することが困難であり得、疎らかつ低分解能であり得、特定の負荷を反映する傾向があり、典型的に、加速度を含まないか、または、停止に従事する時間におけるロボット位置を示さない。制約および異なる環境条件（様々な有効荷重およびエンドエフェクタ等）下のロボット動態をモデル化および予測することに対する改良されたアプローチが、米国特許公開第２０２０／００７０３４７号（その全開示は、参照することによって本明細書に組み込まれる）に記載されている。
【0009】
しかしながら、ロボット挙動が完全にモデル化された場合であっても、所与のアプリケーションに関する安全動作は、作業空間の空間配列、ロボットおよび人々または脆弱な物体の相対的位置、実施されているタスク、およびロボット停止能力に依存する（特に、そのアプリケーションが、人間との相互作用または人間への近接を伴う場合）。例えば、ロボット移動が、単純であり、短期間にわたって一貫して繰り返される場合、近傍の人間オペレータは、それらを観察し、迅速に学習し、安全分離距離を犯すことなく、自身の行動を安全かつ容易に計画および実行することができる。しかしながら、ロボット移動が、より複雑または非周期的である場合、または、それらが、より長い期間またはより広いエリアにわたって起こる場合、近傍の人間は、ロボット移動を予測することにおいて誤り、安全分離距離を犯し得る方法で移動し得る。
【0010】
故に、人間－ロボット協働を組み込むことによる空間モデル化、および所望される場合、ロボットおよび／または人間オペレータによって実施されるタスクに基づくロボットおよび／または人間オペレータの近傍の計算された安全または安全でない領域の可視化を促進するアプローチの必要性が、存在する。このアプローチは、人間作業者に近接して、および／または人間作業者と協働して動作する任意のタイプの産業機械類により一般的に適用されるべきである。
【発明の概要】
【課題を解決するための手段】
【0011】
本発明は、協働的ワークフローおよびプロセスを考慮することによって、安全性に関する作業空間内の機械類および／または人間活動の動態をモデル化するためのアプローチを対象とする。続く議論は、産業ロボットに焦点を当てるが、本発明および本明細書に説明されるアプローチが、その動作が人間作業者の近傍で行われ、人間作業者に危険をもたらし得る任意のタイプの制御される産業機械類に適用可能であることを理解されたい。
【0012】
種々の実施形態において、定義された時間間隔内に、またはタスクまたはアプリケーションの全てまたは定義された部分の実施中にロボット（または他の機械類）および人間オペレータの任意の部分によって潜在的に占有される空間領域が、発生させられ、例えば、動的に計算され、所望される場合、視覚的に表される。これらの「潜在的占有エンベロープ」（ＰＯＥ）は、（例えば、ＩＳＯ １３８５５規格「Ｐｏｓｉｔｉｏｎｉｎｇ ｏｆ ｓａｆｅｇｕａｒｄｓ ｗｉｔｈ ｒｅｓｐｅｃｔ ｔｏ ｔｈｅ ａｐｐｒｏａｃｈ ｓｐｅｅｄｓ ｏｆ ｐａｒｔｓ ｏｆ ｔｈｅ ｈｕｍａｎ ｂｏｄｙ」による）ロボットおよび人間オペレータの状態（例えば、現在および予期される位置、速度、加速度、幾何学形状、および／または、運動学）に基づき得る。ＰＯＥは、ロボットのタスクの実施のシミュレーションに基づいて計算され、移動するロボット部分（ワークピースを含む）のシミュレートされた軌道は、空間内のＰＯＥの３次元（３Ｄ）輪郭を確立し得る。代替として、ＰＯＥは、それがタスクを実施するときのロボットの観察（例えば、３Ｄセンサを使用する）に基づいて取得され、観察された軌道は、ＰＯＥ輪郭を確立するために使用され得る。
【0013】
いくつかの実施形態において、ロボットに関連付けられる「キープイン」区域および／または「キープアウト」区域が、例えば、ロボットおよび人間オペレータのＰＯＥに基づいて定義されることができる。前者の場合、ロボットの動作は、ロボットおよびワークピースの全ての部分が、キープイン区域によって定義される空間領域内に留まるように制約される。後者の場合、ロボットの動作は、ロボットおよびワークピースのいかなる部分も、キープアウト区域に入り込まないように制約される。ロボットおよび人間オペレータのＰＯＥおよび／またはキープイン／キープアウト区域に基づいて、活動の物理的実施中のロボットの移動は、安全性を確実にするために、制限され得る。
【0014】
加えて、その寸法、ワークフロー、資源（例えば、ワークピースまたは支持機器）の場所等の作業空間パラメータは、計算されたＰＯＥに基づいてモデル化され、それによって、人間オペレータの安全性を確実にしながら、高い生産性および空間効率を達成することができる。一実施形態において、ロボットおよび人間オペレータのＰＯＥの両方は、ローカルディスプレイ（例えば、２０２０年７月２日に出願された、米国第１６／９１９，９５９号（その全開示は、参照することによって本明細書に組み込まれる）に説明されるような画面、ＶＲ／ＡＲヘッドセット等）上で提示され、および／または、その上での表示のためにスマートフォンまたはタブレットアプリケーションに通信され、これは、人間オペレータが、ロボットまたは人間オペレータによって現在占有されている空間、または潜在的に占有されるであろう空間を可視化することを可能にし、それによって、オペレータがＰＯＥの周囲の運動を効率的に計画することを可能にし、安全性をさらに確実にする。
【0015】
種々の実施形態において、１つ以上の２次元（２Ｄ）および／または３次元（３Ｄ）撮像センサが、タスクの実際の実行中にロボット、人間オペレータ、および／または作業空間を走査するために採用される。それに基づいて、ロボットおよび人間オペレータのＰＯＥは、リアルタイムで更新され、ロボットおよび／またはモデル化された作業空間の状態（例えば、位置、向き、速度、加速度等）を調節するためのフィードバックとして提供されることができる。いくつかの実施形態において、走査データは、メモリ内に記憶され、同じ人間－ロボット協働アプリケーションにおいて作業空間を次回モデル化するときの入力として使用されることができる。いくつかの実施形態において、ロボット状態は、ロボットコントローラから通信され、続けて、２Ｄおよび／または３Ｄ撮像センサによって検証されることができる。他の実施形態において、走査データは、他のＣＡＤソフトウェアにおける使用のための種々のフォーマットにおいてシステムからエクスポートされ得る。なおも他の実施形態において、ＰＯＥは、ロボットまたは他の機械類によるタスクの実施を（実際の実施を走査するのではなく）シミュレートすることによって発生させられる。
【0016】
加えて、または代替として、オペレータおよび／または他の安全性関連実体からロボットを分離する最小距離を定義する保護分離距離（ＰＳＤ）が、計算されることができる。再び、ＰＳＤは、タスクの実行中に入手されたロボットおよび／または人間オペレータの走査データに基づいて、連続的に更新され得る。一実施形態において、計算されたＰＳＤについての情報が、人間オペレータのＰＯＥと組み合わせられ、それに基づいて、作業空間内のロボットの最適な経路が、次いで、決定されることができる。
【0017】
故に、第１の側面では、本発明は、３次元（３Ｄ）作業空間内で活動を実施する機械類の安全動作を施行するための安全性システムに関する。種々の実施形態において、システムは、（ｉ）機械類のモデルおよびその可能にされる移動および（ｉｉ）人間に近接した機械類の速度制限および機械類と人間との間の最小分離距離を規定する安全性プロトコルを記憶するためのコンピュータメモリと、プロセッサであって、記憶された画像から、作業空間の３Ｄ空間表現を計算的に発生させ、シミュレーションモジュールを介して、記憶されたモデルに従って、機械類による活動の少なくとも一部の実施をシミュレートし、マッピングモジュールを介して、シミュレーションモジュールによってシミュレートされた移動に及ぶ機械類の周囲の３Ｄエンベロープによって増大させられる作業空間内の機械類によって占有される空間に対応する作業空間の第１の３Ｄ領域をマッピングし、所定の将来の時間内の作業空間内の人間の予想される移動に対応する人間の周囲の３Ｄエンベロープによって増大させられる作業空間内の人間によって占有または潜在的に占有される空間に対応する作業空間の第２の３Ｄ領域を識別し、活動の物理的実施中、第１の領域と第２の領域との間の近接に基づいて、安全性プロトコルに従って、機械類の動作を制限するように構成されるプロセッサとを備えている。
【0018】
いくつかの実施形態において、シミュレーションモジュールは、少なくとも部分的に機械類および人間に関連付けられた現在の状態に基づいて、作業空間の第１および第２の３Ｄ領域を動的にシミュレートするように構成され、現在の状態は、現在の位置、現在の向き、活動における次のアクションに関連付けられた予期される位置、活動における次のアクションに関連付けられた予期される向き、速度、加速度、幾何学形状、および／または、運動学のうちの少なくとも１つを備えている。第１の３Ｄ領域は、活動の実施中にのみ機械類によって到達可能な空間領域に限られ得、これは、任意の活動の実施中に機械類によって到達可能なグローバル空間領域を含み得る。種々の実施形態において、作業空間は、複数のボクセルとして計算的に表される。
【0019】
安全性システムは、いくつかの実施形態において、それ自体、作業空間の周りに分配される複数のセンサであって、センサの各々は、センサ視野内の作業空間の部分の画像を記録するためのピクセルのグリッドに関連付けられており、画像は、深度情報を含む、複数のセンサを備えているコンピュータビジョンシステムと、人間および機械類、およびそれらの移動を認識するための物体認識モジュールとを含み得る。作業空間の複数の部分は、集合的に、作業空間全体を覆い得る。
【0020】
種々の実施形態において、第１の３Ｄ領域は、複数のネスト化された空間的に異なる３Ｄサブ区域に分割される。第２の３Ｄ領域とサブ区域の各々との間の重複は、機械類の動作の異なる改変の程度をもたらし得る。プロセッサは、機械類によって取り扱われているワークピースを認識し、第１の３Ｄ領域を識別することにおいてワークピースをその一部として扱うようにさらに構成され得、および／または、人間によって取り扱われているワークピースを認識し、第２の３Ｄ領域を識別することにおいてワークピースを人間の一部として扱うようにさらに構成され得る。
【0021】
代替として、または加えて、プロセッサは、機械類がそれに近接した人間に接触することのない安全状態にされ得るように、機械類の動作を動的に制御するように構成され得る。プロセッサは、タスクの実施中、機械類および人間の走査データを入手し、少なくとも部分的に機械類および人間オペレータの走査データに基づいて、それぞれ、第１および第２の３Ｄ領域を更新するようにさらに構成され得る。プロセッサは、機械類が、シミュレートされた３Ｄ領域の外側での動作の外側に逸脱したと決定された場合、活動の物理的実施中に機械類を停止させるようにさらに構成され得、同様に、プロセッサは、慣性が、機械をシミュレートされた３Ｄ領域の外側に逸脱させないように、潜在的逸脱事象の前に機械類の予測される動作に基づいて、活動の物理的実施中に機械類を予防的に停止させるようにさらに構成され得る。
【0022】
別の側面では、本発明は、３Ｄ作業空間内で活動を実施する機械類の安全動作を施行する方法に関する。種々の実施形態において、本発明は、（ｉ）機械類のモデルおよびその可能にされる移動および（ｉｉ）人間に近接した機械類の速度制限および機械類と人間との間の最小分離距離を規定する安全性プロトコルを電子的に記憶することと、記憶された画像から、作業空間の３Ｄ空間表現を計算的に発生させることと、記憶されたモデルに従って、機械類による活動の少なくとも一部の実施を計算的にシミュレートすることと、計算的にシミュレートされた移動に及ぶ機械類の周囲の３Ｄエンベロープによって増大させられる、作業空間内の機械類によって占有される空間に対応する作業空間の第１の３Ｄ領域を計算的にマッピングすることと、所定の将来の時間内の作業空間内の人間の予想される移動に対応する人間の周囲の３Ｄエンベロープによって増大させられる、作業空間内の人間によって占有または潜在的に占有される空間に対応する作業空間の第２の３Ｄ領域を計算的に識別することと、活動の物理的実施中、第１の領域と第２の領域との間の近接に基づいて、安全性プロトコルに従って、機械類の動作を制限することとを含む。
【0023】
シミュレーションステップは、少なくとも部分的に機械類および人間に関連付けられた現在の状態に基づいて、作業空間の第１および第２の３Ｄ領域を動的にシミュレートすることを含み得、現在の状態は、現在の位置、現在の向き、活動における次のアクションに関連付けられた予期される位置、活動における次のアクションに関連付けられた予期される向き、速度、加速度、幾何学形状、および／または、運動学のうちの１つ以上のもの備えている。第１の３Ｄ領域は、活動の実施中にのみ機械類によって到達可能な空間領域に限られ得、これは、任意の活動の実施中に機械類によって到達可能なグローバル空間領域を含み得る。種々の実施形態において、作業空間は、複数のボクセルとして計算的に表される。
【0024】
方法は、作業空間の周りに分配された複数のセンサを提供することであって、センサの各々は、センサ視野内の作業空間の部分の画像を記録するためのピクセルのグリッドに関連付けられており、画像は、深度情報を含む、ことと、画像に基づいて、人間および機械類、およびそれらの移動を計算的に認識することとをさらに含み得る。作業空間の複数の部分は、集合的に、作業空間全体を覆い得、第１の３Ｄ領域は、複数のネスト化された空間的に異なる３Ｄサブ区域に分割され得る。第２の３Ｄ領域とサブ区域の各々との間の重複は、機械類の動作の異なる改変の程度をもたらし得る。
【0025】
いくつかの実施形態において、方法は、機械類によって取り扱われているワークピースを計算的に認識し、第１の３Ｄ領域を識別することにおいてワークピースをその一部として扱うこと、および／または、人間によって取り扱われているワークピースを計算的に認識し、第２の３Ｄ領域を識別することにおいてワークピースを人間の一部として扱うことをさらに含む。方法は、機械類がそれに近接した人間に接触することのない安全状態にされ得るように、機械類の動作を動的に制御することを含み得る。
【0026】
種々の実施形態において、方法は、タスクの実施中、機械類および人間の走査データを入手することと、少なくとも部分的に機械類および人間オペレータの走査データに基づいて、それぞれ、第１および第２の３Ｄ領域を更新することとをさらに含む。方法は、機械類が、シミュレートされた３Ｄ領域の外側での動作の外側に逸脱したと決定された場合、活動の物理的実施中に機械類を停止させること、および／または、慣性が機械をシミュレートされた３Ｄ領域の外側に逸脱させないように、潜在的逸脱事象に前に機械類の予測される動作に基づいて、活動の物理的実施中に機械類を予防的に停止させることをさらに含み得る。
【0027】
本発明の別の側面は、３Ｄ作業空間内で活動を実施する機械類の安全動作を施行するための安全性システムに関する。種々の実施形態において、システムは、（ｉ）機械類のモデルおよびその可能にされる移動および（ｉｉ）人間に近接した機械類の速度制限および機械類と人間との間の最小分離距離を規定する安全性プロトコルを記憶するためのコンピュータメモリと、プロセッサであって、記憶された画像から、作業空間の３Ｄ空間表現を計算的に発生させ、マッピングモジュールを介して、活動の実施中に機械類によって実行される全ての移動に及ぶ機械類の周囲の３Ｄエンベロープによって増大させられる、作業空間内の機械類によって占有される空間に対応する作業空間の第１の３Ｄ領域をマッピングし、マッピングモジュールを介して、現在の時間に始まる間隔中に機械類によって予測的に占有される第１の３Ｄ領域の一部に対応する作業空間の第２の３Ｄ領域をマッピングし、間隔中の作業空間内の人間の予想される移動に対応する人間の周囲の３Ｄエンベロープによって増大させられる、作業空間内の人間によって占有または潜在的に占有される空間に対応する作業空間の第３の３Ｄ領域を識別し、活動の物理的実施中、第２の領域と第３の領域との間の近接に基づいて、安全性プロトコルに従って、機械類の動作を制限するように構成されるプロセッサとを備えている。間隔は、機械類を安全状態にするために要求される時間に対応し得る。
【0028】
間隔は、少なくとも部分的に機械類を安全状態にするために要求される最悪の場合の時間に基づくか、または、少なくとも部分的に作業空間の第３の３Ｄ領域に向かう方向における機械類の最悪の場合の停止時間に基づき得る。間隔は、少なくとも部分的に機械類の位置、速度、および加速度を規定する現在の状態に基づき得、および／または、現在の時間に始まる活動を実施することにおける機械類のプログラムされた移動に基づき得る。
【0029】
種々の実施形態において、システムは、作業空間の周りに分配された複数のセンサをさらに含む。センサの各々は、センサ視野内の作業空間の部分の画像を記録するためのピクセルのグリッドに関連付けられており、作業空間の複数の部分は、集合的に、作業空間全体を覆う。マッピングモジュールは、機械類による活動の実施中にセンサによって発生させられる画像に基づいて、作業空間の第１の３Ｄ領域を計算するように構成される。システムは、シミュレーションモジュールをさらに含み、マッピングモジュールは、機械類による活動の実施のシミュレーションモジュールによるシミュレーションに基づいて、作業空間の第１の３Ｄ領域を計算するように構成され得る。
【0030】
第１の３Ｄ領域は、活動の実施中にのみ機械類によって到達可能な空間領域に限られ得る。これは、任意の活動の実施中に機械類によって到達可能なグローバル空間領域を含み得る。作業空間は、複数のボクセルとして計算的に表され得る。いくつかの実施形態において、システムは、人間および機械類、およびそれらの移動を認識するための物体認識モジュールをさらに備えている。
【0031】
第１の３Ｄ領域は、複数のネスト化された空間的に異なる３Ｄサブ区域に分割され得る。第２の３Ｄ領域とサブ区域の各々との間の重複は、機械類の動作の異なる改変の程度をもたらし得る。
【0032】
いくつかの実施形態において、プロセッサは、機械類によって取り扱われているワークピースを認識し、第１の３Ｄ領域を識別することにおいてワークピースをその一部として扱うようにさらに構成される。プロセッサは、人間によって取り扱われているワークピースを認識し、第３の３Ｄ領域を識別することにおいてワークピースを人間の一部として扱うようにさらに構成され得る。プロセッサは、機械類が停止させられるときを除いて、機械類と人間との間の接触を防止するように、機械類の最大速度を動的に制御するように構成され得る。代替として、または、加えて、プロセッサは、人間の現在の方向、速度、および加速度に基づいて、間隔中の作業空間内の人間の予想される移動を計算するように構成され得る。間隔中の作業空間内の人間の予想される移動は、人間運動の運動学的モデルにさらに基づき得る。
【0033】
いくつかの実施形態において、プロセッサは、機械類が第１の３Ｄ領域の外側で動作していると決定された場合、活動の物理的実施中に機械類を停止させるように、または、間隔中の第３の３Ｄ領域の内側での機械類の予測される動作に基づいて、活動の物理的実施中に機械類を予防的に停止させるようにさらに構成される。
【0034】
本発明のなおも別の側面は、３Ｄ作業空間内で活動を実施する機械類の安全動作を施行する方法に関する。種々の実施形態において、方法は、（ｉ）機械類のモデルおよびその可能にされる移動および（ｉｉ）人間に近接した機械類の速度制限および機械類と人間との間の最小分離距離を規定する安全性プロトコルを電子的に記憶するステップと、記憶された画像から、作業空間の３Ｄ空間表現を計算的に発生させるステップと、活動の実施中に機械類によって実行される全ての移動に及ぶ機械類の周囲の３Ｄエンベロープによって増大させられる、作業空間内の機械類によって占有される空間に対応する作業空間の第１の３Ｄ領域を計算的にマッピングするステップと、現在の時間に始まる間隔中に機械類によって予測的に占有される第１の３Ｄ領域の一部に対応する作業空間の第２の３Ｄ領域を計算的にマッピングするステップと、間隔中の作業空間内の人間の予想される移動に対応する人間の周囲の３Ｄエンベロープによって増大させられる、作業空間内の人間によって占有または潜在的に占有される空間に対応する作業空間の第３の３Ｄ領域を計算的に識別するステップと、活動の物理的実施中、第２の領域と第３の領域との間の近接に基づいて、安全性プロトコルに従って、機械類の動作を制限するステップとを含む。
【0035】
間隔は、少なくとも部分的に機械類を安全状態にするために要求される最悪の場合の時間に基づくか、または、少なくとも部分的に作業空間の第３の３Ｄ領域に向かう方向における機械類の最悪の場合の停止時間に基づき得る。間隔は、少なくとも部分的に機械類の位置、速度、および加速度を規定する現在の状態に基づき得、および／または、現在の時間に始まる活動を実施することにおける機械類のプログラムされた移動に基づき得る。
【0036】
方法はまた、作業空間の周りに分配された複数のセンサを提供することも含み得る。センサの各々は、センサ視野内の作業空間の部分の画像を記録するためのピクセルのグリッドに関連付けられており、作業空間の複数の部分は、集合的に、作業空間全体を覆う。作業空間の第１の３Ｄ領域は、機械類による活動の実施中にセンサによって発生させられた画像に基づいてマッピングされる。代替として、作業空間の第１の３Ｄ領域は、機械類による活動の実施の計算的シミュレーションに基づいてマッピングされ得る。
【0037】
第１の３Ｄ領域は、活動の実施中にのみ機械類によって到達可能な空間領域に限られ得る。これは、任意の活動の実施中に機械類によって到達可能なグローバル空間領域を含み得る。作業空間は、複数のボクセルとして計算的に表され得る。方法は、人間および機械類、およびそれらの移動を計算的に認識することを含み得る。
【0038】
第１の３Ｄ領域は、複数のネスト化された空間的に異なる３Ｄサブ区域に分割され得る。いくつかの実施形態において、第２の３Ｄ領域とサブ区域の各々との間の重複は、機械類の動作の異なる改変の程度をもたらす。
【0039】
方法は、機械類によって取り扱われているワークピースを認識することと、第１の３Ｄ領域を識別することにおいてワークピースをその一部として扱うこととを含み得、および／または、人間によって取り扱われているワークピースを認識することと、第３の３Ｄ領域を識別することにおいてワークピースを人間の一部として扱うこととを含み得る。方法は、機械類が停止させられるときを除いて、機械類と人間との間の接触を防止するように、機械類の最大速度を動的に制御することを含み得る。
【0040】
間隔中の作業空間内の人間の予想される移動は、人間の現在の方向、速度、および加速度に基づいて計算され得る。間隔中の作業空間内の人間の予想される移動の計算はさらに、人間運動の運動学的モデルに基づき得る。
【0041】
いくつかの実施形態において、方法は、機械類が第１の３Ｄ領域の外側で動作していると決定された場合、活動の物理的実施中に機械類を停止させることを含む。代替として、機械類は、間隔中の第３の３Ｄ領域の内側での機械類の予測される動作に基づいて、予防的に停止させられ得る。
【0042】
本発明のまた別の側面は、３Ｄ作業空間内で活動を実施する機械類の安全動作を施行するための安全性システムに関する。種々の実施形態において、システムは、（ｉ）機械類のモデルおよびその可能にされる移動および（ｉｉ）人間に近接した機械類の速度制限および機械類と人間との間の最小分離距離を規定する安全性プロトコルを記憶するためのコンピュータメモリと、プロセッサであって、記憶された画像から、作業空間の３Ｄ空間表現を計算的に発生させ、マッピングモジュールを介して、活動の実施中に機械類によって実行される全ての移動に及ぶ機械類の周囲の３Ｄエンベロープによって増大させられる、作業空間内の機械類によって占有される空間に対応する作業空間の第１の３Ｄ領域をマッピングし、間隔中の作業空間内の人間の予想される移動に対応する人間の周囲の３Ｄエンベロープによって増大させられる、作業空間内の人間によって占有または潜在的に占有される空間に対応する作業空間の第２の３Ｄ領域を識別するように構成されるプロセッサとを備えている。コンピュータメモリは、作業空間の第１の３Ｄ領域内の制限区域の幾何学的表現も記憶し、プロセッサは、活動の物理的実施中、（ａ）第１の領域と第２の領域との間の近接に基づく安全性プロトコルに従って、（ｂ）制限区域内またはその外側に留まるように、機械類の動作を制限するように構成される。
【0043】
プロセッサは、少なくとも部分的に機械類によって提供される状態データに基づいて、機械類の姿勢および軌道を識別するようにさらに構成され得る。状態データは、安全定格であり、安全定格通信プロトコルを経由して提供され得る。代替として、状態データは、安全定格ではないこともあるが、複数のセンサから受信された情報によって検証される。
【0044】
種々の実施形態において、システムは、プロセッサによって実行可能であり、安全定格および非安全定格コンポーネントを有する制御システムをさらに備え、制限区域内またはその外側に留まるための機械類の動作の制限は、安全定格コンポーネントによって実施される。制限区域は、キープアウト区域であり得、その場合、マッピングモジュールは、機械類がキープアウト区域に進入することなく活動を実施し得る経路を決定するようにさらに構成され得る。制限区域は、キープイン区域であり得、その場合、マッピングモジュールは、機械類がキープイン区域から離れることなく活動を実施し得る経路を決定するようにさらに構成され得る。
【0045】
種々の実施形態において、安全性プロトコルは、人間から機械類を分離する最小距離として保護分離距離を規定する。プロセッサは、活動の物理的実施中、機械類と人間との間の瞬間的な測定された距離を保護分離距離と連続して比較し、少なくとも部分的に比較に基づいて機械類の動作速度を調節するように構成され得る。プロセッサは、活動の物理的実施中、保護分離距離より大きい距離における設定点まで機械類の動作速度を管理するように構成され得る。いくつかの実施形態において、システムは、安全定格および非安全定格コンポーネントを有するプロセッサによって実行可能な制御システムも含み、機械類の動作速度は、非安全定格コンポーネントによって管理される。
【0046】
ある場合、第１の３Ｄ領域は、複数のネスト化された空間的に異なる３Ｄサブ区域に分割される。第２の３Ｄ領域とサブ区域の各々との間の重複は、それによって、機械類の動作の異なる改変の程度をもたらし得る。プロセッサは、機械類によって取り扱われているワークピースを認識し、第１の３Ｄ領域を識別することにおいてワークピースをその一部として扱うようにさらに構成され得る。
【0047】
なおも別の側面では、本発明は、３Ｄ作業空間内で活動を実施する機械類の安全動作を施行する方法に関する。種々の実施形態において、方法は、（ｉ）機械類のモデルおよびその可能にされる移動および（ｉｉ）人間に近接した機械類の速度制限および機械類と人間との間の最小分離距離を規定する安全性プロトコルを電子的に記憶するステップと、記憶された画像から、作業空間の３Ｄ空間表現を計算的に発生させるステップと、活動の実施中に機械類によって実行される全ての移動に及ぶ機械類の周囲の３Ｄエンベロープによって増大させられる、作業空間内の機械類によって占有される空間に対応する作業空間の第１の３Ｄ領域を計算的にマッピングするステップと、間隔中の作業空間内の人間の予想される移動に対応する人間の周囲の３Ｄエンベロープによって増大させられる、作業空間内の人間によって占有または潜在的に占有される空間に対応する作業空間の第２の３Ｄ領域を計算的に識別するステップと、作業空間の第１の３Ｄ領域内の制限区域の幾何学的表現を電子的に記憶するステップと、活動の物理的実施中、第１の領域と第２の領域との間の近接に基づいて、安全性プロトコルに従って、機械類の動作を制限するステップであって、それによって、機械類は、制限区域内またはその外側に留まる、ステップとを含む。
【0048】
種々の実施形態において、方法は、少なくとも部分的に機械類によって提供される状態データに基づいて、機械類の姿勢および軌道を識別するステップをさらに含む。状態データは、安全定格であり、安全定格通信プロトコルを経由して提供され得る。代替として、状態データは、安全定格ではないこともあるが、複数のセンサから受信された情報によって検証される。方法は、安全定格および非安全定格コンポーネントを有する制御システムを提供することを含み、制限区域内またはその外側に留まるための機械類の動作の制限は、安全定格コンポーネントによって実施され得る。
【0049】
いくつかの実施形態において、制限区域は、キープアウト区域であり、方法は、機械類がキープアウト区域に進入することなく活動を実施し得る経路を計算的に決定することをさらに含む。他の実施形態において、制限区域は、キープイン区域であり、方法は、機械類がキープイン区域から離れることなく活動を実施し得る経路を計算的に決定することをさらに含む。安全性プロトコルは、人間から機械類を分離する最小距離として保護分離距離を規定し得る。活動の物理的実施中、方法は、機械類と人間との間の瞬間的な測定された距離を保護分離距離と連続して比較し、少なくとも部分的に比較に基づいて機械類の動作速度を調節することを含み得る。代替として、または加えて、方法は、活動の物理的実施中、保護分離距離より大きい距離における設定点まで機械類の動作速度を管理することを含み得る。
【0050】
いくつかの実施形態において、方法は、安全定格および非安全定格コンポーネントを有する制御システムを提供することをさらに含む。機械類の動作速度は、非安全定格コンポーネントによって管理され得る。
【0051】
種々の実施形態において、第１の３Ｄ領域は、複数のネスト化された空間的に異なる３Ｄサブ区域に分割される。第２の３Ｄ領域とサブ区域の各々との間の重複は、機械類の動作の異なる改変の程度をもたらし得る。方法は、機械類によって取り扱われているワークピースを計算的に認識することと、第１の３Ｄ領域を識別することにおいてワークピースをその一部として扱うこととを含み得る。
【0052】
本発明の別の側面は、人間－ロボット協働アプリケーションにおいて作業空間を空間的にモデル化するためのシステムに関する。種々の実施形態において、システムは、安全定格コンポーネントと非安全定格コンポーネントとを有するロボットコントローラと、作業空間内でタスクを実施するときのロボットに関する第１の潜在的占有エンベロープおよび人間オペレータに関する第２の潜在的占有エンベロープを計算的に発生させるように構成された物体監視システムであって、第１および第２の潜在的占有エンベロープは、それぞれ、タスクの実施中にロボットおよび人間オペレータによって実施可能な移動を空間的に包含する、物体監視システムと、プログラムされたタスクのロボットによる実行を引き起こすためのコントローラの非安全定格コンポーネントによって実行可能な記憶された命令の第１の組と、ロボットを停止または減速させるためのコントローラの安全定格コンポーネントによって実行可能な記憶された命令の第２の組とを備えている。物体監視システムは、第１の潜在的占有エンベロープと第２の潜在的占有エンベロープとの間の所定の近接の程度を計算的に検出し、それに基づいて、コントローラにロボットを安全状態にさせるように構成され得る。
【0053】
いくつかの実施形態において、所定の近接の程度は、保護分離距離に対応する。それは、ロボットおよび人間オペレータの現在の状態に基づいて、物体監視システムによって動的に計算され得る。
【0054】
種々の実施形態において、システムは、ロボットおよび人間オペレータを監視するためのコンピュータビジョンシステムをさらに備えている。物体監視システムは、コンピュータビジョンシステムによって検出されたオペレータの移動に応答して、第１の潜在的占有エンベロープのサイズを低減させることまたは拡大することを行うように構成され得る。物体監視システムは、（ｉ）低減させられたサイズの潜在的占有エンベロープに従って、低減させられた速度で動作するようにロボットを減速させるためのコマンドをコントローラの非安全定格コンポーネントに発行し、（ｉｉ）ロボット動作を低減させられた速度以下で施行するためのコマンドをコントローラの安全定格コンポーネントに発行するように構成され得る。同様に、物体監視システムは、（ｉ）拡大された潜在的占有エンベロープに従って、ロボットの速度を増加させるためのコマンドをコントローラの非安全定格コンポーネントに発行し、（ｉｉ）増加された速度以下でロボット動作を施行するためのコマンドをコントローラの安全定格コンポーネントに発行するように構成され得る。種々の実施形態において、コントローラの安全定格コンポーネントは、低減させられたまたは拡大された第１の潜在的占有エンベロープをキープイン区域として施行するように構成される。
【0055】
また別の側面では、本発明は、人間－ロボット協働アプリケーションにおいて作業空間を空間的にモデル化する方法に関する。種々の実施形態において、方法は、安全定格コンポーネントと非安全定格コンポーネントとを有するロボットコントローラを提供するステップと、作業空間内でタスクを実施するときのロボットに関する第１の潜在的占有エンベロープおよび人間オペレータに関する第２の潜在的占有エンベロープを計算的に発生させるステップであって、第１および第２の潜在的占有エンベロープは、それぞれ、タスクの実施中にロボットおよび人間オペレータによって実施可能な移動を空間的に包含する、ステップと、コントローラの非安全定格コンポーネントによって、プログラムされたタスクのロボットによる実行を引き起こすステップと、コントローラの安全定格コンポーネントによって、第１の潜在的占有エンベロープと第２の潜在的占有エンベロープとの間の所定の近接の程度の計算的検出に基づいて、ロボットに安全状態に入らせるステップとを含む。
【0056】
いくつかの実施形態において、所定の近接の程度は、保護分離距離に対応する。所定の近接の程度は、ロボットおよび人間オペレータの現在の状態に基づいて、動的に計算され得る。
【0057】
種々の実施形態において、方法は、（ｉ）ロボットおよび人間オペレータを計算的に監視することと、（ｉｉ）オペレータの検出された移動に応答して、第１の潜在的占有エンベロープのサイズを低減させるまたは拡大することとをさらに含む。方法は、コントローラの非安全定格コンポーネントによって、低減させられたサイズの潜在的占有エンベロープに従って、ロボットを低減させられた速度で動作させることと、コントローラの安全定格コンポーネントによって、ロボット動作を低減させられた速度以下で施行することとをさらに含み得る。同様に、方法は、（ｉ）コントローラの非安全定格コンポーネントによって、拡大された潜在的占有エンベロープに従って、ロボットの速度を増加させることと、（ｉｉ）コントローラの安全定格コンポーネントによって、増加された速度以下でロボット動作を施行することとをさらに含み得る。代替として、または加えて、方法は、コントローラの安全定格コンポーネントによって、低減させられたまたは拡大された第１の潜在的占有エンベロープをキープイン区域として施行することをさらに含み得る。
【0058】
一般に、本明細書において使用される場合、用語「ロボット」は、ワークピースに対して移動、操作、採取および設置、処理、接合、切断、溶接等の自動化動作を実施するための任意のタイプの制御可能な産業機器を意味する。用語「実質的に」は、±１０％、いくつかの実施形態において、±５％を意味する。加えて、本明細書全体を通した「一例（ｏｎｅ ｅｘａｍｐｌｅ）」、「ある例（ａｎ ｅｘａｍｐｌｅ）」、「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、または「ある実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」の言及は、例に関連して説明される特定の特徴、構造、または特性が、技術の少なくとも１つの例に含まれることを意味する。したがって、本明細書全体を通した種々の箇所における語句「一例では（ｉｎ ｏｎｅ ｅｘａｍｐｌｅ）」、「ある例では（ｉｎ ａｎ ｅｘａｍｐｌｅ）」、「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、または「ある実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」の表出は、必ずしも全てが同じ例を指すわけではない。さらに、特定の特徴、構造、ルーチン、ステップ、または特性は、技術の１つ以上の例において任意の好適な様式で組み合わせられ得る。本明細書に提供される見出しは、便宜上のためだけのものであり、請求される技術の範囲または意味を限定または解釈することを意図していない。
【図面の簡単な説明】
【0059】
図面では、同様の参照文字は、概して、異なる図全体を通して同じ部分を指す。また、図面は、必ずしも縮尺通りではなく、代わりに、概して、本発明の原理を図示することに重点が置かれている。以下の説明では、本発明の種々の実施形態が、以下の図面を参照して説明される。
【0060】
【0061】
【0062】
【0063】
【0064】
【0065】
【0066】
【0067】
【0068】
【0069】
【0070】
【0071】
【0072】
【0073】
【0074】
【0075】
【0076】
【0077】
【発明を実施するための形態】
【0078】
以下の議論は、安全性のために作業空間内のロボット動態および／または人間活動をリアルタイムで完全にモデル化および／または計算するための統合されたシステムおよび方法を説明する。ある場合、これは、作業空間内のロボットの意味分析、および、それが相互作用するワークピースの識別を伴う。しかしながら、これらの種々の要素が、別個に、所望の組み合わせで一緒に実装され得、本明細書に議論される発明的側面が、単に容易な提示のために、およびそれらの相互運用性を例証するために一緒に記載される説明される要素の全てを要求するわけではないことを理解されたい。説明されるようなシステムは、単に、一実施形態を表す。
【0079】
最初に、センサシステム１０１を含む安全性システムを装備する代表的人間－ロボット協働作業空間１００を図示する図１を参照すると、センサシステム１０１は、作業空間１００を監視するための１０２１、１０２２、１０２３において代表的に示される１つ以上のセンサを有する。各センサは、センサ視野内の作業空間の一部のデータ（深度、範囲、または任意の３Ｄ情報を有する画像等）を記録するためのピクセルのグリッドに関連付けられ得る。
センサ１０２１－３は、従来の光学センサであり得る：例えば、理想的に、高フレームレート（例えば、２５フレーム毎秒（ＦＰＳ）～１００ＦＰＳ）を伴うカメラ（３Ｄ飛行時間（ＴｏＦ）カメラ、ステレオビジョンカメラ）、または３Ｄ ＬＩＤＡＲセンサまたはレーダベースのセンサ等。センサ１０２１－３の動作モードは、作業空間１００の３Ｄ表現が、センサ１０２１－３によって取得される画像または他のデータから取得可能である限り、重要ではない。センサ１０２１－３は、従来のロボットコントローラ１０８によって制御されるロボット１０６を含む作業空間全体（または少なくともその一部）を集合的に対象とし得、それを監視することができる。ロボット１０６は、種々のワークピースＷと相互作用し、作業空間１００内の人間オペレータＨは、タスクを実施するために、ワークピースＷおよび／またはロボット１０６と相互作用し得る。作業空間１００は、補助機器１１０の種々のアイテムも含み得る。本明細書において使用される場合、ロボット１０６および補助機器１１０は、作業空間１００内の機械類として表される。
センサ１０２１－３は、従来の光学センサであり得る：例えば、理想的に、高フレームレート（例えば、２５フレーム毎秒（ＦＰＳ）～１００ＦＰＳ）を伴うカメラ（３Ｄ飛行時間（ＴｏＦ）カメラ、ステレオビジョンカメラ）、または３Ｄ ＬＩＤＡＲセンサまたはレーダベースのセンサ等。センサ１０２１－３の動作モードは、作業空間１００の３Ｄ表現が、センサ１０２１－３によって取得される画像または他のデータから取得可能である限り、重要ではない。センサ１０２１－３は、従来のロボットコントローラ１０８によって制御されるロボット１０６を含む作業空間全体（または少なくともその一部）を集合的に対象とし得、それを監視することができる。ロボット１０６は、種々のワークピースＷと相互作用し、作業空間１００内の人間オペレータＨは、タスクを実施するために、ワークピースＷおよび／またはロボット１０６と相互作用し得る。作業空間１００は、補助機器１１０の種々のアイテムも含み得る。本明細書において使用される場合、ロボット１０６および補助機器１１０は、作業空間１００内の機械類として表される。
【0080】
種々の実施形態において、センサ１０２１－３の各々によって取得されたデータは、制御システム１１２に伝送される。それに基づいて、制御システム１１２は、下でさらに説明されるように、作業空間１００の３Ｄ空間表現（例えば、ボクセル）を計算的に発生させ、ロボット１０６、人間オペレータ、および／またはロボットおよび／または人間オペレータによって取り扱われるワークピースを認識し、その移動を追跡し得る。加えて、センサ１０２１－３は、センサ１０２１－３の構成（例えば、向きおよび／または位置）を変更するために、種々のソフトウェアおよび／またはハードウェアコンポーネント１１４１－３によってサポートされ得、制御システム１１２は、作業空間１００内の監視されるエリアの最適な範囲を提供するように、センサを調節するように構成され得る。各センサによって対象とされる空間のボリューム、典型的に、中実角錐台または中実円錐台は、任意の好適な方式で表され得、例えば、空間は、小さい（例えば、５ｃｍ）ボクセルの３Ｄグリッドまたは他の好適な形態のボリューム表現に分割され得る。例えば、作業空間１００の３Ｄ表現は、２Ｄまたは３Ｄレイトレーシングを使用して発生させられ得る。このレイトレーシングは、動的に、または作業空間１００内の物体が以前に識別され、制御システム１１２によって捕捉される事前計算されたボリュームの使用を介して実施されることができる。便利な提示のために、続く議論は、ボクセル表現を仮定し、制御システム１１２は、ボクセルレベルにおいて作業空間１００の内部表現を維持する。
【0081】
図２は、汎用コンピュータ上で実装され得る制御システム１１２の代表的実施形態をより詳細に図示する。制御システム１１２は、中央処理ユニット（ＣＰＵ）２０５と、システムメモリ２１０と、１つ以上の不揮発性大容量記憶デバイス（１つ以上のハードディスクおよび／または光学記憶ユニット等）２１２とを含む。制御システム１１２は、双方向システムバス２１５をさらに含み、双方向システムバス２１５を経由して、ＣＰＵ２０５、メモリ２１０内の機能モジュール、および記憶デバイス２１２が、互いに通信し、加えて、ディスプレイ２２０および周辺機器２２２（キーボードまたはマウス等の従来的入力デバイスを含み得る）等の内部または外部入力／出力（Ｉ／Ｏ）デバイスと通信する。制御システム１１２はまた、無線送受信機２２５と、１つ以上のＩ／Ｏポート２２７とを含む。送受信機２２５およびＩ／Ｏポート２２７は、ネットワークインターフェースを提供し得る。用語「ネットワーク」は、コンピュータまたは電気通信デバイス（有線または無線電話、タブレット等）の有線または無線ネットワークを含意するように本明細書で広く使用される。例えば、コンピュータネットワークは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）であり得る。ＬＡＮネットワーキング環境において使用されるとき、コンピュータは、ネットワークインターフェースまたはアダプタを通してＬＡＮに接続され得、例えば、管理者は、ネットワークに無線で繋がるタブレットを使用して、制御システム１１２との通信を確立し得る。ＷＡＮネットワーキング環境において使用されるとき、コンピュータは、典型的に、モデムまたは他の通信機構を含む。モデルは、内部または外部にあり得、ユーザ入力インターフェースまたは他の適切な機構を介してシステムバスに接続され得る。ネットワーク化コンピュータは、インターネット、イントラネット、エクストラネット、イーサネット（登録商標）、または通信を提供する任意の他のシステムを経由して接続され得る。いくつかの好適な通信プロトコルは、例えば、ＴＣＰ／ＩＰ、ＵＤＰ、またはＯＳＩを含む。無線通信に関して、通信プロトコルは、ＩＥＥＥ ８０２．１１ｘ（「Ｗｉ－Ｆｉ」）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ、ＩｒＤａ、近距離無線通信（ＮＦＣ）、または他の好適なプロトコルを含み得る。さらに、システムのコンポーネントは、有線または無線経路の組み合わせを通して通信し得、通信は、コンピュータおよび電気通信ネットワークの両方を伴い得る。
【0082】
ＣＰＵ２０５は、典型的に、マイクロプロセッサであるが、種々の実施形態において、マイクロコントローラ、周辺集積回路要素、ＣＳＩＣ（特定顧客向け集積回路）、ＡＳＩＣ（特定用途向け集積回路）、論理回路、デジタル信号プロセッサ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＤ（プログラマブル論理デバイス）、ＰＬＡ（プログラマブル論理アレイ）等のプログラマブル論理デバイス、ＲＦＩＤプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、スマートチップ、または本発明のプロセスのステップを実装することが可能である任意の他のデバイスまたはデバイスの配列であり得る。
【0083】
システムメモリ２１０は、その幾何学形状および運動学を特徴付ける機械類のモデルおよび作業空間内のその可能にされる移動を記憶し得る。モデルは、機械類製造業者から取得されるか、または、代替として、センサシステム１０１によって入手された走査データに基づいて、制御システム１１２によって発生させられ得る。加えて、メモリ２１０は、人間オペレータに近接する機械類の速度制限、機械類と人間との間の最小分離距離等の種々の安全対策を規定する安全性プロトコルを記憶し得る。いくつかの実施形態において、メモリ２１０は、一連のフレームバッファ２３５、すなわち、センサ１０２１－３によって取得された画像をデジタル形態（例えば、ピクセルまたはボクセルとして、または深度マップとして）記憶するパーティションを含み、データは、実際に、上で議論されるようなＩ／Ｏポート２２７および／または送受信機２２５を介して着信し得る。
【0084】
システムメモリ２１０は、ＣＰＵ２０５の動作および他のハードウェアコンポーネントとのその相互作用を制御する、モジュールの群として概念的に図示される命令を含む。オペレーティングシステム２４０（例えば、Ｗｉｎｄｏｗｓ（登録商標）またはＬｉｎｕｘ（登録商標））が、メモリ配分、ファイル管理、および大容量記憶デバイス２１２の動作等の低レベル基本システム機能の実行を指示する。より高いレベルにおいて、下でより詳細に説明されるように、分析モジュール２４２が、フレームバッファ２３５内にセンサシステム１０１によって入手された画像を登録し、作業空間の３Ｄ空間表現（例えば、ボクセル）を発生させ、画像を分析し、監視される作業空間１００の領域を分類し得；物体認識モジュール２４３が、センサシステム１０１によって入手されたデータに基づいて、作業空間内の人間および機械類、およびそれらの移動を認識し得；シミュレーションモジュール２４４が、記憶される機械類モデルおよびアプリケーション／タスクに従って、機械類によって実施されるアプリケーション／タスクの少なくとも一部を計算的に実施し得；移動予測モジュール２４５が、例えば、その現在の状態（例えば、位置、向き、速度、加速度等）に基づいて、定義された将来の間隔（例えば、０．１秒、０．５秒、１秒等）内の機械類および／または人間オペレータの移動を予測し得；マッピングモジュール２４６が、作業空間内の機械類および／または人間オペレータのＰＯＥをマッピングまたは識別し得；状態決定モジュール２４７が、機械類が、安全状態において動作させられ得るように、機械類の更新された状態を決定し得；経路決定モジュール２４８が、機械類が、活動を実施し得る経路を決定し得；作業空間モデル化モジュール２４９が、作業空間パラメータ（例えば、寸法、ワークフロー、機器および／または資源の場所）をモデル化し得る。分類、物体認識、およびシミュレーションの結果、および機械類および／または人間のＰＯＥ、決定された最適な経路、および作業空間パラメータは、空間マップ２５０内に記憶され得、それは、本明細書に説明されるように、空間マップ内に、各ボクセル（または表現の他の単位）が標識化される作業空間１００のボリューム表現を含む。代替として、空間マップ２５０は、単純に、ボクセルの３Ｄアレイであり、ボクセル標識は、別個のデータベース内（メモリ２１０内または大容量記憶装置２１２内）に記憶され得る。
【0085】
加えて、制御システム１１２は、２５２において集合的に示される従来の制御ルーチンを使用して、（例えば、コントローラ１０８または制御システム１１２内にプログラムされたタスク／アプリケーションを実施する）作業空間１００内の機械類の動作を制御するために、ロボットコントローラ１０８と通信し得る。下記に解説されるように、作業空間の構成は、人物および／または機械が動き回るにつれて、経時的にかなり変化し得、制御ルーチン２５２は、高レベルの安全性を達成するために、機械類を動作させることにおいてこれらの変化に応答し得る。システムメモリ２１０内のモジュールの全ては、限定ではないが、ＴｅｎｓｏｒＦｌｏｗ、Ｋｅｒａｓ、ＰｙＴｏｒｃｈ、Ｃａｆｆｅ、またはＴｈｅａｎｏ等の任意の好適なフレームワークおよびライブラリを利用して、限定ではないが、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｐｙｔｈｏｎ、Ｒｕｂｙ、Ｓｃａｌａ、およびＬｕａ等の高レベル言語を含む、任意の好適なプログラム言語においてコーディングされ得る。加えて、ソフトウェアは、標的デバイス上に常駐するマイクロプロセッサを対象とするアセンブリ言語および／または機械言語において実装されることができる。
【0086】
タスク／アプリケーションが、人間－ロボット協働を伴うとき、ロボット動態および／または人間活動をリアルタイムでモデル化および／または計算し、作業空間１００内のロボットおよび／または人間の安全性マッピングを提供することが、所望され得る。しかしながら、人間－ロボット協働アプリケーションにおいて安全および／または安全でない領域をマッピングすることは、例えば、ロボット速度、負荷、および延長の全ての可能性に対して外挿するための基礎を表すロボット状態（例えば、現在の位置、速度、加速度、有効荷重等）が、急激な変化を受けるので、複雑なプロセスである。これらの可能性は、典型的に、ロボット運動学および動態（特異点および冗長軸の取扱、例えば、エルボアップまたはエルボダウン構成を含む）と、エンドエフェクタおよびワークピースの動態とに依存する。さらに、安全領域は、単純に「安全」としてではなく、程度の観点から定義され得る。しかしながら、ロボット動態をモデル化し、安全領域をマッピングするプロセスは、ロボットの現在の位置が固定されていると仮定し、ロボットの任意の部分が短い将来の時間間隔内におそらく占有し得る領域のみを推定することによって、簡略化され得る。したがって、本発明の種々の実施形態は、機械類（ロボット１０６および／または他の産業機器）および人間オペレータに関連付けられた現在の状態（例えば、現在の位置、速度、加速度、幾何学形状、運動学、タスク／アプリケーションにおける次のアクションに関連付けられた予期される位置および／または向き）に基づいて、作業空間１００内のロボット動態および／または人間活動をモデル化し、短い間隔にわたって人間－ロボット協働作業空間１００をマッピングする（例えば、安全および／または安全でない領域を計算する）ことに対するアプローチを含む。加えて、モデル化およびマッピング手順は、経時的に（例えば、タスク／アプリケーションの実施中にセンサシステム１０１によって入手された機械類および人間の走査データに基づいて）繰り返され、それによって、リアルタイムで準連続的に安全および／または安全でない領域を効果的に更新し得る。
【0087】
作業空間１００内のロボット動態および／または人間活動をモデル化し、安全および／または安全でない領域をマッピングするために、種々の実施形態において、制御システム１１２は、最初に、例えば、センサシステム１０１によって入手された走査データに基づいて、機械類（ロボット１０６および補助機器を含む）、ワークピース、および人間オペレータが存在する作業空間１００の３Ｄ空間表現（例えば、ボクセルとして）を計算的に発生させる。加えて、制御システム１１２は、メモリ２１０または大容量記憶装置２１２にアクセスし、機械類の幾何学形状および運動学および作業空間内のその可能にされる移動を特徴付ける機械類のモデルを読み出し得る。モデルは、ロボット製造業者から取得されるか、または、代替として、作業空間１００内の安全および／または安全でない領域をマッピングすることに先立って、センサシステムによって入手された走査データに基づいて、制御システム１１２によって発生させられ得る。機械類モデルおよび機械類についての現在既知の情報に基づいて、機械類の空間的ＰＯＥが、推定されることができる。空間マップとして、ＰＯＥは、任意の計算的に便利な形態において、例えば、点の群、ボクセルのグリッド、ベクトル化表現、または他のフォーマットとして表され得る。便利のために、続く議論は、ボクセル表現を仮定するであろう。
【0088】
図３Ａは、ロボット３０２の現在の位置およびエンドエフェクタ３０４の現在の状態のみが既知であるシナリオを図示する。所定の時間間隔内のロボット３０２およびエンドエフェクタ３０４の空間的ＰＯＥ３０６を推定するために、ロボット３０２の全てのジョイントに関する可能な開始速度の範囲を考慮し（ロボットジョイント速度が未知であるので）、ジョイント速度が、ロボット運動学および動態と一貫する加速／減速に従って、所定の時間間隔内で進展することを可能にすることが、必要であり得る。ロボットおよびエンドエフェクタが、所定の時間間隔内に潜在的に占有し得る空間領域３０６全体は、本明細書では、静的「ロボットレベル」ＰＯＥと称される。したがって、ロボットレベルＰＯＥは、静止したロボットがその幾何学形状および運動学に基づいて可能性として到達し得る全ての点を包含し得るか、または、ロボットが可動性である場合、ロボットレベルＰＯＥは、所定の時間内にロボットによって到達可能な領域全体を包含するように、空間内で広がり得る。例えば、図３Ｂを参照すると、ロボットが、線形進路に沿って移動するように制約される場合、ロボットレベルＰＯＥ３０８は、静止したロボットのＰＯＥ３０６の線形に引き伸ばされたバージョンに対応し、伸びの幅は、選定された時間窓Δｔによって決定づけられるであろう。
【0089】
一実施形態において、ＰＯＥ３０６は、ロボットおよびエンドエフェクタが、安全状態にされる前に占有し得る３Ｄ領域を表す。したがって、本実施形態において、ＰＯＥ３０６を計算するための時間間隔は、ロボットを安全状態にするために要求される時間に基づく。例えば、再び図３Ａを参照すると、ＰＯＥ３０６は、全ての可能な方向における最悪の場合の停止時間および距離（例えば、最も遠い距離を伴う最も長い停止時間）に基づき得る。代替として、ＰＯＥ３０６は、人間オペレータに向かう方向におけるロボットの最悪の場合の停止時間に基づき得る。いくつかの実施形態において、ＰＯＥ３０６は、下でさらに説明されるように、アプリケーションまたはタスクレベルにおいて確立され、特定のタスク／アプリケーションの実施中にロボットによって潜在的に到達される全てのボクセルに及ぶ。
【0090】
加えて、ＰＯＥ３０６は、ロボット１０６の安全性特徴に基づいて精緻化され得、例えば、安全性特徴は、ロボットの速度または加速度が把握されていないときであっても、保護停止を開始する安全性システムを含み得る。保護停止が開始されており、その保護停止入力が保持されていることを把握することは、ロボットのＰＯＥ３０６を効果的に切り詰め得る（ロボットは、完全停止に到達するまで、減速しかしないであろうから）。一実施形態において、ＰＯＥ３０６は、ロボットの減速中、固定された時間間隔において連続的に更新され（それによって、段階的様式でその空間範囲を変化させる）、したがって、時間間隔が、十分に短い場合、ＰＯＥ３０６は、リアルタイムで準連続的に効果的に更新される。
【0091】
図３Ｃは、ロボットの状態、例えば、位置、速度、および加速度が既知である別のシナリオを描写する。この場合、特定の速度を伴う特定の方向における既知の移動に基づいて、より精緻化された（かつより小さい）時間境界ＰＯＥ３１０が、保護停止が開始され得るという仮定に基づいて計算され得る。一実施形態において、短い時間間隔に対応する低減させられたサイズのＰＯＥ３１０が、現在の既知の速度から完全停止までの瞬間的に計算された減速度、次いで、短い時間間隔内の反対方向におけるある速度までの加速度に基づいて決定される。
【0092】
種々の実施形態において、機械類のＰＯＥは、タスクまたはアプリケーションの実行に対応するように（すなわち、ロボットがタスク／アプリケーションの実施中に到達することもある、または到達し得る全ての点に対応するように）、より狭く定義される。この「タスクレベル」または「アプリケーションレベル」ＰＯＥは、既知のロボット動作パラメータおよびロボットコントローラによって実行されるタスク／アプリケーションプログラムに基づいて推定され得る。例えば、制御システム１１２は、メモリ２１０および／または記憶装置２１２にアクセスし、機械類のモデルおよび機械類が実行するであろうタスク／アプリケーションプログラムを読み出し得る。それに基づいて、制御システム１１２は、タスク／アプリケーションを実施するために、作業空間１００内の仮想ボリューム（例えば、ボクセルの空間領域として定義される）において機械類の動作をシミュレートし得る。シミュレートされた機械類は、シミュレーションが進行するにつれて、仮想ボリュームにおける経路を掃引し得、タスク／アプリケーション全体を実施するために機械類によって遭遇される空間ボリュームを表すボクセルは、静的タスクレベルまたはアプリケーションレベルＰＯＥに対応する。加えて、機械類は、タスク／アプリケーションの実行中、その軌道（例えば、姿勢、速度、および加速度）を動的に変化させるので、動的ＰＯＥが、機械類が、それがタスク／アプリケーションを実施するとき、所定の時間間隔内にその現在の位置から到達し得る空間領域として定義され得る。動的ＰＯＥは、機械類の現在の状態（例えば、現在の位置、現在の速度、および現在の加速度）および現在の時間に始まるタスク／アプリケーションを実施することにおいて機械類のプログラムされた移動に基づいて決定され得る。したがって、動的ＰＯＥは、タスク／アプリケーション全体の実施全体を通して変動し得る（すなわち、異なるサブタスク（またはサブアプリケーション）は、異なるＰＯＥに対応し得る）。一実施形態において、各サブタスクまたはサブアプリケーションに関連付けられたＰＯＥは、それがタスク／アプリケーションを開始したるときの機械類の初期位置に関連付けられた初期ＰＯＥとのその時間的関係を表すタイムスタンプを有する。全体的タスクレベルまたはアプリケーションレベルＰＯＥ（すなわち、静的タスクレベルまたはアプリケーションレベルＰＯＥ）は、次いで、全ての可能なサブタスクレベルまたはサブアプリケーションレベルＰＯＥ（すなわち、動的タスクレベルまたはアプリケーションレベルＰＯＥ）の和合に対応する。
【0093】
いくつかの実施形態において、機械類のパラメータは、正確なシミュレーションをサポートするために十分な精密さを伴って把握されておらず、この場合、実際の機械類は、タスク／アプリケーションルーチン全体を通して動作させられ得、軌道中の全ての時点における全てのジョイント位置が、（例えば、センサシステム１０１および／またはロボットコントローラによって）記録される。記録中に捕捉され得る追加の特性は、（ｉ）Ｘ，Ｙ，Ｚ，Ｒ，Ｐ，Ｙ座標におけるツール中心点の位置、（ｉｉ）ジョイント空間内の全てのロボットジョイントの位置Ｊ１，Ｊ２，Ｊ３，Ｊ４，Ｊ５，Ｊ６，・・・Ｊｎ、および、（ｉｉｉ）所望の運動の間の各ジョイントに関する最大達成速度および加速度を含む。制御システム１１２は、次いで、機械類の記録された幾何学形状に基づいて、静的および／または動的タスクレベル（またはアプリケーションレベル）ＰＯＥを計算的に作成し得る。例えば、機械類の運動が、カメラを使用して光学的に捕捉される場合、制御システム１１２は、従来のコンピュータビジョンプログラムを利用し、作業空間１００内の機械類の運動を空間的にマッピングし、それに基づいて、機械類のＰＯＥを作成し得る。一実施形態において、各ジョイント運動の範囲は、輪郭を描かれ、ロボットコントローラによるジョイント空間内の安全定格ソフト軸限界が、各個々の軸が移動し得る許容可能範囲の境を限り、それによって、特定のアプリケーションに関する最大および最小ジョイント位置として機械類のＰＯＥを切り詰めることができる。この場合、安全定格限界は、ロボットコントローラによって施行され、例えば、（ｉ）ロボット位置が、ロボット故障に起因して安全定格限界を超えるとき、（ｉｉ）外部位置ベースのアプリケーション輪郭描写が不完全であるとき、（ｉｉｉ）いかなる観察も、適切に記録されていなかったとき、および／または、（ｉｖ）アプリケーション自体が、再特性評価を伴わずに作業空間内のより大きいボリュームを包含するように変更されたとき、コントローラによって開始される保護停止をもたらすことができる。
【0094】
タスク／アプリケーションレベルＰＯＥの単純な例が、図４に見られることができ、これは、部品（またはワークピース）の編成された容器４０２とコンベヤベルト４０４上の繰り返しの設置場所である点Ｂとの間の軌道を決して変化させない、積込および設置動作を図示する。この動作は、連続的に実行され、ロボット位置が、統計的に有意な回数のサイクルにわたって読み取られ、センサ雑音の範囲を決定することができる。計算へのセンサ雑音の組み込みは、センサ誤差または不完全性を所与として、最悪の場合の空間占有を効果的に考慮することによって、適正な安全性を確実にする。プログラムされたロボット軌道とワークピースのサイズを特徴付ける追加の入力とに基づいて、制御システム１１２は、アプリケーションレベルＰＯＥ４０６を発生させ得る。
【0095】
図４では、ロボット軌道は、プログラムされると、変化しないので、静的タスクレベルＰＯＥと、タスクの実行における任意の時点で定義され得る任意の動的ＰＯＥとの間に、いかなる有意義な差異も、存在し得ない。しかし、これは、例えば、タスクが、実行中に改変される場合、および／または、ロボット軌道が外部デバイスによって修正される場合、変化し得る。図５Ａは、動作中にロボット軌道を変動させる例示的ロボットアプリケーションを描写し、結果として、ロボットのアプリケーションレベルＰＯＥは、それに応じて、リアルタイムで更新される。描写されるように、容器５０２は、様々な向きにおける編成されていないワークピースで満たされてロボットワークステーションに到着し得る。ロボットは、容器５０２から各ワークピースを採取し、それをコンベヤベルト５０４上の点Ｂに設置するようにプログラムされている。より具体的に、タスクは、各ワークピースの位置および向きを決定するために、容器５０２の上方にカメラ５０６を搭載し、コンベヤベルト５０４への移送のために次のワークピースを採取するために、ロボットコントローラにオンザフライ軌道補償を実施させることによって遂行され得る。点Ａが、ロボットが、常時、カメラの視野（ＦｏＶ）に進入し、それから退出する場所として定義される場合、ＦｏＶ進入点Ａと設置点Ｂとの間の静的アプリケーションレベルＰＯＥ５０８は、図４に示されるＰＯＥ４０６と同じである。カメラのビュー内のＰＯＥを決定するために（すなわち、ロボットが進入点Ａに進入すると）、少なくとも２つのシナリオが、想定されることができる。図５Ａは、第１のシナリオを図示し、ＦｏＶ進入点Ａを通して横断すると、ＰＯＥ５１０の計算が、時間境界動的タスクレベルＰＯＥの計算になる（すなわち、ＰＯＥ５１０が、ロボットが、それがタスクを実施するにつれて、所定の時間間隔内にその現在の位置から到達し得る領域を計算することによって推定され得る）。図５Ｂに描写されるような第２のシナリオでは、軌道補償が許容可能であるボリュームに対応する境界領域５１２が、ＦｏＶ進入点Ａと設置点Ｂとの間の特徴付けられるアプリケーションレベルＰＯＥ５０８に追加される。結果として、オンザフライ軌道補償の許容可能なエンベロープ全体が、静的アプリケーションレベルＰＯＥを計算することにおいて明示的に制約される。
【0096】
種々の実施形態において、制御システム１１２は、その決定されたＰＯＥに基づいて、機械類の動作を促進する。例えば、タスクの実施中、センサシステム１０１は、機械類の位置を連続的に監視し得、制御システム１１２は、実際の機械類位置をシミュレートされたＰＯＥと比較し得る。シミュレートされたＰＯＥからの実際の機械類位置の逸脱が、所定の閾値（例えば、１メートル）を超える場合、制御システム１１２は、人間安全性を確実にするために、ロボットの姿勢（位置および／向き）および／または速度（例えば、完全停止まで）を変化させ得る。加えて、または代替として、制御システム１１２は、逸脱が実際に所定の閾値を超える前、ロボットの姿勢および／または速度を予防的に変化させ得る。例えば、タスクの実行中、逸脱が徐々に増加し、所定の閾値に接近していると決定すると、制御システム１１２は、機械類の速度を予防的に低減させ得、これは、機械類の慣性が逸脱に所定の閾値を超えさせる状況を回避し得る。
【0097】
人間－ロボット協働アプリケーションにおいて作業空間１００を完全にマッピングするために、機械類の近傍における人間オペレータの存在および移動を考慮することが、所望され得る。したがって、種々の実施形態において、人間オペレータの任意の部分によって潜在的に占有される空間領域を特徴付ける人間オペレータの空間的ＰＯＥは、定義された時間間隔内またはタスクまたはアプリケーションの実施中の人間オペレータの任意の可能な、または予想される移動に基づき、この領域は、作業空間において計算され、マッピングされる。本明細書において使用される場合、人間の「可能な移動」または「予想される移動」という用語は、例えば、有害な設定における予期される人間運動を定義するＩＳＯ １３８５５規格に基づく定義された時間間隔内の境を限られた可能な場所を含む。人間オペレータのＰＯＥを計算／マッピングするために、制御システム１１２は、最初に、センサシステム１０１を利用し、作業空間１００内のオペレータの現在の位置および／または姿勢を入手し得る。加えて、制御システム１１２は、（ｉ）明確に特徴付けられた人間モデルを使用して、作業空間内のオペレータの将来の位置および姿勢を決定するか、または、（ｉｉ）ＩＳＯ １３８５５等の規格によって定義されるように、オペレータが最大オペレータ速度において任意の方向に移動し得るという仮定に基づいて、任意の潜在的オペレータによって現在または潜在的に占有される全ての空間を決定し得る。再び、オペレータの位置および姿勢は、画像入手の時点における空間内の静止した瞬間として扱われることができ、オペレータは、ごく近い将来の（例えば、画像入手の瞬間後の時間間隔δｔにおける）人間運動の線形および角運動学および動態と一貫する任意の速度および加速度を伴って、または規格によって定義されるようなある最大速度において任意の方向に移動することが可能であると仮定される。例えば、図６Ａを参照すると、時間間隔δｔにおける人体の任意の部分によって潜在的に占有される空間領域を瞬間的に特徴付けるＰＯＥ６０２が、人間オペレータが移動し得る最悪の場合のシナリオ（例えば、最も速い速度を伴う最も遠い距離）に基づいて計算されることができる。
【0098】
いくつかの実施形態において、人間オペレータのＰＯＥ６０２は、オペレータについてのより多くの情報を入手することによって精緻化される。例えば、センサシステム１０１は、時間間隔Δｔ内の一連の走査データ（例えば、画像）を入手し得る。走査データにおけるオペレータの位置および姿勢を分析することによって、かつ期間Δｔに基づいて、オペレータの移動方向、速度、および加速度が、決定されることができる。この情報は、人間運動の線形および角運動学および動態と組み合わせて、ごく近い将来の時間δｔにおいてオペレータによって到達可能な潜在的距離を低減させ、それによって、オペレータのＰＯＥ（例えば、図６ＢのＰＯＥ６０４）を精緻化し得る。オペレータに関するこの「将来間隔ＰＯＥ」は、上で説明されるロボットレベルＰＯＥに類似する。
【0099】
加えて、上記の機械類のＰＯＥと同様、人間オペレータのＰＯＥも、アプリケーション／タスクレベルにおいて確立されることができる。例えば、図７を参照すると、オペレータが実施することが要求される特定のタスク、タスクに関連付けられた資源（例えば、ワークピースまたは機器）の場所、および人間運動の線形および角運動学および動態に基づいて、特定のタスクの実施中にオペレータによって潜在的に（または可能性として）到達可能である空間領域が、計算されることができる。オペレータのＰＯＥ７０２は、特定のタスクの実施中にオペレータによって潜在的に到達可能な空間領域のボクセルとして定義されることができる。いくつかの実施形態において、オペレータは、タスク／アプリケーションを実施するために、ワークピース（例えば、１枚の大きいが軽量のシート金属）をオペレータ装填ステーションに搬送し得る。この状況では、オペレータのＰＯＥは、再び、例えば、センサシステム１０１によって入手され得るワークピースの幾何学形状を含めることによって計算され得る。
【0100】
さらに、人間オペレータのＰＯＥは、作業空間構成に基づいて、切り詰められ得る。例えば、図７Ｂを参照すると、作業空間は、オペレータがタスクを実施し得るエリアを画定する、物理的フェンス７１２を含み得る。したがって、オペレータの計算されたＰＯＥ７１４が、オペレータが領域７１６に到達し得ることを示すにもかかわらず、物理的フェンス７１２は、この移動を制限する。結果として、物理的フェンス７１２の場所に従って領域７１６を除外するオペレータの切り詰められたＰＯＥ７１８が、決定されることができる。いくつかの実施形態において、作業空間は、例えば、常時、退出を可能にするが、サイクルのある時点の間のみ協働エリアへの進入を許可するターンスタイルまたはあるタイプの扉を含む。再び、ターンスタイル／扉の場所および設計に基づいて、人間オペレータのＰＯＥは、調節され得る（例えば、切り詰められる）。
【0101】
機械類のロボットレベルＰＯＥ（および／またはアプリケーションレベルＰＯＥ）および／または人間オペレータの将来間隔ＰＯＥ（および／またはアプリケーションレベルＰＯＥ）は、好適なインジケータ（例えば、光、音、表示される可視化等）を使用して、タスクの特定の部分中に立つべき場所および／または行うべきことをオペレータに示すために使用され得、オペレータが、オペレータＰＯＥから予期せず離れる場合、アラートが、提起されることができる。一実施形態において、機械類および人間オペレータのＰＯＥの両方は、ローカルディスプレイ上に提示されるか、または、その上での表示のためにスマートフォンまたはタブレットアプリケーション（または拡張現実（ＡＲ）または仮想現実（ＶＲ）等の他の方法）に通信される。例えば、図８Ａを参照すると、ディスプレイ８０２は、ごく近い将来の時間δｔにおけるロボットのＰＯＥ８０４および人間オペレータのＰＯＥ８０６を描写し得る。代替として、図８Ｂを参照すると、ディスプレイ８０２は、特定のタスクの実行中のロボットの最も大きいＰＯＥ８１４およびオペレータの最も大きいＰＯＥ８１６を示し得る。加えて、再び図８Ａを参照すると、ディスプレイ８０２は、ロボットおよびオペレータによって現在占有されている空間領域８２４、８２６をさらに図示し得、現在占有されている領域８２４、８２６は、ロボットおよびオペレータのＰＯＥ８０４および８０６との連続または重複様式で表示され得る。ＰＯＥを表示することは、したがって、人間オペレータが機械類およびオペレータ自体によって現在占有されている空間領域および潜在的に占有されるであろう空間領域を可視化することを可能にし、これは、安全性をさらに確実にし、機械類がいつどこにあるであろうかの知識に基づくオペレータ運動のより効率的な計画を促進し得る。
【0102】
いくつかの実施形態において、機械類は、そのＰＯＥ、人間オペレータのＰＯＥ、および／または、１つ以上の安全対策（例えば、下でさらに説明されるような機械類とオペレータとの間の最小分離距離または保護分離距離（ＰＳＤ）、人間に近接したときの機械類の最大速度等）を規定する安全性プロトコルに基づいて動作させられる。例えば、特定のタスクの実施中、制御システム１１２は、プロトコルにおける安全対策が満たされることを確実にするために、ロボットと人間オペレータとのＰＯＥ間の近接に基づいて、ロボット動作を制限または改変し得る。例えば、次の瞬間におけるロボットと人間オペレータとのＰＯＥが重複し得ると決定すると、制御システム１１２は、ロボットを安全状態（例えば、低減させられた速度および／または異なる姿勢を有する）にし、それによって、それに近接する人間オペレータとの接触を回避し得る。制御システム１１２は、ロボットの動作および状態を直接制御し得るか、または、代替として、下でさらに説明されるように、命令をロボットコントローラ１０８に送信し得、それは、次いで、受信された命令に基づいて、ロボット動作／状態を制御する。
【0103】
加えて、ロボット動作／状態の改変の程度は、ロボットとオペレータとのＰＯＥ間の重複の程度に依存し得る。例えば、再び図８Ｂを参照すると、ロボットのＰＯＥ８１４は、複数のネスト化された空間的に異なる３Ｄサブ区域８１８に分割され得、一実施形態において、人間オペレータのＰＯＥ８１６に重複するサブ区域８１６が多いほど、それによって、ロボット動作／状態が改変される程度は、大きくなる（例えば、速度におけるより大きい減少または向きのより大きい変化の程度を有する）。
【0104】
種々の実施形態において、計算されたロボットレベルＰＯＥ８０４、人間オペレータの将来間隔ＰＯＥ８０６、または特定のアクションまたはタスク全体を実施するための機械類および人間オペレータの動的および／または静的アプリケーションレベルＰＯＥ８１４、８１６に基づいて、作業空間パラメータ（その寸法、ワークフロー、資源の場所等）が、人間オペレータの安全性を確実にしながら、高い生産性および空間効率を達成するために、モデル化されることができる。例えば、機械類の静的タスクレベルＰＯＥ８１４およびタスクの実行中のオペレータの最も大きい計算されたＰＯＥ８１６に基づいて、作業セルの最小寸法が、決定されることができる。加えて、作業空間内の機器および／または資源（例えば、ロボット、コンベヤベルト、ワークピース）の場所および／または向きは、安全性を確実にするために、機械類とオペレータとのＰＯＥ間の重複された領域を最小化しながら、それらが機械類および／またはオペレータによって容易に到達可能であるように配列されることができる。一実施形態において、機械類および／または人間オペレータの計算されたＰＯＥは、作業空間をモデル化するために、従来の空間モデル化ツール（例えば、Ｄｅｌｍｉａ Ｇｌｏｂａｌ ＯｐｅｒａｔｉｏｎｓまたはＴｅｃｎｏｍａｔｉｘによって供給される）と組み合わせられる。例えば、機械類および／または人間オペレータのＰＯＥは、特定のタスクの作業空間および／またはワークフローを設計するとき、人間－ロボット協働を含むそれらの能力を拡張するために、従来の空間モデル化ツールへの入力モジュールとして使用され得る。
【0105】
種々の実施形態において、機械類の動的タスクレベルＰＯＥおよび／またはオペレータのタスクレベルＰＯＥは、タスクの実際の実行中に連続的に更新され、そのような更新は、ディスプレイ８０２上に反映されることができる。例えば、タスクの実行中、センサシステム１０１は、機械類、人間オペレータ、および／または作業空間を周期的に走査し得る。走査データに基づいて、機械類および／または人間オペレータの姿勢（例えば、位置および／または向き）は、更新されることができる。加えて、更新された姿勢を機械類および／または人間オペレータの以前の姿勢と比較することによって、機械類およびオペレータに関連付けられた移動方向、速度、および／または加速度が、決定されることができる。種々の実施形態において、更新された姿勢、移動方向、速度、および／または加速度に基づいて、次の瞬間における（すなわち、時間増分後の）機械類およびオペレータのＰＯＥが、計算および更新されることができる。加えて、上記に解説されるように、機械類および／または人間オペレータのＰＯＥは、特定のタスクにおいて実施されるように規定される次のアクションをさらに考慮することによって更新され得る。
【0106】
いくつかの実施形態において、機械類および人間オペレータの連続的に更新されたＰＯＥは、下でさらに説明されるように、安全性を確実にするために、作業空間内の機械類および／または他の設定の動作を調節するためのフィードバックとして提供される。例えば、機械類およびオペレータの更新されたＰＯＥが、現在において、または固定された間隔（例えば、ロボット停止時間）内のいずれかで、オペレータがロボットに近接しすぎ得ること（例えば、安全性プロトコルにおいて定義される最小分離距離より小さい距離）を示すとき、停止コマンドが、機械類に発行され得る。一実施形態において、タスクの実際の実行中に入手された機械類および／またはオペレータの走査データは、メモリ内に記憶され、作業空間における同じ人間－ロボット協働アプリケーションのワークフローを次回モデル化するときの入力として使用されることができる。
【0107】
加えて、機械類および／または人間オペレータの計算されたＰＯＥは、特定のタスクを実施するための機械類の最適な経路を決定するときの洞察を提供し得る。例えば、下でさらに説明されるように、オペレータの複数のＰＯＥが、タスクのために実施されるべき自身のアクションに基づいて計算され得る。人間オペレータの計算されたＰＯＥおよび作業空間内の機器および／または資源の設定（例えば、場所および／または向き）に基づいて、タスクを実施するための作業空間内の機械類の移動経路は、オペレータの安全性を確実にしながら、生産性および空間効率を最大化するように最適化されることができる。
【0108】
いくつかの実施形態において、経路最適化は、３Ｄ「キープイン」区域（またはボリューム）（すなわち、ロボットは、動作中、その区域／ボリュームに制限される）および／または「キープアウト」区域（またはボリューム）（すなわち、ロボットは、動作中、その区域／ボリュームから制限される）の作成を含む。キープインおよびキープアウト区域は、デカルトおよび／またはジョイント空間における可能なロボット軸位置に対する安全限界を通してロボット運動を制限する。安全性限界は、これらの区域の外側に設定され得、それによって、例えば、動作時のロボットによるそれらの侵害は、停止をトリガする。従来、ロボットキープイン区域は、角柱体として定義される。例えば、図９Ａを参照すると、従来のアプローチを使用して決定されるキープイン区域９０２は、角柱ボリュームの形態をとり、キープイン区域９０２は、典型的に、（例えば、センサシステム１０１によって入手される走査データを使用するシミュレーションまたは特性評価のいずれかによって決定され得る）動作中の機械類の全掃引ボリューム９０４より大きい。決定されたキープイン区域９０２に基づいて、ロボットコントローラは、キープイン区域９０２内にあるべき機械類の位置限定を施行するために、位置限定機能を実装し得る。
【0109】
しかしながら、角柱ボリュームに基づいて決定される機械類経路は、最適ではないこともある。加えて、複雑なロボット運動は、ロボット上に搭載されるエンドエフェクタおよびワークピースのそれらの表面および幾何学形状の複雑な性質に起因して、角柱ボリュームとして表すことが困難であり得、結果として、角柱ボリュームは、安全性のために必要なものより大きくなるであろう。この課題を克服し、タスクを実施するための機械類の移動経路を最適化するために、種々の実施形態は、プログラムされたルーチン（例えば、機械類のＰＯＥ）全体を通して機械類（例えば、ロボットリンク、エンドエフェクタ、およびワークピースを含む）の掃引ボリュームを確立し、メモリ内に記憶し、次いで、例えば、メッシュ表面、ＮＵＲＢＳ、またはＴスプライン中実体から成る詳細なボリュームとして、ＰＯＥに基づいて、キープイン区域を定義する。すなわち、キープイン区域は、形状が恣意的であり、ベース角柱ボリュームから組み立てられないこともある。例えば、図９Ｂを参照すると、機械類のＰＯＥ９０６は、機械類がアプリケーションまたはタスクを実施するときの機械類の運動を記録することによって、または代替として、タスクの実施（およびその中でタスクが行われる空間ボリューム）を定義する計算的シミュレーションによって確立され得る。機械類のＰＯＥ９０６に基づいて定義されるキープイン区域９０８は、したがって、従来のキープイン区域９０２と比較して、はるかに小さい領域を含む。キープイン区域９０８は、（従来のモデル化ツールによってもたらされる角柱ボリュームと対照的に）それが実行する具体的タスク／アプリケーションに基づいて調整されるので、より小さい機械占有エリアが、実現されることができる。これは、有利なこととして、特定のタスクおよび／または作業空間またはワークフローの設計を実施するとき、機械類のための最適な経路のより正確な決定を可能にし得る。種々の実施形態において、キープイン区域は、制御システム１１２によって施行され、制御システム１１２は、下でさらに説明されるように、機械類の移動を制限するために、命令をロボットコントローラに伝送することができる。例えば、機械類の一部が、キープイン区域９０８の外側にあること（またはそれから退出することが予測されること）を検出すると、制御システム１１２は、停止コマンドをロボットコントローラに発行し得、停止コマンドは、次いで、機械類を完全に停止させることができる。
【0110】
上で説明されるように、機械類のＰＯＥは、静的または動的であり得、ロボットレベルまたはタスクレベルであり得る。静的ロボットレベルＰＯＥは、機械類が規定された時間内に可能性として到達し得る空間領域全体を表し、したがって、最も保守的な可能な安全区域に対応し、静的ロボットレベルＰＯＥに基づいて決定されたキープイン区域は、機械類の移動が制約されないので、真のキープイン区域ではないこともある。人間がこの区域の任意の外側点からの所定の分離距離に到達すると、機械類が停止または減速させられる場合、機械類の動作は、侵入がその近接した手の届く範囲から遠いときであっても、抑えられ得る。静的タスクレベルＰＯＥは、侵入が安全停止または減速をトリガするであろうボリュームまたは距離を特定のタスク定義ボリュームまで低減させ、その結果、人間安全性を損なうことなく、潜在的ロボット中断時間を低減させる。したがって、機械類の静的タスクレベルＰＯＥに基づいて決定されたキープイン区域は、静的ロボットレベルＰＯＥに基づいて決定されたそれより小さい。機械類の動的タスクレベルまたはアプリケーションレベルＰＯＥは、機械類によるタスクの実行における特定の時点に基づいて、ＰＯＥ（それによって、キープイン区域）をさらに低減させ得る。動的タスクレベルＰＯＥは、安全性ガイドラインを尊重しながら、生産的なロボット活動の最も小さい犠牲を達成する。
【0111】
代替として、キープイン区域は、測定またはシミュレーション誤差を考慮するために、動作中の機械類の全掃引ボリューム９０４の境界または全掃引ボリューム９０４のわずかなパディング／オフセットに基づいて定義され得る。このアプローチは、例えば、機械類の計算されたＰＯＥが、十分に大きいときに利用され得る。例えば、再び図９Ａを参照すると、機械類の計算されたＰＯＥ９１０は、キープイン区域９０２より大きくあり得る。しかし、機械類は、キープイン区域９０２の外側に移動することができないので、ＰＯＥ９１０は、キープイン区域９０２の角柱幾何学形状に基づいて、切り詰められる必要性がある。しかしながら、切り詰められたＰＯＥ９１２も、角柱ボリュームを伴い、したがって、それに基づいて機械類経路を決定することは、したがって、最適ではないこともある。対照的に、再び図９Ｂを参照すると、アプリケーション／タスク特有キープイン区域９０８に基づいて切り詰められたＰＯＥ９０６は、実行されているアプリケーション／タスクに合わせられたより小さいボリュームを含み、それによって、機械類のための最適な経路および／または作業空間またはワークフローの設計のより正確な決定を可能にし得る。
【0112】
種々の実施形態において、人間オペレータの実際の移動または潜在的な移動は、キープイン区域を定義するために、機械類のロボットレベルまたはアプリケーションレベルＰＯＥに対して評価される。産業環境における予期される人間速度が、ＩＳＯ １３８５５：２０１０、ＩＳＯ ６１４９６－１：２０１２、およびＩＳＯ １０２１８：２０１１において参照されている。例えば、人間の胴体は、１．６ｍ／秒以下の速さで移動することが予期され、人間の四肢は、２ｍ／秒以下の速さで移動することが予期される。一実施形態において、所与の時間単位において人間オペレータによって到達可能な点は、オペレータを包囲するボリュームによって近似され、それは、上で説明されるような人間ＰＯＥとして定義されることができる。人間オペレータが、移動している場合、人間ＰＯＥは、人間に伴って移動する。したがって、人間ＰＯＥが、ロボットのタスクレベルＰＯＥに接近するにつれて、ロボットのタスクレベルＰＯＥは、安全な分離距離を保全するために、人間進行の方向に沿って寸法において低減させられ得る。一実施形態において、ロボットのこの低減させられたタスクレベルＰＯＥ（オペレータの追跡および／または推定された移動に基づいて動的に変動する）は、キープイン区域として定義される。ロボットが、より小さい（および潜在的に、縮小する）ＰＯＥ（すなわち、キープイン区域）内でタスクの要素を実施し続けることができる限り、ロボットは、生産的に動作し続けることができ、そうでなければ、ロボットは、停止し得る。代替として、機械類の動的タスクレベルＰＯＥは、下でさらに説明されるように、機械類を減速させることによって、前進する人間に応答して低減させられ得る。これは、機械類が、完全に停止するのではなく、より低速で作業し続けることを可能にする。さらに、より低速の機械類移動は、それ自体がより低い安全性リスクを課し得る。
【0113】
種々の実施形態において、キープインおよびキープアウト区域は、典型的に、産業安全性規格に従って、別個の安全定格および非安全定格制御システムを有する機械類において実装される。安全性アーキテクチャおよび安全定格が、例えば、２０２０年２月２５日に出願され、「Ｓａｆｅｔｙ－Ｒａｔｅｄ Ｐｒｏｃｅｓｓｏｒ Ｓｙｓｔｅｍ Ａｒｃｈｉｔｅｃｔｕｒｅ」と題された、米国第１６／８００，４２９号（その全内容は、参照することによって本明細書に組み込まれる）に説明されている。非安全定格システムは、対照的に、（例えば、安全性規格に従って）安全性システムへの統合のために設計されていない。
【0114】
安全定格および非安全定格制御システムの動作は、図１０のシステム編成および動作の概念的図示を参照して最も深く理解される。上で説明されるように、センサシステム１００１は、機械類（例えば、ロボット）１００２を含む作業空間１０００を監視する。機械類の移動は、ロボット自体の一部であるか、またはそれとは別個であり得る従来のロボットコントローラ１００４によって制御され、例えば、単一のロボットコントローラが、２つ以上のロボットにコマンドを発行し得る。ロボットの活動は、主として、ロボットアームを伴い得、その移動は、所望の移動をもたらすようにロボットアームジョイントを動作させるジョイントコマンドを使用して、ロボットコントローラ１００４によって編成される。種々の実施形態において、ロボットコントローラ１００４は、安全定格コンポーネント（例えば、機能的安全性ユニット）１００６と、非安全定格コンポーネント１００８とを含む。安全定格コンポーネント１００６は、ロボットが、安全な様式で動作させられるように、ロボットの状態（例えば、位置、向き、速度等）を施行し得る。安全定格コンポーネント１００６は、典型的に、機械制御入力に関連付けられた電子機器およびハードウェアとともに、閉制御ループを組み込む。非安全定格コンポーネント１００８は、安全な様式ではないが、ロボットの状態を変化させる（例えば、ロボットを減速または停止する）ように外部から制御され得る。すなわち、非安全定格コンポーネントは、安全性を確実にするために、決定された期間内にロボットの状態を変化させること（ロボットを減速または停止する等）を保証されることができない。一実施形態において、非安全定格コンポーネント１００８は、ロボットにアプリケーションを実施させるタスクレベルプログラミングを含む。安全定格コンポーネント１００６は、対照的に、監視機能のみを実施し得、すなわち、それは、ロボット運動を管理せず、代わりに、それは、（例えば、非安全定格コンポーネント１００８によって維持される機械状態に基づいて）位置および速度を監視し、ロボットの位置または速度が、所定の限界の外側に外れる場合、ロボットを安全に減速または停止するためのコマンドを発行することのみを行う。安全定格監視コンポーネント１００６からのコマンドは、タスクレベルプログラミングまたは他の非安全定格制御コマンドによって決定されるロボット移動を無効にし得る。
【0115】
典型的に、ロボットコントローラ１００４自体は、ロボットの状態（例えば、速度、位置等）を管理する（例えば、修正する）ための安全な方法を有しておらず、むしろ、それは、所与の状態を施行するための安全な方法のみを有する。安全な様式でロボットの状態を管理するために、および施行するために、種々の実施形態において、物体監視システム（ＯＭＳ）１０１０が、下でさらに説明されるように、安全定格コンポーネント１００６および非安全定格コンポーネント１００８と協力して作業するように実装される。一実施形態において、ＯＭＳ１０１０は、センサシステム１００１から物体についての情報を取得し、このセンサ情報を使用し、作業空間１０００内の関連する物体を識別する。例えば、ＯＭＳ１０１０は、センサシステム（および／またはロボット）から取得された情報に基づいて、ロボットが安全状態にあるかどうか（例えば、具体的区域（例えば、キープイン区域）内に留まっているかどうか、規定された速度を下回ったままであるかどうか等）を監視し得、該当しない場合、安全アクションコマンド（例えば、停止）をロボットコントローラ１００４に発行する。
【0116】
例えば、ＯＭＳ１０１０は、ロボットおよび／または人間オペレータの現在の状態を決定し、作業空間１０００内でタスクを実施するときのロボットに関するＰＯＥおよび／または人間オペレータに関するＰＯＥを計算的に発生させ得る。ロボットおよび／または人間オペレータのＰＯＥは、次いで、上で説明されるようなキープイン区域としての使用のために、安全定格コンポーネントに転送され得る。代替として、ロボットおよび／または人間オペレータのＰＯＥは、ロボットコントローラの安全定格および非安全定格制御コンポーネントによって共有され得る。ＯＭＳ１０１０は、任意の好適な有線または無線プロトコルを介して、ＰＯＥおよび／または安全アクション制約をロボットコントローラ１００４に伝送し得る。（産業ロボットでは、制御電子機器は、典型的に、外部制御ボックス内に存在する。しかしながら、内蔵コントローラを伴うロボットの場合、ＯＭＳ１０１０は、ロボットのオンボードコントローラと直接通信する。）種々の実施形態において、ＯＭＳ１０１０は、それぞれ、安全定格チャネル（例えば、デジタルＩ／Ｏ）１０１２および非安全定格チャネル（例えば、イーサネット（登録商標）コネクタ）１０１４を介して、安全定格コンポーネント１００６および非安全定格コンポーネント１００８と通信するロボット通信モジュール１０１１を含む。加えて、ロボットが、安全性プロトコルにおいて規定される安全対策を犯すと、ＯＭＳ１０１０は、安全定格および非安全定格チャネルの両方を介して、コマンドをロボットコントローラ１００４に発行し得る。例えば、ロボット速度が、人間に近接したときに所定の最大速度を超えていること（またはロボットがキープイン区域の外側にあること、または、ＰＳＤが所定の閾値を超えていること）を決定すると、ＯＭＳ１０１０は、最初に、非安全定格チャネル１０１４を介して、コマンドを非安全定格コンポーネント１００８に発行し、ロボット速度を所望の値（例えば、最大速度以下）まで低減させ、それによって、ロボットの動的ＰＯＥを低減させ得る。しかしながら、このアクションは、非安全定格である。したがって、ロボット速度が、所望の値まで低減させられた（またはロボットの動的ＰＯＥが、所望のサイズまで低減させられた）後、ＯＭＳ１０１０は、安全定格コンポーネント１００８が、概して、低減させられたロボット速度より高い、新しいロボット速度（またはロボットの低減させられた動的ＰＯＥに基づく新しいキープイン区域）で施行し得るように、安全定格チャネル１０１２を介して、別のコマンドを安全定格コンポーネント１００８に発行し得る。故に、種々の実施形態は、非安全定格コンポーネント１００８に、最初に、安全でない方法で空間範囲におけるロボットの速度または動的ＰＯＥを低減させ、次いで、ロボットがここで低減させられた速度において（または、今の低減させられたＰＯＥ内に、新しいキープイン区域として）留まることを確実にするように安全定格（例えば、監視）コンポーネントを従事させることによって、非安全定格コンポーネント１００８によって提供される機能を事実上「安全定格」にする。類似するアプローチが、タスクの実施中に安全な様式でロボットの速度またはＰＯＥを増加させるために実装されることができる。（図２を参照して、上で説明されるＯＭＳ１０１０の機能が、分析モジュール２４２、シミュレーションモジュール２４４、移動予測モジュール２４５、マッピングモジュール２４６、状態決定モジュール２４７、および、ある場合、制御ルーチン２５２によって制御システム１１２において実施されることを理解されたい。）
【0117】
同様に、キープアウト区域は、人間オペレータのＰＯＥに基づいて決定され得る。再び、静的将来間隔ＰＯＥは、人間オペレータが規定された時間内に可能性として到達し得る空間領域全体を表し、したがって、最も保守的な可能なキープアウト区域に対応し、その区域内において、ロボットの侵入が、安全停止または減速をトリガするであろう。人間オペレータの静的タスクレベルＰＯＥは、実施されるべきタスクに従って、決定されたキープアウト区域を低減させ得、人間の動的タスクレベルまたはアプリケーションレベルＰＯＥは、人間によるタスクの実行における特定の時点に基づいて、キープアウト区域をさらに低減させ得る。加えて、人間オペレータのＰＯＥは、安全な様式でロボットを動作させるために、上で説明されるような安全定格および非安全定格制御コンポーネントによって共有されることができる。例えば、キープアウト区域内のロボットの侵入を検出すると、ＯＭＳ１０１０は、安全でない方法でロボットを減速させるために、コマンドを非安全定格制御コンポーネントに発行し、次いで、ロボットがキープアウト区域の外側に留まるように、または所定の値を下回る速度を有することを確実にするように安全定格ロボット制御（例えば、監視）コンポーネントを従事させ得る。
【0118】
キープイン区域および／またはキープアウト区域が、定義されると、機械類は、キープイン区域内に安全に制約され、またはキープアウト区域に進入することを防止され、上で議論されるように、機械類のＰＯＥを低減させる。さらに、経路最適化は、オペレータに関して説明されるものと類似する方法で、タスク全体を通して区域を動的に変化させ、または切り替え、異なるサイズの複数のＰＯＥを作成することを含み得る。さらに、これらの動的区域の切り替えは、上で説明されるような機械類プログラムの先験的知識によってのみならず、機械類または人間オペレータの瞬間的な検出された場所によってもトリガされ得る。例えば、ロボットが、部品を採取し、それを固定物に運び、次いで、部品に対して機械加工動作を実施するタスクを有する場合、ロボットのＰＯＥは、プログラム内の異なる時点における安全定格軸限界に基づいて、動的に更新されることができる。図１１Ａおよび１１Ｂは、このシナリオを図示する。図１１Ａは、ロボットが部品１１０６を採取し、それを固定物１１０８に運ぶことを可能にする大きいキープイン区域１１０４によって切り詰められるロボットＰＯＥ１１０２を描写する。図１１Ｂに示されるように、固定物１１０８における部品１１０６の設置時、かつロボットが部品１１０６に対して機械加工タスクを実施している間、キープイン区域１１１４は、より小さい状態に動的に切り替えられ、ロボットプログラムのこの部分中、ＰＯＥ１１１２をさらに切り詰める。
【0119】
加えて、または代替として、機械類の現在の状態（例えば、有効荷重、位置、向き、速度、および／または加速度）が入手されると、ＰＳＤ（概して、安全性を確実にするためにオペレータから機械類を分離する最小距離として定義される）および／または他の安全性関連対策が、計算されることができる。例えば、ＰＳＤは、機械類および人間オペレータのＰＯＥおよび任意のキープインおよび／またはキープアウト区域に基づいて計算され得る。再び、機械類の状態は、タスクの実行中に変化し得るので、ＰＳＤも、同様にタスク全体を通して連続的に更新され得る。これは、例えば、機械類およびオペレータの更新された状態を周期的に入手するようにセンサシステム１０１を使用し、それに基づいて、ＰＳＤを更新することによって達成されることができる。加えて、更新されたＰＳＤは、所定の閾値と比較され得、更新されたＰＳＤが、閾値より小さい場合、制御システム１１２は、例えば、ロボットを安全状態にするように、下でさらに説明されるように、機械類の速度を調節し得る（例えば、低減させる）。種々の実施形態において、計算されたＰＳＤは、タスクを実行するための最適な速度またはロボット経路（または可能な経路の中から選定すること）を決定するために、人間オペレータのＰＯＥと組み合わせられる。例えば、図１２Ａを参照すると、エンベロープ１２０２－１２０６は、それぞれ、人間－ロボット協働アプリケーションの実行中の３つの時点ｔ１－３におけるオペレータの最も大きいＰＯＥを表し、計算されたＰＳＤ１２０８－１２１２に基づいて、タスクの実施中、（安全上の問題を回避しながら）時点ｔ１－ｔ３におけるオペレータに最近接できるロボットの場所１２１４－１２１８が、決定されることができる。結果として、時点ｔ１－ｔ３を含むロボット移動のための最適な経路１２２０が、決定されることができる。代替として、制約されない最適な経路を決定する代わりに、ＰＯＥおよびＰＳＤ情報は、プログラムされた制約または環境の制約を所与として、可能にされる経路または所定の経路の中から選択するために、すなわち、安全性制約を犯すことなく最大の効率を提供する経路代替を識別するために使用されることができる。
【0120】
種々の実施形態において、計算されたＰＳＤは、機械類の速度（または他の状態）を管理するために利用され、これは、例えば、機械類経路が、その元のプログラムされた軌道から逸脱することができないアプリケーションにおいて実装され得る。この場合、人間と機械類とのＰＯＥ間のＰＳＤは、タスクの実施中に動的に計算され、（例えば、センサシステム１０１を使用して）人間と機械類との間の瞬間的な測定された距離と連続的に比較される。しかしながら、ＰＳＤが犯されたとき、機械類の経路を改変する、または単純に保護停止を開始するシステムの代わりに、制御システム１１２は、ＰＳＤより大きい距離におけるより低い設定点まで機械類の現在の速度を管理し得る（例えば、修正する）。機械類がより低い設定点に到達したとき、機械類のＰＯＥが、より小さくなるであろうのみならず、機械類の新しいＰＯＥからのオペレータが存在する距離も、より大きくなり、それによって、人間オペレータの安全性を確実にするであろう。図１２Ｂは、このシナリオを描写する。線１２５２は、安全定格ジョイントモニタを表し、緊急停止が点１２５４において開始される速度に対応する。この例では、線１２５２は、機械類のＰＯＥのサイズを計算するために使用される速度に対応する。線１２５６は、機械類のコマンドされる（および実際の）速度に対応する。機械類と人間オペレータとのＰＯＥ間の測定された距離が減少するにつれて、機械類のコマンドされる速度は、それに応じて減少し得るが、機械類のＰＯＥのサイズは、（例えば、領域１２５８において）変化しない。機械類が、（ＰＳＤより大きい距離における）特定の設定点１２５４まで減速すると、安全定格ジョイントモニタが緊急停止をトリガし得る速度は、（例えば、領域１２６０において）段階的様式で減少させられ、機械類のＰＯＥを縮小させることができる。機械類の減少させられたＰＯＥ（減少させられたＰＳＤに対応する）は、オペレータが、安全性に準拠した様式で機械類により近接近して作業することを可能にし得る。一実施形態において、より低い設定点まで管理することは、ロボットコントローラ内にすでに存在する事前計算された安全性機能を使用して、または代替として、非安全性管理装置と対合される安全定格モニタを使用して達成される。
【0121】
さらに、本明細書に説明される空間マッピング（例えば、機械類および人間オペレータのＰＯＥおよび／またはキープイン／キープアウト区域）は、米国特許第１０，０９９，３７２号（「第’３７２号特許」）（その全開示は、参照することによって本明細書に組み込まれる）に説明されるように、強化されたロボット制御と組み合わせられ得る。第’３７２号特許は、物体および人々が行き来し、位置を変化させる動的環境を考慮し、したがって、安全アクションが、全ての感知される関連する物体およびロボットの現在の状態に基づいて、安全アクション決定モジュール（ＳＡＤＭ）によってリアルタイムで計算され、これらの安全アクションは、ロボットが人間オペレータおよび／または任意の静止物体と衝突しないことを確実にするように、サイクル毎に更新され得る。
【0122】
これを達成することに対する１つのアプローチは、ロボットの最大速度（ロボット自体またはその任意の付属物の速度を意味する）をロボット上の任意の点と回避されるべき感知された物体の関連する組における任意の点との間の最小距離に比例して変調することである。例えば、ロボットは、最近接する物体または人間が、それを超えると衝突が心配ではないある閾値距離より遠くに離れているとき、最大速度で動作することを可能にされ得、ロボットは、物体／人間が、ＰＳＤ内にある場合、完全に停止させられる。例えば、図１３を参照すると、ロボットの周囲の内部３Ｄ危険区域１３０２が、上で説明されるロボットに関連付けられた計算されたＰＳＤまたはキープイン区域に基づいて、ＳＡＤＭによって計算的に発生させられ得、人間オペレータの任意の部分が危険区域１３０２の中に入る場合、または、人間オペレータの計算されたＰＯＥに基づいて、人間オペレータの任意の部分が次のサイクル内にそうすることが予測される場合、ロボットの動作は、停止させられ得る。加えて、危険区域１３０２を封入し、それよりわずかに大きい第２の３Ｄ区域１３０４が、同様にロボットに関連付けられた計算されたＰＳＤまたはキープイン区域に基づいて、定義され得る。人間オペレータの任意の部分が、区域１３０４の閾値を横断するが、依然として、内部危険区域１３０２の外側にある場合、ロボットは、より低速で動作するように信号伝達される。一実施形態において、ロボットは、オペレータの将来間隔ＰＯＥが第２の区域１３０４と空間的に重複するとき、次の将来間隔ＰＯＥが可能性として危険区域１３０２に進入することができないように、事前対応的に減速させられる。さらに、境界に対応する外側区域１３０６が、動作サイクル内で、それらが、危険をもたらすほどオペレータをロボットに十分に近接させることができないので、この区域１３０６の外側で、人間オペレータの全ての移動が、安全と見なされるように、定義され得る。一実施形態において、外側区域１３０６内にあるが、依然として、第２の３Ｄ区域１３０４の外側にあるオペレータの身体の任意の部分の検出は、ロボット９０４が最高速度で動作し続けることを可能にする。これらの区域１３０２－１３０６は、ロボットが環境内で移動させられる（または移動する）場合に更新され得、全体的ロボット制御の観点からＰＯＥを補完し得る。
【0123】
種々の実施形態において、十分なマージンが、ある最大の現実的速度でロボットに向かう関連する物体または人間の移動を考慮するために、区域１３０２－１３０６の各々に追加されることができる。加えて、または代替として、センサシステム１０１によって検出される情報に基づく状態推定技法が、将来の人間および他の物体の移動を予想するために使用されることができる。例えば、骨格追跡技法が、検出された人間の移動する手足を識別し、人体の特性と、例えば、人物全体ではなく、人物の腕の推定される移動とに基づいて、潜在的衝突を制限するために使用されることができる。ロボットは、次いで、漸進的安全区域１３０２－１３０６および人間および他の物体の予想される移動に基づいて動作させられることができる。
【0124】
図１４Ａは、本明細書による、少なくとも部分的に機械類の動作のシミュレーションに基づいて、機械類および／または人間オペレータのＰＯＥを計算するための例示的アプローチを図示する。第１のステップ１４０２において、センサシステムは、作業空間、機械類、および／または人間オペレータについての情報を入手するためにアクティブにされる。第２のステップ１４０４において、センサシステムによって入手された走査データに基づいて、制御システムは、（例えば、分析モジュール２４２を使用して）作業空間の３Ｄ空間表現（例えば、ボクセル）を発生させ、（例えば、物体認識モジュール２４３を使用して）作業空間内の人間および機械類、およびそれらの移動を認識する。第３のステップ１４０６において、制御システムは、システムメモリにアクセスし、機械類製造業者（または従来のモデル化ツール）から入手された、またはセンサシステムによって入手された走査データに基づいて発生させられる機械類のモデルを読み出す。第４のステップ１４０８において、制御システム（例えば、シミュレーションモジュール２４４）は、タスク／アプリケーションを実施するために作業空間内の仮想ボリュームにおいて機械類の動作をシミュレートする。シミュレーションモジュール２４４は、典型的に、（例えば、機械類モデルに基づいて）機械類の幾何学形状および運動学を特徴付けるパラメータを受信し、機械類が実施すべきタスクをプログラムされ、そのタスクは、機械類（例えば、ロボット）コントローラにおいてもプログラムされていることもある。一実施形態において、シミュレーション結果は、次いで、マッピングモジュール２４６に伝送される。（モジュール２４４、２４６間の責任の分担は、１つの可能な設計選択肢である。）加えて、制御システム（例えば、移動予測モジュール２４５）は、タスク／アプリケーションを実施するときの定義された将来の間隔内のオペレータの移動を予測し得る（ステップ１４１０）。移動予測モジュール２４５は、オペレータの現在の状態およびオペレータの幾何学形状および運動学を特徴付ける識別パラメータを利用し、タスク／アプリケーションを実施するときの定義された間隔内に人間オペレータの任意の部分によって占有され得る全ての可能な空間領域を予測し得る。このデータは、次いで、マッピングモジュール２４６に渡され得、再度、モジュール２４５、２４６間の責任の分担は、１つの可能な設計選択肢である。シミュレーション結果およびオペレータの予測される移動に基づいて、マッピングモジュール２４６は、機械類および人間オペレータによって潜在的に占有され得る作業空間内の点の空間マップ（例えば、ＰＯＥ）を作成する（ステップ１４１２）。
【0125】
図１４Ｂは、本明細書による、タスク／アプリケーションを実行するとき、機械類および／または人間オペレータの動的ＰＯＥを計算するための例示的アプローチを図示する。第１のステップ１４２２において、センサシステムは、作業空間、機械類、および／または人間オペレータについての情報を入手するためにアクティブにされる。第２のステップ１４２４において、センサシステムによって入手された走査データに基づいて、制御システムは、（例えば、分析モジュール２４２を使用して）作業空間の３Ｄ空間表現（例えば、ボクセル）を発生させ、（例えば、物体認識モジュール２４３を使用して）作業空間内の人間および機械類、およびそれらの移動を認識する。第３のステップ１４２６において、制御システムは、システムメモリにアクセスし、機械類製造業者（または従来のモデル化ツール）から入手された、またはセンサシステムによって入手された走査データに基づいて発生させられる機械類のモデルを読み出す。第４のステップ１４２８において、制御システム（例えば、移動予測モジュール２４５）は、タスク／アプリケーションを実施するときの定義された将来の間隔内の機械類および／またはオペレータの移動を予測する。例えば、移動予測モジュール２４５は、機械類およびオペレータの現在の状態および機械類（例えば、機械類モデルに基づく）およびオペレータの幾何学形状および運動学を特徴付ける識別パラメータを利用し、タスク／アプリケーションを実施するときの定義された間隔内に機械類の任意の部分および人間オペレータの任意の部分によって占有され得る全ての可能な空間領域を予測し得る。第５のステップ１４３０において、機械類およびオペレータの予測される移動に基づいて、マッピングモジュール２４６は、機械類および人間オペレータのＰＯＥを作成する。
【0126】
一実施形態において、マッピングモジュール２４６は、ステップ１４３２において、機械類を監視する従来のコンピュータビジョンシステム、機械類およびオペレータを走査するセンサシステム、および／またはロボットからデータ（例えば、ジョイント位置データ、キープイン区域、および／または意図される軌道）を受信することができる。コンピュータビジョンシステムは、センサシステムを利用し、タスクの物理的実行中の機械類およびオペレータの移動を追跡する。コンピュータビジョンシステムは、作業空間の座標基準フレームに対して較正され、機械類およびオペレータの移動に対応する座標データをマッピングモジュール２４６に伝送する。種々の実施形態において、追跡データは、次いで、次の時間間隔における機械類およびオペレータの移動を予測するために、移動予測モジュール２４５に提供される（ステップ１４２８）。続けて、マッピングモジュール２４６は、この予測データをボクセルレベル表現に変換し、次の時間間隔における機械類およびオペレータのＰＯＥを生成する（ステップ１４３０）。ステップ１４２８－１４３２は、タスクの実行中に反復的に実施され得る。
【0127】
図１５は、本明細書による、キープイン区域および／またはキープアウト区域を決定するための例示的アプローチを図示する。第１のステップ１５０２において、センサシステムは、作業空間、機械類、および／または人間オペレータについての情報を入手するためにアクティブにされる。第２のステップ１５０４において、センサシステムによって入手された走査データに基づいて、制御システムは、（例えば、分析モジュール２４２を使用して）作業空間の３Ｄ空間表現（例えば、ボクセル）を発生させ、（例えば、物体認識モジュール２４３を使用して）作業空間内の人間および機械類、およびそれらの移動を認識する。第３のステップ１５０６において、制御システムは、システムメモリにアクセスし、機械類製造業者（または従来のモデル化ツール）から入手された、またはセンサシステムによって入手された走査データに基づいて発生させられる機械類のモデルを読み出す。第４のステップ１５０８において、制御システム（例えば、シミュレーションモジュール２４４）は、タスク／アプリケーションを実施することにおける作業空間内の仮想ボリュームにおける機械類の動作をシミュレートする。加えて、または代替として、制御システムは、機械類にタスク／アプリケーション全体を実施させ、全ての時点における全てのジョイント位置を含む機械類の軌道を記録させ得る（ステップ１５１０）。シミュレーション結果および／または記録データに基づいて、マッピングモジュール２４６は、機械類に関連付けられるキープイン区域および／またはキープアウト区域を決定する（ステップ１５１２）。これを達成するために、一実施形態において、マッピングモジュール２４６は、最初に、シミュレーション結果および／または記録データに基づいて、機械類および人間オペレータのＰＯＥを計算し、次いで、機械類のＰＯＥおよびオペレータのＰＯＥに基づいて、それぞれ、キープイン区域およびキープアウト区域を決定する。
【0128】
図１６は、本明細書による、機械類および人間オペレータの計算されたＰＯＥおよび／またはキープイン／キープアウト区域に基づいて、異なるアプリケーションにおいて種々の機能（作業空間内でタスクを実施するときに機械類の安全動作を施行すること、タスクを実施するための作業空間内の機械類の最適な経路を決定すること、および作業空間および／またはタスクのワークフローをモデル化／設計すること）を実施することに対するアプローチを描写する。第１のステップ１６０２において、機械類および人間オペレータのＰＯＥが、上記（例えば、図１４Ａおよび１４Ｂ）に説明されるアプローチを使用して決定される。加えて、または代替として、ステップ１６０８において、機械類に関連付けられるキープイン／キープアウト区域についての情報が、ロボットコントローラから入手され、および／または、上記（例えば、図１５）に説明されるアプローチを使用して決定され得る。一実施形態において、従来の空間モデル化ツール（例えば、Ｄｅｌｍｉａ Ｇｌｏｂａｌ ＯｐｅｒａｔｉｏｎｓまたはＴｅｃｎｏｍａｔｉｘによって供給される）が、随意に、入手される（ステップ１６０６）。機械類および人間オペレータの計算されたＰＯＥおよび／またはキープイン／キープアウト区域に基づいて、機械類は、上で説明されるように、タスク／アプリケーションの物理的実施中に安全な様式で動作させられ得る（ステップ１６０８）。例えば、シミュレーションモジュール２４４は、機械類と人間オペレータとのＰＯＥ間の近接度（例えば、ＰＳＤ）を計算し得、次いで、状態決定モジュール２４７は、機械類が、安全状態において動作させられ得るように、機械類の状態（例えば、位置、向き、速度、加速度等）を決定し得、続けて、制御システムは、機械類を安全な状態において動作させ、それを確実にするために、決定された状態をロボットコントローラに伝送し得る。
【0129】
加えて、または代替として、制御システム（例えば、経路決定モジュール２４８）は、機械類および人間オペレータの計算されたＰＯＥおよび／またはキープイン／キープアウト区域に基づいて（例えば、それらをＣＡＤシステムに通信することによって）、および／または、従来の空間モデル化ツールを利用して、（例えば、キープイン区域から退出すること、および／または、キープアウト区域に進入することなく）タスクを実施するための作業空間内の機械類の最適な経路を決定し得る（ステップ１６１０）。いくつかの実施形態において、制御システム（例えば、作業空間モデル化モジュール２４９）は、人間オペレータの安全性を確実にしながら、高い生産性および空間効率を達成するように、機械類および人間オペレータの計算されたＰＯＥおよび／またはキープイン／キープアウト区域に基づいて（例えば、それらをＣＡＤシステムに通信することによって）、および／または、従来の空間モデル化ツールを利用して、作業空間パラメータ（例えば、寸法、ワークフロー、機器および／または資源の場所）を計算的にモデル化する（ステップ１６１２）。例えば、作業セルは、浪費される空間を殆ど伴わずに危険なエリアの周囲に構成されることができる。加えて、ＰＯＥおよび／またはキープイン／キープアウト区域は、マルチロボットタスクを協調させ、オペレータが各ロボットサイクルにおいてタスクレベルＰＯＥの一部の部分を占有することが予期される協働アプリケーションを設計し、作業セル（またはより広範な施設）生産率を推定し、経時的な予測されるロボット場所、速度、および電力使用の統計分析を実施し、雑音特性評価を通して作動および位置感知における性能の（摩損）減衰を監視するために使用されることができる。ワークピース側から、ワークピースの変化するボリュームが、例えば、減算アプリケーションまたはパレタイザ／デパレタイザにおいて、それが処理されるとき、観察されることができる。
【0130】
さらに、種々の実施形態において、制御システムは、機械類が、新しい安全状態にされるように、機械類の状態（例えば、速度、位置等）を調節するために、例えば、ロボット通信モジュール１０１１および非安全定格チャネル１０１４を介して、ＰＯＥおよび／またはキープイン／キープアウト区域をロボットコントローラにおける非安全定格コンポーネントに伝送することができる（ステップ１６１４）。続けて、制御システムは、機械類が安全状態において動作させられることを確実にするために、例えば、機械類の新しい状態を含む命令をロボットコントローラにおける安全定格コンポーネントに伝送することができる（ステップ１６１６）。
【0131】
本明細書に採用される用語および表現は、限定ではなく、説明の用語および表現として使用され、そのような用語および表現の使用において、示され、説明される特徴またはその一部の任意の均等物を除外するいかなる意図も、存在しない。加えて、本発明のある実施形態を説明したが、本明細書に開示される概念を組み込む他の実施形態も、本発明の精神および範囲から逸脱することなく使用され得ることが当業者に明白となるであろう。故に、説明される実施形態は、あらゆる点で、制限的ではなく、例証的にすぎないと見なされるものである。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】
【図13】
【図14A】
【図14B】
【図15】
【図16】
【国際調査報告】