特許 7707583 情報処理装置および情報処理方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-07

(45)【発行日】2025-07-15

(54)【発明の名称】情報処理装置および情報処理方法、並びにプログラム

(51)【国際特許分類】

   B25J 19/06 20060101AFI20250708BHJP

【ＦＩ】

B25J19/06

【請求項の数】 16

(21)【出願番号】P 2021040409

(22)【出願日】2021-03-12

(65)【公開番号】P2022139852

(43)【公開日】2022-09-26

【審査請求日】2024-01-16

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】三嶋 一馬

(72)【発明者】

【氏名】馬場 洋一

【審査官】神山 貴行

(56)【参考文献】

【文献】特開２０２０－０６９５７２（ＪＰ，Ａ）

【文献】特開２０２０－０７５３２５（ＪＰ，Ａ）

【文献】特開２００３－１５０２１９（ＪＰ，Ａ）

【文献】特開２０１４－０７９８２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

(57)【特許請求の範囲】

【請求項1】

センサによって測定された距離情報を取得する距離情報取得手段と、
前記センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するエリア情報取得手段と、
前記距離情報に基づいて、前記センサの死角となる３次元の死角領域を算出する死角算出手段と、
前記防護エリア及び前記死角領域を仮想的な３次元空間に表示する表示手段と、
前記測定可能領域内に設置されたロボットを動かしながら複数のタイミングで前記センサにより測定した距離情報から前記ロボットの動作範囲を認識する認識手段と、
を有し、
前記死角算出手段は、前記認識手段により認識した前記ロボットの前記動作範囲に基づいて、前記ロボットにより生じる死角領域を算出することを特徴する情報処理装置。

【請求項2】

前記表示手段は、さらに、前記距離情報に基づく点群を前記仮想的な３次元空間に表示することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記エリア情報取得手段は、前記測定可能領域内に存在する物体の３Ｄモデルを取得し、
前記表示手段は、さらに、前記３Ｄモデルを前記仮想的な３次元空間に表示することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記死角領域の少なくとも一部が前記防護エリア内にある場合に警告を行う警告手段をさらに備えることを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

前記警告手段は、前記防護エリア内における前記死角領域の大きさが閾値以上である場合に危険警告を行うことを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記仮想的な３次元空間に表示された前記防護エリアの範囲は、ユーザ操作により変更可能であることを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

前記表示手段は、前記ロボットの前記動作範囲を前記仮想的な３次元空間に重畳して表示することを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。

【請求項8】

前記ロボットにより生じる死角領域が前記防護エリア内にある場合、前記死角領域が減少するように前記動作範囲を変更させる指示を前記ロボットに対して送信する指示送信手段を更に備えることを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記認識手段は、
前記複数のタイミングで前記センサにより測定された前記距離情報の夫々を、前記測定可能領域における各物体の占める範囲を示す物体範囲情報に変換し、
前記物体範囲情報から、前記測定可能領域における前記ロボット以外の物体の占める範囲を示す周辺環境情報を除いて、前記測定可能領域における前記ロボットの占める範囲を示す実動作情報を生成し、
前記複数のタイミングでの前記実動作情報を重ね合わせて、前記ロボットの動作範囲を算出することを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記ロボットを停止させた状態で前記センサにより測定された前記距離情報に基づき、前記周辺環境情報を設定する設定手段を更に有することを特徴とする請求項９に記載の情報処理装置。

【請求項11】

前記複数のタイミングで前記センサにより測定された前記距離情報は、実作動中と同じ動作で前記ロボットを動かしながら前記センサにより測定された距離情報であることを特徴とする請求項９又は１０に記載の情報処理装置。

【請求項12】

前記死角算出手段は、前記周辺環境情報に基づいてさらに前記死角領域を算出することを特徴とする請求項９～１１のいずれか１項に記載の情報処理装置。

【請求項13】

前記ロボットの最大可動範囲から、前記センサの死角となりうる第２の死角領域を算出する第２の死角算出手段を更に備え、
前記表示手段は、前記第２の死角領域を、前記ロボットの動作範囲から算出された死角領域と識別可能な状態で、前記仮想的な３次元空間にさらに重畳して表示することを特徴とする請求項９～１２のいずれか１項に記載の情報処理装置。

【請求項14】

前記ロボットの最大可動範囲から、前記センサの死角となりうる第２の死角領域を算出する第２の死角算出手段を更に備え、
前記表示手段は、前記ロボットの動作範囲から算出された死角領域と前記第２の死角領域とを切り替えて、前記仮想的な３次元空間に重畳して表示することを特徴とする請求項９～１２のいずれか１項に記載の情報処理装置。

【請求項15】

センサによって測定された距離情報を取得するステップと、
前記センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するステップと、
前記距離情報に基づいて、前記センサの死角となる３次元の死角領域を算出するステップと、
前記防護エリア及び前記死角領域を仮想的な３次元空間に表示するステップと、
前記測定可能領域内に設置されたロボットを動かしながら複数のタイミングで前記センサにより測定した距離情報から前記ロボットの動作範囲を認識するステップと、
を有し、
前記死角領域を算出するステップでは、認識された前記ロボットの前記動作範囲に基づ
いて、前記ロボットにより生じる死角領域を算出することを特徴する情報処理方法。

【請求項16】

請求項１５に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置および情報処理方法、並びにプログラムに関する。

【背景技術】

【0002】

生産現場のような監視が必要な場面において、人体等の物体を検出するためにセンサが用いられている。物体を確実に検出するために、センサを適切な位置や向きに設置したり、監視対象となるエリアを適切に設定することが求められる。しかし、距離センサの設置位置や向きが適切かどうか、監視対象となるエリアが適切に設定されているかをユーザが判断するのは容易でない。

【0003】

特許文献１には、３Ｄセンサを使用して、安全目的のために作業空間を監視するシステムが開示されている。このシステムでは、３Ｄセンサによって監視される円錐の立体空間は、いかなる障害物も検出されなかった「非占有」とマーキングされる空間と、物体の検出された「占有」とマーキングされる空間と、検出された物体のために３Ｄセンサの死角領域となった「未知」とマーキングされる空間とに分類されて表示される。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２０２０－５１１３２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１で「未知」とマーキングされる空間がクリティカルな死角領域であるかをユーザが認識するのは容易でない。

【0006】

そこで本発明は、ユーザがクリティカルな死角領域を容易に認識することができる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために本発明は、以下の構成を採用する。

【0008】

本発明の第一側面は、センサによって測定された距離情報を取得する距離情報取得手段と、前記センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するエリア情報取得手段と、前記距離情報に基づいて、前記センサの死角となる３次元の死角領域を算出する死角算出手段と、前記防護エリア及び前記死角領域を仮想的な３次元空間に表示する表示手段と、有することを特徴する情報処理装置を提供する。

【0009】

「センサ」は、３次元情報を測定可能なセンサであり、一例としてＴＯＦ（Time of Flight）センサである。

【0010】

この構成によれば、センサで測定された距離情報に基づいて、センサの死角となる３次元の死角領域の算出を行い、防護エリア及び死角領域を仮想的な３次元空間に表示する。これにより、防護エリアと死角領域が可視化され、ユーザが、防護エリアと死角領域の位置や大きさの関係を視覚的に確認することができるので、クリティカルな死角領域を容易に認識することができる。

【0011】

前記表示手段は、さらに、前記距離情報に基づく点群を前記仮想的な３次元空間に表示
してもよい。点群を構成する各々の点は、センサによって距離が測定された物体表面上の点（計測点）に対応するものである。したがって、点群を仮想的な３次元空間に表示することで、測定可能領域内に存在する物体（の外形）を表すことができる。これにより、防護エリアの内側や近傍に存在する物体との位置・大きさの関係や、当該物体により生じる死角領域なども把握することができる。

【0012】

前記エリア情報取得手段は、前記測定可能領域内に存在する物体の３Ｄモデルを取得し、前記表示手段は、さらに前記３Ｄモデルを前記仮想的な３次元空間に表示してもよい。「３Ｄモデル」は、センサで測定して得られたデータではなく、例えばＣＡＤデータのような、物体の外形を定義する３次元データである。このような３Ｄモデルを用いて表示を行うことにより、測定可能領域内に存在する物体をより精細かつ正確に表すことができる。これにより、防護エリアの内側や近傍に存在する物体との位置・大きさの関係や、当該物体により生じる死角領域なども把握することができる。

【0013】

また、前記死角領域の少なくとも一部が前記防護エリア内にある場合に警告を行う警告手段をさらに備えてもよい。防護エリア内にセンサの死角が存在する場合、防護エリアに侵入した侵入物を検知できないおそれがあるため、防護エリア内に死角領域が含まれている状態はクリティカルな問題である。したがって上記のように警告を行うことにより、ユーザは、クリティカルな死角領域をより容易に認識することができる。

【0014】

また、前記警告手段は、前記防護エリア内における前記死角領域の大きさが閾値以上である場合に危険警告を行ってもよい。これにより、防護エリア内にある死角領域が例えば人が入れるほどの大きさである場合、ユーザに対し、危険度が高いセンサ配置となっていることを知らせることができる。

【0015】

また、前記仮想的な３次元空間に表示された前記防護エリアの範囲は、ユーザ操作により変更可能であってもよい。これにより、防護エリアの適切な設定が容易になる。

【0016】

前記測定可能領域内に、作業機械が設置されており、前記死角算出手段は、前記作業機械により生じる死角領域を算出してもよい。作業機械の近くに作業者が近寄る可能性は高いため、作業機械により生じる死角領域はクリティカルな場合が多いからである。

【0017】

また、前記作業機械はロボットであって、前記ロボットを動かしながら複数のタイミングで前記センサにより測定した前記距離情報から前記ロボットの動作範囲を認識する認識手段を更に備え、前記死角算出手段は、前記ロボットの動作範囲から前記死角領域を算出し、前記表示手段は、前記動作範囲を前記仮想的な３次元空間に重畳して表示してもよい。これにより、ロボットの作動により生じるセンサから視た死角領域をユーザは容易に認識することが可能となる。

【0018】

また、前記ロボットにより生じる死角領域が前記防護エリア内にある場合、前記死角領域が減少するように前記動作範囲を変更させる指示を前記ロボットに対して送信する指示送信手段を更に備えてもよい。これにより、ロボットにセンサによる測定結果のフィードバックを与えることができる。

【0019】

また、前記認識手段は、前記複数のタイミングで前記センサにより測定された前記距離情報の夫々を、前記測定可能領域における各物体の占める範囲を示す物体範囲情報に変換し、前記物体範囲情報から、前記測定可能領域における前記ロボット以外の物体の占める範囲を示す周辺環境情報を除いて、前記測定可能領域における前記ロボットの占める範囲を示す実動作情報を生成し、前記複数のタイミングでの前記実動作情報を重ね合わせて、前記ロボットの動作範囲を算出してもよい。これにより、ロボットの動作範囲の決定を短
時間で行うことができる。

【0020】

また、前記ロボットを停止させた状態で前記センサにより測定された前記距離情報に基づき、前記周辺環境情報を設定する設定手段を更に有してもよい。これにより、測定可能領域における物体の位置をセンサを用いて簡便に検知することができる。

【0021】

前記複数のタイミングで前記センサにより測定された前記距離情報は、実作動中と同じ動作で前記ロボットを動かしながら前記センサにより測定された距離情報であってもよい。これにより、実作動中に生じるものと同じ死角領域を設定することができる。

【0022】

前記死角算出手段は、前記周辺環境情報に基づいてさらに前記死角領域を算出してもよい。これにより、ユーザが、クリティカルな死角領域をより容易に認識することができる。

【0023】

前記ロボットの最大可動範囲から、前記センサの死角となりうる第２の死角領域を算出する第２の死角算出手段を更に備え、前記表示手段は、前記第２の死角領域を、前記ロボットの動作範囲から算出された死角領域と識別可能な状態で、前記仮想的な３次元空間にさらに重畳してもよい。これにより、ロボットの最大可動範囲での死角領域のうちクリティカルなものをユーザが把握することができる。

【0024】

前記ロボットの最大可動範囲から、前記センサの死角となりうる第２の死角領域を算出する第２の死角算出手段を更に備え、前記表示手段は、前記ロボットの動作範囲から算出された死角領域と前記第２の死角領域とを切り替えて、前記仮想的な３次元空間に重畳して表示してもよい。これにより、ロボットの最大可動範囲での死角領域のうちクリティカルなものをユーザが把握することができる。

【0025】

本発明の第二側面は、センサによって測定された距離情報を取得するステップと、前記センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するステップと、前記距離情報に基づいて、前記センサの死角となる３次元の死角領域を算出するステップと、前記防護エリア及び前記死角領域を仮想的な３次元空間に表示するステップと、有することを特徴する情報処理方法を提供する。

【0026】

本発明の第三側面は、上記情報処理方法の各ステップをコンピュータに実行させるためのプログラムを提供する。

【0027】

本発明は、上記手段の少なくとも一部を有する情報処理装置、死角表示装置、死角確認装置などとして捉えてもよいし、これらの装置とセンサとを含む物体検知システム、監視システムなどとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を有する情報処理方法、死角表示方法、死角確認方法、物体検知方法、監視方法、制御方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。尚、上記手段ないし処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0028】

本発明によれば、ユーザがクリティカルな死角領域を容易に認識することができる。

【図面の簡単な説明】

【0029】

【図1】図１は、本発明の一実施の形態に係る情報処理装置及びセンサを含む監視システムのブロック図である。

【図2】図２は、制御部の機能ブロック図である。

【図3】図３は、監視システムが用いられる現場の模式的な立体図である。

【図4】図４は、ロボットの動線を示す図である。

【図5】図５は、死角領域表示処理を示すフローチャートである。

【発明を実施するための形態】

【0030】

＜適用例＞
図１～図３を参照して、本発明に係る情報処理装置の適用例を説明する。図１は、本発明の一実施の形態に係る情報処理装置５０及びセンサ１０を含む監視システムのブロック図である。図２は、制御部３０の機能ブロック図である。図３は、監視システムが用いられる現場の模式的な立体図である。

【0031】

図３に示すように、３次元の距離情報を測定・出力する３次元距離センサ１０（以下、センサ１０と記す）が用いられる現場として、ロボット３０２や製造装置などの作業機械（「危険源」とも呼ばれる）が作業者と協働しながら生産を行う生産現場のように、物体の監視が必要な場所が想定される。センサ１０による物体の監視は、センサ１０の設置位置や向き、ロボット３０２の配置、及び安全距離等を考慮して定められる、仮想的な３次元の防護エリア３０５において行われる。

【0032】

一方、ロボット３０２が、作業台３０３の上に設置され、実作動中に３次元の動作範囲である動線３０６（図３においては、センサ１０から視て、動線３０６の奥側の領域のみ図示）上を動く場合、実作動中においてセンサ１０の死角となる死角領域３０６ａ（図３）が生じる。死角領域３０６ａのような防護エリア３０５内に存在する死角領域は、防護エリア３０５にもかかわらずセンサ１０による物体の検知ができないクリティカルな死角領域となる。よって、ユーザは、このようなクリティカルな死角領域の安全確認を行う必要があるが、現場のどの領域がクリティカルな死角領域であるかをユーザが認識するのは容易でない。

【0033】

そこで、本実施の形態では、図３に示すように、ユーザは、センサ１０を、その測定可能領域３０１にロボット３０２の少なくとも一部が入るように設置する。この状態で、距離情報取得手段としての制御部３０のセンシング部２０１（図２）は、センサ１０で測定・出力された距離情報（３次元情報）を取得する。そして、エリア設定手段としての制御部３０の防護エリア設定部２０２（図２）は、センサ１０の設置位置や向き、ロボット３０２の配置、及び安全距離等に基づいて、測定可能領域３０１内に仮想的な３次元の防護エリア３０５を設定する。エリア情報取得手段としての制御部３０のエリア情報取得部２０３（図２）は、記憶部あるいは外部のコンピュータなどから、防護エリア３０５の情報や、測定可能領域３０１に存在する各物体（図３の例の場合、ロボット３０２、作業台３０３、及び棚３０４）の３Ｄモデルを取得する。また、死角算出手段としての制御部３０の死角判別部２０４（図２）は、センサ１０で測定された距離情報に基づいて、センサ１０の死角となる３次元の死角領域（図３の例の場合、作業台３０３、ロボット３０２の動線３０６、及び棚３０４の夫々により生じる死角領域３０３ａ，３０４ａ，３０６ａ）を算出する。表示手段としての制御部３０の３次元空間座標表示部２０５（図２）は、防護エリア３０５及び死角領域を仮想的な３次元空間に表示する。３次元空間座標表示部２０５は、さらに、センサ１０で測定された距離情報に基づく点群や、エリア情報取得部２０３が取得した物体の３Ｄモデルなどを、防護エリア３０５及び死角領域とともに、仮想的な３次元空間に表示してもよい。

【0034】

ここで、警告手段としての制御部３０の警告部２０６（図２）が、死角領域の少なくとも一部が防護エリア３０５内にある場合に警告を行うようにしてもよい。

【0035】

図１に示すように、センサ１０は、発光部４１、受光部４２および演算部４３を備える
。発光部４１は光（例えば、赤外光）を出射し、受光部４２は反射光を受光する。センサ１０には、一例として、光の飛行時間（Time of Flight：TOF）から距離画像を取得する
ＴＯＦセンサが採用される。例えば、投影光と反射光の位相差から時間差を推定する間接型ＴＯＦセンサが採用される。センサ１０は、測定可能領域３０１内の各位置の３次元の距離情報を測定結果として出力する。測定結果は情報処理装置５０におけるセンサＩ／Ｆ４４を介して制御部３０に供給される。センサ１０は、センサＩ／Ｆ４４を介して制御部３０によって制御される。

【0036】

以上の適用例は、本発明の理解を補助するための例示であり、本発明を限定解釈することを意図するものではない。

【0037】

＜実施形態＞
次に、本発明の実施形態における情報処理装置５０の構成、及び制御部３０の各機能等を詳細に説明する。

【0038】

まず、図１で、情報処理装置５０の構成を説明する。情報処理装置５０は、制御部３０、センサＩ／Ｆ４４、表示部３４、操作入力部３５、記憶部３６、通信Ｉ／Ｆ３７を備える。制御部３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３および不図示のタイマ等を備える。ＲＯＭ３２には、ＣＰＵ３１が実行する制御プログラムが格納されている。ＲＯＭ３２にはまた、各種閾値などの値が格納されている。ＲＡＭ３３は、ＣＰＵ３１が制御プログラムを実行する際のワークエリアを提供する。

【0039】

表示部３４は、液晶ディスプレイ等で構成され、各種情報を表示する。表示部３４は、２つ以上の画面を有するか、または画面分割により２つ以上の画面を表示する機能を有してもよい。操作入力部３５は、ユーザからの各種指示の入力を受け付け、入力情報をＣＰＵ３１に送る。また、操作入力部３５は、ＣＰＵ３１からの指示に基づきユーザに対して音声やランプ等による警告を行う機能を有してもよい。記憶部３６は例えば不揮発メモリで構成される。記憶部３６は外部メモリであってもよい。通信Ｉ／Ｆ３７は、制御部３０とロボット３０２との間で有線または無線による通信を行う。

【0040】

次に、図２で、制御部３０の各機能について説明する。制御部３０は、センシング部２０１、防護エリア設定部２０２、エリア情報取得部２０３、死角判別部２０４、３次元空間座標表示部２０５、警告部２０６を有する。これらの各機能は、ＲＯＭ３２に格納されたプログラムによってソフトウェア的に実現される。つまり、ＣＰＵ３１が必要なプログラムをＲＡＭ３３に展開し実行して、各種の演算や各ハードウェア資源の制御を行うことによって、各機能が提供される。言い換えると、センシング部２０１の機能は、主としてＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３およびセンサＩ／Ｆ４４の協働により実現される。防護エリア設定部２０２及びエリア情報取得部２０３の機能は、主としてＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、表示部３４、及び操作入力部３５の協働により実現される。死角判別部２０４の機能は、主としてＣＰＵ３１、ＲＯＭ３２およびＲＡＭ３３の協働により実現される。警告部２０６の機能は、主としてＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、操作入力部３５、及び通信Ｉ／Ｆ３７の協働により実現される。

【0041】

センシング部２０１は、図３に示すように、測定可能領域３０１にロボット３０２の少なくとも一部が入るように設置されたセンサ１０から距離情報をセンサＩ／Ｆ４４を介して取得する。距離情報は、例えば、各画素にセンサ１０からの奥行距離の情報が対応付けられた距離画像でもよいし、点群データでもよい。センシング部２０１は、ロボット３０２の実作動を行う前に、ロボット３０２の停止時にセンサ１０で測定された距離情報（１）の取得と、ロボット３０２を動かしながら複数のタイミングにおいてセンサ１０で測定された距離情報（２）の取得を行う。これら、取得した距離情報（１），（２）はＲＡＭ
３３内に一次保存される。

【0042】

距離情報（１）は、図３に示す作業台３０３や棚３０４の他、床や壁、安全柵等、測定可能領域３０１におけるロボット３０２以外の物体（周辺物体ともよぶ）を認識するとともに、それらの物体により形成される死角領域３０３ａ、３０４ａを算出するために用いられる。

【0043】

距離情報（２）は、ロボット３０２の動線３０６を認識するために用いられ、死角領域３０６ａは動線３０６に基づいて算出される。よって、実作動中のロボット３０２によって生じる死角領域と同じものを認識するため、距離情報（２）は、ロボット３０２を実作動中と同じ動作で動かしながら取得されるのが好ましい。

【0044】

防護エリア設定部２０２は、センサ１０の設置位置・向き、ロボット３０２の設置位置、及び安全距離を考慮して、測定可能領域３０１内に仮想的な３次元の防護エリア３０５を設定する。具体的には、防護エリア設定部２０２は、防護エリア３０５のデータとして、例えば、図３に示すような、五角柱の各頂点のＸＹＺ座標で定義されたデータを生成し、記憶部３６に格納する。

【0045】

ここで、安全距離とは、防護エリア３０５への侵入物がロボット３０２に到達するまでにロボット３０２が減速・停止を完了することを保証できる距離であり、センサ１０の応答速度や、ロボット３０２の動作速度や制動性能などを考慮して安全規格により定められる。

【0046】

よって、防護エリア設定部２０２は、記憶部３６から、使用ロボット情報（ロボット３０２の動作速度や制動性能等の情報）や使用する安全規格情報を読み出し、これらに基づき安全距離を算出する。

【0047】

また、記憶部３６には、センサ１０の設置位置・向きや、ロボット３０２の設置位置の情報も予め保持されている。防護エリア３０５を設定する際、これらの情報も防護エリア設定部２０２は記憶部３６から読み出す。

【0048】

エリア情報取得部２０３は、防護エリア設定部２０２により設定された防護エリアの情報を取得する。あるいは、エリア情報取得部２０３は、設定済みの防護エリアの情報を記憶部３６から取得してもよい。また、エリア情報取得部２０３は、測定可能領域３０１に存在する物体（例えば、ロボット３０１、作業台３０３、棚３０４等）の３Ｄモデルのデータを記憶部３６から取得する。３Ｄモデルは、例えばＣＡＤデータのような、物体の３次元形状を定義するデータである。なお、防護エリアの情報や物体の３Ｄモデルは、記憶部３６ではなく、外部のコンピュータや外部ストレージなどから取得されてもよい。

【0049】

死角判別部２０４（認識手段）は、まず、ロボット３０２の動線３０６を認識する。ロボット３０２の作動により生じるセンサ１０から視た死角領域３０６ａは、動線３０６の範囲に基づき算出されるからである。

【0050】

具体的には、死角判別部２０４は、センシング部２０１が取得した距離情報（２）をＲＡＭ３３から読み出し、グローバル座標系での直交ＸＹＺ座標系の点群情報（物体範囲情報）に変換する。同様に、死角判別部２０４は、センシング部２０１が取得した距離情報（１）をＲＡＭ３３から読み出し、グローバル座標系での直交ＸＹＺ座標系の点群情報（周辺環境情報）に変換する。そして、死角判別部２０４は、物体範囲情報から周辺環境情報を除く。これにより、距離情報（２）が測定された各タイミングにおけるロボット３０２を示す点群情報（実動作情報）を生成する。その後、死角判別部２０４は、距離情報（
２）が測定された各タイミングにおけるロボット３０２の点群情報を順次プロットし、プロットされた全点群情報を全て取り囲むような３次元形状４０１をロボット３０２の動線３０６（図４）として認識する。これにより、ロボット３０２の動作範囲が動線３０６として認識されるため、正確な死角領域３０６ａを算出することができる。

【0051】

次に、死角判別部２０４は、測定可能領域内に存在する周辺物体（作業台３０３や棚３０４）やロボット３０２の動線３０６により生じるセンサ１０から視た死角の領域である、死角領域３０３ａ，３０４ａ，３０６ａを算出する。具体的には、死角判別部２０４は、センサ１０の設置位置や向きの情報を記憶部３６から読み出し、これらの情報と、距離情報（１）から求めた周辺環境情報や、図４に示す動線３０６の３次元形状に基づき、死角領域３０３ａ，３０４ａ，３０６ａを算出する。具体的には、センサ１０から視て作業台３０３の上面の奥側の領域が死角領域３０３ａとなり、センサ１０から視て棚３０４の上面の奥側の領域が死角領域３０４ａとなり、センサ１０から視てロボット３０２の動線３０６の奥側の領域が死角領域３０６ａとなる。

【0052】

また、死角判別部２０４は、死角領域３０３ａ，３０４ａ，３０６ａの少なくとも一部が防護エリア３０５内にあるか判定し、ある場合は警告部２０６に対して死角検出通知を行う。

【0053】

３次元空間座標表示部２０５は、図３に示す立体図を表示部３４上の仮想的な３次元空間に表示する。尚、図３においては情報処理装置５０や測定可能領域３０１が表示されているが、これらは表示部３４上の仮想的な３次元空間においては非表示としてもよい。

【0054】

具体的には、３次元空間座標表示部２０５は、図３に示す立体図の表示部３４上の３次元空間への表示を以下のように行う。

【0055】

まず、３次元空間座標表示部２０５は、エリア情報取得部２０３により取得された防護エリア３０５のデータに基づき、防護エリア３０５を表すＣＧを生成し、表示部３４上の３次元空間に表示する。図３の例では、五角柱の各頂点のＸＹＺ座標で定義された防護エリア３０５の外形がワイヤフレームで描画されている。

【0056】

また、３次元空間座標表示部２０５は、死角判別部２０４で算出された死角領域３０３ａ，３０４ａ，３０６ａを表すＣＧ（例えばワイヤフレーム）を生成し、上記仮想的な３次元空間に重畳表示する。

【0057】

さらに、３次元空間座標表示部２０５は、センシング部２０１が取得した距離情報（１）から生成した点群を、上記仮想的な３次元空間に重畳表示してもよい。点群を構成する各々の点は、センサ１０によって距離が測定された物体表面上の点（計測点）に対応するものである。したがって、点群を仮想的な３次元空間に表示することで、測定可能領域３０１内に存在する物体（の外形）を表すことができる。これにより、防護エリア３０５の内側や近傍に存在する物体３０３，３０４との位置・大きさの関係や、当該物体３０３，３０４によりどのような死角領域３０３ａ，３０４ｂが生じているのかなども把握することができる。

【0058】

さらに、３次元空間座標表示部２０５は、エリア情報取得部２０３により取得された物体の３Ｄモデルを、上記仮想的な３次元空間に重畳表示してもよい。このような３Ｄモデルを用いて表示を行うことにより、測定可能領域３０１内に存在する物体をより精細かつ正確に表すことができる。なお、点群と３Ｄモデルの両方を重畳表示してもよいし、いずれか一方のみを表示したり切替表示できるようにしてもよい。

【0059】

尚、表示部３４に表示される防護エリア３０５の範囲は、ワイヤフレームの頂点を操作入力部３５を用いたユーザ操作により移動させる等の方法で変更可能である。これにより、防護エリア３０５の適切な設定が容易になる。例えば、ロボット３０２のアームが入らないため、棚３０４の下の領域は危険がない場合等は、ユーザは防護エリア３０５からかかる領域を外すことができる。

【0060】

また、本実施形態では、防護エリア３０５及び死角領域３０３ａ，３０４ａ，３０６ａのＣＧはワイヤフレームとして表示される場合を例示したが、ユーザがこれらの領域の形状や範囲を認識できればこれに限定されない。例えば、ワイヤフレームではなく、箱状フレーム、球状フレーム、又はポリゴンフレームであってもよい。

【0061】

また、死角判別部２０４（第２の死角算出手段）で、記憶部３６から読み出したロボット３０２の３次元の最大可動範囲の情報と、記憶部３６に格納される周辺環境情報とから、前記３次元距離センサの死角となりうる３次元の死角領域３０６ａ’（不図示：第２の死角領域）を算出し、３次元空間座標表示部２０５で、死角領域３０６ａ，３０６ａ’を色分け等により識別可能な状態で上記仮想的な３次元空間に重畳表示したり、ユーザによるモード切り替えに応じて、死角領域３０６ａを死角領域３０６ａ’に切り替えて、上記仮想的な３次元空間に重畳して表示したりするようにしてもよい。これにより、ロボット３０２の最大可動範囲での死角領域３０６ａ’のうちクリティカルなものをユーザが把握することができる。

【0062】

警告部２０６は、死角判別部２０４から死角検出通知を受けると、操作入力部３５によりユーザに対して警告を行う。これによりユーザはクリティカルな死角領域をより容易に認識することができる。

【0063】

また、警告部２０６は、防護エリア３０５における死角領域の大きさが閾値以上である場合に危険警告を行ってもよい。これにより、防護エリア内にある死角領域が例えば人が入れるほどの大きさである場合、ユーザに対し、危険度が高いセンサ配置となっていることを知らせることができる。

【0064】

また警告部２０６（指示送信手段）は、死角領域が防護エリア３０５内にある場合、死角領域３０６ａが減少するように動線３０６を変更させる指示を通信Ｉ／Ｆ３７を介してロボット３０２に対して送信する。これにより、ロボット３０２にセンサ１０による測定結果のフィードバックを与えることができる。

【0065】

図５は、死角領域表示処理を示すフローチャートである。

【0066】

本処理は、ＲＯＭ３２に格納されたプログラムをＣＰＵ３１がＲＡＭ３３に展開して実行することにより実現される。本処理は、ユーザが、センサ１０を、その測定可能領域３０１にロボット３０２の少なくとも一部が入るように設置した後、ユーザの指示により開始される。

【0067】

まず、ステップＳ５００では、防護エリア設定部２０２が、記憶部３６から、使用ロボット情報、使用する安全規格情報、及びセンサ１０の設置位置・向きやロボット３０２の設置位置の情報を読み出し、これらの情報に基づき測定可能領域３０１内に仮想的な３次元の防護エリア３０５を設定する。なお、防護エリア３０５が既に設定済みの場合は、ステップＳ５００の処理は省略してもよい。

【0068】

ステップＳ５０１では、ユーザが、ロボット３０２を停止させた状態で、距離情報（１）の取得指示を操作入力部３５を用いて入力する。距離情報（１）の取得指示があると、
センシング部２０１がセンサ１０で測定された距離情報（１）を取得する。

【0069】

ステップＳ５０２では、ユーザが、実作動中と同じ動きをロボット３０２に開始させた後、距離情報（２）の取得指示を操作入力部３５を用いて入力する。距離情報（２）の取得指示があると、センシング部２０１がセンサ１０で測定された距離情報（２）を取得する。

【0070】

ステップＳ５０３では、エリア情報取得部２０３が、防護エリアの情報、物体の３Ｄモデルなどのデータを記憶部３６から取得する。

【0071】

ステップＳ５０４では、死角判別部２０４において、距離情報（１）及び距離情報（２）に基づきロボットの動線３０６を認識する。

【0072】

ステップＳ５０５では、死角判別部２０４において、周辺物体（作業台３０３や棚３０４）やロボット３０２の動線３０６により生じる死角領域３０３ａ，３０４ａ，３０６ａを算出する。

【0073】

ステップＳ５０６では、３次元空間座標表示部２０５において、ステップＳ５０３で取得された防護エリア３０５、及びステップＳ５０５で算出された死角領域３０３ａ，３０４ａ，３０６ａを、表示部３４上の仮想的な３次元空間に表示する。さらに、距離情報（１）から生成された点群や、ステップＳ５０３で取得された３Ｄモデルなどを、仮想的な３次元空間に重畳表示してもよい。

【0074】

ステップＳ５０７では、死角判別部２０４において、死角領域３０３ａ，３０４ａ，３０６ａの少なくとも一部が防護エリア３０５内にあるか否かを判別する。死角領域３０３ａ，３０４ａ，３０６ａの少なくとも一部が防護エリア３０５内にある場合（ステップＳ５０７でＹＥＳ）、死角検出通知を警告部２０６に行った後、ステップＳ５０８に進む。一方、防護エリア３０５内に死角領域がない場合（ステップＳ５０７でＮＯ）、本処理をそのまま終了する。

【0075】

ステップＳ５０８では、警告部２０６において、死角判別部２０４からの死角検出通知を受けると、操作入力部３５によりユーザに対して警告を行うと共に、通信Ｉ／Ｆ３７を介してロボット３０２に死角領域３０６ａが減少するように動線３０６を変更させる指示を送信し、本処理を終了する。

【0076】

本実施の形態によれば、制御部３０は、センサ１０がその測定可能領域３０１にロボット３０２の少なくとも一部が入るように設置されると、測定可能領域３０１内に仮想的な３次元の防護エリア３０５を設定し、センサ１０で測定された距離情報に基づいて、各物体により生じる死角領域の算出を行う。その後、制御部３０は、表示部３４上の仮想的な３次元空間に、防護エリア３０５死角領域を表示する。これにより、ユーザがクリティカルな死角領域を容易に認識することができる。

【0077】

尚、センサ１０として用いる３次元距離センサは、距離情報（３次元情報）を測定し出力するセンサであれば、他の種類のセンサを採用してもよい。ＴＯＦセンサを採用する場合、直接型（ダイレクト型）と間接型（インダイレクト型）のいずれでもよい。また、電波等、光以外を用いるセンサも適用可能である。

【0078】

尚、情報処理装置５０は、例えば、プロセッサ、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図２に示す構成は、ストレージに格納されたプログラムをメモリにロードし、プロセッサが当該プログラムを実行することによ
って実現される。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図２に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図２に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

【0079】

＜付記＞
〔１〕センサ（１０）によって測定された距離情報を取得する距離情報取得手段（２０１）と、
前記センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するエリア情報取得手段（２０２）と、
前記距離情報に基づいて、前記センサの死角となる３次元の死角領域を算出する死角算出手段（２０４）と、
前記防護エリア及び前記死角領域を仮想的な３次元空間に表示する表示手段（２０５）と、
を有することを特徴する情報処理装置（５０）。

【0080】

〔２〕センサ（１０）によって測定された距離情報を取得するステップ（Ｓ５０１，Ｓ５０３）と、
前記センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するステップ（Ｓ５００）と、
前記距離情報に基づいて、前記３次元距離センサの死角となる３次元の死角領域を算出するステップ（Ｓ５０５）と、
前記防護エリア及び前記死角領域を仮想的な３次元空間に表示するステップ（Ｓ５０６）と、
を有することを特徴する情報処理方法。

【符号の説明】

【0081】

１０：センサ
３０：制御部
５０：情報処理装置
２０１：センシング部
２０２：防護エリア設定部
２０３：エリア情報取得部
２０４：死角判別部
２０５：３次元空間座標表示部
２０６：警告部
３０１：測定可能領域
３０２：ロボット
３０３：作業台
３０４：棚
３０５：防護エリア
３０６：動線
３０３ａ，３０４ａ，３０６ａ：死角領域

【図1】

【図2】

【図3】

【図4】

【図5】