特許 6631203 バーチャルフェンス表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6631203

(24)【登録日】2019年12月20日

(45)【発行日】2020年1月15日

(54)【発明の名称】バーチャルフェンス表示システム

(51)【国際特許分類】

   B25J 19/06 20060101AFI20200106BHJP

【ＦＩ】

   B25J19/06

【請求項の数】3

【全頁数】10

(21)【出願番号】特願2015-233296(P2015-233296)

(22)【出願日】2015年11月30日

(65)【公開番号】特開2017-100205(P2017-100205A)

(43)【公開日】2017年6月8日

【審査請求日】2018年6月21日

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】110000567

【氏名又は名称】特許業務法人 サトー国際特許事務所

(72)【発明者】

【氏名】宇都宮 正和

【審査官】 貞光 大樹

(56)【参考文献】

【文献】 特開２００４−２４３５１６（ＪＰ，Ａ）

【文献】 特開２０１１−２２７８７９（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０８０８８２（ＷＯ，Ａ１）

【文献】 特開２０１２−２１８１２０（ＪＰ，Ａ）

【文献】 特開２０１７−９４４５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １／００ − ２１／０２

(57)【特許請求の範囲】

【請求項1】

作業者が頭部に装着する表示部を有し、当該表示部に画像を投影可能に構成される頭部装着型ディスプレイと、
ロボット本体の位置を中心として、前記ロボット本体の周辺に配置される安全柵を３次元でモデリングした３Ｄモデル画像データを保持する画像処理部と、
前記作業者の位置及び前記作業者の頭部正面が向いている方向の情報を取得する位置方向情報取得部とを備え、
前記画像処理部は、前記安全柵の３Ｄモデル画像データを、複数の直方体で分割した形態で、且つ各直方体をそれぞれ所定の透過率の画像で表示するように処理可能であり、
前記位置方向情報取得部を介して前記作業者の位置及び方向の情報を取得すると、前記頭部装着型ディスプレイに表示させる前記安全柵の３Ｄモデル画像データが、前記作業者の視界に移り込む形態となるように加工すると共に、
前記安全柵と前記作業者との位置及び方向の関係に応じて、前記複数の直方体のうち、前記作業者の近傍側にあるものほど透過率が低くなるように、且つ、前記作業者の遠方側にあるものほど透過率が高くなるように加工して、前記頭部装着型ディスプレイ側に無線送信し、
前記頭部装着型ディスプレイは、前記加工された安全柵の３Ｄモデル画像データを受信すると、当該３Ｄモデル画像データを前記表示部に投影させるバーチャルフェンス表示システム。

【請求項2】

前記位置方向情報取得部は、頭部装着型ディスプレイに、前記作業者の頭部正面方向の画像を撮像するように配置される撮像器と、
この撮像器が撮像した画像データを取得すると、当該画像データに含まれている前記ロボット本体の画像から、前記作業者の位置及び方向の情報を取得する前記画像処理部とで構成される請求項１記載のバーチャルフェンス表示システム。

【請求項3】

前記画像処理部は、前記３Ｄモデル画像データの透過率を、有段階で変化させる請求項１又は２記載のバーチャルフェンス表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業者が頭部に装着する表示部に、ロボット本体の周辺に配置される安全柵を３次元でモデリングした３Ｄモデル画像データを表示させるバーチャルフェンス表示システムに関する。

【背景技術】

【0002】

作業者が頭部に装着した状態の表示部に画像を投影可能に構成される頭部装着型ディスプレイを用いて、例えば仮想現実の画像や様々な情報を表示させる技術が例えば特許文献１等で提案されている。この技術を、ロボットが作業する領域に立ち入る可能性がある作業者の安全を確保するために適用することを想定する。

【0003】

例えば１つの手法として、作業者が頭部装着型ディスプレイを介してロボットを見た場合に、ロボットの周辺に仮想的な安全柵の画像を表示させることが考えられる。以下、この「仮想的な安全柵」を「バーチャルフェンス」と称する。このようなシステムを導入することで作業者の安全性を確保すると共に、実際には安全柵を配置する必要がなくなるので、ロボットと共存する環境下における作業者の作業効率が向上することも期待できる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−９５９０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、その一方で、作業者がロボットを視界に捉えた場合に、バーチャルフェンスが頭部装着型ディスプレイに常に表示されていると、作業者の気が散ることで作業効率の低下を招くおそれもある。

【0006】

本発明は上記事情に鑑みてなされたものであり、その目的は、頭部装着型ディスプレイにおけるバーチャルフェンスの表示態様を、作業者の作業効率に極力影響を及ぼさないように最適化できるバーチャルフェンス表示システムを提供することにある。

【課題を解決するための手段】

【0007】

請求項１記載のバーチャルフェンス表示システムによれば、画像処理部は、ロボット本体の位置を中心として、そのロボット本体の周辺に配置される安全柵を３次元でモデリングした３Ｄモデル画像データ，つまりバーチャルフェンスの３Ｄモデル画像データを保持する。また、画像処理部は、バーチャルフェンスの３Ｄモデル画像データを、複数の直方体で分割した形態で、且つ各直方体をそれぞれ所定の透過率の画像で表示するように処理可能である。尚、ここでの「直方体」には「立方体」も含む。

【0008】

そして、画像処理部は、頭部装着型ディスプレイを装着している作業者の位置及び方向の情報を取得すると、表示部に表示させるバーチャルフェンスの３Ｄモデル画像データが、作業者の視界に移り込む形態となるように加工する。その際に、バーチャルフェンスと作業者との位置及び方向の関係に応じて、複数の直方体のうち、作業者の近傍側にあるものほど透過率が低くなり、遠方側にあるものほど透過率が高くなるように加工して頭部装着型ディスプレイ側に無線送信する。すると、頭部装着型ディスプレイは、受信したバーチャルフェンスの３Ｄモデル画像データを表示部に投影する。

【0009】

このように構成すれば、頭部装着型ディスプレイには常にバーチャルフェンス全体の画像が表示されることはなく、作業者に相対的に近い位置にある直方体部分は透過率が低くなり、バーチャルフェンスの存在を作業者により意識させる状態で表示される。一方、作業者から相対的に遠い位置にある直方体部分は透過率が高くなることで、バーチャルフェンスの存在を作業者にあまり意識させない状態で表示される。

【0010】

したがって、実際のロボット本体の周囲に安全柵を配置しなくても、バーチャルフェンスを表示させることで作業者の安全を確保することができると共に、ロボットと作業者とが共存して作業する領域における作業者の作業効率を向上させることができる。また、作業者の安全性が十分に確保されている、相対的に遠い位置にあるバーチャルフェンスの部分は透過率が高くなるので、作業者の気が散ることを防止できる。加えて、作業者は、ロボット本体やその周辺の実景を視認し易くなるので、その点からも作業効率の向上が期待できる。

【0011】

請求項２記載のバーチャルフェンス表示システムによれば、位置方向情報取得部を、頭部装着型ディスプレイに配置される撮像器と、撮像器が撮像した画像データに含まれているロボット本体の画像から、作業者の位置及び方向の情報を取得する画像処理部とで構成する。

【0012】

頭部装着型ディスプレイに比較的小型の撮像器を配置することは容易であり、撮像器が撮像した画像データからは、作業者の視界において、ロボット本体がどのような方向や大きさで捉えられているか等を把握できる。したがって、画像処理部が前記画像データを処理することにより作業者の位置及び方向の情報を取得できるので、前記情報を取得するためのセンサを別途用いる必要がなくなる。

【0013】

請求項３記載のバーチャルフェンス表示システムによれば、画像処理部は、３Ｄモデル画像データの透過率を有段階で変化させる。ここでの「有段階」とは、少なくとも画像処理部が透過率を変化させる際の最小分解能よりも大きい段階であり、且つ、作業者が透過率の変化を認識できる程度の段階である。このように構成すれば、画像処理部における計算量を削減できると共に、作業者に対して直方体の透過率が変化する境界をより明確に認識させることが可能になる。

【図面の簡単な説明】

【0014】

【図1】一実施形態であり、バーチャルフェンス表示システムの構成を概略的に示す機能ブロック図

【図2】スマートグラスの構成を示す斜視図

【図3】スマートグラスを装着した作業者が、表示部を介して見た視界の一例を示す図

【図4】ロボット安全コントローラによる処理内容を中心に示すフローチャート

【図5】各直方体の透過率の設定例を平面的に示す図

【図6】各直方体の透過率の設定例を立体的に示す図

【発明を実施するための形態】

【0015】

以下、一実施形態について図面を参照して説明する。図１に示すように、本実施形態のバーチャルフェンス表示システム１は、例えば組立用のロボットアーム２，ロボット安全コントローラ３，スマートグラス４及びカメラ５より構成されている。ロボット本体であるロボットアーム２は、例えば６軸の垂直多関節型ロボットとして構成されている。一般的な構成につき詳しい説明は省略するが、このロボットアーム２は、夫々サーボモータにより駆動される６軸のアームを有し、第６軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。

【0016】

ロボットアーム２は、ロボットコントローラとしての機能も有しているロボット安全コントローラ３にケーブル６を介して接続され、前記各軸のサーボモータがこのロボット安全コントローラ３により制御される。画像処理部に相当するロボット安全コントローラ３は、予め保持しているロボットアーム２の３次元位置座標（ｘ，ｙ，ｚ）の情報を取得する。また、ロボット安全コントローラ３は、ロボットアーム２の周辺に仮想的に配置される安全柵であるバーチャルフェンスＶＦの形態を、３次元的にモデリングしたデータである３Ｄモデル画像データを内部のメモリに記憶して保持している。

【0017】

頭部装着型ディスプレイであるスマートグラス４は、図１に示すように、作業者７が頭部に眼鏡のように装着するもので、眼鏡のレンズ部分に相当する透明な表示部４Ｄに、図示しない投影部を介して画像を投影可能な所謂透過型のディスプレイである。スマートグラス４のフレームの一側部には、図２にも示すように、位置方向情報出力部及び撮像器であるカメラ５が配置されている。カメラ５は、作業者７がスマートグラス４を頭部に装着した状態で、作業者７の頭部正面が向いている方向の画像を撮像するもので、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳイメージセンサなどで構成されている。

【0018】

スマートグラス４は、図１及び図２ではアンテナのシンボルで示す無線通信部８をフレームに内蔵しており、同じく図１においてアンテナのシンボルで示すロボット安全コントローラ３の無線通信部９と通信可能となっている。無線通信部８は、カメラ５により撮像された画像のデータをロボット安全コントローラ３に送信し、無線通信部９は、ロボット安全コントローラ３が保持している前記３Ｄモデル画像データをスマートグラス４に送信する。通信部８及び９は、それぞれ第１及び第２通信部に相当する。

【0019】

ここで、バーチャルフェンスＶＦの３Ｄモデル画像データは、図３，図５及び図６に示すように、バーチャルフェンスＶＦの全体を複数の直方体Ｃｄにより分割した状態でモデリングしている。そして、各直方体Ｃｄを、個別に異なる透過率で表示するように画像処理することができる。

【0020】

図３は、スマートグラス４を装着した作業者７が、表示部４Ｄを介して見た視界の状態を示している。作業者７の近傍にあるロボットアーム２ＮについてはバーチャルフェンスＶＦの３Ｄモデル画像が表示される。但し、その全体が表示されることはなく、バーチャルフェンスＶＦのうち、作業者７に相対的に近い位置にある部分の直方体Ｃｄは透過率が相対的に低い設定で描画され、作業者７に相対的に遠い位置にある部分の直方体Ｃｄは透過率が相対的に高い設定で描画される。そして、作業者７の遠方にあるロボットアーム２Ｆについては、作業者７が作業するに当たって安全性に影響しないので、バーチャルフェンスＶＦの３Ｄモデル画像は表示しない。つまり、全ての直方体Ｃｄの透過率を１００％にする。上記の「遠方」とは、例えばロボットアーム２が作業する領域よりも離れた距離である。

【0021】

次に、上記のようにスマートグラス４に画像を表示させる本実施形態の作用について、図４から図６も参照して説明する。図４は、ロボット安全コントローラ３による処理内容を中心に示すフローチャートである。ロボット安全コントローラ３は、先ずスマートグラス４から、作業者７の座標位置を取得する（Ｓ１）。具体的には、スマートグラス４は、カメラ５が撮像した画像のデータをロボット安全コントローラ３に送信する。ロボット安全コントローラ３は、その画像データにロボットアーム２が含まれていると、ロボットアーム２の３次元的な形態から、作業者７の相対的な座標位置を特定する。

【0022】

続いて、ロボットアーム２の座標位置を取得すると（Ｓ２）、ロボットアーム２の位置と作業者７の位置とをワールド座標上でマッチングさせて、両者の位置関係を特定する（Ｓ３）。そして、ロボットアーム２と作業者７との距離，及び作業者７の視点からロボットアーム２が見えている方向を計算する（Ｓ４）。

【0023】

続くステップＳ５において、計算した距離及び方向が、スマートグラス４にバーチャルフェンスＶＦを表示する必要がある範囲内にあるか否かを判断する。前記範囲内に無ければ（ＮＯ）処理を終了するが、前記範囲内にあれば（ＹＥＳ）、バーチャルフェンスＶＦの描画領域を複数のブロック，つまり直方体Ｃｄに分割する（Ｓ６）。

【0024】

以降のステップＳ７〜Ｓ１０のループは各直方体Ｃｄについての処理となる。作業者７の位置から、各直方体Ｃｄまでの距離を計算すると（Ｓ８）、計算した距離に応じて各直方体Ｃｄの透過率を決定する（Ｓ９）。全ての直方体Ｃｄについて処理すると、ロボット安全コントローラ３は、スマートグラス４にバーチャルフェンスＶＦの３Ｄモデル画像データと、その描画指令とを送信する（Ｓ１１）。それらを受信したスマートグラス４は、表示部４ＤにバーチャルフェンスＶＦの３Ｄ画像を描画して表示する（Ｓ１２）。

【0025】

以上の処理による具体的な透過率の設定例を、図５に平面図で示す。作業者７がロボットアーム２の正面で、バーチャルフェンスＶＦの中央に位置しており、バーチャルフェンスＶＦを表示する所定の距離範囲にあるとする。平面的にはバーチャルフェンスＶＦを直方体Ｃｄを３×４で１２分割している。このとき、作業者７に最も近い第１列の中央部にある直方体Ｃｄ（１，２）及び（１，３）の透過率を例えば２５％とすると、それらの外側にある直方体Ｃｄ（１，１）及び（１，４）の透過率を例えば５０％とする。

【0026】

次の第２列の中央部にある直方体Ｃｄ（２，２）及び（２，３）の透過率を例えば５０％とすると、それらの外側にある直方体Ｃｄ（２，１）及び（２，４）の透過率を例えば７５％とする。そして、ロボットアームの後方となる第３列の直方体Ｃｄ（３，１）〜（３，４）については、透過率を１００％にして非表示にする。

【0027】

また、図６では立体的に示しているが、この場合、バーチャルフェンスＶＦを平面的には３×３で９分割し、高さ方向に２分割することで立体的には１８分割している。図６（ｃ）に示すように、作業者７がバーチャルフェンスＶＦの中央に位置していると、第１列下方にある直方体Ｃｄ（１，１，１）〜（１，３，１）については透過率を２５％にしている。以下表的にまとめて示す。
透過率
第３列上方；（３，１，２）〜（３，３，２） １００％
第２列上方；（２，１，２）〜（２，３，２） ７５％
第１列上方；（１，１，２）〜（１，３，２） ５０％
第３列下方；（３，１，１）〜（３，３，１） １００％
第２列下方；（２，１，１）〜（２，３，１） ５０％
第１列下方；（１，１，１）〜（１，３，１） ２５％

【0028】

図６（ｂ）に示すように、作業者７がバーチャルフェンスＶＦの左側に位置している場合は以下のようになる。
透過率
第３列上方；（３，１，２）〜（３，３，２） １００％，１００％，１００％
第２列上方；（２，１，２）〜（２，３，２） ７５％，１００％，１００％
第１列上方；（１，１，２）〜（１，３，２） ５０％， ７５％，１００％
第３列下方；（３，１，１）〜（３，３，１） ７５％，１００％，１００％
第２列下方；（２，１，１）〜（２，３，１） ５０％， ７５％，１００％
第１列下方；（１，１，１）〜（１，３，１） ２５％， ５０％， ７５％

【0029】

図６（ｄ）に示すように、作業者７がバーチャルフェンスＶＦの右側に位置している場合は以下のようになる。
透過率
第３列上方；（３，１，２）〜（３，３，２） １００％，１００％，１００％
第２列上方；（２，１，２）〜（２，３，２） １００％，１００％， ７５％
第１列上方；（１，１，２）〜（１，３，２） １００％， ７５％， ５０％
第３列下方；（３，１，１）〜（３，３，１） １００％，１００％， ７５％
第２列下方；（２，１，１）〜（２，３，１） １００％， ７５％， ５０％
第１列下方；（１，１，１）〜（１，３，１） ７５％， ５０％， ２５％

【0030】

このように各直方体Ｃｄの透過率を設定することで、作業者７に相対的に近い位置にあるバーチャルフェンスＶＦの部分は作業者７の視界において認識され易くなり、作業者７はバーチャルフェンスＶＦの存在によって、作業時に自己の安全を確保することをより意識するようになる。一方、作業者７より相対的に遠い位置にあるバーチャルフェンスＶＦの部分は作業者７の視界において認識され難くなる。したがって、作業者７は、バーチャルフェンスＶＦに妨げられることなく、ロボットアーム２及びその周辺の実景を容易に視認できる。

【0031】

以上のように本実施形態によれば、ロボット安全コントローラ３は、ロボットアーム２の位置を中心として、その周辺に仮想的に配置されるバーチャルフェンスＶＦの３Ｄモデル画像データを保持し、その３Ｄモデル画像データを、複数の直方体Ｃｄで分割した形態で、且つ各直方体Ｃｄをそれぞれ所定の透過率の画像で表示可能とする。

【0032】

そして、ロボット安全コントローラ３は、スマートグラス４を装着している作業者７の位置及び方向の情報を取得すると、表示部４Ｄに表示させるバーチャルフェンスの３Ｄモデル画像データが作業者７の視界に移り込む形態となるように加工する。その際に、バーチャルフェンスＶＦと作業者７との位置及び方向の関係に応じて、複数の直方体Ｃｄのうち、作業者７の近傍側にあるものほど透過率が低くなり、遠方側にあるものほど透過率が高くなるように加工してスマートグラス４側に送信する。すると、スマートグラス４は、受信したバーチャルフェンスの３Ｄモデル画像データを表示部４Ｄに投影して表示させる。

【0033】

したがって、実際のロボットアーム２の周囲に安全柵を配置しなくても、バーチャルフェンスＶＦを表示させることで作業者７の安全を確保することができると共に、ロボットと作業者７とが共存して作業する領域における作業者７の作業効率を向上させることができる。また、作業者７の安全性が十分に確保されている、相対的に遠い位置にあるバーチャルフェンスＶＦの部分は透過率が高くなるので、作業者７の気が散ることを防止できる。加えて、作業者７は、ロボットアーム２やその周辺の実景を視認し易くなるので、その点からも作業効率の向上が期待できる。

【0034】

そして、ロボット安全コントローラ３は、スマートグラス４に配置されるカメラ５が撮像した画像データに含まれているロボットアーム２の画像から、作業者７の位置及び方向の情報を取得する。すなわち、スマートグラス４に小型のカメラ５を配置することは容易であり、カメラ５が撮像した画像データからは、作業者７の視界において、ロボットアーム２がどのような方向や大きさで捉えられているか等を把握できる。したがって、ロボット安全コントローラ３が前記画像データを処理することで、作業者７の位置及び方向の情報を取得でき、前記情報を取得するためのセンサを別途用いる必要がなくなる。

【0035】

また、ロボット安全コントローラ３は、３Ｄモデル画像データの透過率を有段階で変化させる。ここでの「有段階」とは、少なくともロボット安全コントローラ３が透過率を変化させる際の最小分解能よりも大きく、且つ、作業者７が透過率の変化を認識できる程度の段階である。このように構成すれば、ロボット安全コントローラ３における計算量を削減できると共に、作業者７に対して直方体Ｃｄの透過率が変化する境界をより明確に認識させることが可能になる。

【0036】

本発明は上記した、又は図面に記載した実施形態にのみ限定されるものではなく、以下のような変形又は拡張が可能である。
透過率の具体数値については、個別の設計に応じて適宜変更すれば良い。
直方体Ｃｄを、立方体としても良い。
ロボット本体はロボットアーム２に限ることなく、その他例えば水平４軸構成のロボットアーム，自走式のロボットや人型のロボットでも良い。

【0037】

位置方向情報取得部に、レーザセンサや赤外センサを用いたり、ＧＰＳ，ジャイロ，加速度等の各センサを用いても良い。そして、これらのセンサ信号をロボット安全コントローラ３に直接入力しても良い。
頭部装着型ディスプレイは、必ずしもスマートグラス４である必要はなく、作業者が頭部に装着する表示部に画像を投影可能に構成されるものであれば良い。

【符号の説明】

【0038】

図面中、１はバーチャルフェンス表示システム、２はロボットアーム、３はロボット安全コントローラ、４はスマートグラス、４Ｄは表示部、５はカメラ、７は作業者、８及び９は無線通信部を示す。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】