知財求人 - 知財ポータルサイト「IP Force」
▶ ファナック株式会社の特許一覧 ▶ 株式会社日立製作所の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-25
(45)【発行日】2024-02-02
(54)【発明の名称】安心ビジョン装置、及び安心ビジョンシステム
(51)【国際特許分類】
B25J 19/06 20060101AFI20240126BHJP
【ＦＩ】
B25J19/06
【請求項の数】
5
(21)【出願番号】P 2022572201
(86)(22)【出願日】2021-12-14
(86)【国際出願番号】 JP2021046118
(87)【国際公開番号】W WO2022138340
(87)【国際公開日】2022-06-30
【審査請求日】2023-05-19
(31)【優先権主張番号】P 2020211721
(32)【優先日】2020-12-21
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】390008235
【氏名又は名称】ファナック株式会社
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100160794
【弁理士】
【氏名又は名称】星野 寛明
(72)【発明者】
【氏名】中田 洋平
(72)【発明者】
【氏名】本▲高▼ 丈士
【審査官】牧 初
(56)【参考文献】
【文献】特開２０２０－９３３７３（ＪＰ，Ａ）
【文献】中国特許出願公開第１０４４７６５４４（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００－２１／０２
Ｇ０５Ｂ １９／１８－１９／４１６
Ｇ０５Ｂ １９／４２－１９／４６
(57)【特許請求の範囲】
【請求項1】
人間の２次元画像を入力し前記人間の関節点の位置の３次元座標値を示す３次元関節点データを出力する人間３次元骨格推定モデルと、ロボットの２次元画像、及び前記ロボットの２次元画像を撮影したカメラと前記ロボットとの間の距離及び傾きを入力し、前記ロボットに含まれる複数の関節軸の角度を出力するロボット３次元骨格推定モデルと、
外部のカメラにより撮影された作業者とロボットとの２次元画像と、前記外部のカメラと前記ロボットとの間の距離及び傾きと、を入力する入力部と、
前記入力部により入力された前記２次元画像と、前記外部のカメラと前記ロボットとの間の距離及び傾きと、を前記人間３次元骨格推定モデル及び前記ロボット３次元骨格推定モデルに入力し、前記作業者の関節点の位置の３次元座標値を示す３次元関節点データと、前記ロボットに含まれる複数の関節軸の角度と、を推定する推定部と、
前記３次元関節点データと前記複数の関節軸の角度とに基づいて前記作業者の範囲を示す領域と前記ロボットの範囲を示す領域とを算出し、算出した前記作業者の領域と前記ロボットの領域との重なり具合に応じて前記ロボットに対する減速又は停止の指示を出力する接近判定部と、
を備える安心ビジョン装置。
【請求項2】
前記２次元画像は、所定のフレームレートで前記カメラにより撮影されたフレーム画像である、請求項１に記載の安心ビジョン装置。【請求項3】
前記接近判定部が前記減速又は停止の指示を出力する場合、警告音を出力する通知部をさらに備える、請求項１又は請求項２に記載の安心ビジョン装置。【請求項4】
前記人間３次元骨格推定モデル及び前記ロボット３次元骨格推定モデルを、前記安心ビジョン装置からネットワークを介してアクセス可能に接続されるサーバに備える、請求項１から請求項３のいずれか１項に記載の安心ビジョン装置。【請求項5】
ロボットと、カメラと、
請求項１から請求項４のいずれか１項に記載の安心ビジョン装置と、
を備える安心ビジョンシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、安心ビジョン装置、及び安心ビジョンシステムに関する。
【背景技術】
【0002】
ロボットの動作領域内に安全監視対象である作業者が入る可能性がある場合、作業者の周りにロボットの動作領域が設定され、ロボットが動作領域に侵入した際にロボットの安全動作制御や、緊急停止制御等を行う技術が知られている。例えば、特許文献１参照。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００４－２４３４２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、作業者がロボットの動作領域に侵入したことを検知するためエリアセンサ等が用いられている。しかしながら、エリアセンサはロボット近傍に設置する必要があるため、作業者やロボットの動作や移動に制限が生じてしまう。
【0005】
そこで、エリアセンサを用いることなくロボットの動作領域内に作業者が侵入した場合、ロボットを減速又は停止させることが望まれている。
【課題を解決するための手段】
【0006】
（１）本開示の安心ビジョン装置の一態様は、人間の２次元画像を入力し前記人間の関節点の位置の３次元座標値を示す３次元関節点データを出力する人間３次元骨格推定モデルと、ロボットの２次元画像、及び前記ロボットの２次元画像を撮影したカメラと前記ロボットとの間の距離及び傾きを入力し、前記ロボットに含まれる複数の関節軸の角度を出力するロボット３次元骨格推定モデルと、外部のカメラにより撮影された作業者とロボットとの２次元画像と、前記外部のカメラと前記ロボットとの間の距離及び傾きと、を入力する入力部と、前記入力部により入力された前記２次元画像と、前記外部のカメラと前記ロボットとの間の距離及び傾きと、を前記人間３次元骨格推定モデル及び前記ロボット３次元骨格推定モデルに入力し、前記作業者の関節点の位置の３次元座標値を示す３次元関節点データと、前記ロボットに含まれる複数の関節軸の角度と、を推定する推定部と、前記３次元関節点データと前記複数の関節軸の角度とに基づいて前記作業者の範囲を示す領域と前記ロボットの範囲を示す領域とを算出し、算出した前記作業者の領域と前記ロボットの領域との重なり具合に応じて前記ロボットに対する減速又は停止の指示を出力する接近判定部と、を備える。
【0007】
（２）本開示の安心ビジョンシステムの一態様は、ロボットと、カメラと、（１）の安心ビジョン装置と、を備える。
【発明の効果】
【0008】
一態様によれば、エリアセンサを用いることなくロボットの動作領域内に作業者が侵入した場合、ロボットを減速又は停止させることができる。
【図面の簡単な説明】
【0009】
【図1】一実施形態に係る安心ビジョンシステムの機能的構成例を示す機能ブロック図である。
【図2】ロボット３次元骨格推定モデルとしての２次元骨格推定モデルと関節角度推定モデルとの関係の一例を示す図である。
【図3】推定部により推定された作業者の関節点の位置の一例を示す図である。
【図4】ロボットの領域の一例を示す図である。
【図5】安心ビジョン装置の判定処理について説明するフローチャートである。
【図6】安心ビジョンシステムの構成の一例を示す図である。
【図7】機械学習装置の機能的構成例を示す機能ブロック図である。
【図8A】関節軸Ｊ４の角度が９０度のフレーム画像の一例を示す図である。
【図8B】関節軸Ｊ４の角度が－９０度のフレーム画像の一例を示す図である。
【図9】教師データの数を増やすための一例を示す図である。
【図10】正規化したＸＹ座標における関節軸の座標値の一例を示す図である。
【図11】ロボットの関節軸の特徴マップの一例を示す図である。
【図12】フレーム画像と２次元骨格推定モデルの出力結果との比較の一例を示す図である。
【図13】関節角度推定モデルの一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本開示の一実施形態について、図面を用いて説明する。
＜一実施形態＞
図１は、一実施形態に係る安心ビジョンシステムの機能的構成例を示す機能ブロック図である。図１に示すように、安心ビジョンシステム１は、ロボット１０、安心ビジョン装置２０、及びカメラ４０を有する。
＜一実施形態＞
図１は、一実施形態に係る安心ビジョンシステムの機能的構成例を示す機能ブロック図である。図１に示すように、安心ビジョンシステム１は、ロボット１０、安心ビジョン装置２０、及びカメラ４０を有する。
【0011】
ロボット１０、安心ビジョン装置２０、及び外部のカメラとしてのカメラ４０は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ－Ｆｉ（登録商標）、及び４Ｇや５Ｇ等の規格に準拠した携帯電話網等の図示しないネットワークを介して相互に接続されていてもよい。この場合、ロボット１０、安心ビジョン装置２０、及びカメラ４０は、かかる接続によって相互に通信を行うための図示しない通信部を備えている。なお、ロボット１０と安心ビジョン装置２０とは、図示しない通信部を介してデータの送受信を行うとしたが、ロボット１０の動作を制御するロボット制御装置（図示しない）を介してデータの送受信を行うようにしてもよい。
【0012】
＜ロボット１０＞
ロボット１０は、例えば、当業者にとって公知の産業用ロボット等であり、ロボット制御装置（図示しない）からの駆動指令に基づいて、ロボット１０に含まれる図示しない複数の関節軸の各々に配置される図示しないサーボモータを駆動することにより、ロボット１０の可動部材（図示しない）を駆動する。
なお、以下では、ロボット１０は、６つの関節軸Ｊ１～Ｊ６を有する６軸の垂直多関節ロボットとして説明するが、６軸以外の垂直多関節ロボットでもよく、水平多関節ロボットやパラレルリンクロボット等でもよい。
ロボット１０は、例えば、当業者にとって公知の産業用ロボット等であり、ロボット制御装置（図示しない）からの駆動指令に基づいて、ロボット１０に含まれる図示しない複数の関節軸の各々に配置される図示しないサーボモータを駆動することにより、ロボット１０の可動部材（図示しない）を駆動する。
なお、以下では、ロボット１０は、６つの関節軸Ｊ１～Ｊ６を有する６軸の垂直多関節ロボットとして説明するが、６軸以外の垂直多関節ロボットでもよく、水平多関節ロボットやパラレルリンクロボット等でもよい。
【0013】
＜カメラ４０＞
外部のカメラとしてのカメラ４０は、例えば、デジタルカメラ等であり、ロボット１０及び後述する安心ビジョン装置２０を携帯するユーザである作業者Ｕを撮影できるように、ロボット１０が配置された工場等の壁や柱に固定して設置される。なお、カメラ４０は、スマートフォン、タブレット端末、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）グラス等に搭載されたカメラでもよい。
カメラ４０は、所定のフレームレート（例えば、３０フレーム／秒等）でロボット１０及び作業者Ｕを撮影し、カメラ４０の光軸に対して垂直な平面に投影した２次元画像であるフレーム画像を生成する。カメラ４０は、生成したフレーム画像を安心ビジョン装置２０に出力する。なお、カメラ４０により生成されるフレーム画像は、ＲＧＢカラー画像やグレースケール画像等の可視光画像でもよい。
なお、ロボット１０のロボット座標系とカメラ４０のカメラ座標系とは、予め行われたキャリブレーションにより、ワールド座標系で対応付けているものとする。
外部のカメラとしてのカメラ４０は、例えば、デジタルカメラ等であり、ロボット１０及び後述する安心ビジョン装置２０を携帯するユーザである作業者Ｕを撮影できるように、ロボット１０が配置された工場等の壁や柱に固定して設置される。なお、カメラ４０は、スマートフォン、タブレット端末、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）グラス等に搭載されたカメラでもよい。
カメラ４０は、所定のフレームレート（例えば、３０フレーム／秒等）でロボット１０及び作業者Ｕを撮影し、カメラ４０の光軸に対して垂直な平面に投影した２次元画像であるフレーム画像を生成する。カメラ４０は、生成したフレーム画像を安心ビジョン装置２０に出力する。なお、カメラ４０により生成されるフレーム画像は、ＲＧＢカラー画像やグレースケール画像等の可視光画像でもよい。
なお、ロボット１０のロボット座標系とカメラ４０のカメラ座標系とは、予め行われたキャリブレーションにより、ワールド座標系で対応付けているものとする。
【0014】
＜安心ビジョン装置２０＞
安心ビジョン装置２０は、例えば、スマートフォン、タブレット端末、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）グラス等である。
図１に示すように、安心ビジョン装置２０は、制御部２１、通信部２２、及び記憶部２３を有する。また、制御部２１は、３次元物体認識部２１１、自己位置推定部２１２、入力部２１３、推定部２１４、接近判定部２１５、及び通知部２１６を有する。
安心ビジョン装置２０は、例えば、スマートフォン、タブレット端末、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）グラス等である。
図１に示すように、安心ビジョン装置２０は、制御部２１、通信部２２、及び記憶部２３を有する。また、制御部２１は、３次元物体認識部２１１、自己位置推定部２１２、入力部２１３、推定部２１４、接近判定部２１５、及び通知部２１６を有する。
【0015】
通信部２２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ－Ｆｉ（登録商標）、及び４Ｇや５Ｇ等の規格に準拠した携帯電話網等のネットワークとデータの送受信を行う通信制御デバイスである。通信部２２は、例えば、カメラ４０と直接通信してもよく、ロボット１０の動作を制御するロボット制御装置（図示しない）を介してロボット１０と通信してもよい。
【0016】
記憶部２３は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等であり、後述する制御部２１が実行するシステムプログラム及び安心ビジョンアプリケーションプログラム等を格納する。また、記憶部２３は、後述する人間３次元骨格推定モデル２３１と、後述する２次元骨格推定モデル２３２１及び関節角度推定モデル２３２２から構成されるロボット３次元骨格推定モデル２３２と、３次元認識モデルデータ２３３と、を記憶してもよい。
【0017】
＜人間３次元骨格推定モデル２３１＞
人間３次元骨格推定モデル２３１は、例えば、公知の３Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎの手法（例えば、https://engineer.dena.com/posts/2019.12/cv-papers-19-3d-human-pose-estimation/）等に用いられる深層学習モデルに基づいて、Ｈｕｍａｎ３．６Ｍ（http://vision.imar.ro/human3.6m/description.php）等のデータセットから取得される、任意の人物の動画のフレーム画像の入力データと、当該フレーム画像において予めアノテーションされた任意の人物の関節点の位置の３次元座標値を示す３次元関節点データのラベルデータと、の訓練データを用いて、図示しない機械学習装置が教師あり学習を実行することにより生成される学習済みモデルである。
人間３次元骨格推定モデル２３１は、例えば、公知の３Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎの手法（例えば、https://engineer.dena.com/posts/2019.12/cv-papers-19-3d-human-pose-estimation/）等に用いられる深層学習モデルに基づいて、Ｈｕｍａｎ３．６Ｍ（http://vision.imar.ro/human3.6m/description.php）等のデータセットから取得される、任意の人物の動画のフレーム画像の入力データと、当該フレーム画像において予めアノテーションされた任意の人物の関節点の位置の３次元座標値を示す３次元関節点データのラベルデータと、の訓練データを用いて、図示しない機械学習装置が教師あり学習を実行することにより生成される学習済みモデルである。
【0018】
＜ロボット３次元骨格推定モデル２３２＞
ロボット３次元骨格推定モデル２３２は、図２に示すように、２次元骨格推定モデル２３２１、及び関節角度推定モデル２３２２から構成される。
図２は、ロボット３次元骨格推定モデル２３２としての２次元骨格推定モデル２３２１と関節角度推定モデル２３２２との関係の一例を示す図である。
ロボット３次元骨格推定モデル２３２は、図２に示すように、２次元骨格推定モデル２３２１、及び関節角度推定モデル２３２２から構成される。
図２は、ロボット３次元骨格推定モデル２３２としての２次元骨格推定モデル２３２１と関節角度推定モデル２３２２との関係の一例を示す図である。
【0019】
図２に示すように、２次元骨格推定モデル２３２１は、カメラ４０により撮影されたロボット１０のフレーム画像を入力し、フレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示すピクセル座標の２次元姿勢を出力する、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。
２次元骨格推定モデル２３２１は、例えば、公知のマーカーレス動物追跡ツール（例えば、ＤｅｅｐＬａｂＣｕｔ）等に用いられる深層学習モデルに基づいて、カメラ４０により撮影された様々な姿勢のロボット１０のフレーム画像の入力データと、各フレーム画像が撮影された時のフレーム画像における関節軸Ｊ１～Ｊ６の中心の位置を示す２次元座標（ピクセル座標）の値のラベルデータと、の訓練データを用いて、図示しない機械学習装置が教師あり学習を実行することにより生成される。
２次元骨格推定モデル２３２１は、例えば、公知のマーカーレス動物追跡ツール（例えば、ＤｅｅｐＬａｂＣｕｔ）等に用いられる深層学習モデルに基づいて、カメラ４０により撮影された様々な姿勢のロボット１０のフレーム画像の入力データと、各フレーム画像が撮影された時のフレーム画像における関節軸Ｊ１～Ｊ６の中心の位置を示す２次元座標（ピクセル座標）の値のラベルデータと、の訓練データを用いて、図示しない機械学習装置が教師あり学習を実行することにより生成される。
【0020】
一方、関節角度推定モデル２３２２は、カメラ４０とロボット１０との間の距離及び傾きと、２次元骨格推定モデル２３２１から出力され、ロボット１０のベースリンクである関節軸Ｊ１を原点としてフレーム画像の幅及び高さで正規化したロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示すピクセル座標の２次元姿勢と、を入力し、ロボット１０の関節軸Ｊ１～Ｊ６の角度を出力する、ニューラルネットワーク等である。
関節角度推定モデル２３２２は、例えば、カメラ４０とロボット１０との間の距離及び傾き、及び正規化された関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢の入力データと、フレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度のラベルデータと、の訓練データを用いて、図示しない機械学習装置が教師あり学習を実行することにより生成される。
なお、ロボット３次元骨格推定モデル２３２（２次元骨格推定モデル２３２１及び関節角度推定モデル２３２２）を生成するための機械学習装置の詳細については、後述する。
関節角度推定モデル２３２２は、例えば、カメラ４０とロボット１０との間の距離及び傾き、及び正規化された関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢の入力データと、フレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度のラベルデータと、の訓練データを用いて、図示しない機械学習装置が教師あり学習を実行することにより生成される。
なお、ロボット３次元骨格推定モデル２３２（２次元骨格推定モデル２３２１及び関節角度推定モデル２３２２）を生成するための機械学習装置の詳細については、後述する。
【0021】
＜３次元認識モデルデータ２３３＞
３次元認識モデルデータ２３３は、例えば、予めロボット１０の姿勢や方向を変化させ、カメラ４０により撮影されたロボット１０の複数のフレーム画像それぞれから抽出されたエッジ量等の特徴量を、３次元認識モデルとして格納する。また、３次元認識モデルデータ２３３は、各３次元認識モデルのフレーム画像が撮影された時のワールド座標系におけるロボット１０のロボット座標系の原点（以下、「ロボット原点」ともいう）の３次元座標値、及びワールド座標系におけるロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報も、３次元認識モデルに対応付けして格納するようにしてもよい。
３次元認識モデルデータ２３３は、例えば、予めロボット１０の姿勢や方向を変化させ、カメラ４０により撮影されたロボット１０の複数のフレーム画像それぞれから抽出されたエッジ量等の特徴量を、３次元認識モデルとして格納する。また、３次元認識モデルデータ２３３は、各３次元認識モデルのフレーム画像が撮影された時のワールド座標系におけるロボット１０のロボット座標系の原点（以下、「ロボット原点」ともいう）の３次元座標値、及びワールド座標系におけるロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報も、３次元認識モデルに対応付けして格納するようにしてもよい。
【0022】
＜制御部２１＞
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは安心ビジョン装置２０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及び安心ビジョンアプリケーションプログラムを、バスを介して読み出し、システムプログラム及び安心ビジョンアプリケーションプログラムに従って安心ビジョン装置２０全体を制御する。これにより、図１に示すように、制御部２１が、３次元物体認識部２１１、自己位置推定部２１２、入力部２１３、推定部２１４、接近判定部２１５、及び通知部２１６の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、安心ビジョン装置２０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは安心ビジョン装置２０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及び安心ビジョンアプリケーションプログラムを、バスを介して読み出し、システムプログラム及び安心ビジョンアプリケーションプログラムに従って安心ビジョン装置２０全体を制御する。これにより、図１に示すように、制御部２１が、３次元物体認識部２１１、自己位置推定部２１２、入力部２１３、推定部２１４、接近判定部２１５、及び通知部２１６の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、安心ビジョン装置２０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
【0023】
＜３次元物体認識部２１１＞
３次元物体認識部２１１は、例えば、通信部２２を介して、カメラ４０により撮影されたロボット１０のフレーム画像を取得する。３次元物体認識部２１１は、例えば、公知のロボットの３次元座標認識の方法を用いて、カメラ４０により撮影されたロボット１０のフレーム画像からエッジ量等の特徴量を抽出する。ここで、公知の方法としては例えば、「https://linx.jp/product/mvtec/halcon/feature/3d_vision.html」を参照。
３次元物体認識部２１１は、抽出した特徴量と、３次元認識モデルデータ２３３に格納された３次元認識モデルの特徴量とのマッチングを行う。３次元物体認識部２１１は、マッチングの結果に基づいて、例えば、一致度が最も高い３次元認識モデルにおけるワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得する。
３次元物体認識部２１１は、例えば、通信部２２を介して、カメラ４０により撮影されたロボット１０のフレーム画像を取得する。３次元物体認識部２１１は、例えば、公知のロボットの３次元座標認識の方法を用いて、カメラ４０により撮影されたロボット１０のフレーム画像からエッジ量等の特徴量を抽出する。ここで、公知の方法としては例えば、「https://linx.jp/product/mvtec/halcon/feature/3d_vision.html」を参照。
３次元物体認識部２１１は、抽出した特徴量と、３次元認識モデルデータ２３３に格納された３次元認識モデルの特徴量とのマッチングを行う。３次元物体認識部２１１は、マッチングの結果に基づいて、例えば、一致度が最も高い３次元認識モデルにおけるワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得する。
【0024】
＜自己位置推定部２１２＞
自己位置推定部２１２は、例えば、公知の自己位置推定の手法を用いて、ワールド座標系におけるカメラ４０のカメラ座標系の原点の３次元座標値（以下、「カメラ４０の３次元座標値」ともいう）を取得する。情報取得部３０１は、取得したカメラ４０の３次元座標値と、取得したロボット原点の３次元座標値と、に基づいて、カメラ４０とロボット１０との間の距離及び傾きを算出する。
なお、ロボット１０及びカメラ４０は、工場において固定して配置されることから、自己位置推定部２１２は、安心ビジョンアプリケーションプログラムが起動された時に、ワールド座標系におけるロボット原点の３次元座標値及びカメラ４０の３次元座標値、カメラ４０とロボット１０との間の距離及び傾きを一度だけ算出し、記憶部２３に記憶するようにしてもよい。
自己位置推定部２１２は、例えば、公知の自己位置推定の手法を用いて、ワールド座標系におけるカメラ４０のカメラ座標系の原点の３次元座標値（以下、「カメラ４０の３次元座標値」ともいう）を取得する。情報取得部３０１は、取得したカメラ４０の３次元座標値と、取得したロボット原点の３次元座標値と、に基づいて、カメラ４０とロボット１０との間の距離及び傾きを算出する。
なお、ロボット１０及びカメラ４０は、工場において固定して配置されることから、自己位置推定部２１２は、安心ビジョンアプリケーションプログラムが起動された時に、ワールド座標系におけるロボット原点の３次元座標値及びカメラ４０の３次元座標値、カメラ４０とロボット１０との間の距離及び傾きを一度だけ算出し、記憶部２３に記憶するようにしてもよい。
【0025】
＜入力部２１３＞
入力部２１３は、カメラ４０により撮影された作業者Ｕ及びロボット１０のフレーム画像と、自己位置推定部２１２により算出されたカメラ４０とロボット１０との間の距離及び傾きと、を入力する。
入力部２１３は、カメラ４０により撮影された作業者Ｕ及びロボット１０のフレーム画像と、自己位置推定部２１２により算出されたカメラ４０とロボット１０との間の距離及び傾きと、を入力する。
【0026】
＜推定部２１４＞
推定部２１４は、入力部２１３により入力された作業者Ｕ及びロボット１０のフレーム画像と、カメラ４０とロボット１０との間の距離及び傾きと、を、人間３次元骨格推定モデル２３１と、ロボット３次元骨格推定モデル２３２と、に入力する。
具体的には、推定部２１４は、人間３次元骨格推定モデル２３１の出力から、入力されたフレーム画像における作業者Ｕの関節点の位置の３次元座標値を示す３次元関節点データを推定する。
図３は、推定部２１４により推定された作業者Ｕの関節点の位置の一例を示す図である。
図３に示すように、推定部２１４により推定された作業者Ｕの関節点は、例えば、黒い点で示される。
推定部２１４は、入力部２１３により入力された作業者Ｕ及びロボット１０のフレーム画像と、カメラ４０とロボット１０との間の距離及び傾きと、を、人間３次元骨格推定モデル２３１と、ロボット３次元骨格推定モデル２３２と、に入力する。
具体的には、推定部２１４は、人間３次元骨格推定モデル２３１の出力から、入力されたフレーム画像における作業者Ｕの関節点の位置の３次元座標値を示す３次元関節点データを推定する。
図３は、推定部２１４により推定された作業者Ｕの関節点の位置の一例を示す図である。
図３に示すように、推定部２１４により推定された作業者Ｕの関節点は、例えば、黒い点で示される。
【0027】
また、推定部２１４は、ロボット３次元骨格推定モデル２３２の出力から、入力されたフレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の角度を推定する。
なお、推定部２１４は、上述したように、２次元骨格推定モデル２３２１から出力される関節軸Ｊ１～Ｊ６の中心の位置のピクセル座標を正規化して、関節角度推定モデル２３２２に入力する。また、推定部２１４は、２次元骨格推定モデル２３２１から出力される２次元姿勢の確信度ｃｉも、０．５以上の場合に「１」に設定し、０．５未満の場合に「０」に設定するようにしてもよい。
なお、推定部２１４は、上述したように、２次元骨格推定モデル２３２１から出力される関節軸Ｊ１～Ｊ６の中心の位置のピクセル座標を正規化して、関節角度推定モデル２３２２に入力する。また、推定部２１４は、２次元骨格推定モデル２３２１から出力される２次元姿勢の確信度ｃｉも、０．５以上の場合に「１」に設定し、０．５未満の場合に「０」に設定するようにしてもよい。
【0028】
また、推定部２１４は、入力部２１３により入力されたフレーム画像においてロボット１０により作業者Ｕの一部が隠れている場合、当該フレーム画像より前で、かつ作業者Ｕ及びロボット１０の全体が撮影された時系列で連続する複数のフレーム画像から推定された作業者Ｕの３次元関節点データの時系列データを用いて、ロボット１０により作業者Ｕの一部が隠れたフレーム画像における作業者Ｕの３次元関節点データを推定するようにしてもよい。
あるいは、推定部２１４は、入力部２１３により入力されたフレーム画像において作業者Ｕによりロボット１０の一部が隠れている場合、当該フレーム画像より前で、かつ作業者Ｕ及びロボット１０の全体が撮影された時系列で連続する複数のフレーム画像から推定されたロボット１０の関節軸Ｊ１～Ｊ６の角度の時系列データを用いて、作業者Ｕによりロボット１０の一部が隠れたフレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の角度を推定するようにしてもよい。
あるいは、推定部２１４は、入力部２１３により入力されたフレーム画像において作業者Ｕによりロボット１０の一部が隠れている場合、当該フレーム画像より前で、かつ作業者Ｕ及びロボット１０の全体が撮影された時系列で連続する複数のフレーム画像から推定されたロボット１０の関節軸Ｊ１～Ｊ６の角度の時系列データを用いて、作業者Ｕによりロボット１０の一部が隠れたフレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の角度を推定するようにしてもよい。
【0029】
＜接近判定部２１５＞
接近判定部２１５は、推定部２１４により推定された作業者Ｕの３次元関節点データと、ロボット１０の関節軸Ｊ１～Ｊ６の角度と、に基づいて作業者Ｕの範囲を示す領域と、ロボット１０の範囲を示す領域と、を算出し、算出した作業者Ｕの領域とロボット１０の領域との重なり具合に応じてロボット１０に対する減速又は停止の指示をロボット制御装置（図示しない）に出力する。
具体的には、接近判定部２１５は、例えば、推定部２１４により推定された作業者Ｕの３次元関節点データに基づいて作業者Ｕの関節点をワールド座標系の３次元空間に配置し、関節点間を直線で繋げることで作業者Ｕの骨格を生成する。接近判定部２１５は、生成した骨格の直線毎に予め設定された長さ、奥行、高さを有した直方体等の形状で肉付けすることで、作業者Ｕの範囲を示す領域を算出する。
また、接近判定部２１５は、予め定義したＤＨ（Ｄｅｎａｖｉｔ－Ｈａｒｔｅｎｂｅｒｇ）パラメータ表を用いて、推定部２１４により推定された関節軸Ｊ１～Ｊ６の角度から順運動学を解き、関節軸Ｊ１～Ｊ６の中心の位置の３次元座標値を計算する。そして、接近判定部２１５は、算出したロボット１０の関節軸Ｊ１～Ｊ６の中心の位置をワールド座標系の３次元空間に配置し、ロボット１０の骨格を生成する。接近判定部２１５は、生成したロボット１０の骨格のリンク毎に予め設定された長さ、奥行、高さを有した直方体等の形状で肉付けすることで、ロボット１０の範囲を示す領域を算出する。
なお、ＤＨパラメータ表は、例えば、ロボット１０の仕様書を基に予め作成され、記憶部２３に記憶される。
接近判定部２１５は、推定部２１４により推定された作業者Ｕの３次元関節点データと、ロボット１０の関節軸Ｊ１～Ｊ６の角度と、に基づいて作業者Ｕの範囲を示す領域と、ロボット１０の範囲を示す領域と、を算出し、算出した作業者Ｕの領域とロボット１０の領域との重なり具合に応じてロボット１０に対する減速又は停止の指示をロボット制御装置（図示しない）に出力する。
具体的には、接近判定部２１５は、例えば、推定部２１４により推定された作業者Ｕの３次元関節点データに基づいて作業者Ｕの関節点をワールド座標系の３次元空間に配置し、関節点間を直線で繋げることで作業者Ｕの骨格を生成する。接近判定部２１５は、生成した骨格の直線毎に予め設定された長さ、奥行、高さを有した直方体等の形状で肉付けすることで、作業者Ｕの範囲を示す領域を算出する。
また、接近判定部２１５は、予め定義したＤＨ（Ｄｅｎａｖｉｔ－Ｈａｒｔｅｎｂｅｒｇ）パラメータ表を用いて、推定部２１４により推定された関節軸Ｊ１～Ｊ６の角度から順運動学を解き、関節軸Ｊ１～Ｊ６の中心の位置の３次元座標値を計算する。そして、接近判定部２１５は、算出したロボット１０の関節軸Ｊ１～Ｊ６の中心の位置をワールド座標系の３次元空間に配置し、ロボット１０の骨格を生成する。接近判定部２１５は、生成したロボット１０の骨格のリンク毎に予め設定された長さ、奥行、高さを有した直方体等の形状で肉付けすることで、ロボット１０の範囲を示す領域を算出する。
なお、ＤＨパラメータ表は、例えば、ロボット１０の仕様書を基に予め作成され、記憶部２３に記憶される。
【0030】
図４は、ロボット１０の領域の一例を示す図である。なお、図４に示すロボット１０の領域は、大きさの異なる２つの領域Ｒ１と領域Ｒ２とから構成される。すなわち、領域Ｒ１における長さ、奥行、高さは、領域Ｒ２における長さ、奥行、高さより大きく設定されている。
そして、接近判定部２１５は、算出したワールド座標系における作業者Ｕの領域がロボット１０の領域Ｒ１又は領域Ｒ２と重なるか否かを判定する。作業者Ｕの領域がロボット１０の領域Ｒ１のみと重なる場合、接近判定部２１５は、作業者Ｕとロボット１０とが衝突するまでに時間があると判定し、減速の指令をロボット制御装置（図示しない）に出力することで、ロボット１０の動作を減速させる。
一方、作業者Ｕの領域がロボット１０の領域Ｒ２とも重なる場合、接近判定部２１５は、直ちに作業者Ｕとロボット１０とが衝突する危険があると判定し、停止の指令をロボット制御装置（図示しない）に出力することで、ロボット１０の動作を停止させる。
このように、ロボット１０の領域として大きさの異なる２つの領域Ｒ１、Ｒ２を設けることで、接近判定部２１５は、減速又は停止のいずれの指示を出力すべきかを適切に判定することができる。
そして、接近判定部２１５は、算出したワールド座標系における作業者Ｕの領域がロボット１０の領域Ｒ１又は領域Ｒ２と重なるか否かを判定する。作業者Ｕの領域がロボット１０の領域Ｒ１のみと重なる場合、接近判定部２１５は、作業者Ｕとロボット１０とが衝突するまでに時間があると判定し、減速の指令をロボット制御装置（図示しない）に出力することで、ロボット１０の動作を減速させる。
一方、作業者Ｕの領域がロボット１０の領域Ｒ２とも重なる場合、接近判定部２１５は、直ちに作業者Ｕとロボット１０とが衝突する危険があると判定し、停止の指令をロボット制御装置（図示しない）に出力することで、ロボット１０の動作を停止させる。
このように、ロボット１０の領域として大きさの異なる２つの領域Ｒ１、Ｒ２を設けることで、接近判定部２１５は、減速又は停止のいずれの指示を出力すべきかを適切に判定することができる。
【0031】
＜通知部２１６＞
通知部２１６は、接近判定部２１５が減速又は停止の指示を出力する場合、安心ビジョン装置２０に含まれるスピーカ（図示しない）を介して警告音を出力する。
なお、通知部２１６は、警告を示すメッセージを安心ビジョン装置２０に含まれるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示装置（図示しない）に表示するようにしてもよい。
通知部２１６は、接近判定部２１５が減速又は停止の指示を出力する場合、安心ビジョン装置２０に含まれるスピーカ（図示しない）を介して警告音を出力する。
なお、通知部２１６は、警告を示すメッセージを安心ビジョン装置２０に含まれるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示装置（図示しない）に表示するようにしてもよい。
【0032】
＜安心ビジョン装置２０の判定処理＞
次に、本実施形態に係る安心ビジョン装置２０の判定処理に係る動作について説明する。
図５は、安心ビジョン装置２０の判定処理について説明するフローチャートである。ここで示すフローは、安心ビジョン装置２０が安心ビジョンアプリケーションプログラムを実行している間、繰り返し実行される。
次に、本実施形態に係る安心ビジョン装置２０の判定処理に係る動作について説明する。
図５は、安心ビジョン装置２０の判定処理について説明するフローチャートである。ここで示すフローは、安心ビジョン装置２０が安心ビジョンアプリケーションプログラムを実行している間、繰り返し実行される。
【0033】
ステップＳ１において、３次元物体認識部２１１は、カメラ４０により所定のフレームレートで撮影された作業者Ｕ及びロボット１０のフレーム画像を取得する。
【0034】
ステップＳ２において、３次元物体認識部２１１は、ステップＳ１で取得されたフレーム画像と、３次元認識モデルデータ２３３と、に基づいて、ワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得する。
【0035】
ステップＳ３において、自己位置推定部２１２は、ステップＳ１で取得されたフレーム画像に基づいて、ワールド座標系におけるカメラ４０の３次元座標値を取得する。
【0036】
ステップＳ４において、自己位置推定部２１２は、ステップＳ３で取得したカメラ４０の３次元座標値と、ステップＳ２で取得したロボット１０のロボット原点の３次元座標値と、に基づいて、カメラ４０とロボット１０との間の距離及び傾きと、を算出する。
【0037】
ステップＳ５において、入力部２１３は、ステップＳ１で取得されたフレーム画像と、ステップＳ４で算出されたカメラ４０とロボット１０との間の距離及び傾きと、を入力する。
【0038】
ステップＳ６において、推定部２１４は、ステップＳ５で入力されたフレーム画像を人間３次元骨格推定モデル２３１に入力することで、入力されたフレーム画像における作業者Ｕの関節点の位置の３次元座標値を示す３次元関節点データを推定する。また、推定部２１４は、ステップＳ２で入力されたフレーム画像と、カメラ４０とロボット１０との間の距離及び傾きと、をロボット３次元骨格推定モデル２３２に入力することで、入力されたフレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度を推定する。
【0039】
ステップＳ７において、接近判定部２１５は、ステップＳ６で推定された作業者Ｕの３次元関節点データに基づいて、作業者Ｕの範囲を示す領域を算出する。また、接近判定部２１５は、ステップＳ６で推定されたロボット１０の関節軸Ｊ１～Ｊ６の角度に基づいて、ロボット１０の領域Ｒ１、Ｒ２を算出する。
【0040】
ステップＳ８において、接近判定部２１５は、ステップＳ７で算出された作業者Ｕの領域が、ステップＳ７で算出されたロボット１０の領域Ｒ１と重なるか否かを判定する。作業者Ｕの領域がロボット１０の領域Ｒ１と重なる場合、処理はステップＳ９に進む。一方、作業者Ｕの領域がロボット１０の領域Ｒ１と重ならない場合、安心ビジョン装置２０は判定処理を終了する。
【0041】
ステップＳ９において、接近判定部２１５は、ステップＳ７で算出された作業者Ｕの領域が、ステップＳ７で算出されたロボット１０の領域Ｒ２と重なるか否かを判定する。作業者Ｕの領域がロボット１０の領域Ｒ２と重なる場合、処理はステップＳ１０に進む。一方、作業者Ｕの領域がロボット１０の領域Ｒ２と重ならない場合、処理はステップＳ１１に進む。
【0042】
ステップＳ１０において、接近判定部２１５は、停止の指令をロボット制御装置（図示しない）に出力する。
【0043】
ステップＳ１１において、接近判定部２１５は、減速の指令をロボット制御装置（図示しない）に出力する。
【0044】
ステップＳ１２において、通知部２１６は、安心ビジョン装置２０のスピーカ（図示しない）を介して警告音を出力する。
【0045】
以上により、一実施形態に係る安心ビジョン装置２０は、作業者Ｕ及びロボット１０が撮影されたフレーム画像と、カメラ４０とロボット１０との間の距離及び傾きを、学習済みモデルとしての人間３次元骨格推定モデル２３１、及びロボット３次元骨格推定モデル２３２に入力することで、作業者Ｕの関節点の位置の３次元座標値を示す３次元関節点データ、及びロボット１０の関節軸Ｊ１～Ｊ６の角度を推定する。安心ビジョン装置２０は、推定した３次元関節点データに基づいて作業者Ｕの範囲を示す領域、及び関節軸Ｊ１～Ｊ６の角度に基づいてロボット１０の範囲を示す領域Ｒ１、Ｒ２を算出する。安心ビジョン装置２０は、作業者Ｕの領域がロボット１０の領域Ｒ１又は領域Ｒ２と重なるか否かを判定し、減速又は停止の指示をロボット制御装置（図示しない）に出力する。
これにより、安心ビジョン装置２０は、エリアセンサを用いることなくロボット１０の動作領域内に作業者が侵入した場合、ロボットを減速又は停止させることができる。
これにより、安心ビジョン装置２０は、エリアセンサを用いることなくロボット１０の動作領域内に作業者が侵入した場合、ロボットを減速又は停止させることができる。
【0046】
以上、安心ビジョン装置２０について説明したが、ロボット３次元骨格推定モデル２３２を生成するための機械学習装置について説明する。
図７は、機械学習装置３０の機能的構成例を示す機能ブロック図である。
機械学習装置３０は、図７に示すように、情報取得部３０１、２次元姿勢取得部３０２、入力データ取得部３０３、ラベル取得部３０４、学習部３０５、及び記憶部３０６を有する。
以下の説明では、機械学習装置３０は、全てのデータが同期の取れるタイミングで取得されたデータのみを教師データとして取得する。例えば、カメラ４０が３０フレーム／秒でフレーム画像を撮影し、ロボット１０に含まれる複数の関節軸の角度を取得できる周期が１００ミリ秒で、他のデータが即時に取得できる場合、機械学習装置３０は、１００ミリ秒等の同期の取れる所定の周期で教師データを取得する。
図７は、機械学習装置３０の機能的構成例を示す機能ブロック図である。
機械学習装置３０は、図７に示すように、情報取得部３０１、２次元姿勢取得部３０２、入力データ取得部３０３、ラベル取得部３０４、学習部３０５、及び記憶部３０６を有する。
以下の説明では、機械学習装置３０は、全てのデータが同期の取れるタイミングで取得されたデータのみを教師データとして取得する。例えば、カメラ４０が３０フレーム／秒でフレーム画像を撮影し、ロボット１０に含まれる複数の関節軸の角度を取得できる周期が１００ミリ秒で、他のデータが即時に取得できる場合、機械学習装置３０は、１００ミリ秒等の同期の取れる所定の周期で教師データを取得する。
【0047】
＜記憶部３０６＞
記憶部３０６は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、後述する入力データ取得部３０３により取得された入力データ、後述するラベル取得部３０４により取得されたラベルデータ、及び後述する学習部３０５により構築された学習済みモデル等を記憶する。また、記憶部３０６は、３次元認識モデルデータ３０６１を記憶してもよい。
なお、３次元認識モデルデータ３０６１は、例えば、安心ビジョン装置２０の３次元認識モデルデータ２３３と同様であり、説明は省略する。
記憶部３０６は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、後述する入力データ取得部３０３により取得された入力データ、後述するラベル取得部３０４により取得されたラベルデータ、及び後述する学習部３０５により構築された学習済みモデル等を記憶する。また、記憶部３０６は、３次元認識モデルデータ３０６１を記憶してもよい。
なお、３次元認識モデルデータ３０６１は、例えば、安心ビジョン装置２０の３次元認識モデルデータ２３３と同様であり、説明は省略する。
【0048】
＜情報取得部３０１＞
情報取得部３０１は、例えば、図示しない通信部を介して、カメラ４０により撮影されたロボット１０のフレーム画像を取得する。情報取得部３０１は、例えば、安心ビジョン装置２０の３次元物体認識部２１１と同様に、取得したフレーム画像からワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得する。
また、情報取得部３０１は、安心ビジョン装置２０の自己位置推定部２１２と同様に、ワールド座標系におけるカメラ４０の３次元座標値を取得し、取得したカメラ４０の３次元座標値と、取得したロボット原点の３次元座標値と、に基づいて、カメラ４０とロボット１０との間の距離及び傾きを算出するようにしてもよい。
情報取得部３０１は、例えば、図示しない通信部を介して、カメラ４０により撮影されたロボット１０のフレーム画像を取得する。情報取得部３０１は、例えば、安心ビジョン装置２０の３次元物体認識部２１１と同様に、取得したフレーム画像からワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得する。
また、情報取得部３０１は、安心ビジョン装置２０の自己位置推定部２１２と同様に、ワールド座標系におけるカメラ４０の３次元座標値を取得し、取得したカメラ４０の３次元座標値と、取得したロボット原点の３次元座標値と、に基づいて、カメラ４０とロボット１０との間の距離及び傾きを算出するようにしてもよい。
【0049】
＜２次元姿勢取得部３０２＞
２次元姿勢取得部３０２は、例えば、図示しない通信部を介して上述の１００ミリ秒等の同期の取れる所定の周期でロボット１０にリクエストを送信し、情報取得部３０１により取得されたフレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度を取得する。
そして、２次元姿勢取得部３０２は、例えば、予め定義したＤＨパラメータ表を用いて、取得した関節軸Ｊ１～Ｊ６の角度から順運動学を解き、関節軸Ｊ１～Ｊ６の中心の位置の３次元座標値を計算し、ワールド座標系におけるロボット１０の３次元姿勢を計算する。なお、ＤＨパラメータ表は、例えば、ロボット１０の仕様書を基に予め作成され、記憶部３０６に記憶される。
また、２次元姿勢取得部３０２は、例えば、公知の２次元平面への投影の方法を用いて、順運動学で計算されたロボット１０の関節軸Ｊ１～Ｊ６の中心の位置をワールド座標系の３次元空間に配置し、情報取得部３０１により算出されたカメラ４０とロボット１０との間の距離及び傾きで決まるカメラ４０の視点から、カメラ４０とロボット１０との間の距離及び傾きで決まる投影面に投影することで、関節軸Ｊ１～Ｊ６の中心の位置の２次元座標（ピクセル座標）（ｘｉ，ｙｉ）をロボット１０の２次元姿勢として生成する。なお、ｉは、１～６の整数である。
２次元姿勢取得部３０２は、例えば、図示しない通信部を介して上述の１００ミリ秒等の同期の取れる所定の周期でロボット１０にリクエストを送信し、情報取得部３０１により取得されたフレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度を取得する。
そして、２次元姿勢取得部３０２は、例えば、予め定義したＤＨパラメータ表を用いて、取得した関節軸Ｊ１～Ｊ６の角度から順運動学を解き、関節軸Ｊ１～Ｊ６の中心の位置の３次元座標値を計算し、ワールド座標系におけるロボット１０の３次元姿勢を計算する。なお、ＤＨパラメータ表は、例えば、ロボット１０の仕様書を基に予め作成され、記憶部３０６に記憶される。
また、２次元姿勢取得部３０２は、例えば、公知の２次元平面への投影の方法を用いて、順運動学で計算されたロボット１０の関節軸Ｊ１～Ｊ６の中心の位置をワールド座標系の３次元空間に配置し、情報取得部３０１により算出されたカメラ４０とロボット１０との間の距離及び傾きで決まるカメラ４０の視点から、カメラ４０とロボット１０との間の距離及び傾きで決まる投影面に投影することで、関節軸Ｊ１～Ｊ６の中心の位置の２次元座標（ピクセル座標）（ｘｉ，ｙｉ）をロボット１０の２次元姿勢として生成する。なお、ｉは、１～６の整数である。
【0050】
なお、図８Ａ及び図８Ｂに示すように、ロボット１０の姿勢や撮影方向により関節軸がフレーム画像において隠れてしまう場合がある。
図８Ａは、関節軸Ｊ４の角度が９０度のフレーム画像の一例を示す図である。図８Ｂは、関節軸Ｊ４の角度が－９０度のフレーム画像の一例を示す図である。
図８Ａのフレーム画像では、関節軸Ｊ６が隠れて写っていない。一方、図８Ｂのフレーム画像では、関節軸Ｊ６が写っている。
そこで、２次元姿勢取得部３０２は、ロボット１０の隣接する関節軸同士を線分で繋ぐとともに、予め設定されたロボット１０のリンク幅で各線分に厚みを定義する。２次元姿勢取得部３０２は、順運動学で算出したロボット１０の３次元姿勢と、カメラ４０とロボット１０との間の距離及び傾きで決まるカメラ４０の光軸方向と、に基づいて線分上に他の関節軸があるか否かを判定する。２次元姿勢取得部３０２は、他の関節軸Ｊｉが線分に対してカメラ４０側と反対の奥行方向にある、図８Ａのような場合、他の関節軸Ｊｉ（図８Ａの関節軸Ｊ６）の確信度ｃｉを「０」に設定する。一方、２次元姿勢取得部３０２は、他の関節軸Ｊｉが線分に対してカメラ４０側にある、図８Ｂのような場合、他の関節軸Ｊｉ（図８Ｂの関節軸Ｊ６）の確信度ｃｉを「１」に設定する。
すなわち、２次元姿勢取得部３０２は、投影した関節軸Ｊ１～Ｊ６の中心の位置の２次元座標（ピクセル座標）（ｘｉ，ｙｉ）に対して、フレーム画像において各関節軸Ｊ１～Ｊ６が写っているか否かを示す確信度ｃｉをロボット１０の２次元姿勢に含めるようにしてもよい。
図８Ａは、関節軸Ｊ４の角度が９０度のフレーム画像の一例を示す図である。図８Ｂは、関節軸Ｊ４の角度が－９０度のフレーム画像の一例を示す図である。
図８Ａのフレーム画像では、関節軸Ｊ６が隠れて写っていない。一方、図８Ｂのフレーム画像では、関節軸Ｊ６が写っている。
そこで、２次元姿勢取得部３０２は、ロボット１０の隣接する関節軸同士を線分で繋ぐとともに、予め設定されたロボット１０のリンク幅で各線分に厚みを定義する。２次元姿勢取得部３０２は、順運動学で算出したロボット１０の３次元姿勢と、カメラ４０とロボット１０との間の距離及び傾きで決まるカメラ４０の光軸方向と、に基づいて線分上に他の関節軸があるか否かを判定する。２次元姿勢取得部３０２は、他の関節軸Ｊｉが線分に対してカメラ４０側と反対の奥行方向にある、図８Ａのような場合、他の関節軸Ｊｉ（図８Ａの関節軸Ｊ６）の確信度ｃｉを「０」に設定する。一方、２次元姿勢取得部３０２は、他の関節軸Ｊｉが線分に対してカメラ４０側にある、図８Ｂのような場合、他の関節軸Ｊｉ（図８Ｂの関節軸Ｊ６）の確信度ｃｉを「１」に設定する。
すなわち、２次元姿勢取得部３０２は、投影した関節軸Ｊ１～Ｊ６の中心の位置の２次元座標（ピクセル座標）（ｘｉ，ｙｉ）に対して、フレーム画像において各関節軸Ｊ１～Ｊ６が写っているか否かを示す確信度ｃｉをロボット１０の２次元姿勢に含めるようにしてもよい。
【0051】
また、機械学習装置３０において教師あり学習を行うための訓練データは、多数用意されることが望ましい。
図９は、教師データの数を増やすための一例を示す図である。
図９に示すように、２次元姿勢取得部３０２は、例えば、教師データを増やすために、カメラ４０とロボット１０との間の距離及び傾きをランダムに与え、順運動学で算出されたロボット１０の３次元姿勢を回転させる。２次元姿勢取得部３０２は、回転されたロボット１０の３次元姿勢を、ランダムに与えられた距離及び傾きで決まる２次元平面に投影することによりロボット１０の２次元姿勢を多数生成してもよい。
図９は、教師データの数を増やすための一例を示す図である。
図９に示すように、２次元姿勢取得部３０２は、例えば、教師データを増やすために、カメラ４０とロボット１０との間の距離及び傾きをランダムに与え、順運動学で算出されたロボット１０の３次元姿勢を回転させる。２次元姿勢取得部３０２は、回転されたロボット１０の３次元姿勢を、ランダムに与えられた距離及び傾きで決まる２次元平面に投影することによりロボット１０の２次元姿勢を多数生成してもよい。
【0052】
＜入力データ取得部３０３＞
入力データ取得部３０３は、例えば、図示しない通信部を介して、上述の人間３次元骨格推定モデル２３１を生成するために、Ｈｕｍａｎ３．６Ｍ等のデータセットから任意の人物の動画のフレーム画像を入力データとして取得する。また、入力データ取得部３０３は、ロボット３次元骨格推定モデル２３２を生成するために、カメラ４０からフレーム画像と、情報取得部３０１から取得した当該フレーム画像が撮影された時のカメラ４０とロボット１０との間の距離及び傾きと、を入力データとして取得する。入力データ取得部３０３は、取得した入力データを記憶部３０６に記憶する。
なお、入力データ取得部３０３は、ロボット３次元骨格推定モデル２３２を構成する関節角度推定モデル２３２２の生成にあたり、図１０に示すように、２次元姿勢取得部３０２により生成された２次元姿勢に含まれる関節軸Ｊ１～Ｊ６の中心の位置の２次元座標（ピクセル座標）（ｘｉ，ｙｉ）を、ロボット１０のベースリンクである関節軸Ｊ１を原点とし、フレーム画像の幅で除算して－１＜Ｘ＜１、及びフレーム画像の高さで除算して－１＜Ｙ＜１にそれぞれ正規化したＸＹ座標の値に変換するようにしてもよい。
入力データ取得部３０３は、例えば、図示しない通信部を介して、上述の人間３次元骨格推定モデル２３１を生成するために、Ｈｕｍａｎ３．６Ｍ等のデータセットから任意の人物の動画のフレーム画像を入力データとして取得する。また、入力データ取得部３０３は、ロボット３次元骨格推定モデル２３２を生成するために、カメラ４０からフレーム画像と、情報取得部３０１から取得した当該フレーム画像が撮影された時のカメラ４０とロボット１０との間の距離及び傾きと、を入力データとして取得する。入力データ取得部３０３は、取得した入力データを記憶部３０６に記憶する。
なお、入力データ取得部３０３は、ロボット３次元骨格推定モデル２３２を構成する関節角度推定モデル２３２２の生成にあたり、図１０に示すように、２次元姿勢取得部３０２により生成された２次元姿勢に含まれる関節軸Ｊ１～Ｊ６の中心の位置の２次元座標（ピクセル座標）（ｘｉ，ｙｉ）を、ロボット１０のベースリンクである関節軸Ｊ１を原点とし、フレーム画像の幅で除算して－１＜Ｘ＜１、及びフレーム画像の高さで除算して－１＜Ｙ＜１にそれぞれ正規化したＸＹ座標の値に変換するようにしてもよい。
【0053】
＜ラベル取得部３０４＞
ラベル取得部３０４は、例えば、図示しない通信部を介して、上述の人間３次元骨格推定モデル２３１を生成するために、上述のＨｕｍａｎ３．６Ｍ等のデータセットから、上述の任意の人物のフレーム画像それぞれにおいて予めアノテーションされたカメラ座標系における関節点の位置の３次元座標値を示す３次元関節点データを、ラベルデータ（正解データ）として取得する。なお、ラベル取得部３０４は、３次元関節点データをカメラ座標系からワールド座標系に変換するようにしてもよい。
また、ラベル取得部３０４は、上述のロボット３次元骨格推定モデル２３２を生成するために、上述の１００ミリ秒等の同期の取れる所定の周期でフレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度と、当該フレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢と、を２次元姿勢取得部３０２からラベルデータ（正解データ）として取得する。ラベル取得部３０４は、取得したラベルデータを記憶部３０６に記憶する。
ラベル取得部３０４は、例えば、図示しない通信部を介して、上述の人間３次元骨格推定モデル２３１を生成するために、上述のＨｕｍａｎ３．６Ｍ等のデータセットから、上述の任意の人物のフレーム画像それぞれにおいて予めアノテーションされたカメラ座標系における関節点の位置の３次元座標値を示す３次元関節点データを、ラベルデータ（正解データ）として取得する。なお、ラベル取得部３０４は、３次元関節点データをカメラ座標系からワールド座標系に変換するようにしてもよい。
また、ラベル取得部３０４は、上述のロボット３次元骨格推定モデル２３２を生成するために、上述の１００ミリ秒等の同期の取れる所定の周期でフレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度と、当該フレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢と、を２次元姿勢取得部３０２からラベルデータ（正解データ）として取得する。ラベル取得部３０４は、取得したラベルデータを記憶部３０６に記憶する。
【0054】
＜学習部３０５＞
学習部３０５は、上述の入力データとラベルとの組を訓練データとして受け付ける。学習部３０５は、受け付けた訓練データを用いて、教師あり学習を行うことにより、人間３次元骨格推定モデル２３１と、２次元骨格推定モデル２３２１及び関節角度推定モデル２３２２から構成されるロボット３次元骨格推定モデル２３２と、を構築する。
そして、学習部３０５は、構築した３次元骨格推定モデル２３１と、２次元骨格推定モデル２３２１及び関節角度推定モデル２３２２から構成されるロボット３次元骨格推定モデル２３２と、を、安心ビジョン装置２０に対して提供する。
以下、ロボット３次元骨格推定モデル２３２を構成する２次元骨格推定モデル２３２１及び関節角度推定モデル２３２２の構築について説明する。
学習部３０５は、上述の入力データとラベルとの組を訓練データとして受け付ける。学習部３０５は、受け付けた訓練データを用いて、教師あり学習を行うことにより、人間３次元骨格推定モデル２３１と、２次元骨格推定モデル２３２１及び関節角度推定モデル２３２２から構成されるロボット３次元骨格推定モデル２３２と、を構築する。
そして、学習部３０５は、構築した３次元骨格推定モデル２３１と、２次元骨格推定モデル２３２１及び関節角度推定モデル２３２２から構成されるロボット３次元骨格推定モデル２３２と、を、安心ビジョン装置２０に対して提供する。
以下、ロボット３次元骨格推定モデル２３２を構成する２次元骨格推定モデル２３２１及び関節角度推定モデル２３２２の構築について説明する。
【0055】
＜２次元骨格推定モデル２３２１＞
学習部３０５は、例えば、上述したように、公知のマーカーレス動物追跡ツール（例えば、ＤｅｅｐＬａｂＣｕｔ）等に用いられる深層学習モデルに基づいて、カメラ４０により撮影されたロボット１０のフレーム画像の入力データと、当該フレーム画像が撮影された時の関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢のラベルと、の訓練データを用いて教師あり学習し、カメラ４０により撮影された作業者Ｕ及びロボット１０のフレーム画像を入力し、撮影されたフレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示すピクセル座標の２次元姿勢を出力する２次元骨格推定モデル２３２１を生成する。
具体的には、２次元骨格推定モデル２３２１は、ニューラルネットワークである、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づいて構築する。
学習部３０５は、例えば、上述したように、公知のマーカーレス動物追跡ツール（例えば、ＤｅｅｐＬａｂＣｕｔ）等に用いられる深層学習モデルに基づいて、カメラ４０により撮影されたロボット１０のフレーム画像の入力データと、当該フレーム画像が撮影された時の関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢のラベルと、の訓練データを用いて教師あり学習し、カメラ４０により撮影された作業者Ｕ及びロボット１０のフレーム画像を入力し、撮影されたフレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示すピクセル座標の２次元姿勢を出力する２次元骨格推定モデル２３２１を生成する。
具体的には、２次元骨格推定モデル２３２１は、ニューラルネットワークである、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づいて構築する。
【0056】
畳み込みニューラルネットワークは、畳み込み層、プーリング層、全結合層、及び出力層を備えた構造となっている。
畳み込み層では、エッジ抽出等の特徴抽出を行うために、入力されたフレーム画像に対して所定のパラメータのフィルタをかける。このフィルタにおける所定のパラメータは、ニューラルネットワークの重みに相当しており、フォワードプロパゲーションやバックプロパゲーションを繰り返すことにより学習されていく。
プーリング層では、ロボット１０の位置ズレを許容するために、畳み込み層から出力された画像をぼかす。これにより、ロボット１０の位置が変動しても同一の物体であるとみなすことができる。
これら畳み込み層及びプーリング層を組み合わせることによって、フレーム画像から特徴量を抽出することができる。
畳み込み層では、エッジ抽出等の特徴抽出を行うために、入力されたフレーム画像に対して所定のパラメータのフィルタをかける。このフィルタにおける所定のパラメータは、ニューラルネットワークの重みに相当しており、フォワードプロパゲーションやバックプロパゲーションを繰り返すことにより学習されていく。
プーリング層では、ロボット１０の位置ズレを許容するために、畳み込み層から出力された画像をぼかす。これにより、ロボット１０の位置が変動しても同一の物体であるとみなすことができる。
これら畳み込み層及びプーリング層を組み合わせることによって、フレーム画像から特徴量を抽出することができる。
【0057】
全結合層では、畳み込み層及びプーリング層を通して特徴部分が取り出された画像データを１つのノードに結合し、活性化関数によって変換した値、すなわち確信度の特徴マップを出力する。
図１１は、ロボット１０の関節軸Ｊ１～Ｊ６の特徴マップの一例を示す図である。
図１１に示すように、各関節軸Ｊ１～Ｊ６の特徴マップでは、確信度ｃｉの値を０～１の範囲で表わされ、セルが関節軸の中心の位置に近いほど「１」に近い値が得られ、関節軸の中心の位置から離れるに従い「０」に近い値が得られる。
出力層では、全結合層からの出力を、各関節軸Ｊ１～Ｊ６の特徴マップにおいて確信度が最大値となるセルの行（ｒｏｗ）、列（ｃｏｌｕｍｎ）及び確信度（ｍａｘｉｍｕｍ）を出力する。なお、畳み込み層でフレーム画像が１／Ｎに畳み込まれた場合、出力層では、セルの行（ｒｏｗ）及び列（ｃｏｌｕｍｎ）をＮ倍して、フレーム画像における各関節軸Ｊ１～Ｊ６の中心の位置を示すピクセル座標とする（Ｎは１以上の整数）。
図１２は、フレーム画像と２次元骨格推定モデル２３２１の出力結果との比較の一例を示す図である。
図１１は、ロボット１０の関節軸Ｊ１～Ｊ６の特徴マップの一例を示す図である。
図１１に示すように、各関節軸Ｊ１～Ｊ６の特徴マップでは、確信度ｃｉの値を０～１の範囲で表わされ、セルが関節軸の中心の位置に近いほど「１」に近い値が得られ、関節軸の中心の位置から離れるに従い「０」に近い値が得られる。
出力層では、全結合層からの出力を、各関節軸Ｊ１～Ｊ６の特徴マップにおいて確信度が最大値となるセルの行（ｒｏｗ）、列（ｃｏｌｕｍｎ）及び確信度（ｍａｘｉｍｕｍ）を出力する。なお、畳み込み層でフレーム画像が１／Ｎに畳み込まれた場合、出力層では、セルの行（ｒｏｗ）及び列（ｃｏｌｕｍｎ）をＮ倍して、フレーム画像における各関節軸Ｊ１～Ｊ６の中心の位置を示すピクセル座標とする（Ｎは１以上の整数）。
図１２は、フレーム画像と２次元骨格推定モデル２３２１の出力結果との比較の一例を示す図である。
【0058】
＜関節角度推定モデル２３２２＞
学習部３０５は、例えば、カメラ４０とロボット１０との間の距離及び傾き、及び上述の正規化された関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢の入力データと、フレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度のラベルデータと、の訓練データを用いて教師あり学習し、関節角度推定モデル２３２２を生成する。
なお、学習部３０５は、２次元骨格推定モデル２３２１から出力された関節軸Ｊ１～Ｊ６の２次元姿勢を正規化したが、２次元骨格推定モデル２３２１から正規化された２次元姿勢が出力されるように、２次元骨格推定モデル２３２１を生成するにしてもよい。
学習部３０５は、例えば、カメラ４０とロボット１０との間の距離及び傾き、及び上述の正規化された関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢の入力データと、フレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度のラベルデータと、の訓練データを用いて教師あり学習し、関節角度推定モデル２３２２を生成する。
なお、学習部３０５は、２次元骨格推定モデル２３２１から出力された関節軸Ｊ１～Ｊ６の２次元姿勢を正規化したが、２次元骨格推定モデル２３２１から正規化された２次元姿勢が出力されるように、２次元骨格推定モデル２３２１を生成するにしてもよい。
【0059】
図１３は、関節角度推定モデル２３２２の一例を示す図である。ここでは、関節角度推定モデル２３２２は、図１３に示すように、２次元骨格推定モデル２３２１から出力され正規化された関節軸Ｊ１～Ｊ６の位置を示す２次元姿勢データと、カメラ４０とロボット１０との間の距離及び傾きと、を入力層として、関節軸Ｊ１～Ｊ６の角度を出力層とする多層ニューラルネットワークを例示する。なお、２次元姿勢は、正規化された関節軸Ｊ１～Ｊ６の中心の位置である座標（ｘｉ，ｙｉ）と、２次元骨格推定モデル２３２１から出力された確信度が０．５以上の場合に「１」に設定され、０．５未満の場合に「０」に設定された確信度ｃｉとを含む（ｘｉ，ｙｉ，ｃｉ）である。
【0060】
また、「Ｘ軸の傾きＲｘ」、「Ｙ軸の傾きＲｙ」、及び「Ｚ軸の傾きＲｚ」は、ワールド座標系におけるカメラ４０の３次元座標値と、ワールド座標系におけるロボット１０のロボット原点の３次元座標値と、に基づいて算出される、ワールド座標系におけるカメラ４０とロボット１０との間のＸ軸周りの回転角、Ｙ軸周りの回転角、及びＺ軸周りの回転角である。
【0061】
また、学習部３０５は、２次元骨格推定モデル２３２１及び関節角度推定モデル２３２２から構成される学習済みモデルを構築した後に、新たな訓練データを取得した場合には、２次元骨格推定モデル２３２１及び関節角度推定モデル２３２２から構成されるロボット３次元骨格推定モデル２３２に対してさらに教師あり学習を行うことにより、一度構築した２次元骨格推定モデル２３２１及び関節角度推定モデル２３２２から構成されるロボット３次元骨格推定モデル２３２を更新するようにしてもよい。
そうすることで、普段のロボット１０の撮影から訓練データを自動的に得ることができるため、ロボット１０の関節軸Ｊ１～Ｊ６の角度の推定精度を日常的に上げることができる。
そうすることで、普段のロボット１０の撮影から訓練データを自動的に得ることができるため、ロボット１０の関節軸Ｊ１～Ｊ６の角度の推定精度を日常的に上げることができる。
【0062】
上述した教師あり学習は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。
オンライン学習とは、ロボット１０のフレーム画像が撮影され、訓練データが作成される都度、即座に教師あり学習を行うという学習方法である。また、バッチ学習とは、ロボット１０のフレーム画像が撮影され、訓練データが作成されることが繰り返される間に、繰り返しに応じた複数の訓練データを収集し、収集した全ての訓練データを用いて、教師あり学習を行うという学習方法である。さらに、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度訓練データが溜まるたびに教師あり学習を行うという学習方法である。
以上、説明した機械学習装置により、安心ビジョン装置２０の備えるロボット３次元骨格推定モデルを生成することができる。
オンライン学習とは、ロボット１０のフレーム画像が撮影され、訓練データが作成される都度、即座に教師あり学習を行うという学習方法である。また、バッチ学習とは、ロボット１０のフレーム画像が撮影され、訓練データが作成されることが繰り返される間に、繰り返しに応じた複数の訓練データを収集し、収集した全ての訓練データを用いて、教師あり学習を行うという学習方法である。さらに、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度訓練データが溜まるたびに教師あり学習を行うという学習方法である。
以上、説明した機械学習装置により、安心ビジョン装置２０の備えるロボット３次元骨格推定モデルを生成することができる。
【0063】
以上、一実施形態について説明したが、安心ビジョン装置２０は、上述の実施形態に限定されるものではなく、目的を達成できる範囲での変形、改良等を含む。
【0064】
＜変形例１＞
上述の実施形態では、安心ビジョン装置２０は、作業者Ｕについて１つの領域を算出したが、これに限定されない。例えば、安心ビジョン装置２０は、作業者Ｕについて、ロボット１０の領域Ｒ１、Ｒ２と同様に、大きさの異なる２つの領域ＲＵ１、ＲＵ２を算出してもよい。なお、領域ＲＵ１における長さ、奥行、高さは、領域ＲＵ２における長さ、奥行、高さより大きく設定されているとする。
安心ビジョン装置２０は、例えば、作業者Ｕの領域ＲＵ１とロボット１０の領域Ｒ１とが重なっている、作業者Ｕの領域ＲＵ２とロボット１０の領域Ｒ１とが重なっている、あるいは作業者Ｕの領域ＲＵ１とロボット１０の領域Ｒ２とが重なっている場合、ロボット１０に対して減速の指示をロボット制御装置（図示しない）に出力するようにしてもよい。
また、安心ビジョン装置２０は、最も小さい作業者Ｕの領域ＲＵ２とロボット１０の領域Ｒ２とが重なっている場合、ロボット１０に対して停止の指示をロボット制御装置（図示しない）に出力するようにしてもよい。
なお、作業者Ｕの領域及びロボット１０の領域は１つ又は２つとしたが、３以上の複数の領域が設定されてもよい。
そうすることで、安心ビジョン装置２０は、よりきめ細く作業者Ｕとロボット１０との衝突を回避することができる。
上述の実施形態では、安心ビジョン装置２０は、作業者Ｕについて１つの領域を算出したが、これに限定されない。例えば、安心ビジョン装置２０は、作業者Ｕについて、ロボット１０の領域Ｒ１、Ｒ２と同様に、大きさの異なる２つの領域ＲＵ１、ＲＵ２を算出してもよい。なお、領域ＲＵ１における長さ、奥行、高さは、領域ＲＵ２における長さ、奥行、高さより大きく設定されているとする。
安心ビジョン装置２０は、例えば、作業者Ｕの領域ＲＵ１とロボット１０の領域Ｒ１とが重なっている、作業者Ｕの領域ＲＵ２とロボット１０の領域Ｒ１とが重なっている、あるいは作業者Ｕの領域ＲＵ１とロボット１０の領域Ｒ２とが重なっている場合、ロボット１０に対して減速の指示をロボット制御装置（図示しない）に出力するようにしてもよい。
また、安心ビジョン装置２０は、最も小さい作業者Ｕの領域ＲＵ２とロボット１０の領域Ｒ２とが重なっている場合、ロボット１０に対して停止の指示をロボット制御装置（図示しない）に出力するようにしてもよい。
なお、作業者Ｕの領域及びロボット１０の領域は１つ又は２つとしたが、３以上の複数の領域が設定されてもよい。
そうすることで、安心ビジョン装置２０は、よりきめ細く作業者Ｕとロボット１０との衝突を回避することができる。
【0065】
＜変形例２＞
また例えば、上述の実施形態では、安心ビジョン装置２０は、人間３次元骨格推定モデル２３１、及びロボット３次元骨格推定モデル２３２を用いて、入力された作業者Ｕ及びロボット１０のフレーム画像及びカメラ４０とロボット１０との間の距離及び傾きから、作業者Ｕの３次元関節点データ及びロボット１０の関節軸Ｊ１～Ｊ６の角度を推定したが、これに限定されない。例えば、図６に示すように、サーバ５０は、人間３次元骨格推定モデル２３１、及びロボット３次元骨格推定モデル２３２を記憶し、ネットワーク６０を介してサーバ５０に接続されたｍ個の安心ビジョン装置２０Ａ（１）～２０Ａ（ｍ）と人間３次元骨格推定モデル２３１、及びロボット３次元骨格推定モデル２３２を共有してもよい（ｍは２以上の整数）。これにより、新たなロボット、及び安心ビジョン装置が配置されても人間３次元骨格推定モデル２３１、及びロボット３次元骨格推定モデル２３２を適用することができる。
なお、ロボット１０Ａ（１）～１０Ａ（ｍ）の各々は、図１のロボット１０に対応する。安心ビジョン装置２０Ａ（１）～２０Ａ（ｍ）の各々は、図１の安心ビジョン装置２０に対応する。
また例えば、上述の実施形態では、安心ビジョン装置２０は、人間３次元骨格推定モデル２３１、及びロボット３次元骨格推定モデル２３２を用いて、入力された作業者Ｕ及びロボット１０のフレーム画像及びカメラ４０とロボット１０との間の距離及び傾きから、作業者Ｕの３次元関節点データ及びロボット１０の関節軸Ｊ１～Ｊ６の角度を推定したが、これに限定されない。例えば、図６に示すように、サーバ５０は、人間３次元骨格推定モデル２３１、及びロボット３次元骨格推定モデル２３２を記憶し、ネットワーク６０を介してサーバ５０に接続されたｍ個の安心ビジョン装置２０Ａ（１）～２０Ａ（ｍ）と人間３次元骨格推定モデル２３１、及びロボット３次元骨格推定モデル２３２を共有してもよい（ｍは２以上の整数）。これにより、新たなロボット、及び安心ビジョン装置が配置されても人間３次元骨格推定モデル２３１、及びロボット３次元骨格推定モデル２３２を適用することができる。
なお、ロボット１０Ａ（１）～１０Ａ（ｍ）の各々は、図１のロボット１０に対応する。安心ビジョン装置２０Ａ（１）～２０Ａ（ｍ）の各々は、図１の安心ビジョン装置２０に対応する。
【0066】
なお、一実施形態における、安心ビジョン装置２０に含まれる各機能は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0067】
安心ビジョン装置２０に含まれる各構成部は、電子回路等を含むハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、コンピュータにインストールされる。また、これらのプログラムは、リムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。また、ハードウェアで構成する場合、上記の装置に含まれる各構成部の機能の一部又は全部を、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ゲートアレイ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）等の集積回路（ＩＣ）で構成することができる。
【0068】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（Ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は、無線通信路を介して、プログラムをコンピュータに供給できる。
【0069】
なお、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0070】
以上を換言すると、本開示の安心ビジョン装置及び安心ビジョンシステムは、次のような構成を有する各種各様の実施形態を取ることができる。
【0071】
（１）本開示の安心ビジョン装置２０は、人間の２次元画像を入力し人間の関節点の位置の３次元座標値を示す３次元関節点データを出力する人間３次元骨格推定モデル２３１と、ロボット１０の２次元画像、及びロボット１０の２次元画像を撮影したカメラ４０とロボット１０との間の距離及び傾きを入力し、ロボット１０に含まれる複数の関節軸Ｊ１～Ｊ６の角度を出力するロボット３次元骨格推定モデル２３２と、外部のカメラ４０により撮影された作業者Ｕとロボット１０との２次元画像と、外部のカメラ４０とロボット１０との間の距離及び傾きと、を入力する入力部２１３と、入力部２１３により入力された２次元画像と、外部のカメラ４０とロボット１０との間の距離及び傾きと、を人間３次元骨格推定モデル２３１及びロボット３次元骨格推定モデル２３２に入力し、作業者Ｕの関節点の位置の３次元座標値を示す３次元関節点データと、ロボット１０に含まれる複数の関節軸Ｊ１～Ｊ６の角度と、を推定する推定部２１４と、３次元関節点データと複数の関節軸Ｊ１～Ｊ６の角度とに基づいて作業者Ｕの範囲を示す領域とロボット１０の範囲を示す領域Ｒ１、Ｒ２とを算出し、算出した作業者Ｕの領域とロボット１０の領域との重なり具合に応じてロボット１０に対する減速又は停止の指示を出力する接近判定部２１５と、を備える。
この安心ビジョン装置２０によれば、エリアセンサを用いることなくロボットの動作領域内に作業者が侵入した場合、ロボットを減速又は停止させることができる。
この安心ビジョン装置２０によれば、エリアセンサを用いることなくロボットの動作領域内に作業者が侵入した場合、ロボットを減速又は停止させることができる。
【0072】
（２） （１）に記載の安心ビジョン装置２０において、２次元画像は、所定のフレームレートでカメラ４０により撮影されたフレーム画像であってもよい。
そうすることで、安心ビジョン装置２０は、作業者Ｕ及びロボット１０の動きを連続的に追跡することができる。
そうすることで、安心ビジョン装置２０は、作業者Ｕ及びロボット１０の動きを連続的に追跡することができる。
【0073】
（３） （１）又は（２）に記載の安心ビジョン装置２０において、接近判定部２１５が減速又は停止の指示を出力する場合、警告音を出力する通知部２１６をさらに備えてもよい。
そうすることで、安心ビジョン装置２０は、作業者Ｕに対して警告することができる。
そうすることで、安心ビジョン装置２０は、作業者Ｕに対して警告することができる。
【0074】
（４） （１）から（３）のいずれかに記載の安心ビジョン装置２０において、人間３次元骨格推定モデル２３１及びロボット３次元骨格推定モデル２３２を、安心ビジョン装置２０からネットワーク６０を介してアクセス可能に接続されるサーバ５０に備えてもよい。
そうすることで、安心ビジョン装置２０は、新たなロボット、及び安心ビジョン装置が配置されても学習済みモデルを適用することができる。
そうすることで、安心ビジョン装置２０は、新たなロボット、及び安心ビジョン装置が配置されても学習済みモデルを適用することができる。
【0075】
（５）本開示の安心ビジョンシステム１は、ロボット１０と、カメラ４０と、（１）から（４）のいずれかに記載の安心ビジョン装置２０と、を備える。
この安心ビジョンシステム１は、（１）から（４）と同様の効果を奏することができる。
この安心ビジョンシステム１は、（１）から（４）と同様の効果を奏することができる。
【符号の説明】
【0076】
１ 安心ビジョンシステム
１０ ロボット
２０ 安心ビジョン装置
２１ 制御部
２１１ ３次元物体認識部
２１２ 自己位置推定部
２１３ 入力部
２１４ 推定部
２１５ 接近判定部
２１６ 通知部
２２ 通信部
２３ 記憶部
２３１ 人間３次元骨格推定モデル
２３２ ロボット３次元骨格推定モデル
２３２１ ２次元骨格推定モデル
２３２２ 関節角度推定モデル
３０ 機械学習装置
３０１ 情報取得部
３０２ ２次元姿勢取得部
３０３ 入力データ取得部
３０４ ラベル取得部
３０５ 学習部
３０６ 記憶部
４０ カメラ
５０ サーバ
６０ ネットワーク
１０ ロボット
２０ 安心ビジョン装置
２１ 制御部
２１１ ３次元物体認識部
２１２ 自己位置推定部
２１３ 入力部
２１４ 推定部
２１５ 接近判定部
２１６ 通知部
２２ 通信部
２３ 記憶部
２３１ 人間３次元骨格推定モデル
２３２ ロボット３次元骨格推定モデル
２３２１ ２次元骨格推定モデル
２３２２ 関節角度推定モデル
３０ 機械学習装置
３０１ 情報取得部
３０２ ２次元姿勢取得部
３０３ 入力データ取得部
３０４ ラベル取得部
３０５ 学習部
３０６ 記憶部
４０ カメラ
５０ サーバ
６０ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】