特許 7463946 動作制御プログラム、動作制御方法、および動作制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-01

(45)【発行日】2024-04-09

(54)【発明の名称】動作制御プログラム、動作制御方法、および動作制御装置

(51)【国際特許分類】

   B25J 19/06 20060101AFI20240402BHJP

【ＦＩ】

B25J19/06

【請求項の数】 8

(21)【出願番号】P 2020187981

(22)【出願日】2020-11-11

(65)【公開番号】P2022077228

(43)【公開日】2022-05-23

【審査請求日】2023-07-07

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】横田 泰斗

(72)【発明者】

【氏名】鈴木 彼方

【審査官】神山 貴行

(56)【参考文献】

【文献】特開２０１８－１２１５９（ＪＰ，Ａ）

【文献】特開平１１－３３９６１（ＪＰ，Ａ）

【文献】国際公開第２０１８／１４３００３（ＷＯ，Ａ１）

【文献】特開２０１９－２０２３５４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

(57)【特許請求の範囲】

【請求項1】

第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、
前記第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、前記第１のタイミングより後の第２のタイミングの前記機器の動作状態を表す第２の動作情報を生成し、
前記第２の動作情報に基づいて、第２の機械学習モデルを用いて、前記機器の動作環境を表す第２の画像における前記機器の領域を特定し、
前記機器の領域と、前記対象物の領域とを比較し、
前記比較する処理の結果に基づいて、前記機器の回避動作を実行する、
処理をコンピュータに実行させることを特徴とする動作制御プログラム。

【請求項2】

前記機器の領域を特定する処理は、前記第２の機械学習モデルに前記第２の動作情報を入力することにより出力される、前記第１の画像より解像度の低い前記第２の画像から前記機器の領域を特定する処理を含むことを特徴とする請求項１に記載の動作制御プログラム。

【請求項3】

前記機器の領域を特定する処理は、前記第２の機械学習モデルに前記第２の動作情報を入力することにより出力される、前記機器を示す画素と前記機器以外を示す画素とが２値化された、前記第２の画像から前記機器の領域を特定する処理を含むことを特徴とする請求項２に記載の動作制御プログラム。

【請求項4】

前記機器の領域と、前記対象物の領域とを比較する処理は、前記第２の画像における前記機器の領域の位置と前記第１の画像における前記対象物の領域の位置との重なりの有無を判定する処理を含み、
前記機器の回避動作を実行する処理は、前記重なりが有ると判定した場合、前記機器の回避動作を実行する処理を含む、
ことを特徴とする請求項１に記載の動作制御プログラム。

【請求項5】

前記機器の領域と、前記対象物の領域とを比較する処理は、前記第２の画像における前記機器の領域の位置と前記第１の画像における前記対象物の領域の位置との最短距離を測定する処理を含み、
前記機器の回避動作を実行する処理は、前記最短距離が所定の閾値以下の場合、前記機器の回避動作を実行する処理を含む、
ことを特徴とする請求項１に記載の動作制御プログラム。

【請求項6】

前記対象物の領域を特定する処理は、それぞれが異なる複数の方向から前記機器の動作環境を撮像した複数の前記第１の画像における前記対象物の領域を特定する処理を含み、
前記機器の領域を特定する処理は、それぞれが前記複数の方向から前記機器の動作環境を表す複数の前記第２の画像における前記機器の領域を特定する処理を含むことを特徴とする請求項１に記載の動作制御プログラム。

【請求項7】

第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、
前記第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、前記第１のタイミングより後の第２のタイミングの前記機器の動作状態を表す第２の動作情報を生成し、
前記第２の動作情報に基づいて、第２の機械学習モデルを用いて、前記機器の動作環境を表す第２の画像における前記機器の領域を特定し、
前記機器の領域と、前記対象物の領域とを比較し、
前記比較する処理の結果に基づいて、前記機器の回避動作を実行する、
処理をコンピュータが実行することを特徴とする動作制御方法。

【請求項8】

第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、
前記第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、前記第１のタイミングより後の第２のタイミングの前記機器の動作状態を表す第２の動作情報を生成し、
前記第２の動作情報に基づいて、第２の機械学習モデルを用いて、前記機器の動作環境を表す第２の画像における前記機器の領域を特定し、
前記機器の領域と、前記対象物の領域とを比較し、
前記比較する処理の結果に基づいて、前記機器の回避動作を実行する、
処理を実行する制御部を有することを特徴とする動作制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動作制御技術に関する。

【背景技術】

【0002】

近年、産業用ロボットアームに動作を教えるティーチング作業を減らすために、ロボットアームの姿勢制御に、深層強化学習や回帰型ニューラルネットワークなどの機械学習技術を適用して自動化する研究が進んでいる。深層強化学習では訓練に大きなコスト（多数の試行）や長い時間がかかる。そのため、コストや訓練時間に制約がある場合は、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ）やＬｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ（ＬＳＴＭ）などの回帰型ニューラルネットワークを用いた手法が利用されている。

【0003】

一方、人間との協働を想定したロボットアームの開発が進んでおり、ロボットアームと他の物体との衝突を防ぐ技術が必要となっている。そこで、カメラ画像やセンサーにより、障害物を検知して３次元位置座標（ｘ，ｙ，ｚ）を特定し、ロボットアームと障害物との衝突を防ぐ技術がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６６４７６４０号公報

【文献】米国特許出願公開第２０１９／０１４３５１７号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、３次元位置座標（ｘ，ｙ，ｚ）では、ロボットアームの姿勢が一意に定まらないため、障害物の位置がロボットアームの軌道上に重なっているか判定できない。そのため、障害物検知時は一律にロボットアームの動作を緊急停止せざるを得ず、不必要な再稼働のための作業負担や時間がかかってしまう問題がある。

【0006】

１つの側面では、ロボットアームと障害物との接近や衝突を未然に防ぐことができる動作制御プログラム、動作制御方法、および動作制御装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

１つの態様において、動作制御プログラムは、コンピュータに、第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成し、第２の動作情報に基づいて、第２の機械学習モデルを用いて、機器の動作環境を表す第２の画像における機器の領域を特定し、機器の領域と、対象物の領域とを比較し、比較する処理の結果に基づいて、機器の回避動作を実行する処理を実行させる。

【発明の効果】

【0008】

１つの側面では、ロボットアームと障害物との接近や衝突を未然に防ぐことができる。

【図面の簡単な説明】

【0009】

【図1】図１は、動作制御システムの構成例を示す図である。

【図2】図２は、６軸ロボットアームの一例を示す図である。

【図3】図３は、動作制御装置の構成例を示す図である。

【図4】図４は、対象物の領域特定の一例を示す図である。

【図5】図５は、ロボットアームの領域特定の一例を示す図である。

【図6】図６は、ロボットアームの領域特定ＮＮ生成の一例を示す図である。

【図7】図７は、時間ごとの衝突判定の一例を示す図である。

【図8】図８は、動作制御処理の流れを示すフローチャートである。

【図9】図９は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0010】

以下に、本実施形態に係る動作制御プログラム、動作制御方法、および動作制御装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【0011】

まず、本実施形態を実施するための動作制御システムについて説明する。図１は、動作制御システムの構成例を示す図である。図１に示すように、動作制御システム１は、動作制御装置１０と、ロボットアーム１００およびカメラ装置２００とが相互に通信可能に接続されるシステムである。なお、各装置の通信は、通信ケーブルを介して行われてもよいし、イントラネットなどの各種通信網を介して行われてもよい。また、通信方式は、有線および無線のいずれであってもよい。

【0012】

動作制御装置１０は、例えば、ロボットアーム１００を管理する管理者によって使用されるデスクトップＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。動作制御装置１０は、ロボットアーム１００の動作環境の撮像画像から対象物を特定し、ロボットアーム１００の軌道を予測し、ロボットアーム１００が対象物と衝突する可能性がある場合にロボットアーム１００の回避動作を実行する。なお、ロボットアーム１００の動作環境の撮像画像から特定される対象物を、実際にロボットアーム１００と衝突する可能性があるか否かに関わらず障害物と表現する場合がある。

【0013】

また、図１では、動作制御装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。また、動作制御装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドサーバ装置であってもよい。

【0014】

ロボットアーム１００は、例えば、産業用のロボットアームであり、より具体的には、工場や倉庫などで物品をピックアップ（把持）して移動させるピッキングロボットである。しかしながら、産業用に限定されず、医療用などのロボットアームであってもよい。図２は、６軸ロボットアームの一例を示す図である。図２の例では、ロボットアーム１００は、Ｊ１～Ｊ６の６つの関節を持ち、各関節のＪ１～Ｊ６軸を中心に回転動作する。ロボットアーム１００は、動作制御装置１０によって、時間ごとの各関節の姿勢情報、すなわち、各関節の軸の角度の変化が入力されることで、アームの軌道が決定され、所定の動作をするように制御される。なお、ロボットアーム１００の軸数は、６軸に限定されず、５軸や７軸など、６軸よりも少なくても多くてもよい。

【0015】

カメラ装置２００は、ロボットアーム１００の動作環境、すなわち、ロボットアーム１００が動作し得る範囲を、ロボットアーム１００の側面や上部から撮像する。カメラ装置２００は、ロボットアーム１００の稼働中、リアルタイムで動作環境を撮像し、撮像された画像は、動作制御装置１０に送信される。なお、図１では、カメラ装置２００は１台しか示されていないが、複数のカメラ装置２００によって、ロボットアーム１００の側面および上部などの複数の方向から動作環境が撮像されてもよい。

【0016】

［動作制御装置１０の機能構成］
次に、図１に示した動作制御装置１０の機能構成について説明する。図３は、動作制御装置の構成例を示す図である。図３に示すように、動作制御装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

【0017】

通信部２０は、ロボットアーム１００やカメラ装置２００など、他の装置との間の通信を制御する処理部であり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェースや、ネットワークインタフェースカードなどの通信インタフェースである。

【0018】

記憶部３０は、各種データや、制御部４０が実行するプログラムを記憶する記憶装置の一例であり、例えば、メモリやハードディスクなどである。記憶部３０は、姿勢情報３１、画像ＤＢ３２、および機械学習モデルＤＢ３３などを記憶する。

【0019】

姿勢情報３１は、ロボットアーム１００の動作を制御するための情報であり、例えば、ロボットアーム１００の各関節の軸の角度を示す情報を記憶する。姿勢情報３１は、例えば、図２に示す６軸ロボットアームの場合、各関節のＪ１～Ｊ６軸の各角度をｍ１～ｍ６によって示す。

【0020】

画像ＤＢ３２は、カメラ装置２００によって撮像されたロボットアーム１００の動作環境の撮像画像を記憶する。また、画像ＤＢ３２は、当該撮像画像を物体検出器に入力することで出力される、障害物の領域を示すマスク画像を記憶する。また、画像ＤＢ３２は、姿勢情報３１をニューラルネットワーク（ＮＮ）に入力することで出力される、ロボットアーム１００の領域を示すマスク画像を記憶する。

【0021】

機械学習モデルＤＢ３３は、例えば、ロボットアーム１００の動作環境の撮像画像を特徴量とし、障害物の領域を示すマスク画像を正解ラベルとして機械学習により生成された物体検出器を構築するためのモデルパラメータや物体検出器のための訓練データを記憶する。

【0022】

また、機械学習モデルＤＢ３３は、例えば、姿勢情報３１を特徴量とし、ロボットアーム１００の領域を示すマスク画像を正解ラベルとして機械学習により生成されたＮＮを構築するためのモデルパラメータや、当該ＮＮのための訓練データを記憶する。

【0023】

また、機械学習モデルＤＢ３３は、例えば、現在の姿勢情報３１を特徴量とし、未来の姿勢情報３１を正解ラベルとして機械学習により生成されたＲＮＮを構築するためのモデルパラメータや、当該ＲＮＮのための訓練データを記憶する。

【0024】

なお、記憶部３０に記憶される上記情報はあくまでも一例であり、記憶部３０は、上記情報以外にも様々な情報を記憶できる。

【0025】

制御部４０は、動作制御装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部４０は、特定部４１、生成部４２、比較部４３、および実行部４４を備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

【0026】

特定部４１は、第１のタイミングにおけるロボットアーム１００などの機器の動作環境を撮像した画像における対象物の領域を特定する。第１のタイミングとは、例えば、現在である。なお、複数のカメラ装置２００によって、機器の側面および上部などの複数の方向から動作環境を撮像でき、この場合、特定部４１は、それぞれの方向から撮像した各画像において対象物の領域を特定する。

【0027】

また、特定部４１は、第１のタイミングより後の第２のタイミングの機器の動作状態を表す動作情報に基づいて、機械学習モデルを用いて、第２のタイミングの機器の動作環境を表す画像における機器の領域を特定する。当該機械学習モデルは、例えば、ロボットアーム１００などの機器の動作状態を表す動作情報である姿勢情報３１を特徴量とし、機器の領域を示すマスク画像を正解ラベルとして機械学習により生成されたＮＮである。

【0028】

なお、機械学習モデルにより出力されるマスク画像は、それぞれが機器の側面および上部などの複数の方向から機器の動作環境を表す複数の画像であってよい。この場合、特定部４１は、各マスク画像に対して機器の領域を特定する。

【0029】

また、機械学習モデルにより出力されるマスク画像の解像度は、カメラ装置２００による撮像画像の解像度より下げることができる。また、当該マスク画像において、例えば、機器の画素を黒色、それ以外の画素を白色で表すことで２値化することもできる。これにより、マスク画像に対する動作制御装置１０の処理負荷を軽減させることができる。

【0030】

生成部４２は、例えば、現在である第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成する。より具体的には、生成部４２は、例えば、ロボットアーム１００の現在の姿勢情報３１に基づいて、機械学習モデルを用いて、ロボットアーム１００の未来の姿勢情報３１を生成する。当該機械学習モデルは、例えば、ロボットアーム１００の所定の時刻ｔ時の姿勢情報３１を特徴量とし、時刻ｔ時より後のｔ＋１の姿勢情報３１を正解ラベルとして機械学習により生成されたＲＮＮである。当該ＲＮＮに、現在時刻ｔ時の姿勢情報３１を入力することで、未来の時刻ｔ＋１時の姿勢情報３１が出力される。さらに、生成部４２は、未来の時刻ｔ＋１時の姿勢情報３１を、当該ＲＮＮに入力することで、さらに未来の時刻ｔ＋２時の姿勢情報３１を生成でき、これを繰り返すことにより、未来の時刻ｔ＋３時、ｔ＋４時、・・・ｔ＋ｎ時（ｎは任意の整数）の姿勢情報３１を生成できる。

【0031】

このようにして、生成部４２は、機器の現在の姿勢情報３１に基づいて、未来の姿勢情報３１を予測する。しかしながら、機器の一連の動作を制御する姿勢情報３１が予め作成されている場合、動作制御装置１０は、予め作成された姿勢情報３１から、未来の姿勢情報３１を取得できる。この場合、動作制御装置１０は、生成部４２を備えなくてもよい。

【0032】

比較部４３は、特定部４１によって特定された、ロボットアーム１００などの機器の領域と、対象物の領域とを比較する。当該比較は、例えば、機器の領域が特定されたマスク画像と、対象物の領域が特定された撮像画像との解像度を合わせて合成画像を生成し、機器の領域と対象物の領域との画像上での重なりの有無、すなわち機器と対象物との衝突の有無を判定する。または、当該比較は、当該合成画像上での機器の領域と対象物の領域との最短距離を測定し、すなわち機器と対象物との接近および衝突を判定する。このように距離を測定する理由は、両領域が重なっていなくても、機器と対象物とが接近している場合は、衝突の可能性があるため、機器と対象物との所定距離内の接近を検知するためである。

【0033】

実行部４４は、比較部４３による機器の領域と対象物の領域との比較処理の結果に基づいて、機器の回避動作を実行する。より具体的には、実行部４４は、例えば、比較部４３によって、機器の領域と対象物の領域との画像上での重なりが有ると判定された場合、機器の回避動作を実行する。または、実行部４４は、例えば、比較部４３によって測定された、機器の領域と対象物の領域との画像上の最短距離が所定の閾値以下の場合、機器の回避動作を実行する。なお、当該閾値は、現実の距離で約１０センチメートルに相当する５画素など任意設定できるが、対象物が動く可能性の有無や、合成画像の解像度の粒度によって、より大きく、または小さく設定できる。また、機器の回避動作とは、例えば、機器の緊急停止のみならず、機器の軌道修正による対象物の回避動作も含む。

【0034】

［機能詳細］
次に、各機能を図４～７を用いて詳細に説明する。まず、特定部４１による、ロボットアーム１００などの機器の動作環境を撮像した画像における対象物の領域特定について説明する。図４は、対象物の領域特定の一例を示す図である。撮像画像３００は、ロボットアーム１００の動作環境をロボットアーム１００の側面からカメラ装置２００で撮像した画像である。撮像画像３００には、ロボットアーム１００の他、障害物となり得る対象物１５０が写っている。

【0035】

図４に示す物体検出器５０は、ロボットアーム１００の動作環境の撮像画像を特徴量とし、対象物の領域を示すマスク画像を正解ラベルとして機械学習により生成されたものある。物体検出器５０は、例えば、物体検出アルゴリズムのＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）を用いて、画像から対象物を検出する。

【0036】

図４では、撮像画像３００を物体検出器５０に入力することで、出力されるマスク画像３１０を取得する。マスク画像３１０は、例えば、対象物１５０の画素１５０´と、それ以外の画素を２値化表現したものであり、これにより特定部４１は、対象物１５０を特定できる。また、図４に示すように、マスク画像３１０の解像度を撮像画像３００の解像度より下げることで、マスク画像３１０に対する動作制御装置１０の処理負荷を軽減させることができる。

【0037】

次に、特定部４１による、ロボットアーム１００などの機器の領域特定について説明する。図５は、ロボットアームの領域特定の一例を示す図である。図５に示すＮＮ６０は、ロボットアーム１００の姿勢情報３１を特徴量とし、ロボットアーム１００の領域を示すマスク画像を正解ラベルとして機械学習により生成されたものである。ＮＮ６０には、例えば、ＲＮＮやＬＳＴＭなどの回帰型ＮＮを用いることができる。

【0038】

図５では、ロボットアーム１００の姿勢情報３１をＮＮ６０に入力することで、マスク画像３２０を取得する。マスク画像３２０は、例えば、ロボットアーム１００の画素１００´と、それ以外の画素を２値化表現したものであり、これにより特定部４１は、ロボットアーム１００を特定することができる。また、マスク画像３２０も、マスク画像３１０同様、解像度を下げることにより、マスク画像３２０に対する動作制御装置１０の処理負荷を軽減させることができる。

【0039】

ここで、ロボットアーム１００の領域特定に用いるＮＮ６０の生成方法について説明する。図６は、ロボットアームの領域特定ＮＮ生成の一例を示す図である。まず、図６に示すように、ロボットアーム１００を側面からカメラ装置２００で撮像した撮像画像３３０において、背景画像との差分から、ロボットアーム１００の画素を抽出したマスク画像３４０が生成される。そして、マスク画像３４０の解像度を下げて、ロボットアーム１００の画素１００´と、それ以外の画素を２値化表現したマスク画像３５０が生成される。

【0040】

そして、撮像画像３３０を撮像した際の姿勢情報３１を入力、マスク画像３５０が出力の正解となるデータセット７０が生成され、データセット７０を用いて、ＮＮ６０が訓練される。これをロボットアーム１００がとり得る様々な姿勢を制御するための複数の姿勢情報３１を用いて、ロボットアーム１００の姿勢を変えて複数のマスク画像３５０およびデータセット７０を生成し、ＮＮ６０を訓練する。

【0041】

なお、図６の例では、ロボットアーム１００を側面から撮像した画像を用いて、ロボットアーム１００を側面から見た場合のロボットアーム１００の領域を特定するＮＮ６０の生成について説明した。同様に、例えば、ロボットアーム１００を上部から撮像した画像を用いて、ロボットアーム１００の姿勢情報３１から、ロボットアーム１００を上部から見た場合のロボットアーム１００の領域を特定するＮＮ６０を生成できる。

【0042】

次に、比較部４３による衝突判定について説明する。図７は、時間ごとの衝突判定の一例を示す図である。図７に示す合成画像４００～４３０は、物体検出器５０により出力され、対象物１５０の画素１５０´が特定されたマスク画像３１０と、ＮＮ６０により出力され、ロボットアーム１００の画素１００´が特定されたマスク画像３２０とを重ね合わせた画像である。合成画像４００～４３０間では、ロボットアーム１００の動作環境における時刻が異なる。図７の例では、合成画像４００～４３０の順に動作環境の時刻が時刻ｔ～ｔ＋３時と時間が経過していることを示している。

【0043】

また、図７の例では、まず、時刻ｔ時の姿勢情報３１を用いてロボットアーム１００が制御され、時間経過と共に、徐々にロボットアーム１００が対象物１５０に接近している様子が、合成画像４００～４３０によって示されている。特に、合成画像４３０では、ロボットアーム１００の画素１００´と対象物１５０の画素１５０´とが重なっており、時刻ｔ＋３時の姿勢情報３１を用いたロボットアーム１００の制御によってロボットアーム１００と対象物１５０とが衝突することが示されている。

【0044】

このように、時間ごとの姿勢情報３１を用いて、ロボットアーム１００などの機器と対象物との合成画像を生成し、合成画像上での画素の重なりや画素間の距離に基づいて、機器の軌道上に対象物があるか判定し、機器と対象物との接近や衝突を未然に回避できる。なお、時間ごとの姿勢情報３１は、上述したように、動作制御装置１０によって生成、または取得される。

【0045】

［処理の流れ］
次に、動作制御装置１０によって実行されるロボットアーム１００などの機器の動作制御処理の流れを説明する。図８は、動作制御処理の流れを示すフローチャートである。図８に示す動作制御処理は、動作制御装置１０が実行主体であり、機器と対象物１５０との接近や衝突を未然に回避するために、機器の稼働中、リアルタイムに実行される。そのため、カメラ装置２００によって稼働中の機器の動作環境が常時撮像され、撮像された画像は、動作制御装置１０に送信される。

【0046】

まず、図８に示すように、動作制御装置１０は、物体検出器５０を用いて、稼働中の機器の動作環境が撮像された撮像画像における対象物１５０の領域を特定する（ステップＳ１０１）。当該撮像画像は、カメラ装置２００から送信された最新、すなわち、現在時刻ｔ時の撮像画像である。また、撮像画像が機器の側面や上部など複数の方向から撮像され複数ある場合、動作制御装置１０は、各画像において対象物１５０の領域を特定する。

【0047】

次に、動作制御装置１０は、現在時刻ｔ時の機器の姿勢情報３１に基づいて、機械学習モデルを用いて、機器の未来時刻ｔ＋１時の動作情報、すなわち未来の姿勢情報３１を生成する（ステップＳ１０２）。ここで、未来時刻ｔ＋１時とは、例えば、現在時刻ｔ時から数秒経過後である。また、ステップＳ１０２で用いる機械学習モデルは、例えば、現在時刻ｔ時の姿勢情報３１を特徴量とし、未来時刻ｔ＋１時の姿勢情報３１を正解ラベルとして機械学習により生成されたＲＮＮである。当該ＲＮＮに、現在時刻ｔ時の機器の姿勢情報３１を入力することで、未来時刻ｔ＋１時の姿勢情報３１が出力される。

【0048】

なお、機器の一連の動作を制御する姿勢情報３１が予め作成されている場合、動作制御装置１０は、予め作成された姿勢情報３１から、未来の姿勢情報３１を取得することもできる。この場合、ステップＳ１０２では、未来の姿勢情報３１の生成に代えて、動作制御装置１０は、記憶部３０に予め記憶されている姿勢情報３１から、未来の姿勢情報３１を取得する。

【0049】

また、動作制御装置１０は、生成された未来時刻ｔ＋１時の姿勢情報３１をＲＮＮに入力することで、さらに未来時刻ｔ＋２時の姿勢情報３１を生成でき、これを所定回数繰り返すことで時間経過ごとの未来時刻ｔ＋３～ｔ＋ｎ時の姿勢情報３１を生成できる。

【0050】

次に、動作制御装置１０は、ステップＳ１０２で生成または取得された未来の姿勢情報３１をＮＮ６０に入力し、出力されたマスク画像３２０から、機器の未来の領域を特定する（ステップＳ１０３）。未来の姿勢情報３１が、未来時刻ｔ＋１～ｔ＋ｎ時分、複数ある場合、動作制御装置１０は、それぞれの時刻での機器の領域を特定する。さらに、ステップＳ１０１で用いた撮像画像が機器の側面や上部など複数の方向から撮像され複数ある場合、動作制御装置１０は、各方向から見た複数のマスク画像３２０のそれぞれから、機器の未来の領域を特定する。

【0051】

次に、動作制御装置１０は、ステップＳ１０１で特定された対象物１５０の領域と、ステップＳ１０３で特定された機器の未来の領域とを比較し、対象物１５０と機器との距離が所定の閾値以下か否かを判定する（ステップＳ１０４）。距離が所定の閾値より大きい場合（ステップＳ１０４：Ｎｏ）、対象物１５０と機器との接近や衝突の可能性はないものと判断して、図８に示す動作制御処理は終了する。なお、その後、例えば、未来ｔ＋１時が現在時刻になるなど、時間経過により、ステップＳ１０１から動作制御処理を繰り返し実行し、機器の稼働中、対象物１５０と機器との接近や衝突の判定を繰り返す。

【0052】

一方、距離が所定の閾値以下の場合（ステップＳ１０４：Ｙｅｓ）、対象物１５０と機器との接近や衝突の可能性があるものと判断して、動作制御装置１０は、機器の回避動作を実行する（ステップＳ１０５）。なお、機器の回避動作とは、例えば、機器の緊急停止や、機器の軌道修正による対象物の回避動作である。ステップＳ１０５の実行後、図８に示す動作制御処理は終了する。

【0053】

なお、ステップＳ１０１で用いた撮像画像や、ステップＳ１０３で用いたマスク画像３２０が機器の各方向用に複数ある場合、ステップＳ１０４では、各方向用の画像上で対象物１５０と機器との距離が所定の閾値以下か否かを判定する。その結果、各方向用の全ての画像上の対象物１５０と機器との距離が所定の閾値以下の場合、対象物１５０と機器との接近や衝突の可能性があるものと判断して、動作制御装置１０は、機器の回避動作を実行する（ステップＳ１０５）。これは、一部の画像上でのみ、対象物１５０と機器との距離が所定の閾値以下であっても、対象物１５０と機器との接近や衝突の可能性はないものと判断できるためである。

【0054】

また、ステップＳ１０４の判定は、対象物１５０の領域と、機器の未来の領域との画像上での重なりが有るか無いかを判定してもよい。重なりがある場合、対象物１５０と機器との接近や衝突の可能性があるものとして、動作制御装置１０は、機器の回避動作を実行する（ステップＳ１０５）。

【0055】

［効果］
上述したように、動作制御装置１０は、第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成し、第２の動作情報に基づいて、第２の機械学習モデルを用いて、機器の動作環境を表す第２の画像における機器の領域を特定し、機器の領域と、対象物の領域とを比較し、比較する処理の結果に基づいて、機器の回避動作を実行する。

【0056】

動作制御装置１０は、ロボットアーム１００などの機器の動作環境の撮像画像３００から対象物１５０の領域を特定し、機器の姿勢情報３１から機械学習を用いて機器の未来の領域を特定し、両領域の比較結果に基づいて、機器の回避動作を実行する。これにより、動作制御装置１０は、機器と対象物１５０との接近や衝突を未然に防ぐことができる。

【0057】

また、動作制御装置１０によって実行される、機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、第１の画像より解像度の低い第２の画像から機器の領域を特定する処理を含む。

【0058】

これにより、第２の画像であるマスク画像３２０に対する動作制御装置１０の処理負荷を軽減させることができる。

【0059】

また、動作制御装置１０によって実行される、機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、機器を示す画素と機器以外を示す画素とが２値化された、第２の画像から機器の領域を特定する処理を含む。

【0060】

これにより、第２の画像であるマスク画像３２０に対する動作制御装置１０の処理負荷を軽減させることができる。

【0061】

また、動作制御装置１０によって実行される、機器の領域と、対象物の領域とを比較する処理は、第１の画像および第２の画像の解像度を合わせ、機器の領域と対象物の領域との画像上での重なりの有無を判定する処理を含み、機器の回避動作を実行する処理は、重なりが有ると判定した場合、機器の回避動作を実行する処理を含む。

【0062】

これにより、動作制御装置１０は、機器と対象物１５０との接近や衝突をより正確に判定できる。

【0063】

また、動作制御装置１０によって実行される、機器の領域と、対象物の領域とを比較する処理は、第１の画像および第２の画像の解像度を合わせ、機器の領域と対象物の領域との画像上での最短距離を測定する処理を含み、機器の回避動作を実行する処理は、最短距離が所定の閾値以下の場合、機器の回避動作を実行する処理を含む。

【0064】

これにより、動作制御装置１０は、機器と対象物１５０との接近や衝突をより正確に判定できる。

【0065】

また、動作制御装置１０によって実行される、対象物の領域を特定する処理は、それぞれが異なる複数の方向から機器の動作環境を撮像した複数の第１の画像における対象物の領域を特定する処理を含み、機器の領域を特定する処理は、それぞれが複数の方向から機器の動作環境を表す複数の第２の画像における機器の領域を特定する処理を含む。

【0066】

これにより、動作制御装置１０は、複数の方向から機器と対象物１５０との接近や衝突を判定できる。

【0067】

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更できる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更できる。

【0068】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成できる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0069】

［ハードウェア］
図９は、ハードウェア構成例を説明する図である。図９に示すように、動作制御装置１０は、通信インタフェース１０ａ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図９に示した各部は、バスなどで相互に接続される。

【0070】

通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図３に示した機能を動作させるプログラムやＤＢを記憶する。

【0071】

プロセッサ１０ｄは、図３に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図３などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、動作制御装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、特定部４１、生成部４２、比較部４３、および実行部４４などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、特定部４１、生成部４２、比較部４３、および実行部４４などと同様の処理を実行するプロセスを実行する。

【0072】

このように動作制御装置１０は、図３に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、動作制御装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、動作制御装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態を同様に適用できる。

【0073】

また、図３に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0074】

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0075】

（付記１）第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、
第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成し、
第２の動作情報に基づいて、第２の機械学習モデルを用いて、機器の動作環境を表す第２の画像における機器の領域を特定し、
機器の領域と、対象物の領域とを比較し、
比較する処理の結果に基づいて、機器の回避動作を実行する、
処理をコンピュータに実行させることを特徴とする動作制御プログラム。

【0076】

（付記２）機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、第１の画像より解像度の低い第２の画像から機器の領域を特定する処理を含むことを特徴とする付記１に記載の動作制御プログラム。

【0077】

（付記３）機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、機器を示す画素と機器以外を示す画素とが２値化された、第２の画像から機器の領域を特定する処理を含むことを特徴とする付記２に記載の動作制御プログラム。

【0078】

（付記４）機器の領域と、対象物の領域とを比較する処理は、第２の画像における機器の領域の位置と第１の画像における対象物の領域の位置との重なりの有無を判定する処理を含み、
機器の回避動作を実行する処理は、重なりが有ると判定した場合、機器の回避動作を実行する処理を含む、
ことを特徴とする付記１に記載の動作制御プログラム。

【0079】

（付記５）機器の領域と、対象物の領域とを比較する処理は、第２の画像における機器の領域の位置と第１の画像における対象物の領域の位置との最短距離を測定する処理を含み、
機器の回避動作を実行する処理は、最短距離が所定の閾値以下の場合、機器の回避動作を実行する処理を含む、
ことを特徴とする付記１に記載の動作制御プログラム。

【0080】

（付記６）対象物の領域を特定する処理は、それぞれが異なる複数の方向から機器の動作環境を撮像した複数の第１の画像における対象物の領域を特定する処理を含み、
機器の領域を特定する処理は、それぞれが複数の方向から機器の動作環境を表す複数の第２の画像における機器の領域を特定する処理を含むことを特徴とする付記１に記載の動作制御プログラム。

【0081】

（付記７）第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、
第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成し、
第２の動作情報に基づいて、第２の機械学習モデルを用いて、機器の動作環境を表す第２の画像における機器の領域を特定し、
機器の領域と、対象物の領域とを比較し、
比較する処理の結果に基づいて、機器の回避動作を実行する、
処理をコンピュータが実行することを特徴とする動作制御方法。

【0082】

（付記８）機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、第１の画像より解像度の低い第２の画像から機器の領域を特定する処理を含むことを特徴とする付記７に記載の動作制御方法。

【0083】

（付記９）機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、機器を示す画素と機器以外を示す画素とが２値化された、第２の画像から機器の領域を特定する処理を含むことを特徴とする付記８に記載の動作制御方法。

【0084】

（付記１０）機器の領域と、対象物の領域とを比較する処理は、第２の画像における機器の領域の位置と第１の画像における対象物の領域の位置との重なりの有無を判定する処理を含み、
機器の回避動作を実行する処理は、重なりが有ると判定した場合、機器の回避動作を実行する処理を含む、
ことを特徴とする付記７に記載の動作制御方法。

【0085】

（付記１１）機器の領域と、対象物の領域とを比較する処理は、第２の画像における機器の領域の位置と第１の画像における対象物の領域の位置との最短距離を測定する処理を含み、
機器の回避動作を実行する処理は、最短距離が所定の閾値以下の場合、機器の回避動作を実行する処理を含む、
ことを特徴とする付記７に記載の動作制御方法。

【0086】

（付記１２）対象物の領域を特定する処理は、それぞれが異なる複数の方向から機器の動作環境を撮像した複数の第１の画像における対象物の領域を特定する処理を含み、
機器の領域を特定する処理は、それぞれが複数の方向から機器の動作環境を表す複数の第２の画像における機器の領域を特定する処理を含むことを特徴とする付記７に記載の動作制御方法。

【0087】

（付記１３）第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、
第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成し、
第２の動作情報に基づいて、第２の機械学習モデルを用いて、機器の動作環境を表す第２の画像における機器の領域を特定し、
機器の領域と、対象物の領域とを比較し、
比較する処理の結果に基づいて、機器の回避動作を実行する、
処理を実行する制御部を有することを特徴とする動作制御装置。

【0088】

（付記１４）機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、第１の画像より解像度の低い第２の画像から機器の領域を特定する処理を含むことを特徴とする付記１３に記載の動作制御装置。

【0089】

（付記１５）機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、機器を示す画素と機器以外を示す画素とが２値化された、第２の画像から機器の領域を特定する処理を含むことを特徴とする付記１４に記載の動作制御装置。

【0090】

（付記１６）機器の領域と、対象物の領域とを比較する処理は、第２の画像における機器の領域の位置と第１の画像における対象物の領域の位置との重なりの有無を判定する処理を含み、
機器の回避動作を実行する処理は、重なりが有ると判定した場合、機器の回避動作を実行する処理を含む、
ことを特徴とする付記１３に記載の動作制御装置。

【0091】

（付記１７）機器の領域と、対象物の領域とを比較する処理は、第２の画像における機器の領域の位置と第１の画像における対象物の領域の位置との最短距離を測定する処理を含み、
機器の回避動作を実行する処理は、最短距離が所定の閾値以下の場合、機器の回避動作を実行する処理を含む、
ことを特徴とする付記１３に記載の動作制御装置。

【0092】

（付記１８）対象物の領域を特定する処理は、それぞれが異なる複数の方向から機器の動作環境を撮像した複数の第１の画像における対象物の領域を特定する処理を含み、
機器の領域を特定する処理は、それぞれが複数の方向から機器の動作環境を表す複数の第２の画像における機器の領域を特定する処理を含むことを特徴とする付記１３に記載の動作制御装置。

【0093】

（付記１９）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた動作制御装置であって、プロセッサは、
第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定する第１の特定部と、
第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成する生成部と、
第２の動作情報に基づいて、第２の機械学習モデルを用いて、機器の動作環境を表す第２の画像における機器の領域を特定する第２の特定部と、
機器の領域と、対象物の領域とを比較する比較部と、
比較する処理の結果に基づいて、機器の回避動作を実行する実行部と
を有することを特徴とする動作制御装置。

【符号の説明】

【0094】

１ 動作制御システム
１０ 動作制御装置
２０ 通信部
３０ 記憶部
３１ 姿勢情報
３２ 画像ＤＢ
３３ 機械学習モデルＤＢ
４０ 制御部
４１ 特定部
４２ 生成部
４３ 比較部
４４ 実行部
５０ 物体検出器
６０ ニューラルネットワーク
７０ データセット
１００ ロボットアーム
１５０ 対象物
２００ カメラ装置
３００、３３０ 撮像画像
３１０、３２０、３４０、３５０ マスク画像
４００～４３０ 合成画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】