(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】動作制御プログラム、動作制御方法、および動作制御装置
(51)【国際特許分類】
B25J 19/06 20060101AFI20241008BHJP
B25J 13/08 20060101ALI20241008BHJP
【ＦＩ】
B25J19/06
B25J13/08 A
【請求項の数】
8
(21)【出願番号】P 2020187982
(22)【出願日】2020-11-11
(65)【公開番号】P2022077229
(43)【公開日】2022-05-23
【審査請求日】2023-07-07
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】横田 泰斗
(72)【発明者】
【氏名】鈴木 彼方
【審査官】神山 貴行
(56)【参考文献】
【文献】国際公開第２０２０／１４１５７９（ＷＯ，Ａ１）
【文献】特開２０１９－２１４０８４（ＪＰ，Ａ）
【文献】特開２０２０－０１１３２６（ＪＰ，Ａ）
【文献】特開平０５－１０４４６５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００－２１／０２
(57)【特許請求の範囲】
【請求項1】
機器の動作環境の中に複数の三角錐を連ねた場合のそれぞれの三角錐の頂点に対応する位置関係にある複数の点の位置情報と前記複数の点が動作位置となる前記機器の動作状態を表す動作情報とを関連付けた基準情報を記憶し、前記機器の前記動作環境に含まれる対象物の位置を検知し、
前記機器の前記動作位置と前記対象物の位置とに基づいて、前記機器の動作経路を特定し、
前記特定した前記動作経路上に一定間隔の点を設定し、
前記一定間隔の点のそれぞれにおける動作情報を前記基準情報から線形補間することで算出する処理を、前記一定間隔の点すべてに対して行うことで、前記動作経路に沿って動作するような第１の動作情報を生成し、
前記第１の動作情報に基づいて、前記機器を制御する、
処理をコンピュータに実行させることを特徴とする動作制御プログラム。
【請求項2】
前記動作経路を特定する処理は、前記複数の点の位置情報と前記対象物の位置とに基づいて、前記複数の点の各々と前記対象物との距離を算出し、
前記距離が閾値以下である前記点の位置情報と、前記機器の動作位置とに基づいて、前記動作経路を特定する、
処理を含むことを特徴とする請求項１に記載の動作制御プログラム。
【請求項3】
前記複数の点は、前記機器の動作範囲内の空間に設定されることを特徴とする請求項１に記載の動作制御プログラム。
【請求項4】
前記機器の動作位置と前記複数の点の位置情報に基づいて、前記複数の点の第１の点に前記機器の特定の部位が位置する時の第１の動作情報を取得し、前記第１の点の位置情報と前記第１の動作情報とに基づいて、前記基準情報を生成する、
処理を前記コンピュータにさらに実行させることを特徴とする請求項１に記載の動作制御プログラム。
【請求項5】
前記対象物の位置を検知する処理は、前記動作環境を少なくとも１つの方向から撮像した画像における前記対象物の領域を特定する処理を含むことを特徴とする請求項１に記載の動作制御プログラム。
【請求項6】
前記対象物の位置を検知する処理は、前記動作環境から前記対象物が無くなったことを検知する処理を含み、前記動作環境から前記対象物が無くなったことが検知された場合、前記機器の通常の動作状態を表すものとして予め設定された第２の動作情報に基づいて、前記機器を制御する処理を前記コンピュータにさらに実行させることを特徴とする請求項１に記載の動作制御プログラム。
【請求項7】
コンピュータが、機器の動作環境の中に複数の三角錐を連ねた場合のそれぞれの三角錐の頂点に対応する位置関係にある複数の点の位置情報と前記複数の点が動作位置となる前記機器の動作状態を表す動作情報とを関連付けた基準情報を記憶し、
前記機器の前記動作環境に含まれる対象物の位置を検知し、
前記機器の前記動作位置と前記対象物の位置とに基づいて、前記機器の動作経路を特定し、
前記特定した前記動作経路上に一定間隔の点を設定し、
前記一定間隔の点のそれぞれにおける動作情報を前記基準情報から線形補間することで算出する処理を、前記一定間隔の点すべてに対して行うことで、前記動作経路に沿って動作するような第１の動作情報を生成し、
前記第１の動作情報に基づいて、前記機器を制御する、
処理を実行することを特徴とする動作制御方法。
【請求項8】
機器の動作環境の中に複数の三角錐を連ねた場合のそれぞれの三角錐の頂点に対応する位置関係にある複数の点の位置情報と、前記複数の点が動作位置となる前記機器の動作状態を表す動作情報とを関連付けた基準情報を記憶する記憶部と、前記機器の前記動作環境に含まれる対象物の位置を検知する検知部と、
前記機器の前記動作位置と前記対象物の位置とに基づいて、前記機器の動作経路を特定する特定部と、
前記特定部によって特定された前記動作経路上に一定間隔の点を設定し、前記一定間隔の点のそれぞれにおける動作情報を前記基準情報から線形補間することで算出する処理を、前記一定間隔の点すべてに対して行うことで、前記動作経路に沿って動作するような第１の動作情報を生成する生成部と、
前記第１の動作情報に基づいて、前記機器を制御する機器制御部と
を有することを特徴とする動作制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動作制御技術に関する。
【背景技術】
【0002】
近年、産業用ロボットアームに動作を教えるティーチング作業を減らすために、ロボットアームの姿勢制御に、深層強化学習や回帰型ニューラルネットワークなどの機械学習技術を適用して自動化する研究が進んでいる。深層強化学習では訓練に大きなコスト（多数の試行）や長い時間がかかる。そのため、コストや訓練時間に制約がある場合は、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ）やＬｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ（ＬＳＴＭ）などの回帰型ニューラルネットワークを用いた手法が利用されている。
【0003】
一方、人間との協働を想定したロボットアームの開発が進んでおり、ロボットアームと他の物体との衝突を防ぐ技術が必要となっている。そこで、カメラ画像やセンサーにより、障害物を検知して３次元位置座標（ｘ，ｙ，ｚ）を特定し、ロボットアームと障害物との衝突を防ぐ技術がある。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－０８９７２８号公報
【文献】特開２０２０－０６２７０１号公報
【文献】米国特許出願公開第２０１９／００９１８６４号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ロボットアームの軌道は、事前設定した、または機械学習させた動作の姿勢情報により決定されているため、予期せぬ障害物の回避など、事前設定や機械学習されていないイレギュラーな動作を行うことはできない。そのため、障害物検知時は一律にロボットアームの動作を緊急停止せざるを得ず、不必要な再稼働のための作業負担や時間がかかってしまう問題がある。
【0006】
１つの側面では、障害物を回避するロボットアームの軌道を生成できる動作制御プログラム、動作制御方法、および動作制御装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
１つの態様において、動作制御プログラムは、コンピュータに、機器の動作環境に含まれる対象物の位置を検知し、機器の動作位置と対象物の位置とに基づいて、機器の動作経路を特定し、動作環境に含まれる複数の点の位置情報と、複数の点が動作位置となる機器の動作状態を表す動作情報とを関連付けた基準情報と、動作経路とに基づいて、第１の動作情報を生成し、第１の動作情報に基づいて、機器を制御する処理を実行させる。
【発明の効果】
【0008】
１つの側面では、障害物を回避するロボットアームの軌道を生成できる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下に、本実施形態に係る動作制御プログラム、動作制御方法、および動作制御装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【0011】
まず、本実施形態を実施するための動作制御システムについて説明する。図１は、動作制御システムの構成例を示す図である。図１に示すように、動作制御システム１は、動作制御装置１０と、ロボットアーム１００およびカメラ装置２００とが相互に通信可能に接続されるシステムである。なお、各装置の通信は、通信ケーブルを介して行われてもよいし、イントラネットなどの各種通信網を介して行われてもよい。また、通信方式は、有線および無線のいずれであってもよい。
【0012】
動作制御装置１０は、例えば、ロボットアーム１００を管理する管理者によって使用されるデスクトップＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。動作制御装置１０は、ロボットアーム１００の動作環境において対象物を検知し、対象物を回避するロボットアーム１００の動作経路および動作情報を生成し、ロボットアーム１００を制御する。なお、ロボットアーム１００の動作環境において検知される対象物を、実際にロボットアーム１００と衝突する可能性があるか否かに関わらず障害物と表現する場合がある。
【0013】
なお、図１では、動作制御装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。また、動作制御装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドサーバ装置であってもよい。
【0014】
ロボットアーム１００は、例えば、産業用のロボットアームであり、より具体的には、工場や倉庫などで物品をピックアップ（把持）して移動させるピッキングロボットである。図２は、６軸ロボットアームの一例を示す図である。図２の例では、ロボットアーム１００は、Ｊ１～Ｊ６の６つの関節を持ち、各関節のＪ１～Ｊ６軸を中心に回転動作する。ロボットアーム１００は、動作制御装置１０によって、時間ごとの姿勢情報、すなわち、各関節の軸の角度の変化が入力されることで、アームの軌道が決定され、所定の動作をするように制御される。なお、ロボットアーム１００の軸数は、６軸に限られず、５軸や７軸など、６軸よりも少なくても多くてもよい。
【0015】
カメラ装置２００は、ロボットアーム１００の動作環境、すなわち、ロボットアーム１００が動作し得る範囲を、ロボットアーム１００の側面や上部から撮像する。カメラ装置２００は、ロボットアーム１００の稼働中、リアルタイムで動作環境を撮像し、撮像された画像は、動作制御装置１０に送信される。なお、図１では、カメラ装置２００は１台しか示されていないが、複数のカメラ装置２００によって、ロボットアーム１００の側面および上部などの複数の方向から動作環境が撮像されてもよい。
【0016】
［動作制御装置１０の機能構成］
次に、図１に示した動作制御装置１０の機能構成について説明する。図３は、動作制御装置の構成例を示す図である。図３に示すように、動作制御装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
次に、図１に示した動作制御装置１０の機能構成について説明する。図３は、動作制御装置の構成例を示す図である。図３に示すように、動作制御装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
【0017】
通信部２０は、ロボットアーム１００やカメラ装置２００など、他の装置との間の通信を制御する処理部であり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェースや、ネットワークインタフェースカードなどの通信インタフェースである。
【0018】
記憶部３０は、各種データや、制御部４０が実行するプログラムを記憶する記憶装置の一例であり、例えば、メモリやハードディスクなどである。記憶部３０は、位置情報３１、姿勢情報３２、画像ＤＢ３３、および機械学習モデルＤＢ３４などを記憶する。
【0019】
位置情報３１は、ロボットアーム１００の動作範囲内の空間に予め設定される複数の架空の点の３次元位置情報を記憶する。架空の点とは、例えば、ロボットアーム１００の動作範囲内の空間を埋めるように所定の大きさの三角錐を並べて配置した際の各三角錐の頂点である。
【0020】
姿勢情報３２は、ロボットアーム１００の動作を制御するための情報であり、ロボットアーム１００の各関節の軸の角度を示す情報を記憶する。ロボットアーム１００の動作環境において障害物が検知されない場合の通常動作の姿勢情報３２は、予め作成されているか、または機械学習モデルによって次の動作の姿勢情報３２が決定される。また、姿勢情報３２は、例えば、図２に示す６軸ロボットアームの場合、各関節のＪ１～Ｊ６軸の各角度をｍ１～ｍ６によって示す。また、姿勢情報３２は、例えば、位置情報３１によって示される架空の点の各々にロボットアーム１００の先端が位置する時の姿勢情報を記憶する。
【0021】
画像ＤＢ３３は、カメラ装置２００によって撮像されたロボットアーム１００の動作環境の撮像画像を記憶する。また、画像ＤＢ３３は、当該撮像画像を物体検出器に入力することで出力される、障害物の領域を示すマスク画像を記憶する。
【0022】
機械学習モデルＤＢ３４は、例えば、ロボットアーム１００の動作環境の撮像画像を特徴量とし、障害物の領域を示すマスク画像を正解ラベルとして機械学習により生成された物体検出器を構築するためのモデルパラメータや物体検出器のための訓練データを記憶する。
【0023】
また、機械学習モデルＤＢ３４は、例えば、現在の姿勢情報３２を特徴量とし、未来の姿勢情報３２を正解ラベルとして機械学習により生成されたＲＮＮを構築するためのモデルパラメータや、当該ＲＮＮのための訓練データを記憶する。
【0024】
なお、記憶部３０に記憶される上記情報はあくまでも一例であり、記憶部３０は、上記情報以外にも様々な情報を記憶できる。
【0025】
制御部４０は、動作制御装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部４０は、検知部４１、特定部４２、生成部４３、および機器制御部４４を備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
【0026】
検知部４１は、ロボットアーム１００などの機器の動作環境に含まれる対象物の位置を検知する。より具体的には、検知部４１は、ロボットアーム１００などの機器の動作環境を機器の側面や上部など少なくとも１つの方向からカメラ装置２００を用いて撮像した画像における対象物の領域を特定し、対象物の位置を検知できる。なお、対象物の領域は、例えば、ロボットアーム１００の動作環境の撮像画像を特徴量とし、障害物の領域を示すマスク画像を正解ラベルとして機械学習により生成された物体検出器を用いて、出力されるマスク画像から特定できる。
【0027】
また、複数のカメラ装置２００によって、機器の側面および上部などの複数の方向から動作環境を撮像でき、この場合、検知部４１は、それぞれの方向から撮像した各画像において対象物の領域を特定し、対象物の位置を検知する。なお、複数のカメラ装置２００によって、機器の側面および上部などの複数の方向から動作環境を撮像することにより、検知部４１は、それぞれの方向から撮像した各画像において対象物の領域を特定して対象物の位置を立体的に検知することもできる。
【0028】
また、検知部４１は、ロボットアーム１００などの機器の動作環境から対象物が無くなったことを検知する。これにより、対象物を回避するように動作させていた機器の動作を通常の動作に戻すことができる。
【0029】
特定部４２は、ロボットアーム１００などの機器の動作位置と対象物の位置とに基づいて、機器の動作経路を特定する。より具体的には、例えば、特定部４２は、ロボットアーム１００の動作範囲内の空間に予め設定される複数の架空の点の位置情報３１と、検知部４１によって検知された対象物の位置とに基づいて、複数の架空の点の各々と対象物との距離を算出する。そして、特定部４２は、算出した距離が所定の閾値以下である架空の点の位置情報によって、対象物を含む所定の領域を経路探索不可の領域として、当該領域を回避するように、機器の動作位置に基づいて機器の動作経路を特定する。
【0030】
生成部４３は、複数の架空の点の位置情報３１と架空の点が動作位置となる機器の動作状態を表す動作情報である姿勢情報３２とを関連付けた基準情報と、特定部４２によって特定された動作経路とに基づいて、動作経路に沿って動作するよう姿勢情報３２を生成する。これは、例えば、特定された動作経路上に一定間隔で点を設定し、複数の架空の点の位置情報３１と架空の点が動作位置となる機器の姿勢情報３２とを関連付けた基準情報に基づいて、一定間隔の点が動作位置となる機器の姿勢情報３２を補間して算出する。
【0031】
機器制御部４４は、生成部４３によって生成された姿勢情報３２に基づいて、ロボットアーム１００などの機器を制御する。これにより、機器は、対象物を回避するように動作できる。また、検知部４１によって、機器の動作環境から対象物が無くなったことが検知された場合、機器制御部４４は、通常動作の姿勢情報３２に戻して機器を制御する。通常動作の姿勢情報３２とは、上述したように、予め作成され設定された、または機械学習モデルによって決定された、障害物が検知されない場合の動作をするための姿勢情報３２である。
【0032】
［機能詳細］
次に、各機能を図４～７を用いて詳細に説明する。まず、検知部４１による、ロボットアーム１００などの機器の動作環境を撮像した画像における対象物の領域特定について説明する。図４は、対象物の領域特定の一例を示す図である。撮像画像３００は、ロボットアーム１００の動作環境をロボットアーム１００の側面からカメラ装置２００で撮像した画像である。撮像画像３００には、ロボットアーム１００の他、障害物となり得る対象物１５０が写っている。
次に、各機能を図４～７を用いて詳細に説明する。まず、検知部４１による、ロボットアーム１００などの機器の動作環境を撮像した画像における対象物の領域特定について説明する。図４は、対象物の領域特定の一例を示す図である。撮像画像３００は、ロボットアーム１００の動作環境をロボットアーム１００の側面からカメラ装置２００で撮像した画像である。撮像画像３００には、ロボットアーム１００の他、障害物となり得る対象物１５０が写っている。
【0033】
図４に示す物体検出器５０は、ロボットアーム１００の動作環境の撮像画像を特徴量とし、対象物の領域を示すマスク画像を正解ラベルとして機械学習により生成されたものある。物体検出器５０は、例えば、物体検出アルゴリズムのＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）を用いて、画像から対象物を検出する。
【0034】
図４では、撮像画像３００を物体検出器５０に入力することで、出力されるマスク画像３１０を取得する。マスク画像３１０は、例えば、対象物１５０の画素１５０´と、それ以外の画素を２値化表現したものであり、これにより特定部４２は、対象物１５０を特定することができる。また、図４に示すように、マスク画像３１０の解像度を、撮像画像３００の解像度より下げることで、マスク画像３１０に対する動作制御装置１０の処理負荷を軽減させることができる。
【0035】
次に、ロボットアーム１００などの機器の動作範囲内の空間に予め設定される架空の点について説明する。図５は、ロボットアームの動作範囲と架空の点の一例を示す図である。図５は、ロボットアーム１００の動作環境を上部から見たイメージを示しており、動作範囲４００が、ロボットアーム１００が動作し得る範囲を示す。すなわち、動作範囲４００内に何らかの物体があると、ロボットアーム１００と物体とが衝突する可能性が出てくる。
【0036】
そこで、障害物となり得る物体の位置を検知するなどのために、動作範囲４００内の空間を埋めるように、例えば、所定の大きさの三角錐を並べて配置し、各三角錐の頂点である架空の点４１０を設定して各点の位置情報３１を記憶する。なお、図５の例では、三角錐を上部から見ているため三角形として示しているが、三角錐という用語を用いて説明する。また、手動操作によって、例えば、ロボットアーム１００の先端が架空の点４１０の各々に位置する時のロボットアーム１００の姿勢情報３２を予め取得し、記憶しておく。ここで取得した姿勢情報３２は、後述する、障害物を回避するための動作経路の特定に用いる。また、姿勢情報３２の取得の際、ロボットアーム１００を、三角錐の辺を渦巻き状に一筆書きするように操作することにより、隣接する架空の点４１０の姿勢情報３２同士の差が大きくなり過ぎないようにすることができる。
【0037】
なお、三角錐の１辺の長さを、例えば、２０ｃｍ（センチメートル）とすることができるが、１辺の長さがこの長さに限定されるわけではない。また、図５に示されるような三角錐や架空の点４１０は、動作制御装置１０が空間上の位置を認識するために、あくまでも仮想的に設定されるものであり、物理的に空間上に何かを配置するという意味ではない。また、配置する形は三角錐に限定されず、立方体など別の図形であってもよい。
【0038】
また、図５の例では、ロボットアーム１００の動作環境を上部から見たイメージを示しているが、別の方向、例えば、側面から見た動作範囲４００に対し架空の点４１０を設定してもよい。さらに、例えば、側面および上部などの複数の方向から見た動作範囲４００に架空の図形や架空の点４１０を設定することで、動作制御装置１０は、ロボットアーム１００などの機器の動作範囲４００内の位置を立体的に認識できる。
【0039】
次に、特定部４２による、障害物を回避するための動作経路の特定について説明する。図６は、障害物を回避する動作経路特定の一例を示す図である。特定部４２は、ロボットアーム１００の動作範囲４００内の空間に予め設定される架空の点４１０の位置情報３１と、検知部４１によって検知された対象物である障害物４２０の位置とに基づいて、架空の点４１０の各々と障害物４２０との距離を算出する。次に、特定部４２は、算出した距離が、例えば、１０ｃｍなど、所定の閾値以下である架空の点４１０の位置情報３１によって、障害物４２０を含む所定の領域を経路探索不可の領域４３０に定める。経路探索不可の領域４３０は、図６の例では、図６の右側に示されるように、障害物４２０を含む六角形の領域である。すなわち、図６の例では、この六角形を構成する三角錐の各頂点が、所定の閾値以下である架空の点４１０である。そして、特定部４２は、ＲＲＴ（Ｒａｐｉｄｌｙ－ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅ）やダイクストラ法などの経路計画手法を用いて、経路探索不可の領域４３０を回避するように、ロボットアーム１００の目標位置への動作経路４４０を特定する。
【0040】
次に、生成部４３による、動作経路上の姿勢情報生成について説明する。図７は、動作経路上の姿勢情報生成の一例を示す図である。図７の左側に示すように、生成部４３は、特定部４２に特定された動作経路４４０上に、例えば、５ｃｍなど、一定間隔で点４５０を設定する。
【0041】
そして、生成部４３は、ロボットアーム１００の先端が点４５０に位置する時のロボットアーム１００の姿勢情報３２を、予め取得された、ロボットアーム１００の先端が架空の点４１０の各々に位置する時のロボットアーム１００の姿勢情報３２から生成する。より具体的に説明するため、点４５０の各々を図７の右側に示すように点４５０－１～３とする。生成部４３は、点４５０－１を含む三角錐の頂点であり、図７の右側ではＡ～Ｃで示される架空の点４１０に対応する姿勢情報３２の各々を、線形補間などの手法で補間することにより、点４５０－１に対応する姿勢情報３２を生成する。同様に、点４５０－２および点４５０－３に対応する姿勢情報３２も、それぞれの点を含む三角錐の頂点である架空の点４１０に対応する姿勢情報３２を補間することにより生成される。なお、補間の手法は、線形補間に限定されず、それ以外の手法であってよい。また、生成部４３が姿勢情報３２を生成する際に基準とするロボットアーム１００の部位は先端以外の部位であってもよい。
【0042】
［処理の流れ］
次に、動作制御装置１０によって実行されるロボットアーム１００などの機器の動作制御処理の流れを説明する。図８は、動作制御処理の流れを示すフローチャートである。図８に示す動作制御処理は、動作制御装置１０が実行主体であり、機器が対象物を回避して動作するために、機器の稼働中、リアルタイムに実行される。そのため、カメラ装置２００によって稼働中の機器の動作環境が常時撮像され、撮像された画像は、動作制御装置１０に送信される。
次に、動作制御装置１０によって実行されるロボットアーム１００などの機器の動作制御処理の流れを説明する。図８は、動作制御処理の流れを示すフローチャートである。図８に示す動作制御処理は、動作制御装置１０が実行主体であり、機器が対象物を回避して動作するために、機器の稼働中、リアルタイムに実行される。そのため、カメラ装置２００によって稼働中の機器の動作環境が常時撮像され、撮像された画像は、動作制御装置１０に送信される。
【0043】
まず、図８に示すように、動作制御装置１０は、機器の動作環境に含まれる対象物の位置を検知する（ステップＳ１０１）。なお、機器の動作環境において対象物が検知されるまで、機器は、対象物が検知されない場合の通常動作の姿勢情報３２に基づいて制御されている。また、対象物の位置の検知は、例えば、物体検出器５０を用いて、稼働中の機器の動作環境が撮像された撮像画像における対象物の領域を特定することにより行われる。当該撮像画像は、カメラ装置２００から送信された最新、すなわち、現在時刻の撮像画像である。また、撮像画像が機器の側面や上部など複数の方向から撮像され複数ある場合、動作制御装置１０は、各画像において対象物の領域を特定し、対象物の位置を検知する。
【0044】
次に、動作制御装置１０は、機器の動作範囲内の空間に予め設定される架空の点の位置情報３１と、ステップＳ１０１で検知した対象物の位置とに基づいて、架空の点の各々と対象物との距離を算出する（ステップＳ１０２）。
【0045】
次に、動作制御装置１０は、ステップＳ１０２で算出した距離が所定の閾値以下である架空の点の位置情報３１によって対象物を含む所定の領域を経路探索不可の領域に定め、当該領域を回避する、機器の目標位置への動作経路を特定する（ステップＳ１０３）。
【0046】
次に、動作制御装置１０は、ステップＳ１０３で特定した動作経路上に一定間隔で点を設定し、各点に機器の特定の部位が位置する時の姿勢情報を、架空の点に機器の特定の部位が位置する時の姿勢情報から生成する（ステップＳ１０４）。各点に対応する姿勢情報は、例えば、動作経路上の各点を含む図形を形成する架空の点に対応する姿勢情報を補間することにより生成される。
【0047】
次に、動作制御装置１０は、ステップＳ１０４で生成した動作経路上の各点に対応する姿勢情報に基づいて、機器を制御する（ステップＳ１０５）。これにより、機器の動作環境において検知された対象物を回避して機器を動作させることできる。なお、ステップＳ１０５の実行後、図８に示す動作制御処理は終了するが、動作制御装置１０はさらに、機器の動作環境から対象物が無くなったことを検知し、対象物が検知されない場合の通常動作の姿勢情報に基づいて機器の動作を通常動作に戻すこともできる。
【0048】
［効果］
上述したように、動作制御装置１０は、ロボットアーム１００などの機器の動作環境に含まれる対象物１５０の位置を検知し、機器の動作位置と対象物１５０の位置とに基づいて、機器の動作経路４４０を特定し、動作環境に含まれる複数の点の位置情報３１と、複数の点が動作位置となる機器の動作状態を表す動作情報とを関連付けた基準情報と、動作経路４４０とに基づいて、第１の動作情報を生成し、第１の動作情報に基づいて、機器を制御する。
上述したように、動作制御装置１０は、ロボットアーム１００などの機器の動作環境に含まれる対象物１５０の位置を検知し、機器の動作位置と対象物１５０の位置とに基づいて、機器の動作経路４４０を特定し、動作環境に含まれる複数の点の位置情報３１と、複数の点が動作位置となる機器の動作状態を表す動作情報とを関連付けた基準情報と、動作経路４４０とに基づいて、第１の動作情報を生成し、第１の動作情報に基づいて、機器を制御する。
【0049】
このように、動作制御装置１０は、ロボットアーム１００などの機器の動作環境において検知された対象物１５０の位置と機器の動作位置とに基づいて機器の動作経路４４０を特定する。そして、特定された動作経路４４０と、動作範囲４００内の空間に予め設定される架空の点４１０の位置情報３１と、架空の点４１０が動作位置となる機器の動作情報である姿勢情報３２とに基づいて、対象物１５０を回避する姿勢情報３２を生成し機器を制御する。これにより、動作制御装置１０は、障害物４２０となり得る対象物１５０を回避するロボットアーム１００の軌道を生成できる。
【0050】
また、動作制御装置１０によって実行される、動作経路４４０を特定する処理は、複数の点の位置情報３１と対象物１５０の位置とに基づいて、複数の点の各々と対象物１５０との距離を算出し、距離が閾値以下である点の位置情報３１と、機器の動作位置とに基づいて、動作経路４４０を特定する処理を含む。
【0051】
これにより、動作制御装置１０は、障害物４２０となり得る対象物１５０をより効率的かつ正確に回避するロボットアーム１００の軌道を生成できる。
【0052】
また、動作制御装置１０によって実行される、第１の動作情報を生成する処理は、動作経路４４０上に一定間隔の点を設定し、基準情報に基づいて、一定間隔の点が動作位置となる機器の動作状態を表す第１の動作情報を算出する処理を含む。
【0053】
これにより、動作制御装置１０は、障害物４２０となり得る対象物１５０をより正確に回避するロボットアーム１００の軌道を生成できる。
【0054】
また、複数の点は、機器の動作範囲４００内の空間に設定される。
【0055】
これにより、動作制御装置１０は、障害物４２０となり得る対象物１５０をより正確に回避するロボットアーム１００の軌道を生成できる。
【0056】
また、複数の点のそれぞれは、複数の三角錐を連ねた場合のそれぞれの三角錐の頂点に対応する位置関係にある。
【0057】
これにより、動作制御装置１０は、障害物４２０となり得る対象物１５０をより正確に回避するロボットアーム１００の軌道を生成できる。
【0058】
また、動作制御装置１０はさらに、機器の動作位置と複数の点の位置情報３１に基づいて、複数の点の第１の点に機器の特定の部位が位置する時の第１の動作情報を取得し、第１の点の位置情報と第１の動作情報とに基づいて、基準情報を生成する。
【0059】
これにより、動作制御装置１０は、障害物４２０となり得る対象物１５０をより正確に回避するロボットアーム１００の軌道を生成できる。
【0060】
また、動作制御装置１０によって実行される、対象物１５０の位置を検知する処理は、動作環境を少なくとも１つの方向から撮像した画像における対象物１５０の領域を特定する処理を含む。
【0061】
これにより、動作制御装置１０は、障害物４２０となり得る対象物１５０をより正確に検知し、回避するロボットアーム１００の軌道を生成できる。
【0062】
また、動作制御装置１０によって実行される、対象物１５０の位置を検知する処理は、動作環境から対象物１５０が無くなったことを検知する処理を含み、動作制御装置１０はさらに、動作環境から対象物１５０が無くなったことが検知された場合、機器の通常の動作状態を表すものとして予め設定された第２の動作情報に基づいて、機器を制御する。
【0063】
これにより、動作制御装置１０は、より効率的にロボットアーム１００を動作させることができる。
【0064】
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更できる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更できる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更できる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更できる。
【0065】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成できる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0066】
［ハードウェア］
図９は、ハードウェア構成例を説明する図である。図９に示すように、動作制御装置１０は、通信インタフェース１０ａ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図９に示した各部は、バスなどで相互に接続される。
図９は、ハードウェア構成例を説明する図である。図９に示すように、動作制御装置１０は、通信インタフェース１０ａ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図９に示した各部は、バスなどで相互に接続される。
【0067】
通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図３に示した機能を動作させるプログラムやＤＢを記憶する。
【0068】
プロセッサ１０ｄは、図３に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図３などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、動作制御装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、検知部４１、特定部４２、生成部４３、および機器制御部４４などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、検知部４１、特定部４２、生成部４３、および機器制御部４４などと同様の処理を実行するプロセスを実行する。
【0069】
このように動作制御装置１０は、図３に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、動作制御装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、動作制御装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態を同様に適用できる。
【0070】
また、図３に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
【0071】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【0072】
（付記１）機器の動作環境に含まれる対象物の位置を検知し、
機器の動作位置と対象物の位置とに基づいて、機器の動作経路を特定し、
動作環境に含まれる複数の点の位置情報と、複数の点が動作位置となる機器の動作状態を表す動作情報とを関連付けた基準情報と、動作経路とに基づいて、第１の動作情報を生成し、
第１の動作情報に基づいて、機器を制御する
処理をコンピュータに実行させることを特徴とする動作制御プログラム。
機器の動作位置と対象物の位置とに基づいて、機器の動作経路を特定し、
動作環境に含まれる複数の点の位置情報と、複数の点が動作位置となる機器の動作状態を表す動作情報とを関連付けた基準情報と、動作経路とに基づいて、第１の動作情報を生成し、
第１の動作情報に基づいて、機器を制御する
処理をコンピュータに実行させることを特徴とする動作制御プログラム。
【0073】
（付記２）動作経路を特定する処理は、
複数の点の位置情報と対象物の位置とに基づいて、複数の点の各々と対象物との距離を算出し、
距離が閾値以下である点の位置情報と、機器の動作位置とに基づいて、動作経路を特定する、
処理を含むことを特徴とする付記１に記載の動作制御プログラム。
複数の点の位置情報と対象物の位置とに基づいて、複数の点の各々と対象物との距離を算出し、
距離が閾値以下である点の位置情報と、機器の動作位置とに基づいて、動作経路を特定する、
処理を含むことを特徴とする付記１に記載の動作制御プログラム。
【0074】
（付記３）第１の動作情報を生成する処理は、
動作経路上に一定間隔の点を設定し、
基準情報に基づいて、一定間隔の点が動作位置となる機器の動作状態を表す第１の動作情報を算出する、
処理を含むことを特徴とする付記１に記載の動作制御プログラム。
動作経路上に一定間隔の点を設定し、
基準情報に基づいて、一定間隔の点が動作位置となる機器の動作状態を表す第１の動作情報を算出する、
処理を含むことを特徴とする付記１に記載の動作制御プログラム。
【0075】
（付記４）複数の点は、機器の動作範囲内の空間に設定されることを特徴とする付記１に記載の動作制御プログラム。
【0076】
（付記５）複数の点のそれぞれは、複数の三角錐を連ねた場合のそれぞれの三角錐の頂点に対応する位置関係にあることを特徴とする付記１に記載の動作制御プログラム。
【0077】
（付記６）機器の動作位置と複数の点の位置情報に基づいて、複数の点の第１の点に機器の特定の部位が位置する時の第１の動作情報を取得し、第１の点の位置情報と第１の動作情報とに基づいて、基準情報を生成する処理をコンピュータにさらに実行させることを特徴とする付記１に記載の動作制御プログラム。
【0078】
（付記７）対象物の位置を検知する処理は、動作環境を少なくとも１つの方向から撮像した画像における対象物の領域を特定する処理を含むことを特徴とする付記１に記載の動作制御プログラム。
【0079】
（付記８）対象物の位置を検知する処理は、動作環境から対象物が無くなったことを検知する処理を含み、
動作環境から対象物が無くなったことが検知された場合、機器の通常の動作状態を表すものとして予め設定された第２の動作情報に基づいて、機器を制御する処理をコンピュータにさらに実行させることを特徴とする付記１に記載の動作制御プログラム。
動作環境から対象物が無くなったことが検知された場合、機器の通常の動作状態を表すものとして予め設定された第２の動作情報に基づいて、機器を制御する処理をコンピュータにさらに実行させることを特徴とする付記１に記載の動作制御プログラム。
【0080】
（付記９）コンピュータが、
機器の動作環境に含まれる対象物の位置を検知し、
機器の動作位置と対象物の位置とに基づいて、機器の動作経路を特定し、
動作環境に含まれる複数の点の位置情報と、複数の点が動作位置となる機器の動作状態を表す動作情報とを関連付けた基準情報と、動作経路とに基づいて、第１の動作情報を生成し、
第１の動作情報に基づいて、機器を制御する
処理を実行することを特徴とする動作制御方法。
機器の動作環境に含まれる対象物の位置を検知し、
機器の動作位置と対象物の位置とに基づいて、機器の動作経路を特定し、
動作環境に含まれる複数の点の位置情報と、複数の点が動作位置となる機器の動作状態を表す動作情報とを関連付けた基準情報と、動作経路とに基づいて、第１の動作情報を生成し、
第１の動作情報に基づいて、機器を制御する
処理を実行することを特徴とする動作制御方法。
【0081】
（付記１０）動作経路を特定する処理は、
複数の点の位置情報と対象物の位置とに基づいて、複数の点の各々と対象物との距離を算出し、
距離が閾値以下である点の位置情報と、機器の動作位置とに基づいて、動作経路を特定する、
処理を含むことを特徴とする付記９に記載の動作制御方法。
複数の点の位置情報と対象物の位置とに基づいて、複数の点の各々と対象物との距離を算出し、
距離が閾値以下である点の位置情報と、機器の動作位置とに基づいて、動作経路を特定する、
処理を含むことを特徴とする付記９に記載の動作制御方法。
【0082】
（付記１１）第１の動作情報を生成する処理は、
動作経路上に一定間隔の点を設定し、
基準情報に基づいて、一定間隔の点が動作位置となる機器の動作状態を表す第１の動作情報を算出する、
処理を含むことを特徴とする付記９に記載の動作制御方法。
動作経路上に一定間隔の点を設定し、
基準情報に基づいて、一定間隔の点が動作位置となる機器の動作状態を表す第１の動作情報を算出する、
処理を含むことを特徴とする付記９に記載の動作制御方法。
【0083】
（付記１２）複数の点は、機器の動作範囲内の空間に設定されることを特徴とする付記９に記載の動作制御方法。
【0084】
（付記１３）複数の点のそれぞれは、複数の三角錐を連ねた場合のそれぞれの三角錐の頂点に対応する位置関係にあることを特徴とする付記９に記載の動作制御方法。
【0085】
（付記１４）コンピュータが、機器の動作位置と複数の点の位置情報に基づいて、複数の点の第１の点に機器の特定の部位が位置する時の第１の動作情報を取得し、第１の点の位置情報と第１の動作情報とに基づいて、基準情報を生成する処理をさらに実行することを特徴とする付記９に記載の動作制御方法。
【0086】
（付記１５）対象物の位置を検知する処理は、動作環境を少なくとも１つの方向から撮像した画像における対象物の領域を特定する処理を含むことを特徴とする付記９に記載の動作制御方法。
【0087】
（付記１６）対象物の位置を検知する処理は、動作環境から対象物が無くなったことを検知する処理を含み、コンピュータが、動作環境から対象物が無くなったことが検知された場合、機器の通常の動作状態を表すものとして予め設定された第２の動作情報に基づいて、機器を制御する処理をさらに実行することを特徴とする付記９に記載の動作制御方法。
【0088】
（付記１７）機器の動作環境に含まれる対象物の位置を検知する検知部と、
機器の動作位置と対象物の位置とに基づいて、機器の動作経路を特定する特定部と、
動作環境に含まれる複数の点の位置情報と、複数の点が動作位置となる機器の動作状態を表す動作情報とを関連付けた基準情報と、動作経路とに基づいて、第１の動作情報を生成する生成部と、
第１の動作情報に基づいて、機器を制御する機器制御部と
を有することを特徴とする動作制御装置。
機器の動作位置と対象物の位置とに基づいて、機器の動作経路を特定する特定部と、
動作環境に含まれる複数の点の位置情報と、複数の点が動作位置となる機器の動作状態を表す動作情報とを関連付けた基準情報と、動作経路とに基づいて、第１の動作情報を生成する生成部と、
第１の動作情報に基づいて、機器を制御する機器制御部と
を有することを特徴とする動作制御装置。
【0089】
（付記１８）動作経路を特定する処理は、
複数の点の位置情報と対象物の位置とに基づいて、複数の点の各々と対象物との距離を算出し、
距離が閾値以下である点の位置情報と、機器の動作位置とに基づいて、動作経路を特定する、
処理を含むことを特徴とする付記１７に記載の動作制御装置。
複数の点の位置情報と対象物の位置とに基づいて、複数の点の各々と対象物との距離を算出し、
距離が閾値以下である点の位置情報と、機器の動作位置とに基づいて、動作経路を特定する、
処理を含むことを特徴とする付記１７に記載の動作制御装置。
【0090】
（付記１９）第１の動作情報を生成する処理は、
動作経路上に一定間隔の点を設定し、
基準情報に基づいて、一定間隔の点が動作位置となる機器の動作状態を表す第１の動作情報を算出する、
処理を含むことを特徴とする付記１７に記載の動作制御装置。
動作経路上に一定間隔の点を設定し、
基準情報に基づいて、一定間隔の点が動作位置となる機器の動作状態を表す第１の動作情報を算出する、
処理を含むことを特徴とする付記１７に記載の動作制御装置。
【0091】
（付記２０）複数の点は、機器の動作範囲内の空間に設定されることを特徴とする付記１７に記載の動作制御装置。
【0092】
（付記２１）複数の点のそれぞれは、複数の三角錐を連ねた場合のそれぞれの三角錐の頂点に対応する位置関係にあることを特徴とする付記１７に記載の動作制御装置。
【0093】
（付記２２）生成部はさらに、機器の動作位置と複数の点の位置情報に基づいて、複数の点の第１の点に機器の特定の部位が位置する時の第１の動作情報を取得し、第１の点の位置情報と第１の動作情報とに基づいて、基準情報を生成することを特徴とする付記１７に記載の動作制御装置。
【0094】
（付記２３）対象物の位置を検知する処理は、動作環境を少なくとも１つの方向から撮像した画像における対象物の領域を特定する処理を含むことを特徴とする付記１７に記載の動作制御装置。
【0095】
（付記２４）対象物の位置を検知する処理は、動作環境から対象物が無くなったことを検知する処理を含み、
機器制御部はさらに、動作環境から対象物が無くなったことが検知された場合、機器の通常の動作状態を表すものとして予め設定された第２の動作情報に基づいて、機器を制御することを特徴とする付記１７に記載の動作制御装置。
機器制御部はさらに、動作環境から対象物が無くなったことが検知された場合、機器の通常の動作状態を表すものとして予め設定された第２の動作情報に基づいて、機器を制御することを特徴とする付記１７に記載の動作制御装置。
【0096】
（付記２５）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた動作制御装置であって、プロセッサは、
機器の動作環境に含まれる対象物の位置を検知する検知部と、
機器の動作位置と対象物の位置とに基づいて、機器の動作経路を特定する特定部と、
動作環境に含まれる複数の点の位置情報と、複数の点が動作位置となる機器の動作状態を表す動作情報とを関連付けた基準情報と、動作経路とに基づいて、第１の動作情報を生成する生成部と、
第１の動作情報に基づいて、機器を制御する機器制御部と
を有することを特徴とする動作制御装置。
プロセッサに動作可能に接続されたメモリと
を備えた動作制御装置であって、プロセッサは、
機器の動作環境に含まれる対象物の位置を検知する検知部と、
機器の動作位置と対象物の位置とに基づいて、機器の動作経路を特定する特定部と、
動作環境に含まれる複数の点の位置情報と、複数の点が動作位置となる機器の動作状態を表す動作情報とを関連付けた基準情報と、動作経路とに基づいて、第１の動作情報を生成する生成部と、
第１の動作情報に基づいて、機器を制御する機器制御部と
を有することを特徴とする動作制御装置。
【符号の説明】
【0097】
１ 動作制御システム
１０ 動作制御装置
２０ 通信部
３０ 記憶部
３１ 位置情報
３２ 姿勢情報
３３ 画像ＤＢ
３４ 機械学習モデルＤＢ
４０ 制御部
４１ 検知部
４２ 特定部
４３ 生成部
４４ 機器制御部
５０ 物体検出器
１００ ロボットアーム
１５０ 対象物
２００ カメラ装置
３００ 撮像画像
３１０ マスク画像
４００ 動作範囲
４１０ 架空の点
４２０ 障害物
４３０ 経路探索不可の領域
４４０ 動作経路
４５０ 点
１０ 動作制御装置
２０ 通信部
３０ 記憶部
３１ 位置情報
３２ 姿勢情報
３３ 画像ＤＢ
３４ 機械学習モデルＤＢ
４０ 制御部
４１ 検知部
４２ 特定部
４３ 生成部
４４ 機器制御部
５０ 物体検出器
１００ ロボットアーム
１５０ 対象物
２００ カメラ装置
３００ 撮像画像
３１０ マスク画像
４００ 動作範囲
４１０ 架空の点
４２０ 障害物
４３０ 経路探索不可の領域
４４０ 動作経路
４５０ 点
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】