特許 7538729 制御装置及び自動作業方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-14

(45)【発行日】2024-08-22

(54)【発明の名称】制御装置及び自動作業方法

(51)【国際特許分類】

   B25J 13/00 20060101AFI20240815BHJP

   B25J 13/08 20060101ALI20240815BHJP

【ＦＩ】

B25J13/00 Z

B25J13/08 A

B25J13/08 Z

【請求項の数】 9

(21)【出願番号】P 2021007903

(22)【出願日】2021-01-21

(65)【公開番号】P2022112193

(43)【公開日】2022-08-02

【審査請求日】2023-05-18

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】小田井 正樹

【審査官】今井 貞雄

(56)【参考文献】

【文献】特開２０１４－１２４７３５（ＪＰ，Ａ）

【文献】特開２０１８－１５８３９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １３／００－１３／０８

(57)【特許請求の範囲】

【請求項1】

作業を行う作業装置の動作を制御する制御装置であって、
前記制御装置は、
前記作業装置、及び、前記作業装置の作業環境のうち、少なくとも一つから得られるセンサデータと、前記作業装置による前記作業の正常な進捗時に得られる正常進捗時センサデータと、に基づいて前記作業の進捗を判定し、前記作業の進捗を示す進捗情報を出力する進捗情報出力部と、
前記進捗情報に基づいて前記作業装置の動作指令を生成して出力する管理部と、
前記管理部から入力された前記動作指令と、前記センサデータとに基づいて前記作業装置を駆動するための駆動信号を生成し、該駆動信号を前記作業装置に出力する制御部と、を備え、
前記進捗情報出力部は、第１の学習モデルを有し、
前記第１の学習モデルは、前記正常進捗時センサデータ及び前記センサデータを入力とし、予め設けられた第１の教師データとの誤差が小さくなるような値の前記進捗情報を出力する
制御装置。

【請求項2】

前記進捗情報出力部は、前記作業の進捗が正常か異常かの情報、前記作業の進捗の種類、前記作業の進捗が異常である場合における前記異常の程度、リカバリ動作の要否、前記リカバリ動作の種類のうち、少なくとも一つを前記進捗情報として出力する
請求項１に記載の制御装置。

【請求項3】

前記第１の学習モデルは、時刻歴の情報を学習可能なモデルで構成される
請求項１又は２に記載の制御装置。

【請求項4】

作業を行う作業装置の動作を制御する制御装置であって、
前記制御装置は、
前記作業装置、及び、前記作業装置の作業環境のうち、少なくとも一つから得られるセンサデータと、前記作業装置による前記作業の正常な進捗時に得られる正常進捗時センサデータと、に基づいて前記作業の進捗を判定し、前記作業の進捗を示す進捗情報を出力する進捗情報出力部と、
前記進捗情報に基づいて前記作業装置の動作指令を生成して出力する管理部と、
前記管理部から入力された前記動作指令と、前記センサデータとに基づいて前記作業装置を駆動するための駆動信号を生成し、該駆動信号を前記作業装置に出力する制御部と、
前記センサデータと前記駆動信号とに基づいて、所定の時間分進めた時点における推定センサデータを生成するセンサデータ推定部と、
前記推定センサデータに対して前記所定の時間分の遅延を加え、遅延後の前記推定センサデータを、前記正常進捗時センサデータとして前記進捗情報出力部に出力する時間遅れ部と、を備える
制御装置。

【請求項5】

前記センサデータ推定部は、第２の学習モデルを有し、
前記第２の学習モデルは、前記駆動信号及び前記センサデータを入力とし、予め設けられた第２の教師データとの誤差が小さくなるような値の推定センサデータを出力する
請求項４に記載の制御装置。

【請求項6】

前記第２の学習モデルは、時刻歴の情報を学習可能なモデルで構成される
請求項５に記載の制御装置。

【請求項7】

前記センサデータ推定部による前記推定センサデータの生成周期は、前記制御部による前記駆動信号の生成周期以上の周期である
請求項５又は６に記載の制御装置。

【請求項8】

進捗情報出力部、管理部及び制御部を備え、作業を行う作業装置の動作を制御する制御装置による自動作業方法であって、
前記進捗情報出力部が、前記作業装置、及び、前記作業装置の作業環境のうち、少なくとも一つから得られるセンサデータと、前記作業装置による前記作業の正常な進捗時に得られる正常進捗時センサデータと、に基づいて前記作業の進捗を判定し、前記作業の進捗を示す進捗情報を出力する手順と、
前記管理部が、前記進捗情報に基づいて前記作業装置の動作指令を生成して出力する手順と、
前記制御部が、入力された前記動作指令と、前記センサデータとに基づいて前記作業装置を駆動するための駆動信号を生成し、該駆動信号を前記作業装置に出力する手順と、を含み、
前記進捗情報出力部は、第１の学習モデルを有し、
前記第１の学習モデルは、前記正常進捗時センサデータ及び前記センサデータを入力とし、予め設けられた第１の教師データとの誤差が小さくなるような値の前記進捗情報を出力する
自動作業方法。

【請求項9】

進捗情報出力部、管理部、制御部、センサデータ推定部及び時間遅れ部を備え、作業を行う作業装置の動作を制御する制御装置による自動作業方法であって、
前記進捗情報出力部が、前記作業装置、及び、前記作業装置の作業環境のうち、少なくとも一つから得られるセンサデータと、前記作業装置による前記作業の正常な進捗時に得られる正常進捗時センサデータと、に基づいて前記作業の進捗を判定し、前記作業の進捗を示す進捗情報を出力する手順と、
前記管理部が、前記進捗情報に基づいて前記作業装置の動作指令を生成して出力する手順と、
前記制御部が、前記管理部から入力された前記動作指令と、前記センサデータとに基づいて前記作業装置を駆動するための駆動信号を生成し、該駆動信号を前記作業装置に出力する手順と、
前記センサデータ推定部が、前記センサデータと前記駆動信号とに基づいて、所定の時間分進めた時点における推定センサデータを生成する手順と、
前記時間遅れ部が、前記推定センサデータに対して前記所定の時間分の遅延を加え、遅延後の前記推定センサデータを、前記正常進捗時センサデータとして前記進捗情報出力部に出力する手順と、を含む
自動作業方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置及び自動作業方法に関する。

【背景技術】

【0002】

従来、自律的に動作するロボット等の作業装置に動作指令を出力することにより、作業現場における作業対象物の運搬等の作業を作業装置に行わせる、自動作業システムが知られている。例えば、特許文献１は、バラ積みされた状態を含む、乱雑に置かれた複数のワークから特定のワークを取り出すロボットと、該ロボットの動作を学習する機械学習装置と、を備えたロボットシステムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－３０１３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このようなシステムにおいては、ロボットによる作業（動作）の終了時に動作が正常に終了しているか否かを判定し、該判定の結果に基づいて、次の動作へ遷移するかを決定することが行われる。特許文献１には、三次元計測器からの出力データから、ロボットのハンド部によりワークを取り出した結果を取得すること、及び、取り出したワークを後工程に渡したときの達成度を取得することが記載されている。

【0005】

しかしながら、特許文献１に記載の技術では、ロボットが動作を行っている最中に作業の進捗を判定することができない。したがって、作業が正しく進捗していない場合にもそのことをすぐに把握できないため、リカバリの動作の実施が遅れ、作業全体のスループットが低下してしまう。

【0006】

本発明は、上記の状況を考慮してなされたものであり、本発明の目的は、作業装置の動作中に作業の進捗を判定できるようにすることにある。

【課題を解決するための手段】

【0007】

本発明の一態様に係る制御装置は、作業を行う作業装置の動作を制御する制御装置であって、制御装置は、作業装置、及び、作業装置の作業環境のうち、少なくとも一つから得られるセンサデータと、作業装置による作業の正常な進捗時に得られる正常進捗時センサデータと、に基づいて作業の進捗を判定し、作業の進捗を示す進捗情報を出力する進捗情報出力部と、進捗情報に基づいて作業装置の動作指令を生成して出力する管理部と、管理部から入力された動作指令と、センサデータとに基づいて作業装置を駆動するための駆動信号を生成し、該駆動信号を作業装置に出力する制御部と、を備え、進捗情報出力部は、第１の学習モデルを有し、第１の学習モデルは、正常進捗時センサデータ及びセンサデータを入力とし、予め設けられた第１の教師データとの誤差が小さくなるような値の進捗情報を出力する。

【0008】

また、本発明の一態様に係る自動作業方法は、進捗情報出力部、管理部及び制御部を備え、作業を行う作業装置の動作を制御する制御装置による自動作業方法であって、進捗情報出力部が、作業装置、及び、作業装置の作業環境のうち、少なくとも一つから得られるセンサデータと、作業装置による作業の正常な進捗時に得られる正常進捗時センサデータと、に基づいて作業の進捗を判定し、作業の進捗を示す進捗情報を出力する手順と、管理部が、進捗情報に基づいて作業装置の動作指令を生成して出力する手順と、制御部が、入力された動作指令と、センサデータとに基づいて作業装置を駆動するための駆動信号を生成し、該駆動信号を作業装置に出力する手順と、を含み、進捗情報出力部は、第１の学習モデルを有し、第１の学習モデルは、正常進捗時センサデータ及びセンサデータを入力とし、予め設けられた第１の教師データとの誤差が小さくなるような値の進捗情報を出力する。

【発明の効果】

【0009】

本発明の少なくとも一態様によれば、作業装置の動作中に作業の進捗を判定できるようになる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態に係る自動作業システムの構成例を概略的に示す図である。

【図2】本発明の第１の実施形態に係る制御装置を構成するハードウェアの構成例を示すブロック図である。

【図3】本発明の第１の実施形態に係る正常進捗時センサデータと実センサデータとの対比に基づく進捗情報出力部による進捗判定の例を示す図である。

【図4】本発明の第１の実施形態に係る制御装置による自動作業方法の手順の例を示すフローチャートである。

【図5】本発明の第１の実施形態に係る自動作業方法において実行される進捗情報出力処理の手順の例を示すフローチャートである。

【図6】本発明の第１の実施形態に係る学習モデルを用いて進捗情報を生成する進捗情報出力部の構成例を示す図である。

【図7】本発明の第２の実施形態に係る自動作業システムの制御装置の判定部の制御系の構成例を示すブロック図である。

【図8】本発明の第２の実施形態に係る判定部による正常進捗時センサデータの生成及び出力方法の手順の例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態（以下、「実施形態」と称する）の例について、添付図面を参照しながら説明する。本発明は実施形態に限定されるものではなく、実施形態における種々の数値等は例示である。また、本明細書及び図面において、同一の構成要素又は実質的に同一の機能を有する構成要素には同一の符号を付することとし、重複する説明は省略する。

【0012】

＜第１の実施形態＞
［自動作業システムの構成］
図１は、本発明の第１の実施形態に係る自動作業システムの構成例を概略的に示す図である。図１に示すように、自動作業システム１は、作業装置１００と、制御装置２００と、を含む。

【0013】

作業装置１００は、作業部１０１と、位置決め部１０２と、を含む。作業部１０１は、作業対象物Ｗｏを把持する動作、及び、離す動作を行うことが可能なグリップ部である。

【0014】

位置決め部１０２は、本体部１０２ａと、アーム１０２ｂと、を含む。本体部１０２ａは、車輪１０２１ａを有し、該車輪１０２１ａによって作業現場内を移動する。アーム１０２ｂは、その先端部に作業部１０１が設けられたアーム（マニピュレーター）であり、アーム１０２ｂの途中にはジョイント部１０２ｃが設けられる。ジョイント部１０２ｃは、アーム１０２ｂの上下（ピッチ）方向における姿勢を変化させる機構である。

【0015】

アーム１０２ｂの根本の部分は、本体部１０２ａによって支持される。位置決め部１０２は、アーム１０２ｂの位置及び姿勢を変化させて作業部１０１の位置及び姿勢を決めることにより、作業部１０１に所定の作業を行わせる。

【0016】

さらに、作業装置１００は、力センサ１０３ａと、カメラ１０３ｂと、角度センサ１０３ｃと、環境センサ１０３ｄと、を含む。力センサ１０３ａは、作業時におけるアーム１０２ｂの反力を示す値を検出して、該値を制御部２２０及び進捗情報出力部２１２に出力する。カメラ１０３ｂは、作業部１０１による作業が行われる作業エリアを撮影し、撮影画像を制御部２２０及び進捗情報出力部２１２に出力する。角度センサ１０３ｃは、アーム１０２ｂの姿勢を示す値（角度）を検出して制御部２２０及び進捗情報出力部２１２に出力する。

【0017】

環境センサ１０３ｄは、作業装置１００の作業環境を観測可能なセンサであり、例えば、作業現場の温度を測定可能な温度センサで構成される。環境センサ１０３ｄは、測定した温度を制御部２２０及び進捗情報出力部２１２に出力する。

【0018】

以下の説明において、力センサ１０３ａ、カメラ１０３ｂ、角度センサ１０３ｃ及び環境センサ１０３ｄのそれぞれを区別する必要がない場合には、これらをセンサ１０３と総称する。なお、センサ１０３は、作業装置１００による作業の内容や作業の状況などを観測可能なものであれば、上述したセンサに限定されない。例えば、作業現場の音を収音するマイクロフォンや、駆動信号の駆動電流と角度センサ１０３ｃの出力値とに基づいてアーム１０２ｂの関節トルクを推定するオブザーバなどであってもよい。

【0019】

制御装置２００は、判定部２１０と、制御部２２０と、管理部２３０と、を含む。判定部２１０は、記憶部２１１と、進捗情報出力部２１２と、を含む。記憶部２１１は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等で構成され、記憶部２１１には、正常進捗時センサデータＤｎが記憶される。正常進捗時センサデータＤｎは、作業装置１００による作業が正常に進捗している場合に得られる実際のセンサデータＤｒ（以下、「実センサデータ」と称する）である。

【0020】

正常進捗時センサデータＤｎは、例えば、オペレーター（ユーザー）が制御装置２００の操作入力部５４（図２参照）を操作することによって作業装置１００に所定の作業を実施させ、その際に各センサ１０３によって取得された実センサデータＤｒを用いて生成することができる。

【0021】

進捗情報出力部２１２は、記憶部２１１に記憶された正常進捗時センサデータＤｎと、各センサ１０３から出力された実センサデータＤｒとに基づいて、作業装置１００による作業の進捗を判定し、作業の進捗を示す進捗情報Ｉｐを生成する。進捗情報出力部２１２は、例えば、正常進捗時センサデータＤｎと実センサデータＤｒとを比較し、両データ間の誤差が所定の閾値未満であれば、作業装置１００による作業が正常に進捗していると判定する。

【0022】

一方、両データ間の誤差が所定の閾値以上であれば、作業装置１００による作業の進捗に異常が発生していると判定する。そして、進捗情報出力部２１２は、判定の結果を進捗情報Ｉｐとして管理部２３０に出力する。

【0023】

なお、本実施形態では、進捗情報出力部２１２が、正常進捗時センサデータＤｎと実センサデータＤｒとの誤差に基づいて、作業装置１００による作業の進捗を判定する例を挙げたが、本発明はこれに限定されない。進捗情報出力部２１２は、正常進捗時センサデータＤｎと実センサデータＤｒとの一致率に基づいて、作業装置１００による作業の進捗を判定してもよい。

【0024】

また、進捗情報出力部２１２は、進捗情報Ｉｐの生成時に、力センサ１０３ａ、カメラ１０３ｂ、角度センサ１０３ｃ及び環境センサ１０３ｄのすべてのセンサデータを用いる必要はない。進捗情報出力部２１２は、これらの各センサデータのうちの少なくとも１つを用いて進捗情報Ｉｐを生成することができる。

【0025】

なお、進捗情報出力部進捗情報２０３による進捗情報Ｉｐの生成及び出力周期は、制御部２２０による駆動信号Ｓｄの生成及び出力周期と同じか、それより長い周期でよい。例えば、進捗情報Ｉｐの生成及び出力周期が、制御部２２０による駆動信号Ｓｄの生成及び出力周期よりも長い周期に設定されたとする。この場合、実センサデータＤｒは、進捗情報出力部進捗情報２０３に対して、駆動信号Ｓｄの生成及び出力周期で入力されるのではなく、それより長い周期で（間欠的に）入力される。

【0026】

管理部２３０は、上位システム２から入力された作業指令Ｃｗと、進捗情報出力部２１２から入力された進捗情報Ｉｐと、に基づき、作業装置１００が現在採るべき動作に必要なパラメータを演算して動作指令Ｃｏを生成する。そして、管理部２３０は、動作指令Ｃｏを制御部２２０に出力する。

【0027】

制御部２２０は、管理部２３０から入力された動作指令Ｃｏと、各センサ１０３から出力される実センサデータＤｒと、に基づいて、作業装置１００を駆動するための駆動信号Ｓｄを演算し、該駆動信号Ｓｄを作業装置１００に出力する。作業装置１００は、駆動信号Ｓｄによって動作指令Ｃｏに従うように動作し、所定の作業を実行する。

【0028】

［計算機のハードウェア構成例］
次に、図１に示した自動作業システム１の制御装置２００の制御系の機能を実現するための各装置のハードウェア構成について、図２を参照して説明する。図２は、制御装置２００を構成するハードウェアの構成例を示すブロック図である。

【0029】

図２に示す計算機５０は、自動作業システム１の制御装置２００で使用されるコンピュータとして用いられるハードウェアである。計算機５０は、ＣＰＵ（Central Processing Unit）５１、主記憶装置５２、補助記憶装置５３、操作入力部５４、表示部５５及び通信Ｉ／Ｆ（Interface）部５６を含む。計算機５０を構成する各部は、バスＢを介して相互に通信可能に接続される。

【0030】

ＣＰＵ５１は、制御装置２００の各機能を実現するソフトウェアのプログラムを補助記憶装置５３から読み出し、該プログラムを主記憶装置５２にロードして実行する。制御装置２００内の各部の機能は、ＣＰＵ５１がプログラムを実行することにより実現される。ＣＰＵに代えて、ＭＰＵ（Micro Processing Unit）等の他の処理装置を用いてもよい。

【0031】

主記憶装置５２は、ＲＡＭ（Random Access Memory）等で構成され、主記憶装置５２には、ＣＰＵ５１の演算処理の途中で発生した変数やパラメータなどが一時的に書き込まれる。主記憶装置５２に書き込まれた変数やパラメータなどは、ＣＰＵ５１によって適宜読み出される。

【0032】

補助記憶装置５３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリ等で構成される。補助記憶装置５３は、計算機５０によって実行されるプログラムを格納した、コンピュータ読取可能な非一過性の記録媒体の一例として用いられる。補助記憶装置５３には、ＯＳ（Operating System）、各種のパラメータ、計算機５０を機能させるためのプログラム等が記録される。制御装置２００の記憶部２１１の機能は、補助記憶装置５３によって実現される。

【0033】

操作入力部５４は、例えば、マウスやキーボードなどで構成される。操作入力部５４は、ユーザーにより入力された操作の内容に応じた操作信号を生成し、該操作信号をＣＰＵ５１に出力する。

【0034】

表示部５５は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどで構成される表示装置である。表示部５５には、作業装置１００の進捗情報出力部２１２で生成された進捗情報Ｉｐ等が表示される。なお、操作入力部５４及び表示部５５は、タッチパネルとして一体に形成されてもよい。

【0035】

通信Ｉ／Ｆ部５６は、例えば、ＮＩＣ（Network Interface Card）等で構成される。通信Ｉ／Ｆ部５６は、ＮＩＣに接続された有線又は無線の回線を介して、作業装置１００、各センサ１０３との間で行われる各種データの送受信動作を制御する。

【0036】

［進捗情報出力部による進捗判定方法の概要］
次に、図３を参照して、進捗情報出力部２１２による作業の進捗の判定方法の概要について説明する。図３は、正常進捗時センサデータＤｎと実センサデータＤｒとの対比に基づく進捗情報出力部２１２による進捗判定の例を示す図である。図３は、正常進捗時センサデータＤｎと実センサデータＤｒと対比を、表の形式で示したものである。

【0037】

図３に示す表は、「Ｎｏ．」、「角度」、及び「判定結果」の各項目で構成される。「Ｎｏ．」の項目には、予め定められた周期毎に入力される実センサデータＤｒ及び正常進捗時センサデータＤｎの組に対して、入力順に割り振られる番号が格納される。「角度」の項目は、「実センサデータ」、「正常進捗時センサデータ」、「誤差」及び「閾値（１０°）」の項目を有する。

【0038】

「実センサデータ」の項目には、角度センサ１０３ｃ（図１参照）から出力されるセンサデータの値が格納され、「正常進捗時センサデータ」の項目には、正常進捗時センサデータＤｎが格納される。正常進捗時センサデータＤｎは、作業装置１００が正常に動作している（作業の進捗が正常である）場合に角度センサ１０３ｃから出力される実センサデータＤｒであり、予め記憶部２１１に記憶されている。

【0039】

「誤差」の項目には、正常進捗時センサデータＤｎと実センサデータＤｒとの誤差を示す値が格納され、「閾値」には、誤差に対して設けられた閾値に対する大小関係を示す等号又は不等号が格納される。

【0040】

「判定結果」の項目には、作業装置１００による作業の進捗が正常であることを示す「ＯＫ」、又は、異常であることを示す「ＮＯ」の値が格納される。

【0041】

例えば、Ｎｏ．“００００”のレコードには、「実センサデータ」の値が“２．８°”であり、「正常進捗時データ」の値は“０．０°”であり、「誤差」の絶対値は“２．８°”であり、閾値である“１０°”に対する大小関係は“＜”である（閾値よりも小さい）ことが示されている。つまり、角度センサ１０３ｃの実センサデータと正常進捗時データとの誤差である“２．８°”は、閾値である“１０°”よりも小さいため、進捗情報出力部２１２は、作業装置１００による作業の進捗は正常であると判定する。

【0042】

一方、Ｎｏ．“０１０３”においては、「実センサデータ」の値が“２３８．２°”であり、「正常進捗時データ」の値は“２４９．６°”であり、「誤差」は“－１１．４°”である。すなわち、誤差の絶対値は、閾値の“１０°”よりも大きい（閾値である“１０°”に対する大小関係は“＞”である）ことが示されている。これにより、進捗情報出力部２１２は、作業装置１００による作業の進捗に異常が発生していると判定する。

【0043】

この判定結果は、進捗情報出力部２１２によって、進捗情報Ｉｐとして管理部２３０に出力される。そして、管理部２３０からの通知を受けた制御部２２０によって、リカバリ動作等の適切な処置がとられる。リカバリ動作には、例えば、作業部１０１から落下した作業対象物Ｗｏをアーム１０２ｂが再びつかむ動作や、本体部１０２ａ又はアーム１０２ｂ等の位置又は姿勢等を初期位置に戻す動作などがある。

【0044】

なお、進捗情報出力部２１２は、作業の進捗の異常を検知した際に、進捗情報Ｉｐを表示部５５（図２参照）に表示させてもよい。このとき、進捗情報出力部２１２は、表示部５５にリカバリ動作の要否や種類などの情報も併せて表示させてもよい。そして、今後取るべきリカバリ動作の種類等をユーザーに選択させてもよい。また、進捗情報出力部２１２は、進捗の異常を、不図示のランプやスピーカーなどを介してユーザーに通知してもよい。

【0045】

また、図３には、進捗情報出力部２１２が、実センサデータＤｒ及び正常進捗時センサデータＤｎが入力される毎に両データの誤差を算出して進捗情報Ｉｐを生成する例を挙げたが、本発明はこれに限定されない。例えば、進捗情報出力部２１２は、時間的な所定の区間毎に誤差の二乗和を算出し、該二乗和の値に基づいて進捗情報Ｉｐを生成してもよい。

【0046】

また、図３には、作業装置１００の作業の進捗の判定に用いられる実センサデータが、角度センサ１０３ｃの実センサデータＤｒである挙げたが、本発明はこれに限定されない。力センサ１０３ａやカメラ１０３ｂ等の他のセンサ１０３による実センサデータＤｒが用いられてもよい。

【0047】

例えば、センサ１０３としてカメラ１０３ｂが用いられる場合、正常進捗時センサデータＤｎは、作業装置１００の作業の進捗が正常である場合の撮影画像としてカメラ１０３ｂが予め撮影した画像となる。実センサデータＤｒは、作業装置１００による実際の作業中にカメラ１０３ｂが撮影した画像となる。作業装置１００による作業の進捗が正常である場合、撮影画像における作業装置１００のアーム１０２ｂの位置や姿勢などは、正常進捗時センサデータＤｎ内におけるそれらと一致するはずである。したがって、作業装置１００による作業の進捗が正常である場合には、正常進捗時センサデータＤｎと実センサデータＤｒとの一致率も高くなる。よって、進捗情報出力部２１２は、正常進捗時センサデータＤｎと実センサデータＤｒとの一致率が所定の閾値以上である場合等に、作業装置１００による作業は正常に進捗していると判定することができる。

【0048】

また、例えば、センサ１０３が環境センサ１０３ｄ（温度センサ）である場合、正常進捗時センサデータＤｎは、作業装置１００の作業の進捗が正常である場合に環境センサ１０３ｄによって測定された温度となる。実センサデータＤｒは、作業装置１００による実際の作業中に環境センサ１０３ｄによって測定された温度となる。

【0049】

例えば、アーム１０２ｂを駆動するモーターの電流に異常が発生し、アーム１０２ｂの部分の温度として想定される温度を超えていた場合、実センサデータＤｒとしての測定温度は、正常進捗時センサデータＤｎとしての測定温度よりも高くなる。この場合、正常進捗時センサデータＤｎと実センサデータＤｒとの誤差は、所定の閾値よりも大きくなる。したがって、進捗情報出力部２１２は、正常進捗時センサデータＤｎと実センサデータＤｒとの誤差が所定の閾値未満である場合等に、作業装置１００による作業は正常に進捗していると判定することができる。

【0050】

さらに、作業装置１００の作業の進捗の判定に用いられる実センサデータＤｒとして、複数のセンサ１０３による複数の実センサデータが用いられてもよい。

【0051】

［制御装置による自動作業方法］
次に、本実施形態の制御装置２００による自動作業方法について、図４及び図５を参照して説明する。図４は、制御装置２００による自動作業方法の手順の例を示すフローチャートであり、図５は、自動作業方法において実行される進捗情報出力処理の手順の例を示すフローチャートである。

【0052】

まず、制御装置２００の管理部２３０は、上位システム２から入力された作業指令Ｃｗ、及び、進捗情報出力部２１２から入力された進捗情報Ｉｐに基づいて動作指令Ｃｏを生成し、該動作指令Ｃｏを制御部２２０に出力する（ステップＳ１）。次いで、制御部２２０は、管理部２３０から入力された動作指令Ｃｏ、及び、各センサ１０３から入力された実センサデータＤｒに基づいて駆動信号Ｓｄを生成し、該駆動信号Ｓｄを作業装置１００に出力する（ステップＳ２）。

【0053】

次いで、作業装置１００は、制御部２２０から入力された駆動信号Ｓｄに基づいて所定の作業を実行する（ステップＳ３）。次いで、進捗情報出力部２１２による進捗情報出力処理が実行される（ステップＳ４）。進捗情報出力部２１２による進捗情報出力処理の詳細については、次の図５を参照して詳述する。

【0054】

次いで、制御部２２０は、作業が正常に進捗したか否かを判定する（ステップＳ５）。ステップＳ５で、作業は正常に進捗したと判定された場合（ステップＳ５がＹＥＳ判定の場合）、制御部２２０は、作業装置１００が一連の作業を終了したか否かを判定する（ステップＳ６）。ステップＳ６で、一連の作業は終了していないと判定された場合（ステップＳ６がＮＯ判定の場合）、制御部２２０は、処理をステップＳ１に戻し、処理を続ける。一方、一連の作業は終了したと判定された場合（ステップＳ６がＹＥＳ判定の場合）、制御装置２００による自動作業方法は終了する。

【0055】

ステップＳ５で、作業は正常に進捗していないと判定された場合（ステップＳ５がＮＯ判定の場合）、制御部２２０は、進捗異常に対する処置を実施する（ステップＳ７）。進捗異常に対する処置には、例えば、作業装置１００の動作を停止させる処置、作業装置１００にリカバリ動作を行わせる処置等がある。ステップＳ７の処理後、制御装置２００による自動作業方法は終了する。

【0056】

次に、図５を参照して、図４のステップＳ４で実施される進捗情報出力処理の手順について説明する。まず、進捗情報出力部２１２は、各センサ１０３から出力された実センサデータＤｒ、及び、正常進捗時センサデータＤｎを比較する（ステップＳ１１）。次いで、進捗情報出力部２１２は、実センサデータＤｒ及び正常進捗時センサデータＤｎの誤差は、閾値未満であるか否かを判定する（ステップＳ１２）。

【0057】

ステップＳ１２で、誤差は閾値未満であると判定された場合（ステップＳ１２がＹＥＳ判定の場合）、進捗情報出力部２１２は、作業装置１００による作業は正常に進捗していることを示す進捗情報Ｉｐを生成する（ステップＳ１３）。次いで、進捗情報出力部２１２は、生成した進捗情報Ｉｐを管理部２３０に出力する（ステップＳ１４）。ステップＳ１４の処理後、進捗情報出力部２１２による進捗情報出力処理は終了する。

【0058】

一方、ステップＳ１２で、誤差は閾値以上であると判定された場合（ステップＳ１２がＮＯ判定の場合）、進捗情報出力部２１２は、作業装置１００による作業の進捗に異常が発生していることを示す進捗情報Ｉｐを生成する（ステップＳ１５）。次いで、進捗情報出力部２１２は、ステップＳ１４の処理を行う。すなわち、進捗情報出力部２１２は、生成した進捗情報Ｉｐを管理部２３０に出力する。

【0059】

本実施形態では、作業装置１００による作業中に各センサ１０３から出力される実センサデータＤｒと、正常進捗時センサデータＤｎとに基づいて、進捗情報出力部２１２によって逐次進捗情報Ｉｐが生成される。それゆえ、本実施形態によれば、ユーザーは、作業装置１００による作業の実行中に、作業装置１００による作業の進捗を判定することができる。これにより、ユーザーは適切なタイミングでリカバリ動作等の適切な処置を行うことも可能となるため、作業装置１００による作業のスループットが低下してしまうことを防ぐことができる。

【0060】

なお、上述した実施形態では、進捗情報出力部２１２が、正常進捗時センサデータＤｎと実センサデータＤｒとの誤差（又は一致率）を参照して進捗情報Ｉｐを生成する例を挙げたが、本発明はこれに限定されない。例えば、進捗情報出力部２１２は、学習モデルを用いて進捗情報Ｉｐを生成してもよい。

【0061】

図６は、学習モデルを用いて進捗情報Ｉｐを生成する進捗情報出力部２１２Ａの構成例を示す図である。図６に示すように、進捗情報出力部２１２Ａは、学習モデルＬｍ（第１の学習モデルの一例）を有する。学習モデルＬｍは、入力される正常進捗時センサデータＤｎ及び実センサデータＤｒに基づいて進捗情報Ｉｐを生成して出力する。なお、学習モデルＬｍは、進捗情報Ｉｐと、予め設けられた教師データＴｄ（第１の教師データの一例）との誤差が小さくなるような進捗情報Ｉｐを出力することを、事前に学習済みであるものとする。

【0062】

学習モデルＬｍは、例えば、ユーザーが学習データを入力して学習させることによって生成することができる。学習モデルＬｍの生成は、制御装置２００内で事前に行われてもよく、制御装置２００に接続された不図示の端末装置やサーバーなどにおいて生成されてもよい。また、本実施形態では、教師データＴｄを有する学習モデルＬｍを用いる例を挙げたが、本発明はこれに限定されない。教師データなしの学習モデルが使用されてもよい。

【0063】

進捗情報出力部２１２Ａを学習モデルＬｍで構成することによって、例えば、作業現場における光量の変化などによって環境色が変わり、環境センサ１０３ｄの一例としての光センサの出力値が急激に変化した場合にも、進捗情報出力部２１２Ａは、進捗情報Ｉｐを適切に生成することができる。つまり、進捗情報出力部２１２Ａは、作業の進捗をロバストに判定することができる。

【0064】

なお、進捗情報出力部２１２Ａをこのように構成する場合、進捗情報出力部２１２Ａは、作業装置１００による作業の進捗の判定結果だけでなく、進捗に異常が発生している場合における異常の種類や異常の程度、リカバリ動作の要不要、リカバリ動作の種類等の情報を、進捗情報Ｉｐとして出力してもよい。つまり、学習モデルＬｍによる学習時に教師データＴｄとして用意可能な情報であれば、進捗情報出力部２１２Ａは、進捗情報Ｉｐとしてどのような情報でも出力することができる。また、進捗情報出力部２１２Ａは、複数の情報に対応する複数の進捗情報Ｉｐを出力してもよい。進捗情報出力部２１２Ａをこのように構成することにより、制御装置２００は、作業装置１００の作業の進捗に関する情報やリカバリ動作に関する情報などを、より詳細に把握することができる。

【0065】

さらに、ユーザーは、進捗情報出力部２１２Ａの学習モデルＬｍに、時刻歴（時系列）の情報も含めて学習させてもよい。これにより、進捗情報出力部２１２Ａが出力する進捗情報Ｉｐの精度（信頼性）をより向上させることができる。なお、学習モデルＬｍにおける時刻歴情報を含む学習は、急な変化を含む実センサデータＤｒの時刻歴のトレンドを、教師データＴｄとして学習モデルＬｍに入力して学習させること、又は、時刻歴情報を学習可能なモデルで学習モデルＬｍを構成すること等により実現できる。時刻歴情報を学習可能なモデルで学習モデルには、例えば、ＬＳＴＭ（Long short-term memory）等がある。

【0066】

＜第２の実施形態＞
［判定部の構成］
次に、本発明の第２の実施形態に係る制御装置２００による自動作業方法について、図７を参照して説明する。図７は、自動作業システム１の制御装置２００の判定部２１０Ａの制御系の構成例を示すブロック図である。図７に示すように、判定部２１０Ａは、センサデータ推定部２１３と、時間遅れ器２１４と、進捗情報出力部２１２と、を含む。

【0067】

センサデータ推定部２１３は、学習モデルＬｍＡ（第２の学習モデルの一例）を有する。学習モデルＬｍＡは、入力される駆動信号Ｓｄ及び実センサデータＤｒに基づいて、推定センサデータＤｅを生成して出力する。推定センサデータＤｅは、現在時刻Ｔから時間Ｎだけ進めた時刻（以下、「推定時刻」と称する）におけるセンサデータである。

【0068】

このとき、学習モデルＬｍＡは、学習済みの内容に基づいて、推定センサデータＤｅと教師データＴｄＡとの誤差が小さくなるような推定センサデータＤｅを生成する。具体的には、学習モデルＬｍは、教師モデルＴｄＡにおける、現在時刻Ｔから時間Ｎだけ進めた推定時刻における推定のセンサデータと、学習モデルＬｍが出力する推定センサデータＤｅとを比較し、該誤差を最も小さくすることを可能とする推定センサデータＤｅを生成する。

【0069】

教師データＴｄＡ（第２の教師データの一例）は、ユーザーの操作によって制御部２２０から出力された駆動信号Ｓｄに基づいて、作業装置１００が正常に作業した場合における、各センサ１０３の実センサデータＤｒ等で構成することができる。そして、センサデータ推定部２１３は、教師データＴｄにおける推定時刻（現在時刻Ｔ＋Ｎ）での実センサデータＤｒと、現在の時刻での駆動信号Ｓｄとを用いて、推定センサデータＤｅを生成することができる。

【0070】

時間遅れ器２１４（時間遅れ部の一例）は、センサデータ推定部２１３から入力された推定センサデータＤｅを、推定時刻（現在時刻Ｔ＋Ｎ）が到来するまでの間保持し、推定時刻の到来時に、推定センサデータＤｅを正常進捗時センサデータＤｎとして進捗情報出力部２１２に出力する。時間遅れ器２１４は、例えば、推定センサデータＤｅを時間Ｎの間保持することが可能なメモリ等で構成することができる。時間遅れ器２１４をこのように構成することにより、判定部２１０Ａは、時間Ｔから時間Ｎだけ進めた推定時刻における推定のセンサデータＤｅを、現在時刻が推定時刻になったときの正常進捗時データＤｎとして扱うことができる。

【0071】

進捗情報出力部２１２は、各センサ１０３から出力された実センサデータＤｒと、時間遅れ器２１４から入力された正常進捗時センサデータＤｎと、に基づいて進捗情報Ｉｐを生成し、管理部２３０（図１参照）に出力する。なお、進捗情報出力部２１２は、正常進捗時センサデータＤｎと実センサデータＤｒとの誤差（一致率）に基づいて進捗情報Ｉｐを生成してもよく、学習モデルＬｍ（図６参照）を用いて進捗情報Ｉｐを生成してもよい。

【0072】

進捗情報出力部２１２に学習モデルＬｍＡを適用することにより、進捗情報出力部２１２は、作業環境に応じて生成された正常進捗時センサデータＤｎに基づいて、適切な進捗情報Ｉｐを生成及び出力することができる。つまり、本実施形態によれば、作業環境が変化しやすい作業現場であることに起因して、正常進捗時センサデータＤｎを予め用意することが難しい状況等においても、進捗情報出力部２１２は、適切な判定内容を含む進捗情報Ｉｐを生成及び出力することができる。

【0073】

また、本実施形態においても、第１の実施形態と同様に、学習モデルＬｍＡに時刻歴の情報を学習させてもよい。例えば、作業装置１００による、ある時刻に至るまでの作業の履歴に対応する実センサデータＤｒを、学習データとして学習モデルＬｍＡに学習させることにより、センサデータ推定部２１３が出力する推定センサデータＤｅの精度を、より向上させることができる。なお、学習モデルＬｍＡにおける時刻歴情報を含む学習は、第１の実施形態と同様に、学習モデルＬｍを、ＬＳＴＭ等の時刻歴情報を学習可能なモデルで構成すること等によっても実現できる。

【0074】

［判定部による正常進捗時センサデータの生成及び出力方法］
次に、図８を参照して、本発明の第２の実施形態に係る、判定部２１０Ａによる正常進捗時センサデータＤｎの生成及び出力方法について説明する。図８は、判定部２１０Ａによる正常進捗時センサデータＤｎの生成及び出力方法の手順の例を示すフローチャートである。

【0075】

まず、センサデータ推定部２１３は、駆動信号Ｓｄ及び実センサデータＤｒに基づいて、推定時刻におけるセンサデータである推定センサデータＤｅを生成し、該推定センサデータＤｅを進捗情報出力部２１２に出力する（ステップＳ２１）。次いで、時間遅れ器２１４は、推定時刻の到来時に、ステップＳ２１で生成された推定センサデータＤｅを、正常進捗時センサデータＤｎとして進捗情報出力部２１２に出力する（ステップＳ２２）。ステップＳ２２の処理後、判定部２１０Ａは、処理を図４のステップＳ４に戻す。すなわち、進捗情報出力部２１２による進捗情報出力処理が実施される。

【0076】

なお、センサデータ推定部２１３による正常進捗時センサデータＤｎの生成及び出力周期は、制御部２２０による駆動信号Ｓｄの生成及び出力周期と同じか、それより長い周期でよい。例えば、正常進捗時センサデータＤｎの生成及び出力周期が、制御部２２０による駆動信号Ｓｄの生成及び出力周期よりも長い周期に設定されたとする。この場合、実センサデータＤｒは、センサデータ推定部２１３に対して、駆動信号Ｓｄの生成及び出力周期で入力されるのではなく、それより長い周期で（間欠的に）入力される。

【0077】

なお、本発明は上述した各実施形態例に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。

【0078】

例えば、上述した実施形態例は本発明を分かりやすく説明するために装置（制御装置）及びシステム（自動作業システム）の構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態例の構成の一部を他の実施形態例の構成に置き換えることは可能である。また、ある実施形態例の構成に他の実施形態例の構成を加えることも可能である。また、各実施形態例の構成の一部について、他の構成の追加、削除、置換をすることも可能である。

【0079】

また、図２中に実線で示した制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【0080】

また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。

【0081】

また、上述した本開示の一実施形態にかかる画像処理装置の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、１つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。

【符号の説明】

【0082】

１…自動作業システム、５０…計算機、１００…作業装置、１０１…作業部、１０３ａ…力センサ、１０３ｂ…カメラ、１０３ｃ…角度センサ、１０３ｄ…環境センサ、２００…制御装置、２０３…進捗情報出力部進捗情報、２１０…判定部、２１０Ａ…判定部、２１１…記憶部、２１２…進捗情報出力部、２１２Ａ…進捗情報出力部、２１３…センサデータ推定部、２２０…制御部、２３０…管理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】