特許 6886869 動作予測システム及び動作予測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6886869

(24)【登録日】2021年5月19日

(45)【発行日】2021年6月16日

(54)【発明の名称】動作予測システム及び動作予測方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20210603BHJP

   B25J 9/22 20060101ALI20210603BHJP

【ＦＩ】

   G06N20/00 130

   B25J9/22 A

【請求項の数】8

【全頁数】14

(21)【出願番号】特願2017-114055(P2017-114055)

(22)【出願日】2017年6月9日

(65)【公開番号】特開2018-206286(P2018-206286A)

(43)【公開日】2018年12月27日

【審査請求日】2020年5月20日

(73)【特許権者】

【識別番号】000000974

【氏名又は名称】川崎重工業株式会社

(74)【代理人】

【識別番号】100118784

【弁理士】

【氏名又は名称】桂川 直己

(72)【発明者】

【氏名】蓮沼 仁志

(72)【発明者】

【氏名】榎本 雅幸

(72)【発明者】

【氏名】藤森 潤

【審査官】 渡辺 順哉

(56)【参考文献】

【文献】 特開２０１７−０３０１３７（ＪＰ，Ａ）

【文献】 国際公開第２０１６／１８９９２４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ ９／００−９／２２

Ｇ０６Ｎ ３／００−９９／００

(57)【特許請求の範囲】

【請求項1】

マスタスレーブ式のロボット遠隔操作システムを自動運転するための動作予測システムであって、
周辺環境を示すデータと、当該周辺環境における人間の動作を示すデータと、を含む学習用動作事例データが、自動分類アルゴリズムによって、前記周辺環境を示すデータを基準として複数の群に分類されたそれぞれの群を、当該群に対応する動作予測モデルに機械学習させることにより構築される複数の学習済み動作予測モデルと、
与えられた周辺環境を示すデータが前記自動分類アルゴリズムによって分類される結果に基づいて、複数の前記動作予測モデルから１の動作予測モデルを選択するモデル選択部と、
を備え、
前記周辺環境を示すデータを、前記モデル選択部によって選択された前記動作予測モデ
ルに入力して、当該周辺環境に対する人間の動作を予測させ、
前記周辺環境を示すデータには、前記ロボットの位置のデータ、ワークの位置のデータ、及び、前記ロボットのエンドエフェクタが外部環境と接触することにより受けた反力のデータのうち少なくとも何れかが含まれ、
前記自動分類アルゴリズムによる分類の基準に、前記ロボットの位置のデータ、前記ワークの位置のデータ、及び、前記反力のデータのうち少なくとも何れかが含まれることを特徴とする動作予測システム。

【請求項2】

請求項１に記載の動作予測システムであって、
前記周辺環境を示すデータは、画像データを含むことを特徴とする動作予測システム。

【請求項3】

請求項１又は２に記載の動作予測システムであって、
周辺環境との接触を伴う作業の動作予測を行うことを特徴とする動作予測システム。

【請求項4】

請求項１から３までの何れか一項に記載の動作予測システムであって、
前記モデル選択部によって選択された前記動作予測モデルが出力した人間の動作予測による結果を評価する評価部と、
前記学習済み動作予測モデルに追加的に機械学習させる追加学習部と、
を備えることを特徴とする動作予測システム。

【請求項5】

マスタスレーブ式のロボット遠隔操作システムを自動運転するための動作予測方法であって、
周辺環境を示すデータと、当該周辺環境における人間の動作を示すデータと、を含む学習用動作事例データを、自動分類アルゴリズムによって、前記周辺環境を示すデータを基準として複数の群に分類する分類工程と、
複数の動作予測モデルを有するコンピュータにおいて、前記分類工程において分類されたそれぞれの群に属する前記学習用動作事例データを、当該群に対応する動作予測モデルに機械学習させ、複数の学習済み動作予測モデルを構築する学習工程と、
与えられた周辺環境を示すデータが前記自動分類アルゴリズムによって分類される結果に基づいて、複数の前記動作予測モデルから１の動作予測モデルを選択するモデル選択工程と、
前記周辺環境を示すデータを、前記モデル選択工程で選択された前記動作予測モデルに入力して、当該周辺環境に対する人間の動作を予測させる予測工程と、
を含み、
前記周辺環境を示すデータには、前記ロボットの位置のデータ、ワークの位置のデータ、及び、前記ロボットのエンドエフェクタが外部環境と接触することにより受けた反力のデータのうち少なくとも何れかが含まれ、
前記自動分類アルゴリズムによる分類の基準に、前記ロボットの位置のデータ、前記ワークの位置のデータ、及び、前記反力のデータのうち少なくとも何れかが含まれることを特徴とする動作予測方法。

【請求項6】

請求項５に記載の動作予測方法であって、
前記周辺環境を示すデータは、画像データを含むことを特徴とする動作予測方法。

【請求項7】

請求項５又は６に記載の動作予測方法であって、
周辺環境との接触を伴う作業の動作予測を行うことを特徴とする動作予測方法。

【請求項8】

請求項５から７までの何れか一項に記載の動作予測方法であって、
前記モデル選択工程で選択された前記動作予測モデルが出力した人間の動作予測による結果を評価する評価工程と、
前記学習済み動作予測モデルに追加的に機械学習させる追加学習工程と、
を含むことを特徴とする動作予測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習によって人間の動作を予測するシステム及び方法に関する。

【背景技術】

【0002】

従来から、予め作成されたプログラムによって、ロボット及びプラント等の制御対象物を制御し、所望の動きを行わせることが行われている。例えば特許文献１には、ロボットの制御部が、ＣＰＵと、ロボットを制御するためのプログラムが格納されたＲＯＭと、ロボットが作業を実行するためのロボット言語で書かれたプログラムが格納されたＲＡＭと、を備える構成が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７−１３４６０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の構成において、ロボット等を動かすためのプログラムは、人間が作業を理解して、動かし方をプログラミングすることで実現されている。しかしながら、このような手法は、プログラムの作成及びその調整に時間を要する場合が多かった。

【0005】

また、部品等への接触を伴う作業を人間に代わってロボットに自動で行わせたり、プラントにおいて操作者が目視で観察した状況に応じて行う運転操作を自動化したりするニーズに応えるためには、熟練者の経験や勘に基づく動かし方をプログラムで実現しなければならない場合もあって、多くの試行錯誤が必要になる。また、人間の経験や勘を言語等で明文化する作業を行うことでプログラミングを容易にするアプローチもあるが、言語化してもニュアンスが正しく表現されないような場合もあって、プログラムという手法では良好な制御を実現できないことが多かった。

【0006】

本発明は以上の事情に鑑みてされたものであり、その目的は、熟練した人間が行うような操作の自動化を効率的に実現することにある。

【課題を解決するための手段】

【0007】

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

【0008】

本発明の第１の観点によれば、以下の構成の動作予測システムが提供される。即ち、この動作予測システムは、マスタスレーブ式のロボット遠隔操作システムを自動運転するためのものである。この動作予測システムは、複数の学習済み動作予測モデルと、モデル選択部と、を備える。前記動作予測モデルは、学習用動作事例データが、自動分類アルゴリズムによって、前記周辺環境を示すデータを基準として複数の群に分類されたそれぞれの群を、当該群に対応する動作予測モデルに機械学習させることにより構築される。前記学習用動作事例データは、周辺環境を示すデータと、当該周辺環境における人間の動作を示すデータと、を含む。前記モデル選択部は、与えられた周辺環境を示すデータが前記自動分類アルゴリズムによって分類される結果に基づいて、複数の前記動作予測モデルから１の動作予測モデルを選択する。前記動作予測システムは、前記周辺環境を示すデータを、前記モデル選択部によって選択された前記動作予測モデルに入力して、当該周辺環境に対する人間の動作を予測させる。前記周辺環境を示すデータには、前記ロボットの位置のデータ、ワークの位置のデータ、及び、前記ロボットのエンドエフェクタが外部環境と接触することにより受けた反力のデータのうち少なくとも何れかが含まれる。前記自動分類アルゴリズムによる分類の基準に、前記ロボットの位置のデータ、前記ワークの位置のデータ、及び、前記反力のデータのうち少なくとも何れかが含まれる。

【0009】

本発明の第２の観点によれば、以下の動作予測方法が提供される。即ち、この動作予測方法は、マスタスレーブ式のロボット遠隔操作システムを自動運転するためのものである。この動作予測方法は、分類工程と、学習工程と、モデル選択工程と、予測工程と、を含む。前記分類工程では、周辺環境を示すデータと、当該周辺環境における人間の動作を示すデータと、を含む学習用動作事例データを、自動分類アルゴリズムによって、前記周辺環境を示すデータを基準として複数の群に分類する。前記学習工程では、複数の動作予測モデルを有するコンピュータにおいて、前記分類工程において分類されたそれぞれの群に属する前記学習用動作事例データを、当該群に対応する動作予測モデルに機械学習させ、複数の学習済み動作予測モデルを構築する。前記モデル選択工程では、与えられた周辺環境を示すデータが前記自動分類アルゴリズムによって分類される結果に基づいて、複数の前記動作予測モデルから１の動作予測モデルを選択する。前記予測工程では、前記周辺環境を示すデータを、前記モデル選択工程で選択された前記動作予測モデルに入力して、当該周辺環境に対する人間の動作を予測させる。前記周辺環境を示すデータには、前記ロボットの位置のデータ、ワークの位置のデータ、及び、前記ロボットのエンドエフェクタが外部環境と接触することにより受けた反力のデータのうち少なくとも何れかが含まれる。前記自動分類アルゴリズムによる分類の基準に、前記ロボットの位置のデータ、前記ワークの位置のデータ、及び、前記反力のデータのうち少なくとも何れかが含まれる。

【0010】

これにより、言語化やプログラムでの表現になじまない場合がある熟練した人間の技術及び技能を適切に取り込んだ形で、自動化を短時間かつ低コストで実現することができる。また、１つの動作予測モデルが学習する対象を限定することで、効率的な学習を行うことができる。

【発明の効果】

【0011】

本発明によれば、熟練した人間が行うような操作の自動化を効率的に実現することができる。

【図面の簡単な説明】

【0012】

【図1】マスタスレーブ式のロボット遠隔操作システムにおいて、ロボットアームによる作業に関する作業履歴データを収集する構成を示す概念図。

【図2】作業履歴データを分類し、対応する模倣モデルに学習させる作業を示す概念図。

【図3】第１実施形態の自動運転システムを示すブロック図。

【図4】自動運転システムを構築及び運用する作業を示す工程フロー図。

【図5】ごみ焼却炉の操作システムにおいて、ごみ焼却炉の運転に関する運転履歴データを収集する構成を示す概念図。

【図6】運転履歴データを分類し、対応する模倣モデルに学習させる作業を示す概念図。

【図7】第２実施形態の自動運転システムを示すブロック図。

【発明を実施するための形態】

【0013】

次に、図面を参照して本発明の実施の形態を説明する。図１は、マスタスレーブ式のロボット遠隔操作システムにおいて、ロボットアーム１２による作業に関する作業履歴データを収集する構成を示す概念図である。図２は、作業履歴データを分類し、対応する模倣モデル６１に学習させる作業を示す概念図である。図３は、第１実施形態の自動運転システム５を示すブロック図である。図４は、自動運転システム５を構築及び運用する作業を示す工程フロー図である。

【0014】

図１には、ロボットアーム１２の自動運転を実現するために、マスタスレーブ式のロボット遠隔操作システムにおいて、ロボットアーム１２をオペレータ２１が手動遠隔操作して、ワーク１１に対して様々な作業を行った作業履歴を取得する様子が示されている。

【0015】

このロボット遠隔操作システムにおいて、オペレータ２１は、操作場所に配置されたマスタアーム２２を操作することにより、スレーブアームとしてのロボットアーム１２に対し指示を与えることができる。

【0016】

マスタアーム２２は、公知の多関節ロボットとして構成されている。マスタアーム２２の各関節には、当該関節を中心にしてアーム部を駆動するための図略のアクチュエータ（例えば、電動モータ）が設置されている。

【0017】

マスタアーム２２が有するアーム部の先端には、オペレータ２１が握って操作を行うことが可能な操作子２２ａが設けられている。マスタアーム２２には図示しない操作力検出センサが設けられており、この操作力検出センサは、マスタアーム２２にオペレータ２１が加えた操作力を検出することができる。マスタアーム２２は、オペレータ２１により加えられた操作力と、上述のアクチュエータが加える力と、の合力により運動する。

【0018】

ロボットアーム１２は、マスタアーム２２と同様に、公知の多関節ロボットとして構成されている。ロボットアーム１２の先端部には、ワーク１１に直接的に接触して作用するエンドエフェクタ１２ａが取り付けられている。

【0019】

ロボットアーム１２には図示しない反力検出センサが設けられており、この反力検出センサは、エンドエフェクタが外部環境（具体的には、ワーク１１）と接触することにより受けた反力を検出することができる。ロボットアーム１２は、外部環境から加えられた反力と、ロボットアーム１２の各関節を駆動するための図示しないアクチュエータが加える力と、の合力により運動する。

【0020】

ロボットアーム１２及びマスタアーム２２は、制御部３１に対し、各種信号の入出力を行うことができる。制御部３１は公知のコンピュータにより構成されており、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等の構成を備えている。また、上記のＨＤＤ等には、各種のソフトウェアが、予めインストール作業を行うことにより記憶されている。このソフトウェアには、ロボットアーム１２及びマスタアーム２２を制御するための制御アプリケーション、及び、本発明で学習のために使用されるデータ（後述の作業履歴データ）を取得するためのデータ収集アプリケーションが含まれる。

【0021】

制御部３１は、オペレータ２１の操作力によるマスタアーム２２の動きをトレースするようにロボットアーム１２のアクチュエータを駆動する一方、ロボットアーム１２が受けた反力を伝達するようにマスタアーム２２のアクチュエータを駆動する。これにより相互作用的な操作が実現され、オペレータ２１は、マスタアーム２２を通じて疑似的に提示される力覚を感じながら、当該マスタアーム２２を用いてロボットアーム１２をリアルタイムで遠隔操作することができる。

【0022】

ロボットアーム１２の作業エリアには図示しないカメラが設置されており、カメラが撮影した映像は、制御部３１を経由して、オペレータ２１の近傍に設置されたディスプレイ２３にリアルタイムで伝送される。オペレータ２１は、ディスプレイ２３の映像を見て状況を確認しながら、マスタアーム２２を操作することができる。

【0023】

このようなマスタスレーブ式のロボット遠隔操作システムにおいて、作業を熟知したオペレータ２１が操作する場合、オペレータ２１が知覚する周辺状況に応じ、適切かつ合理的で、洗練された動かし方で、ロボットアーム１２による作業を行うことができる。経験の蓄積により獲得されたスキルの継承という意味でも、このようなオペレータ２１の優れた技術及び技能を、自動運転においても実現することが望まれている。

【0024】

そこで本実施形態では、自動運転を実現するための準備として、作業に精通したオペレータ２１が図１のロボット遠隔操作システムを用いて多種多様な作業をロボットアーム１２に行わせたときの作業履歴を、作業履歴データ（学習用動作事例データ）として取得する。作業履歴データの取得対象となる作業としては、例えば、ワークを他のワークに差し込む作業、ワークを運搬する作業、ワークの不良等を見つける作業等が考えられるが、これらに限定されない。得られた作業履歴データは、制御部３１が備えるＨＤＤ等の適宜の記憶媒体に蓄積される。

【0025】

作業履歴データは、大別して、オペレータ２１の周辺環境を示すデータと、その周辺環境においてオペレータ２１が行った操作を示すデータと、により構成されている。

【0026】

周辺環境を示すデータは、オペレータ２１が知覚し得る周辺の状況を表現するデータであり、ロボットアーム１２の位置のデータと、ワーク１１の位置のデータと、反力センサが検出した反力のデータと、が含まれる。この周辺環境データは、多次元のベクトルとして表現することができる。

【0027】

ここで、ロボットアーム１２及びワーク１１の位置のデータは、例えば、前述のカメラで撮影した映像を画像処理することで得ることができる。ただし、ロボットアーム１２の位置のデータは、例えば、ロボットアーム１２の各関節に備えられている図略の位置センサの出力値に基づいて生成することもできる。カメラは光センサの複合体として捉えることもできるので、以上を総合して、周辺環境データは、センサが取得した情報（センサ情報）と言い換えることもできる。

【0028】

オペレータ２１が行った操作を示すデータには、マスタアーム２２の位置（言い換えれば、オペレータ２１の操作に基づく動作指令）を時系列で表現したデータが含まれる。この情報は、人間の動作を示すものであるということができる。この動作指令のデータは、多次元のベクトルとして表現することができる。

【0029】

十分な数の作業履歴データが得られると、当該作業履歴データは、図２に示すように分類システム５１に入力され、分類される。この分類システム５１は、当該分類システム５１を実現するソフトウェアが適宜のコンピュータにインストールされることによって実現される。このソフトウェアには、本発明の分類工程を実現するためのプログラムが含まれている。

【0030】

分類システム５１は、自動分類アルゴリズムの一種である例えばクラスタリング手法を用いて、多数の作業履歴データを複数の群に分類する。ここでの分類は、周辺環境を示すデータを基準として行われ（動作指令のデータは分類の基準に含まれない）、本実施形態では、作業の工程の観点から行われる。クラスタリング手法としては、例えば、ＮＮ法、Ｋ−Ｍｅａｎｓ法、自己組織化マップ等を用いることができるが、これに限定されない。また、クラスタリング以外の自動分類アルゴリズムを用いて作業履歴データを分類することもできる。

【0031】

この分類により、作業履歴データが、ｎ個の群の作業履歴データに分類されたとする。作業履歴データを幾つの群に分割するかは、作業履歴データの数、作業の複雑さ、後述の学習に要する時間等を考慮して、適宜定めれば良い。以下の説明では、分類された作業履歴データの群のそれぞれを、工程１の作業履歴、工程２の作業履歴、・・・と呼ぶ場合があるが、これは、分類された作業履歴データが表す工程の時間的な順序を示すものではない。

【0032】

次に、それぞれの群の作業履歴データが、模倣システム（動作予測システム）５２に入力され、学習が行われる。この模倣システム５２は、当該模倣システム５２を実現するソフトウェアが適宜のコンピュータにインストールされることによって実現される。このソフトウェアには、本発明の学習工程を実現するためのプログラムが含まれている。このコンピュータは、ＧＰＵを備えていると、機械学習を効率的に行うことができる点で好ましい。

【0033】

模倣システム５２は、上述の分類システム５１によって作業履歴データが分類された群の数と同じ数（即ち、ｎ個）の模倣モデル６１を含んでいる。実質的に考えれば、１つの模倣モデル６１は、オペレータ２１の技術及び技能を幾つかに細分化したうちの１つに相当する。また、それぞれの模倣モデル６１は、作業の工程の観点で分類された作業履歴データのそれぞれの群に対応する。各模倣モデル６１は互いに独立しており、作業履歴データの学習を個別的に行うことができる。

【0034】

この構成で、それぞれの群の作業履歴データ（即ち、工程１の作業履歴、工程２の作業履歴、・・・）を、対応する模倣モデル６１に入力して、そのときのオペレータ２１の操作を学習させる。このための手法としては、時系列データを学習するのに適した公知の機械学習手法（例えば、再帰型ニューラルネットワーク、状態空間モデル等）を用いることができる。この学習フェーズにより、模倣システム５２において複数の学習済み模倣モデル６１が構築され、それぞれの模倣モデル６１は、周辺環境と、そのときのオペレータ２１の操作と、の相関を獲得することができる。

【0035】

このように、本実施形態の方法によれば、作業履歴データに基づいて、周辺状況と、そのときに熟練したオペレータ２１が行った操作（行うべき操作）と、が学習される。従って、経験豊かなオペレータ２１が行う状況に応じた操作を人間が理解してプログラムにより表現する必要がなくなるので、手間及びコストを低減することができる。

【0036】

また、本実施形態の方法によれば、予め作業履歴データを複数の群に分類し、複数の模倣モデル６１で分担して学習を行うことにより、１つの模倣モデル６１が機械学習を行う作業履歴データの数を減らすことができる。この結果、個々の模倣モデル６１が学習する対象を適切に限定することができるので、学習に必要な時間を効果的に減らすことができ、学習済み模倣モデル６１を効率的に構築することができる。

【0037】

模倣モデル６１の学習が完了すると、実際の運用に移行する。図３に示す実運用のシステムである自動運転システム（動作予測システム）５では、ロボットアーム１２を自動運転するための制御部３２に、分類システム５１と、模倣システム５２と、が組み込まれている。

【0038】

具体的に説明すると、制御部３２は、模倣システム５２のほか、モデル選択部３５と、評価部３６と、追加学習部３７と、を備える。そして、モデル選択部３５は、分類システム５１を備える。

【0039】

制御部３２は、図１に示す制御部３１と同様に公知のコンピュータとして構成されており、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等の構成を備えている。また、上記のＨＤＤ等には、各種のソフトウェアが、予めインストール作業を行うことにより記憶されている。このソフトウェアには、ロボットアーム１２の自動運転を実現するための自動運転アプリケーションが含まれる。また、この自動運転アプリケーションは、本発明のモデル選択工程、予測工程、評価工程及び追加学習工程を実現するプログラムを含んでいる。

【0040】

以上のハードウェア及びソフトウェアの協働により、制御部３２を、分類システム５１、模倣システム５２、モデル選択部３５、評価部３６、追加学習部３７等として機能させることができる。

【0041】

モデル選択部３５が備える分類システム５１としては、図２において作業履歴データを分類した分類システム５１と同一のものが用いられている。また、模倣システム５２には、前述の学習フェーズによって構築された複数（ｎ個）の学習済み模倣モデル６１が含まれている。

【0042】

実際の運用では、ロボットアーム１２の位置のデータと、ワーク１１の位置のデータと、反力センサが検出した反力のデータとが、モデル選択部３５が備える分類システム５１に入力される。分類システム５１は、入力された上記のデータ（周辺環境を示すデータ）が含まれる作業履歴データがあると仮定した場合に、当該作業履歴データが上述のｎ個の群のうち何れの群に分類されるかを判定する。モデル選択部３５は、この判定結果を、模倣システム５２に出力する。

【0043】

模倣システム５２では、モデル選択部３５から入力される分類結果に基づいて、分類された群に対応する模倣モデル６１を、ｎ個の模倣モデル６１の中から選択する（モデル選択工程）。

【0044】

そして、模倣システム５２において、選択された模倣モデル６１に対して上記のデータ（周辺環境を示すデータ）が入力され、これに対して、当該模倣モデル６１は、この場合にオペレータ２１が行うと予測される動作を出力する（予測工程）。この動作が動作指令としてロボットアーム１２に入力されることにより、ロボットアーム１２を自動的に動作させ、作業を行うことができる。また、未知な周辺環境においても、模倣モデル６１が過去に学習した作業履歴データと類似した周辺環境であれば、適切な操作を予測して動作指令を生成することができる。

【0045】

制御部３２は更に、より良い自動運転を実現するための構成として、評価部３６と、追加学習部３７と、を備える。

【0046】

評価部３６は、制御部３２が与えた動作指令によってロボットアーム１２が実際に作業を行った結果を適宜評価する（評価工程）。評価に当たっての基準としては、動作が完了するまでの時間、動作に要した電力等のエネルギー、動作によってワーク１１に与えた力の大きさ等を採用することができるが、これらに限られない。本実施形態においては、評価部３６は、ロボットアーム１２が備える上述の位置センサ等の情報に基づいて評価を行うが、ロボットアーム１２や外部環境に特別に設けたセンサから取得した情報を用いても良い。

【0047】

追加学習部３７は、評価部３６が評価した結果に基づいて、評価結果がより高い動作を出力するように、模倣モデル６１に追加学習を行わせる（追加学習工程）。この手法としては、例えば、強化学習手法として知られている時間差分法又はＱ−Ｌｅａｒｎｉｎｇ法等を用いることができる。

【0048】

これにより、自動運転システム５の実際の運用時においても学習が追加的に行われるので、一層好ましい動作をロボットアーム１２に行わせることができる。また、周囲の環境の変化に柔軟に対応することができる。

【0049】

なお、作業の評価基準や周囲の環境が大幅に変化した場合は、変化に対応するための動かし方を行うようにオペレータ２１に依頼して作業履歴データを作成し、これに基づいて追加学習させると、早期に良い結果が得られる点で好ましい。あるいは、高評価だった動かし方のデータを利用して追加学習を行わせても良い。

【0050】

今までに説明した作業をまとめた工程フロー図が図４に示され、このような一連の作業によって構築される自動運転システム５により、あたかも熟練したオペレータ２１が操作しているかのような自動運転を、低コストかつ短時間で実現することができる。

【0051】

以上に説明したように、本実施形態の自動運転システム５は、複数の学習済み模倣モデル６１と、モデル選択部３５と、を備える。学習済み模倣モデル６１は、作業履歴データが分類システム５１の自動分類アルゴリズムによって複数の群に分類されたそれぞれの群を、当該群に対応する模倣モデル６１に機械学習させることにより構築される。作業履歴データは、周辺環境を示すデータと、当該周辺環境におけるオペレータ２１の操作を示すデータと、を含む。モデル選択部３５は、与えられた周辺環境を示すデータが分類システム５１の自動分類アルゴリズムによって分類される結果に基づいて、複数の模倣モデル６１から１の模倣モデル６１を選択する。自動運転システム５は、周辺環境を示すデータを、モデル選択部３５によって選択された模倣モデル６１に入力して、当該周辺環境に対するオペレータ２１の操作を予測させる。

【0052】

また、本実施形態の自動運転システム５においては、以下のような動作予測方法により、オペレータ２１の操作を予測して自動運転を行っている。即ち、この動作予測方法は、分類工程と、学習工程と、モデル選択工程と、予測工程と、を含む。分類工程では、周辺環境を示すデータと、当該周辺環境におけるオペレータ２１の操作を示すデータと、を含む作業履歴データを、分類システム５１の自動分類アルゴリズムによって複数の群に分類する。学習工程では、複数の模倣モデル６１を有するコンピュータにおいて、分類工程において分類されたそれぞれの群に属する作業履歴データを、当該群に対応する模倣モデル６１に機械学習させ、複数の学習済み模倣モデル６１を構築する。モデル選択工程では、与えられた周辺環境を示すデータが分類システム５１の自動分類アルゴリズムによって分類される結果に基づいて、複数の模倣モデル６１から１の模倣モデル６１を選択する。予測工程では、周辺環境を示すデータを、モデル選択工程で選択された模倣モデル６１に入力して、当該周辺環境に対するオペレータ２１の操作を予測させる。

【0053】

これにより、言語化やプログラムでの表現になじまない場合がある熟練したオペレータ２１の技術及び技能を適切に取り込んだ形で、自動化を短時間かつ低コストで実現することができる。また、１つの模倣モデル６１が学習する対象を限定することで、効率的な学習を行うことができる。

【0054】

また、本実施形態の自動運転システム５において、周辺環境を示すデータには、前述のロボットアーム１２の位置のデータと、ワーク１１の位置のデータと、反力センサが検出した反力のデータに加えて、例えばカメラで撮影した映像の画像データが含まれても良い。

【0055】

即ち、本実施形態の自動運転システム５は、画像で表現されるような状況（言語化が難しい状況）に対してオペレータ２１が行っていた運転操作を自動化する場合に特に好適である。

【0056】

また、本実施形態の自動運転システム５は、周辺環境との接触を伴う作業におけるオペレータ２１の操作を予測する。

【0057】

即ち、本実施形態の自動運転システム５は、周辺環境との接触状態（言語化しにくい状況）をオペレータ２１が知覚して行うような運転操作を自動化する場合に特に好適である。

【0058】

また、本実施形態の自動運転システム５は、評価部３６と、追加学習部３７と、を備える。評価部３６は、モデル選択部３５によって選択された模倣モデル６１が出力したオペレータ２１の操作の予測による結果を評価する。追加学習部３７は、学習済み模倣モデル６１に追加的に機械学習させる。

【0059】

これにより、追加的な学習が可能になるので、状況に応じて一層良好な動作を行わせることができる。

【0060】

次に、本発明の第２実施形態を説明する。図５は、ごみ焼却炉１３の運転に関する運転履歴データを収集する構成を示す概念図である。図６は、運転履歴データを分類し、対応する模倣モデル６１に学習させる作業を示す概念図である。図７は、第２実施形態の自動運転システム５ｘを示すブロック図である。なお、本実施形態の説明においては、前述の実施形態と同一又は類似の部材には図面に同一の符号を付し、説明を省略する場合がある。

【0061】

図５には、プラントの一種であるごみ焼却炉１３の自動運転を実現するために、コントロールルーム２４でのオペレータ２１の手動操作によって、ごみ焼却炉１３を運転した運転履歴を取得する様子が示されている。オペレータ２１は、コントロールルーム２４に配置された各種の機器（例えば、操作盤のスイッチ等）を操作することにより、ごみ焼却炉１３の運転に関する指示を行うことができる。

【0062】

ごみ焼却炉１３には、図示しないが、蒸気量を検出するセンサ、ごみが燃焼する様子を燃焼映像として撮影するカメラ等の種々のセンサが設けられている。

【0063】

ごみ焼却炉１３が備える制御部３１は、オペレータ２１の操作に応じてごみ焼却炉１３を運転する一方、上記のセンサが取得した蒸気量及び燃焼映像等を、コントロールルーム２４におけるディスプレイ２３又は指示器２５等に表示するように制御する。これにより、本実施形態においても、周辺環境との間で相互作用を伴う運転が実現されている。

【0064】

制御部３１は、熟練したオペレータ２１がごみ焼却炉を手動運転するときに、学習用動作事例データとしての運転履歴データを収集し、ＨＤＤ等に保存する。この運転履歴データは、上記の蒸気量及び燃焼映像等からなるセンサ情報（周辺環境を示すデータ）と、そのような状況下においてオペレータ２１が行った操作を示すデータと、を含む。

【0065】

その後、図６に示すように、収集された運転履歴データは、上述の第１実施形態と同様に分類システム５１によって複数の群に分類される。本実施形態では、分類は、焼却炉１３の状態の観点から行われる。以下の説明では、分類された運転履歴データの群のそれぞれを、状態１の運転履歴、状態２の運転履歴、・・・と呼ぶ場合がある。そして、それぞれの群の運転履歴データ（即ち、状態１の運転履歴、状態２の運転履歴、・・・）が、対応する模倣モデル６１によって学習される。この結果、複数の学習済み模倣モデル６１が構築され、この模倣モデル６１が、図７に示す自動運転システム（動作予測システム）５ｘにおいて用いられる。

【0066】

その後、ごみ焼却炉１３を自動運転する場合には、図７に示すように、センサが取得した蒸気量及び燃焼映像等がモデル選択部３５に入力され、モデル選択部３５は、分類システム５１に従って、動作予測を行うべき模倣モデル６１を選択する。そして、模倣システム５２では、選択された模倣モデル６１に対し、センサが取得した蒸気量及び燃焼映像等の周辺環境データが入力され、当該模倣モデル６１は、入力された周辺環境においてオペレータ２１が行うと予測される動作を出力する。

【0067】

このように、ごみ焼却炉１３のようなプラントの運転に関して、自動運転システム５ｘを用いることにより、熟練したオペレータ２１が行うような良好な自動運転を実現することができる。ただし、自動運転システム５ｘとする代わりに、オペレータに対して推奨する運転を提案する運転提案システムとして構成されても良い。

【0068】

以上に本発明の好適な実施の形態を複数説明したが、上記の構成は例えば以下のように変更することができる。

【0069】

周辺環境を示すデータ、人間の動作を示すデータは、上記に限定されることなく、様々なデータを作業履歴データ又は運転履歴データに含めることができる。例えば、作業履歴データには、ロボットアーム１２に装着されるツールの状態に関するデータが含まれても良い。

【0070】

第１実施形態において、作業履歴データの分類は、工程でなく他の観点で行うこともできる。同様に、第２実施形態において、運転履歴データの分類は、状態でなく他の観点で行うこともできる。

【0071】

模倣モデル６１に学習を行わせるコンピュータと、学習した模倣モデル６１に動作予測を行わせるコンピュータは、同一であっても良いし、別々であっても良い。

【0072】

第１実施形態の自動運転システム５は、アーム式ロボットに限定されず、他の形式のロボットの運転に適用することもでき、ロボット以外の他の機械の運転に適用することもできる。また、第２実施形態の自動運転システム５ｘは、ごみ焼却炉に限定されず、他の形式のプラントの運転に適用することもでき、プラント以外の他の施設の運転に適用することもできる。

【符号の説明】

【0073】

５，５ｘ 自動運転システム（動作予測システム）
３２ 制御部
３５ モデル選択部
３６ 評価部
３７ 追加学習部
５１ 分類システム
５２ 模倣システム
６１ 模倣モデル（動作予測モデル）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】