特開 2023-102313 処理システムおよび処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023102313

(43)【公開日】2023-07-25

(54)【発明の名称】処理システムおよび処理方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230718BHJP

   B25J 13/00 20060101ALN20230718BHJP

【ＦＩ】

G06N20/00

B25J13/00 Z

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022002689

(22)【出願日】2022-01-12

(71)【出願人】

【識別番号】000003333

【氏名又は名称】ボッシュ株式会社

(72)【発明者】

【氏名】中里 研一

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS14

3C707BS10

3C707BS27

3C707JU09

3C707KT01

3C707LS06

3C707LV02

3C707LW12

3C707MT01

3C707WA03

3C707WA13

(57)【要約】

【課題】作業現場にロボットを円滑に導入する。
【解決手段】処理システム１は、状態に応じて行動を決定するための行動モデルを用いて行動を決定する処理システムであって、行動モデルは、第１行動モデルπ１と、作業員３０の行動を模倣する模倣モデルを少なくとも含む第２行動モデルπ２とを含み、処理システム１は、第１行動モデルπ１を用いて行動を決定する第１決定部と、第２行動モデルπ２を用いて行動を決定する第２決定部と、第２行動モデルπ２を用いて決定された行動に基づいて、強化学習による第１行動モデルπ１の学習を行う第１学習部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

状態に応じて行動を決定するための行動モデルを用いて行動を決定する処理システム（１）であって、
前記行動モデルは、第１行動モデル（π１）と、作業員（３０）の行動を模倣する模倣モデル（π２１）を少なくとも含む第２行動モデル（π２）とを含み、
前記処理システム（１）は、
前記第１行動モデル（π１）を用いて行動を決定する第１決定部（１１ｂ）と、
前記第２行動モデル（π２）を用いて行動を決定する第２決定部（２１ｂ）と、
前記第２行動モデル（π２）を用いて決定された行動に基づいて、強化学習による前記第１行動モデル（π１）の学習を行う第１学習部（１１ｄ）と、
を備える、
処理システム。

【請求項2】

前記作業員（３０）が行った行動に基づいて、模倣学習による前記模倣モデル（π２１）の学習を行う第２学習部（２１ｄ）を備える、
請求項１に記載の処理システム。

【請求項3】

前記第２行動モデル（π２）は、前記模倣モデル（π２１）に加えて、前記作業員（３０）の行動に基づかずに行動を決定するための非模倣モデル（π２２）を含む、
請求項１または２に記載の処理システム。

【請求項4】

前記第２行動モデル（π２）は、前記模倣モデル（π２１）と前記非模倣モデル（π２２）とを重み付け加算して生成される、
請求項３に記載の処理システム。

【請求項5】

前記第１行動モデル（π１）を用いて決定された行動に基づいて、強化学習による前記非模倣モデル（π２２）の学習を行う第３学習部（２１ｅ）を備える、
請求項３または４に記載の処理システム。

【請求項6】

前記第１決定部（１１ｂ）は、前記作業員（３０）が作業している時に、前記第１行動モデル（π１）を用いた行動の決定を行う、
請求項１～５のいずれか一項に記載の処理システム。

【請求項7】

状態に応じて行動を決定するための行動モデルを用いて行動を決定する処理方法であって、
前記行動モデルは、第１行動モデル（π１）と、作業員（３０）の行動を模倣する模倣モデル（π２１）を少なくとも含む第２行動モデル（π２）とを含み、
前記第１行動モデル（π１）を用いて行動を決定する第１ステップと、
前記第２行動モデル（π２）を用いて行動を決定する第２ステップと、
前記第２ステップで前記第２行動モデル（π２）を用いて決定された行動に基づいて、強化学習による前記第１行動モデル（π１）の学習を行う第３ステップと、
を含む、
処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理システムおよび処理方法に関する。

【背景技術】

【0002】

近年、状態に応じて行動を決定するための行動モデルを用いた人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）に関する種々の技術が提案されている。例えば、特許文献１には、強化学習による行動モデルの学習に関する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０１０／０９４７８６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、人工知能の発展に伴い、工場の生産現場等の作業現場で作業員が行っていた一部の作業がロボットによって自動化されることが想定される。ここで、作業現場にロボットを導入する場合、作業員とロボットが共同作業を行う状況が生じる。このような状況において、作業現場にロボットを円滑に導入することが望まれる。

【0005】

そこで、本発明は、このような課題に鑑み、作業現場にロボットを円滑に導入することが可能な処理システムおよび処理方法を提供することを目的としている。

【課題を解決するための手段】

【0006】

上記課題を解決するために、処理システムは、状態に応じて行動を決定するための行動モデルを用いて行動を決定する処理システムであって、行動モデルは、第１行動モデルと、作業員の行動を模倣する模倣モデルを少なくとも含む第２行動モデルとを含み、処理システムは、第１行動モデルを用いて行動を決定する第１決定部と、第２行動モデルを用いて行動を決定する第２決定部と、第２行動モデルを用いて決定された行動に基づいて、強化学習による第１行動モデルの学習を行う第１学習部と、を備える。

【0007】

上記課題を解決するために、処理方法は、状態に応じて行動を決定するための行動モデルを用いて行動を決定する処理方法であって、行動モデルは、第１行動モデルと、作業員の行動を模倣する模倣モデルを少なくとも含む第２行動モデルとを含み、第１行動モデルを用いて行動を決定する第１ステップと、第２行動モデルを用いて行動を決定する第２ステップと、第２ステップで第２行動モデルを用いて決定された行動に基づいて、強化学習による第１行動モデルの学習を行う第３ステップと、を含む。

【発明の効果】

【0008】

本発明によれば、作業現場にロボットを円滑に導入することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係る処理システムの概略構成を示す模式図である。

【図2】本発明の実施形態に係る第１処理装置の機能構成の一例を示すブロック図である。

【図3】本発明の実施形態に係る第２処理装置の機能構成の一例を示すブロック図である。

【図4】本発明の実施形態に係る第１ロボット、第２ロボットおよび作業員により行われる工程の全体的な流れの一例を示すフローチャートである。

【図5】本発明の実施形態に係る現場作業工程の実行主体を示す図である。

【図6】本発明の実施形態に係る学習工程の実行主体を示す図である。

【図7】本発明の実施形態に係る学習工程における処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易にするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0011】

＜処理システムの構成＞
図１～図３を参照して、本発明の実施形態に係る処理システム１の構成について説明する。

【0012】

図１は、処理システム１の概略構成を示す模式図である。

【0013】

図１に示されるように、処理システム１は、第１ロボット１０と、第２ロボット２０とを含む。処理システム１は、工場の生産現場等の作業現場において活用される。以下では、処理システム１が工場の生産現場における生産工程に活用される例を説明する。生産工程は、製品を生産する工程である。ただし、処理システム１が活用される作業現場は、製品の生産が行われる生産現場以外の作業現場（例えば、製品の検査が行われる現場等）であってもよい。

【0014】

第１ロボット１０および第２ロボット２０は、人工知能を用いて行動を決定して実行するロボットである。具体的には、第１ロボット１０および第２ロボット２０は、状態に応じて行動を決定するための行動モデルを有しており、行動モデルを用いて行動を決定して実行する。第１ロボット１０は、第１ロボット１０に関する各種処理を行う第１処理装置１１を備える。第１処理装置１１は、第１行動モデルπ１を用いて第１ロボット１０の行動を決定し、決定した行動を第１ロボット１０に実行させる。第２ロボット２０は、第２ロボット２０に関する各種処理を行う第２処理装置２１を備える。第２処理装置２１は、第２行動モデルπ２を用いて第２ロボット２０の行動を決定し、決定した行動を第２ロボット２０に実行させる

【0015】

処理システム１が活用される生産工程では、第１ロボット１０と作業員３０による共同作業によって製品の生産が行われる。第１ロボット１０は、製品の生産に関する作業を実行する。図１の例では、第１ロボット１０がロボットアームである例が示されている。ただし、第１ロボット１０は、ロボットアーム以外のロボットであってもよい。

【0016】

第２ロボット２０は、第１ロボット１０により用いられる第１行動モデルπ１の学習に利用されるロボットである。第２ロボット２０は、作業員３０の行動を模倣することが可能である。図１の例では、第２ロボット２０が人型ロボットである例が示されている。ただし、第２ロボット２０は、人型ロボット以外のロボットであってもよい。

【0017】

図２は、第１処理装置１１の機能構成の一例を示すブロック図である。

【0018】

第１処理装置１１は、演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵが使用するプログラムや演算パラメータ等を記憶する記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、および、ＣＰＵの実行において適宜変化するパラメータ等を一時記憶する記憶素子であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。

【0019】

図２に示されるように、第１処理装置１１は、例えば、第１取得部１１ａと、第１決定部１１ｂと、第１制御部１１ｃと、第１学習部１１ｄと、第１記憶部１１ｅとを備える。

【0020】

第１取得部１１ａは、第１ロボット１０の制御に必要な各種情報を取得する。上述したように、第１ロボット１０の行動は、第１行動モデルπ１を用いて決定される。第１取得部１１ａは、第１行動モデルπ１を用いた行動の決定に必要な情報を取得する。

【0021】

第１決定部１１ｂは、第１ロボット１０に実行させる行動を決定する。具体的には、第１決定部１１ｂは、第１行動モデルπ１を用いて第１ロボット１０の行動を決定する。第１行動モデルπ１は、第１記憶部１１ｅに記憶されており、強化学習によって学習される行動モデルである。第１行動モデルπ１は、例えば、状態と行動のペアを入力すると、入力した行動の評価指数（おすすめ度合い）を出力する関数である。

【0022】

第１行動モデルπ１に状態として入力される情報は、例えば、生産現場に関する情報（例えば、作業の種類を示す情報、または、作業で用いる材料の情報等）、第１ロボット１０に関する情報（例えば、第１ロボット１０の位置および姿勢を示す情報等）、または、作業員３０に関する情報（例えば、作業員３０の位置および姿勢を示す情報等）が挙げられる。これらの情報は、第１取得部１１ａによって取得される。第１取得部１１ａは、例えば、第１ロボット１０に設けられるカメラにより撮像される画像に基づいて、生産現場に関する情報、および、作業員３０に関する情報を取得できる。また、第１取得部１１ａは、例えば、第１ロボット１０に設けられる各種センサの出力結果に基づいて、第１ロボット１０に関する情報を取得できる。

【0023】

例えば、状態が決まると、いくつかの行動の候補が決まる。第１決定部１１ｂは、これらの行動の候補をそれぞれ第１行動モデルπ１に入力して得られる評価指数同士を比較することで、第１ロボット１０の行動を決定することができる。具体的には、第１決定部１１ｂは、評価指数が最も高くなる行動を第１ロボット１０に行わせる行動として決定する。

【0024】

第１制御部１１ｃは、第１決定部１１ｂにより第１行動モデルπ１を用いて決定された行動を第１ロボット１０に実行させる。例えば、第１制御部１１ｃは、第１ロボット１０に設けられるモータ等のアクチュエータを制御することによって、第１ロボット１０を制御することができる。

【0025】

第１学習部１１ｄは、第１行動モデルπ１の学習を行う。なお、第１学習部１１ｄによる第１行動モデルπ１の学習の詳細については、後述する。

【0026】

第１記憶部１１ｅは、第１ロボット１０の制御に必要な各種情報を記憶する。具体的には、第１記憶部１１ｅは、第１行動モデルπ１を記憶する。第１記憶部１１ｅに記憶される第１行動モデルπ１は、第１学習部１１ｄにより行われる学習に応じて更新される。

【0027】

図３は、第２処理装置２１の機能構成の一例を示すブロック図である。

【0028】

第２処理装置２１は、演算処理装置であるＣＰＵ、ＣＰＵが使用するプログラムや演算パラメータ等を記憶する記憶素子であるＲＯＭ、および、ＣＰＵの実行において適宜変化するパラメータ等を一時記憶する記憶素子であるＲＡＭ等を含む。

【0029】

図３に示されるように、第２処理装置２１は、例えば、第２取得部２１ａと、第２決定部２１ｂと、第２制御部２１ｃと、第２学習部２１ｄと、第３学習部２１ｅと、第２記憶部２１ｆとを備える。

【0030】

第２取得部２１ａは、第２ロボット２０の制御に必要な各種情報を取得する。上述したように、第２ロボット２０の行動は、第２行動モデルπ２を用いて決定される。第２取得部２１ａは、第２行動モデルπ２を用いた行動の決定に必要な情報を取得する。

【0031】

第２決定部２１ｂは、第２ロボット２０に実行させる行動を決定する。具体的には、第２決定部２１ｂは、第２行動モデルπ２を用いて第２ロボット２０の行動を決定する。第２行動モデルπ２は、第２記憶部２１ｆに記憶されており、作業員３０の行動を模倣する模倣モデルπ２１と、作業員３０の行動に基づかずに行動を決定するための非模倣モデルπ２２とを含む。模倣モデルπ２１は、模倣学習によって学習される行動モデルである。非模倣モデルπ２２は、強化学習によって学習される行動モデルである。

【0032】

第２行動モデルπ２は、具体的には、模倣モデルπ２１と非模倣モデルπ２２とを重み付け加算して生成される。図３に示されるように、第２行動モデルπ２は、例えば、απ２１＋（１－α）π２２との数式で表現され得る。ここで、重み係数αは０～１の間の値を取り、重み係数αが１に近いほど、第２行動モデルπ２が模倣モデルπ２１に近くなる。なお、以下では、第２行動モデルπ２が模倣モデルπ２１および非模倣モデルπ２２を含む例を説明する。ただし、後述するように、第２行動モデルπ２は、模倣モデルπ２１を少なくとも含んでいればよい。

【0033】

模倣モデルπ２１および非模倣モデルπ２２は、例えば、第１行動モデルπ１と同様に、状態と行動のペアを入力すると、入力した行動の評価指数（おすすめ度合い）を出力する関数である。第２決定部２１ｂは、状態に応じた行動の候補をそれぞれ第２行動モデルπ２に入力して得られる評価指数同士を比較することで、第２ロボット２０の行動を決定することができる。具体的には、第２決定部２１ｂは、評価指数が最も高くなる行動を第２ロボット２０に行わせる行動として決定する。なお、第２行動モデルπ２に状態として入力される情報は、第１行動モデルπ１に状態として入力される情報と同様であり、第１取得部１１ａによる取得方法と同様の方法で、第２取得部２１ａによって取得される。

【0034】

第２制御部２１ｃは、第２決定部２１ｂにより第２行動モデルπ２を用いて決定された行動を第２ロボット２０に実行させる。例えば、第２制御部２１ｃは、第２ロボット２０に設けられるモータ等のアクチュエータを制御することによって、第２ロボット２０を制御することができる。

【0035】

第２学習部２１ｄは、第２行動モデルπ２における模倣モデルπ２１の学習を行う。なお、第２学習部２１ｄによる模倣モデルπ２１の学習の詳細については、後述する。

【0036】

第３学習部２１ｅは、第２行動モデルπ２における非模倣モデルπ２２の学習を行う。なお、第３学習部２１ｅによる非模倣モデルπ２２の学習の詳細については、後述する。

【0037】

第２記憶部２１ｆは、第２ロボット２０の制御に必要な各種情報を記憶する。具体的には、第２記憶部２１ｆは、第２行動モデルπ２を記憶する。第２記憶部２１ｆに記憶される第２行動モデルπ２は、第２学習部２１ｄおよび第３学習部２１ｅにより行われる学習に応じて更新される。

【0038】

＜処理システムの動作＞
図４～図７を参照して、本発明の実施形態に係る処理システム１の動作について説明する。

【0039】

上述したように、処理システム１は、例えば、工場の生産現場における生産工程に活用される。以下、このような例における工程の全体的な流れについて図４～図６を参照して説明した後に、後述する学習工程の詳細について図７を参照して説明する。

【0040】

図４は、第１ロボット１０、第２ロボット２０および作業員３０により行われる工程の全体的な流れの一例を示すフローチャートである。図４におけるステップＳ１０１は、図４に示される処理フローの開始に対応する。

【0041】

図４に示される処理フローが開始されると、ステップＳ１０２において、生産現場において実際に製品を生産する現場作業工程が行われる。現場作業工程は、例えば、日中に行われる。図５は、現場作業工程の実行主体を示す図である。図５に示されるように、現場作業工程では、第１ロボット１０と作業員３０による共同作業が行われる。ここで、第１ロボット１０の第１決定部１１ｂは、作業員３０が作業している時（場合）に、第１行動モデルπ１を用いた行動の決定を行う。そして、第１ロボット１０は、第１行動モデルπ１を用いて決定された行動を実行する。

【0042】

図４のステップＳ１０２の次に、ステップＳ１０３において、第１ロボット１０が用いる第１行動モデルπ１、および、第２ロボット２０が用いる第２行動モデルπ２を学習する学習工程が行われる。学習工程は、例えば、夜間に行われる。図６は、学習工程の実行主体を示す図である。図６に示されるように、学習工程では、第１ロボット１０および第２ロボット２０によって各行動モデルの学習が行われる。なお、学習工程の詳細については後述する。

【0043】

図４に示される処理フローでは、ステップＳ１０３の次に、ステップＳ１０２に戻り、ステップＳ１０２の現場作業工程、および、ステップＳ１０３の学習工程が繰り返される。例えば、現場作業工程および学習工程の１セットが１日に行われ、翌日に、現場作業工程および学習工程の次のセットが行われる。それにより、第１ロボット１０と作業員３０による共同作業が日々行われるとともに、第１行動モデルπ１および第２行動モデルπ２が日々更新されていく。

【0044】

図７は、学習工程における処理の流れの一例を示すフローチャートである。図７におけるステップＳ２０１は、図７に示される処理フローの開始に対応する。図７におけるステップＳ２０５は、図７に示される処理フローの終了に対応する。図７に示される処理フローは、上述した図４に示される処理フローにおけるステップＳ１０３で行われる処理フローの一例に相当する。

【0045】

図７に示される処理フローが開始されると、ステップＳ２０２において、第２ロボット２０の第２学習部２１ｄは、第２行動モデルπ２における模倣モデルπ２１の学習を行う。模倣モデルπ２１の学習は、第２ロボット２０によって行われる。

【0046】

ステップＳ２０２では、第２学習部２１ｄは、作業員３０が行った行動に基づいて、模倣学習による模倣モデルπ２１の学習を行う。例えば、日中に行われる現場作業工程において、作業員３０が行った行動が記録される。作業員３０の行動の記録では、作業員３０が行った行動と、その行動が行われた際の状態（例えば、作業の種類等）が紐づけられている。模倣モデルπ２１の模倣学習は、このようにして得られた作業員３０の行動の記録を用いて行われる。模倣モデルπ２１の模倣学習では、第２学習部２１ｄは、第２ロボット２０に種々の行動を行わせ、第２ロボット２０が行った各行動に対して報酬を算出する。ここで、第２学習部２１ｄは、ある状態で第２ロボット２０が行った行動がその状態と対応する作業員３０の行動に近いほど（似ているほど）高くなるように報酬を算出する。第２学習部２１ｄは、このような報酬の算出を各状態に対して行う。このようにして得られる報酬は、上述した行動の評価指数（おすすめ度合い）に相当する。第２学習部２１ｄは、得られた状態と行動のペアと報酬との関係を用いて、模倣モデルπ２１における入力（状態と行動のペア）と出力（行動の評価指数（おすすめ度合い））との関係を更新する。

【0047】

ステップＳ２０２の次に、ステップＳ２０３において、第２ロボット２０の第３学習部２１ｅは、第２行動モデルπ２における非模倣モデルπ２２の学習を行う。非模倣モデルπ２２の学習は、第１ロボット１０および第２ロボット２０によって行われる。

【0048】

ステップＳ２０３では、第３学習部２１ｅは、第１決定部１１ｂにより第１行動モデルπ１を用いて決定された行動に基づいて、強化学習による非模倣モデルπ２２の学習を行う。例えば、実際の生産現場を模した模擬的な現場において、第１ロボット１０は、第１行動モデルπ１を用いて行動を選択して実行する。このような状況において、非模倣モデルπ２２の強化学習が行われる。非模倣モデルπ２２の強化学習では、第３学習部２１ｅは、第２ロボット２０に種々の行動を行わせ、第２ロボット２０が行った各行動に対して報酬を算出する。ここで、第３学習部２１ｅは、例えば、第２ロボット２０が行った行動の効率が高いほど（例えば、作業時間が短いほど、または、成功率が高いほど）高くなるように報酬を算出する。第３学習部２１ｅは、このような報酬の算出を、各状態に対して行う。そして、第３学習部２１ｅは、得られた状態と行動のペアと報酬との関係を用いて、非模倣モデルπ２２における入力（状態と行動のペア）と出力（行動の評価指数（おすすめ度合い））との関係を更新する。

【0049】

ステップＳ２０３の次に、ステップＳ２０４において、第１ロボット１０の第１学習部１１ｄは、第１行動モデルπ１の学習を行い、図７に示される処理フローは終了する。第１行動モデルπ１の学習は、第１ロボット１０および第２ロボット２０によって行われる。

【0050】

ステップＳ２０４では、第１学習部１１ｄは、第２決定部２１ｂにより第２行動モデルπ２を用いて決定された行動に基づいて、強化学習による第１行動モデルπ１の学習を行う。例えば、実際の生産現場を模した模擬的な現場において、第２ロボット２０は、ステップＳ２０２およびステップＳ２０３で更新された第２行動モデルπ２を用いて行動を選択して実行する。このような状況において、第１行動モデルπ１の強化学習が行われる。第１行動モデルπ１の強化学習では、第１学習部１１ｄは、第１ロボット１０に種々の行動を行わせ、第１ロボット１０が行った各行動に対して報酬を算出する。ここで、第１学習部１１ｄは、例えば、第１ロボット１０が行った行動の効率が高いほど（例えば、作業時間が短いほど、または、成功率が高いほど）高くなるように報酬を算出する。第１学習部１１ｄは、このような報酬の算出を、各状態に対して行う。そして、第１学習部１１ｄは、得られた状態と行動のペアと報酬との関係を用いて、第１行動モデルπ１における入力（状態と行動のペア）と出力（行動の評価指数（おすすめ度合い））との関係を更新する。

【0051】

以上説明したように、処理システム１では、第１ロボット１０の第１学習部１１ｄは、第２決定部２１ｂにより第２行動モデルπ２を用いて決定された行動に基づいて、強化学習による第１行動モデルπ１の学習を行う。上記の例では、第１ロボット１０および第２ロボット２０によって、第１行動モデルπ１の強化学習が行われる。それにより、作業員３０が作業していない夜間等において、第１行動モデルπ１の学習を行うことができる。

【0052】

ここで、仮に、第２行動モデルπ２が、作業員３０の行動を模倣する模倣モデルπ２１を含まずに、作業員３０の行動に基づかずに行動を決定するための行動モデル（例えば、非模倣モデルπ２２）である場合、第２ロボット２０の行動が作業員３０の行動に対して大きく乖離してしまう。ゆえに、このような第２ロボット２０とともに第１ロボット１０の第１行動モデルπ１を学習した場合、学習後の第１行動モデルπ１を用いて決定される第１ロボット１０の行動に対して作業員３０が上手く適応できない状況が生じるおそれがある。

【0053】

一方、本実施形態では、第２行動モデルπ２は、作業員３０の行動を模倣する模倣モデルπ２１を含む。それにより、第２ロボット２０の行動が作業員３０の行動に対して大きく乖離することが抑制される。ゆえに、学習後の第１行動モデルπ１を用いて決定される第１ロボット１０の行動に対して作業員３０が上手く適応できない状況の発生を抑制できる。よって、本実施形態によれば、作業現場にロボット（上記の例では、第１ロボット１０）を円滑に導入することができる。

【0054】

また、上述したように、第１ロボット１０の第１決定部１１ｂは、作業員３０が作業している時（場合）に、第１行動モデルπ１を用いた行動の決定を行う。具体的には、日中の現場作業工程（つまり、図４のステップＳ１０２）において、作業員３０とともに作業を行う第１ロボット１０は、第１行動モデルπ１を用いて決定された行動を実行する。それにより、作業員３０は、前日の学習工程において更新された第１行動モデルπ１を用いて決定され実行される第１ロボット１０の行動に対して適応しながら作業を行うことになる。ゆえに、第１行動モデルπ１の学習後において、作業員３０は、第１ロボット１０の行動に順応していく。このように、処理システム１では、システム全体の効率が向上されるように、作業員３０と第１ロボット１０とが、互いに適応しながら成長していく。

【0055】

さらに、上述したように、第２ロボット２０の第２学習部２１ｄは、作業員３０が行った行動に基づいて、模倣学習による模倣モデルπ２１の学習を行う。具体的には、夜間の学習工程（つまり、図４のステップＳ１０３）において、日中の現場作業工程（つまり、図４のステップＳ１０２）で作業員３０が行った行動の記録を用いて第２行動モデルπ２における模倣モデルπ２１の模倣学習が行われる。それにより、学習後の第１行動モデルπ１を用いて決定され実行される第１ロボット１０の行動に適応した後の作業員３０の行動を模倣するように、模倣モデルπ２１を更新することができる。このように、処理システム１では、システム全体の効率が向上されるように、第２ロボット２０も、作業員３０および第１ロボット１０に適応しながら成長していく。

【0056】

さらに、上述したように、第２ロボット２０の第３学習部２１ｅは、第１決定部１１ｂにより第１行動モデルπ１を用いて決定された行動に基づいて、強化学習による非模倣モデルπ２２の学習を行う。具体的には、夜間の学習工程（つまり、図４のステップＳ１０３）において、前日の学習によって更新された第１行動モデルπ１を用いる第１ロボット１０とともに第２行動モデルπ２における非模倣モデルπ２２の強化学習が行われる。それにより、学習後の第１行動モデルπ１を用いて決定され実行される第１ロボット１０の行動に適応するように、非模倣モデルπ２２を更新することができる。

【0057】

なお、上記では、第２行動モデルπ２が模倣モデルπ２１および非模倣モデルπ２２を含む例を説明した。ただし、第２行動モデルπ２は、模倣モデルπ２１を少なくとも含んでいればよい。例えば、第２行動モデルπ２は、作業員３０の行動に基づかずに行動を決定するための非模倣モデルπ２２を含まずに、作業員３０の行動を模倣する行動モデル（例えば、模倣モデルπ２１）であってもよい。この場合であっても、上記の例と同様に、学習後の第１行動モデルπ１を用いて決定される第１ロボット１０の行動に対して作業員３０が上手く適応できない状況の発生を抑制できるので、作業現場にロボットを円滑に導入することができる。ただし、第２行動モデルπ２が模倣モデルπ２１のみである場合、第２行動モデルπ２の学習において、作業員３０が経験していない状況で行動を決定するための学習が円滑に進まないおそれがある。ゆえに、第２行動モデルπ２は、模倣モデルπ２１に加えて、非模倣モデルπ２２を含むことが好ましい。

【0058】

なお、上記では、第１行動モデルπ１の強化学習が夜間の学習工程（つまり、図４のステップＳ１０３）において行われる例を説明した。ただし、第１行動モデルπ１の強化学習は、夜間の学習工程に加えて、日中の現場作業工程（つまり、図４のステップＳ１０２）において行われてもよい。

【0059】

なお、上記では、第１処理装置１１の各機能部（つまり、第１取得部１１ａ、第１決定部１１ｂ、第１制御部１１ｃ、第１学習部１１ｄおよび第１記憶部１１ｅ）と、第２処理装置２１の各機能部（つまり、第２取得部２１ａ、第２決定部２１ｂ、第２制御部２１ｃ、第２学習部２１ｄ、第３学習部２１ｅおよび第２記憶部２１ｆ）とが別々のロボットに分けられている例を説明した。ただし、上記で説明した各機能部を１つの装置が有していてもよい。例えば、上記で説明した第２ロボット２０が行う処理を内部的に計算するシミュレーターを第１ロボット１０が有していてもよい。この場合、第２ロボット２０は処理システム１から省略され得る。

【0060】

＜処理システムの効果＞
本発明の実施形態に係る処理システム１の効果について説明する。

【0061】

処理システム１では、行動モデルは、第１行動モデルπ１と、作業員３０の行動を模倣する模倣モデルπ２１を少なくとも含む第２行動モデルπ２とを含む。処理システム１は、第１行動モデルπ１を用いて行動を決定する第１決定部１１ｂと、第２行動モデルπ２を用いて行動を決定する第２決定部２１ｂと、第２行動モデルπ２を用いて決定された行動に基づいて、強化学習による第１行動モデルπ１の学習を行う第１学習部１１ｄとを備える。それにより、作業員３０が作業していない夜間等において、第１行動モデルπ１の学習を行うことができる。ここで、第２行動モデルπ２は模倣モデルπ２１を含むので、第２ロボット２０の行動が作業員３０の行動に対して大きく乖離することが抑制される。ゆえに、学習後の第１行動モデルπ１を用いて決定される第１ロボット１０の行動に対して作業員３０が上手く適応できない状況の発生を抑制できる。よって、本実施形態によれば、作業現場にロボット（上記の例では、第１ロボット１０）を円滑に導入することができる。

【0062】

好ましくは、処理システム１は、作業員３０が行った行動に基づいて、模倣学習による模倣モデルπ２１の学習を行う第２学習部２１ｄを備える。それにより、学習後の第１行動モデルπ１を用いて決定され実行される第１ロボット１０の行動に適応した後の作業員３０の行動を模倣するように、模倣モデルπ２１を更新することができる。

【0063】

好ましくは、処理システム１では、第２行動モデルπ２は、模倣モデルπ２１に加えて、作業員３０の行動に基づかずに行動を決定するための非模倣モデルπ２２を含む。それにより、第２行動モデルπ２の学習において、作業員３０が経験していない状況で行動を決定するための学習が円滑に進まないことが抑制される。

【0064】

好ましくは、処理システム１では、第２行動モデルπ２は、模倣モデルπ２１と非模倣モデルπ２２とを重み付け加算して生成される。それにより、模倣モデルπ２１と非模倣モデルπ２２とを含む第２行動モデルπ２を適切に生成できる。また、重み係数αを適宜設定することによって、第２行動モデルπ２を模倣モデルπ２１に近づける調整、または、模倣モデルπ２１から遠ざける調整を行うことができる。

【0065】

好ましくは、処理システム１は、第１行動モデルπ１を用いて決定された行動に基づいて、強化学習による非模倣モデルπ２２の学習を行う第３学習部２１ｅを備える。それにより、学習後の第１行動モデルπ１を用いて決定され実行される第１ロボット１０の行動に適応するように、非模倣モデルπ２２を更新することができる。

【0066】

好ましくは、処理システム１では、第１決定部１１ｂは、作業員３０が作業している時に、第１行動モデルπ１を用いた行動の決定を行う。それにより、作業員３０は、システム全体の効率を高めるために、学習により更新された第１行動モデルπ１を用いて決定される第１ロボット１０の行動に対して適応しながら作業を行うことになる。ゆえに、第１行動モデルπ１の学習後において、作業員３０は、第１行動モデルπ１を用いて決定される第１ロボット１０の行動に順応していくことができる。

【0067】

以上、添付図面を参照しつつ本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されないことは勿論であり、特許請求の範囲に記載された範疇における各種の変更例または修正例についても、本発明の技術的範囲に属することは言うまでもない。

【0068】

例えば、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

【0069】

また、例えば、上記で説明した処理システム１による一連の制御処理は、ソフトウェア、ハードウェア、およびソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、情報処理装置の内部または外部に設けられる記憶媒体に予め格納される。

【符号の説明】

【0070】

１ 処理システム
１０ 第１ロボット
１１ 第１処理装置
１１ａ 第１取得部
１１ｂ 第１決定部
１１ｃ 第１制御部
１１ｄ 第１学習部
１１ｅ 第１記憶部
２０ 第２ロボット
２１ 第２処理装置
２１ａ 第２取得部
２１ｂ 第２決定部
２１ｃ 第２制御部
２１ｄ 第２学習部
２１ｅ 第３学習部
２１ｆ 第２記憶部
３０ 作業員
π１ 第１行動モデル
π２ 第２行動モデル
π２１ 模倣モデル
π２２ 非模倣モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】