特許 7585999 学習及び制御装置、学習装置、制御装置、学習及び制御方法、学習方法、制御方法、学習及び制御プログラム、学習プログラム、及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】学習及び制御装置、学習装置、制御装置、学習及び制御方法、学習方法、制御方法、学習及び制御プログラム、学習プログラム、及び制御プログラム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20241112BHJP

   G06N 20/00 20190101ALI20241112BHJP

【ＦＩ】

B25J9/22 A

G06N20/00

【請求項の数】 15

(21)【出願番号】P 2021109158

(22)【出願日】2021-06-30

(65)【公開番号】P2023006521

(43)【公開日】2023-01-18

【審査請求日】2024-03-18

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】井尻 善久

(72)【発明者】

【氏名】フェリクス フォン ドリガルスキ

(72)【発明者】

【氏名】田中 一敏

(72)【発明者】

【氏名】▲濱▼屋 政志

(72)【発明者】

【氏名】米谷 竜

【審査官】牧 初

(56)【参考文献】

【文献】特開２０２０－１０４２１５（ＪＰ，Ａ）

【文献】特開２０１８－１２４９８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

Ｇ０５Ｂ １１／００－１３／０４

(57)【特許請求の範囲】

【請求項1】

制御対象に対して予め定めた一連の動作を行わせることにより得られた、前記制御対象の状態と、前記状態で前記制御対象に指令した指令動作と、前記制御対象が指令動作を行った後の次状態と、を含む状態遷移データを複数取得する状態遷移データ取得部と、
前記状態及び前記指令動作を入力とし前記次状態を出力とするダイナミクスモデルを複数生成し、それぞれの前記ダイナミクスモデルは取得した複数の前記状態遷移データの一部から成る状態遷移データの組に対して適合し、複数の前記ダイナミクスモデルは互いに異なる前記状態遷移データの組に適合する、ダイナミクスモデル生成部と、
生成したダイナミクスモデルに適合する前記状態遷移データの組に含まれる前記状態遷移データに対して、適合する前記ダイナミクスモデルを識別するラベルを付与する付与部と、
前記ラベルが付与された前記状態遷移データを学習データとして、複数の前記ダイナミクスモデルの中から、入力された前記制御対象の状態及び前記指令動作に対応する前記ダイナミクスモデルを特定するスイッチングモデルを学習する学習部と、
前記制御対象の状態を取得する状態取得部と、
前記制御対象に対する仮の指令系列を複数生成する仮指令系列生成部と、
仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力して前記スイッチングモデルを実行することにより、指令及び指令に対応する状態毎に適用するダイナミクスモデルを特定する特定部と、
仮の前記指令系列毎に、仮の前記指令系列に含まれる各指令に対応して特定された前記ダイナミクスモデルを用いて予測状態系列を生成する予測状態系列生成部と、
各予測状態系列の報酬を算出する算出部と、
前記報酬が最大化されると予測される予測指令系列を生成する予測指令系列生成部と、
生成された前記予測指令系列に含まれる最初の指令を出力する出力部と、
前記状態取得部、前記仮指令系列生成部、前記特定部、前記予測状態系列生成部、前記算出部、前記予測指令系列生成部、及び前記出力部の一連の動作を繰り返すことにより前記制御対象の動作を制御する実行制御部と、
を備えた学習及び制御装置。

【請求項2】

前記ダイナミクスモデル生成部は、複数の前記ダイナミクスモデルの内の１つのダイナミクスモデルを生成するに際して、当該ダイナミクスモデルを生成するために使用可能な全ての前記状態遷移データを用いて仮の前記ダイナミクスモデルを生成し、その後は、生成した仮の前記ダイナミクスモデルに前記制御対象の状態及び前記指令動作を入力して得られた前記次状態と、当該状態及び当該指令動作を含んでいる前記状態遷移データに含まれている前記次状態と、の誤差を算出し、前記誤差が最大となる前記状態遷移データを除いて仮の前記ダイナミクスモデルを生成することを繰り返すことにより、算出した前記誤差が予め定めた閾値以下となる前記ダイナミクスモデルを生成する
請求項１記載の学習及び制御装置。

【請求項3】

前記ダイナミクスモデル生成部は、複数の前記ダイナミクスモデルの内の１つのダイナミクスモデルを生成する毎に、当該ダイナミクスモデルの生成過程において除かれずに残った前記状態遷移データを以降の前記ダイナミクスモデルの生成において使用不能にして、次の前記ダイナミクスモデルを生成する
請求項２記載の学習及び制御装置。

【請求項4】

前記ダイナミクスモデル生成部は、前記誤差が最大となって除かれた前記状態遷移データの中からランダムに選択した前記状態遷移データを予め定めた頻度で前記ダイナミクスモデルを生成するために用いる前記状態遷移データに戻して前記ダイナミクスモデルを生成する
請求項２又は請求項３記載の学習及び制御装置。

【請求項5】

前記仮指令系列生成部は、１つの仮の前記指令系列を生成し、前記予測状態系列生成部は、前記仮指令系列生成部が生成した仮の前記指令系列に対応する前記予測状態系列を生成し、前記算出部は、前記予測状態系列生成部が生成した予測状態系列の報酬を算出し、前記予測指令系列生成部は、前記仮指令系列生成部、前記特定部、予測状態系列生成部、及び算出部の一連の動作を複数回実行させることにより前記報酬をより大きくするように仮の前記指令系列を１回以上更新することによって前記報酬が最大化されると予測される予測指令系列を生成する
請求項１～４の何れか１項に記載の学習及び制御装置。

【請求項6】

前記仮指令系列生成部は、複数の仮の前記指令系列をまとめて生成し、前記予測状態系列生成部は、前記複数の仮の前記指令系列の各々から前記予測状態系列を生成し、前記算出部は、各予測状態系列の報酬を算出し、前記予測指令系列生成部は、前記各予測状態系列の報酬に基づいて前記報酬が最大化されると予測される予測指令系列を生成する
請求項１～４の何れか１項に記載の学習及び制御装置。

【請求項7】

前記仮指令系列生成部は、前記複数の仮の前記指令系列をまとめて生成する処理から前記報酬を算出する処理までの一連の処理を複数回繰り返して実行させ、２回目以降の前記一連の処理においては、前記仮指令系列生成部は、前回の一連の処理において算出された報酬のうち予め定めた上位の報酬に対応する複数の仮の前記指令系列を選択し、選択した複数の仮の前記指令系列の分布に基づいて新たな複数の仮の前記指令系列を生成する
請求項６記載の学習及び制御装置。

【請求項8】

制御対象に対して予め定めた一連の動作を行わせることにより得られた、前記制御対象の状態と、前記状態で前記制御対象に指令した指令動作と、前記制御対象が指令動作を行った後の次状態と、を含む状態遷移データを複数取得する状態遷移データ取得部と、
前記状態及び前記指令動作を入力とし前記次状態を出力とするダイナミクスモデルを複数生成し、それぞれの前記ダイナミクスモデルは取得した複数の前記状態遷移データの一部から成る状態遷移データの組に対して適合し、複数の前記ダイナミクスモデルは互いに異なる前記状態遷移データの組に適当する、ダイナミクスモデル生成部と、
生成したダイナミクスモデルに適合する前記状態遷移データの組に含まれる前記状態遷移データに対して、適合する前記ダイナミクスモデルを識別するラベルを付与する付与部と、
前記ラベルが付与された前記状態遷移データを学習データとして、複数の前記ダイナミクスモデルの中から、入力された前記制御対象の状態及び前記指令動作に対応する前記ダイナミクスモデルを特定するスイッチングモデルを学習する学習部と、
を備えた学習装置。

【請求項9】

制御対象の状態を取得する状態取得部と、
前記制御対象に対する仮の指令系列を複数生成する仮指令系列生成部と、
仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力して請求項８記載の学習装置により学習されたスイッチングモデルを実行することにより、前記学習装置により生成されたダイナミクスモデルのうち指令及び指令に対応する状態毎に適用する前記ダイナミクスモデルを特定する特定部と、
仮の前記指令系列毎に、仮の前記指令系列に含まれる各指令に対応して特定された前記ダイナミクスモデルを用いて予測状態系列を生成する予測状態系列生成部と、
各予測状態系列の報酬を算出する算出部と、
前記報酬が最大化されると予測される予測指令系列を生成する予測指令系列生成部と、
生成された前記予測指令系列に含まれる最初の指令を出力する出力部と、
前記状態取得部、前記仮指令系列生成部、前記特定部、前記予測状態系列生成部、前記算出部、前記予測指令系列生成部、及び前記出力部の一連の動作を繰り返すことにより前記制御対象の動作を制御する実行制御部と、
を備えた制御装置。

【請求項10】

コンピュータが、
制御対象に対して予め定めた一連の動作を行わせることにより得られた、前記制御対象の状態と、前記状態で前記制御対象に指令した指令動作と、前記制御対象が指令動作を行った後の次状態と、を含む状態遷移データを複数取得する状態遷移データ取得ステップと、
前記状態及び前記指令動作を入力とし前記次状態を出力とするダイナミクスモデルを複数生成し、それぞれの前記ダイナミクスモデルは取得した複数の前記状態遷移データの一部から成る状態遷移データの組に対して適合し、複数の前記ダイナミクスモデルは互いに異なる前記状態遷移データの組に適合する、ダイナミクスモデル生成ステップと、
生成したダイナミクスモデルに適合する前記状態遷移データの組に含まれる前記状態遷移データに対して、適合する前記ダイナミクスモデルを識別するラベルを付与する付与ステップと、
前記ラベルが付与された前記状態遷移データを学習データとして、複数の前記ダイナミクスモデルの中から、入力された前記制御対象の状態及び前記指令動作に対応する前記ダイナミクスモデルを特定するスイッチングモデルを学習する学習ステップと、
前記制御対象の状態を取得する状態取得ステップと、
前記制御対象に対する仮の指令系列を複数生成する仮指令系列生成ステップと、
仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力して前記スイッチングモデルを実行することにより、指令及び指令に対応する状態毎に適用するダイナミクスモデルを特定する特定ステップと、
仮の前記指令系列毎に、仮の前記指令系列に含まれる各指令に対応して特定された前記ダイナミクスモデルを用いて予測状態系列を生成する予測状態系列生成ステップと、
各予測状態系列の報酬を算出する算出ステップと、
前記報酬が最大化されると予測される予測指令系列を生成する予測指令系列生成ステップと、
生成された前記予測指令系列に含まれる最初の指令を出力する出力ステップと、
前記状態取得ステップ、前記仮指令系列生成ステップ、前記特定ステップ、前記予測状態系列生成ステップ、前記算出ステップ、前記予測指令系列生成ステップ、及び前記出力ステップの一連の動作を繰り返すことにより前記制御対象の動作を制御する実行制御ステップと、
を含む処理を実行する学習及び制御方法。

【請求項11】

コンピュータが、
制御対象に対して予め定めた一連の動作を行わせることにより得られた、前記制御対象の状態と、前記状態で前記制御対象に指令した指令動作と、前記制御対象が指令動作を行った後の次状態と、を含む状態遷移データを複数取得する状態遷移データ取得ステップと、
前記状態及び前記指令動作を入力とし前記次状態を出力とするダイナミクスモデルを複数生成し、それぞれの前記ダイナミクスモデルは取得した複数の前記状態遷移データの一部から成る状態遷移データの組に対して適合し、複数の前記ダイナミクスモデルは互いに異なる前記状態遷移データの組に適合する、ダイナミクスモデル生成ステップと、
生成したダイナミクスモデルに適合する前記状態遷移データの組に含まれる前記状態遷移データに対して、適合する前記ダイナミクスモデルを識別するラベルを付与する付与ステップと、
前記ラベルが付与された前記状態遷移データを学習データとして、複数の前記ダイナミクスモデルの中から、入力された前記制御対象の状態及び前記指令動作に対応する前記ダイナミクスモデルを特定するスイッチングモデルを学習する学習ステップと、
を含む処理を実行する学習方法。

【請求項12】

コンピュータが、
制御対象の状態を取得する状態取得ステップと、
前記制御対象に対する仮の指令系列を複数生成する仮指令系列生成ステップと、
仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力して請求項１１記載の学習方法により学習されたスイッチングモデルを実行することにより、前記学習方法により生成されたダイナミクスモデルのうち指令及び指令に対応する状態毎に適用する前記ダイナミクスモデルを特定する特定ステップと、
仮の前記指令系列毎に、仮の前記指令系列に含まれる各指令に対応して特定された前記ダイナミクスモデルを用いて予測状態系列を生成する予測状態系列生成ステップと、
各予測状態系列の報酬を算出する算出ステップと、
前記報酬が最大化されると予測される予測指令系列を生成する予測指令系列生成ステップと、
生成された前記予測指令系列に含まれる最初の指令を出力する出力ステップと、
前記状態取得ステップ、前記仮指令系列生成ステップ、前記特定ステップ、前記予測状態系列生成ステップ、前記算出ステップ、前記予測指令系列生成ステップ、及び前記出力ステップの一連の動作を繰り返すことにより前記制御対象の動作を制御する実行制御ステップと、
を含む処理を実行する制御方法。

【請求項13】

コンピュータに、
制御対象に対して予め定めた一連の動作を行わせることにより得られた、前記制御対象の状態と、前記状態で前記制御対象に指令した指令動作と、前記制御対象が指令動作を行った後の次状態と、を含む状態遷移データを複数取得する状態遷移データ取得ステップと、
前記状態及び前記指令動作を入力とし前記次状態を出力とするダイナミクスモデルを複数生成し、それぞれの前記ダイナミクスモデルは取得した複数の前記状態遷移データの一部から成る状態遷移データの組に対して適合し、複数の前記ダイナミクスモデルは互いに異なる前記状態遷移データの組に適合する、ダイナミクスモデル生成ステップと、
生成したダイナミクスモデルに適合する前記状態遷移データの組に含まれる前記状態遷移データに対して、適合する前記ダイナミクスモデルを識別するラベルを付与する付与ステップと、
前記ラベルが付与された前記状態遷移データを学習データとして、複数の前記ダイナミクスモデルの中から、入力された前記制御対象の状態及び前記指令動作に対応する前記ダイナミクスモデルを特定するスイッチングモデルを学習する学習ステップと、
前記制御対象の状態を取得する状態取得ステップと、
前記制御対象に対する仮の指令系列を複数生成する仮指令系列生成ステップと、
仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力して前記スイッチングモデルを実行することにより、指令及び指令に対応する状態毎に適用するダイナミクスモデルを特定する特定ステップと、
仮の前記指令系列毎に、仮の前記指令系列に含まれる各指令に対応して特定された前記ダイナミクスモデルを用いて予測状態系列を生成する予測状態系列生成ステップと、
各予測状態系列の報酬を算出する算出ステップと、
前記報酬が最大化されると予測される予測指令系列を生成する予測指令系列生成ステップと、
生成された前記予測指令系列に含まれる最初の指令を出力する出力ステップと、
前記状態取得ステップ、前記仮指令系列生成ステップ、前記特定ステップ、前記予測状態系列生成ステップ、前記算出ステップ、前記予測指令系列生成ステップ、及び前記出力ステップの一連の動作を繰り返すことにより前記制御対象の動作を制御する実行制御ステップと、
を含む処理を実行させる学習及び制御プログラム。

【請求項14】

コンピュータに、
制御対象に対して予め定めた一連の動作を行わせることにより得られた、前記制御対象の状態と、前記状態で前記制御対象に指令した指令動作と、前記制御対象が指令動作を行った後の次状態と、を含む状態遷移データを複数取得する状態遷移データ取得ステップと、
前記状態及び前記指令動作を入力とし前記次状態を出力とするダイナミクスモデルを複数生成し、それぞれの前記ダイナミクスモデルは取得した複数の前記状態遷移データの一部から成る状態遷移データの組に対して適合し、複数の前記ダイナミクスモデルは互いに異なる前記状態遷移データの組に適合する、ダイナミクスモデル生成ステップと、
生成したダイナミクスモデルに適合する前記状態遷移データの組に含まれる前記状態遷移データに対して、適合する前記ダイナミクスモデルを識別するラベルを付与する付与ステップと、
前記ラベルが付与された前記状態遷移データを学習データとして、複数の前記ダイナミクスモデルの中から、入力された前記制御対象の状態及び前記指令動作に対応する前記ダイナミクスモデルを特定するスイッチングモデルを学習する学習ステップと、
を含む処理を実行させる学習プログラム。

【請求項15】

コンピュータに、
制御対象の状態を取得する状態取得ステップと、
前記制御対象に対する仮の指令系列を複数生成する仮指令系列生成ステップと、
仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力して請求項１４記載の学習プログラムにより学習されたスイッチングモデルを実行することにより、前記学習プログラムにより生成されたダイナミクスモデルのうち指令及び指令に対応する状態毎に適用する前記ダイナミクスモデルを特定する特定ステップと、
仮の前記指令系列毎に、仮の前記指令系列に含まれる各指令に対応して特定された前記ダイナミクスモデルを用いて予測状態系列を生成する予測状態系列生成ステップと、
各予測状態系列の報酬を算出する算出ステップと、
前記報酬が最大化されると予測される予測指令系列を生成する予測指令系列生成ステップと、
生成された前記予測指令系列に含まれる最初の指令を出力する出力ステップと、
前記状態取得ステップ、前記仮指令系列生成ステップ、前記特定ステップ、前記予測状態系列生成ステップ、前記算出ステップ、前記予測指令系列生成ステップ、及び前記出力ステップの一連の動作を繰り返すことにより前記制御対象の動作を制御する実行制御ステップと、
を含む処理を実行させる制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、学習及び制御装置、学習装置、制御装置、学習及び制御方法、学習方法、制御方法、学習及び制御プログラム、学習プログラム、及び制御プログラムに関する。

【背景技術】

【0002】

非特許文献１には、複数の状態遷移モデルを用いたモデルベースの強化学習の方法が開示されている。

【0003】

非特許文献２には、教示軌道から、空間全体を別のサブゴールをもつ小空間に分割し、分割した小空間ごとに異なる方策（制御器）を学習する方法が開示されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】K.Doya, K.Samejima, K.Katagiri, and M.Kawato, "Multiple model-based reinforcement learning," Neural computation, vol.14, no.6, pp.1347-1369,2002.

【文献】Paul, Sujoy, Jeroen van Baar, and Amit K. Roy-Chowdhury. "Learning from trajectories via subgoal discovery." arXiv preprint arXiv:1911.07224 (2019).

【発明の概要】

【発明が解決しようとする課題】

【0005】

ロボット等の制御対象が実行する一連の動作をプログラミングする労力は大きく、制御対象の一連の動作を自律的に学習することができれば、その労力を無くすことができる。

【0006】

しかしながら、一連の動作の全ての状態遷移を単一のモデルで正確に予測するよう学習させようとした場合、多数の試行が必要となる。

【0007】

開示の技術は、上記の点に鑑みてなされたものであり、制御対象が実行する一連の動作の全体に適用できるモデルを少数の試行で学習できると共に、学習したモデルを用いて制御対象が実行する一連の動作の全体を制御することができる学習及び制御装置、学習装置、制御装置、学習及び制御方法、学習方法、制御方法、学習及び制御プログラム、学習プログラム、及び制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

開示の第１態様は、学習及び制御装置であって、制御対象に対して予め定めた一連の動作を行わせることにより得られた、前記制御対象の状態と、前記状態で前記制御対象に指令した指令動作と、前記制御対象が指令動作を行った後の次状態と、を含む状態遷移データを複数取得する状態遷移データ取得部と、前記状態及び前記指令動作を入力とし前記次状態を出力とするダイナミクスモデルを複数生成し、それぞれの前記ダイナミクスモデルは取得した複数の前記状態遷移データの一部から成る状態遷移データの組に対して適合し、複数の前記ダイナミクスモデルは互いに異なる前記状態遷移データの組に適合する、ダイナミクスモデル生成部と、生成したダイナミクスモデルに適合する前記状態遷移データの組に含まれる前記状態遷移データに対して、適合する前記ダイナミクスモデルを識別するラベルを付与する付与部と、前記ラベルが付与された前記状態遷移データを学習データとして、複数の前記ダイナミクスモデルの中から、入力された前記制御対象の状態及び前記指令動作に対応する前記ダイナミクスモデルを特定するスイッチングモデルを学習する学習部と、前記制御対象の状態を取得する状態取得部と、前記制御対象に対する仮の指令系列を複数生成する仮指令系列生成部と、仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力して前記スイッチングモデルを実行することにより、指令及び指令に対応する状態毎に適用するダイナミクスモデルを特定する特定部と、仮の前記指令系列毎に、仮の前記指令系列に含まれる各指令に対応して特定された前記ダイナミクスモデルを用いて予測状態系列を生成する予測状態系列生成部と、各予測状態系列の報酬を算出する算出部と、前記報酬が最大化されると予測される予測指令系列を生成する予測指令系列生成部と、生成された前記予測指令系列に含まれる最初の指令を出力する出力部と、前記状態取得部、前記仮指令系列生成部、前記特定部、前記予測状態系列生成部、前記算出部、前記予測指令系列生成部、及び前記出力部の一連の動作を繰り返すことにより前記制御対象の動作を制御する実行制御部と、を備える。

【0009】

上記第１態様において、前記ダイナミクスモデル生成部は、複数の前記ダイナミクスモデルの内の１つのダイナミクスモデルを生成するに際して、当該ダイナミクスモデルを生成するために使用可能な全ての前記状態遷移データを用いて仮の前記ダイナミクスモデルを生成し、その後は、生成した仮の前記ダイナミクスモデルに前記制御対象の状態及び前記指令動作を入力して得られた前記次状態と、当該状態及び当該指令動作を含んでいる前記状態遷移データに含まれている前記次状態と、の誤差を算出し、前記誤差が最大となる前記状態遷移データを除いて仮の前記ダイナミクスモデルを生成することを繰り返すことにより、算出した前記誤差が予め定めた閾値以下となる前記ダイナミクスモデルを生成するようにしてもよい。

【0010】

上記第１態様において、前記ダイナミクスモデル生成部は、複数の前記ダイナミクスモデルの内の１つのダイナミクスモデルを生成する毎に、当該ダイナミクスモデルの生成過程において除かれずに残った前記状態遷移データを以降の前記ダイナミクスモデルの生成において使用不能にして、次の前記ダイナミクスモデルを生成するようにしてもよい。

【0011】

上記第１態様において、前記ダイナミクスモデル生成部は、前記誤差が最大となって除かれた前記状態遷移データの中からランダムに選択した前記状態遷移データを予め定めた頻度で前記ダイナミクスモデルを生成するために用いる前記状態遷移データに戻して前記ダイナミクスモデルを生成するようにしてもよい。

【0012】

上記第１態様において、前記仮指令系列生成部は、１つの仮の前記指令系列を生成し、前記予測状態系列生成部は、前記仮指令系列生成部が生成した仮の前記指令系列に対応する前記予測状態系列を生成し、前記算出部は、前記予測状態系列生成部が生成した予測状態系列の報酬を算出し、前記予測指令系列生成部は、前記仮指令系列生成部、前記特定部、予測状態系列生成部、及び算出部の一連の動作を複数回実行させることにより前記報酬をより大きくするように仮の前記指令系列を１回以上更新することによって前記報酬が最大化されると予測される予測指令系列を生成するようにしてもよい。

【0013】

上記第１態様において、前記仮指令系列生成部は、複数の仮の前記指令系列をまとめて生成し、前記予測状態系列生成部は、前記複数の仮の前記指令系列の各々から前記予測状態系列を生成し、前記算出部は、各予測状態系列の報酬を算出し、前記予測指令系列生成部は、前記各予測状態系列の報酬に基づいて前記報酬が最大化されると予測される予測指令系列を生成するようにしてもよい。

【0014】

上記第１態様において、前記仮指令系列生成部は、前記複数の仮の前記指令系列をまとめて生成する処理から前記報酬を算出する処理までの一連の処理を複数回繰り返して実行させ、２回目以降の前記一連の処理においては、前記仮指令系列生成部は、前回の一連の処理において算出された報酬のうち予め定めた上位の報酬に対応する複数の仮の前記指令系列を選択し、選択した複数の仮の前記指令系列の分布に基づいて新たな複数の仮の前記指令系列を生成するようにしてもよい。

【0015】

開示の第２態様は、学習装置であって、制御対象に対して予め定めた一連の動作を行わせることにより得られた、前記制御対象の状態と、前記状態で前記制御対象に指令した指令動作と、前記制御対象が指令動作を行った後の次状態と、を含む状態遷移データを複数取得する状態遷移データ取得部と、前記状態及び前記指令動作を入力とし前記次状態を出力とするダイナミクスモデルを複数生成し、それぞれの前記ダイナミクスモデルは取得した複数の前記状態遷移データの一部から成る状態遷移データの組に対して適合し、複数の前記ダイナミクスモデルは互いに異なる前記状態遷移データの組に適当する、ダイナミクスモデル生成部と、生成したダイナミクスモデルに適合する前記状態遷移データの組に含まれる前記状態遷移データに対して、適合する前記ダイナミクスモデルを識別するラベルを付与する付与部と、前記ラベルが付与された前記状態遷移データを学習データとして、複数の前記ダイナミクスモデルの中から、入力された前記制御対象の状態及び前記指令動作に対応する前記ダイナミクスモデルを特定するスイッチングモデルを学習する学習部と、を備える。

【0016】

開示の第３態様は、制御装置であって、制御対象の状態を取得する状態取得部と、前記制御対象に対する仮の指令系列を複数生成する仮指令系列生成部と、仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力して前記学習装置により学習されたスイッチングモデルを実行することにより、前記学習装置により生成されたダイナミクスモデルのうち指令及び指令に対応する状態毎に適用する前記ダイナミクスモデルを特定する特定部と、仮の前記指令系列毎に、仮の前記指令系列に含まれる各指令に対応して特定された前記ダイナミクスモデルを用いて予測状態系列を生成する予測状態系列生成部と、各予測状態系列の報酬を算出する算出部と、前記報酬が最大化されると予測される予測指令系列を生成する予測指令系列生成部と、生成された前記予測指令系列に含まれる最初の指令を出力する出力部と、前記状態取得部、前記仮指令系列生成部、前記特定部、前記予測状態系列生成部、前記算出部、前記予測指令系列生成部、及び前記出力部の一連の動作を繰り返すことにより前記制御対象の動作を制御する実行制御部と、を備える。

【0017】

開示の第４態様は、学習及び制御方法であって、コンピュータが、制御対象に対して予め定めた一連の動作を行わせることにより得られた、前記制御対象の状態と、前記状態で前記制御対象に指令した指令動作と、前記制御対象が指令動作を行った後の次状態と、を含む状態遷移データを複数取得する状態遷移データ取得ステップと、前記状態及び前記指令動作を入力とし前記次状態を出力とするダイナミクスモデルを複数生成し、それぞれの前記ダイナミクスモデルは取得した複数の前記状態遷移データの一部から成る状態遷移データの組に対して適合し、複数の前記ダイナミクスモデルは互いに異なる前記状態遷移データの組に適合する、ダイナミクスモデル生成ステップと、生成したダイナミクスモデルに適合する前記状態遷移データの組に含まれる前記状態遷移データに対して、適合する前記ダイナミクスモデルを識別するラベルを付与する付与ステップと、前記ラベルが付与された前記状態遷移データを学習データとして、複数の前記ダイナミクスモデルの中から、入力された前記制御対象の状態及び前記指令動作に対応する前記ダイナミクスモデルを特定するスイッチングモデルを学習する学習ステップと、前記制御対象の状態を取得する状態取得ステップと、前記制御対象に対する仮の指令系列を複数生成する仮指令系列生成ステップと、仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力して前記スイッチングモデルを実行することにより、指令及び指令に対応する状態毎に適用するダイナミクスモデルを特定する特定ステップと、仮の前記指令系列毎に、仮の前記指令系列に含まれる各指令に対応して特定された前記ダイナミクスモデルを用いて予測状態系列を生成する予測状態系列生成ステップと、各予測状態系列の報酬を算出する算出ステップと、前記報酬が最大化されると予測される予測指令系列を生成する予測指令系列生成ステップと、生成された前記予測指令系列に含まれる最初の指令を出力する出力ステップと、前記状態取得ステップ、前記仮指令系列生成ステップ、前記特定ステップ、前記予測状態系列生成ステップ、前記算出ステップ、前記予測指令系列生成ステップ、及び前記出力ステップの一連の動作を繰り返すことにより前記制御対象の動作を制御する実行制御ステップと、を含む処理を実行する。

【0018】

開示の第５態様は、学習方法であって、コンピュータが、制御対象に対して予め定めた一連の動作を行わせることにより得られた、前記制御対象の状態と、前記状態で前記制御対象に指令した指令動作と、前記制御対象が指令動作を行った後の次状態と、を含む状態遷移データを複数取得する状態遷移データ取得ステップと、前記状態及び前記指令動作を入力とし前記次状態を出力とするダイナミクスモデルを複数生成し、それぞれの前記ダイナミクスモデルは取得した複数の前記状態遷移データの一部から成る状態遷移データの組に対して適合し、複数の前記ダイナミクスモデルは互いに異なる前記状態遷移データの組に適合する、ダイナミクスモデル生成ステップと、生成したダイナミクスモデルに適合する前記状態遷移データの組に含まれる前記状態遷移データに対して、適合する前記ダイナミクスモデルを識別するラベルを付与する付与ステップと、前記ラベルが付与された前記状態遷移データを学習データとして、複数の前記ダイナミクスモデルの中から、入力された前記制御対象の状態及び前記指令動作に対応する前記ダイナミクスモデルを特定するスイッチングモデルを学習する学習ステップと、を含む処理を実行する。

【0019】

開示の第６態様は、制御方法であって、コンピュータが、制御対象の状態を取得する状態取得ステップと、前記制御対象に対する仮の指令系列を複数生成する仮指令系列生成ステップと、仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力して前記学習方法により学習されたスイッチングモデルを実行することにより、前記学習方法により生成されたダイナミクスモデルのうち指令及び指令に対応する状態毎に適用する前記ダイナミクスモデルを特定する特定ステップと、仮の前記指令系列毎に、仮の前記指令系列に含まれる各指令に対応して特定された前記ダイナミクスモデルを用いて予測状態系列を生成する予測状態系列生成ステップと、各予測状態系列の報酬を算出する算出ステップと、前記報酬が最大化されると予測される予測指令系列を生成する予測指令系列生成ステップと、生成された前記予測指令系列に含まれる最初の指令を出力する出力ステップと、前記状態取得ステップ、前記仮指令系列生成ステップ、前記特定ステップ、前記予測状態系列生成ステップ、前記算出ステップ、前記予測指令系列生成ステップ、及び前記出力ステップの一連の動作を繰り返すことにより前記制御対象の動作を制御する実行制御ステップと、を含む処理を実行する。

【0020】

開示の第７態様は、学習及び制御プログラムであって、コンピュータに、制御対象に対して予め定めた一連の動作を行わせることにより得られた、前記制御対象の状態と、前記状態で前記制御対象に指令した指令動作と、前記制御対象が指令動作を行った後の次状態と、を含む状態遷移データを複数取得する状態遷移データ取得ステップと、前記状態及び前記指令動作を入力とし前記次状態を出力とするダイナミクスモデルを複数生成し、それぞれの前記ダイナミクスモデルは取得した複数の前記状態遷移データの一部から成る状態遷移データの組に対して適合し、複数の前記ダイナミクスモデルは互いに異なる前記状態遷移データの組に適合する、ダイナミクスモデル生成ステップと、生成したダイナミクスモデルに適合する前記状態遷移データの組に含まれる前記状態遷移データに対して、適合する前記ダイナミクスモデルを識別するラベルを付与する付与ステップと、前記ラベルが付与された前記状態遷移データを学習データとして、複数の前記ダイナミクスモデルの中から、入力された前記制御対象の状態及び前記指令動作に対応する前記ダイナミクスモデルを特定するスイッチングモデルを学習する学習ステップと、前記制御対象の状態を取得する状態取得ステップと、前記制御対象に対する仮の指令系列を複数生成する仮指令系列生成ステップと、仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力して前記スイッチングモデルを実行することにより、指令及び指令に対応する状態毎に適用するダイナミクスモデルを特定する特定ステップと、仮の前記指令系列毎に、仮の前記指令系列に含まれる各指令に対応して特定された前記ダイナミクスモデルを用いて予測状態系列を生成する予測状態系列生成ステップと、各予測状態系列の報酬を算出する算出ステップと、前記報酬が最大化されると予測される予測指令系列を生成する予測指令系列生成ステップと、生成された前記予測指令系列に含まれる最初の指令を出力する出力ステップと、前記状態取得ステップ、前記仮指令系列生成ステップ、前記特定ステップ、前記予測状態系列生成ステップ、前記算出ステップ、前記予測指令系列生成ステップ、及び前記出力ステップの一連の動作を繰り返すことにより前記制御対象の動作を制御する実行制御ステップと、を含む処理を実行させる。

【0021】

開示の第８態様は、学習プログラムであって、コンピュータに、制御対象に対して予め定めた一連の動作を行わせることにより得られた、前記制御対象の状態と、前記状態で前記制御対象に指令した指令動作と、前記制御対象が指令動作を行った後の次状態と、を含む状態遷移データを複数取得する状態遷移データ取得ステップと、前記状態及び前記指令動作を入力とし前記次状態を出力とするダイナミクスモデルを複数生成し、それぞれの前記ダイナミクスモデルは取得した複数の前記状態遷移データの一部から成る状態遷移データの組に対して適合し、複数の前記ダイナミクスモデルは互いに異なる前記状態遷移データの組に適合する、ダイナミクスモデル生成ステップと、生成したダイナミクスモデルに適合する前記状態遷移データの組に含まれる前記状態遷移データに対して、適合する前記ダイナミクスモデルを識別するラベルを付与する付与ステップと、前記ラベルが付与された前記状態遷移データを学習データとして、複数の前記ダイナミクスモデルの中から、入力された前記制御対象の状態及び前記指令動作に対応する前記ダイナミクスモデルを特定するスイッチングモデルを学習する学習ステップと、を含む処理を実行させる。

【0022】

開示の第９態様は、制御プログラムであって、コンピュータに、制御対象の状態を取得する状態取得ステップと、前記制御対象に対する仮の指令系列を複数生成する仮指令系列生成ステップと、仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力して前記学習プログラムにより学習されたスイッチングモデルを実行することにより、前記学習プログラムにより生成されたダイナミクスモデルのうち指令及び指令に対応する状態毎に適用する前記ダイナミクスモデルを特定する特定ステップと、仮の前記指令系列毎に、仮の前記指令系列に含まれる各指令に対応して特定された前記ダイナミクスモデルを用いて予測状態系列を生成する予測状態系列生成ステップと、各予測状態系列の報酬を算出する算出ステップと、前記報酬が最大化されると予測される予測指令系列を生成する予測指令系列生成ステップと、生成された前記予測指令系列に含まれる最初の指令を出力する出力ステップと、前記状態取得ステップ、前記仮指令系列生成ステップ、前記特定ステップ、前記予測状態系列生成ステップ、前記算出ステップ、前記予測指令系列生成ステップ、及び前記出力ステップの一連の動作を繰り返すことにより前記制御対象の動作を制御する実行制御ステップと、を含む処理を実行させる。

【発明の効果】

【0023】

本発明によれば、制御対象が実行する一連の動作の全体に適用できるモデルを少数の試行で学習できると共に、学習したモデルを用いて制御対象が実行する一連の動作の全体を制御することができる。

【図面の簡単な説明】

【0024】

【図1】ロボットシステムの構成図である。

【図2】ロボットの概略構成を示す図である。

【図3】ロボットが実行する一連の動作を示す図である。

【図4】学習及び制御装置のハードウェア構成を示すブロック図である。

【図5】学習装置の機能構成を示す図である。

【図6】制御装置の機能構成を示す図である。

【図7】学習処理のフローチャートである。

【図8】モデル生成処理のフローチャートである。

【図9】制御処理１のフローチャートである。

【図10】制御処理２のフローチャートである。

【発明を実施するための形態】

【0025】

以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されている場合があり、実際の比率とは異なる場合がある。

【0026】

図１は、ロボットシステム１の構成を示す。ロボットシステム１は、制御対象の一例としてのロボット１０、モデル２０、状態観測センサ３０、及び学習及び制御装置４０を有する。

【0027】

（ロボット）

【0028】

図２は、制御対象の一例としてのロボット１０の概略構成を示す図である。本実施形態におけるロボット１０は、６自由度のアーム１１を有する６軸垂直多関節ロボットである。アーム１１の先端には、平板状のハンド１２が設けられている。

【0029】

なお、ロボット１０は、垂直多関節ロボットに限らず、水平多関節ロボット（スカラーロボット）であってもよい。また、６軸ロボットを例に挙げたが、５軸や７軸などその他の自由度の多関節ロボットであってもよく、パラレルリンクロボットであってもよい。

【0030】

本実施形態では、図３に示すように、ハンド１２の表面にボールＢＬを載せた状態を初期状態として、ボールＢＬを図３において上方に放り投げてハンド１２を裏返し、ハンド１２の裏面に載せるジャグリング動作をロボット１０が実行する一連の動作とする。すなわち、ハンド１２を人間の手と見なした場合に、水平にした手の平の上にボールＢＬを載せた状態からボールＢＬを上方に放り投げ、手を裏返して水平にした手の甲にボールＢＬを載せるジャグリング動作をロボット１０が実行する一連の動作とする。

【0031】

（モデル）

【0032】

モデル２０は、ダイナミクスモデル群Ｆ、スイッチングモデルｇ、及びモデル選択部２１を備える。ダイナミクスモデル群Ｆは、複数のダイナミクスモデルｆ_１、ｆ_２、．．．を備える。なお、それぞれのダイナミクスモデルを区別しない場合はダイナミクスモデルｆと称する。

【0033】

ダイナミクスモデルｆは、ロボット１０の状態ｓ_ｔ及び状態ｓ_ｔでロボット１０に指令した指令動作ａ_ｔを入力とし、ロボット１０が指令動作ａ_ｔを行った後の次状態ｓ_ｔ＋１を出力とするモデルである。

【0034】

スイッチングモデルｇは、複数のダイナミクスモデルｆの中から、入力されたロボット１０の状態ｓ_ｔ及び指令動作ａ_ｔに対応するダイナミクスモデルｆを特定する。

【0035】

モデル選択部２１は、スイッチングモデルｇによって特定されたダイナミクスモデルｆを選択し、選択したダイナミクスモデルｆから出力された次状態ｓ_ｔ＋１を学習及び制御装置６０に出力する。

【0036】

ロボットシステム１は、上記のようにロボット１０の制御を行うためのダイナミクスモデルｆを選択するスイッチングモデルｇを、機械学習（例えばモデルベース強化学習）を用いて獲得する。

【0037】

（状態観測センサ）

【0038】

状態観測センサ３０は、ロボット１０及びボールＢＬの状態を観測し、観測したデータを状態観測データとして出力する。状態観測センサ３０としては、例えば、ロボット１０の関節のエンコーダを含む。ロボット１０の状態として、各関節の角度からアーム１１の先端のハンド１２の位置・姿勢を特定できる。また、状態観測センサ３０は、例えばボールＢＬを撮影するカメラを含む。カメラで撮影された画像に基づいてボールＢＬの位置を特定できる。

【0039】

（学習及び制御装置）

【0040】

図１に示すように、学習及び制御装置４０は、学習装置５０及び制御装置６０を備える。

【0041】

図４は、本実施形態に係る学習及び制御装置４０のハードウェア構成を示すブロック図である。図４に示すように、学習及び制御装置４０は、一般的なコンピュータ（情報処理装置）と同様の構成であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０Ｃ、ストレージ４０Ｄ、キーボード４０Ｅ、マウス４０Ｆ、モニタ４０Ｇ、及び通信インタフェース４０Ｈを有する。各構成は、バス４０Ｉを介して相互に通信可能に接続されている。

【0042】

本実施形態では、ＲＯＭ４０Ｂ又はストレージ４０Ｄには、モデルの学習処理を実行するための学習プログラム及びロボット１０を制御するための制御プログラムが格納されている。ＣＰＵ４０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ４０Ａは、ＲＯＭ４０Ｂ又はストレージ４０Ｄからプログラムを読み出し、ＲＡＭ４０Ｃを作業領域としてプログラムを実行する。ＣＰＵ４０Ａは、ＲＯＭ４０Ｂ又はストレージ４０Ｄに記録されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。ＲＯＭ４０Ｂは、各種プログラム及び各種データを格納する。ＲＡＭ４０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。ストレージ４０Ｄは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、又はフラッシュメモリにより構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。キーボード４０Ｅ及びマウス４０Ｆは入力装置の一例であり、各種の入力を行うために使用される。モニタ４０Ｇは、例えば、液晶ディスプレイであり、ユーザインタフェースを表示する。モニタ４０Ｇは、タッチパネル方式を採用して、入力部として機能してもよい。通信インタフェース４０Ｈは、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ又はＷｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0043】

次に、学習装置５０の機能構成について説明する。

【0044】

図５に示すように、学習装置５０は、その機能構成として、状態遷移データ取得部５１、ダイナミクスモデル生成部５２、付与部５３、及び学習部５４を備える。各機能構成は、ＣＰＵ４０ＡがＲＯＭ４０Ｂまたはストレージ４０Ｄに記憶された学習プログラムを読み出して、ＲＡＭ４０Ｃに展開して実行することにより実現される。なお、一部または全部の機能は専用のハードウェア装置によって実現されても構わない。

【0045】

状態遷移データ取得部５１は、ロボット１０に対して予め定めた一連の動作を行わせることにより得られた、ロボット１０の状態ｓ_ｔと、状態ｓ_ｔでロボット１０に指令した指令動作ａ_ｔと、ロボット１０が指令動作を行った後の次状態ｓ_ｔ＋１と、を含む状態遷移データとしてのタプル（ｔｏｕｐｌｅ）を複数取得する。

【0046】

ダイナミクスモデル生成部５２は、状態ｓ_ｔ及び指令動作ａ_ｔを入力とし次状態ｓ_ｔ＋１を出力とするダイナミクスモデルｆを複数生成する。それぞれのダイナミクスモデルｆは、取得した複数のタプルの一部から成るタプルの組に対して適合し、複数のダイナミクスモデルｆは、互いに異なるタプルの組に適合する。

【0047】

また、ダイナミクスモデル生成部５２は、複数のダイナミクスモデルｆの内の１つのダイナミクスモデルｆを生成するに際して、当該ダイナミクスモデルｆを生成するために使用可能な全てのタプルを用いて仮のダイナミクスモデルｆを生成し、その後は、生成した仮のダイナミクスモデルｆにロボット１０の状態ｓ_ｔ及び指令動作ａ_ｔを入力して得られた次状態ｓ_ｔ＋１と、当該状態ｓ_ｔ及び当該指令動作ａ_ｔを含んでいるタプルに含まれている次状態ｓ_ｔ＋１と、の誤差を算出し、誤差が最大となるタプルを除いて仮のダイナミクスモデルｆを生成することを繰り返すことにより、算出した誤差が予め定めた閾値以下となるダイナミクスモデルｆを生成する。

【0048】

また、ダイナミクスモデル生成部５２は、複数のダイナミクスモデルｆの内の１つのダイナミクスモデルｆを生成する毎に、当該ダイナミクスモデルｆの生成過程において除かれずに残ったタプルを以降のダイナミクスモデルｆの生成において使用不能にして、次のダイナミクスモデルｆを生成する。

【0049】

また、ダイナミクスモデル生成部５２は、誤差が最大となって除かれたタプルの中からランダムに選択したタプルを予め定めた頻度でダイナミクスモデルｆを生成するために用いるタプルに戻してダイナミクスモデルｆを生成する

【0050】

付与部５３は、生成したダイナミクスモデルｆに適合するタプルの組に含まれるタプルに対して、適合するダイナミクスモデルｆを識別するラベルを付与する。

【0051】

学習部５４は、ラベルが付与されたタプルを学習データとして、複数のダイナミクスモデルｆの中から、入力されたロボット１０の状態ｓ_ｔ及び指令動作ａ_ｔに対応するダイナミクスモデルｆを特定するスイッチングモデルｇを学習する。

【0052】

図６に示すように、制御装置６０は、その機能構成として、状態取得部６１、仮指令系列生成部６２、特定部６３、予測状態系列生成部６４、算出部６５、予測指令系列生成部６６、出力部６７、及び実行制御部６８を備える。各機能構成は、ＣＰＵ４０ＡがＲＯＭ４０Ｂまたはストレージ４０Ｄに記憶された制御プログラムを読み出して、ＲＡＭ４０Ｃに展開して実行することにより実現される。なお、一部または全部の機能は専用のハードウェア装置によって実現されても構わない。

【0053】

状態取得部６１は、ロボット１０の状態ｓ_ｔを取得する。

【0054】

仮指令系列生成部６２は、ロボット１０に対する仮の指令系列を複数生成する。

【0055】

特定部６３は、仮の各指令系列に含まれる各指令及び各指令に対応する状態を入力してスイッチングモデルｇを実行することにより、指令及び指令に対応する状態毎に適用するダイナミクスモデルｆを特定する。

【0056】

予測状態系列生成部６４は、仮の指令系列毎に、仮の指令系列に含まれる各指令に対応して特定されたダイナミクスモデルｆを用いて予測状態系列を生成する。

【0057】

算出部６５は、各予測状態系列の報酬を算出する。

【0058】

予測指令系列生成部６６は、報酬が最大化されると予測される予測指令系列を生成する。

【0059】

ここで、仮指令系列生成部６２は、１つの仮の指令系列を生成し、予測状態系列生成部６４は、仮指令系列生成部６２が生成した仮の指令系列に対応する予測状態系列を生成し、算出部６５は、予測状態系列生成部６４が生成した予測状態系列の報酬を算出し、予測指令系列生成部６６は、仮指令系列生成部６２、特定部６３、予測状態系列生成部６４、及び算出部６５の一連の動作を複数回実行させることにより報酬をより大きくするように仮の前記指令系列を１回以上更新することによって報酬が最大化されると予測される指令系列を生成する。

【0060】

また、仮指令系列生成部６２は、複数の仮の前記指令系列をまとめて生成し、予測状態系列生成部６４は、複数の仮の指令系列の各々から予測状態系列を生成し、算出部６５は、各予測状態系列の報酬を算出し、予測指令系列生成部６６は、各予測状態系列の報酬に基づいて報酬が最大化されると予測される指令系列を生成してもよい。

【0061】

この場合、仮指令系列生成部６２は、複数の仮の指令系列をまとめて生成する処理から報酬を算出する処理までの一連の処理を複数回繰り返して実行させ、２回目以降の一連の処理においては、仮指令系列生成部６２は、前回の一連の処理において算出された報酬のうち予め定めた上位の報酬に対応する複数の仮の指令系列を選択し、選択した複数の仮の指令系列の分布に基づいて新たな複数の仮の指令系列を生成するようにしてもよい。

【0062】

出力部６７は、生成された予測指令系列に含まれる最初の指令を出力する。

【0063】

実行制御部６８は、状態取得部６１、仮指令系列生成部６２、特定部６３、予測状態系列生成部６４、算出部６５、予測指令系列生成部６６、及び出力部６７の一連の動作を繰り返すことによりロボット１０の動作を制御する。

【0064】

（学習処理）

【0065】

図７は、機械学習を用いて学習装置５０が実行する学習処理の流れを示すフローチャートである。

【0066】

ステップＳ１００では、学習装置５０は、準備設定を行う。具体的には、ロボット１０の目標状態を設定する。本実施形態ではロボット１０が実行する一連の動作がジャグリング動作であるので、目標状態は、ボールＢＬを上方に放り投げてハンド１２を裏返した後、ハンド１２が水平になったときにボールＢＬがハンド１２の裏面の所定の中央部分に載っている状態である。目標状態は、ハンド１２の位置及び姿勢と、ハンド１２とボールＢＬの相対位置と、によって定めることができる。

【0067】

なお、ロボット１０が実行する一連の動作がペグを把持して穴に挿入する動作であり、ハンド１２がペグを把持するグリッパであった場合は、目標状態は、ペグが穴に挿入された状態である。この場合、目標状態は、ペグ及びグリッパの位置姿勢によって定めることができる。

【0068】

また、目標状態にいたるまでの途中の状態を目標状態として指定してもよい。この場合は、途中の状態を規定する中間目標、目標軌道の一部、目標経路の一部、及び報酬算出方法等を設定する。

【0069】

また、ダイナミクスモデルｆの構造を一定程度与えてもよい。本実施形態では、ダイナミクスモデルｆは、ハンド１２のモデルとボールＢＬのモデルを合成したモデルをダイナミクスモデルｆとしている。一例として、ハンド１２のモデルは、ニューラルネットワークであり、ボールＢＬのモデルは線形関数である。

【0070】

ステップＳ１０１では、学習装置５０は、試行動作を実行し、複数のタプルを取得する。すなわち、ロボット１０に前述したジャグリング動作を実行させ、ジャグリング動作中におけるタプルを複数取得する。具体的には、状態ｓ_ｔにおいて指令動作ａ_ｔをロボット１０に指令し、ロボット１０が指令動作を行った後に状態観測センサ３０で観測された状態観測データを次状態ｓ_ｔ＋１とする。次に、次状態ｓ_ｔ＋１を状態ｓ_ｔとして指令動作ａ_ｔをロボット１０に指令し、ロボット１０が指令動作を行った後に状態観測センサ３０で観測された状態観測データを次状態ｓ_ｔ＋１とする。これを繰り返すことによりジャグリング動作の試行動作を実行し、ジャグリング動作中における複数のタプルを取得する。

【0071】

ステップＳ１０２では、学習装置５０は、予め定めた学習終了条件を充足したか否かを判定する。ここで、学習終了条件とは、ロボット１０による一連の動作が習熟したと判断できる条件であり、例えば試行動作を規定回数行った場合とすることができる。また、目標状態に到達した回数、すなわち試行動作が成功した回数が規定回数に達した場合を学習終了条件としてもよい。また、目標状態に到達するまでの時間が規定時間以内になった場合を学習終了条件としてもよい。また、一定回数当たりの試行動作の成功率が規定値以上になった場合を学習終了条件としてもよい。

【0072】

学習終了条件を充足した場合は本ルーチンを終了し、学習終了条件を充足していない場合はステップＳ１０３へ移行する。

【0073】

ステップＳ１０３では、学習装置５０は、ステップＳ１０１で取得したタプルをメインデータベースに追加する。なお、メインデータベースとは、取得したタプルを格納する記憶領域を表す概念である。

【0074】

ステップＳ１０４では、図８に示すモデル生成処理を実行する。

【0075】

図８に示すように、ステップＳ２００では、学習装置５０は、生成されたダイナミクスモデルｆの数を表すと共に、ダイナミクスモデルｆを特定するラベルとしてのｋに「１」を代入し、初期化する。

【0076】

ステップＳ２０１では、学習装置５０は、メインデータベースに記憶されているタプルの数であるｎ_ｔが、１つのダイナミクスモデルｆを作成するのに必要なタプルの下限数であるｎ_ｌｏｗ以上になったか否かを判定する。そして、ｎ_ｔがｎ_ｌｏｗ以上になった場合はステップＳ２０２へ移行する。一方、ｎ_ｔがｎ_ｌｏｗ未満の場合は本ルーチンを終了し、図７のステップＳ１０５へ移行する。

【0077】

ステップＳ２０２では、学習装置５０は、メインデータベースの全タプルを作業箱に移動させる。なお、作業箱とは、ダイナミクスモデルｆの生成に使用するタプルを格納する記憶領域を表す概念である。

【0078】

また、ステップＳ２０２では、作業箱に格納されているタプルの数であるｎ_ｆにｎ_ｔを代入する。また、ｎ_ｔに「０」を代入して初期化する。また、カウンタｃに０を代入して初期化する。

【0079】

ステップＳ２０３では、学習装置５０は、カウンタｃの値を除数ｎ_ｅｘｔで除算したときの余りであるＭＯＤ（ｃ，ｎ_ｅｘｔ）がｎ_ｅｘｔ－１と等しいか否かを判定する。そして、ＭＯＤ（ｃ，ｎ_ｅｘｔ）がｎ_ｅｘｔ－１と等しい場合はステップＳ２０４へ移行し、ＭＯＤ（ｃ，ｎ_ｅｘｔ）がｎ_ｅｘｔ－１と等しくない場合はステップＳ２０５へ移行する。すなわち、ステップＳ２０４の処理は、除数ｎ_ｅｘｔに応じて予め定めた頻度で実行される。除数ｎ_ｅｘｔは、ステップＳ２０４の処理を実行させたい頻度に応じて予め設定される。

【0080】

ステップＳ２０４では、学習装置５０は、メインデータベースに存在するｍ番目のタプルを作業箱に移動させる。なお、ｍ≦ｎ_ｔである。ｍはランダムに設定される。すなわち、メインデータベースから作業箱に移動するタプルは、ランダムに選択される。メインデータベースに存在するタプルは、後述するステップＳ２０９で最大予測誤差ｄ_ｍａｘを生じたタプルであり、ダイナミクスモデルｆの生成過程において除かれたタプルである。従って、ステップＳ２０９で最大予測誤差ｄ_ｍａｘを生じたタプルは、予め定めた頻度でダイナミクスモデルｆの生成に使用されることとなる。これにより、生成されるダイナミクスモデルｆが、局所最適なダイナミクスモデルｆとなってしまうのを回避することができる。

【0081】

ステップＳ２０５では、学習装置５０は、作業箱に格納されているタプルの数ｎ_ｆが、１つのダイナミクスモデルｆを作成するのに必要なタプルの下限数であるｎ_ｌｏｗ未満であるか否かを判定する。そして、ｎ_ｆがｎ_ｌｏｗ未満である場合は、ダイナミクスモデルｆを作成できないので本ルーチンを終了し、図７のステップＳ１０５に移行する。一方、ｎ_ｆがｎ_ｌｏｗ以上の場合は、ダイナミクスモデルｆを作成できるためステップＳ２０６へ移行する。

【0082】

ステップＳ２０６では、学習装置５０は、作業箱に格納されているタプルの組に適合するダイナミクスモデルｆを生成する。本実施形態では、ダイナミクスモデルｆは一例として線形関数であり、例えば最小二乗法等を用いて求める。なお、ダイナミクスモデルｆは線形関数に限られるものではない。例えば、ニューラルネットワーク、ガウス混合回帰（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｒｅｇｒｅｓｓｉｏｎ：ＧＭＲ）、ガウス過程回帰（Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓ Ｒｅｇｒｅｓｓｉｏｎ：ＧＰＲ）、サポートベクター回帰等の他の線形近似又は非線形近似の方法を用いてダイナミクスモデルｆを生成してもよい。

【0083】

また、ステップＳ２０６では、学習装置５０は、生成したダイナミクスモデルｆの最大予測誤差ｄ_ｍａｘを算出する。まず、作業箱の全タプルに対して次式により誤差ｄ_ｉ（ｉ＝１、２、．．．、ｎ_ｆ）を算出する。

【0084】

d_i=||s_t+1- f(s_t,a_t)||²

【0085】

そして、算出した誤差ｄ_ｉのうち最も大きい誤差ｄ_ｉを最大誤差ｄ_ｍａｘとする。

【0086】

ステップＳ２０７では、学習装置５０は、ステップＳ２０６で算出した最大誤差ｄ_ｍａｘが予め定めた閾値ｄ_ｕｐ未満であるか否かを判定する。そして、最大誤差ｄ_ｍａｘが閾値ｄ_ｕｐ未満であった場合はステップＳ２０８へ移行し、最大誤差ｄ_ｍａｘが閾値ｄ_ｕｐ以上であった場合はステップＳ２０９へ移行する。

【0087】

ステップＳ２０８では、学習装置５０は、ステップＳ２０７で生成したダイナミクスモデルｆをｋ番目（ｋ＝１、２、・・・）のダイナミクスモデルｆ_ｋとする。なお、前述したように、ｋはダイナミクスモデルｆを識別するためのラベルである。

【0088】

また、ステップＳ２０８では、学習装置５０は、作業箱に格納されている全てのタプルをｋ番目のサブデータベースに移動させる。換言すれば、格納されている全てのタプルにラベルｋを付与する。ここで、サブデータベースとは、生成されたダイナミクスモデルｆ_ｋが適合するタプルを格納する記憶領域の概念である。これにより、作業箱は空となるので、ｎ_ｆに「０」を代入し初期化する。また、ｋをインクリメントする。すなわち、ｋ←ｋ＋１とする。その後、ステップＳ２０１へ移行する。

【0089】

ステップＳ２０９では、学習装置５０は、ステップＳ２０６で求めた最大誤差ｄ_ｍａｘを生じたタプルをメインデータベースに移動させる。これにより、作業箱からタプルが１つ減るので、ｎ_ｆをデクリメントする。すなわちｎ_ｆ←ｎ_ｆ－１とする。また、メインデータベースのタプルが１つ増えるので、ｎ_ｆをインクリメントする。すなわちｎ_ｔ←ｎ_ｔ＋１とする。また、カウンタｃをインクリメントする。すなわち、ｃ←ｃ＋１とする。その後、ステップＳ２０３へ移行する。

【0090】

このように、ステップＳ２０９で除かれずに残ったタプルによってダイナミクスモデルｆが生成されるが、このダイナミクスモデルｆの生成に使用されたタプルはｋ番目のサブデータベースに移動するため、次のｋ＋１番目のダイナミクスモデルｆの生成においては使用不能とされる。

【0091】

ステップＳ２０１で否定判定された場合及びステップＳ２０５で肯定判定された場合は、図７のステップＳ１０５へ移行する。

【0092】

図７のステップＳ１０５では、学習装置５０は、過去にステップＳ１０１で取得した全てのタプルをメインデータベースに移動させる。

【0093】

このように、試行動作を行う毎に、生成したダイナミクスモデルｆ_ｋを捨てて、過去に取得した全てのタプルをメインデータベースへ移動させて学習し直す。これにより、学習終了条件を充足するまで複数のダイナミクスモデルｆが自動的に生成される。

【0094】

従来のように、ロボット１０が実行する一連の動作の全ての状態遷移を単一のモデルで正確に予測するよう学習させようとした場合、多数の試行が必要となるが、本実施形態によれば、ロボット１０が実行する一連の動作の全体に適用できるモデルを少数の試行で学習できる。

【0095】

（制御処理１）

【0096】

図９は、制御装置６０が実行する制御処理１の流れを示すフローチャートである。

【0097】

ステップＳ３００では、ロボット１０の動作終了条件を設定する。動作終了条件とは、例えば、状態ｓ_ｔと目標状態との差が規定値以内の場合である。

【0098】

以下で説明するステップＳ３０１～Ｓ３０８の処理は、制御周期に従って一定の時間間隔で実行される。制御周期は、ステップＳ３０１～ステップＳ３０８の処理を実行可能な時間に設定される。

【0099】

ステップＳ３０１では、制御装置６０は、前回の制御周期を開始してから制御周期の長さに相当する所定時間が経過するまで待機する。

【0100】

ステップＳ３０２では、制御装置６０は、ロボット１０の状態ｓ_ｔを取得する。すなわち、状態観測センサ３０からロボット１０の状態観測データを取得する。具体的には、状態ｓ_ｔは、例えば、ロボット１０（ハンド１２）及び操作対象物（ボールＢＬ）の位置である。なお、速度は過去の位置と現在の位置とから求める。

【0101】

ステップＳ３０３では、制御装置６０は、ステップＳ３０２で取得した状態ｓ_ｔがステップＳ３００で設定した動作終了条件を充足するか否かを判定する。そして、状態ｓ_ｔが動作終了条件を充足する場合は、本ルーチンを終了する。一方、状態ｓ_ｔが動作終了条件を充足しない場合は、ステップＳ３０４へ移行する。

【0102】

ステップＳ３０４では、制御装置６０は、ロボット１０に対する仮の指令系列を生成する。本実施形態では、時系列ステップ数を３（ｔ、ｔ＋１、ｔ＋２）とし、ステップＳ３０２で計測されたロボット１０の状態ｓ_ｔに対応する仮の指令系列ａ_ｔ，ａ_ｔ＋１，ａ_ｔ＋２を生成する。なお、時系列ステップ数は３に限らず任意に設定することができる。なお、ループの１回目の処理では、ランダムに仮の指令系列ａ_ｔ，ａ_ｔ＋１，ａ_ｔ＋２を生成する。ループの２回目以降の処理においては、報酬がより大きくなるように、例えばニュートン法を用いて仮の指令系列ａ_ｔ，ａ_ｔ＋１，ａ_ｔ＋２を更新する。

【0103】

ステップＳ３０５では、制御装置６０は、ロボット１０の予測状態系列を生成する。すなわち、ステップＳ３０４で生成された仮の指令系列ａ_ｔ，ａ_ｔ＋１，ａ_ｔ＋２に対応して特定されたダイナミクスモデルｆを用いて予測状態系列を生成する。

【0104】

具体的には、状態ｓ_ｔ、指令ａ_ｔを複数のダイナミクスモデルｆ及びスイッチングモデルｇに入力し、スイッチングモデルｇが特定した状態ｓ_ｔ、指令ａ_ｔに適用するダイナミクスモデルｆ_ｋから出力された次状態ｓ_ｔ＋１を取得する。なお、状態ｓ_ｔ、指令ａ_ｔをスイッチングモデルｇに入力し、スイッチングモデルｇが特定した状態ｓ_ｔ、指令ａ_ｔに適用するダイナミクスモデルｆ_ｋのみに状態ｓ_ｔ、指令ａ_ｔを入力して、次状態ｓ_ｔ＋１を取得してもよい。これは以下の処理でも同様である。

【0105】

次に、状態ｓ_ｔ＋１、指令ａ_ｔ＋１を複数のダイナミクスモデルｆ及びスイッチングモデルｇに入力し、スイッチングモデルｇが特定した状態ｓ_ｔ＋１、指令ａ_ｔ＋１に適用するダイナミクスモデルｆ_ｋから出力された次状態ｓ_ｔ＋２を取得する。

【0106】

次に、状態ｓ_ｔ＋２、指令ａ_ｔ＋２を複数のダイナミクスモデルｆ及びスイッチングモデルｇに入力し、スイッチングモデルｇが特定した状態ｓ_ｔ＋２、指令ａ_ｔ＋２に適用するダイナミクスモデルｆ_ｋから出力された次状態ｓ_ｔ＋３を取得する。これにより、予測状態系列ｓ_ｔ＋１、ｓ_ｔ＋２、ｓ_ｔ＋３が得られる。

【0107】

ステップＳ３０６では、制御装置６０は、ステップＳ３０５で生成した予測状態系列ｓ_ｔ＋１、ｓ_ｔ＋２、ｓ_ｔ＋３に対応する報酬を予め定めた算出式により算出する。

【0108】

ステップＳ３０７では、制御装置６０は、ステップＳ３０６で算出した報酬が規定条件を充足するか否かを判定する。ここで、規定条件を充足する場合とは、例えば報酬が規定値を超えた場合、または、ステップＳ３０４～Ｓ３０７の処理のループを規定回数実行した場合等である。規定回数は、例えば１０回、１００回、１０００回等に設定される。

【0109】

そして、報酬が規定条件を充足した場合はステップＳ３０８へ移行し、報酬が規定条件を充足していない場合はステップＳ３０４へ移行する。

【0110】

ステップＳ３０８では、制御装置６０は、ステップＳ３０７で算出したロボット１０の予測状態系列に対応する報酬に基づいて予測指令系列を生成する。なお、予測指令系列は、報酬が規定条件を充足したときの指令系列そのものでもよいし、指令系列の変化に対応する報酬の変化の履歴から予測される、更に報酬を最大化できる予測指令系列としてもよい。そして、生成した予測指令系列の最初の指令ａ_ｔをロボット１０に出力する。

【0111】

このように、制御周期毎にステップＳ３０１～Ｓ３０８の処理を繰り返す。

【0112】

（制御処理２）

【0113】

図１０は、制御処理の他の例として制御装置６０が実行する制御処理２の流れを示すフローチャートである。なお、図９と同一の処理を行うステップには同一符号を付し、詳細な説明を省略する。

【0114】

図１０に示すように、ステップＳ３０４Ａ～Ｓ３０８Ａの処理が図９に示す処理と異なる。

【0115】

ステップＳ３０４Ａでは、制御装置６０は、ロボット１０に対する複数の仮の指令系列をまとめて生成する。複数の仮の指令系列の生成には、例えばクロスエントロピー法（ｃｒｏｓｓ－ｅｎｔｒｏｐｙ ｍｅｔｈｏｄ：ＣＥＭ）を用いることができるが、これに限られるものではない。

【0116】

ＣＥＭの場合、ループの１回目は複数（例えば３００個）の仮の指令系列ａ_ｔ，ａ_ｔ＋１，ａ_ｔ＋２をランダムに生成する。ループの２回目以降は、前回の一連の処理において算出された報酬のうち予め定めた上位の報酬に対応する指令系列を複数（例えば３０個）選択し、選択した指令系列の分布（平均、分散）に従って新たな複数（例えば３００個）の指令系列を生成する。

【0117】

ステップＳ３０５Ａでは、制御装置６０は、ステップＳ３０４Ａで生成した指令系列毎に予測状態系列を生成する。各指令系列に対応する予測状態系列の生成処理は、図９のステップＳ３０５と同様の処理である。

【0118】

ステップＳ３０６Ａでは、制御装置６０は、ステップＳ３０５Ａで生成された予測状態系列毎に報酬を算出する。各予測状態系列の報酬を算出する処理は、ステップＳ３０６と同様の処理である。

【0119】

ステップＳ３０７Ａでは、制御装置６０は、ステップＳ３０４Ａ～Ｓ３０６Ａの処理を所定回数実行したか否かを判定する。所定回数は、例えば１０回等とすることができるが、１回以上であれば任意に設定できる。

【0120】

ステップＳ３０８Ａでは、制御装置６０は、ステップＳ３０６Ａで算出した予測状態系列毎の報酬に基づいて、報酬が最大化されると予測される予測指令系列を生成する。例えば、指令系列ａ_ｔ，ａ_ｔ＋１，ａ_ｔ＋２と、当該指令系列ａ_ｔ，ａ_ｔ＋１，ａ_ｔ＋２から得られる予測状態系列ｓ_ｔ＋１、ｓ_ｔ＋２、ｓ_ｔ＋３の報酬との対応関係を表す関係式を算出し、算出した関係式によって表される曲線上における最大の報酬に対応する予測指令系列ａ_ｔ，ａ_ｔ＋１，ａ_ｔ＋２を生成し、その最初の指令ａ_ｔを出力する。

【0121】

ところで、ステップＳ３０２で状態ｓ_ｔが取得されてから指令動作ａ_ｔが決定され出力されるまでには図９又は図１０に示した処理を実行するだけの時間が必要である。先に、「ダイナミクスモデルｆは、ロボット１０の状態ｓ_ｔ及び状態ｓ_ｔでロボット１０に指令した指令動作ａ_ｔを入力とし、ロボット１０が指令動作ａ_ｔを行った後の次状態ｓ_ｔ＋１を出力とするモデルである。」と説明したが、ここで状態ｓ_ｔと指令動作ａ_ｔとは理論上は同時刻における値であるところ、現実には状態ｓ_ｔを用いて指令動作ａ_ｔを算出するための処理時間の発生が避けられない。「状態ｓ_ｔでロボット１０に指令した指令動作ａ_ｔ」という表現は、この処理時間がある場合を排除していない。実際の制御動作を理論上の動作に近づけるためには、制御周期の長さは、この処理時間に対して十分に大きいこと（例えば１０倍以上であること）が好ましい。

【0122】

なお、上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

【0123】

上記の例では、ロボット１０が実行する一連の動作がジャグリング動作である場合を例に説明したが、ロボット１０が実行する一連の動作は任意の動作であってよい。

【0124】

なお、上各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した学習処理及び制御処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、学習処理及び制御処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0125】

また、上記各実施形態では、学習プログラム及び制御プログラムがストレージ４０Ｄ又はＲＯＭ４０Ｂに予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0126】

１ ロボットシステム
１０ ロボット
１１ アーム
１２ ハンド
２０ モデル
２１ モデル選択部
ｇ スイッチングモデル
３０ 状態観測センサ
４０ 学習及び制御装置
５０ 学習装置
５１ 状態遷移データ取得部
５２ ダイナミクスモデル生成部
５３ 付与部
５４ 学習部
６０ 制御装置
６１ 状態取得部
６２ 仮指令系列生成部
６３ 特定部
６４ 予測状態系列生成部
６５ 算出部
６６ 予測指令系列生成部
６７ 出力部
６８ 実行制御部
ＢＬ ボール
ｆ ダイナミクスモデル
ｇ スイッチングモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】