特許 7659260 評価装置、システム、評価方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-01

(45)【発行日】2025-04-09

(54)【発明の名称】評価装置、システム、評価方法およびプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20250402BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 10

(21)【出願番号】P 2021021317

(22)【出願日】2021-02-12

(65)【公開番号】P2022123781

(43)【公開日】2022-08-24

【審査請求日】2023-12-13

(73)【特許権者】

【識別番号】000005290

【氏名又は名称】古河電気工業株式会社

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】鈴木 翔大

(72)【発明者】

【氏名】宮崎 浩一

(72)【発明者】

【氏名】森木 和也

(72)【発明者】

【氏名】仁保 隆嘉

(72)【発明者】

【氏名】杉田 直彦

(72)【発明者】

【氏名】長 隆之

【審査官】渡辺 順哉

(56)【参考文献】

【文献】特開２０２０－１９１０２２（ＪＰ，Ａ）

【文献】山岸 拓海 ほか，サッカーエージェントによる敵の行動モデルの模倣学習，ゲームプログラミングワークショップ２０１９論文集，2019年11月01日，pp.94-100

【文献】HO, Jonathan ほか，Generative Adversarial Imitation Learning，arXiv[online]，2016年06月10日，pp.1-14，[retrieved on 2024.10.17], Retrieved from the Internet: <URL: https://arxiv.org/abs/1606.03476>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

教師データとして、状態を表す状態ベクトルと前記状態における行動を表す行動ベクトルとを対応付けた構造を有する行動データを適用した模倣学習の出力を評価する評価装置であって、
所定の行動データと前記教師データとに基づいて、前記模倣学習の出力の評価を表す数値を評価情報として生成する評価部を備え、
前記評価部は、前記所定の行動データとして、前記模倣学習の出力に含まれる推測行動データを用い、前記評価情報として、前記模倣学習の習熟度を示す評価値を生成し、
前記評価部は、前記評価値の生成において、前記教師データに含まれる状態ベクトルの要素と、前記推測行動データに含まれる推測状態ベクトルの要素との、非負実数値関数である距離関数で定義される距離に基づいて、前記評価値を生成する
評価装置。

【請求項2】

教師データとして、状態を表す状態ベクトルと前記状態における行動を表す行動ベクトルとを対応付けた構造を有する行動データを適用した模倣学習の出力を評価する評価装置であって、
所定の行動データと前記教師データとに基づいて、前記模倣学習の出力の評価を表す数値を評価情報として生成する評価部を備え、
前記評価部は、前記評価情報を生成するための評価用モデルを生成するモデル生成部を備え、
前記モデル生成部は、複数の行動データのそれぞれに含まれる状態ベクトルの要素と該要素に対応する行動ベクトルの要素との組みについて、類似性を指標としてデータ処理を行い、新たな行動データを生成し、
前記類似性は、前記複数の行動データのそれぞれに含まれる状態ベクトルの要素の間の距離を指標として、前記新たな行動データでは、前記距離に基づき要素が除去されている
評価装置。

【請求項3】

前記モデル生成部は、行動データと、前記行動データに対する評価値とを数理モデルに基づいて対応させた評価用データを生成し、当該評価用データを用いて、前記評価用モデルを生成する
請求項２に記載の評価装置。

【請求項4】

前記評価用モデルは、教師有り機械学習により生成される
請求項３に記載の評価装置。

【請求項5】

請求項１～３のいずれか一つに記載の評価装置と、
模倣学習モデルを備え、前記模倣学習の出力を生成する学習装置と、
を備えたシステム。

【請求項6】

前記学習装置は、柔軟物の巻取装置の制御装置を構成する
請求項５に記載のシステム。

【請求項7】

情報処理装置が、教師データとして、状態を表す状態ベクトルと前記状態における行動を表す行動ベクトルとを対応付けた構造を有する行動データを適用した模倣学習の出力を評価する評価方法であって、
所定の行動データと前記教師データとに基づいて、前記模倣学習の出力の評価を表す数値を評価情報として生成する評価ステップを備え、
前記評価ステップでは、前記所定の行動データとして、前記模倣学習の出力に含まれる推測行動データを用い、前記評価情報として、前記模倣学習の習熟度を示す評価値を生成し、
前記評価値の生成においては、前記教師データに含まれる状態ベクトルの要素と、前記推測行動データに含まれる推測状態ベクトルの要素との、非負実数値関数である距離関数で定義される距離に基づいて、前記評価値を生成する
評価方法。

【請求項8】

情報処理装置が、教師データとして、状態を表す状態ベクトルと前記状態における行動を表す行動ベクトルとを対応付けた構造を有する行動データを適用した模倣学習の出力を評価する評価方法であって、
所定の行動データと前記教師データとに基づいて、前記模倣学習の出力の評価を表す数値を評価情報として生成する評価ステップを備え、
前記評価ステップは、前記評価情報を生成するための評価用モデルを生成するモデル生成ステップを備え、
前記モデル生成ステップでは、複数の行動データのそれぞれに含まれる状態ベクトルの要素と該要素に対応する行動ベクトルの要素との組みについて、類似性を指標としてデータ処理を行い、新たな行動データを生成し、
前記類似性は、前記複数の行動データのそれぞれに含まれる状態ベクトルの要素の間の距離を指標として、前記新たな行動データでは、前記距離に基づき要素が除去されている
評価方法。

【請求項9】

教師データとして、状態を表す状態ベクトルと前記状態における行動を表す行動ベクトルとを対応付けた構造を有する行動データを適用した模倣学習の出力を評価するステップを実行させるプログラムであって、
前記ステップは、所定の行動データと前記教師データとに基づいて、前記模倣学習の出力の評価を表す数値を評価情報として生成する評価ステップを備え、
前記評価ステップでは、前記所定の行動データとして、前記模倣学習の出力に含まれる推測行動データを用い、前記評価情報として、前記模倣学習の習熟度を示す評価値を生成し、
前記評価値の生成においては、前記教師データに含まれる状態ベクトルの要素と、前記推測行動データに含まれる推測状態ベクトルの要素との、非負実数値関数である距離関数で定義される距離に基づいて、前記評価値を生成する
プログラム。

【請求項10】

教師データとして、状態を表す状態ベクトルと前記状態における行動を表す行動ベクトルとを対応付けた構造を有する行動データを適用した模倣学習の出力を評価するステップを実行させるプログラムであって、
前記ステップは、所定の行動データと前記教師データとに基づいて、前記模倣学習の出力の評価を表す数値を評価情報として生成する評価ステップを備え、
前記評価ステップは、前記評価情報を生成するための評価用モデルを生成するモデル生成ステップを備え、
前記モデル生成ステップでは、複数の行動データのそれぞれに含まれる状態ベクトルの要素と該要素に対応する行動ベクトルの要素との組みについて、類似性を指標としてデータ処理を行い、新たな行動データを生成し、
前記類似性は、前記複数の行動データのそれぞれに含まれる状態ベクトルの要素の間の距離を指標として、前記新たな行動データでは、前記距離に基づき要素が除去されている
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価装置、システム、評価方法およびプログラムに関する。

【背景技術】

【0002】

物理モデルで表現することが困難な制御を自動化する技術として、模倣学習が知られている。たとえば、特許文献１では、環境の状態を表す状態ベクトルとその状態において行う行動ベクトルとを対応づけた行動データを取得して模倣学習を行い、模倣学習の結果を用いて或る状態において行うべきと推測される行動を出力する技術が開示されている。また、特許文献２では、模倣学習などを用いた電力・通信ケーブルの自動整列巻の技術が開示されている。模倣学習では、たとえば習熟したオペレータの行動を教師データとしての行動データとし、この教師データが適正に模倣された推測データが結果として出力されることが望ましい。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／１５０４５２号

【文献】国際公開第２０２０／０２７１５４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、模倣学習の結果として出力された推測の行動データが、どの程度オペレータを模倣できているのかを定量的に確認する手法が確立していない。そのため、推測データの模倣の程度の評価は、熟練のオペレータなどのように、或る状態において行うべき行動に習熟している者が行う必要があり、評価の客観性が低いおそれがあった。また、模倣の程度の評価が未確立の状態の場合、模倣の程度が低い推測行動データが誤って制御に使用される場合があり、誤制御による安全上の問題が生じる場合もある。

【0005】

本発明は、上記に鑑みてなされたものであって、模倣学習の結果を客観的に評価できる評価装置、これを用いたシステム、評価方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明の一態様は、教師データとして、状態を表す状態ベクトルと前記状態における行動を表す行動ベクトルとを対応付けた構造を有する行動データを適用した模倣学習の出力を評価する評価装置であって、所定の行動データと前記教師データとに基づいて、前記模倣学習の出力の評価を表す数値を評価情報として生成する評価部を備える評価装置である。

【0007】

前記評価部は、前記所定の行動データとして、前記模倣学習の出力に含まれる推測行動データを用い、前記評価情報として、前記模倣学習の習熟度を示す評価値を生成するものでもよい。

【0008】

前記評価部は、前記教師データに含まれる状態ベクトルの要素と、前記推測行動データに含まれる推測状態ベクトルの要素との距離に基づいて、前記評価値を生成するものでもよい。

【0009】

前記評価部は、前記評価情報を生成するための評価用モデルを生成するモデル生成部を備えるものでもよい。

【0010】

前記モデル生成部は、複数の行動データのそれぞれに含まれる状態ベクトルの要素と該要素に対応する行動ベクトルの要素との組みについて、類似性を指標としてデータ処理を行い、新たな行動データを生成するものでもよい。

【0011】

前記類似性は、前記複数の行動データのそれぞれに含まれる状態ベクトルの要素の間の距離を指標として、前記新たな行動データでは、前記距離に基づき要素が除去されているものでもよい。

【0012】

前記モデル生成部は、行動データと、前記行動データに対する評価値とを数理モデルに基づいて対応させた評価用データを用いて、前記評価用モデルを生成するものでもよい。

【0013】

前記評価用モデルは、教師有り機械学習により生成されるものでもよい。

【0014】

本発明の一態様は、前記評価装置と、模倣学習モデルを備え、前記模倣学習の出力を生成する学習装置と、を備えたシステムである。

【0015】

前記学習装置は、柔軟物の巻取装置の制御装置を構成するものでもよい。

【0016】

本発明の一態様は、教師データとして、状態を表す状態ベクトルと前記状態における行動を表す行動ベクトルとを対応付けた構造を有する行動データを適用した模倣学習の出力を評価する評価方法であって、所定の行動データと前記教師データとに基づいて、前記模倣学習の出力の評価を表す数値を評価情報として生成する評価ステップを備える評価方法である。

【0017】

前記評価ステップは、前記所定の行動データとして、前記模倣学習の出力に含まれる推測行動データを用い、前記評価情報として、前記模倣学習の習熟度を示す評価値を生成するものでもよい。

【0018】

前記評価ステップは、前記評価情報を生成するための評価用モデルを生成するモデル生成ステップを備えるものでもよい。

【0019】

本発明の一態様は、教師データとして、状態を表す状態ベクトルと前記状態における行動を表す行動ベクトルとを対応付けた構造を有する行動データを適用した模倣学習の出力を評価するステップを実行させるプログラムであって、前記ステップは、所定の行動データと前記教師データとに基づいて、前記模倣学習の出力の評価を表す数値を評価情報として生成するステップを備えるプログラムである。

【発明の効果】

【0020】

本発明によれば、模倣学習の結果を客観的に評価できるという効果を奏する。

【図面の簡単な説明】

【0021】

【図1】図１は、実施形態１に係る評価装置を備えたシステムの構成を示す図である。

【図2】図２は、評価装置および学習装置のそれぞれを構成することができる情報処理装置の構成の一例を示す図である。

【図3】図３は、行動データおよび推測行動データの一例を示す図である。

【図4】図４は、評価装置が実行する処理の一例を示すフロー図である。

【図5】図５は、図４における評価情報の生成処理の一例を示すフロー図である。

【図6】図６は、選択されたデータの一例を示す説明図である。

【図7】図７は、実施形態２に係る評価装置を備えたシステムの構成を示す図である。

【図8】図８は、評価装置が実行する制御の一例を示すフロー図である。

【図9】図９は、低習熟度データの生成の一例を示す説明図である。

【図10】図１０は、低習熟度データの良質化の説明図である。

【図11】図１１は、低習熟度データの良質化処理の一例を示すフロー図である。

【図12】図１２は、評価用データの一例を示す図である。

【図13】図１３は、実施形態３に係るシステムの構成を示す図である。

【図14】図１４は、図１３に示すシステムの動作の一例の説明図である。

【発明を実施するための形態】

【0022】

以下に、図面を参照して、本発明の実施形態について説明する。なお、以下に説明する実施形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率等は、現実と異なる場合がある。さらに、図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。

【0023】

（実施形態１）
図１は、実施形態１に係る評価装置を備えたシステムの構成を示す図である。実施形態１に係る評価装置１０は、学習装置２０とともにシステム１００を構成している。学習装置２０は、模倣学習を行ってその結果を出力するとともに模倣学習済モデルを生成し、評価装置１０は、学習装置２０の模倣学習の出力を評価する。

【0024】

［装置の構成］
図２は、評価装置１０および学習装置２０のそれぞれを構成することができる情報処理装置の構成の一例を示す図である。情報処理装置３０は、プロセッサ３１と、メモリ３２と、インターフェイス３３と、を備えている。

【0025】

プロセッサ３１は、たとえばＣＰＵ（Central Processing Unit）、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ（Field-Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）などを含んでおり、制御のための各種演算処理を行う。メモリ３２は、プロセッサ３１が演算処理を行うために使用する各種プログラムやデータ等が格納されるＲＯＭなどの記憶部と、プロセッサ３１が演算処理を行う際の作業スペースやプロセッサ３１の演算処理の結果等を記憶する等のために使用されるＲＡＭなどの記憶部とを備えている。メモリ３２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの補助記憶装置を備えていてもよい。

【0026】

インターフェイス３３は、情報処理装置３０と、入出力デバイスや通信ネットワークとを接続する。インターフェイス３３は、マウスなどの入力デバイスやディスプレイなどの出力デバイスと接続するインターフェイスボード、有線または無線により情報通信を行う通信ボードなどを含んでいる。通信ネットワークはたとえばＬＡＮ（Local Area Network）である。

【0027】

図１に戻って、評価装置１０は、機能部として、取得部１１と、評価部１２と、出力部１３とを備える。学習装置２０は、機能部として、取得部２１と、学習部２２と、出力部２３とを備える。これらの機能部は、たとえば、情報処理装置３０のプロセッサ３１がプログラムを実行することによってハードウェアとソフトウェアとが協働して実現されてもよいし、情報処理装置３０のハードウェアの機能として実現されてもよい。

【0028】

［学習装置の機能］
はじめに学習装置２０の各機能部の機能について説明する。学習装置２０において、取得部２１は、たとえばインターフェイス３３を経由して、模倣学習のために使用する行動データを取得する。

【0029】

図３（ａ）を参照して行動データについて説明する。行動データは、状態を表す状態ベクトルと、その状態における行動を表す行動ベクトルとを対応付けた構造を有する。図３（ａ）の例では、行動データＡはテーブルデータ形式である。行動データＡにおいて、Ａｓｃ（state current）は状態ベクトルであり、状態を表すパラメータである状態要素を成分とする。Ａａｃ（action current）は行動ベクトルであり、行動を表すパラメータである行動要素を成分とする。状態ベクトルは（Ａｓｃ１、Ａｓｃ２、・・・）で表され、行動ベクトルは（Ａａｃ１、Ａａｃ２、・・・）で表される。そして、状態要素Ａｓｃ１で表される状態における行動を表す行動要素がＡａｃ１である。

【0030】

さらに、状態要素Ａｓｃ１が実行されることによって遷移した状態を表すのが状態要素Ａｓｃ２である。たとえば、状態要素Ａｓｃ１が制御対象の初期の位置を表し、行動要素Ａａｃ１が制御対象を移動させる距離を表す場合、後述するＡｓｎ（state next）１について、Ａｓｎ１＝Ａｓｃ２＝Ａｓｃ１＋Ａａｃ１が成り立つ。また、ｍ、ｋを２以上の整数として、状態ベクトルおよび行動ベクトルがｍ次元であるとすると、ｍ以下のｋにおいて、Ａｓｎ（ｋ－１）＝Ａｓｃｋ＝Ａｓｃ（ｋ－１）＋Ａａｃ（ｋ―１）が成り立つ。

【0031】

以下では、たとえばＡｓｃ（ｋ－１）を現在状態要素と記載し、ＡｓｃｋをＡｓｎ（ｋ－１）と記載し、かつ次状態要素と記載する場合がある。

【0032】

取得部２１は、模倣学習で使用する行動データとしてたとえば行動データＡを取得する。行動データＡは、たとえば、ケーブルの整列巻装置を手動制御する場合に、熟練したオペレータが良好な整列巻きを実行したときの制御行動を示したデータである。

【0033】

学習部２２は、取得部２１が取得した行動データを教師データとして適用して模倣学習を行い、模倣学習済モデルを生成するとともに、当該模倣学習済モデルを適用して推測した行動データ（推測行動データ）を生成する。なお、推測行動データを生成する場合は、初期値としての状態要素はインターフェイス３３を経由して外部から入力されてもよいし、メモリ３２から読み出してもよい。

【0034】

出力部２３は、学習部２２が生成した推測行動データを出力し、たとえばインターフェイス３３を経由して表示したり外部に送信したりする。

【0035】

図３（ｂ）を参照して推測行動データについて説明する。図３（ａ）の例では、推測行動データＢにおいて、Ｂｓｃは推測された推測状態要素を成分とする推測状態ベクトルである。ただし、Ｂｓｃ１だけは初期値として与えられるが、便宜上推測状態要素と定義する。なお、Ｂｓｃ１としてはＡｓｃ１が与えられてもよい。Ｂａｃは推測行動ベクトルであり、推測行動を表すパラメータである推測状態要素を成分とする。そして、推測状態要素Ｂｓｃ１で表される状態における、模倣学習の結果として推測される行動を表す推測行動要素がＢａｃ１である。そして、推測状態要素Ｂｓｃ１が実行されることによって遷移すると推測した状態を表すのが推測状態要素Ｂｓｃ２である。推測状態ベクトルは（Ｂｓｃ１、Ｂｓｃ２、・・・）で表され、推測行動ベクトルは（Ｂａｃ１、Ｂａｃ２、・・・）で表される。

【0036】

推測状態要素Ｂｓｃ１と推測行動要素Ｂａｃ１とは、たとえば方策関数によって対応付けられる。行動データＡの場合と同様に、推測状態要素Ｂｓｃ１が制御対象の初期の位置を表し、推測行動要素Ｂａｃ１が制御対象を移動させる距離の推測値を表す場合、後述するＢｓｎ１について、Ｂｓｎ１＝Ｂｓｃ２＝Ｂｓｃ１＋Ｂａｃ１が成り立つ。また、ｍ、ｋを整数として、推測状態ベクトルおよび推測行動ベクトルがｍ次元であるとすると、ｍ以下のｋにおいて、Ｂｓｎ（ｋ－１）＝Ｂｓｃｋ＝Ｂｓｃ（ｋ－１）＋Ｂａｃ（ｋ―１）が成り立つ。

【0037】

以下では、たとえばＢｓｃ（ｋ－１）を現在推測状態要素と記載し、ＢｓｃｋをＢｓｎ（ｋ－１）と記載し、かつ次推測状態要素と記載する場合がある。

【0038】

［評価装置の機能］
つぎに評価装置１０の各機能部の機能について説明する。評価装置１０において、取得部１１は、たとえばインターフェイス３３を経由して、学習装置２０において教師データとして使用する行動データであるたとえば行動データＡを取得し、および推測行動データＢを含む模倣学習の出力を取得する。推測行動データＢは所定の行動データの一例である。

【0039】

評価部１２は、行動データＡと推測行動データＢとに基づいて、学習装置２０の模倣学習の出力の評価を表す数値を評価情報として生成する。

【0040】

出力部１３は、評価部１２が生成した評価情報を出力し、たとえばインターフェイス３３を経由して表示したり外部に送信したりする。なお、評価情報はメモリ３２に格納されてもよい。

【0041】

［処理フロー］
図４は、評価装置１０が実行する処理の一例を示すフロー図である。はじめに、ステップＳ１０１において、取得部１１は、教師データおよび模倣学習の出力を取得する。つづいて、ステップＳ１０２において、評価部１２は、評価情報を生成する（評価ステップの一例）。つづいて、ステップＳ１０３において、出力部１３は、評価情報を出力する。

【0042】

評価部１２がステップＳ１０２において行う評価情報の生成について、具体例を挙げて説明する。一例として、評価部１２は、評価情報として、模倣学習の習熟度を示す評価値を生成する。評価値は、たとえば、教師データとしての行動データＡに含まれる状態ベクトルの要素と、推測行動データＢに含まれる推測状態ベクトルの要素との距離に基づいて生成される。

【0043】

図５は、図４における評価情報の生成処理の一例を示すフロー図である。はじめに、ステップＳ２０１において、評価部１２は、推測行動データＢから一組の状態要素（Ｂｓｃｓ、Ｂｓｎｓ）を選択する。ここで、ｓは選択された要素であることを意味する。

【0044】

つづいて、ステップＳ２０２において、評価部１２は、教師データの状態要素から、Ｂｓｃｓとユークリッド距離が小さい順に、指定数だけデータ（Ａｓｃｓ）を選択する。ここで、指定数は複数であれば特に限定されないが、たとえば３である。

【0045】

つづいて、ステップＳ２０３において、評価部１２は、選択した全データ（Ａｓｃｓ）について、ＡｓｎｓとＢｓｎｓとのユークリッド距離を計算する。

【0046】

つづいて、ステップＳ２０４において、評価部１２は、選択した全ての（Ｂｓｃｓ、Ｂｓｎｓ）について、ユークリッド距離の計算を実行したかを判定する。実行していないと判定した場合（ステップＳ２０４、Ｎｏ）、ステップＳ２０５において評価部１２は未だ選択されていない（Ｂｓｃｓ、Ｂｓｎｓ）を選択し、処理はステップＳ２０２に戻る。実行したと判定した場合（ステップＳ２０４、Ｙｅｓ）、処理はステップＳ２０６に進む。

【0047】

つづいて、ステップＳ２０６において、評価部１２は、習熟度を示す評価値を生成する。本例では、算出されたすべてのユークリッド距離の平均を評価値としての習熟度とする。ただし、評価値はこれに限らず、たとえば算出されたすべてのユークリッド距離にミニマックス法を適用し、最も遠い座標とのユークリッド距離を評価値としてもよい。その後、評価部１２は処理フローを終了する。なお、習熟度は、０から１の間の値を連続的にとるように規格化してもよい。

【0048】

ここで、図６を参照して、選択したデータの処理について説明する。図６（ａ）は、推測行動データＢから一組の状態要素（Ｂｓｃ１、Ｂｓｎ１）を選択し、Ｂｓｃ１とユークリッド距離が小さい順に、指定数の一例である３だけデータ（Ａｓｃ１、Ａｓｃ２、Ａｓｃ３）を選択した場合を示している。この場合、評価部１２は、データ（Ａｓｎ１、Ａｓｎ２、Ａｓｎ３）について、ＡｓｎｓとＢｓｎｓとのユークリッド距離を計算する。

【0049】

図６（ａ）に示す例は、現在推測状態要素（Ｂｓｃ１）に対してユークリッド距離が小さい現在状態要素（Ａｓｃ１、Ａｓｃ２、Ａｓｃ３）を選択した場合、これに対応する次推測状態要素（Ｂｓｎ１）に対する次状態要素（Ａｓｎ１、Ａｓｎ２、Ａｓｎ３）のユークリッド距離も小さいので、模倣学習が上手くいき、習熟度が比較的高い模倣学習の出力としての推測データが得られたと判定することができる。

【0050】

一方。図６（ｂ）に示す例は、現在推測状態要素（Ｂｓｃ１）に対してユークリッド距離が小さい現在状態要素（Ａｓｃ１、Ａｓｃ２、Ａｓｃ３）を選択した場合であるが、これに対応する次推測状態要素（Ｂｓｎ１）に対する次状態要素（Ａｓｎ１、Ａｓｎ２、Ａｓｎ３）のユークリッド距離は大きくなってしまっている。この場合は、習熟度が比較的低い模倣学習の出力としての推測データが得られたと判定することができる。

【0051】

以上説明したように、評価装置１０は、評価部１２が、行動データＡと推測行動データＢとに基づいて、推測行動データＢの生成に用いられた学習装置２０の模倣学習の出力の評価を表す評価情報を、模倣学習の習熟度を示す評価値として生成するので、模倣学習の習熟度を客観的に評価することができる。

【0052】

特に、評価部１２は、行動データＡに含まれる状態要素（現在状態要素および次状態要素）と、推測行動データＢに含まれる推測状態要素（現在推測状態要素および次推測状態要素）とのユークリッド距離に基づいて評価値を生成するので、定量的な評価値に基づいて客観的な評価を提供することができる。

【0053】

なお、上記実施形態では、ユークリッド距離を用いて評価値を生成しているが、ユークリッド距離以外の距離、たとえば、マンハッタン距離、チェビシェフ距離、マハラノビス距離などの距離を用いて評価値を生成してもよい。すなわち、距離としては、非負実数値関数である距離関数で定義される距離を適宜選択して用いることができる。

【0054】

（実施形態２）
図７は、実施形態２に係る評価装置を備えたシステムの構成を示す図である。実施形態２に係る評価装置４０は、学習装置２０とともにシステム２００を構成している。学習装置２０は、模倣学習を行い、評価装置１０は、当該模倣学習の出力を評価する。

【0055】

［装置の構成］
評価装置４０および学習装置２０のそれぞれは、図１のシステム１００の場合と同様に、情報処理装置３０によって構成することができる。

【0056】

学習装置２０は、図１の学習装置２０と同じなので、詳細な説明は省略する。評価装置４０は、機能部として、取得部４１と、評価部４２と、出力部４３とを備える。評価部４２は、モデル生成部４２ａを備える。モデル生成部４２ａは、データ生成部４２ａ１と、評価・処理部４２ａ２と、学習部４２ａ３とを備える。データ生成部４２ａ１は、学習部４２ａ１１を備える。これらの機能部は、たとえば、情報処理装置３０のプロセッサ３１がプログラムを実行することによってハードウェアとソフトウェアとが協働して実現されてもよいし、情報処理装置３０のハードウェアの機能として実現されてもよい。

【0057】

［評価装置の機能］
つぎに評価装置４０の各機能部の機能について説明する。評価装置４０において、取得部４１は、評価装置１０の取得部１１と同様に、たとえばインターフェイス３３を経由して、学習装置２０において教師データとして使用する行動データであるたとえば行動データＡを取得する。

【0058】

評価部４２のモデル生成部４２ａにおいて、データ生成部４２ａ１は、行動データＡを教師データとして、模倣学習モデルを備える学習部４２ａ１１に模倣学習をさせて、推測行動データを生成する。学習部４２ａ１１が備える模倣学習モデルは、学習装置２０の学習部２２が備える模倣学習モデルと同じものでよいが、それに限定はされない。

【0059】

ただし、この時生成する推測行動データは、模倣の程度が低い、すなわち習熟度が低いものとする。以下、習熟度が低い推測行動データを低習熟度データＣと記載する場合がある。低習熟度データＣのデータ構造や生成方法は後に詳述する。

【0060】

評価・処理部４２ａ２は、データ生成部４２ａ１が生成した低習熟度データなどのデータ処理を行って新たな行動データを生成したり、学習部４２ａ３が用いる評価用データを生成したりする。評価・処理部４２ａ２は、学習部４２ａ３が生成した評価用モデルを用いて模倣学習の出力を評価し、模倣学習の出力の評価を表す数値を評価情報として生成することもできる。新たな行動データや評価用データの生成方法、模倣学習の出力の評価方法については後に詳述する。評価・処理部４２ａ２は、評価用データを生成する評価用データ生成部の一例である。評価・処理部４２ａ２は、評価部の一例でもある。

【0061】

学習部４２ａ３は、教師有り機械学習を行うための学習モデルを備えている。学習部４２ａ３は、評価・処理部４２ａ２が生成した評価用データを教師データとして用いて、教師有り機械学習を行って、評価用モデルを生成する。

【0062】

出力部４３は、評価・処理部４２ａ２が生成した評価情報（評価値など）を出力し、たとえばインターフェイス３３を経由して表示したり外部に送信したりする。評価情報はメモリ３２に格納されてもよい。

【0063】

［処理フロー］
図８は、評価装置が実行する処理の一例を示すフロー図である。この処理フローは、教師データを取得するステップＳ３０１、低習熟度データを生成するステップＳ３０２、低習熟度データを良質化するステップＳ３０３、評価用データを生成するステップＳ３０４、評価用モデルを生成するステップＳ３０５、および、評価値を生成し出力するステップＳ３０６を含む。

【0064】

以下、具体的に説明する。はじめに、ステップＳ３０１において、取得部４１は、教師データを取得する。つづいて、データ生成部４２１は、ステップＳ３０２において、低習熟度データＣを生成する。

【0065】

図９は、低習熟度データの生成の一例を示す説明図である。データ生成部４２ａ１は、たとえば、行動データＡを教師データとして、模倣学習モデルを備える学習部４２ａ１１に模倣学習をさせて、習熟度が低い推測行動データである低習熟度データＣを生成する。学習部４２ａ１１が備える模倣学習モデルとしては、学習装置２０の学習部２２が備える模倣学習モデルと同じものでよいが、これに限られない。

【0066】

低習熟度データＣは、習熟度が低いと考えられる条件、たとえば模倣学習を比較的初期の段階すなわち模倣学習があまり進んでいない段階で中止することで生成できる。この場合、たとえば行動データＡを構成する状態ベクトルおよび行動ベクトルがｍ次元であるとすると、習熟度が低い推測行動データは、たとえばｍよりも小さい整数ｌとして、状態ベクトルおよび行動ベクトルがｌ次元である行動データとして表すことができる。

【0067】

図９に例示する低習熟度データＣでは、Ｃｓｃは推測された推測状態要素を成分とする推測状態ベクトルである。ただし、Ｃｓｃ１だけは初期値として与えられるが、便宜上推測状態要素と定義する。なお、Ｃｓｃ１としてはＡｓｃ１が与えられてもよい。Ｃａｃは推測行動ベクトルであり、推測行動を表すパラメータである推測状態要素を成分とする。そして、推測状態要素Ｃｓｃ１で表される状態における、模倣学習モデルまたは初期段階の模倣学習済モデルを用いて推測される行動を表す推測行動要素がＣａｃ１である。そして、推測状態要素Ｃｓｃ１が実行されることによって遷移すると推測した状態を表すのが推測状態要素Ｃｓｃ２である。推測状態ベクトルは（Ｃｓｃ１、Ｃｓｃ２、Ｃｓｃ３・・・）で表され、推測行動ベクトルは（Ｃａｃ１、Ｃａｃ２、Ｃａｃ３・・・）で表される。

【0068】

推測状態要素Ｃｓｃ１と推測行動要素Ｃａｃ１とは、たとえば方策関数によって対応付けられる。行動データＡの場合と同様に、推測状態要素Ｃｓｃ１が制御対象の初期の位置を表し、推測行動要素Ｃａｃ１が制御対象を移動させる距離の推測値を表す場合、後述するＣｓｎ１について、Ｃｓｎ１＝Ｃｓｃ２＝Ｃｓｃ１＋Ｃａｃ１が成り立つ。また、ｌ、ｋを整数として、推測状態ベクトルおよび推測行動ベクトルがｌ次元であるとすると、ｌ以下のｋにおいて、Ｃｓｎ（ｋ－１）＝Ｃｓｃｋ＝Ｃｓｃ（ｋ－１）＋Ｃａｃ（ｋ―１）が成り立つ。

【0069】

以下では、たとえばＣｓｃ（ｋ－１）を現在推測状態要素と記載し、ＣｓｃｋをＣｓｎ（ｋ－１）と記載し、かつ次推測状態要素と記載する場合がある。

【0070】

図８に戻って、ステップＳ３０３において、評価・処理部４２ａ２は、データ生成部４２ａ１が生成した低習熟度データＣを良質化し、新しい行動データとしての低習熟度データＣ’とする。

【0071】

低習熟度データＣは、習熟度が低いと考えらえる条件で生成したデータである。しかしながら、これに含まれる状態要素と行動要素との組み合わせには、習熟度が高い行動データ、たとえば教師データに含まれる状態要素と行動要素との組み合わせと同じまたは近いものが、意図せず偶然に含まれてしまう場合がある。このような場合、低習熟度データＣが、習熟度が低いデータとしては良いものとは言えない場合がある。

【0072】

図１０は、低習熟度データＣの良質化の説明図である。たとえば、状態ベクトルＣｓｃが制御対象の位置のＸ座標を表し、行動ベクトルＣａｃが制御対象を移動させる距離を表す場合を想定する。この場合、図１０（ａ）に示すように、低習熟度データＣの次状態要素を移動後のＸ座標とすると、Ｘ座標は＋１から＋５程度の比較的広い範囲に偏りなく分布し、状態要素のデータの分布も、各Ｘ座標においてそれほど差が無い。ここで、縦軸のデータ割合とは、対象とする行動データにおける状態要素の全数に対する、Ｘ軸の値となる状態要素の数の割合である。このような分布になるのは、低習熟度データＣが低習熟度のためである。

【0073】

一方、行動データＡのような教師データとなりうる高習熟度の行動データでは、状態要素のデータの大部分は移動後のＸ座標において同じ値となり、本例では＋３である。この場合、低習熟度データＣにおけるＸ座標が＋３またはその近傍になるデータは、高習熟度の行動データと同じになってしまい好ましくない。

【0074】

そこで、低習熟度データＣを良質化するために、図１０（ｂ）に示すように、低習熟度データＣにおけるＸ座標が＋３またはその近傍になるデータを除外するデータ処理を行う。

【0075】

図１１は、図１０における低習熟度データＣの良質化処理の一例を示すフロー図である。

【0076】

はじめに、ステップＳ４０１において、評価・処理部４２ａ２は、推測行動データである低習熟度データＣから一組の状態要素（Ｃｓｃｓ、Ｃｓｎｓ）を選択する。ここで、ｓは選択された要素であることを意味する。

【0077】

つづいて、ステップＳ４０２において、評価・処理部４２ａ２は、教師データの状態要素から、Ｃｓｃｓとユークリッド距離が小さい順に、指定数だけデータ（Ａｓｃｓ）を選択する。指定数は複数であれば特に限定されないが、たとえば３である。

【0078】

つづいて、ステップＳ４０３において、評価・処理部４２ａ２は、選択した全データ（Ａｓｃｓ）について、ＡｓｎｓとＣｓｎｓとのユークリッド距離を計算する。

【0079】

つづいて、ステップＳ４０４において、評価・処理部４２ａ２は、選択した全ての（Ｃｓｃｓ、Ｃｓｎｓ）について、ユークリッド距離の計算を実行したかを判定する。実行していないと判定した場合（ステップＳ４０４、Ｎｏ）、ステップＳ４０５において評価・処理部４２ａ２は未だ選択されていない（Ｃｓｃｓ、Ｃｓｎｓ）を選択し、処理はステップＳ４０２に戻る。実行したと判定した場合（ステップＳ４０４、Ｙｅｓ）、処理はステップＳ４０６に進む。

【0080】

つづいて、ステップＳ４０６において、評価・処理部４２ａ２は、習熟度が高い（Ｃｓｃｓ、Ｃｓｎｓ）を選択して除外する。本例では、算出されたユークリッド距離の平均を評価値としての習熟度とする。ただし、評価値はこれに限らず、たとえば算出されたすべてのユークリッド距離にミニマックス法を適用し、最も遠い座標とのユークリッド距離を評価値としてもよい。そして、習熟度が所定の閾値よりも高い（平均のユークリッド距離が所定の閾値よりも小さい）習熟度が高い（Ｃｓｃｓ、Ｃｓｎｓ）を選択して除外する。このようにして習熟度が高いデータが除外された新たな低習熟度データＣ’が生成される。その後、評価・処理部４２ａ２は処理フローを終了する。

【0081】

したがって、図１１の良質化処理では、複数の行動データ（行動データＡと低習熟度データＣ）のそれぞれに含まれる状態ベクトルの要素（状態要素）と該要素に対応する行動ベクトルの要素（行動要素）との組みについて、類似性を指標としてデータ処理を行い、新たな行動データ（低習熟度データＣ’）を生成する。図１１の良質化処理では、類似性は、複数の行動データ（行動データＡと低習熟度データＣ）のそれぞれに含まれる状態ベクトルの要素の間の距離（ユークリッド距離）を指標として、前記新たな行動データ（低習熟度データＣ’）では、前記距離に基づき要素（習熟度が高い要素）が除去されている。

【0082】

図８に戻って説明を続ける。ステップＳ３０４において、評価・処理部４２ａ２は、評価用データを生成する。

【0083】

図１２は、評価用データの一例を示す図である。この評価データは、複数の行動データとして、行動データＡと低習熟度データＣ’とを用いている。そして、行動データＡと低習熟度データＣ’とに含まれる状態要素とこれに対応する行動要素との組みについて、評価値としての習熟度を対応させている。

【0084】

具体的には、行動データＡに含まれる状態要素と行動要素との組みについては、いずれも習熟度が高い。そこで、規格化された習熟度の最も高い値である「１」がラベル付けされ、対応付けられている。また、低習熟度データＣ’に含まれる状態要素と行動要素との組みについては、いずれも習熟度が低い。そこで、評価指標として、規格化された習熟度の最も低い値である「０」がラベル付けされ、対応付けられている。このような対応付けは、たとえば機械学習に用いられる数理モデルを用いて行ってもよい。

【0085】

なお、図１２に示す評価データは、状態要素と行動要素との組みを説明変数、ラベル（習熟度）を目的変数とするデータ構造を有する。

【0086】

また、図１２に示す評価用データでは、ラベルは「０」と「１」との２種類であるが、習熟度が「０」と「１」以外の値を取る他の行動データをさらに組み合わせて評価用データを生成してもよい。

【0087】

図８に戻って説明を続ける。ステップＳ３０５において、学習部４２ａ３は、図１２に示すような評価用データを教師データとして用いて、教師有り機械学習を行い、評価用モデルを生成する（モデル生成ステップの一例）。教師有り機械学習のアルゴリズムは特に限定されず、たとえばニューラルネットワーク、ｋＮＮ法、線形モデル、ナイーブベイズクラス分類器、決定木、ＳＶＭ（サポートベクトルマシン）などの公知の数理モデルを用いたものを利用できる。すなわち、評価用モデルは、行動データに含まれる状態ベクトルおよび行動ベクトルと、行動ベクトルに対する評価値とを数理モデルに基づいて対応させる。

【0088】

図１２に示すような評価用データを教師データとして用いて教師有り機械学習を行って生成された評価用モデルは、推測行動データなどの行動データを、習熟度で評価できる。このときの習熟度は、０以上１以下の連続的な値を取りうる。

【0089】

つづいて、ステップＳ３０６において、評価・処理部４２ａ２は、出力部４３が取得した学習装置２０による模倣学習の出力である推測行動データ（たとえば推測行動データＢ）の入力を受け付け、推測行動データＢに対する評価情報である習熟度を評価値として生成する。出力部４３は、評価・処理部４２ａ２が生成した習熟度を出力し、たとえばインターフェイス３３を経由して表示したり外部に送信したりする。なお、評価情報はメモリ３２に格納されてもよい。

【0090】

以上説明したように、評価装置４０は、評価・処理部４２ａ２が、行動データＡと低習熟度データＣとに基づいて、推測行動データＢの生成に用いられた学習装置２０の模倣学習の出力の評価を表す評価情報を、模倣学習の習熟度を示す評価値として生成するので、模倣学習の習熟度を客観的に評価することができる。

【0091】

特に、評価部１２は、良質化された低習熟度データＣ’を用いて評価値を生成するので、定量的な評価値に基づいて客観的な評価を提供することができる。

【0092】

なお、上記実施形態では、ユークリッド距離を用いて良質化を行っているが、ユークリッド距離以外の距離、たとえば、マンハッタン距離、チェビシェフ距離、マハラノビス距離などの距離を用いてもよい。

【0093】

（実施形態３）
図１３は、実施形態３に係るシステムの構成を示す図である。このシステム１０００は、巻取装置３００と、巻取装置３００の制御を行う制御装置４００とを備える。

【0094】

巻取装置３００は、柔軟物の一例である電力ケーブルＣをドラムＤに巻き取る装置である。ドラムＤは、円柱状の胴部Ｄ１と胴部Ｄ１の両端に設けられた２つの鍔部Ｄ２を備える。電力ケーブルＣは胴部Ｄ１に巻き取られる。

【0095】

巻取装置３００は、回転アクチュエータによってドラムＤを回転軸回りに回転させる回転機構３１０と、電力ケーブルＣをドラムＤに導くアーム３２０と、アーム３２０をドラムＤの回転軸方向に沿ってガイドするガイドレール３３０と、回転アクチュエータによってアーム３２０をガイドレール３３０に沿って移動させる移動機構３４０とを備えている。図１３ではドラムＤの回転軸方向およびガイドレール３３０の延伸方向をＸ方向とする。

【0096】

アーム３２０は、ガイドレール３３０をＸ方向の正負の向きに往復移動し、かつＸ方向と直交するＹ方向およびＺ方向の正負の向きにも移動することによって、胴部Ｄ１に電力ケーブルＣを導く。

【0097】

制御装置４００は、移動機構３４０の回転アクチュエータの制御によってアーム３２０の位置および移動量を制御する。制御装置４００は、回転アクチュエータの制御を略自動制御で行うが、電力ケーブルＣの巻き取り状態を好適な状態とするためにオペレータの手動による制御への介入を許容するように構成されている。

【0098】

具体的には、制御装置４００は、手動操作部４１０と、手動制御部４２０と、自動制御部４３０と、評価部４４０と、報知部４５０とを備えている。

【0099】

手動操作部４１０は、たとえばボタンやレバーなどの操作子を備えており、オペレータが手動による制御への介入のための手動操作を行う部分である。

【0100】

手動制御部４２０と、自動制御部４３０と、評価部４４０とは、たとえば図２のような情報処理装置３０を用いて構成されている。手動制御部４２０は手動操作部４１０から手動操作信号を受け付け、その操作信号に応じて移動機構３４０の回転アクチュエータを制御する。自動制御部４３０は、行動データを教師データとする模倣学習によって生成された学習済モデル４３１を備えており、学習済モデル４３１による推測結果に基づいて移動機構３４０の回転アクチュエータを自動制御する。なお、手動制御部４２０と自動制御部４３０とは、手動制御が自動制御にスムーズに介入できるように協調して動作している。なお、自動制御部４３０は学習済モデル４３１による推測結果を行動データとして出力する。自動制御部４３０は学習装置の一例である。

【0101】

評価部４４０は、評価装置の一例であって、自動制御部４３０から推測結果の行動データを受け付け、その行動データに対する習熟度を評価値として生成する。なお、この行動データは、リアルタイムに更新されたものが自動制御部４３０から提供されてもよいし、評価部４４０が更新を行ってもよい。報知部４５０は、たとえばディスプレイやランプやスピーカを備えており、オペレータに介入を促す報知を行う。

【0102】

評価部４４０は、生成した習熟度が一定時間以上所定値以下になった場合、報知部４５０を制御してオペレータに制御への介入を促す報知を行うことができる。その結果、オペレータは必要に応じて制御に介入できるので、電力ケーブルＣの巻き取状態を好適な状態にすることができる。

【0103】

図１４は、図１３に示すシステム１０００の動作の一例の説明図である。図１４の横軸は巻取制御開始からの経過時間を示しており、縦軸は、介入動作および習熟度を示している。システム１０００では、習熟度が一定時間以上所定値以下になった時間において手動による介入を促す報知を行い、介入動作Ａ、Ｂが実行されると、習熟度が回復されることができる。

【0104】

なお、システム１０００における状態要素および行動要素の標準化の例について説明する。アーム３２０はＸＹＺ方向に移動するが、この場合に、状態要素Ａｓｃを、Ａｓｃ：（ｘ座標（０～１）、ｙ座標（０～１）、ｚ座標（０～１）のように、アーム３２０のｘｘｙｚ座標で定義する。このとき、ｘｙｚ座標の生データの値をアーム３２０の可動域が０～１の範囲となるように標準化することで、ｘｙｚ座標が０～１の範囲を取るようにできる。一方、行動要素ＡａｃもＡａｃ：（ｘ座標（０～１）、ｙ座標（０～１）、ｚ座標（０～１）のように定義する。このとき、ｘｙｚ座標の生データの値を行動要素Ａａｃの各座標の最大値で除算して標準化することで、ｘｙｚ座標が０～１の範囲を取るようにできる。

【0105】

評価部４４０は、報知部４５０を制御して習熟度を視覚的に表示してもよいし、音声により報知してもよい。これにより、オペレータは習熟度を確認することができる。

【0106】

なお、システム１０００の巻取装置３００は電力ケーブルＣの巻取装置であるが、システム１０００の構成は、メタルケーブル、ファイバーケーブル、紐、樹脂フィルム、紙、金属箔などの他の柔軟物の巻取装置にも適用できる。

【0107】

また、上記実施形態により本発明が限定されるものではない。上述した各構成要素を適宜組み合わせて構成したものも本発明に含まれる。また、さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、上記の実施形態に限定されるものではなく、様々な変更が可能である。

【符号の説明】

【0108】

１０、４０ ：評価装置
１１、２１、４１ ：取得部
１２、４２、４４０ ：評価部
１３、２３、４３ ：出力部
２０ ：学習装置
２２、４２ａ１１、４２ａ３ ：学習部
３０ ：情報処理装置
３１ ：プロセッサ
３２ ：メモリ
３３ ：インターフェイス
４２ａ ：モデル生成部
４２ａ１ ：データ生成部
４２ａ２ ：評価・処理部
１００、２００、１０００ ：システム
３００ ：巻取装置
３１０ ：回転機構
３２０ ：アーム
３３０ ：ガイドレール
３４０ ：移動機構
４００ ：制御装置
４１０ ：手動操作部
４２０ ：手動制御部
４３０ ：自動制御部
４３１ ：学習済モデル
４５０ ：報知部
Ａ ：介入動作
Ｂ ：介入動作
Ｃ ：電力ケーブル
Ｄ ：ドラム
Ｄ１ ：胴部
Ｄ２ ：鍔部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】