知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024071272
(43)【公開日】2024-05-24
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
B25J 13/00 20060101AFI20240517BHJP
G06Q 50/10 20120101ALI20240517BHJP
G06T 7/00 20170101ALI20240517BHJP
G06V 20/52 20220101ALI20240517BHJP
G06N 20/00 20190101ALI20240517BHJP
【ＦＩ】
B25J13/00 Z
G06Q50/10
G06T7/00 350B
G06V20/52
G06N20/00
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022182126
(22)【出願日】2022-11-14
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】枌 尚弥
(72)【発明者】
【氏名】寺尾 真
【テーマコード（参考）】
3C707
5L049
5L050
5L096
【Ｆターム（参考）】
3C707KS21
3C707LV14
3C707LW03
3C707LW12
3C707LW15
5L049CC12
5L050CC12
5L096AA06
5L096BA03
5L096BA05
5L096CA04
5L096FA67
5L096FA69
5L096GA30
5L096GA34
5L096HA11
5L096JA03
5L096KA04
(57)【要約】
【課題】制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことのできる技術を提供する。
【解決手段】情報処理装置（１）は、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する取得部（１１）と、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する生成部（１２）と、前記状態列を用いて前記取得手段が取得した計画列の成功確率を算出する算出部（１３）と、を備える。
【選択図】図１
【解決手段】情報処理装置（１）は、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する取得部（１１）と、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する生成部（１２）と、前記状態列を用いて前記取得手段が取得した計画列の成功確率を算出する算出部（１３）と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する取得手段と、
前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する生成手段と、
前記状態列を用いて前記取得手段が取得した計画列の成功確率を算出する算出手段と、
を備える情報処理装置。
前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する生成手段と、
前記状態列を用いて前記取得手段が取得した計画列の成功確率を算出する算出手段と、
を備える情報処理装置。
【請求項2】
前記算出手段は、前記状態列と機械学習により生成された第２の学習済モデルとを用いて、前記取得手段が取得した計画列の成功確率を算出する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記算出手段は、前記状態列に含まれる最後尾の状態情報を前記第２の学習済モデルに入力することにより前記成功確率を算出する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記算出手段は、
前記状態列に含まれる状態情報を、前記第２の学習済モデルに入力することにより前記状態情報のそれぞれの成功確率を算出し、
算出した前記状態情報毎の成功確率の統計結果に基づき、前記計画列の成功確率を算出する、
請求項２に記載の情報処理装置。
前記状態列に含まれる状態情報を、前記第２の学習済モデルに入力することにより前記状態情報のそれぞれの成功確率を算出し、
算出した前記状態情報毎の成功確率の統計結果に基づき、前記計画列の成功確率を算出する、
請求項２に記載の情報処理装置。
【請求項5】
前記算出手段は、
前記状態列に含まれる状態情報である状態ベクトルの平均ベクトルを算出し、
算出した平均ベクトルを第２の学習済モデルに入力することにより前記成功確率を算出する、
請求項２に記載の情報処理装置。
前記状態列に含まれる状態情報である状態ベクトルの平均ベクトルを算出し、
算出した平均ベクトルを第２の学習済モデルに入力することにより前記成功確率を算出する、
請求項２に記載の情報処理装置。
【請求項6】
前記状態情報は、画像から得られる特徴量、ロボットアームの関節角度、並びに画像中の物体の位置及び姿勢、の少なくともいずれかを示す情報を含む、
請求項１又は２に記載の情報処理装置。
請求項１又は２に記載の情報処理装置。
【請求項7】
前記制御計画は、複数の行動クラスを含む行動クラス群から選択された行動クラス、及びロボット関節への入力値、の少なくともいずれかを含む、
請求項１又は２に記載の情報処理装置。
請求項１又は２に記載の情報処理装置。
【請求項8】
前記制御計画は、前記環境の状態を示す情報を含む、
請求項１又は２に記載の情報処理装置。
請求項１又は２に記載の情報処理装置。
【請求項9】
（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得する取得手段と、
前記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成する生成手段と、
を備える情報処理装置。
前記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成する生成手段と、
を備える情報処理装置。
【請求項10】
（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得する取得手段と、
第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成する生成手段と、
を備える情報処理装置。
第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成する生成手段と、
を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御対象に対する制御計画を生成するための技術に関する。
【背景技術】
【0002】
ＴＡＭＰ（Task and Motion Planning）と最適制御とを用いて、複雑で長期的なタスクをロボットアームで実行する計画を生成する技術が提案されている。このような技術では計画の成功率を高めるために制約条件を人手で設計する必要があるが、必要な制約条件を網羅することは困難であり、また、制約条件の不足により実現不可能な計画を立ててしまう場合もある。そこで、制約条件の設計を行うことなく計画案を生成する技術として、例えば非特許文献１には、ランダムサンプリングしたロボットモーターへの複数の入力値のなかで、初期画像及び現在の画像と共にニューラルネットワークに入力したときに、このニューラルネットワークの出力値（計画の成功確率）が高くなる入力値を採用し、これを繰り返すことで、ロボットの行動を実施することが記載されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Levine, Sergey, et al., "Learning hand-eye coordination for robotic grasping with deep learning and large-scale data collection", The International journal of robotics research 37.4-5 (2018): 421-436
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、非特許文献１に記載の技術では、１時刻分の情報（現在の画像）のみしか考慮しておらず、長期的な影響を考慮できないという問題がある。
【0005】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことのできる技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様に係る情報処理装置は、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する取得手段と、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する生成手段と、前記状態列を用いて前記取得手段が取得した計画列の成功確率を算出する算出手段と、を備える。
【0007】
また、本発明の一態様に係る情報処理装置は、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得する取得手段と、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成する生成手段と、を備える。
【0008】
また、本発明の一態様に係る情報処理装置は、少なくとも１つのプロセッサが、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得することと、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成することと、前記状態列を用いて前記計画列の成功確率を算出することと、を含む。
【0009】
また、本発明の一態様に係る情報処理方法は、少なくとも１つのプロセッサが、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得することと、前記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成することと、を含む。
【0010】
また、本発明の一態様に係る情報処理方法は、少なくとも１つのプロセッサが、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得することと、
第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成することと、を含む。
第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成することと、を含む。
【0011】
また、本発明の一態様に係るプログラムは、コンピュータに、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する処理と、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する処理と、前記状態列を用いて前記計画列の成功確率を算出する処理と、を実行させる。
【0012】
また、本発明の一態様に係るプログラムは、コンピュータに、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得する処理と、前記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成する処理と、を実行させる。
【0013】
また、本発明の一態様に係るプログラムは、コンピュータに、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得する処理と、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成する処理と、を実行させる。
【発明の効果】
【0014】
本発明の一態様によれば、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができる。
【図面の簡単な説明】
【0015】
【図1】例示的実施形態１に係る情報処理装置の構成を示すブロック図である。
【図2】例示的実施形態１に係る情報処理方法の流れを示すフロー図である。
【図3】例示的実施形態２に係る情報処理装置が行う計画列の評価処理の概要を説明するための図である。
【図4】例示的実施形態２に係る情報処理装置の構成を示すブロック図である。
【図5】例示的実施形態２に係る情報処理装置が行う処理の流れの一例を示す図である。
【図6】例示的実施形態２に係る情報処理装置が行う処理の流れの一例を示す図である。
【図7】例示的実施形態２に係る情報処理装置が行う処理の流れの一例を示す図である。
【図8】例示的実施形態２に係る未来予測部の構成の一例を示す図である。
【図9】例示的実施形態２に係る成否予測部の構成の一例を示す図である。
【図10】例示的実施形態２に係る成否予測部が行う処理の具体例を示す図である。
【図11】例示的実施形態２に係る成否予測部が行う処理の具体例を示す図である。
【図12】例示的実施形態２に係る成否予測部が行う処理の具体例を示す図である。
【図13】例示的実施形態２に係る成否予測部が行う処理の具体例を示す図である。
【図14】例示的実施形態３に係る情報処理装置の構成を示すブロック図である。
【図15】例示的実施形態３に係る訓練データの具体例を示す図である。
【図16】例示的実施形態３に係る第１学習済モデルの学習方法の一例を示す図である。
【図17】例示的実施形態３に係る第１学習済モデル及び第２学習済モデルの学習方法の一例を示す図である。
【図18】例示的実施形態３に係る第２学習済モデルの学習方法の一例を示す図である。
【図19】各例示的実施形態に係る情報処理装置として機能するコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【0016】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0017】
（情報処理装置の構成）
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、取得部１１（取得手段）、生成部１２（生成手段）、算出部１３（算出手段）を備える。
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、取得部１１（取得手段）、生成部１２（生成手段）、算出部１３（算出手段）を備える。
【0018】
取得部１１は、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する。取得部１１は、入出力装置を介して入力される状態情報と計画列とを取得してもよいし、情報処理装置１のユーザが指定した格納先（情報処理装置１の記憶装置内であってもよいし、情報処理装置１外の記憶装置であってもよい）から状態情報と計画列とを取得してもよい。
【0019】
生成部１２は、上記状態情報と上記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する。算出部１３は、上記状態列を用いて取得部１１が取得した計画列の成功確率を算出する。
【0020】
以上のように、本例示的実施形態に係る情報処理装置１においては、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する取得部１１と、上記状態情報と上記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する生成部１２と、上記状態列を用いて取得部１１が取得した計画列の成功確率を算出する算出部１３とを備える構成が採用されている。算出部１３が算出する成功確率は計画列を評価するための指標であるということもできる。すなわち、本例示的実施形態に係る情報処理装置１によれば、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができるという効果が得られる。
【0021】
（プログラム）
上述の情報処理装置１の機能は、プログラムによって実現することもできる。本例示的実施形態に係るプログラムは、コンピュータに、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する処理と、上記状態情報と上記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する処理と、上記状態列を用いて上記計画列の成功確率を算出する処理と、を実行させるためのプログラムである。このプログラムによれば、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができるという効果が得られる。
上述の情報処理装置１の機能は、プログラムによって実現することもできる。本例示的実施形態に係るプログラムは、コンピュータに、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する処理と、上記状態情報と上記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する処理と、上記状態列を用いて上記計画列の成功確率を算出する処理と、を実行させるためのプログラムである。このプログラムによれば、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができるという効果が得られる。
【0022】
（情報処理方法の流れ）
本例示的実施形態に係る情報処理方法Ｓ１の流れについて、図２を参照して説明する。図２は、情報処理方法Ｓ１の流れを示すフロー図である。なお、情報処理方法Ｓ１における各ステップの実行主体は、情報処理装置１が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよい。
本例示的実施形態に係る情報処理方法Ｓ１の流れについて、図２を参照して説明する。図２は、情報処理方法Ｓ１の流れを示すフロー図である。なお、情報処理方法Ｓ１における各ステップの実行主体は、情報処理装置１が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよい。
【0023】
Ｓ１１では、少なくとも１つのプロセッサが、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する。Ｓ１２では、少なくとも１つのプロセッサが、上記状態情報と上記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する。Ｓ１３では、少なくとも１つのプロセッサが、上記状態列を用いて上記計画列の成功確率を算出する。
【0024】
以上のように、本例示的実施形態に係る情報処理方法Ｓ１は、少なくとも１つのプロセッサが、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得することと、上記状態情報と上記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成することと、上記状態列を用いて上記計画列の成功確率を算出することと、を含む。このため、本例示的実施形態に係る情報処理方法Ｓ１によれば、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができるという効果が得られる。
【0025】
（情報処理装置の構成）
本例示的実施形態に係る情報処理装置２の構成について、図１を参照して説明する。情報処理装置２は、取得部２１（取得手段）及び生成部２２（生成手段）を備える。
本例示的実施形態に係る情報処理装置２の構成について、図１を参照して説明する。情報処理装置２は、取得部２１（取得手段）及び生成部２２（生成手段）を備える。
【0026】
取得部２１は訓練データを取得する。訓練データは、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む。取得部２１は、入出力装置を介して入力される訓練データを取得してもよいし、情報処理装置２のユーザが指定した格納先（情報処理装置２の記憶装置内であってもよいし、情報処理装置２外の記憶装置であってもよい）から訓練データを取得してもよい。
【0027】
生成部２２は、上記訓練データを用いた教師あり学習により学習済モデルを生成する。学習済モデルは、制御対象に対する制御計画の時系列である計画列の成功確率を出力するモデルである。
【0028】
以上のように、本例示的実施形態に係る情報処理装置２においては、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得する取得部２１と、上記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成する生成部２２とを備える構成が採用されている。本例示的実施形態に係る情報処理装置２が生成する学習済モデルを用いることにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができるという効果が得られる。
【0029】
（プログラム）
上述の情報処理装置２の機能は、プログラムによって実現することもできる。本例示的実施形態に係るプログラムは、コンピュータに、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得する処理と、上記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成する処理と、を実行させるためのプログラムである。このプログラムにより生成される学習済モデルを用いることにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができるという効果が得られる。
上述の情報処理装置２の機能は、プログラムによって実現することもできる。本例示的実施形態に係るプログラムは、コンピュータに、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得する処理と、上記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成する処理と、を実行させるためのプログラムである。このプログラムにより生成される学習済モデルを用いることにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができるという効果が得られる。
【0030】
（情報処理方法の流れ）
本例示的実施形態に係る情報処理方法Ｓ２の流れについて、図２を参照して説明する。なお、情報処理方法Ｓ２における各ステップの実行主体は、情報処理装置２が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよい。
本例示的実施形態に係る情報処理方法Ｓ２の流れについて、図２を参照して説明する。なお、情報処理方法Ｓ２における各ステップの実行主体は、情報処理装置２が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよい。
【0031】
Ｓ２１では、少なくとも１つのプロセッサが、訓練データを取得する。訓練データは、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む。
【0032】
Ｓ２２では、少なくとも１つのプロセッサが、上記訓練データを用いた教師あり学習により学習済モデルを生成する。学習済モデルは、制御対象に対する制御計画の時系列である計画列の成功確率を出力するモデルである。
【0033】
以上のように、本例示的実施形態に係る情報処理方法Ｓ２は、少なくとも１つのプロセッサが、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得することと、上記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成することと、を含む。本例示的実施形態に係る情報処理方法Ｓ２により生成された学習済モデルを用いることにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができるという効果が得られる。
【0034】
（情報処理装置の構成）
本例示的実施形態に係る情報処理装置３の構成について、図１を参照して説明する。情報処理装置３は、取得部３１（取得手段）及び生成部３２（生成手段）を備える。
本例示的実施形態に係る情報処理装置３の構成について、図１を参照して説明する。情報処理装置３は、取得部３１（取得手段）及び生成部３２（生成手段）を備える。
【0035】
取得部３１は訓練データを取得する。訓練データは、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む。取得部３１は、入出力装置を介して入力される訓練データを取得してもよいし、情報処理装置３のユーザが指定した格納先（情報処理装置３の記憶装置内であってもよいし、情報処理装置３外の記憶装置であってもよい）から訓練データを取得してもよい。
【0036】
生成部３２は、上記訓練データを用いた教師あり学習により学習済モデルを生成する。学習済モデルは、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とするモデルである。
【0037】
以上のように、本例示的実施形態に係る情報処理装置３においては、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得する取得部３１と、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、上記訓練データを用いた教師あり学習により生成する生成部３２と、を備える構成が採用されている。本例示的実施形態に係る情報処理装置３が生成する学習済モデルを用いることにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができるという効果が得られる。
【0038】
（プログラム）
上述の情報処理装置３の機能は、プログラムによって実現することもできる。本例示的実施形態に係るプログラムは、コンピュータに、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得する処理と、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、上記訓練データを用いた教師あり学習により生成する処理と、を実行させるためのプログラムである。このプログラムにより生成される学習済モデルを用いることにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができるという効果が得られる。
上述の情報処理装置３の機能は、プログラムによって実現することもできる。本例示的実施形態に係るプログラムは、コンピュータに、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得する処理と、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、上記訓練データを用いた教師あり学習により生成する処理と、を実行させるためのプログラムである。このプログラムにより生成される学習済モデルを用いることにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができるという効果が得られる。
【0039】
（情報処理方法の流れ）
本例示的実施形態に係る情報処理方法Ｓ３の流れについて、図２を参照して説明する。なお、情報処理方法Ｓ３における各ステップの実行主体は、情報処理装置３が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよい。
本例示的実施形態に係る情報処理方法Ｓ３の流れについて、図２を参照して説明する。なお、情報処理方法Ｓ３における各ステップの実行主体は、情報処理装置３が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよい。
【0040】
Ｓ３１では、少なくとも１つのプロセッサが訓練データを取得する。訓練データは、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む。
【0041】
Ｓ３２では、少なくとも１つのプロセッサが、上記訓練データを用いた教師あり学習により学習済モデルを生成する。学習済モデルは、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とするモデルである。
【0042】
以上のように、本例示的実施形態に係る情報処理方法Ｓ３は、少なくとも１つのプロセッサが、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得することと、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、上記訓練データを用いた教師あり学習により生成することと、を含む。本例示的実施形態に係る情報処理方法Ｓ３により生成された学習済モデルを用いることにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができるという効果が得られる。
【0043】
〔例示的実施形態２〕
（情報処理装置の概要）
本例示的実施形態に係る情報処理装置１Ａは、制御対象に対する制御計画の時系列である計画列を評価する装置である。ここで、制御対象としては、例えばロボットアームが挙げられるが、これに限定されない。制御計画は、制御対象に対してどのような制御を行うかを示すものであり、例えば、複数の行動クラスを含む行動クラス群から選択された行動クラス、及びロボット関節への入力値、の少なくともいずれかを含む。ここで、行動クラスは、例えば「把持する」、「移動する」、等のロボットアームの行動を示すクラスである。ロボット関節への入力値は、例えば、入力速度、加速度、トルク値などの少なくとも１つ以上を含む。ただし、制御計画は上述した例に限定されない。また、制御計画は、制御対象の環境の状態を示す情報を含んでもよい。ここで、環境の状態は、例えば制御対象がオブジェクトを移動させるロボットアームである場合において、シミュレータで予測した移動後のオブジェクトの位置、姿勢等を含む。ただし、環境の状態は上述した例に限定されない。
（情報処理装置の概要）
本例示的実施形態に係る情報処理装置１Ａは、制御対象に対する制御計画の時系列である計画列を評価する装置である。ここで、制御対象としては、例えばロボットアームが挙げられるが、これに限定されない。制御計画は、制御対象に対してどのような制御を行うかを示すものであり、例えば、複数の行動クラスを含む行動クラス群から選択された行動クラス、及びロボット関節への入力値、の少なくともいずれかを含む。ここで、行動クラスは、例えば「把持する」、「移動する」、等のロボットアームの行動を示すクラスである。ロボット関節への入力値は、例えば、入力速度、加速度、トルク値などの少なくとも１つ以上を含む。ただし、制御計画は上述した例に限定されない。また、制御計画は、制御対象の環境の状態を示す情報を含んでもよい。ここで、環境の状態は、例えば制御対象がオブジェクトを移動させるロボットアームである場合において、シミュレータで予測した移動後のオブジェクトの位置、姿勢等を含む。ただし、環境の状態は上述した例に限定されない。
【0044】
図３は、情報処理装置１Ａが行う計画列の評価処理の概要を説明するための図である。図３において、情報処理装置１Ａは、まず、初期状態の環境を撮影した初期画像等を含む初期状態データＩ０から特徴を抽出して初期状態を表す状態情報ｓ０を生成し、生成した状態情報ｓ０と、制御対象に対する制御計画ａ１とを未来予測器である第１学習済モデルＬＭ１に入力することにより、未来の状態を示す状態情報ｓ１を予測する。また、情報処理装置１Ａは、第１学習済モデルＬＭ１を用いて未来の状態を予測することにより状態情報ｓｔの時系列である状態列（ｓ１，ｓ２，…，ｓＴ）を生成し、生成した状態列（ｓ１，ｓ２，…，ｓＴ）を用いて、制御計画の時系列である計画列（ａ１，ａ２，ａ３，…）の成功確率を予測する。
【0045】
ここで、状態情報ｓｔ（ｔ＝０，１，２，…Ｔ；Ｔは１以上の整数）は、制御対象及び環境の少なくともいずれかの状態を示す情報であり、一例として、画像から得られる特徴量、ロボットアームの関節角度、並びに画像中の物体の位置及び姿勢、の少なくともいずれかを示す情報を含む。画像から得られる特徴量は、一例として、制御対象及び／又は環境を撮影した初期画像をニューラルネットワークなどの学習済モデルに入力して得られる特徴量である。画像中の物体は、一例として、ロボットアームの動作（把持、移動、等）の対象である物体である。ただし、状態情報は上述した例に限定されず、状態情報は他の情報を含んでいてもよい。
【0046】
成功確率は、計画列（ａ１，ａ２，ａ３，…）が成功する確率である。情報処理装置１Ａが算出する成功確率は、例えばロボットアーム等の制御対象を動作させるための計画列作成のために用いられる。例えば、情報処理装置１Ａは、算出した成功確率を用いて計画列（ａ１、ａ２、ａ３、…）の最適化処理を実行することにより、ロボットアームに指示する制御計画を決定する。ただし、情報処理装置１Ａが算出する成功確率の用途は上述した例に限定されない。
【0047】
本例示的実施形態に係る情報処理装置１Ａは、初期の状態のみから計画の成功確率を算出するのではなく、初期の状態から未来の状態を予測し、予測した未来の状態列を用いて計画列を評価する。これにより、本例示的実施形態によれば、長期的な影響を考慮した評価を行うことができる。
【0048】
【0049】
（通信部）
通信部３０Ａは、情報処理装置１Ａの外部の装置と通信回線を介して通信する。通信回線の具体的構成は本例示的実施形態を限定するものではないが、通信回線は一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらの組み合わせである。通信部３０Ａは、制御部１０Ａから供給されたデータを他の装置に送信したり、他の装置から受信したデータを制御部１０Ａに供給したりする。
通信部３０Ａは、情報処理装置１Ａの外部の装置と通信回線を介して通信する。通信回線の具体的構成は本例示的実施形態を限定するものではないが、通信回線は一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらの組み合わせである。通信部３０Ａは、制御部１０Ａから供給されたデータを他の装置に送信したり、他の装置から受信したデータを制御部１０Ａに供給したりする。
【0050】
（入出力部）
入出力部４０Ａには、キーボード、マウス、ディスプレイ、プリンタ、タッチパネル等の入出力機器が接続される。入出力部４０Ａは、接続された入力機器から情報処理装置１Ａに対する各種の情報の入力を受け付ける。また、入出力部４０Ａは、制御部１０Ａの制御の下、接続された出力機器に各種の情報を出力する。入出力部４０Ａとしては、例えばＵＳＢ（Universal Serial Bus）などのインタフェースが挙げられる。
入出力部４０Ａには、キーボード、マウス、ディスプレイ、プリンタ、タッチパネル等の入出力機器が接続される。入出力部４０Ａは、接続された入力機器から情報処理装置１Ａに対する各種の情報の入力を受け付ける。また、入出力部４０Ａは、制御部１０Ａの制御の下、接続された出力機器に各種の情報を出力する。入出力部４０Ａとしては、例えばＵＳＢ（Universal Serial Bus）などのインタフェースが挙げられる。
【0051】
（制御部）
制御部１０Ａは、図４に示すように、状態記述部１１Ａ、未来予測部１２Ａ、成否予測部１３Ａ及び計画作成部１５Ａを備える。
制御部１０Ａは、図４に示すように、状態記述部１１Ａ、未来予測部１２Ａ、成否予測部１３Ａ及び計画作成部１５Ａを備える。
【0052】
状態記述部１１Ａは、制御対象及び環境の初期状態を示す初期状態データＩ０から状態情報を生成し、状態情報ｓ０として記憶部２０Ａに記憶する。初期状態データＩ０は、制御対象及び環境の初期状態を表すデータであり、一例として、制御対象及び環境を撮影した画像、ロボットの姿勢、等を示すデータを含む。また、初期状態データＩ０は例えば、ロボットアームのタスク（把持する、移動させる、等）の対象である物品の位置及び姿勢を示すデータを含んでいてもよい。また、初期状態データＩ０は上述した例に限定されず、初期状態データＩ０は他のデータを含んでいてもよい。
【0053】
状態情報ｓ０は、初期状態データＩ０から生成される情報であり、一例として、（ｉ）初期状態の環境及び制御対象を撮影した画像をニューラルネットワーク等の学習済モデルに入力して得られた特徴量の集合、（ｉｉ）ロボットアームの関節角度の集合、（ｉｉｉ）画像中の物体の位置及び姿勢の集合、を結合したものである。状態情報ｓ０としては例えば状態を表すベクトルを用いることができるが、状態情報はベクトルに限られず、他の情報であってもよい。
【0054】
計画作成部１５Ａは、制御対象に対する制御計画の時系列である計画列を生成し、生成した計画列を計画列ＰＳとして記憶部２０Ａに記憶する。計画列ＰＳは、一例として、時刻ｔ＝１からＴのＴ個の制御計画ａｔ（ｔ＝１，２，…，Ｔ）の列である。
【0055】
未来予測部１２Ａは、状態情報ｓ０と計画列ＰＳに含まれる制御計画とを第１学習済モデルＬＭ１に入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する。未来予測部１２Ａは、本明細書に係る取得手段及び生成手段の一例である。未来予測部１２Ａは、生成した状態列を状態列ＳＳとして記憶部２０Ａの状態記憶部２１Ａに記憶する。
【0056】
成否予測部１３Ａは、状態列ＳＳを用いて計画列ＰＳの成功確率を算出する。成否予測部１３Ａは、本明細書に係る算出手段の一例である。成否予測部１３Ａは一例として、未来予測部１２Ａが生成した状態列と、機械学習により生成された第２学習済モデルＬＭ２とを用いて、計画作成部１５Ａが生成した計画列ＰＳの成功確率を算出する。ただし、成否予測部１３Ａは、第２学習済モデルＬＭ２を用いることなく成功確率を算出する構成であってもよい。例えば、成否予測部１３Ａは、未来予測部１２Ａが生成した状態列ＳＳと、予め用意された成功状態の状態情報群との比較結果に基づき、成功確率を算出してもよい。ここで、成功状態の状態情報は、過去に制御計画が実際に実行されることにより遷移した状態（すなわち遷移後の状態）を示す状態情報の列である。成否予測部１３Ａが行う処理の詳細については後述する。
【0057】
成否予測部１３Ａは、算出した成功確率を入出力部４０Ａを介して接続された出力装置に出力してもよいし、通信部３０Ａを介して上記成功確率を送信してもよい。また、成否予測部１３Ａは、上記成功確率を情報処理装置１Ａのユーザが指定した格納先（情報処理装置１Ａの記憶装置内であってもよいし、情報処理装置１Ａ外の記憶装置であってもよい）に書き込むことにより上記情報を出力してもよい。また、成否予測部１３Ａは、制御対象を制御するための制御情報を生成する制御情報生成部（図示略）に上記成功確率を供給してもよい。
【0058】
（記憶部）
記憶部２０Ａには、初期状態データＩ０及び状態情報ｓ０が記憶される。また、記憶部２０Ａには、計画作成部１５Ａが生成する計画列ＰＳ及び未来予測部１２Ａが生成する状態列ＳＳが記憶される。また、記憶部２０Ａには、第１学習済モデルＬＭ１及び第２学習済モデルＬＭ２が記憶される。ここで、記憶部２０Ａに第１学習済モデルＬＭ１及び第２学習済モデルＬＭ２が記憶されるとは、第１学習済モデルＬＭ１を定めるパラメータ及び第２学習済モデルＬＭ２を定めるパラメータが記憶部２０Ａに記憶されることをいう。
記憶部２０Ａには、初期状態データＩ０及び状態情報ｓ０が記憶される。また、記憶部２０Ａには、計画作成部１５Ａが生成する計画列ＰＳ及び未来予測部１２Ａが生成する状態列ＳＳが記憶される。また、記憶部２０Ａには、第１学習済モデルＬＭ１及び第２学習済モデルＬＭ２が記憶される。ここで、記憶部２０Ａに第１学習済モデルＬＭ１及び第２学習済モデルＬＭ２が記憶されるとは、第１学習済モデルＬＭ１を定めるパラメータ及び第２学習済モデルＬＭ２を定めるパラメータが記憶部２０Ａに記憶されることをいう。
【0059】
（第１学習済モデル）
第１学習済モデルＬＭ１は、未来予測部１２Ａが未来の状態の予測に用いるモデルである。第１学習済モデルＬＭ１は、確定的な手法を用いるものであってもよく、また、確率的な手法を用いたものであってもよい。第１学習済モデルＬＭ１は一例として、リカレントニューラルネットワーク及びグラフニューラルネットワークの少なくともいずれかを含む。リカレントニューラルネットワークとしては例えば、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long short-term memory）、ＧＲＵ（Gated Recurrent Unit）が挙げられるが、これらに限定されない。また、第１学習済モデルＬＭ１は例えば、変分オートエンコーダ（ＶＡＥ）を含んでもよい。
第１学習済モデルＬＭ１は、未来予測部１２Ａが未来の状態の予測に用いるモデルである。第１学習済モデルＬＭ１は、確定的な手法を用いるものであってもよく、また、確率的な手法を用いたものであってもよい。第１学習済モデルＬＭ１は一例として、リカレントニューラルネットワーク及びグラフニューラルネットワークの少なくともいずれかを含む。リカレントニューラルネットワークとしては例えば、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long short-term memory）、ＧＲＵ（Gated Recurrent Unit）が挙げられるが、これらに限定されない。また、第１学習済モデルＬＭ１は例えば、変分オートエンコーダ（ＶＡＥ）を含んでもよい。
【0060】
第１学習済モデルＬＭ１の入力は一例として、時刻ｔの制御計画ａｔと、時刻（ｔ－１）の状態情報ｓｔ－１とを含む。換言すると、第１学習済モデルＬＭ１の入力は、制御対象に対する制御計画ａｔと、制御計画ａｔが実行される前の制御対象及び環境の少なくともいずれかの状態を示す状態情報ｓｔ－１を含む。状態情報ｓｔ－１は、本明細書に係る第３の状態情報の一例である。また、第１学習済モデルＬＭ１の出力は一例として、時刻ｔの状態情報ｓｔを含む。換言すると、第１学習済モデルＬＭ１の出力は、状態情報ｓｔ－１の遷移後の状態を示す状態情報ｓｔを含む。第１学習済モデルＬＭ１の出力である状態情報ｓｔは、上述したように、計画列（ａ１，ａ２，…，ａＴ）の成功確率の算出処理に用いられる。
【0061】
（第２学習済モデル）
第２学習済モデルＬＭ２は、成否予測部１３Ａが計画列ＰＳの成功確率の算出のために用いるモデルであり、訓練データを用いた機械学習により構築された学習済モデルである。第２学習済モデルＬＭ２の機械学習の手法は限定されず、一例として、決定木ベース、線形回帰、又はニューラルネットワークの手法が用いられてもよく、また、これらのうちの２以上の手法が用いられてもよい。第２学習済モデルＬＭ２の入力及び出力については後述する。
第２学習済モデルＬＭ２は、成否予測部１３Ａが計画列ＰＳの成功確率の算出のために用いるモデルであり、訓練データを用いた機械学習により構築された学習済モデルである。第２学習済モデルＬＭ２の機械学習の手法は限定されず、一例として、決定木ベース、線形回帰、又はニューラルネットワークの手法が用いられてもよく、また、これらのうちの２以上の手法が用いられてもよい。第２学習済モデルＬＭ２の入力及び出力については後述する。
【0062】
（情報処理装置が行う処理の流れ）
図５～図７はそれぞれ、情報処理装置１Ａが行う処理の流れの一例を示す図である。なお、図中の一方向性の矢印は、ある信号（データ）の流れの方向を端的に示したものであり、双方向性を排除するものではない。
図５～図７はそれぞれ、情報処理装置１Ａが行う処理の流れの一例を示す図である。なお、図中の一方向性の矢印は、ある信号（データ）の流れの方向を端的に示したものであり、双方向性を排除するものではない。
【0063】
図５において、状態記述部１１Ａは、初期状態データＩ０から特徴を抽出し、状態情報ｓ０を生成する。また、計画作成部１５Ａは、計画列（ａ１，ａ２，…，ａＴ）を生成する。未来予測部１２Ａは、状態記述部１１Ａが生成した状態情報ｓ０と、計画作成部１５Ａが生成した計画列（ａ１，ａ２，…，ａＴ）とを用いて、状態列（ｓ１，ｓ２，…，ｓＴ）を生成する。成否予測部１３Ａは、状態列（ｓ１，ｓ２，…，ｓＴ）を用いて成功確率ｐを算出する。
【0064】
また、図６の例では、未来の状態列（ｓ１，ｓ２，…，ｓＴ）に加えて、計画作成部１５Ａが生成した計画列（ａ１，ａ２，…，ａＴ）が成否予測部１３Ａに入力される。この場合、成否予測部１３Ａは、未来の状態列（ｓ１，ｓ２，…，ｓＴ）と計画列（ａ１，ａ２，…，ａＴ）とを用いて成功確率ｐを算出する。成否予測部１３Ａが行う成功確率ｐの算出処理については後述する。
【0065】
また、図７の例では、成否予測部１３Ａは、時系列である計画列（ａ１，ａ２，…，ａＴ）全体の成功確率ｐではなく、各時刻ｔの成功確率ｐｔを算出し、出力する。このとき、成否予測部１３Ａは、各時刻ｔの成功確率ｐｔに加えて、各時刻ｔにおいて予測される状態情報ｓｔを出力してもよい。
【0066】
（未来予測部の構成例）
図８は、未来予測部１２Ａの構成の一例を示す図である。図８の例で、未来予測部１２Ａは、状態予測部１２１Ａ及び状態記憶部２１Ａを含む。状態予測部１２１Ａは、初期状態を示す状態情報ｓ０と、計画作成部１５Ａから得られる計画列（ａ１，ａ２，…，ａＴ）と、第１学習済モデルＬＭ１を用いて、１ステップずつ未来の状態を予測する。状態記憶部２１Ａは、状態予測部１２１Ａが予測した未来の状態列（ｓ１，ｓ２，…，ｓＴ）を記憶しておき、成否予測部１３Ａへ渡す。
図８は、未来予測部１２Ａの構成の一例を示す図である。図８の例で、未来予測部１２Ａは、状態予測部１２１Ａ及び状態記憶部２１Ａを含む。状態予測部１２１Ａは、初期状態を示す状態情報ｓ０と、計画作成部１５Ａから得られる計画列（ａ１，ａ２，…，ａＴ）と、第１学習済モデルＬＭ１を用いて、１ステップずつ未来の状態を予測する。状態記憶部２１Ａは、状態予測部１２１Ａが予測した未来の状態列（ｓ１，ｓ２，…，ｓＴ）を記憶しておき、成否予測部１３Ａへ渡す。
【0067】
（成否予測部の構成例）
図９は、成否予測部１３Ａの構成の一例を示す図である。図９の例で、成否予測部１３Ａは、特徴抽出部１３１Ａ及び成否判断部１３２Ａを含む。特徴抽出部１３１Ａは、未来予測部１２Ａから得られる未来の状態列（ｓ１，ｓ２，…，ｓＴ）に基づき、特徴量を算出する。特徴抽出部１３１Ａが算出する特徴量としては例えば、状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる複数の状態情報ｓｔの平均、各状態情報ｓｔの成功確率ｐｔ、等が挙げられるが、これらに限定されない。また、図９において、特徴抽出部１３１Ａに計画列（ａ１，ａ２，…，ａＴ）が入力されてもよい。この場合、特徴抽出部１３１Ａは、未来の状態列（ｓ１，ｓ２，…，ｓＴ）と計画列（ａ１，ａ２，…，ａＴ）とに基づき特徴量を算出する。成否判断部１３２Ａは、特徴抽出部１３１Ａが抽出した特徴量に基づき成功確率ｐを算出する。
図９は、成否予測部１３Ａの構成の一例を示す図である。図９の例で、成否予測部１３Ａは、特徴抽出部１３１Ａ及び成否判断部１３２Ａを含む。特徴抽出部１３１Ａは、未来予測部１２Ａから得られる未来の状態列（ｓ１，ｓ２，…，ｓＴ）に基づき、特徴量を算出する。特徴抽出部１３１Ａが算出する特徴量としては例えば、状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる複数の状態情報ｓｔの平均、各状態情報ｓｔの成功確率ｐｔ、等が挙げられるが、これらに限定されない。また、図９において、特徴抽出部１３１Ａに計画列（ａ１，ａ２，…，ａＴ）が入力されてもよい。この場合、特徴抽出部１３１Ａは、未来の状態列（ｓ１，ｓ２，…，ｓＴ）と計画列（ａ１，ａ２，…，ａＴ）とに基づき特徴量を算出する。成否判断部１３２Ａは、特徴抽出部１３１Ａが抽出した特徴量に基づき成功確率ｐを算出する。
【0068】
（成否予測部の具体例１～４）
成否予測部１３Ａの具体例１～４について、図１０～図１３を参照しつつ説明する。図１０～図１３は、成否予測部１３Ａが行う処理の具体例を示す図である。図１０～図１３では、状態情報ｓｔが状態を表すベクトルである場合の例を示している。以下では、説明の便宜上、状態を表すベクトルを「状態ベクトル」ともいう。
成否予測部１３Ａの具体例１～４について、図１０～図１３を参照しつつ説明する。図１０～図１３は、成否予測部１３Ａが行う処理の具体例を示す図である。図１０～図１３では、状態情報ｓｔが状態を表すベクトルである場合の例を示している。以下では、説明の便宜上、状態を表すベクトルを「状態ベクトル」ともいう。
【0069】
（成否予測部の具体例１）
図１０の例において、特徴抽出部１３１Ａは、未来の状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる最後尾の状態情報ｓＴを第２学習済モデルＬＭ２に入力することにより成功確率ｐＴを算出する。この場合、第２学習済モデルＬＭ２は一例として、状態情報と状態情報が目標状態に到達した否か（制御対象が実行したタスクが成功したか否か、等）を示すラベルとのセットを複数含む訓練データを用いた機械学習により構築された学習済モデルである。この場合、第２学習済モデルＬＭ２の入力は、状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる最後尾の状態情報ｓＴを含む。ここで、第２学習済モデルＬＭ２の入力は、計画列（ａ１，ａ２，…，ａＴ）を含んでもよい。また、第２学習済モデルＬＭ２の出力は、成功確率ｐＴを含む。第２学習済モデルＬＭ２としては、例えば全結合層を多段に積み重ねたニューラルネットワークを用いることができる。
図１０の例において、特徴抽出部１３１Ａは、未来の状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる最後尾の状態情報ｓＴを第２学習済モデルＬＭ２に入力することにより成功確率ｐＴを算出する。この場合、第２学習済モデルＬＭ２は一例として、状態情報と状態情報が目標状態に到達した否か（制御対象が実行したタスクが成功したか否か、等）を示すラベルとのセットを複数含む訓練データを用いた機械学習により構築された学習済モデルである。この場合、第２学習済モデルＬＭ２の入力は、状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる最後尾の状態情報ｓＴを含む。ここで、第２学習済モデルＬＭ２の入力は、計画列（ａ１，ａ２，…，ａＴ）を含んでもよい。また、第２学習済モデルＬＭ２の出力は、成功確率ｐＴを含む。第２学習済モデルＬＭ２としては、例えば全結合層を多段に積み重ねたニューラルネットワークを用いることができる。
【0070】
図１０の例では、成否判断部１３２Ａは、特徴抽出部１３１Ａから受け取った成功確率ｐＴをそのまま成功確率ｐとして出力する。
【0071】
（成否予測部の具体例２）
次に、図１１の例において、特徴抽出部１３１Ａは、状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる状態情報ｓｔのそれぞれを第２学習済モデルＬＭ２に入力することにより、状態情報ｓｔのそれぞれの成功確率ｐｔを算出し、算出した状態情報ｓｔ毎の成功確率ｐｔの統計結果に基づき、計画列（ａ１，ａ２，…，ａＴ）の成功確率ｐを算出する。
次に、図１１の例において、特徴抽出部１３１Ａは、状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる状態情報ｓｔのそれぞれを第２学習済モデルＬＭ２に入力することにより、状態情報ｓｔのそれぞれの成功確率ｐｔを算出し、算出した状態情報ｓｔ毎の成功確率ｐｔの統計結果に基づき、計画列（ａ１，ａ２，…，ａＴ）の成功確率ｐを算出する。
【0072】
この例で、第２学習済モデルＬＭ２は一例として、状態情報と当該状態情報が目標状態に到達しているか否かを示すラベルとを含む訓練データを用いた機械学習により構築された学習済モデルである。この場合、第２学習済モデルＬＭ２の入力は、状態列（ｓ１，ｓ２，…，ｓＴ）を含み、第２学習済モデルＬＭ２の出力は、成功確率ｐ１，ｐ２，…，ｐＴを含む。また、第２学習済モデルＬＭ２の入力は、計画列（ａ１，ａ２，…，ａＴ）を含んでもよい。
【0073】
成否判断部１３２Ａは一例として、特徴抽出部１３１Ａから受け取った成功確率ｐ１，ｐ２，…，ｐＴの積を算出し、最終的な成功確率ｐとする。ただし、成否判断部１３２Ａが成功確率ｐ１，ｐ２，…，ｐＴから成功確率ｐを算出する手法は上述した例に限定されない。成否判断部１３２Ａは例えば、成功確率ｐ１，ｐ２，…，ｐＴの和に基づき成功確率ｐを算出してもよく、また、成功確率ｐ１，ｐ２，…，ｐＴのそれぞれに重み値αｔを乗算した値の総和に基づき、成功確率ｐを算出してもよい。
【0074】
（成否予測部の具体例３）
図１２の例では、特徴抽出部１３１Ａが状態列（ｓ１，ｓ２，…，ｓＴ）に含まれるＴ個の状態ベクトルの平均ベクトルを算出し、成否判断部１３２Ａが、特徴抽出部１３１Ａが算出した平均ベクトルを第２学習済モデルＬＭ２に入力することにより成功確率ｐを算出する。この例で、第２学習済モデルＬＭ２は一例として、状態列に含まれる状態ベクトルの平均である平均ベクトルと、状態が目標状態に到達しているか否かを示すラベルと、を含む訓練データを用いた機械学習により構築された学習済モデルである。この場合、第２学習済モデルＬＭ２の入力は平均ベクトルを含み、第２学習済モデルＬＭ２の出力は成功確率ｐを含む。また、第２学習済モデルＬＭ２の入力は、計画列（ａ１，ａ２，…，ａＴ）を含んでもよい。第２学習済モデルＬＭ２としては、例えば多層パーセプトロン（Multilayer perceptron；ＭＬＰ）などのニューラルネットワークを用いることができる。
図１２の例では、特徴抽出部１３１Ａが状態列（ｓ１，ｓ２，…，ｓＴ）に含まれるＴ個の状態ベクトルの平均ベクトルを算出し、成否判断部１３２Ａが、特徴抽出部１３１Ａが算出した平均ベクトルを第２学習済モデルＬＭ２に入力することにより成功確率ｐを算出する。この例で、第２学習済モデルＬＭ２は一例として、状態列に含まれる状態ベクトルの平均である平均ベクトルと、状態が目標状態に到達しているか否かを示すラベルと、を含む訓練データを用いた機械学習により構築された学習済モデルである。この場合、第２学習済モデルＬＭ２の入力は平均ベクトルを含み、第２学習済モデルＬＭ２の出力は成功確率ｐを含む。また、第２学習済モデルＬＭ２の入力は、計画列（ａ１，ａ２，…，ａＴ）を含んでもよい。第２学習済モデルＬＭ２としては、例えば多層パーセプトロン（Multilayer perceptron；ＭＬＰ）などのニューラルネットワークを用いることができる。
【0075】
（成否予測部の具体例４）
図１３の例では、成否予測部１３Ａは、未来予測部１２Ａが生成した状態列（ｓ１，ｓ２，…，ｓＴ）と、予め用意された成功データに含まれる状態情報群との差分に基づき、成功確率ｐを算出する。ここで、成功データとは、制御計画が実行されることにより実際に遷移した状態を示すデータである。
図１３の例では、成否予測部１３Ａは、未来予測部１２Ａが生成した状態列（ｓ１，ｓ２，…，ｓＴ）と、予め用意された成功データに含まれる状態情報群との差分に基づき、成功確率ｐを算出する。ここで、成功データとは、制御計画が実行されることにより実際に遷移した状態を示すデータである。
【0076】
特徴抽出部１３１Ａは一例として、保存しておいた成功データの状態ベクトル群｛ｘ１，ｘ２，…ｘＮ｝と状態ベクトルｓｔとの最小距離を、状態ベクトルｓｔの特徴量ｄｔとして算出する。すなわち、特徴抽出部１３１Ａは、特徴量ｄｔを以下の式で算出する。ここで、ｉ＝１，２，…，Ｎであり、Ｎは成功データの状態ベクトルの総数である。
【数1】
【0077】
また、成否判断部１３２Ａは、特徴抽出部１３１Ａが算出した特徴量ｄ１，ｄ２，…，ｄＴを用いて成功確率ｐを算出する。成否判断部１３２Ａは一例として、以下の式を用いて、特徴量ｄ１，ｄ２，…，ｄＴの最大値を成功確率ｐとして算出する。
【数2】
【0078】
（情報処理装置の効果）
以上説明したように本例示的実施形態に係る情報処理装置１Ａは、成否予測部１３Ａは、状態列（ｓ１，ｓ２，…，ｓＴ）と第２学習済モデルＬＭ２とを用いて、計画列（ａ１，ａ２，…，ａＴ）の成功確率ｐを算出する。このように１時刻分の状態情報ｓ０だけでなく未来の状態を予測した結果を利用して確率ｐを算出することにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列（ａ１，ａ２，…，ａＴ）の評価を行うことができる。
以上説明したように本例示的実施形態に係る情報処理装置１Ａは、成否予測部１３Ａは、状態列（ｓ１，ｓ２，…，ｓＴ）と第２学習済モデルＬＭ２とを用いて、計画列（ａ１，ａ２，…，ａＴ）の成功確率ｐを算出する。このように１時刻分の状態情報ｓ０だけでなく未来の状態を予測した結果を利用して確率ｐを算出することにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列（ａ１，ａ２，…，ａＴ）の評価を行うことができる。
【0079】
また、本例示的実施形態に係る成否予測部１３Ａは、状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる最後尾の状態情報ｓＴを第２学習済モデルＬＭ２に入力することにより、成功確率ｐを算出する。このため、本例示的実施形態に係る情報処理装置１Ａによれば、初期の状態情報ｓ０だけを用いた評価では得られない長期的な影響を考慮した評価を行うことができる。
【0080】
また、本例示的実施形態に係る成否予測部１３Ａは、状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる状態情報ｓｔを、第２学習済モデルＬＭ２に入力することにより状態情報ｓｔのそれぞれの成功確率ｐｔを算出し、出した成功確率ｐｔの統計結果に基づき、計画列（ａ１，ａ２，…，ａＴ）の成功確率ｐを算出する。このため、本例示的実施形態に係る情報処理装置１Ａによれば、状態情報ｓ１～ｓＴに含まれる途中の状態の影響も加味した評価を行うことができる。
【0081】
また、本例示的実施形態に係る成否予測部１３Ａは、状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる状態ベクトルｓｔの平均ベクトルを算出し、算出した平均ベクトルを第２学習済モデルＬＭ２に入力することにより成功確率ｐを算出する。このため、本例示的実施形態に係る情報処理装置１Ａによれば、状態ベクトルｓ１～ｓＴの示す状態の影響を加味した評価を行うことができる。
【0082】
また、本例示的実施形態に係る情報処理装置１Ａにおいて、状態情報ｓｔは、画像から得られる特徴量、ロボットアームの関節角度、並びに画像中の物体の位置及び姿勢、の少なくともいずれかを示す情報を含む。このため、本例示的実施形態に係る情報処理装置１Ａによれば、画像から得られる特徴量、ロボットアームの関節角度、並びに画像中の物体の位置及び姿勢等の長期的な影響を考慮した評価を行うことができる。
【0083】
また、本例示的実施形態に係る情報処理装置１Ａにおいて、制御計画ａｔは、複数の行動クラスを含む行動クラス群から選択された行動クラス、及びロボット関節への入力値、の少なくともいずれかを含む。このため、本例示的実施形態に係る情報処理装置１Ａによれば、長期的な影響を考慮して行動クラス、ロボット関節への入力値等の評価を行うことができる。
【0084】
また、本例示的実施形態に係る情報処理装置１Ａにおいて、制御計画ａｔは、環境の状態を示す情報を含む。このため、本例示的実施形態に係る情報処理装置１Ａによれば、環境の状態を含む制御計画ａｔを用いて成功確率ｐを算出することにより、計画列の評価をより精度よく行うことができる。
【0085】
〔例示的実施形態３〕
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0086】
図１４は、例示的実施形態３に係る情報処理装置１Ｂの構成を示すブロック図である。情報処理装置１Ｂは、制御部１０Ｂ、記憶部２０Ａ、通信部３０Ａ及び入出力部４０Ａを備える。制御部１０Ｂは、推定フェーズ実行部１１０Ｂ及び学習フェーズ実行部１２０Ｂを備える。推定フェーズ実行部１１０Ｂは、状態記述部１１Ａ、未来予測部１２Ａ、成否予測部１３Ａ及び計画作成部１５Ａを備える。
【0087】
学習フェーズ実行部１２０Ｂは、第１取得部１６Ｂ、第１生成部１７Ｂ、第２取得部１８Ｂ及び第２生成部１９Ｂを備える。第１取得部１６Ｂ及び第２取得部１８Ｂは、本明細書に係る取得手段の一例である。第１生成部１７Ｂ及び第２生成部１９Ｂは、本明細書に係る生成手段の一例である。学習フェーズ実行部１２０Ｂは、データセットを用いた機械学習により第１学習済モデルＬＭ１及び第２学習済モデルＬＭ２を生成する。
【0088】
図１５は、第１学習済モデルＬＭ１、第２学習済モデルＬＭ２、及び／又は第３学習済モデルＬＭ３（図１６参照）の学習に用いられるデータセットの具体例を示す図である。ここで、第３学習済モデルＬＭ３は、状態記述部１１Ａが状態情報の生成に用いる第３学習済モデルであり、例えばニューラルネットワークである。図１５の例で、データセットは、（ｉ）制御対象に対する制御計画ｂｔの時系列である計画列（ｂ１，ｂ２，ｂ３，…）と、計画列（ｂ１，ｂ２，ｂ３，…）に含まれる各制御計画ｂｔの実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態データの列（Ｊ０，Ｊ１，Ｊ２，…）とのペアと、（ｉｉ）計画列（ｂ１，ｂ２，ｂ３，…）に含まれる各制御計画ｂｔの実行により当該制御対象が実行したタスクが成功したか否かを示す２値のラベルと、のセットを複数含む。
【0089】
第１取得部１６Ｂは、データセットを取得し、取得したデータセットから訓練データを生成する。第１取得部１６Ｂは、入出力部４０Ａを介して入力されるデータセットを取得してもよいし、情報処理装置１Ｂのユーザが指定した格納先（情報処理装置１Ｂの記憶部２０Ａ内であってもよいし、情報処理装置１Ｂ外の記憶装置であってもよい）からデータセットを取得してもよい。訓練データは、計画列（ｂ１，ｂ２，ｂ３，…）と、状態データＪ０，Ｊ１，Ｊ２，…のそれぞれから生成された状態情報ｑ１，ｑ２，ｑ３，…とを含む。第１生成部１７Ｂは、訓練データを用いた機械学習により第１学習済モデルＬＭ１を生成する。
【0090】
図１６は、第１学習済モデルＬＭ１の学習方法の一例を示す図である。図１６の例において、第１生成部１７Ｂは、制御計画ｂ１，ｂ２，ｂ３，…を実際に実行することにより遷移した状態を示す状態情報ｑ１，…，ｑＴと、第１学習済モデルＬＭ１が予測する状態情報ｓ＾１，…，ｓ＾Ｔとの差分が小さくなるように、第１学習済モデルＬＭ１（又は、第１学習済モデルＬＭ１及び第３学習済モデルＬＭ３）を学習させる。より具体的には、第１生成部１７Ｂは例えば、実際の状態を示す状態情報ｑｔと予測した状態を示す状態情報ｓ＾ｔとの平均二乗誤差を用いて第１学習済モデルＬＭ１等を規定するパラメータを更新する。
【0091】
換言すると、この例において、第１学習済モデルＬＭ１の学習に用いる訓練データは、（ｉ）制御対象及び環境の少なくともいずれかの状態を示す状態情報ｑ０、及び当該制御対象に対する制御計画ｂｔの時系列である計画列（ｂ１，ｂ２，ｂ３，…）と、（ｉｉ）当該計画列（ｂ１，ｂ２，ｂ３，…）に含まれる各制御計画ｂｔの実行により得られた状態情報ｑ１，ｑ２，ｑ３，…と、を含む。状態情報ｑ０は本明細書に係る第１の状態情報の一例であり、状態情報ｑ１，ｑ２，ｑ３，…は、本明細書に係る第２の状態情報の一例である。
【0092】
第２取得部１８Ｂは、第２学習済モデルＬＭ２の学習に用いる訓練データを生成する。訓練データは、計画列（ｂ１，ｂ２，ｂ３，…）と、状態データＪ０，Ｊ１，Ｊ２，…のそれぞれから生成された状態情報ｑ１，ｑ２，ｑ３，…とを含む。第２生成部１９Ｂは、訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する第２学習済モデルＬＭ２を生成する。
【0093】
図１７は、第２学習済モデルＬＭ２の学習方法の一例を示す図である。図１７の例において、第２学習済モデルＬＭ２は、状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる状態情報ｓｔを入力とし、成功確率ｐを出力とする学習済モデルである。また、第２学習済モデルＬＭ２の入力には計画列（ａ１，ａ２，…，ａＴ）が含まれてもよい。この例で、第２生成部１９Ｂは、第２学習済モデルＬＭ２が出力する成功確率ｐが訓練データに含まれる教師ラベルに整合するように第２学習済モデルＬＭ２を学習させる。換言すると、第２生成部１９Ｂは、第２学習済モデルＬＭ２が出力する成功確率が訓練データに含まれるラベルと整合するように第２学習済モデルＬＭ２を学習させる。このとき、第２生成部１９Ｂは、第２学習済モデルＬＭ２だけでなく、状態記述部１１Ａが状態情報の生成に用いる第３学習済モデルＬＭ３及び／又は第１学習済モデルＬＭ１もあわせて学習させてもよい。例えば、第２生成部１９Ｂはクロスエントロピー誤差を用いて第２学習済モデルＬＭ２等を学習させる。
【0094】
図１８は、第２学習済モデルＬＭ２の学習方法の一例を示す図である。図１８の例において、第２学習済モデルＬＭ２は、状態列（ｓ＾１，ｓ＾２，…，ｓ＾Ｔ）に含まれる状態情報ｓ＾ｔを入力とし、成功確率ｐを出力とする学習済モデルである。また、第２学習済モデルＬＭ２の入力には計画列（ａ１，ａ２，…，ａＴ）が含まれてもよい。この例で、第２生成部１９Ｂは、第１学習済モデルＬＭ１が出力する状態情報ｓ＾ｔと訓練データに含まれる状態情報ｑｔとの差分を小さくしつつ、第２学習済モデルＬＭ２が出力する成功確率が訓練データに含まれるラベルと整合するように、第１学習済モデルＬＭ１及び第２学習済モデルＬＭ２を学習させる。このとき、第２生成部１９Ｂは、第１学習済モデルＬＭ１及び第２学習済モデルＬＭ２に加えて、第３学習済モデルＬＭ３もあわせて学習させてもよい。例えば第２生成部１９Ｂは、状態情報ｓ＾ｔと実際の状態を示す状態情報ｑｔとの差分を小さくするためにｑｔとｓ＾ｔとを用いて平均自乗誤差を計算し、第２学習済モデルＬＭ２が出力する成功確率が訓練データに含まれるラベルと整合させるために出力した成功確率とラベルとを用いてクロスエントロピー誤差を計算し、第２学習済モデルＬＭ２等の学習を行う。
【0095】
（情報処理装置の効果）
以上のように、本例示的実施形態に係る情報処理装置１Ｂにおいては、第２学習済モデルＬＭ２は、状態列に含まれる状態情報を入力とし、成功確率ｐを出力とする学習済モデルであり、第２生成部１９Ｂは、第２学習済モデルＬＭ２が出力する成功確率ｐが訓練データに含まれるラベルと整合するように、第２学習済モデルＬＭ２を学習させる構成が採用されている。本例示的実施形態に係る情報処理装置１Ｂが生成した第２学習済モデルＬＭ２を用いて計画列（ａ１，ａ２，ａ３，…，ａＴ）の成功確率ｐを算出することにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができる。
以上のように、本例示的実施形態に係る情報処理装置１Ｂにおいては、第２学習済モデルＬＭ２は、状態列に含まれる状態情報を入力とし、成功確率ｐを出力とする学習済モデルであり、第２生成部１９Ｂは、第２学習済モデルＬＭ２が出力する成功確率ｐが訓練データに含まれるラベルと整合するように、第２学習済モデルＬＭ２を学習させる構成が採用されている。本例示的実施形態に係る情報処理装置１Ｂが生成した第２学習済モデルＬＭ２を用いて計画列（ａ１，ａ２，ａ３，…，ａＴ）の成功確率ｐを算出することにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができる。
【0096】
また、本例示的実施形態に係る情報処理装置１Ｂにおいては、第２学習済モデルＬＭ２は、状態列（ｓ１，ｓ２，…，ｓＴ）に含まれる状態情報を入力とし、成功確率ｐを出力とする学習済モデルであり、第２生成部１９Ｂは、第１学習済モデルＬＭ１が出力する状態情報と訓練データに含まれる状態情報との差分を小さくしつつ、第２学習済モデルＬＭ２が出力する成功確率が訓練データに含まれるラベルと整合するように、第１学習済モデルＬＭ１及び第２学習済モデルＬＭ２を学習させる構成が採用されている。本例示的実施形態に係る情報処理装置１Ｂが生成した第１学習済モデルＬＭ１及び第２学習済モデルＬＭ２を用いて計画列（ａ１，ａ２，…，ａＴ）の成功確率ｐを算出することにより、制御対象に対する制御計画の評価として、長期的な影響を考慮した計画列の評価を行うことができる。
【0097】
〔ソフトウェアによる実現例〕
情報処理装置１、１Ａ、１Ｂ、２、３の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１、１Ａ、１Ｂ、２、３の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0098】
後者の場合、情報処理装置１、１Ａ、１Ｂ、２、３は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１９に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１、１Ａ、１Ｂ、２、３として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１、１Ａ、１Ｂ、２、３の各機能が実現される。
【0099】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0100】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0101】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0102】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0103】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
（付記１）
制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する取得手段と、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する生成手段と、前記状態列を用いて前記取得手段が取得した計画列の成功確率を算出する算出手段と、を備える情報処理装置。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
（付記１）
制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する取得手段と、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する生成手段と、前記状態列を用いて前記取得手段が取得した計画列の成功確率を算出する算出手段と、を備える情報処理装置。
【0104】
（付記２）
前記算出手段は、前記状態列と機械学習により生成された第２の学習済モデルとを用いて、前記取得手段が取得した計画列の成功確率を算出する、付記１に記載の情報処理装置。
前記算出手段は、前記状態列と機械学習により生成された第２の学習済モデルとを用いて、前記取得手段が取得した計画列の成功確率を算出する、付記１に記載の情報処理装置。
【0105】
（付記３）
前記算出手段は、前記状態列に含まれる最後尾の状態情報を前記第２の学習済モデルに入力することにより前記成功確率を算出する、付記２に記載の情報処理装置。
前記算出手段は、前記状態列に含まれる最後尾の状態情報を前記第２の学習済モデルに入力することにより前記成功確率を算出する、付記２に記載の情報処理装置。
【0106】
（付記４）
前記算出手段は、前記状態列に含まれる状態情報を、前記第２の学習済モデルに入力することにより前記状態情報のそれぞれの成功確率を算出し、算出した前記状態情報毎の成功確率の統計結果に基づき、前記計画列の成功確率を算出する、付記２に記載の情報処理装置。
前記算出手段は、前記状態列に含まれる状態情報を、前記第２の学習済モデルに入力することにより前記状態情報のそれぞれの成功確率を算出し、算出した前記状態情報毎の成功確率の統計結果に基づき、前記計画列の成功確率を算出する、付記２に記載の情報処理装置。
【0107】
（付記５）
前記算出手段は、前記状態列に含まれる状態情報である状態ベクトルの平均ベクトルを算出し、算出した平均ベクトルを第２の学習済モデルに入力することにより前記成功確率を算出する、付記２に記載の情報処理装置。
前記算出手段は、前記状態列に含まれる状態情報である状態ベクトルの平均ベクトルを算出し、算出した平均ベクトルを第２の学習済モデルに入力することにより前記成功確率を算出する、付記２に記載の情報処理装置。
【0108】
（付記６）
前記状態情報は、画像から得られる特徴量、ロボットアームの関節角度、並びに、画像中の物体の位置及び姿勢、の少なくともいずれかを示す情報を含む、付記１～５のいずれか一項に記載の情報処理装置。
前記状態情報は、画像から得られる特徴量、ロボットアームの関節角度、並びに、画像中の物体の位置及び姿勢、の少なくともいずれかを示す情報を含む、付記１～５のいずれか一項に記載の情報処理装置。
【0109】
（付記７）
前記制御計画は、複数の行動クラスを含む行動クラス群から選択された行動クラス、及びロボット関節への入力値、の少なくともいずれかを含む、付記１～６のいずれか一項に記載の情報処理装置。
前記制御計画は、複数の行動クラスを含む行動クラス群から選択された行動クラス、及びロボット関節への入力値、の少なくともいずれかを含む、付記１～６のいずれか一項に記載の情報処理装置。
【0110】
（付記８）
前記制御計画は、前記環境の状態を示す情報を含む、付記１～７のいずれか一項に記載の情報処理装置。
前記制御計画は、前記環境の状態を示す情報を含む、付記１～７のいずれか一項に記載の情報処理装置。
【0111】
（付記９）
（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得する取得手段と、前記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成する生成手段と、を備える情報処理装置。
（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得する取得手段と、前記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成する生成手段と、を備える情報処理装置。
【0112】
（付記１０）
（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得する取得手段と、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成する生成手段と、を備える情報処理装置。
（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得する取得手段と、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成する生成手段と、を備える情報処理装置。
【0113】
（付記１１）
前記学習済モデルは、前記状態列に含まれる状態情報を入力とし、前記成功確率を出力とする学習済モデルであり、前記生成手段は、前記学習済モデルが出力する成功確率が前記訓練データに含まれるラベルと整合するように前記学習済モデルを学習させる、付記９に記載の情報処理装置。
前記学習済モデルは、前記状態列に含まれる状態情報を入力とし、前記成功確率を出力とする学習済モデルであり、前記生成手段は、前記学習済モデルが出力する成功確率が前記訓練データに含まれるラベルと整合するように前記学習済モデルを学習させる、付記９に記載の情報処理装置。
【0114】
（付記１２）
前記学習済モデルは、前記状態列に含まれる状態情報を入力とし、前記成功確率を出力とする第２学習済モデルであり、前記生成手段は、状態情報を入力とし当該状態情報の遷移後の状態を示す状態情報を出力する第１学習済モデルが出力する状態情報と前記訓練データに含まれる状態情報との差分を小さくしつつ、前記第２学習済モデルが出力する成功確率が前記訓練データに含まれるラベルと整合するように、前記第１学習済モデル及び前記第２学習済モデルを学習させる、付記１１に記載の情報処理装置。
前記学習済モデルは、前記状態列に含まれる状態情報を入力とし、前記成功確率を出力とする第２学習済モデルであり、前記生成手段は、状態情報を入力とし当該状態情報の遷移後の状態を示す状態情報を出力する第１学習済モデルが出力する状態情報と前記訓練データに含まれる状態情報との差分を小さくしつつ、前記第２学習済モデルが出力する成功確率が前記訓練データに含まれるラベルと整合するように、前記第１学習済モデル及び前記第２学習済モデルを学習させる、付記１１に記載の情報処理装置。
【0115】
（付記１３）
少なくとも１つのプロセッサが、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得することと、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成することと、前記状態列を用いて前記計画列の成功確率を算出することと、を含む情報処理方法。
少なくとも１つのプロセッサが、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得することと、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成することと、前記状態列を用いて前記計画列の成功確率を算出することと、を含む情報処理方法。
【0116】
（付記１４）
少なくとも１つのプロセッサが、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得することと、前記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成することと、を含む情報処理方法。
少なくとも１つのプロセッサが、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得することと、前記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成することと、を含む情報処理方法。
【0117】
（付記１５）
少なくとも１つのプロセッサが、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得することと、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成することと、を含む情報処理方法。
少なくとも１つのプロセッサが、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得することと、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成することと、を含む情報処理方法。
【0118】
（付記１６）
コンピュータに、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する処理と、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する処理と、前記状態列を用いて前記計画列の成功確率を算出する処理と、を実行させるためのプログラム。
コンピュータに、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する処理と、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する処理と、前記状態列を用いて前記計画列の成功確率を算出する処理と、を実行させるためのプログラム。
【0119】
（付記１７）
コンピュータに、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得する処理と、前記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成する処理と、を実行させるためのプログラム。
コンピュータに、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得する処理と、前記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成する処理と、を実行させるためのプログラム。
【0120】
（付記１８）
コンピュータに、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得する処理と、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成する処理と、を実行させるためのプログラム。
コンピュータに、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得する処理と、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成する処理と、を実行させるためのプログラム。
【0121】
（付記１９）
少なくとも１つのプロセッサを備え、前記プロセッサは、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する取得処理と、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する生成処理と、前記状態列を用いて前記取得手段が取得した計画列の成功確率を算出する算出処理とを実行する情報処理装置。
少なくとも１つのプロセッサを備え、前記プロセッサは、制御対象及び環境の少なくともいずれかの状態を示す状態情報と、当該制御対象に対する制御計画の時系列である計画列とを取得する取得処理と、前記状態情報と前記計画列とを学習済モデルに入力して得られる出力を用いて、予測される未来の状態を示す状態情報の時系列である状態列を生成する生成処理と、前記状態列を用いて前記取得手段が取得した計画列の成功確率を算出する算出処理とを実行する情報処理装置。
【0122】
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記生成処理と、前記算出処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【0123】
（付記２０）
少なくとも１つのプロセッサを備え、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得する取得処理と、前記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成する生成処理とを実行する情報処理装置。
少なくとも１つのプロセッサを備え、（ｉ）制御対象に対する制御計画の時系列である計画列、並びに、当該計画列に含まれる各制御計画の実行により得られた、当該制御対象及び環境の少なくともいずれかの状態を示す状態情報の列である状態列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により当該制御対象によるタスクが成功したか否かを示すラベルと、の組を含む訓練データを取得する取得処理と、前記訓練データを用いた教師あり学習により、制御対象に対する制御計画の時系列である計画列の成功確率を出力する学習済モデルを生成する生成処理とを実行する情報処理装置。
【0124】
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記生成処理と、前記算出処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【0125】
（付記２１）
少なくとも１つのプロセッサを備え、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得する取得処理と、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成する生成処理とを実行する情報処理装置。
少なくとも１つのプロセッサを備え、（ｉ）第１の制御対象及び環境の少なくともいずれかの状態を示す第１の状態情報、及び当該第１の制御対象に対する制御計画の時系列である計画列と、（ｉｉ）当該計画列に含まれる各制御計画の実行により得られた第２の状態情報と、を含む訓練データを取得する取得処理と、第２の制御対象に対する制御計画と、当該制御計画が実行される前の当該第２の制御対象及び環境の少なくともいずれかの状態を示す第３の状態情報とを入力とし、当該第３の状態情報の遷移後の状態を示す第４の状態情報であって当該制御計画の時系列である計画列の成功確率の算出処理に用いられる第４の状態情報を出力とする学習済モデルを、前記訓練データを用いた教師あり学習により生成する生成処理とを実行する情報処理装置。
【0126】
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記生成処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0127】
１、１Ａ、１Ｂ、２、３ 情報処理装置
１１、２１、３１ 取得部
１１Ａ 状態記述部
１２、２２、３２ 生成部
１２Ａ 未来予測部
１３ 算出部
１３Ａ 成否予測部
１５Ａ 計画作成部
１６Ｂ 第１取得部
１７Ｂ 第１生成部
１８Ｂ 第２取得部
１９Ｂ 第２生成部
Ｓ１、Ｓ２、Ｓ３ 情報処理方法
１１、２１、３１ 取得部
１１Ａ 状態記述部
１２、２２、３２ 生成部
１２Ａ 未来予測部
１３ 算出部
１３Ａ 成否予測部
１５Ａ 計画作成部
１６Ｂ 第１取得部
１７Ｂ 第１生成部
１８Ｂ 第２取得部
１９Ｂ 第２生成部
Ｓ１、Ｓ２、Ｓ３ 情報処理方法
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】