▶ 日立造船株式会社の特許一覧 ▶ 国立大学法人 奈良先端科学技術大学院大学の特許一覧
特開2023-125953情報処理装置、クレーン制御システム、学習方法、および学習プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023125953
(43)【公開日】2023-09-07
(54)【発明の名称】情報処理装置、クレーン制御システム、学習方法、および学習プログラム
(51)【国際特許分類】
B66C 13/48 20060101AFI20230831BHJP
B65F 9/00 20060101ALI20230831BHJP
【ＦＩ】
B66C13/48 Z
B65F9/00
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022030347
(22)【出願日】2022-02-28
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ・ウェブサイトのアドレス ｈｔｔｐｓ：／／ｒｏｂｏｍｅｃｈ．ｏｒｇ／２０２１／ｏｎｌｉｎｅ ｈｔｔｐｓ：／／ｒｏｂｏｍｅｃｈ．ｏｒｇ／２０２１／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０２１／０６／公開用ＰＧ２０２１－０６０４．ｐｄｆ 掲載日 令和３年６月６日 ・研究集会名 ロボティクス・メカトロニクス講演会２０２１ 開催場所（ウェブサイト） ｈｔｔｐｓ：／／ｒｏｂｏｍｅｃｈ．ｏｒｇ／２０２１／ｏｎｌｉｎｅ 開催日 令和３年６月７日 ・ウェブサイトのアドレス ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１２９９／ｊｓｍｅｒｍｄ．２０２１．１Ｐ１－Ｉ１７ 掲載日 令和３年１２月２５日
(71)【出願人】
【識別番号】000005119
【氏名又は名称】日立造船株式会社
(71)【出願人】
【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】川端 馨
(72)【発明者】
【氏名】平林 照司
(72)【発明者】
【氏名】伊瀬 顕史
(72)【発明者】
【氏名】松原 崇充
(72)【発明者】
【氏名】佐々木 光
【テーマコード（参考）】
3E025
3F204
【Ｆターム（参考）】
3E025DC06
3E025DE03
3E025EA03
3E025EA06
3F204AA02
3F204BA05
3F204BA09
3F204DA04
3F204DD01
3F204DD12
3F204DD19
(57)【要約】
【課題】廃棄物処理施設におけるクレーンの制御において、不安定な環境下であっても妥当な制御内容を決定することを可能にする。
【解決手段】情報処理装置（１）は、廃棄物を運搬するクレーンを備えた廃棄物処理施設にて観測された観測データを用いて、クレーンに実行させる行動を決定するための行動方策（１１１）と、当該行動の実行長を決定するための実行長方策（１１２）とを含む方策モデルを生成する学習部（１０５）を備える。
【選択図】図１
【解決手段】情報処理装置（１）は、廃棄物を運搬するクレーンを備えた廃棄物処理施設にて観測された観測データを用いて、クレーンに実行させる行動を決定するための行動方策（１１１）と、当該行動の実行長を決定するための実行長方策（１１２）とを含む方策モデルを生成する学習部（１０５）を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
廃棄物を運搬するクレーンを備えた廃棄物処理施設にて観測された観測データを用いて、前記クレーンに実行させる行動を決定するための行動方策と、当該行動の実行長を決定するための実行長方策とを含む方策モデルを生成する学習部を備える、情報処理装置。
【請求項2】
前記学習部は、所定のタスクを完了させるまでに前記行動方策を用いて決定した各行動に対して与えられる報酬と、当該各行動について前記実行長方策を用いて決定した各実行長に対して与えられる報酬の総和が最大化されるように前記行動方策と前記実行長方策とを更新する処理を繰り返すことにより前記方策モデルを生成する、請求項１に記載の情報処理装置。
【請求項3】
前記方策モデルとしてガウス過程が適用されている、請求項１または２に記載の情報処理装置。
【請求項4】
前記学習部は、前記クレーンに実行させる行動を、前記廃棄物を前記クレーンのバケットで掴む掴み動作とするか、掴んだ前記廃棄物を前記バケットの移動経路上にばらまくために前記バケットを開閉させる開閉動作とするかを決定するための前記行動方策と、前記掴み動作および前記開閉動作の実行回数を決定するための前記実行長方策とを含む前記方策モデルを生成する、請求項１から３の何れか１項に記載の情報処理装置。
【請求項5】
前記学習部は、前記廃棄物を前記バケットの移動経路上にばらまくタスクを完了させるまでに前記行動方策を用いて決定した各行動に対して与えられる報酬と、当該各行動について前記実行長方策を用いて決定した各実行長に対して与えられる報酬の総和が最大化されるように前記行動方策と前記実行長方策とを更新する処理を繰り返すことにより前記方策モデルを生成し、
行動に対して与えられる前記報酬は、より多くの量の廃棄物をばらまくことができた場合、および廃棄物を前記移動経路上により均等にばらまくことができた場合の少なくとも何れかの場合により大きい値となり、実行長に対して与えられる前記報酬は、短時間で前記タスクが完了するほど大きい値となる、請求項４に記載の情報処理装置。
行動に対して与えられる前記報酬は、より多くの量の廃棄物をばらまくことができた場合、および廃棄物を前記移動経路上により均等にばらまくことができた場合の少なくとも何れかの場合により大きい値となり、実行長に対して与えられる前記報酬は、短時間で前記タスクが完了するほど大きい値となる、請求項４に記載の情報処理装置。
【請求項6】
廃棄物を運搬するクレーンに実行させる行動を決定するための行動方策を用いて、前記クレーンを備えた廃棄物処理施設にて観測された観測データに応じた前記行動を決定する行動決定部と、
前記行動決定部が決定する前記行動の実行長を決定するための実行長方策を用いて、前記観測データに応じた前記実行長を決定する実行長決定部と、を備える情報処理装置。
前記行動決定部が決定する前記行動の実行長を決定するための実行長方策を用いて、前記観測データに応じた前記実行長を決定する実行長決定部と、を備える情報処理装置。
【請求項7】
廃棄物を運搬するクレーンと、
請求項６に記載の情報処理装置と、
前記情報処理装置が決定する前記行動および前記実行長に基づいて前記クレーンを動作させるクレーン制御装置と、を含むクレーン制御システム。
請求項６に記載の情報処理装置と、
前記情報処理装置が決定する前記行動および前記実行長に基づいて前記クレーンを動作させるクレーン制御装置と、を含むクレーン制御システム。
【請求項8】
１または複数の情報処理装置が実行する学習方法であって、
廃棄物を運搬するクレーンを備えた廃棄物処理施設にて観測された観測データを取得するデータ取得ステップと、
前記観測データを用いて、前記クレーンに実行させる行動を決定するための行動方策と、当該行動の実行長を決定するための実行長方策とを含む方策モデルを生成する学習ステップと、を含む学習方法。
廃棄物を運搬するクレーンを備えた廃棄物処理施設にて観測された観測データを取得するデータ取得ステップと、
前記観測データを用いて、前記クレーンに実行させる行動を決定するための行動方策と、当該行動の実行長を決定するための実行長方策とを含む方策モデルを生成する学習ステップと、を含む学習方法。
【請求項9】
請求項１に記載の情報処理装置としてコンピュータを機能させるための学習プログラムであって、前記学習部としてコンピュータを機能させるための学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、廃棄物を運搬するクレーンの自動制御に利用可能な情報処理装置等に関する。
【背景技術】
【0002】
一般に、廃棄物を処理する廃棄物処理プラントには、搬入された廃棄物を貯留するピットと呼ばれる貯留設備が設けられている。ピット内に貯留された廃棄物が例えば可燃ごみである場合には、当該廃棄物はピット内でバケット付きのクレーンにより積み替えられ、撹拌された後に、ホッパに投入され焼却炉に送り込まれて焼却される。
【0003】
このようなクレーンの制御を自動化するための技術の開発が従来から進められている。例えば、下記の特許文献１には、ピット内の各所におけるごみの撹拌回数の評価値を算出し、その評価値に基づいてクレーンのバケットの位置を選択し、その位置でバケットを開閉させることにより、クレーンを自動で制御する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第５１８５１９７号
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述のようなクレーンの自動制御を高精度化するためには、廃棄物処理プラントで観測される観測データを用いて廃棄物の状態を正確に把握することが必要になる。ただし、廃棄物処理プラントにて観測される観測データは、処理対象の廃棄物の質が一定しない等の要因により値のばらつきが大きい。
【0006】
このため、例えば、そのような観測データを教師データとして、クレーンに実行させるべき動作を予測する予測モデルを生成した場合、観測データのばらつきに対応してクレーンに実行させる動作が頻繁に切り替わるような予測モデルが生成されてしまう可能性がある。このように、観測データにばらつきが大きい場合には高精度な学習済みモデルを生成することは難しい。それゆえ、不安定な環境下で取得した観測結果から妥当な制御内容を決定することも難しい。
【0007】
本発明の一態様は、廃棄物処理施設におけるクレーンの制御において、不安定な環境下であっても、取得した観測結果から妥当な制御内容を決定することを可能にする情報処理装置等を実現することを目的とする。
【課題を解決するための手段】
【0008】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、廃棄物を運搬するクレーンを備えた廃棄物処理施設にて観測された観測データを用いて、前記クレーンに実行させる行動を決定するための行動方策と、当該行動の実行長を決定するための実行長方策とを含む方策モデルを生成する学習部を備える。
【0009】
また、本発明の一態様に係る学習方法は、１または複数の情報処理装置が実行する学習方法であって、廃棄物を運搬するクレーンを備えた廃棄物処理施設にて観測された観測データを取得するデータ取得ステップと、前記観測データを用いて、前記クレーンに実行させる行動を決定するための行動方策と、当該行動の実行長を決定するための実行長方策とを含む方策モデルを生成する学習ステップと、を含む。
【発明の効果】
【0010】
本発明の一態様によれば、廃棄物処理施設におけるクレーンの制御において、不安定な環境下であっても、取得した観測結果から妥当な制御内容を決定することが可能になる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る情報処理装置の要部構成の一例を示すブロック図である。
【図2】上記情報処理装置を含むクレーン制御システムの構成例を示す図である。
【図3】ＧＰＳＴＰＳのグラフィカルモデルである。
【図4】廃棄物をばらまくタスクの概要を示す図である。
【図5】行動方策および実行長方策の学習時に上記情報処理装置が実行する処理の一例を示すフローチャートである。
【図6】タスクの試行時に行われる処理の詳細を示すフローチャートである。
【発明を実施するための形態】
【0012】
〔システム構成〕
本実施形態に係るクレーン制御システムの構成を図２に基づいて説明する。図２は、クレーン制御システム７の構成例を示す図である。図２に示すクレーン制御システム７は、情報処理装置１と、クレーン制御装置３と、クレーン５とを含む。クレーン５は、廃棄物の貯留設備であるピットＰに貯留されている廃棄物を運搬するクレーンである。クレーン５は、より詳細には廃棄物を掴むバケットを備えたバケットクレーンである。廃棄物はクレーン５で運搬可能なものであればよく、例えば家庭ごみであってもよいし、産業廃棄物等であってもよい。
本実施形態に係るクレーン制御システムの構成を図２に基づいて説明する。図２は、クレーン制御システム７の構成例を示す図である。図２に示すクレーン制御システム７は、情報処理装置１と、クレーン制御装置３と、クレーン５とを含む。クレーン５は、廃棄物の貯留設備であるピットＰに貯留されている廃棄物を運搬するクレーンである。クレーン５は、より詳細には廃棄物を掴むバケットを備えたバケットクレーンである。廃棄物はクレーン５で運搬可能なものであればよく、例えば家庭ごみであってもよいし、産業廃棄物等であってもよい。
【0013】
情報処理装置１は、クレーン５を備えた廃棄物処理施設にて観測された観測データを用いてクレーン５に実行させる行動とその行動の実行長とを決定する。そして、クレーン制御装置３は、情報処理装置１が決定する行動と実行長に基づいてクレーン５を動作させる。なお、実行長は、同じ行動をどれだけ継続するかを示す。例えば、回数をカウントできる行動であれば、その行動の実行回数を実行長とすればよい。また、同じ行動の実行を継続する継続時間を実行長としてもよい。
【0014】
また、観測データは、クレーン５に行動を実行させるときの状態を特定するためのデータである。どのような観測データを用いるかは、クレーン５に実行させるタスクやそのタスクをどのように評価するか等に応じて適宜決定すればよい。例えば、クレーン５に廃棄物を運搬させるタスクであれば、クレーンのバケットに把持されている廃棄物の重量等を観測データとしてもよい。
【0015】
ここで、一般に廃棄物処理施設にて観測される観測データは、処理対象の廃棄物の質が一定しない等の要因により値のばらつきが大きい。このため、そのような観測データからクレーン５の制御に使用する機械学習モデルを生成した場合、観測データのばらつきに対応してクレーン５に実行させる行動を頻繁に切り替えるような機械学習モデルが生成されてしまう可能性がある。このように、観測データにばらつきが大きい場合には高精度な機械学習モデルを生成することは難しい。
【0016】
そこで、情報処理装置１は、上記の観測データを用いて、クレーン５に実行させる行動を決定するための行動方策と、当該行動の実行長を決定するための実行長方策とを含む方策モデルを生成する。
【0017】
上記方策モデルによれば、実行長方策により決定された実行長の期間は同じ行動が維持される。よって、観測データにばらつきが大きい場合であっても、そのばらつきに対応してクレーン５に実行させる行動を頻繁に切り替えるような機械学習モデルが生成される可能性を低減することができ、これにより高精度な機械学習モデルである方策モデルを生成することが可能になる。
【0018】
そして、情報処理装置１は、機械学習済みの方策モデルに含まれる行動方策を用いてクレーン５に実行させる行動を決定すると共に、当該方策モデルに含まれる実行長方策を用いて当該行動の実行長を決定する。これにより、不安定な環境下であっても、取得した観測データから妥当な制御内容を決定できるので、クレーン５の高精度な自動制御が実現される。
【0019】
以上のように、クレーン制御システム７は、廃棄物を運搬するクレーン５と、行動方策を用いてクレーン５に実行させる観測データに応じた行動を決定すると共に、実行長方策を用いて観測データに応じた上記行動の実行長を決定する情報処理装置１と、情報処理装置１が決定する行動および実行長に基づいてクレーン５を動作させるクレーン制御装置３と、を含む。これにより、不安定な環境下であっても、取得した観測データから妥当な制御内容を決定できるので、高精度なクレーン５の自動制御を実現することができる。
【0020】
〔情報処理装置の構成〕
情報処理装置１の構成について図１に基づいて説明する。図１は、情報処理装置１の要部構成の一例を示すブロック図である。図示のように、情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１０と、情報処理装置１が使用する各種データを記憶する記憶部１１を備えている。また、情報処理装置１は、情報処理装置１が他の装置と通信するための通信部１２、情報処理装置１に対する各種データの入力を受け付ける入力部１３、および情報処理装置１が各種データを出力するための出力部１４を備えている。
情報処理装置１の構成について図１に基づいて説明する。図１は、情報処理装置１の要部構成の一例を示すブロック図である。図示のように、情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１０と、情報処理装置１が使用する各種データを記憶する記憶部１１を備えている。また、情報処理装置１は、情報処理装置１が他の装置と通信するための通信部１２、情報処理装置１に対する各種データの入力を受け付ける入力部１３、および情報処理装置１が各種データを出力するための出力部１４を備えている。
【0021】
また、制御部１０には、行動決定部１０１、実行長決定部１０２、クレーン制御部１０３、エピソード収集部１０４、および学習部１０５が含まれている。そして、記憶部１１には、行動方策１１１、実行長方策１１２、およびエピソード１１３が記憶されている。
【0022】
行動決定部１０１は、クレーン５に実行させる行動を決定するための行動方策１１１を用いて、クレーン５を備えた廃棄物処理施設にて観測された観測データに応じた行動を決定する。この処理は、行動方策１１１の学習中にも行われるし、学習終了後にも行われる。学習中に行われる場合には学習中の行動方策１１１が用いられ、学習終了後に行われる場合には学習済みの行動方策１１１が用いられる。実行長の決定についても同様である。
【0023】
行動決定部１０１は、例えば、予め定められた複数の行動の中からクレーン５に実行させる行動を決定してもよい。各行動は、任意に定義することができる。例えば、クレーン５のバケットを開く動作と、閉じる動作とをそれぞれ１つの行動と定義した場合、行動決定部１０１は、クレーン５にバケットを開く動作を実行させるか、閉じる動作を実行させるかを決定する。また、バケットを開き、開いた状態のバケットをピットＰ内の廃棄物表面に降ろし、バケットを閉じて廃棄物を掴み、ワイヤを巻き上げて掴んだ廃棄物を持ち上げる、といった一連の動作を１つの行動と定義してもよい。また、例えば、バケットをある角度まで開く動作と、当該角度とは異なる角度まで開く動作とをそれぞれ別の行動と定義する等のように、同一あるいは同種の動作であってもその程度や態様に応じて異なる動作と定義してもよい。
【0024】
実行長決定部１０２は、行動決定部１０１が決定する行動の実行長を決定するための実行長方策１１２を用いて、上記観測データに応じた実行長を決定する。行動方策１１１および実行長方策１１２の詳細は後述する。
【0025】
クレーン制御部１０３は、行動決定部１０１が決定する行動と、実行長決定部１０２が決定する実行長とに基づいてクレーン５を動作させる。より詳細には、クレーン制御部１０３は、通信部１２を介した通信により、クレーン５に実行させる動作とその実行長をクレーン制御装置３に通知することによりクレーン５を動作させる。無論、クレーン制御部１０３は、クレーン制御装置３を介さずにクレーン５を制御してもよく、この場合、情報処理装置１がクレーン制御装置３の機能を兼ねることになる。
【0026】
エピソード収集部１０４は、行動方策１１１と実行長方策１１２の機械学習に用いる学習用データであるエピソード１１３を収集する。収集されたエピソード１１３は記憶部１１に記憶される。詳細は後述するが、エピソード１１３には、廃棄物処理施設にて観測された観測データ（クレーン５に行動を実行させたときの状態を示すデータ）の他、クレーン５により実行された行動およびその実行長等が含まれている。
【0027】
学習部１０５は、上記の観測データを用いて方策モデルを生成する。この方策モデルには、クレーン５に実行させる行動を決定するための行動方策１１１と、当該行動の実行長を決定するための実行長方策１１２とが含まれている。行動方策１１１と実行長方策１１２の生成方法の詳細については後述する。
【0028】
以上のように、情報処理装置１は、廃棄物を運搬するクレーン５を備えた廃棄物処理施設にて観測された観測データを用いて、クレーン５に実行させる行動を決定するための行動方策１１１と、当該行動の実行長を決定するための実行長方策１１２とを含む方策モデルを生成する学習部１０５を備えている。
【0029】
上記方策モデルによれば、実行長方策により決定された実行長の期間は同じ行動が維持される。よって、観測データにばらつきが大きい場合であっても、そのばらつきに対応してクレーン５に実行させる行動を頻繁に切り替えるような機械学習モデルが生成される可能性を低減することができる。従って、上記の構成によれば、高精度な機械学習モデルである方策モデルを生成することが可能になる。そして、この方策モデルを利用することにより、不安定な環境下であっても、取得した観測データから妥当な制御内容を決定することが可能になる。
【0030】
また、以上のように、上記方策モデル（すなわち行動方策１１１および実行長方策１１２）の学習が終了した後は、行動決定部１０１は、学習済みの行動方策１１１を用いて、クレーン５を備えた廃棄物処理施設にて観測された観測データに応じた行動を決定する。そして、実行長決定部１０２は、学習済みの実行長方策１１２を用いて、上記観測データに応じた実行長を決定する。これにより、不安定な環境下であっても、取得した観測データから妥当な制御内容を決定できるので、高精度なクレーン５の自動制御を実現することが可能になっている。
【0031】
〔方策探索〕
行動方策１１１と実行長方策１１２の学習方法を説明する前に、その前提となる方策探索という手法について説明する。方策探索は、マルコフ決定過程によって定式化された環境において、期待利得を最大化する方策を獲得することを目的としている。方策探索では、方策に従って決定した行動を実行し、その行動を実行することによって獲得されたデータに基づいて方策を改善する、という処理を繰り返すことにより方策を学習する。つまり、方策探索は試行錯誤を繰り返しながら最適な方策を学習する強化学習の一手法である。
行動方策１１１と実行長方策１１２の学習方法を説明する前に、その前提となる方策探索という手法について説明する。方策探索は、マルコフ決定過程によって定式化された環境において、期待利得を最大化する方策を獲得することを目的としている。方策探索では、方策に従って決定した行動を実行し、その行動を実行することによって獲得されたデータに基づいて方策を改善する、という処理を繰り返すことにより方策を学習する。つまり、方策探索は試行錯誤を繰り返しながら最適な方策を学習する強化学習の一手法である。
【0032】
通常の方策探索では、方策πを利用した試行錯誤の過程で実行された行動について、状態ｓｔ、行動ａｔの系列であるエピソードｄを収集する。エピソードｄは、下記の数式（１）のように表される。また、試行錯誤を行う環境の初期状態確率と状態遷移確率をそれぞれｐ（ｓ１）とｐ（ｓｔ＋１｜ｓｔ，ａｔ）とすると、方策πを利用したときのエピソードｄの確率分布ｐ（ｄ｜π）は以下の数式（２）のように表される。
【0033】
【数1】
【0034】
また、報酬ｒｔ（ｓｔ，ａｔ）を用いて、エピソードｄの報酬和である利得Ｒ（ｄ）は下記のように表される。
【0035】
【数2】
【0036】
方策探索では、上記確率分布ｐ（ｄ）と上記利得Ｒ（ｄ）を用いて期待利得を求め、これを最大化する方策を計算する。この計算を数式で表すと下記のとおりである。
【0037】
【数3】
【0038】
また、以上説明した方策探索においては、方策モデルとしてガウス過程を適用することができる。方策モデルとしてガウス過程を用いる方策探索は、ガウス過程方策探索と呼ばれる。ガウス過程方策探索には、少ないデータ量で方策を学習することができるという利点がある。その反面、ガウス過程方策探索では、学習に用いた全てのデータを直接利用して未知の入力に対する予測を計算するため、学習に用いるデータ数に応じて学習と予測の計算量が増加するという欠点がある。そのため、１回のタスク実行に多数の行動決定回数を必要とするタスクについては、ガウス過程方策探索の適用が難しい場合がある。
【0039】
〔ガウス過程自己駆動型方策探索〕
そこで、学習部１０５は、上述したガウス過程方策探索に、行動の実行長という概念を取り入れた新たな方式の方策探索（以下、ＧＰＳＴＰＳ：GAUSSIAN PROCESS SELF-TRIGGERED POLICY SERCHと呼ぶ）により行動方策１１１と実行長方策１１２の更新を行う。
そこで、学習部１０５は、上述したガウス過程方策探索に、行動の実行長という概念を取り入れた新たな方式の方策探索（以下、ＧＰＳＴＰＳ：GAUSSIAN PROCESS SELF-TRIGGERED POLICY SERCHと呼ぶ）により行動方策１１１と実行長方策１１２の更新を行う。
【0040】
これにより、実際に得られたエピソード長に対して方策による行動の決定回数が削減される。そして、ガウス過程による方策学習に用いられるデータ数が削減され、学習および予測に要する計算量が減少することにより、従来は学習が困難であった長期的なエピソードを必要とするタスクについての最適な方策を探索することが可能になる。
【0041】
より詳細には、本実施形態では、行動方策１１１と実行長方策１１２のそれぞれの方策モデルとしてガウス過程を用い、期待利得を利得重み付き周辺尤度関数として扱うことで、変分推論に基づいた方策探索を実現するＧＰＳＴＰＳの例を説明する。この詳細について以下説明する。
【0042】
（１．問題の定式化）
上述した通常の方策探索を拡張して自己駆動型方策探索を定式化する。自己駆動型方策探索は、上述した実行長と２値の更新変数ｏｔとを導入することにより方策探索を拡張したものである。なお、時刻ｔで実行開始された行動ａｔの実行長を、実行長τｔと表す。また、更新変数ｏｔは、時刻ｔにおいて、１時刻前から実行されている行動を継続するか、行動を継続せず、行動と実行長を更新するかを切り替えるためのものであり、ゲート変数と呼ぶこともできる。
上述した通常の方策探索を拡張して自己駆動型方策探索を定式化する。自己駆動型方策探索は、上述した実行長と２値の更新変数ｏｔとを導入することにより方策探索を拡張したものである。なお、時刻ｔで実行開始された行動ａｔの実行長を、実行長τｔと表す。また、更新変数ｏｔは、時刻ｔにおいて、１時刻前から実行されている行動を継続するか、行動を継続せず、行動と実行長を更新するかを切り替えるためのものであり、ゲート変数と呼ぶこともできる。
【0043】
自己駆動型方策探索では、各時刻における行動と実行長は、行動方策πａと実行長方策πτをそれぞれ内包する以下の分布に従うとする。
【0044】
【数4】
【0045】
これら２つの分布において、ｏｔ＝１の場合には、行動方策πａと実行長方策πτのそれぞれによって、行動と実行長が更新される。一方、ｏｔが０の場合、すなわち上記数式（５）、（６）における「else」の場合には、１時刻前の行動が継続し、実行長τｔは１時刻前に戻される。このため、実行長τｔは行動ａｔの残りの継続時間（あるいは継続回数）を示すものとなる。時刻ｔにおける更新変数ｏｔは、その１時刻前の時刻（ｔ－１）における実行長τｔ－１によって決まる。これを数式で表すと下記の数式（７）のようになる。
【0046】
【数5】
【0047】
数式（７）によれば、実行長τｔ－１が１のときに更新変数ｏｔは１となる。そして、上述のように、更新変数ｏｔが１になることにより行動と実行長が更新される。
【0048】
また、実行長τｔと更新変数ｏｔによってエピソードｄとその確率分布は以下のように拡張される。
【0049】
【数6】
【0050】
上記数式（８）に示されるエピソードｄに含まれる各要素、すなわち状態ｓｔ、行動ａｔ、実行長τｔ、更新変数ｏｔと、行動ａｔに基づく報酬ｒｔとの関係は、図３のグラフィカルモデルのように表される。図３は、ＧＰＳＴＰＳのグラフィカルモデルである。図３に示すグラフィカルモデルにおける部分３１に示されるように、時刻ｔにおける更新変数ｏｔの値は、時刻ｔ－１における実行長τｔ－１によって決まる。また、更新変数ｏｔの値が決まれば、行動ａｔとその実行長τｔも決まる。そして、行動ａｔが決まれば行動ａｔと状態ｓｔから報酬ｒｔが決まると共に、次の時刻ｔ＋１における状態ｓｔ＋１が決まる。
【0051】
自己駆動型方策探索では、上記数式（９）に示される確率分布を用いて期待利得を求め、これを最大化する行動方策πａと実行長方策πτを学習する。これを数式で表すと下記のとおりである。
【0052】
【数7】
【0053】
（２．ガウス過程方策モデル）
上述のように、自己駆動型方策探索によって学習される行動方策πａと実行長方策πτの方策モデルとしてガウス過程を適用したものがＧＰＳＴＰＳである。本実施形態では、方策モデルとして通常のガウス過程ではなく、スパースガウス過程を用いる例を説明する。この場合、行動の方策モデルとして状態を入力とした非線形関数
上述のように、自己駆動型方策探索によって学習される行動方策πａと実行長方策πτの方策モデルとしてガウス過程を適用したものがＧＰＳＴＰＳである。本実施形態では、方策モデルとして通常のガウス過程ではなく、スパースガウス過程を用いる例を説明する。この場合、行動の方策モデルとして状態を入力とした非線形関数
【0054】
【数8】
【0055】
を用い、実行長の方策モデルとして状態を入力とした非線形関数
【0056】
【数9】
【0057】
を用いた下記のようなガウス分布を仮定する。
【0058】
【数10】
【0059】
ここで、
【0060】
【数11】
【0061】
であり、σｆ
２、σｇ
２は、各ガウス分布の分散である。図３のグラフィカルモデルにおける部分３１および３２に示されるようにｓｔが決まればｆｔが決まり、ｆｔが決まればａｔが決まる。同様に、図３のグラフィカルモデルにおける部分３１および３３に示されるようにｓｔが決まればｇｔも決まり、ｇｔが決まればτｔが決まる。
【0062】
各非線形関数の事前分布として下記のようなガウス過程をおく。
【0063】
【数12】
【0064】
ここで、ｋ（・，・）はカーネル関数であり、ｍｇ（・）は関数ｇの平均関数である。
【0065】
非線形関数の事前分布として用いたガウス過程の計算量を削減するために、方策学習に用いるデータ数より大幅に少ないＭ個の要素を持つ擬似的な入出力データである疑似入力
【0066】
【数13】
【0067】
とこれに対応する上述の非線形関数の擬似出力
【0068】
【数14】
【0069】
を導入し、以下のように事前分布をおく。
【0070】
【数15】
【0071】
ここで、
【0072】
【数16】
【0073】
は疑似入力を用いたカーネルグラム行列であり、
【0074】
【数17】
【0075】
である。非線形関数の出力ｆｔ、ｇｔは、疑似出力の分布を用いたガウス過程回帰によって以下のガウス分布によって示される。非線形関数の出力ｆｔ、ｇｔとそれらの擬似出力との関係は、カーネルパラメータθを用いて図３のグラフィカルモデルにおける部分３２および３３のように表される。
【0076】
【数18】
【0077】
ここで、
【0078】
【数19】
【0079】
である。方策モデルとしてガウス過程を用いた自己駆動型方策探索すなわちＧＰＳＴＰＳのエピソードｄの確率は下のように求められる。
【0080】
【数20】
【0081】
ここで、
【0082】
【数21】
【0083】
である。
【0084】
（３．方策改善のための変分学習）
本実施形態のＧＰＳＴＰＳにおいては、方策探索による強化学習問題を利得重み付き周辺尤度の最大化問題として定式化し、変分推論によって２つの方策モデル内の非線形関数の事後分布を求めることにより、方策を改善する。以下、これについて説明する。
本実施形態のＧＰＳＴＰＳにおいては、方策探索による強化学習問題を利得重み付き周辺尤度の最大化問題として定式化し、変分推論によって２つの方策モデル内の非線形関数の事後分布を求めることにより、方策を改善する。以下、これについて説明する。
【0085】
上記の数式（２０）を用いてガウス過程方策モデルによる自己駆動型方策探索の期待利得Ｊを計算すると以下のようになる。
【0086】
【数22】
【0087】
上記数式（２１）は、ｄおよび擬似出力
【0088】
【数23】
【0089】
による複雑さにより、積分を解析的に解くことが難しい。そのため、対数とデータサンプルに利用した方策とその方策による期待利得Ｊｏｌｄと変分分布
【0090】
【数24】
【0091】
とを導入することにより、期待利得の下界ｌｏｇＪＬを求める。なお、データサンプルに利用した方策とは、学習時に試行されたタスクにおいて適用された方策である。
【0092】
【数25】
【0093】
上記数式（２３）におけるＣは、数式（２２）の右辺における方策に依存しない項をまとめた定数項である。例えば、数式（２０）のｐ（ｓ１）、ｐ（ｓｔ＋１｜ｓｔ，ａｔ）、およびｐ（ｏｔ｜τｔ－１）がＣに含まれる。
【0094】
数式（２３）に示されるように、ＧＰＳＴＰＳの期待利得の下界ｌｏｇＪＬは、行動方策に関連する項と実行長方策に関連する項の和で表すことができる。変分分布にｐｏｌｄ（ｄ）を用いているため、エピソードｄの積分は、試行錯誤データを用いたモンテカルロ法によって解く（正確には近似する）ことができる。なお、試行錯誤データは学習途中の方策πｏｌｄ（ａｔ｜ｓｔ）でタスクを実行した際に得られたデータである。この試行錯誤データを、方策πｏｌｄ（ａｔ｜ｓｔ）を利用したときのエピソードデータの分布ｐｏｌｄ（ｄ）からサンプルされたものとして、モンテカルロ法による近似を行う。これにより、下記の数式（２５）が導かれる。
【0095】
【数26】
【0096】
ここで、
【0097】
【数27】
【0098】
である。また、Ｗは利得に基づいた重みであり、
【0099】
【数28】
【0100】
である。数式（２５）は利得重み付け周辺尤度を表している。また、上記数式（２５）は、学習中の方策モデルにより選択された行動と実行長を、報酬和（利得）に基づいて重み付けしたものということもできる。また、上記数式（２５）は、方策探索による強化学習問題を、重み付きの教師あり学習問題として定式化したものともいえる。
【0101】
変分学習では、ＥＭアルゴリズムのように、数式（２５）を最大化する変分分布
【0102】
【数29】
【0103】
を求めるＥステップ（Expectationステップ）と、カーネルパラメータθおよび疑似入力
【0104】
【数30】
【0105】
を最適化するＭステップ（Maximizationステップ）と、を繰り返すことにより方策を最適化する。最適化によって得られる変分分布は事後分布の近似となる。なお、疑似入力は、数式（２５）における分布
【0106】
【数31】
【0107】
が有するパラメータである。
【0108】
より詳細には、Ｅステップでは、２つの変分分布の一方を固定して他方を最適値に更新する。繰り返しの際に固定する側を変更することにより、両方の変分分布を最適値に更新することができる。Ｍステップにおいて、カーネルパラメータと疑似入力は、何れも勾配に基づく手法で最適化することができる。最適化された疑似入力は、上述の数式（１６）および（１７）に示されるカーネルグラム行列の計算に用いられる。
【0109】
変分学習によって得られたカーネルパラメータθと事後分布を用いることにより、未知状態ｓ＊に対する行動ａ＊と実行長τ＊の予測分布を解析的に求めることができる。具体的には、上記予測分布は以下のような数式で表される。
【0110】
【数32】
【0111】
したがって、上記数式（２６）～（２９）を行動方策１１１として記憶部１１に記憶しておき、上記数式（３０）～（３３）を実行長方策１１２として記憶部１１に記憶しておけばよい。これにより、行動決定部１０１は、行動方策１１１として記憶部１１に記憶された数式（２６）～（２９）を用いて未知状態ｓ＊に対する行動ａ＊を決定することができる。また、実行長決定部１０２は、実行長方策１１２として記憶部１１に記憶された数式（３０）～（３３）を用いて未知状態ｓ＊に対する実行長τ＊を決定することができる。
【0112】
以上のように、ＧＰＳＴＰＳでは、観測できない変数である最適な方策を、タスクを実行したときに得られる観測可能な変数（状態、行動、および報酬）を用いて推論する。このようにして推論された最適な方策（具体的には行動方策１１１および実行長方策１１２）を用いることにより、不安定な環境下であっても、取得した観測結果から妥当な制御内容を決定し、クレーン５の安定した制御が実現できる。
【0113】
また、以上のように、情報処理装置１が学習する方策モデル（具体的には行動方策１１１および実行長方策１１２）にはガウス過程が適用されていてもよい。ガウス過程の方策モデルを用いる場合、カーネルトリックによりデータの高次元特徴量を暗に扱うことができるため、少ないデータ量で非線形な方策を学習することができる。また、上述のように、上記方策モデルとしてスパースガウス過程を適用してもよく、これによりガウス過程による計算量をさらに削減することができる。
【0114】
〔方策モデルの他の例〕
方策モデルはガウス過程に限られない。例えば、方策モデルとしてニューラルネットワークを適用することも可能である。上述のように、方策探索による強化学習問題を重み付きの教師あり学習問題として定式化することができるから、方策モデルとしてニューラルネットワークを適用する場合、重み付きのデータを教師あり学習的に用いることにより方策を学習すればよい。ここでの重みは、報酬の高さに応じて学習におけるデータの重要度を決めるものである。つまり、重みが大きいデータすなわち報酬が高いときのデータを重視した学習を行うことにより、報酬の高い行動を選択する方策モデルを生成することができる。具体的には、最小二乗法のコストに上記の重みを乗じたものに基づいてニューラルネットワークを学習することにより方策モデルを生成することができる。
方策モデルはガウス過程に限られない。例えば、方策モデルとしてニューラルネットワークを適用することも可能である。上述のように、方策探索による強化学習問題を重み付きの教師あり学習問題として定式化することができるから、方策モデルとしてニューラルネットワークを適用する場合、重み付きのデータを教師あり学習的に用いることにより方策を学習すればよい。ここでの重みは、報酬の高さに応じて学習におけるデータの重要度を決めるものである。つまり、重みが大きいデータすなわち報酬が高いときのデータを重視した学習を行うことにより、報酬の高い行動を選択する方策モデルを生成することができる。具体的には、最小二乗法のコストに上記の重みを乗じたものに基づいてニューラルネットワークを学習することにより方策モデルを生成することができる。
【0115】
〔行動および実行長と報酬関数の例〕
上述のように、情報処理装置１では、行動決定部１０１が行動方策１１１を用いて観測データに応じた行動を決定し、実行長決定部１０２が実行長方策１１２を用いて当該行動の実行長を決定する。このように、行動とその実行長をそれぞれ独立して決定することにより、実行長が決定された後は、その実行長分の行動が完了するまでの期間は、再度実行長を決定する必要がなくなる。これにより、行動の決定回数を必要最小限に抑えることができると共に、行動の決定に要する計算の量も抑えることができる。さらに、方策の決定に用いる観測データが不安定である場合、観測データの変動に応じて細かく行動を変更するよりも、行動の決定回数を必要最小限に抑える方が、総合的にみて妥当な制御が実現できる。また、行動方策１１１と実行長方策１１２は、それらの学習に必要なデータ量も少なくて済むという利点もある。
上述のように、情報処理装置１では、行動決定部１０１が行動方策１１１を用いて観測データに応じた行動を決定し、実行長決定部１０２が実行長方策１１２を用いて当該行動の実行長を決定する。このように、行動とその実行長をそれぞれ独立して決定することにより、実行長が決定された後は、その実行長分の行動が完了するまでの期間は、再度実行長を決定する必要がなくなる。これにより、行動の決定回数を必要最小限に抑えることができると共に、行動の決定に要する計算の量も抑えることができる。さらに、方策の決定に用いる観測データが不安定である場合、観測データの変動に応じて細かく行動を変更するよりも、行動の決定回数を必要最小限に抑える方が、総合的にみて妥当な制御が実現できる。また、行動方策１１１と実行長方策１１２は、それらの学習に必要なデータ量も少なくて済むという利点もある。
【0116】
行動方策１１１を用いて予測する行動と、実行長方策１１２を用いて予測するその実行長は、クレーン５に実行させるタスクに応じたものとすればよい。同様に、上述の報酬ｒｔとしては、クレーン５に実行させるタスクに応じた報酬関数を設定すればよい。ここでは、クレーン５に廃棄物をばらまくタスクを行わせる場合の行動および実行長の設定例と、それら行動および実行長を評価する報酬関数の例を図４に基づいて説明する。図４は、廃棄物をばらまくタスクの概要を示す図である。
【0117】
廃棄物をばらまくタスク（以下、ばらまき撹拌と呼ぶ）は、ピットＰに貯留されている廃棄物の均質化等を目的として行われるものである。ばらまき撹拌では、図４の上段に示すように、まず、ピットＰ内のある地点で廃棄物をクレーン５に掴み上げさせる。この際、廃棄物が十分に掴めていなければ、その廃棄物を一旦放して再度掴み直しを行うことがある。そして、廃棄物を掴み上げた後は、図４の下段に示すように、バケットを水平方向に移動させながら開閉することにより、バケットの移動経路上に廃棄物をばらまく。
【0118】
なお、クレーン５が動作を開始してから終了条件に達するまでが一連のタスクとなる。例えば、ピットＰ内の所定位置でバケットを下降させ、当該位置で廃棄物を掴み、その廃棄物を掴み上げ、バケットの水平方向への移動と開閉動作を開始し、クレーン５の移動距離が所定距離に達した時点でバケットを開き、バケット内に廃棄物が残っていない状態にするまでを一連のタスクとしてもよい。
【0119】
このタスクでは、最初の掴み動作で掴むことのできた廃棄物の量が少ないと、少量の廃棄物しかばらまくことができない。掴み動作を複数回繰り返すことにより、より多くの廃棄物を掴むことができる可能性が高まるが、繰り返し回数が多すぎるとタイムロスになる。また、開閉動作の回数が多すぎたり少なすぎたりすると均等なばらまきができない。このように、廃棄物のばらまきというタスクは難易度が高いタスクである。
【0120】
このタスクにおいてクレーン５に実行させる行動ａｔは、廃棄物を掴む掴み動作と、廃棄物をばらまくためにバケットを開閉する開閉動作とに区分できる。よって、当該タスクにおける行動ａｔは、例えばａｔ＝｛０，１｝のような二値で表すことができる。図４では、掴み動作のａｔ＝０とし、ばらまき動作のａｔ＝１としている。また、当該タスクにおける行動ａｔの実行長τｔは、動作の実行回数あるいは試行継続時間とすればよい。例えば、掴み動作の実行長τｔは、掴み動作の実行回数とし、ばらまき動作の実行長τｔは、バケットを所定の角度まで開いた後閉じるという一連の開閉動作の繰り返し回数としてもよい。
【0121】
この場合、学習部１０５は、クレーン５に実行させる行動を、廃棄物をクレーン５のバケットで掴む掴み動作とするか、掴んだ廃棄物をバケットの移動経路上にばらまくためにバケットを開閉させる開閉動作とするかを決定するための行動方策１１１と、掴み動作および開閉動作の実行回数を決定するための実行長方策とを含む方策モデルを生成することになる。これにより、廃棄物のばらまきという難易度が高いタスクを精度よく行うことができる方策モデルを生成することが可能になる。
【0122】
なお、上述の例は行動および実行長の設定の一例であり、クレーン５に実行させるタスクに応じて、任意の行動および実行長を予測対象に設定することができる。例えば、一連の掴み制御のルールを「行動」に設定してもよいし、単純な掴み操作を「行動」に設定してもよい。一連の掴み制御としては、例えば、バケットを固定値だけ閉じながらバケットを巻きあげる、あるいはピットの端から端まで移動しながらバケットを開閉させる等、複数の操作を組み合わせた制御が挙げられる。また、単純な掴み操作としては、例えば、バケットを完全に閉じる、固定値だけバケットを閉じる等、単一の操作からなる制御が挙げられる。
【0123】
上述のばらまき撹拌においては、例えば下記の数式（３４）のような報酬関数ｒｔを適用してもよい。
【0124】
【数33】
【0125】
数式（３４）におけるｒａは、廃棄物をばらまく性能を評価するものであり、例えば均等にばらまくことができた場合や、大量の廃棄物をばらまくことができた場合に大きい値となるように定義すればよい。また、ｒτはタスクの開始から終了までの時間を評価するものであり、より短時間でタスクが完了した場合により大きい値になるように定義すればよい。なお、上記数式（３４）では、ａｔが０のときつまり掴み動作を行うときの報酬をゼロにしているが、掴み動作についても報酬を与えるようにしてもよい。
【0126】
上記ｒａおよびｒτは、例えば下記の数式（３５）、（３６）のように定義してもよい。なお、数式（３５）におけるα、および数式（３６）におけるβは報酬関数のパラメータであり、報酬関数のパラメータの値は適宜設定すればよい。また、数式（３６）におけるｕａｃｔは、ばらまき撹拌の所要時間（タスクの開始から終了までの時間）である。また、ｕｍｉｎは、ばらまき撹拌の所要時間（タスクの開始から終了までの時間）の最小値である。
【0127】
【数34】
【0128】
数式（３５）によれば、実行長τｔが状態ｓｔに類似しており、多くの廃棄物がばらまかれたときに報酬が大きい値になる。また、数式（３６）によれば、タスクの開始から終了までの時間が短いほど報酬が大きい値になる。したがって、数式（３４）の報酬関数ｒｔにおいて、数式（３５）、（３６）に示されるｒａおよびｒτの定義を適用することにより、短時間で多くの量の廃棄物をばらまくことができる行動方策と実行長方策を学習することができる。
【0129】
また、例えば、数式（３４）におけるｒａおよびｒτは、下記の数式（３７）、（３８）のように定義してもよい。なお、数式（３８）は上記数式（３６）と同じであるから説明を省略する。
【0130】
【数35】
【0131】
数式（３７）におけるγは報酬関数のパラメータである。また、数式（３７）におけるｗｍａｘは、掴み上げた廃棄物の重量（ばらまく前の重量）である。そして、数式（３７）におけるｍは、廃棄物のばらまき中における、クレーン５のバケットに掴まれている廃棄物の重量であり、ｍＩは、廃棄物のばらまき中における、クレーン５のバケットに掴まれている廃棄物の理想的な重量である。上述のように、ばらまき撹拌では均等なばらまきが求められるから、ｍＩは、時間経過に従って線形に減少する値とすればよい。なお、ＲＭＳは平方自乗平均（Root Mean Square）である。つまり、数式（３７）によれば、より多くの廃棄物を掴み上げた場合ほど、また、ばらまき中におけるクレーン５のバケットに掴まれている廃棄物の重量変化が線形に近いほど（理想的な重量変化のパターンとの誤差が少ないほど）報酬の値が大きくなる。
【0132】
上記ｒａおよびｒτを数式（３７）、（３８）のように定義する場合、バケットに掴まれている廃棄物の重量の時系列データを観測データに含めておけばよい。バケットに掴まれている廃棄物の重量は、例えばバケットを吊るすワイヤに重量計を取り付けることにより測定可能である。
【0133】
したがって、数式（３４）の報酬関数ｒｔにおいて、数式（３７）、（３８）に示されるｒａおよびｒτの定義を適用することにより、短時間で多くの量の廃棄物を均等にばらまくことができる行動方策と実行長方策を学習することができる。
【0134】
以上のように、対象となるタスクが廃棄物をバケットの移動経路上にばらまくタスクであるとき、学習部１０５による学習の際に行動に対して与えられる報酬は、より多くの量の廃棄物をばらまくことができた場合、および廃棄物を移動経路上により均等にばらまくことができた場合の少なくとも何れかの場合により大きい値となるものとしてもよい。また、学習部１０５による学習の際に実行長に対して与えられる報酬は、短時間でタスクが完了するほど大きい値となるものとしてもよい。これにより、より短時間でより多くの量の廃棄物をばらまくことができる方策、あるいはより短時間でより均等に廃棄物をばらまくことができる方策を決定することが可能になる。
【0135】
〔処理の流れ（全体）〕
情報処理装置１が実行する処理（学習方法）の流れを図５に基づいて説明する。図５は、行動方策および実行長方策の学習時に情報処理装置１が実行する処理の一例を示すフローチャートである。
情報処理装置１が実行する処理（学習方法）の流れを図５に基づいて説明する。図５は、行動方策および実行長方策の学習時に情報処理装置１が実行する処理の一例を示すフローチャートである。
【0136】
Ｓ１では、タスクの試行が行われる。詳細は図６に基づいて説明するが、Ｓ１では学習中の行動方策１１１と実行長方策１１２を用いて行動と実行長が決定されて、それらの決定内容に従ってクレーン５の制御が行われ、所定のタスクが実行される。タスクの内容は任意であり、例えば、図４に示したような、廃棄物をバケットの移動経路上にばらまくタスクが実行されてもよい。
【0137】
Ｓ２では、エピソード収集部１０４が、Ｓ１で実行されたタスクにおける一連の行動や実行長等の各種情報をエピソード１１３として記憶部１１に記録する。エピソード１１３の具体的な内容は、数式（８）に示した通りである。
【0138】
Ｓ３では、学習部１０５が、所定数のエピソード１１３が記憶部１１に記録されたか否かを判定する。ここで所定数とは、方策の更新に用いるエピソード１１３の数である。つまり、Ｍ個（Ｍは自然数）のエピソード１１３を用いて方策を更新する場合には所定数はＭとなる。Ｓ３でＮＯと判定された場合にはＳ１の処理に戻る。一方、Ｓ３でＹＥＳと判定された場合にはＳ４の処理に進む。
【0139】
Ｓ４では、学習部１０５は、方策の更新を行う。具体的には、学習部１０５は、収集された所定数（Ｍ個）のエピソード１１３を用いて、上述の数式（２５）により行動方策１１１と実行長方策１１２を更新する。
【0140】
上述のように、行動方策１１１と実行長方策１１２を更新する処理は、数式（２５）の値を最大化する変分分布を求めるＥステップと、カーネルパラメータと疑似入力を最適化するＭステップとを繰り返すことにより、最適な（つまり期待利得の下界logJLを最大化する）カーネルパラメータと変分分布とを求める処理である。この処理における疑似入力の初期値として、Ｓ２で記録されたエピソード１１３が用いられる。なお、学習部１０５は、学習時点までに高い利得が得られた他のエピソードが存在する場合、それらのエピソードについても上記の更新に用いてもよい。
【0141】
Ｓ５では、学習部１０５は、所定回数の更新が終了したか否かを判定する。Ｓ５でＮＯと判定された場合にはＳ１の処理に戻る。所定回数は予め定めておけばよい。一方、Ｓ５でＹＥＳと判定された場合には図５の処理は終了し、最終の更新後の行動方策１１１と実行長方策１１２が学習済みの方策モデルとなる。
【0142】
以上のように、学習部１０５は、行動方策１１１と実行長方策１１２とを更新する処理を繰り返すことにより方策モデルを生成してもよい。この更新は、所定のタスクを完了させるまでに行動方策１１１を用いて決定した各行動に対して与えられる報酬と、当該各行動について実行長方策１１２を用いて決定した各実行長に対して与えられる報酬の総和が最大化されるように行われる。これにより、所定のタスクにおける最適な行動とその実行長を決定可能な方策モデルを生成することが可能になる。
【0143】
〔処理の流れ（タスクの試行）〕
図６は、図５のＳ１の処理、すなわちタスクの試行時に行われる処理の詳細を示すフローチャートである。なお、図５のＳ１の処理は学習時に行われるが、学習済みの方策モデルを用いた行動および実行長の決定も以下説明する処理と同様である。図６の処理はクレーン５の制御内容を決定する制御決定方法、あるいはクレーン５を自動制御する制御方法ということもできる。
図６は、図５のＳ１の処理、すなわちタスクの試行時に行われる処理の詳細を示すフローチャートである。なお、図５のＳ１の処理は学習時に行われるが、学習済みの方策モデルを用いた行動および実行長の決定も以下説明する処理と同様である。図６の処理はクレーン５の制御内容を決定する制御決定方法、あるいはクレーン５を自動制御する制御方法ということもできる。
【0144】
Ｓ１１では、学習中の行動方策１１１と実行長方策１１２の読み込みが行われる。具体的には、行動決定部１０１が行動方策１１１を読み込み、実行長決定部１０２が実行長方策１１２を読み込む。上述のように、行動方策１１１は数式（２６）～（２９）で表され、実行長方策１１２は数式（３０）～（３３）で表される。
【0145】
Ｓ１２では、更新変数と状態の初期化が行われる。具体的には、行動決定部１０１が更新変数ｏ１を１とし、エピソード収集部１０４が状態を初期状態ｓ１とし、状態確率を初期状態確率ｐ（ｓ１）とする。
【0146】
Ｓ１３では、行動決定部１０１が、更新変数ｏｔが１であるか否かを判定する。Ｓ１３でＹＥＳと判定された場合にはＳ１４の処理に進む。例えば、初期化直後であればｔが１であり、ｏ１は１であるからＳ１４の処理に進む。一方、Ｓ１３でＮＯと判定された場合にはＳ１９の処理に進む。
【0147】
Ｓ１９では、行動決定部１０１は、前回の行動を継続することを決定する。また、実行長決定部１０２は、実行長τｔを１減らす。言い換えれば、実行長決定部１０２は、τｔをτｔ－１－１に更新する。この後処理はＳ１５に進む。
【0148】
Ｓ１４では、行動と実行長が決定される。具体的には、行動決定部１０１が、Ｓ１１で読み込んだ行動方策１１１を用いて、現在の状態ｓｔにおいて行うべき行動を決定する。また、実行長決定部１０２が、Ｓ１１で読み込んだ実行長方策１１２を用いて、現在の状態ｓｔに応じた実行長を決定する。
【0149】
Ｓ１５では、行動決定部１０１が、更新変数ｏｔをｏｔ＋１に更新する。具体的には、行動決定部１０１は、τｔが１であればｏｔ＋１を１とし、τｔが１でなければｏｔ＋１を０とする。
【0150】
Ｓ１６では、クレーン制御部１０３が、Ｓ１４で決定された行動をクレーン５に実行させる。例えば、Ｓ１４で決定された行動が、廃棄物を掴む掴み動作である場合には、クレーン制御部１０３は、クレーン制御装置３を介してクレーン５に当該動作を実行させる。
【0151】
Ｓ１７では、エピソード収集部１０４が、Ｓ１６における行動実行後の観測データを取得して状態ｓｔをｓｔ＋１に更新する。例えば、時刻ｔにおいてクレーン５のバケットが把持している廃棄物の重量を状態ｓｔとする場合、エピソード収集部１０４は、Ｓ１６における行動実行後にバケットが把持している廃棄物の重量を観測データとして取得する。
【0152】
Ｓ１８では、エピソード収集部１０４が、タスクの実行が終了したか否かを判定する。タスクの終了条件は予め定めておけばよい。Ｓ１８でＹＥＳと判定された場合には図６の処理は終了し、Ｓ１８でＮＯと判定された場合にはＳ１３の処理に戻る。
【0153】
以上のように、情報処理装置１が実行する学習方法は、廃棄物を運搬するクレーン５を備えた廃棄物処理施設にて観測された観測データを取得するデータ取得ステップ（図６のＳ１７）と、観測データを用いて、クレーン５に実行させる行動を決定するための行動方策１１１と、当該行動の実行長を決定するための実行長方策１１２とを含む方策モデルを生成する学習ステップ（図５のＳ４）と、を含む。よって、廃棄物処理施設におけるクレーン５の制御に利用可能な高精度な方策モデルを生成することができる。そして、この方策モデルを利用することにより、不安定な環境下であっても、取得した観測結果から妥当な制御内容を決定することが可能になる。
【0154】
また、当該学習方法では、廃棄物処理施設にて観測された観測データを用いて学習を行うため、その廃棄物処理施設に最適な方策モデルを生成することができる。さらに、上記学習方法によれば、学習に用いる観測データの観測時の廃棄物の質に応じた方策モデルを生成することもできる。例えば、粘着性の高い廃棄物の運搬時に観測された観測データを用いて学習を行った場合には、粘着性の高い廃棄物をクレーン５で運搬させる制御に適した方策モデルが生成される。一方、粘着性の低い廃棄物の運搬時に観測された観測データを用いて学習を行った場合には、粘着性の低い廃棄物をクレーン５で運搬させる制御に適した方策モデルが生成される。このように、廃棄物の質に応じた複数の方策モデルを予め作成しておけば、それら複数の方策モデルの中から、そのときの廃棄物の質に応じた方策モデルを適用して、妥当性の高い制御内容を決定することもできる。
【0155】
〔変形例〕
上述の実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。例えば、上述の実施形態では、１つの情報処理装置１が、行動方策１１１および実行長方策１１２の学習と、学習済みの行動方策１１１および実行長方策１１２を用いたクレーン５の制御とを行っているが、これらの処理はそれぞれ別の装置で行うようにしてもよい。
上述の実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。例えば、上述の実施形態では、１つの情報処理装置１が、行動方策１１１および実行長方策１１２の学習と、学習済みの行動方策１１１および実行長方策１１２を用いたクレーン５の制御とを行っているが、これらの処理はそれぞれ別の装置で行うようにしてもよい。
【0156】
〔ソフトウェアによる実現例〕
情報処理装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるための学習プログラムであって、当該装置の各制御ブロック（特に制御部１０に含まれる各部）としてコンピュータを機能させるための学習プログラムにより実現することができる。
情報処理装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるための学習プログラムであって、当該装置の各制御ブロック（特に制御部１０に含まれる各部）としてコンピュータを機能させるための学習プログラムにより実現することができる。
【0157】
この場合、上記装置は、上記学習プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記学習プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0158】
上記学習プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記学習プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0159】
同様に、学習済みの行動方策１１１を用いてクレーン５に実行させる行動を決定する行動決定部１０１および学習済みの実行長方策１１２を用いて上記行動の実行長を決定する実行長決定部１０２としてコンピュータを機能させるための制御決定プログラムにより、情報処理装置１の機能のうち、観測データから行動と実行長を決定する機能を実現することもできる。
【0160】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0161】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0162】
１ 情報処理装置
１０１ 行動決定部
１０２ 実行長決定部
１０５ 学習部
１１１ 行動方策
１１２ 実行長方策
３ クレーン制御装置
５ クレーン
７ クレーン制御システム
１０１ 行動決定部
１０２ 実行長決定部
１０５ 学習部
１１１ 行動方策
１１２ 実行長方策
３ クレーン制御装置
５ クレーン
７ クレーン制御システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】