特開2023-173643情報処理装置、情報処理方法、および情報処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023173643
(43)【公開日】2023-12-07
(54)【発明の名称】情報処理装置、情報処理方法、および情報処理プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20231130BHJP
【ＦＩ】
G06N20/00
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2022086041
(22)【出願日】2022-05-26
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】皆本 岳
(72)【発明者】
【氏名】金子 敏充
(57)【要約】
【課題】機器に適用しながら強化学習を行う。
【解決手段】情報処理装置１０Ａは、取得部４０Ａと、第１行動価値関数特定部４０Ｂと、第２行動価値関数特定部４０Ｃと、行動決定部４０Ｄと、を備える。取得部４０Ａは、機器の一例である移動ロボット２０の現在状態を取得する。第１行動価値関数特定部４０Ｂは、第１推論モデルを強化学習により学習する学習機能を有し、現在状態と第１推論モデルとに基づいて、移動ロボット２０の第１行動価値関数を特定する。第２行動価値関数特定部４０Ｃは、現在状態とパラメータ更新対象外の第２推論モデルに基づいて、移動ロボット２０の第２行動価値関数を特定する。行動決定部４０Ｄは、第１行動価値関数および第２行動価値関数に基づいて、移動ロボット２０の第１行動を決定する。
【選択図】図２
【解決手段】情報処理装置１０Ａは、取得部４０Ａと、第１行動価値関数特定部４０Ｂと、第２行動価値関数特定部４０Ｃと、行動決定部４０Ｄと、を備える。取得部４０Ａは、機器の一例である移動ロボット２０の現在状態を取得する。第１行動価値関数特定部４０Ｂは、第１推論モデルを強化学習により学習する学習機能を有し、現在状態と第１推論モデルとに基づいて、移動ロボット２０の第１行動価値関数を特定する。第２行動価値関数特定部４０Ｃは、現在状態とパラメータ更新対象外の第２推論モデルに基づいて、移動ロボット２０の第２行動価値関数を特定する。行動決定部４０Ｄは、第１行動価値関数および第２行動価値関数に基づいて、移動ロボット２０の第１行動を決定する。
【選択図】図２
【特許請求の範囲】
【請求項1】
機器の現在状態を取得する取得部と、
第１推論モデルを強化学習により学習する機能を有し、前記現在状態と前記第１推論モデルとに基づいて、前記機器の第１行動価値関数を特定する第１行動価値関数特定部と、
前記現在状態とパラメータ更新対象外の第２推論モデルに基づいて、前記機器の第２行動価値関数を特定する第２行動価値関数特定部と、
前記第１行動価値関数および前記第２行動価値関数に基づいて、前記機器の第１行動を決定する行動決定部と、
を備える情報処理装置。
第１推論モデルを強化学習により学習する機能を有し、前記現在状態と前記第１推論モデルとに基づいて、前記機器の第１行動価値関数を特定する第１行動価値関数特定部と、
前記現在状態とパラメータ更新対象外の第２推論モデルに基づいて、前記機器の第２行動価値関数を特定する第２行動価値関数特定部と、
前記第１行動価値関数および前記第２行動価値関数に基づいて、前記機器の第１行動を決定する行動決定部と、
を備える情報処理装置。
【請求項2】
前記行動決定部は、
前記第１行動価値関数および前記第２行動価値関数の何れか一方を第３行動価値関数として選択し、選択した前記第３行動価値関数に基づいて前記第１行動を決定する、
請求項１に記載の情報処理装置。
前記第１行動価値関数および前記第２行動価値関数の何れか一方を第３行動価値関数として選択し、選択した前記第３行動価値関数に基づいて前記第１行動を決定する、
請求項１に記載の情報処理装置。
【請求項3】
前記行動決定部は、
前記第１推論モデルの学習時間に応じて、前記第１行動価値関数を前記第３行動価値関数として選択する第１選択確率と、前記第２行動価値関数を前記第３行動価値関数として選択する第２選択確率と、を変化させ、
学習時間が短いほど前記第１選択確率を低く且つ前記第２選択確率を高くし、
学習時間が長いほど前記第１選択確率を高く且つ前記第２選択確率を低くする、
請求項２に記載の情報処理装置。
前記第１推論モデルの学習時間に応じて、前記第１行動価値関数を前記第３行動価値関数として選択する第１選択確率と、前記第２行動価値関数を前記第３行動価値関数として選択する第２選択確率と、を変化させ、
学習時間が短いほど前記第１選択確率を低く且つ前記第２選択確率を高くし、
学習時間が長いほど前記第１選択確率を高く且つ前記第２選択確率を低くする、
請求項２に記載の情報処理装置。
【請求項4】
前記行動決定部は、
前記第１行動価値関数と前記第２行動価値関数とを合成した第３行動価値関数を特定する第３行動価値関数特定部と、
前記第３行動価値関数に基づいて前記第１行動を選択する行動選択部と
を有する、請求項１に記載の情報処理装置。
前記第１行動価値関数と前記第２行動価値関数とを合成した第３行動価値関数を特定する第３行動価値関数特定部と、
前記第３行動価値関数に基づいて前記第１行動を選択する行動選択部と
を有する、請求項１に記載の情報処理装置。
【請求項5】
前記第３行動価値関数特定部は、
前記第１行動価値関数と前記第２行動価値関数との最大関数を前記第３行動価値関数として特定する、
請求項４に記載の情報処理装置。
前記第１行動価値関数と前記第２行動価値関数との最大関数を前記第３行動価値関数として特定する、
請求項４に記載の情報処理装置。
【請求項6】
前記行動決定部は、
前記第１行動価値関数を前記第２行動価値関数に基づいて補正した第４行動価値関数を特定する行動価値関数補正部を有し、
前記第３行動価値関数特定部は、
前記第４行動価値関数と前記第２行動価値関数との最大関数を前記第３行動価値関数として特定する、
を備える請求項４に記載の情報処理装置。
前記第１行動価値関数を前記第２行動価値関数に基づいて補正した第４行動価値関数を特定する行動価値関数補正部を有し、
前記第３行動価値関数特定部は、
前記第４行動価値関数と前記第２行動価値関数との最大関数を前記第３行動価値関数として特定する、
を備える請求項４に記載の情報処理装置。
【請求項7】
前記行動価値関数補正部は、
前記第１行動価値関数を、前記第１行動価値関数によって表される行動に対する行動価値が前記第２行動価値関数によって表される行動に対する行動価値の最大値と最小値との間の値となるように補正した前記第４行動価値関数を特定する、
請求項６に記載の情報処理装置。
前記第１行動価値関数を、前記第１行動価値関数によって表される行動に対する行動価値が前記第２行動価値関数によって表される行動に対する行動価値の最大値と最小値との間の値となるように補正した前記第４行動価値関数を特定する、
請求項６に記載の情報処理装置。
【請求項8】
前記行動価値関数補正部は、
前記第１推論モデルの学習開始時の、前記第２行動価値関数を前記第３行動価値関数として選択する第２選択確率が予め定めた選択確率となるように、前記第１行動価値関数を補正した前記第４行動価値関数を特定する、
請求項６に記載の情報処理装置。
前記第１推論モデルの学習開始時の、前記第２行動価値関数を前記第３行動価値関数として選択する第２選択確率が予め定めた選択確率となるように、前記第１行動価値関数を補正した前記第４行動価値関数を特定する、
請求項６に記載の情報処理装置。
【請求項9】
前記行動価値関数補正部は、
ユーザによって入力された前記選択確率となるように前記第１行動価値関数を補正した前記第４行動価値関数を特定する、
請求項８に記載の情報処理装置。
ユーザによって入力された前記選択確率となるように前記第１行動価値関数を補正した前記第４行動価値関数を特定する、
請求項８に記載の情報処理装置。
【請求項10】
前記行動価値関数補正部は、
前記第１行動価値関数を、前記第１行動価値関数によって表される行動に対する行動価値が前記第２行動価値関数によって表される行動に対する行動価値の最大値と最小値との間の、ユーザによって入力された値となるように補正した前記第４行動価値関数を特定する、
請求項７に記載の情報処理装置。
前記第１行動価値関数を、前記第１行動価値関数によって表される行動に対する行動価値が前記第２行動価値関数によって表される行動に対する行動価値の最大値と最小値との間の、ユーザによって入力された値となるように補正した前記第４行動価値関数を特定する、
請求項７に記載の情報処理装置。
【請求項11】
前記第１行動価値関数特定部は、
前記現在状態と前記現在状態の報酬と前記第１行動とを用いて前記第１推論モデルを強化学習によって学習し、
前記第３行動価値関数の特定に前記第４行動価値関数が用いられた時の前記第１行動を用いて、前記第１推論モデルを強化学習により学習する、
請求項６に記載の情報処理装置。
前記現在状態と前記現在状態の報酬と前記第１行動とを用いて前記第１推論モデルを強化学習によって学習し、
前記第３行動価値関数の特定に前記第４行動価値関数が用いられた時の前記第１行動を用いて、前記第１推論モデルを強化学習により学習する、
請求項６に記載の情報処理装置。
【請求項12】
前記第２推論モデルは、
前記現在状態と第１ルールに基づく前記機器の行動のデータにより予め学習されている、請求項１に記載の情報処理装置。
前記現在状態と第１ルールに基づく前記機器の行動のデータにより予め学習されている、請求項１に記載の情報処理装置。
【請求項13】
複数の前記第２行動価値関数特定部を備える、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項14】
前記第１推論モデルの学習の進捗、前記第１行動価値関数および前記第２行動価値関数の少なくとも一方の前記行動決定部による選択確率、前記第１行動価値関数および前記第２行動価値関数の少なくとも一方の前記行動決定部による選択回数、前記第１行動が前記第１行動価値関数および前記第２行動価値関数の何れによって表される行動価値を最大にする行動であるか、前記第２行動価値関数によって表される行動価値を最大にする行動が前記第１行動として選択された選択確率、および、前記選択確率の推移、の少なくとも１つを表す情報を表示部に表示する表示制御部を備える、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項15】
機器の現在状態を取得するステップと、
第１推論モデルを強化学習により学習する学習機能を有し、前記現在状態と前記第１推論モデルとに基づいて、前記機器の第１行動価値関数を特定するステップと、
前記現在状態とパラメータ更新対象外の第２推論モデルに基づいて、前記機器の第２行動価値関数を特定するステップと、
前記第１行動価値関数および前記第２行動価値関数に基づいて、前記機器の第１行動を決定するステップと、
を含む情報処理方法。
第１推論モデルを強化学習により学習する学習機能を有し、前記現在状態と前記第１推論モデルとに基づいて、前記機器の第１行動価値関数を特定するステップと、
前記現在状態とパラメータ更新対象外の第２推論モデルに基づいて、前記機器の第２行動価値関数を特定するステップと、
前記第１行動価値関数および前記第２行動価値関数に基づいて、前記機器の第１行動を決定するステップと、
を含む情報処理方法。
【請求項16】
機器の現在状態を取得するステップと、
第１推論モデルを強化学習により学習する学習機能を有し、前記現在状態と前記第１推論モデルとに基づいて、前記機器の第１行動価値関数を特定するステップと、
前記現在状態とパラメータ更新対象外の第２推論モデルに基づいて、前記機器の第２行動価値関数を特定するステップと、
前記第１行動価値関数および前記第２行動価値関数に基づいて、前記機器の第１行動を決定するステップと、
をコンピュータに実行させるための情報処理プログラム。
第１推論モデルを強化学習により学習する学習機能を有し、前記現在状態と前記第１推論モデルとに基づいて、前記機器の第１行動価値関数を特定するステップと、
前記現在状態とパラメータ更新対象外の第２推論モデルに基づいて、前記機器の第２行動価値関数を特定するステップと、
前記第１行動価値関数および前記第２行動価値関数に基づいて、前記機器の第１行動を決定するステップと、
をコンピュータに実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
【背景技術】
【0002】
強化学習を用いた行動学習が行われている。強化学習では、様々な行動を試行錯誤して繰り返すことで機器の最適な行動を学習する。ロボットなどの機器を実際に用いて学習を行う場合、機器が意図せぬ状態に陥り、学習中に事故や故障が発生する場合がある。このため、学習中の安全性の確保が求められている。
【0003】
例えば、ルールベースで安全動作の枠組みを決定し、決定された枠組み内で強化学習により行動パラメータを決定する方法が開示されている。また、学習ベースのアルゴリズムによって生成された制御量を、ルールベースで生成した制御量から逸脱しないように修正する方法が提案されている。
【0004】
しかし、枠組み内の強化学習時にはランダムな行動探索が行われるため、従来技術では学習開始直後の性能が低く、必要な性能に達するまで時間を要していた。このため、従来技術では、機器に適用しながら機器の行動を強化学習によって学習することは困難であった。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１９－１０５８９１号公報
【特許文献2】特許第６６６３８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、上記に鑑みてなされたものであって、機器に適用しながら強化学習が可能な、情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
実施形態の情報処理装置は、取得部と、第１行動価値関数特定部と、第２行動価値関数特定部と、行動決定部と、を備える。取得部は、機器の現在状態を取得する。第１行動価値関数特定部は、第１推論モデルを強化学習により学習する学習機能を有し、前記現在状態と前記第１推論モデルとに基づいて、前記機器の第１行動価値関数を特定する。第２行動価値関数特定部は、前記現在状態とパラメータ更新対象外の第２推論モデルに基づいて、前記機器の第２行動価値関数を特定する。行動決定部は、前記第１行動価値関数および前記第２行動価値関数に基づいて、前記機器の第１行動を決定する。
【図面の簡単な説明】
【0008】
【図1】情報処理システムの説明図。
【図2】情報処理システムの機能ブロック図。
【図3A】学習初期段階の第１行動価値関数の模式図。
【図3B】第２行動価値関数の模式図。
【図4】第１選択確率と第２選択確率の推移の説明図。
【図5】表示画面の模式図。
【図6】表示画面の模式図。
【図7】表示画面の模式図。
【図8】情報処理装置が実行する情報処理の流れのフローチャート。
【図9】移動ロボットが実行する情報処理の流れのフローチャート。
【図10】報酬線の説明図。
【図11】情報処理システムの機能ブロック図。
【図12A】学習初期段階の第１行動価値関数の模式図。
【図12B】学習初期段階の第２行動価値関数の模式図。
【図12C】学習初期段階の第３行動価値関数と第１行動価値関数および第２行動価値関数との関係の模式図。
【図13A】学習進行段階の第１行動価値関数の模式図。
【図13B】学習進行段階の第２行動価値関数の模式図。
【図13C】学習進行段階の第３行動価値関数と第１行動価値関数および第２行動価値関数との関係の模式図。
【図14】表示画面の模式図。
【図15】表示画面の模式図。
【図16】情報処理装置が実行する情報処理の流れのフローチャート。
【図17】情報処理システムの機能ブロック図。
【図18】表示画面の模式図。
【図19A】学習初期段階の第１行動価値関数の模式図。
【図19B】学習初期段階の第２行動価値関数の模式図。
【図19C】第１行動価値関数と第４行動価値関数との関係の説明図。
【図19D】第３行動価値関数の特定の説明図。
【図20】情報処理装置が実行する情報処理の流れのフローチャート。
【図21】ハードウェア構成図。
【発明を実施するための形態】
【0009】
以下に添付図面を参照して、情報処理装置、情報処理方法、および情報処理プログラムの実施形態を詳細に説明する。
【0010】
（第１実施形態）
図１は、本実施形態の情報処理システム１の一例を示す説明図である。
図１は、本実施形態の情報処理システム１の一例を示す説明図である。
【0011】
情報処理システム１は、情報処理装置１０Ａと、移動ロボット２０と、運行管理システム３０と、を備える。情報処理装置１０と、移動ロボット２０と、運行管理システム３０とは、無線または有線により通信可能に接続されている。
【0012】
情報処理装置１０Ａは、情報処理装置１０の一例である。情報処理装置１０は、移動ロボット２０の行動を強化学習により学習する情報処理装置である。
【0013】
移動ロボット２０は、機器の一例である。機器とは、情報処理装置１０によって学習した行動を実行する物である。行動は、動作と称される場合もある。機器は、少なくとも一部の機構が動作する移動体である。機器は、コンピュータによって制御されることで動作する。移動体は、少なくとも一部の機構が動作すればよく、移動体の本体の位置が移動する形態、移動体の本体の位置が移動せず固定された形態、の何れであってもよい。機器は、例えば、マニピュレータを有する作業ロボット、位置移動機構を有する移動ロボット、自動車、船舶、飛翔体、などである。自動車は、具体的には、自律走行する自動運転車などである。飛翔体は、例えば、ドローンなどである。
【0014】
本実施形態では、機器が移動ロボット２０である形態を一例として説明する。
【0015】
移動ロボット２０は、例えば、予め定められた機能を有する。図１には、移動ロボット２０が、工場や倉庫などの予め定められた領域内で自律的に移動しながら荷物などを運搬する運搬機能を有する例を示す。例えば、移動ロボット２０は、出発地点Ａから目的地点Ｂに向かって自律的に移動する。出発地点Ａは、移動ロボット２０の待機場所などである。目的地点Ｂは、運搬対象の荷物の保管場所などである。
【0016】
出発地点Ａを表す出発地点情報および目的地点Ｂを表す目的地点情報は、例えば、運行管理システム３０から移動ロボット２０へ送信される。運行管理システム３０は、移動ロボット２０の運行を管理する情報処理装置である。
【0017】
出発地点Ａから目的地点Ｂまでの間には、例えば、様々な障害物Ｃや進入禁止領域Ｄなどが存在する。障害物Ｃは、移動ロボット２０の移動の障害となる物である。障害物Ｃは、例えば、他の移動ロボット、壁、棚、扉、人、などである。進入禁止領域Ｄは、移動ロボット２０の侵入を禁止する領域である。移動ロボット２０は、障害物Ｃとの衝突を回避し、且つ、進入禁止領域Ｄへの侵入を回避しながら、走行可能領域Ｅを安全に且つ効率よく移動する必要がある。
【0018】
情報処理装置１０Ａは、移動ロボット２０の行動を強化学習により学習する。本実施形態の情報処理装置１０Ａは、事前に学習するのではなく、実機である移動ロボット２０を現場適用しながら移動ロボット２０の行動を強化学習により学習する。
【0019】
図２は、情報処理システム１Ａの一例の機能ブロック図である。情報処理システム１Ａは、情報処理システム１の一例である。
【0020】
情報処理システム１は、情報処理装置１０Ａと、移動ロボット２０と、運行管理システム３０と、を備える。情報処理装置１０Ａ、移動ロボット２０、および運行管理システム３０は、ネットワークＮなどを介して通信可能に接続されている。
【0021】
移動ロボット２０は、制御部２２と、通信部２４と、センサ２６と、記憶部２８と、を備える。制御部２２、通信部２４、センサ２６および記憶部２８は、バス２９などを介して通信可能に接続されている。
【0022】
制御部２２は、移動ロボット２０において情報処理を実行する。制御部２２は、移動ロボット２０の行動を制御する。通信部２４は、ネットワークＮなどを介して情報処理装置１０Ａおよび運行管理システム３０と通信する通信インターフェースである。
【0023】
センサ２６は、移動ロボット２０および移動ロボット２０の周辺環境を検出する。本実施形態では、センサ２６は、移動ロボット２０の位置情報、車速情報、加速度情報、環境情報、などを検出する。環境情報は、移動ロボット２０の周囲の状態を表す情報である。環境情報は、例えば、移動ロボット２０の周囲の撮影画像、移動ロボット２０の周囲の障害物Ｃなどの物体の検出結果、などを表す情報である。
【0024】
センサ２６は、移動ロボット２０および移動ロボット２０の周辺環境を検出可能なセンサであればよい。センサ２６は、例えば、カメラ、レーダ装置、レーザーレンジファインダー、車速センサ、加速度センサなどである。
【0025】
センサ２６は、移動ロボット２０および移動ロボット２０の周辺環境を検出可能であればよく、配置位置および配置数は限定されない。また、センサ２６は、移動ロボット２０の外部に搭載されていてもよい。例えば、センサ２６は、移動ロボット２０が移動する移動環境に設置されていてもよい。また、センサ２６は、移動ロボット２０および移動ロボット２０の移動環境の双方に設置されていてもよい。
【0026】
制御部２２は、センサ２６の検出結果を情報処理装置１０Ａへ送信する。本実施形態では、制御部２２は、所定時間ごとにセンサ２６の検出結果を情報処理装置１０Ａへ送信する。すなわち、移動ロボット２０の制御部２２は、時系列に連続する検出結果を情報処理装置１０Ａへ順次送信する。
【0027】
記憶部２８は、各種のデータを記憶する。記憶部２８は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。
【0028】
運行管理システム３０は、移動ロボット２０の運行を管理する情報処理装置である。本実施形態では、運行管理システム３０は移動ロボット２０へ地図情報を送信する。なお、運行管理システム３０は、移動ロボット２０および情報処理装置１０Ａの双方へ地図情報を送信してもよい。
【0029】
地図情報は、出発地点情報、目的地点情報、進入禁止領域情報、走行可能領域情報、障害物情報、などを含む。出発地点情報は、出発地点を表す情報である。目的地点情報は、目的地点を表す情報である。進入禁止領域情報は、進入禁止領域を表す情報である。走行可能領域情報は、移動ロボット２０の走行可能な走行可能領域を表す情報である。具体的には、出発地点情報、目的地点情報、進入禁止領域情報、および走行可能領域情報は、図１中、出発地点Ａ、目的地点Ｂ、進入禁止領域Ｄ、および走行可能領域Ｅの各々を表す情報である。
【0030】
障害物情報は、障害物Ｃを表す情報である。本実施形態では、地図情報に含まれる障害物情報は、移動する可能性の低いまたは移動頻度の低い障害物Ｃを表す情報である。移動する可能性の低いまたは移動頻度の低い障害物Ｃは、例えば、壁、棚、扉、などである。
【0031】
情報処理装置１０Ａは、制御部４０と、記憶部４２と、入力部４４と、表示部４６と、通信部４８と、を備える。制御部４０、記憶部４２、入力部４４、表示部４６、および通信部４８は、バス４９などを介して通信可能に接続されている。
【0032】
記憶部４２は、各種のデータを記憶する。記憶部４２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部４２は、情報処理装置１０Ａの外部に設けられた記憶装置であってもよい。また、記憶部４２は、プログラムや各種の情報を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶または一時記憶した記憶媒体であってもよい。
【0033】
入力部４４は、ユーザによる各種の操作を受付ける。入力部４４は、例えば、キーボードおよびマウスなどのポインティングデバイス、マイクロフォン、などである。
【0034】
表示部４６は、各種の情報を表示する。表示部４６は、例えば、移動ロボット２０に関する設定、移動ロボット２０の状態、および移動ロボット２０による作業状況などを表示する。
【0035】
表示部４６と入力部４４とを一体的に構成し、タッチパネルとして構成してもよい。また、入力部４４および表示部４６は、情報処理装置１０Ｂとは別体として構成されていてもよい。この場合、入力部４４および表示部４６と、情報処理装置１０Ｂとを、通信可能に接続した構成とすればよい。
【0036】
通信部４８は、ネットワークＮなどを介して移動ロボット２０および運行管理システム３０と通信する通信インターフェースである。
【0037】
記憶部４２および制御部４０の少なくとも一方を、ネットワークＮおよび通信部４８を介して接続されたサーバ装置などの外部の情報処理装置に搭載した構成としてもよい。また、制御部４０に含まれる後述する機能部の少なくとも１つを、ネットワークＮおよび通信部４８を介して制御部４０に接続された、サーバ装置などの外部の情報処理装置に搭載してもよい。
【0038】
制御部４０は、情報処理装置１０Ａにおいて各種の情報処理を実行する。
【0039】
制御部４０は、取得部４０Ａと、第１行動価値関数特定部４０Ｂと、第２行動価値関数特定部４０Ｃと、行動決定部４０Ｄと、表示制御部４０Ｅと、送信制御部４０Ｆと、を備える。
【0040】
取得部４０Ａ、第１行動価値関数特定部４０Ｂ、第２行動価値関数特定部４０Ｃ、行動決定部４０Ｄ、表示制御部４０Ｅ、および送信制御部４０Ｆは、１つまたは複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２つ以上を実現してもよい。
【0041】
取得部４０Ａは、移動ロボット２０の現在状態を取得する。取得部４０Ａは、移動ロボット２０から受信したセンサ２６の検出結果および運行管理システム３０から受信した地図情報を用いて、移動ロボット２０の現在状態を取得する。なお、取得部４０Ａは、移動ロボット２０から地図情報を受信してもよい。
【0042】
移動ロボット２０の現在状態とは、移動ロボット２０の現在の状態情報である。状態情報は、移動ロボット２０本体の状態情報、周辺障害物の状態情報、および地図情報を含む。
【0043】
移動ロボット２０本体の状態情報とは、移動ロボット２０本体の状態を表す情報である。移動ロボット２０本体の状態情報は、例えば、移動ロボット２０の位置情報、車速情報、加速度情報、などである。
【0044】
例えば、取得部４０Ａは、移動ロボット２０から取得した検出結果に含まれる複数のカメラの撮影画像を解析することで、移動ロボット２０の位置情報を取得する。例えば、取得部４０Ａは、移動ロボット２０の移動環境に設置された複数のセンサ２６によって撮影された移動ロボット２０の撮影画像を画像解析することで、移動ロボット２０の位置座標を特定する。そして、取得部４０Ａは、特定した位置座標を、移動ロボット２０の位置情報として取得する。
【0045】
また、例えば、取得部４０Ａは、移動ロボット２０から取得した検出結果に含まれる車速情報および加速度情報を特定することで、移動ロボット２０の車速情報および加速度情報を取得する。取得部４０Ａは、移動ロボット２０の時系列の撮影画像などを解析することで、移動ロボット２０の車速情報および加速度情報を取得してもよい。
【0046】
周辺障害物の状態情報とは、移動ロボット２０の周辺に存在する障害物Ｃの状態を表す情報である。周辺障害物の状態情報は、例えば、移動ロボット２０の周辺に存在する障害物Ｃの位置情報および速度情報を含む。取得部４０Ａは、カメラおよびレーダ装置などのセンサ２６の検出結果を解析することで、障害物Ｃの位置情報および速度情報を取得する。なお、取得部４０Ａは、移動ロボット２０に対する障害物Ｃの相対位置および相対速度を、障害物Ｃの位置情報および速度情報として取得してもよい。また、取得部４０Ａは、移動ロボット２０の周辺の撮影画像を、周辺障害物の状態情報として取得してもよい。また、取得部４０Ａは、地図情報に含まれる障害物情報を特定することで、周辺障害物の状態情報を取得してもよい。
【0047】
取得部４０Ａは、移動ロボット２０の現在状態を取得すると、取得した現在状態の報酬を算出する。報酬とは、後述する第１行動価値関数特定部４０Ｂに設けられた第１推論モデルの強化学習で用いられる報酬である。
【0048】
取得部４０Ａは、移動ロボット２０の行動の結果である現在状態の好ましさに基づいて、第１推論モデルの強化学習で用いる報酬を算出する。
【0049】
詳細には、取得部４０Ａは、移動ロボット２０の行動の結果である現在状態が好ましい状態を表すほど、より大きな値の報酬を算出する。一方、取得部４０Ａは、移動ロボット２０の行動の結果である現在状態が好ましくない状態を表すほど、より小さい値の報酬を算出する。
【0050】
好ましい状態とは、移動ロボット２０が予め定められた基準に沿って行動した状態を意味する。基準は、予め定めればよい。例えば、好ましい状態は、障害物Ｃへの衝突を回避、進入禁止領域Ｄへの侵入を回避、目的地点Ｂへの到達、目的地点Ｂへの短い所要時間での到達、出発地点Ａから目的地点Ｂまでの複数回数の往復移動、などを表す。
【0051】
取得部４０Ａは、取得した移動ロボット２０の現在状態に基づいて、移動ロボット２０の行動が好ましい状態であるか否かを判別することで、報酬を算出する。
【0052】
例えば、以下の場合、取得部４０Ａは、移動ロボット２０の行動が好ましい状態であると判別し、より大きな値の報酬を算出する。例えば、取得部４０Ａが、取得した現在状態に基づいて、移動ロボット２０が目的地点Ｂに到達したと判別した場合を想定する。この場合、取得部４０Ａは、大きな値の報酬を算出する。また、取得部４０Ａが、取得した現在状態に基づいて、出発地点Ａから目的地点Ｂに到達するまでに要した所要時間を特定した場合を想定する。この場合、取得部４０Ａは、所要時間が短いほど大きな値の報酬を算出する。また、取得部４０Ａが、取得した現在状態に基づいて出発地点Ａから目的地点Ｂまでの単位時間あたりの往復回数を算出した場合を想定する。この場合、取得部４０Ａは、往復回数が多いほど大きな値の報酬を算出する。
【0053】
また、例えば、以下の場合、取得部４０Ａは移動ロボット２０の行動が好ましくない状態であると判別し、より小さい値、例えば、負の値の報酬を算出する。例えば、取得部４０Ａが、取得した現在状態に基づいて移動ロボット２０が好ましくない状態にあると判別した場合を想定する。例えば、取得部４０Ａが、現在状態に基づいて、目的地点Ｂへの到達不可能、移動ロボット２０の進入禁止領域Ｄへの侵入、移動ロボット２０の障害物Ｃへの衝突、などを判別した場合を想定する。この場合、取得部４０Ａは、より小さい値の報酬を算出する。
【0054】
次に、第１行動価値関数特定部４０Ｂについて説明する。第１行動価値関数特定部４０Ｂは、第１推論モデルを強化学習により学習する学習機能を有する。第１行動価値関数特定部４０Ｂは、現在状態と第１推論モデルとに基づいて、移動ロボット２０の第１行動価値関数を特定する。
【0055】
第１推論モデルとは、現在状態に基づいて第１行動価値関数を出力する機械学習モデルである。すなわち、第１推論モデルは、現在状態を入力とし、第１行動価値関数を出力とする機械学習モデルである。また、第１推論モデルは、第１行動価値関数特定部４０Ｂによる強化学習対象の機械学習モデルである。第１推論モデルは、例えば、ニューラルネットワークで構成される。
【0056】
第１行動価値関数とは、第１推論モデルから出力される行動価値関数である。
【0057】
行動価値関数とは、強化学習で用いられる公知の行動価値関数であり、タイミングｔの試行において行動ａを選択した場合の行動価値を表す関数である。タイミングｔは、試行回数を表す。タイミングｔは、時刻であってもよい。本実施形態では、タイミングｔが時刻ｔである形態を想定して説明する。
【0058】
行動価値とは、現在状態で行動ａを選択した結果として獲得できる割引累積報酬の期待値である。例えば、強化学習アルゴリズムＤＱＮ（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ）では、行動価値関数に基づいて行動ａの選択が行われる。
【0059】
第１行動価値関数は、例えば、Ｑ１（ｓ，ａ）と表される。ｓは現在状態を表し、ａは行動を表す。
【0060】
図３Ａは、学習初期段階の第１行動価値関数の一例を示す模式図である。学習初期段階とは、第１推論モデルが学習初期の段階にあることを表す。図３Ａ中、横軸は行動を表し、縦軸は行動価値を表す。線図５１は第１行動価値関数を表す。
【0061】
図２に戻り説明を続ける。
【0062】
第１行動価値関数特定部４０Ｂは、取得部４０Ａで取得した移動ロボット２０の現在状態と報酬とを用いて、第１行動価値関数を出力するように、第１推論モデルを強化学習によって学習する。
【0063】
報酬は、上述したように、取得した移動ロボット２０の現在状態に基づいて取得部４０Ａによって算出される。移動ロボット２０は、後述する行動決定部４０Ｄによって順次決定される第１行動に沿って行動する。
【0064】
第１行動とは、移動ロボット２０が次にとる行動を表す情報である。第１行動は、後述する行動決定部４０Ｄによって決定される。すなわち、第１行動とは、情報処理装置１０Ａによって決定される、移動ロボット２０が次にとる行動を表す情報である。第１行動は、例えば、移動ロボット２０の進行方向を示す情報である。進行方向は、例えば、右、左、直進、および停止、の何れか１つを表す。なお、第１行動は、移動ロボット２０の進行方向および目標速度を表す情報であってもよい。また、第１行動は、移動ロボット２０が次にとる行動を表す情報であればよく、進行方向および目標速度に限定されない。例えば、第１行動は、移動ロボット２０などの機器の動作機構に応じて決定すればよい。
【0065】
移動ロボット２０による第１行動に沿った行動によって、移動ロボット２０の現在状態は変化する。このため、報酬は、移動ロボット２０へ出力された第１行動に応じた値となる。
【0066】
そこで、第１行動価値関数特定部４０Ｂは、取得部４０Ａで取得した移動ロボット２０の現在状態と、報酬と、該報酬の算出に用いられた現在状況の制御に用いられた移動ロボット２０の第１行動と、を用いて、第１推論モデルを強化学習により学習する。
【0067】
詳細には、第１行動価値関数特定部４０Ｂは、取得部４０Ａで時刻ｔに取得した移動ロボット２０の現在状態ｓｔ、報酬ｒｔ、該報酬ｒｔの算出に用いられた移動ロボット２０の現在状況の制御に用いられた行動ａｔ、および、次の時刻ｔ＋１に取得部４０Ａで取得した現在状態ｓｔ+１、を含む経験データを記憶部４２に記憶する。そして、第１行動価値関数特定部４０Ｂは、経験データを用いて、第１推論モデルを強化学習により学習する。
【0068】
強化学習のアルゴリズムには、公知の強化学習アルゴリズムを使用すればよい。強化学習のアルゴリズムには、例えば、ＤＱＮ（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ）、Ｓａｒｓａ、Ａｃｔｏｒ－Ｃｒｉｔｉｃ等が用いられる。
【0069】
ＤＱＮにより強化学習を行う場合を想定する。また、経験データｘ＝（ｓｔ，ａｔ，ｒｔ，ｓｔ+１）がサンプリングされた場面を想定する。この場合、第１行動価値関数特定部４０Ｂは、以下の式（１）によって表される損失関数を用いてバックプロパゲーションを行うことで、第１推論モデルに含まれる複数のパラメータの各々の更新量を決定する。
【0070】
Ｌ＝（ｒｔ＋γｍａｘ｛Ｑ１（ｓｔ+１，ａｔ+１）｝－Ｑ１（ｓｔ，ａｔ））２ 式（１）
【0071】
式（１）中、Ｌは損失関数を表す。ｒｔは時刻ｔの報酬を表す。γは、強化学習において割引率と呼ばれる値である。Ｑ１（ｓｔ+１，ａｔ+１）は、次の時刻ｔ+１の第１行動価値関数を表す。Ｑ１（ｓｔ，ａｔ）は、時刻ｔの第１行動価値関数を表す。ｓｔは時刻ｔの現在状態ｓを表す。ａｔは時刻ｔの行動を表す。
【0072】
バックプロパゲーションとは、機械学習において、ニューラルネットワークを学習させる際に用いられるアルゴリズムである。バックプロパゲーションは、誤差逆伝播法と称される場合もある。
【0073】
第１行動価値関数特定部４０Ｂは、上記処理によって強化学習した第１推論モデルに取得部４０Ａで取得した現在状態を入力することで、該第１推論モデルからの出力として、時刻ｔで用いるための第１行動価値関数を特定する。
【0074】
第１行動価値関数特定部４０Ｂは、第１推論モデルを用いて特定した第１行動価値関数を行動決定部４０Ｄへ出力する。
【0075】
次に、第２行動価値関数特定部４０Ｃについて説明する。第２行動価値関数特定部４０Ｃは、現在状態と第２推論モデルとに基づいて、移動ロボット２０の第２行動価値関数を特定する。
【0076】
第２推論モデルは、現在状態に基づいて第２行動価値関数を出力するモデルである。すなわち、第２推論モデルは、現在状態を入力とし、第２行動価値関数を出力とするモデルである。また、第２推論モデルは、パラメータ更新対象外のモデルである。すなわち、第２推論モデルは、強化学習対象外のモデルである。例えば、第２推論モデルは、機械学習モデル、統計モデルなどである。
【0077】
本実施形態では、第２推論モデルが、ニューラルネットワーク等により構成された機械学習モデルである形態を一例として説明する。また、本実施形態では、第２推論モデルが、事前学習された学習済の機械学習モデルである形態を一例として説明する。第２推論モデルの事前学習には、公知の学習アルゴリズムを使用すればよい。第２推論モデルの事前学習には、例えば、オフライン強化学習のアルゴリズムＣｏｎｓｅｒｖａｔｉｖｅ Ｑ Ｌｅａｒｎｉｎｇ等が用いられる。
【0078】
第２推論モデルの事前学習に用いる学習データは、どのように収集されたデータであってもよい。例えば、学習データは、人間がロボットを操作することによって収集した経験データ、ランダム方策による経験データ、等を用いればよい。
【0079】
本実施形態では、第２推論モデルが、第１ルールに基づく移動ロボット２０の行動のデータにより予め学習されている場合を一例として説明する。
【0080】
第１ルールに基づく移動ロボット２０の行動とは、移動ロボット２０が次にとる行動を表す情報である。言い換えると、第１ルールに基づく移動ロボット２０の行動は、ルールベースで決定される行動を表す情報である。第１ルールに基づく移動ロボット２０の行動は、例えば、第１行動と同様に移動ロボット２０の進行方向を表す情報であってもよい。また、該行動は、第１行動と同様に移動ロボット２０の進行方向および目標速度などを表す情報であってもよい。
【0081】
第１ルールとは、移動ロボット２０の行動に関する最低要求性能を満たすルールである。最低要求性能とは、移動ロボット２０の管理者などによって予め定められた、移動ロボット２０に対する最低基準の要求性能である。
【0082】
例えば、第１ルールは、出発地点情報と目的地点情報と地図情報からＡ＊（Ａ－ｓｔａｒ）法などの探索アルゴリズムにより決定される経路に沿って進行することを表すルールである。また、第１ルールは、障害物Ｃが存在する場合には、障害物Ｃの手前で停止または障害物Ｃを避けた進行を表すルールである。なお、障害物Ｃの手前で停止するルールとした場合、障害物Ｃへの衝突は回避される。しかし、移動ロボット２０が目的地点Ｂに到達するまでに検出される障害物Ｃの数が多いほど、単位時間あたりの移動ロボット２０の行動効率は低下する。このため、安全性担保および最低要求性能の双方を満たすルールとなるように、第１ルールを設定することが好ましい。
【0083】
第２行動価値関数とは、第２推論モデルから出力される行動価値関数である。行動価値関数の定義は、上述したため、ここでは説明を省略する。第２行動価値関数は、例えば、Ｑ２（ｓ，ａ）と表される。ｓは現在状態を表し、ａは行動を表す。
【0084】
【0085】
図２に戻り説明を続ける。
【0086】
第２行動価値関数特定部４０Ｃは、取得部４０Ａで取得した現在状態を第２推論モデルへ入力することで、該第２推論モデルからの出力として、時刻ｔで用いるための第２行動価値関数を特定する。
【0087】
上述したように、本実施形態では、第２行動価値関数特定部４０Ｃは、第１ルールに基づく移動ロボット２０の行動のデータにより予め学習されている第２推論モデルを用いて、第２行動価値関数を特定する。このため、現在状態において第２行動価値関数によって表される行動価値を最大にする行動は、第１ルールによるルールベースで決定された行動を表すものとなる。
【0088】
第２行動価値関数特定部４０Ｃは、第２推論モデルを用いて特定した第２行動価値関数を行動決定部４０Ｄへ出力する。
【0089】
次に、行動決定部４０Ｄについて説明する。
【0090】
行動決定部４０Ｄは、第１行動価値関数および第２行動価値関数に基づいて、移動ロボット２０の第１行動を決定する。第１行動は、上述したように、移動ロボット２０が次にとる行動を表す情報である。
【0091】
例えば、行動決定部４０Ｄは、第１行動価値関数によって表される行動価値、および、第２行動価値関数によって表される行動価値、の何れか一方を最大にする行動を、第１行動として決定する。言い換えると、行動決定部４０Ｄは、第１行動価値関数によって表される行動価値の内、最大の行動価値に対応する行動、または、第２行動価値関数によって表される行動価値の内、最大の行動価値に対応する行動を、第１行動として決定する。
【0092】
また、行動決定部４０Ｄは、第１行動価値関数および第２行動価値関数の何れか一方を第３行動価値関数として選択し、選択した第３行動価値関数に基づいて第１行動を決定してよい。第３行動価値関数は、例えば、Ｑ３（ｓ，ａ）と表される。ｓは現在状態を表し、ａは行動を表す。
【0093】
例えば、行動決定部４０Ｄは、第１推論モデルの学習時間に応じて、第１行動価値関数を第３行動価値関数として選択する第１選択確率と、第２行動価値関数を第３行動価値関数として選択する第２選択確率と、を変化させる。学習時間が長いほど、第１推論モデルの学習の進捗がより進行していることを意味する。学習時間が長いとは、より学習の進捗が進行していることを表す。学習時間は、例えば、第１推論モデルの試行回数または累積計算時間によって表される。
【0094】
第１選択確率とは、行動決定部４０Ｄが第１行動価値関数を第３行動価値関数として選択する選択確率を表す。言い換えると、第１選択確率は、第１行動価値関数によって表される行動価値の内の最大の行動価値に対応する行動が、第１行動として選択される選択確率を表す。
【0095】
第２選択確率とは、行動決定部４０Ｄが第２行動価値関数を第３行動価値関数として選択する選択確率を表す。言い換えると、第２選択確率は、第２行動価値関数によって表される行動価値の内の最大の行動価値に対応する行動が、第１行動として選択される選択確率を表す。
【0096】
この場合、行動決定部４０Ｄは、学習時間が短いほど第１選択確率を低く且つ第２選択確率を高くし、学習時間が長いほど第１選択確率を高く且つ第２選択確率を低くする。
【0097】
すなわち、行動決定部４０Ｄは、学習開始時には第１選択確率を第２選択確率より低く設定する。そして、行動決定部４０Ｄは、第１選択確率を学習時間の経過に応じて線形に増加させる。
【0098】
【0099】
例えば、学習開始時刻すなわちｔ＝０の時刻の第１選択確率をε＝ε０とする。最大学習時間をｔｍａｘとし、時刻ｔにおける第１選択確率をε＝ε０（ｔ／ｔｍａｘ）とする。この場合、第２選択確率は、１－ε＝ε０（１－ｔ／ｔｍａｘ）となる。
【0100】
行動決定部４０Ｄは、学習開始時点では、第１選択確率を低く設定する。例えば、ε＝ε０＝０．０５とする。そして、行動決定部４０Ｄは、学習時間が経過するほど、第１選択確率を高くし、第２選択確率を低くする。このため、行動決定部４０Ｄが第１行動価値関数を第３行動価値関数として選択する第１選択確率εは、例えば、図４に示す線図５０によって表される。
【0101】
このため、第１推論モデルの学習が不十分な学習初期段階では、第２行動価値関数が第３行動価値関数として選択される確率が高くなる。そして、第１推論モデルの学習の進捗が進行するほど、第１行動価値関数が第３行動価値関数として選択される確率が高くなる。
【0102】
そして、行動決定部４０Ｄは第３行動価値関数に基づいて第１行動を決定する。例えば、第３行動価値関数における最大の行動価値に対応する行動を、第１行動として決定する。具体的には、第１行動は、下記式（Ａ）によって表される。
【0103】
ａｒｇ ｍａｘ｛Ｑ1（ｓ，ａ）｝ 式（Ａ）
【0104】
なお、行動決定部４０Ｄによる探索方法は、本方法に限定されない。例えば、行動決定部４０Ｄは、第３行動価値関数を用いたボルツマン探索を行ってもよい。この探索により、行動決定部４０Ｄは、最も選択確率の高い行動、すなわち第３行動価値関数における最大の行動価値に対応する行動を、第１行動として決定する確率が高くなる。また、例えば、行動決定部４０Ｄは、第３行動価値関数を用いたイプシロングリーディ探索により、第１行動を決定してもよい。
【0105】
第３行動価値関数を用いたボルツマン探索を行う場合、現在状態ｓで行動ａを選択する選択確率ｐ（ａ｜ｓ）は、下記式（２）によって表される。
【0106】
ｐ（ａ｜ｓ）＝ｅｘｐ（Ｑ３（ｓ，ａ）／Ｔ）／Σｅｘｐ（Ｑ３（ｓ，ｂ）／Ｔ）
式（２）
式（２）
【0107】
式（２）中、Ｑ３（ｓ，ａ）は第３行動価値関数を表す。Ｔはボルツマン温度を表す。Σは取り得る行動ｂ∈ＡについてのＱ３（ｓ，ｂ）の和を計算することを表す。Ａは取り得る行動の集合、すなわち行動空間を示す。ｓは現在状態を表す。ａは行動を表す。Ｑ３（ｓ，ｂ）のｂは、行動空間Ａの要素、すなわち取り得る行動のどれか１つである。
【0108】
これらの処理により、行動決定部４０Ｄは、第３行動価値関数として選択した第１行動価値関数、または、第３行動価値関数として選択した第２行動価値関数における、最大の行動価値に対応する行動を第１行動として決定する。
【0109】
このため、行動決定部４０Ｄが第１推論モデルの学習時間に応じて第１選択確率と第２選択確率を変化させることで、学習初期の段階では第２行動価値関数における最大の行動価値に対応する行動が第１行動として決定される確率が高くなる。また、学習時間が経過し、学習の進捗が進行するほど、第１行動価値関数における最大の行動価値に対応する行動が第１行動として決定される確率が高くなる。
【0110】
本実施形態では、第２行動価値関数の特定に用いられる第２推論モデルは、移動ロボット２０の行動に関する最低要求性能を満たすルールである第１ルールに基づく移動ロボット２０の行動のデータにより予め学習されている。
【0111】
このため、行動決定部４０Ｄは、学習の進捗に拘わらず第１行動を決定する場合に比べて、獲得できる報酬の高い行動を第１行動として選択することができる。言い換えると、行動決定部４０Ｄは、第１推論モデルの学習の初期の段階から学習が十分に進行した段階の全般にわたって、移動ロボット２０の行動に関する最低要求性能を満たしながら第１推論モデルを学習可能な第１行動を決定することができる。
【0112】
なお、図４には、学習時間に対して第１選択確率を線形に変化させる形態を一例として示した。しかし、第１選択確率の変化は、線形に変化させる形態に限定されない。また、第１選択確率の変化は、ユーザによる入力部４４の操作指示などによって適宜変更可能としてもよい。
【0113】
図２に戻り説明を続ける。
【0114】
表示制御部４０Ｅは、各種の画像を表示部４６に表示する。
【0115】
本実施形態では、表示制御部４０Ｅは、第１推論モデルの学習の進捗、第１行動価値関数および第２行動価値関数の少なくとも一方の行動決定部４０Ｄによる選択確率、第１行動価値関数および第２行動価値関数の少なくとも一方の行動決定部４０Ｄによる選択回数、および、第１行動が第１行動価値関数および第２行動価値関数の何れによって表される行動価値を最大にする行動であるか、の少なくとも１つを表す情報を、表示部４６に表示する。
【0116】
表示制御部４０Ｅが表示する第１推論モデルの学習の進捗は、現在時刻における進捗である。例えば、表示制御部４０Ｅは、第１推論モデルの学習時間、第１推論モデルの学習終了までの時間、などを現在時刻における進捗として表示する。このため、表示制御部４０Ｅは、現在時刻における第１推論モデルの学習の進捗状況を、ユーザに対して容易に確認可能に提供することができる。
【0117】
表示制御部４０Ｅが表示する選択確率は、現在時刻における、行動決定部４０Ｄが第１行動価値関数を第３行動価値関数として選択する第１選択確率、および、第２行動価値関数を第３行動価値関数として選択する第２選択確率、の少なくとも一方である。上述したように、第１選択確率および第２選択確率は、学習の進捗に応じて変化する。このため、表示制御部４０Ｅが、選択確率を表示することで、現在時刻における第１選択確率および第２選択確率の少なくとも一方を、ユーザに対して容易に確認可能に提供することができる。
【0118】
表示制御部４０Ｅが表示する選択回数は、第１推論モデルの学習開始時から現在時刻までの期間における、行動決定部４０Ｄが第１行動価値関数を第３行動価値関数として選択した選択回数、および、第２行動価値関数を第３行動価値関数として選択した選択回数、の少なくとも一方である。上述したように、第１選択確率および第２選択確率は、学習の進捗に応じて変化する。このため、第１行動価値関数および第２行動価値関数の各々の選択回数も学習の進捗に応じて変化する。このため、表示制御部４０Ｅが、選択回数を表示することで、現在時刻における第１行動価値関数および第２行動価値関数の行動決定部４０Ｄによる選択状況を、ユーザに対して容易に確認可能に提供することができる。
【0119】
表示制御部４０Ｅが表示する、第１行動が第１行動価値関数および第２行動価値関数の何れによって表される行動価値を最大にする行動であるかを表す情報は、現在時刻において行動決定部４０Ｄが選択した第１行動を表す情報である。このため、表示制御部４０Ｅは、現在時刻において移動ロボット２０が次にとる行動が、第１行動価値関数によって表される行動価値を最大にする行動または第２行動価値関数によって表される行動価値を最大にする行動の何れであるかをユーザに対して容易に確認可能に提供することができる。
【0120】
表示制御部４０Ｅは、これらの情報を、１つの表示画面に表示してもよいし、異なる複数の表示画面に表示してもよい。また、表示制御部４０Ｅは、これらの情報の全てを、同じタイミングで表示画面に表示してもよいし、少なくとも１つの情報を他の情報とは異なるタイミングで表示画面に表示してもよい。
【0121】
【0122】
図５は、表示画面６０の一例を示す模式図である。表示画面６０は、表示画面７０の一例である。
【0123】
表示画面６０は、第１推論モデルの学習の進捗を表す画像６０Ａと、第１行動価値関数を選択する確率である第１選択確率を表す画像６０Ｂと、第１行動価値関数の選択回数を表す画像６０Ｃと、第２行動価値関数の選択回数を表す画像６０Ｄと、を含む。図５には、第１推論モデルの学習の進捗を表す画像６０Ａとして、第１推論モデルの学習終了までの時刻を一例として示す。
【0124】
表示制御部４０Ｅは、行動決定部４０Ｄが選択した第１行動、第１行動の選択時に用いた第１行動価値関数の第１選択確率ε、第１行動の選択に用いた第１行動価値関数、第２行動価値関数、および進捗を用いて、表示画面６０を生成し表示すればよい。
【0125】
図６は、表示画面６２の一例を示す模式図である。表示画面６２は、表示画面７０の一例である。
【0126】
表示画面６２は、第１行動が第１行動価値関数および第２行動価値関数の何れにより決定された行動であるかを表す情報を含む。例えば、移動ロボット２０の行動候補が、進行方向である“直進”、“右”、“左”、および“停止”、である場合を想定する。そして、行動決定部４０Ｄによって第１行動価値関数が第３行動価値関数として選択され、選択された第３行動価値関数から決定された第１行動が進行方向“直進”を表す場合を想定する。
【0127】
この場合、例えば、表示制御部４０Ｅは、第１行動価値関数から決定された行動である学習ベースの行動を表す情報６２Ｃ、および、第２行動価値関数から決定された行動であるルールベースの行動を表す情報６２Ｄを表示する。そして、表示制御部４０Ｅは、情報６２Ｃの選択アイコンの色を有色表示し、情報６２Ｄの選択アイコンの色を無色表示とする。情報６２Ｃの選択アイコンを有色表示することで、表示制御部４０Ｅは、第１行動価値関数から第１行動が決定された状態であることを表示する。
【0128】
また、例えば、表示制御部４０Ｅは、移動ロボット２０を表すアイコン画像６２Ｂの周囲に、移動ロボット２０の行動候補を表す画像６２Ａを表示する。そして、表示制御部４０Ｅは、選択された“直進”を表す画像を他の行動候補とは異なる色または明るさで表示する。例えば、表示制御部４０Ｅは、“直進”を表す画像を点灯し、他の行動候補を表す画像を非点灯とする。“直進”を表す画像を点灯することで、表示制御部４０Ｅは、第１行動価値関数から進行方向“直進”が第１行動として決定された状態であることを表示する。
【0129】
図７は、表示画面６４の一例を示す模式図である。表示画面６４は、表示画面７０の一例である。
【0130】
表示画面６４は、第１行動が第１行動価値関数および第２行動価値関数の何れにより決定された行動であるかを表す情報を含む。例えば、移動ロボット２０の行動候補が、進行方向である“直進”、“右”、“左”、および“停止”、である場合を想定する。そして、行動決定部４０Ｄによって第２行動価値関数が第３行動価値関数として選択され、選択された第３行動価値関数から決定された第１行動が進行方向“左”を表す場合を想定する。
【0131】
この場合、例えば、表示制御部４０Ｅは、第１行動価値関数から決定された行動である学習ベースの行動を表す情報６４Ｃ、および、第２行動価値関数から決定された行動であるルールベースの行動を表す情報６４Ｄを表示する。そして、表示制御部４０Ｅは、情報６４Ｄの選択アイコンの色を有色表示し、情報６４Ｃの選択アイコンの色を無色表示とする。情報６４Ｄの選択アイコンを有色表示することで、表示制御部４０Ｅは、第２行動価値関数から第１行動が決定された状態であることを表示する。
【0132】
また、例えば、表示制御部４０Ｅは、移動ロボット２０を表すアイコン画像６４Ｂの周囲に、移動ロボット２０の行動候補を表す画像６４Ａを表示する。そして、表示制御部４０Ｅは、選択された“左”を表す画像を他の行動候補とは異なる色または明るさで表示する。例えば、表示制御部４０Ｅは、“左”を表す画像を点灯し、他の行動候補を表す画像を非点灯とする。“左”を表す画像を点灯することで、表示制御部４０Ｅは、第２行動価値関数から進行方向“左”が第１行動として決定された状態であることを表示する。
【0133】
表示制御部４０Ｅが、これらの表示画面７０を表示部４６に表示することで、ユーザに対して学習の進捗状況などの各種の情報を分かりやすく提供することができる。このため、ユーザは表示画面７０を確認することで、移動ロボット２０の行動に関する第１推論モデルの学習が途中であるか完了しているかを容易に把握することができる。
【0134】
図２に戻り説明を続ける。
【0135】
送信制御部４０Ｆは、行動決定部４０Ｄで選択された第１行動を、通信部４８を介して移動ロボット２０へ送信する。
【0136】
移動ロボット２０の制御部２２は、通信部２４を介して運行管理システム３０から地図情報を受信する。制御部２２は、地図情報に含まれる出発地点情報によって表される出発地点Ａから、地図情報に含まれる目的地点情報によって表される目的地点Ｂへ向かって移動する行動を開始するように、移動ロボット２０の駆動部を制御する。この処理により、移動ロボット２０は、行動を開始する。
【0137】
移動ロボット２０の制御部２２は、行動を開始すると、センサ２６の検出結果を情報処理装置１０Ａへ送信する。制御部２２は、センサ２６の検出結果を所定間隔で順次情報処理装置１０Ａへ送信する。制御部２２は、送信した検出結果に対する応答として、情報処理装置１０Ａから第１行動を受信する。制御部２２は、受信した第１行動に応じた行動を実行するように、移動ロボット２０の駆動部を制御する。
【0138】
このため、移動ロボット２０は、情報処理装置１０Ａで決定された第１行動を実行する。すなわち、移動ロボット２０は、情報処理装置１０Ａから順次送信される第１行動に沿って行動することで、出発地点Ａから目的地点Ｂへ向かって移動することができる。
【0139】
次に、本実施形態の情報処理装置１０Ａが実行する情報処理の流れの一例を説明する。
【0140】
図８は、本実施形態の情報処理装置１０Ａが実行する情報処理の流れの一例を示すフローチャートである。
【0141】
取得部４０Ａが、移動ロボット２０の現在状態を取得する（ステップＳ１００）。取得部４０Ａは、移動ロボット２０から受信したセンサ２６の検出結果および運行管理システム３０から受信した地図情報を用いて、移動ロボット２０の現在状態を取得する。
【0142】
次に、取得部４０Ａは、ステップＳ１００で取得した現在状態の報酬を算出する（ステップＳ１０２）。
【0143】
第１行動価値関数特定部４０Ｂは、ステップＳ１００で取得した現在状態およびステップＳ１０２で算出された報酬を用いて、より報酬の高い現在状態の得られる第１行動価値関数を出力するように、第１推論モデルを強化学習により学習する（ステップＳ１０４）。
【0144】
第１行動価値関数特定部４０Ｂは、第１行動価値関数を特定する（ステップＳ１０６）。第１行動価値関数特定部４０Ｂは、ステップＳ１０４で強化学習した第１推論モデルへステップＳ１００で取得した現在状態を入力することで、第１推論モデルからの出力として第１行動価値関数を特定する。
【0145】
第２行動価値関数特定部４０Ｃは、第２行動価値関数を特定する（ステップＳ１０８）。第２行動価値関数特定部４０Ｃは、ステップＳ１００で取得した現在状態を第２推論モデルへ入力することで、第２推論モデルからの出力として第２行動価値関数を特定する。
【0146】
次に、行動決定部４０Ｄは、第１行動価値関数特定部４０Ｂの第１推論モデルの学習の進捗を特定する（ステップＳ１１０）。例えば、行動決定部４０Ｄは、第１推論モデルの学習時間を学習の進捗として特定する。
【0147】
行動決定部４０Ｄは、ステップＳ１１０で特定した学習の進捗に応じて、ステップＳ１０６で特定された第１行動価値関数またはステップＳ１０８で特定された第２行動価値関数を、第３行動価値関数として選択する（ステップＳ１１２）。
【0148】
行動決定部４０Ｄは、ステップＳ１１２で選択した第３行動価値関数から第１行動を決定する（ステップＳ１１４）。
【0149】
送信制御部４０Ｆは、ステップＳ１１４で決定された第１行動を移動ロボット２０へ送信する（ステップＳ１１６）。
【0150】
表示制御部４０Ｅは表示画面７０を表示部４６に表示する（ステップＳ１１８）。なお、表示画面７０を表示部４６に表示するタイミングは、このタイミングに限定されない。例えば、表示制御部４０Ｅは、ステップＳ１００の処理開始前に表示部４６への表示画面７０の表示を開始し、制御部４０による処理状況に応じて表示画面７０の表示内容を更新してもよい。
【0151】
制御部４０は、処理を終了するか否かを判断する（ステップＳ１２０）。例えば、制御部４０は、ユーザによる入力部４４の操作指示などにより処理終了を示す信号が入力されたか否かを判別することで、ステップＳ１２０の判断を行う。ステップＳ１２０で否定判断すると（ステップＳ１２０：Ｎｏ）、上記ステップＳ１００へ戻る。ステップＳ１２０で肯定判断すると（ステップＳ１２０：Ｙｅｓ）、本ルーチンを終了する。
【0152】
次に、本実施形態の移動ロボット２０が実行する情報処理の流れの一例を説明する。
【0153】
図９は、本実施形態の移動ロボット２０が実行する情報処理の流れの一例を示すフローチャートである。
【0154】
移動ロボット２０の制御部２２は、通信部２４を介して運行管理システム３０から地図情報を取得する（ステップＳ２００）。制御部２２は、地図情報に含まれる出発地点情報によって表される出発地点Ａから、地図情報に含まれる目的地点情報によって表される目的地点Ｂへ向かって移動する行動を開始するように、移動ロボット２０の駆動部を制御する。この処理により、移動ロボット２０は、行動を開始する（ステップＳ２０２）。
【0155】
制御部２２は、センサ２６の検出結果を情報処理装置１０Ａへ送信する（ステップＳ２０４）。
【0156】
制御部２２は、ステップＳ２０４で送信した検出結果に対する応答として、情報処理装置１０Ａから第１行動を受信する（ステップＳ２０６）。制御部２２は、受信した第１行動に応じた行動を実行するように、移動ロボット２０の駆動部を制御する。このため、移動ロボット２０は、情報処理装置１０Ａで決定された第１行動を実行する（ステップＳ２０８）。
【0157】
制御部２２は、処理を終了するか否かを判断する（ステップＳ２１０）。例えば、制御部２２は、ユーザによる操作指示などによって処理終了信号が入力されたか否かを判別することで、処理を終了するか否かを判断する（ステップＳ２１０）。ステップＳ２１０で否定判断すると（ステップＳ２１０：Ｎｏ）、ステップＳ２０４へ戻る。一方、ステップＳ２１０で肯定判断すると（ステップＳ２１０：Ｙｅｓ）、本ルーチンを終了する。
【0158】
以上説明したように、本実施形態の情報処理装置１０Ａは、取得部４０Ａと、第１行動価値関数特定部４０Ｂと、第２行動価値関数特定部４０Ｃと、行動決定部４０Ｄと、を備える。取得部４０Ａは、機器の一例である移動ロボット２０の現在状態を取得する。第１行動価値関数特定部４０Ｂは、第１推論モデルを強化学習により学習する学習機能を有し、現在状態と第１推論モデルとに基づいて、移動ロボット２０の第１行動価値関数を特定する。第２行動価値関数特定部４０Ｃは、現在状態とパラメータ更新対象外の第２推論モデルに基づいて、移動ロボット２０の第２行動価値関数を特定する。行動決定部４０Ｄは、第１行動価値関数および第２行動価値関数に基づいて、移動ロボット２０の第１行動を決定する。
【0159】
従来技術では、ランダムな行動探索によって強化学習を行っていた。このため、従来技術では、移動ロボット２０等の機器に適用しながら機器の行動を学習することは困難であった。
【0160】
一方、本実施形態の情報処理装置１０Ａでは、強化学習対象の第１推論モデルから特定された第１行動価値関数と、パラメータ更新対象外の第２推論モデルから特定された第２行動価値関数と、に基づいて、移動ロボット２０の第１行動を決定する。
【0161】
情報処理装置１０Ａによる学習状況は変化する。学習状況は、例えば、第１推論モデルの学習の進捗、学習の進捗に応じて変化する第１行動価値関数、および第２行動価値関数に対する第１行動価値関数の変動状況、などである。このため、行動決定部４０Ｄが学習状況に応じて第１行動価値関数および第２行動価値関数から第１行動を決定することで、第１推論モデルの学習の初期の段階から学習が十分に進行した段階の全般にわたって、移動ロボット２０の行動に関する最低要求性能を満たしながら第１推論モデルを学習可能な第１行動を決定することができる。
【0162】
このため、本実施形態の情報処理装置１０Ａは、実機である移動ロボット２０で運用しながら第１推論モデルを強化学習により学習することができる。
【0163】
従って、本実施形態の情報処理装置１０Ａは、機器に適用しながら強化学習を行うことができる。
【0164】
また、本実施形態の情報処理装置１０Ａでは、行動決定部４０Ｄが、第１行動価値関数および第２行動価値関数の何れか一方を第３行動価値関数として選択し、選択した第３行動価値関数に基づいて第１行動を決定する。上述したように、行動決定部４０Ｄは、第１推論モデルの学習時間に応じて、第１行動価値関数を第３行動価値関数として選択する第１選択確率と、第２行動価値関数を第３行動価値関数として選択する第２選択確率と、を変化させ、学習時間が短いほど第１選択確率を低く且つ第２選択確率を高くし、学習時間が長いほど第１選択確率を高く且つ第２選択確率を低くする。
【0165】
上述したように、第１行動確率関数は、第１推論モデルを用いて特定された行動価値関数である。また、第２行動価値関数は、例えば、第１ルールに基づく移動ロボット２０の行動のデータにより予め学習された第２推論モデルを用いて特定された行動価値関数である。そして、行動決定部４０Ｄは、第１推論モデルの学習時間に応じて第１行動価値関数および第２行動価値関数の何れか一方を第３行動価値関数として選択し、第３行動価値関数を用いて第１行動を決定する。
【0166】
このため、行動決定部４０Ｄは、第１推論モデルの学習が不十分な学習初期段階では第１ルールを用いたルールベースで決定された第２行動価値関数を用いて第１行動を決定し、第１推論モデルの学習の進捗が進行するほど、学習ベースで決定された第１行動価値関数を用いて第１行動を決定する確率を高くすることができる。
【0167】
よって、学習初期の段階では、第２行動価値関数によって表される行動価値を最大にする行動が第１行動として決定される確率が高くなる。第２行動価値関数の特定に用いられる第２推論モデルは、移動ロボット２０の行動に関する最低要求性能を満たす第１ルールに基づいた移動ロボット２０の行動のデータにより予め学習されている。このため、本実施形態の情報処理装置１０Ａでは、学習初期における移動ロボット２０の行動に関する最低要求性能を満たすことができる。
【0168】
また、学習時間が長くなり、学習の進捗が進行するほど、第１行動価値関数によって表される行動価値を最大にする行動が第１行動として決定される確率が高くなる。学習の進捗が進行するほど、第１行動関数の特定に用いられる第１推論モデルによって得られる第１行動に基づく報酬は高くなる。このため、本実施形態の情報処理装置１０Ａでは、学習が進捗した段階においても、移動ロボット２０の行動に関する最低要求性能を満たすことができる。
【0169】
このため、行動決定部４０Ｄは、学習の進捗に拘わらず第１行動を決定する場合に比べて、獲得できる報酬の高い行動を第１行動として決定することができる。言い換えると、行動決定部４０Ｄは、第１推論モデルの学習の初期の段階から学習が十分に進行した段階の全般にわたって、移動ロボット２０の行動に関する最低要求性能を満たしながら第１推論モデルを強化学習可能な第１行動を決定することができる。
【0170】
図１０は、報酬線の一例の説明図である。
【0171】
図１０中、縦軸は報酬を表し、横軸は学習時間を表す。図１０中、Ｐ１は、移動ロボット２０の最低要求性能を満たす報酬を表す。Ｐ２は、移動ロボット２０の最適要求性能を満たす報酬を表す。線図５９は、本実施形態の強化学習方法による報酬線を表す線図である。線図５９０は、従来の強化学習方法による報酬線を表す線図である。
【0172】
図１０に示すように、従来の強化学習方法では、特に学習初期においてランダムな行動選択をする。このため、移動ロボット２０が目的地点Ｂに到達することができず、報酬を獲得できない。また、従来の強化学習方法では、最適要求性能を満たす報酬Ｐ２に達するまで時間を要する。また、従来技術では、第１推論モデルの学習が不十分な学習初期の段階で、学習ベースで決定された行動を移動ロボット２０が実行すると、移動ロボット２０が意図せぬ状態に陥り、強化学習中に事故や故障が発生する場合があった。
【0173】
このため、従来技術では、実機である移動ロボット２０などの機器に適用しながら強化学習を行うことは、要求性能の実現および安全性確保の観点から困難であった。
【0174】
一方、本実施形態の情報処理装置１０Ａでは、第１推論モデルの学習時間に応じて第１行動価値関数および第２行動価値関数の何れか一方を第３行動価値関数として選択することができる。すなわち、本実施形態の情報処理装置１０Ａは、第１推論モデルの強化学習が不十分な学習初期段階では、第２推論モデルによる第２行動価値関数を第３行動価値関数として選択することができる。また、情報処理装置１０Ａは、第１推論モデルの学習の進捗が進行するほど、第１推論モデルによる第１行動価値関数を第３行動価値関数として選択することができる。よって、本実施形態の情報処理装置１０Ａは、学習初期の段階から学習の進捗が進捗した段階の全ての段階にわたって、最低要求性能を満たしながら学習データを収集しつつ移動ロボット２０を行動させることができる。
【0175】
このため、本実施形態の情報処理装置１０Ａは、実機である移動ロボット２０で運用しながら第１推論モデルを学習することができる。
【0176】
（第２実施形態）
本実施形態では、第１行動価値関数と第２行動価値関数とを合成した行動価値関数を、第３行動価値関数として用いる形態を説明する。
本実施形態では、第１行動価値関数と第２行動価値関数とを合成した行動価値関数を、第３行動価値関数として用いる形態を説明する。
【0177】
なお、本実施形態において上記実施形態と同様の機能および構成の部分には、同じ符号を付与して詳細な説明を省略する。
【0178】
図１１は、本実施形態の情報処理システム１Ｂの一例の機能ブロック図である。情報処理システム１Ｂは、情報処理システム１の一例である。
【0179】
情報処理システム１Ｂは、情報処理装置１０Ｂと、移動ロボット２０と、運行管理システム３０と、を備える。情報処理装置１０Ｂ、移動ロボット２０、および運行管理システム３０は、ネットワークＮなどを介して通信可能に接続されている。移動ロボット２０および運行管理システム３０は上記実施形態と同様である。
【0180】
情報処理装置１０Ｂは、情報処理装置１０の一例である。情報処理装置１０Ｂは、制御部４１と、記憶部４２と、入力部４４と、表示部４６と、通信部４８と、を備える。制御部４１、記憶部４２、入力部４４、表示部４６、および通信部４８は、バス４９などを介して通信可能に接続されている。情報処理装置１０Ｂは、制御部４０に替えて制御部４１を備える点以外は、上記実施形態の情報処理装置１０Ａと同様である。
【0181】
制御部４１は、情報処理装置１０Ｂにおいて各種の情報処理を実行する。
【0182】
制御部４１は、取得部４０Ａと、第１行動価値関数特定部４０Ｂと、第２行動価値関数特定部４０Ｃと、行動決定部４１Ｄと、表示制御部４１Ｅと、送信制御部４０Ｆと、を備える。取得部４０Ａ、第１行動価値関数特定部４０Ｂ、第２行動価値関数特定部４０Ｃ、および送信制御部４０Ｆは、上記実施形態と同様である。すなわち、制御部４１は、行動決定部４０Ｄおよび表示制御部４０Ｅに替えて行動決定部４１Ｄおよび表示制御部４１Ｅを備える点以外は、上記実施形態の制御部４０と同様である。
【0183】
行動決定部４１Ｄは、上記実施形態の行動決定部４０Ｄと同様に、第１行動価値関数および第２行動価値関数に基づいて、移動ロボット２０の第１行動を決定する。
【0184】
ここで、上記実施形態では、行動決定部４０Ｄが、第１推論モデルの学習時間に応じて前記第１行動価値関数を前記第３行動価値関数として選択する第１選択確率と、前記第２行動価値関数を前記第３行動価値関数として選択する第２選択確率と、を変化させる形態を一例として説明した。行動決定部４０Ｄが第１選択確率および第２選択確率を学習時間に応じて変化させる構成の場合、第１選択確率であるεの変化をユーザが予め手動で調整する必要がある。例えば、図４を用いて説明したように、第１選択確率を学習時間の経過に応じて線形に増加させる設定とする場合、学習時間に対する第１選択確率の変化率である増加の傾きを、ユーザが手動により予め調整する必要がある。
【0185】
そこで、本実施形態の行動決定部４１Ｄは、第３行動価値関数特定部４１Ｇと、行動選択部４１Ｈと、を有する。
【0186】
第３行動価値関数特定部４１Ｇは、第１行動価値関数と第２行動価値関数とを合成した第３行動価値関数を特定する。本実施形態では、第３行動価値関数特定部４１Ｇは、第１行動価値関数と第２行動価値関数との最大関数を、第１行動価値関数と第２行動価値関数とを合成した第３行動価値関数として特定する。
【0187】
第１行動価値関数と第２行動価値関数との最大関数とは、第１行動価値関数によって表される行動に対する行動価値、および、第２行動価値関数によって表される行動に対する行動価値の内の、行動ごとの最大の行動価値の集合を表す。
【0188】
詳細には、第３行動価値関数特定部４１Ｇは、下記式（４）を用いて、第３行動価値関数を特定する。
【0189】
Ｑ３（ｓ，ａ）＝Ｍａｘ（Ｑ１（ｓ，ａ），Ｑ２（ｓ，ａ）） 式（４）
【0190】
式（４）中、Ｑ３（ｓ，ａ）は第３行動価値関数を表す。Ｑ１（ｓ，ａ）は第１行動価値関数を表す。Ｑ２（ｓ，ａ）は第１行動価値関数を表す。Ｍａｘ（Ｑ１（ｓ，ａ），Ｑ２（ｓ，ａ））は第１行動価値関数と第２行動価値関数との最大関数を表す。ｓは現在状態を表す。ａは行動を表す。
【0191】
行動選択部４１Ｈは、第３行動価値関数特定部４１Ｇによって特定された第３行動価値関数に基づいて、第１行動を選択する。行動選択部４１Ｈは、上記実施形態の行動決定部４０Ｄと同様にして、ボルツマン探索等により第３行動価値関数から第１行動を選択すればよい。
【0192】
行動決定部４１Ｄによる処理の一例を、具体例を挙げて説明する。
【0193】
図１２Ａは、学習初期段階の第１行動価値関数の一例を示す模式図である。図１２Ｂは、学習初期段階の第２行動価値関数の一例を示す模式図である。図１２Ｃは、学習初期段階の第３行動価値関数と、第１行動価値関数および第２行動価値関数と、の関係の一例を示す模式図である。図１２Ａ～図１２Ｃ中、線図５１は第１行動価値関数を表し、線図５２は第２行動価値関数を表し、線図５３は第３行動価値関数を表す。
【0194】
【0195】
上記実施形態で説明したように、第１行動確率関数は、第１推論モデルを用いて特定された行動価値関数である。また、第２行動価値関数は、例えば、第１ルールに基づく移動ロボット２０の行動のデータにより予め学習された第２推論モデルを用いて特定された行動価値関数である。すなわち、図１２Ｂに示す線図５２によって表される第２行動価値関数によって表される行動価値を最大にする行動ａ２は、第１ルールを用いたルールベースに基づく移動ロボット２０の制御によって得られる行動と一致するものとなる。
【0196】
図１２Ａおよび図１２Ｂに示すように、学習初期段階における線図５１によって表される第１行動価値関数の行動価値の最大値は、線図５２によって表される第２行動価値関数の行動価値の最大値より小さい値である。このため、第３行動価値関数特定部４１Ｇが第１行動価値関数と第２行動価値関数との最大関数を第３行動価値関数として特定すると、図１２Ｃに示す線図５３によって表される第３行動価値関数が特定される。
【0197】
図１２Ｃに示す線図５３によって表される第３行動価値関数に基づいて行動選択部４１Ｈが第１行動を選択すると、結果的に、線図５２によって表される第２行動価値関数によって表される行動価値を最大にする行動ａ２が第１行動として選択される選択確率が高くなる。
【0198】
次に、学習の進捗が進行した学習進行段階における行動価値関数の一例を説明する。
【0199】
図１３Ａは、学習進行段階の第１行動価値関数の一例を示す模式図である。図１３Ｂは、学習進行段階の第２行動価値関数の一例を示す模式図である。図１３Ｃは、学習進行段階の第３行動価値関数と、第１行動価値関数および第２行動価値関数と、の関係の一例を示す模式図である。図１３Ａ～図１３Ｃ中、線図５１は第１行動価値関数を表し、線図５２は第２行動価値関数を表し、線図５３は第３行動価値関数を表す。
【0200】
例えば、学習進行段階の第１行動価値関数が図１３Ａの線図５１によって表される関数であった場面を想定する。第２行動価値関数はパラメータを更新しない第２推論モデルから出力される行動価値関数であるため、図１２Ｂに示す線図５２と同様の線図５２によって表される行動価値関数となる。
【0201】
図１３Ａおよび図１３Ｂに示すように、学習進行段階における線図５１によって表される第１行動価値関数の行動価値の最大値は、線図５２によって表される第２行動価値関数の行動価値の最大値より大きい値となる。このため、第３行動価値関数特定部４１Ｇが第１行動価値関数と第２行動価値関数との最大関数を第３行動価値関数として特定すると、図１３Ｃに示す線図５３によって表される第３行動価値関数が特定される。
【0202】
図１３Ｃに示す線図５３によって表される第３行動価値関数に基づいて行動選択部４１Ｈが第１行動を選択すると、結果的に、学習進行段階の線図５１によって表される第１行動価値関数によって表される行動価値を最大にする行動ａ１が第１行動として選択される選択確率である第１選択確率が高くなる。
【0203】
すなわち、本実施形態では、学習初期段階では第２推論モデルによる行動が第１行動として選択される第２選択確率が高くなり、学習進行段階では第１推論モデルによる行動が第１行動として選択される第１選択確率が高くなる。そして、第１推論モデルの学習の進捗に応じて第３行動価値関数は変化する。
【0204】
このように、本実施形態では、行動決定部４１Ｄの第３行動価値関数特定部４１Ｇが第１行動価値関数と第２行動価値関数とを合成した第３行動価値関数を特定し、行動選択部４１Ｈが特定された第３行動価値関数に基づいて第１行動を選択する。このため、本実施形態では、ユーザが手動により学習時間に対する第１選択確率の増加の傾きを手動で調整することなく、行動決定部４１Ｄが自動的に第１選択確率を調整することができる。すなわち、行動決定部４１Ｄは、学習時間が短いほど第１選択確率を低く且つ第２選択確率を高くし、学習時間が長いほど第１選択確率を高く且つ第２選択確率を低くするように、選択確率を自動調整することができる。
【0205】
図１１に戻り説明を続ける。
【0206】
表示制御部４１Ｅは、上記実施形態の表示制御部４０Ｅと同様に、各種の画像を表示部４６に表示する。
【0207】
表示制御部４１Ｅは、上記実施形態の表示制御部４０Ｅと同様に、第１推論モデルの学習の進捗、第１行動価値関数および第２行動価値関数の少なくとも一方の行動決定部４０Ｄによる選択確率、第１行動価値関数および第２行動価値関数の少なくとも一方の行動決定部４０Ｄによる選択回数、および、第１行動が第１行動価値関数および第２行動価値関数の何れによって表される行動価値を最大にする行動であるか、の少なくとも１つを表す情報を、表示部４６に表示する。
【0208】
本実施形態では、表示制御部４１Ｅは、更に、第２行動価値関数によって表される行動価値を最大にする行動が第１行動として選択された選択確率、および、選択確率の推移、の少なくとも１つを表す情報を、更に表示部４６に表示する。
【0209】
表示制御部４１Ｅは、これらの情報を、１つの表示画面に表示してもよいし、異なる複数の表示画面に表示してもよい。また、表示制御部４１Ｅは、これらの情報の全てを、同じタイミングで表示画面に表示してもよいし、少なくとも１つの情報を他の情報とは異なるタイミングで表示画面に表示してもよい。
【0210】
図１４は、表示画面６６の一例を示す模式図である。表示画面６６は、表示画面７０の一例である。
【0211】
表示画面６６は、第２行動価値関数によって表される行動価値を最大にする行動が第１行動として選択された選択確率を表す画像６６Ｅを含む。すなわち、表示画面６６には、現在の第２選択確率を表す画像６６Ｅが表示される。
【0212】
このため、表示制御部４１Ｅは、ルールベースの行動が第１行動として選択された第２選択確率を、ユーザに対して容易に確認可能に提供することができる。
【0213】
また、例えば、表示画面６６は、第１行動が第１行動価値関数および第２行動価値関数の何れにより決定された行動であるかを表す情報を含む。例えば、移動ロボット２０の行動候補が、進行方向である“直進”、“右”、“左”、および“停止”、である場合を想定する。そして、第３行動価値関数特定部４１Ｇによって第１行動価値関数が第３行動価値関数として特定され、特定された第３行動価値関数から行動選択部４１Ｈによって選択された第１行動が進行方向“直進”を表す場合を想定する。
【0214】
この場合、例えば、表示制御部４１Ｅは、第１行動価値関数から決定された行動である学習ベースの行動を表す情報６６Ｃ、および、第２行動価値関数から決定された行動であるルールベースの行動を表す情報６６Ｄを表示する。そして、表示制御部４１Ｅは、情報６６Ｃの選択アイコンの色を有色表示し、情報６６Ｄの選択アイコンの色を無色表示とする。情報６６Ｃの選択アイコンを有色表示することで、表示制御部４１Ｅは、第１行動価値関数から第１行動が決定された状態であることを表示する。
【0215】
また、例えば、表示制御部４１Ｅは、上記実施形態の表示制御部４０Ｅと同様に、移動ロボット２０を表すアイコン画像６６Ｂの周囲に、移動ロボット２０の行動候補を表す画像を表示する。そして、表示制御部４１Ｅは、選択された“直進”を表す画像を他の行動候補とは異なる色または明るさで表示する。例えば、表示制御部４１Ｅは、“直進”を表す画像を点灯し、他の行動候補を表す画像を非点灯とする。“直進”を表す画像を点灯することで、表示制御部４１Ｅは、第１行動価値関数から進行方向“直進”が第１行動として決定された状態であることを表示する。
【0216】
図１５は、表示画面６８の一例を示す模式図である。表示画面６８は、表示画面７０の一例である。
【0217】
表示画面６８は、第２行動価値関数によって表される行動価値を最大にする行動が前記第１行動として選択された選択確率の推移、すなわち第２選択確率の推移を表す情報６８Ａを含む。例えば、表示制御部４１Ｅは、学習開始時から現在時刻までの第２選択確率の推移を表す情報６８Ａを含む表示画面６８を、表示部４６に表示する。
【0218】
このため、表示制御部４１Ｅは、ルールベースの行動が第１行動として選択された第２選択確率の推移を、ユーザに対して容易に確認可能に提供することができる。
【0219】
次に、本実施形態の情報処理装置１０Ｂが実行する情報処理の流れの一例を説明する。
【0220】
図１６は、本実施形態の情報処理装置１０Ｂが実行する情報処理の流れの一例を示すフローチャートである。
【0221】
情報処理装置１０Ｂは、上記実施形態のステップＳ１００～ステップＳ１０８（図８参照）と同様にして、ステップＳ３００～ステップＳ３０８の処理を実行する。
【0222】
詳細には、取得部４０Ａが、移動ロボット２０の現在状態を取得する（ステップＳ３００）。次に、取得部４０Ａは、ステップＳ３００で取得した現在状態の報酬を算出する（ステップＳ３０２）。第１行動価値関数特定部４０Ｂは、ステップＳ３００で取得した現在状態およびステップＳ３０２で算出された報酬を用いて、より報酬の高い現在状態の得られる第１行動価値関数を出力するように、第１推論モデルを強化学習により学習する（ステップＳ３０４）。第１行動価値関数特定部４０Ｂは、ステップＳ３００で取得した現在状態をステップＳ３０４で強化学習した第１推論モデルへ入力することで、第１行動価値関数を特定する（ステップＳ３０６）。第２行動価値関数特定部４０Ｃは、ステップＳ３００で取得した現在状態を第２推論モデルへ入力することで、第２行動価値関数を特定する（ステップＳ３０８）。
【0223】
次に、行動決定部４１Ｄの第３行動価値関数特定部４１Ｇが、ステップＳ３０６で特定した第１行動価値関数とステップＳ３０８で特定した第２行動価値関数との最大関数を、第３行動価値関数として特定する（ステップＳ３１０）。
【0224】
行動選択部４１Ｈは、ステップＳ３１０で特定された第３行動価値関数に基づいて、第１行動を選択する（ステップＳ３１２）。
【0225】
送信制御部４０Ｆは、ステップＳ３１２で選択された第１行動を移動ロボット２０へ送信する（ステップＳ３１４）。表示制御部４１Ｅは表示画面７０を表示部４６に表示する（ステップＳ３１６）。なお、表示画面７０を表示部４６に表示するタイミングは、このタイミングに限定されない。例えば、表示制御部４１Ｅは、ステップＳ３００の処理開始前に表示部４６への表示画面７０の表示を開始し、制御部４１による処理状況に応じて表示画面７０の表示内容を更新してもよい。
【0226】
制御部４１は、処理を終了するか否かを判断する（ステップＳ３１８）。制御部４１は、上記実施形態のステップＳ１２０（図８参照）と同様にして、処理を終了するか否かを判断すればよい。ステップＳ３１８で否定判断すると（ステップＳ３１８：Ｎｏ）、上記ステップＳ３００へ戻る。ステップＳ３１８で肯定判断すると（ステップＳ３１８：Ｙｅｓ）、本ルーチンを終了する。
【0227】
以上説明したように、本実施形態の情報処理装置１０Ｂは、行動決定部４１Ｄの第３行動価値関数特定部４１Ｇが第１行動価値関数と第２行動価値関数とを合成した第３行動価値関数を特定する。行動選択部４１Ｈは、第３行動価値関数に基づいて第１行動を選択する。
【0228】
合成によって生成された第３行動価値関数は、第１推論モデルの学習の進捗に応じて第３行動価値関数は変化する。このため、本実施形態では、ユーザが手動により学習時間に対する第１選択確率の増加の傾きを手動で調整することなく、行動決定部４１Ｄが自動的に第１選択確率を調整することができる。すなわち、行動決定部４１Ｄは、学習時間が短いほど第１選択確率を低く且つ第２選択確率を高くし、学習時間が長いほど第１選択確率を高く且つ第２選択確率を低くするように、選択確率を自動調整することができる。
【0229】
従って、本実施形態の情報処理装置１０Ｂは、上記実施形態の効果に加えて、強化学習の学習初期段階の性能を更に容易に向上させることができる。
【0230】
（第３実施形態）
本実施形態では、第１行動価値関数を第２行動価値関数に基づいて補正した第４行動価値関数を用いて、第３行動価値関数を特定する形態を説明する。
本実施形態では、第１行動価値関数を第２行動価値関数に基づいて補正した第４行動価値関数を用いて、第３行動価値関数を特定する形態を説明する。
【0231】
なお、本実施形態において上記実施形態と同様の機能および構成の部分には、同じ符号を付与して詳細な説明を省略する。
【0232】
図１７は、本実施形態の情報処理システム１Ｃの一例の機能ブロック図である。情報処理システム１Ｃは、情報処理システム１の一例である。
【0233】
情報処理システム１Ｃは、情報処理装置１０Ｃと、移動ロボット２０と、運行管理システム３０と、を備える。情報処理装置１０Ｃ、移動ロボット２０、および運行管理システム３０は、ネットワークＮなどを介して通信可能に接続されている。移動ロボット２０および運行管理システム３０は上記実施形態と同様である。
【0234】
情報処理装置１０Ｃは、情報処理装置１０の一例である。情報処理装置１０Ｃは、制御部４３と、記憶部４２と、入力部４４と、表示部４６と、通信部４８と、を備える。制御部４３、記憶部４２、入力部４４、表示部４６、および通信部４８は、バス４９などを介して通信可能に接続されている。情報処理装置１０Ｃは、制御部４１に替えて制御部４３を備える点以外は、上記実施形態の情報処理装置１０Ｂと同様である。
【0235】
制御部４３は、情報処理装置１０Ｃにおいて各種の情報処理を実行する。
【0236】
制御部４３は、取得部４０Ａと、第１行動価値関数特定部４０Ｂと、第２行動価値関数特定部４０Ｃと、行動決定部４３Ｄと、表示制御部４３Ｅと、送信制御部４０Ｆと、を備える。取得部４０Ａ、第１行動価値関数特定部４０Ｂ、第２行動価値関数特定部４０Ｃ、および送信制御部４０Ｆは、上記実施形態と同様である。すなわち、制御部４３は、行動決定部４１Ｄおよび表示制御部４１Ｅに替えて行動決定部４３Ｄおよび表示制御部４３Ｅを備える点以外は、上記実施形態の制御部４１と同様である。
【0237】
行動決定部４３Ｄは、上記実施形態の行動決定部４０Ｄと同様に、第１行動価値関数および第２行動価値関数に基づいて、移動ロボット２０の第１行動を決定する。
【0238】
本実施形態では、行動決定部４３Ｄは、行動価値関数補正部４３Ｉと、第３行動価値関数特定部４３Ｇと、行動選択部４１Ｈと、を備える。行動選択部４１Ｈは、上記第２実施形態の行動選択部４１Ｈと同様である。すなわち、行動決定部４３Ｄは、第３行動価値関数特定部４１Ｇに替えて第３行動価値関数特定部４３Ｇを備え、更に行動価値関数補正部４３Ｉを備える点以外は、上記実施形態の行動決定部４１Ｄと同様である。
【0239】
ここで、上記第２実施形態では、第３行動価値関数特定部４１Ｇが第１行動価値関数と第２行動価値関数とを合成した第３行動価値関数を特定する形態を一例として説明した。そして、行動選択部４１Ｈは、第３行動価値関数に基づいて第１行動を決定することで、第１選択確率および第２選択確率を自動調整する形態を説明した。第１選択確率は、上述したように、第１行動価値関数によって表される行動価値を最大にする行動が第１行動として選択される選択確率である。第２選択確率は、上述したように、第２行動価値関数によって表される行動価値を最大にする行動が第２行動として選択される選択確率である。
【0240】
第３行動価値関数特定部４１Ｇが第１行動価値関数と第２行動価値関数とを合成した第３行動価値関数を特定する構成の場合、取得部４０Ａが現在状態から算出する報酬設定をユーザが手動で調整する必要が生じる場合がある。
【0241】
本課題について具体的に説明する。行動価値関数によって表される行動価値の値は、報酬設定に依存する。
【0242】
例えば、学習初期段階において、第２行動価値関数によって表される行動価値の最大値が第１行動価値関数によって表される行動価値の最小値より小さい場合を想定する。この想定の場合、学習初期段階において第３行動価値関数は第１行動価値関数と一致する。このため、この場合、行動選択部４１Ｈが第３行動価値関数に基づいて第１行動を選択すると、学習初期段階では第２行動価値関数によって表される行動価値を最大にする行動を第１行動として選択する確率が極めて低くなる。すなわち、この場合、情報処理装置１０は学習初期段階では、移動ロボット２０の行動に関する最低要求性能を満たしながら第１推論モデルを学習可能な第１行動を決定することが困難となる。
【0243】
また、例えば、学習初期段階において、第１行動価値関数によって表される行動価値の最大値が第２行動価値関数によって表される行動価値の最小値より小さい場合を想定する。この想定の場合、学習初期段階において第３行動価値関数は第２行動価値関数と一致する。このため、この場合、行動選択部４１Ｈが第３行動価値関数に基づいて第１行動を選択すると、学習初期段階では第１行動価値関数によって表される行動価値を最大にする行動を第１行動として選択する確率が極めて低くなる。このため、この場合、情報処理装置１０は第１推論モデルの強化学習を進めることが困難となる。
【0244】
これらの状況を避ける観点から、情報処理装置１０では、学習初期段階における、第１行動価値関数によって表される行動価値が、第２行動価値関数によって表される行動価値の最大値と最小値との間の値となるように、ユーザは報酬設定を手動調整する必要が生じる場合がある。
【0245】
しかし、報酬設定をユーザが手動で調整するためには、移動ロボット２０による動作を試行錯誤させる必要がある。
【0246】
そこで、本実施形態の情報処理装置１０Ｃでは、行動決定部４３Ｄが、行動価値関数補正部４３Ｉと、第３行動価値関数特定部４３Ｇと、行動選択部４１Ｈとを有する。
【0247】
行動価値関数補正部４３Ｉは、第１行動価値関数を第２行動価値関数に基づいて補正した第４行動価値関数を特定する。例えば、第３行動価値関数特定部４３Ｇは、下記式（５）により第４行動価値関数を特定する。
【0248】
Ｑ４（ｓ，ａ）＝Ｑ１（ｓ，ａ）＋Ｄ（ｓ） 式（５）
【0249】
式（５）中、Ｑ４（ｓ，ａ）は第４行動価値関数を表す。Ｑ１（ｓ，ａ）は第１行動価値関数を表す。ｓは現在状態を表す。ａは行動を表す。Ｄ（ｓ）は、第１行動価値関数の補正値であり、第２行動価値関数に基づいて求められる値である。
【0250】
例えば、行動価値関数補正部４３Ｉは、第１行動価値関数を、第１行動価値関数によって表される行動に対する行動価値が第２行動価値関数によって表される行動に対する行動価値の最大値と最小値との間の値となるように補正することによって、第４行動価値関数を特定する。
【0251】
詳細には、行動価値関数補正部４３Ｉは、上記式（５）における補正値であるＤ（ｓ）を下記式（６）により算出する。
【0252】
Ｄ（ｓ）＝（ｍａｘＱ２（ｓ，ａ）＋ｍｉｎＱ２（ｓ，ａ））／２ 式（６）
【0253】
式（６）中、ｍａｘＱ２（ｓ，ａ）は第２行動価値関数の最大関数を表す。ｍｉｎＱ２（ｓ，ａ）は、第２行動価値関数の最小関数を表す。ｓは現在状態を表す。ａは行動を表す。
【0254】
そして、行動価値関数補正部４３Ｉは、式（６）によって表される補正値であるＤ（ｓ）を上記式（５）に代入することで、第１行動価値関数を、第１行動価値関数によって表される行動に対する行動価値が第２行動価値関数によって表される行動に対する行動価値の最大値と最小値との間の値となるように補正する。
【0255】
また、例えば、行動価値関数補正部４３Ｉは、第１推論モデルの学習開始時の第２選択確率が予め定めた選択確率となるように第１行動価値関数を補正した第４行動価値関数を特定してもよい。第２選択確率とは、上述したように、行動選択部４１Ｈが第２行動価値関数を第３行動価値関数として選択する選択確率を表し、第２行動価値関数によって表される最大の行動価値に対応する行動が、第１行動として選択される選択確率を表す。
【0256】
詳細には、行動価値関数補正部４３Ｉは、上記式（５）における補正値であるＤ（ｓ）を下記式（７）により算出する。
【0257】
Ｄ（ｓ）＝ｌｏｇ（１－ε）/（（Ｎ－１）×ε）＋ｍａｘＱ２（ｓ，ａ） 式（７）
【0258】
式（７）中、εは、上述した予め定められた選択確率を表す。ｍａｘＱ２（ｓ，ａ）は第２行動価値関数の最大関数を表す。Ｎは、移動ロボット２０が次にとりうる行動の候補数を表す。例えば、Ｎは、移動ロボット２０が次にとりうる行動である、「右」、「左」、「直進」、および「停止」、の４つ等である。ｓは現在状態を表す。ａは行動を表す。
【0259】
そして、行動価値関数補正部４３Ｉは、式（７）によって表される補正値であるＤ（ｓ）を上記式（５）に代入することで、第１推論モデルの学習開始時の第２選択確率が予め定めた選択確率εとなるように第１行動価値関数を補正した第４行動価値関数を特定する。
【0260】
なお、行動価値関数補正部４３Ｉは、ユーザによって入力された選択確率εとなるように第１行動価値関数を補正した第４行動価値関数を特定してもよい。この場合、例えば、表示制御部４３Ｅは、第２選択確率として定める選択確率の入力を受付けるための表示画面７０を表示部４６に表示する。
【0261】
図１８は、表示画面６９の一例の模式図である。表示画面６９は表示画面７０の一例である。表示画面６９は、第２選択確率として定める選択確率の値の入力欄６９Ａを含む。ユーザは、表示画面６９を視認しながら入力部４４を操作することで、入力欄６９Ａに所望の選択確率の値を入力する。行動価値関数補正部４３Ｉは、表示画面６９を介してユーザによる入力を受付けた選択確率を、第１行動価値関数の補正に用いる選択確率εとして用い、第１推論モデルの学習開始時の第２選択確率が該選択確率εとなるように第１行動価値関数を補正すればよい。
【0262】
図１７に戻り説明を続ける。
【0263】
また、例えば、上述したように、行動価値関数補正部４３Ｉが、第１行動価値関数を、第１行動価値関数によって表される行動に対する行動価値が第２行動価値関数によって表される行動に対する行動価値の最大値と最小値との間の値となるように補正することによって、第４行動価値関数を特定する場合を想定する。
【0264】
この想定の場合、行動価値関数補正部４３Ｉは、第１行動価値関数を、第１行動価値関数によって表される行動に対する行動価値が第２行動価値関数によって表される行動に対する行動価値の最大値と最小値との間の、ユーザによって入力された値となるように補正した第４行動価値関数を特定してもよい。
【0265】
この場合、例えば、表示制御部４３Ｅは、第１行動価値関数によって表される行動価値を、第２行動価値関数の行動価値の最大値と最小値との間の何れの値となるように補正するかを表す調整値の入力画面を表示部４６に表示する。ユーザは、入力画面を視認しながら入力部４４を操作することで、該入力画面に調整値を入力する。行動価値関数補正部４３Ｉは、ユーザによる入力を受付けた調整値を用いて、第１行動価値関数によって表される行動価値を、第２行動価値関数の行動価値の最大値と最小値との間に補正した第４行動価値関数を特定すればよい。
【0266】
次に、第３行動価値関数特定部４３Ｇについて説明する。
【0267】
第３行動価値関数特定部４３Ｇは、行動価値関数補正部４３Ｉで特定された第４行動価値関数と、第２行動価値関数特定部４０Ｃで特定された第２行動価値関数との最大関数を第３行動価値関数として特定する。第３行動価値関数特定部４３Ｇは、第１行動価値関数に替えて第４行動価値関数を用いる点以外は、第３行動価値関数特定部４１Ｇと同様にして第３行動価値関数を特定すればよい。
【0268】
そして、行動選択部４１Ｈは、上記実施形態と同様に、第３行動価値関数特定部４１３によって特定された第３行動価値関数に基づいて第１行動を選択する。
【0269】
本実施形態の行動決定部４３Ｄによる処理の一例を、具体例を挙げて説明する。
【0270】
【0271】
図１９Ａは、学習初期段階の第１行動価値関数の一例を示す模式図である。図１９Ｂは、学習初期段階の第２行動価値関数の一例を示す模式図である。例えば、第１行動価値関数が図１９Ａの線図５１によって表される関数であり、第２行動価値関数が図１９Ｂの線図５２によって表される関数である場面を想定する。
【0272】
図１９Ａおよび図１９Ｂに示すように、学習初期段階における線図５２によって表される第２行動価値関数の行動価値の最大値が、線図５１によって表される第１行動価値関数の行動価値の最小値より小さい場合を想定する。この想定の場合、学習初期段階において第３行動価値関数は第１行動価値関数と一致する。このため、この場合、行動選択部４１Ｈが第３行動価値関数に基づいて第１行動を選択すると、学習初期段階では第２行動価値関数によって表される行動価値を最大にする行動を第１行動として選択する確率が極めて低くなる。すなわち、この場合、情報処理装置１０は学習初期段階では、移動ロボット２０の行動に関する最低要求性能を満たしながら第１推論モデルを学習可能な第１行動を決定することが困難となる。
【0273】
そこで、行動価値関数補正部４３Ｉは、第１行動価値関数を第２行動価値関数に基づいて補正した第４行動価値関数を特定する。例えば、行動価値関数補正部４３Ｉは、線図５１によって表される第１行動価値関数の各行動に対する行動価値が、線図５２によって表される第２行動価値関数の各行動に対する行動価値の最大値と最小値との間の値となるように補正する。
【0274】
図１９Ｃは、補正前の第１行動価値関数と補正後の第１行動価値関数である第４行動価値関数との関係の一例の説明図である。
【0275】
行動価値関数補正部４３Ｉが図１９Ａに示す第１行動価値関数について図１９Ｂに示す第２行動価値関数を用いて補正を行った場面を想定する。この場合、図１９Ｃに示すように、線図５２によって表される第１行動価値関数は線図５４によって表される第４行動価値関数に補正される（矢印Ｂ参照）。すなわち、線図５４によって表される第４行動価値関数は、線図５１によって表される第１行動価値関数の行動価値を、線図５２によって表される第２行動価値関数の各行動に対する行動価値の最大値と最小値との間の値となるように補正したものとなる。
【0276】
図１９Ｄは、第３行動価値関数特定部４３Ｇによる第３行動価値関数の特定の一例の説明図である。
【0277】
例えば、第１行動価値関数が図１９Ａの線図５１によって表される関数であり、第２行動価値関数が図１９Ｂの線図５２によって表される関数であった場面を想定する。また、行動価値関数補正部４３Ｉによって、図１９Ｃに示す線図５４によって表される第４行動価値関数が特定された場面を想定する。
【0278】
この場合、第３行動価値関数特定部４３Ｇは、線図５４によって表される第４行動価値関数と、線図５２によって表される第２行動価値関数との最大関数を第３行動価値関数として特定することで、線図５３によって表される第３行動価値関数を特定する。
【0279】
図１９Ｄに示す線図５３によって表される第３行動価値関数に基づいて行動選択部４１Ｈが第１行動を選択すると、結果的に、線図５２によって表される第２行動価値関数によって表される行動価値を最大にする行動ａ２が第１行動として選択される選択確率が高くなる。
【0280】
このため、本実施形態では、報酬設定をユーザが手動で調整することなく、学習初期段階における、第１行動価値関数によって表される行動価値が、第２行動価値関数によって表される行動価値の最大値と最小値との間の値となるように、自動調整することができる。
【0281】
すなわち、本実施形態の情報処理装置１０Ｃでは、行動価値関数補正部４３Ｉが第１行動価値関数を補正することで、報酬設定に拘わらず、第１推論モデルの学習初期段階について、移動ロボット２０の行動に関する最低要求性能を満たしながら第１推論モデルを学習可能な第１行動を決定することができる。
【0282】
図１７に戻り説明を続ける。
【0283】
表示制御部４３Ｅは、調整値の入力画面および表示画面６９を更に表示部４６に表示可能である点以外は、上記実施形態の表示制御部４１Ｅと同様である。
【0284】
なお、上記実施形態で説明したように、第１行動価値関数特定部４０Ｂは、現在状態の報酬と第１行動とを用いて、報酬が最大となるように第１推論モデルを強化学習によって学習する。すなわち、第１行動価値関数特定部４０Ｂは、取得部４０Ａで取得した移動ロボット２０の現在状態と、報酬と、該報酬の算出に用いられた移動ロボット２０の第１行動と、を用いて、第１推論モデルを強化学習により学習する。
【0285】
本実施形態では、第１行動価値関数特定部４０Ｂは、第３行動価値関数の特定の第４行動価値関数が用いられた時の第１行動を用いて、第１推論モデルを強化学習により学習することが好ましい。
【0286】
第１行動価値関数特定部４０Ｂが第１推論モデルの学習に用いるアルゴリズムとしてＤＱＮを用いる場合、上記実施形態で説明した式（１）によって表される損失関数Ｌに替えて、以下の式（８）によって表される損失関数Ｌを用いればよい。そして、第１行動価値関数特定部４０Ｂは、上記実施形態と同様に、該損失関数Ｌ用いてバックプロパゲーションを行うことで、第１推論モデルに含まれる複数のパラメータの各々の更新量を決定すればよい。
【0287】
Ｌ＝（ｒｔ＋γｍａｘ｛Ｑ4（ｓｔ＋１，ａｔ＋１）｝－Ｑ4（ｓｔ，ａｔ））２ 式（８）
【0288】
式（８）中、Ｌ、ｒｔ、γ、ｓｔ、およびａｔは、上記式(１)と同様であるである。Ｑ４（ｓｔ+１，ａｔ+１）は、次の時刻ｔ+１の第４行動価値関数を表す。Ｑ４（ｓｔ，ａｔ）は、時刻ｔの第４行動価値関数を表す。ｓｔは時刻ｔの現在状態ｓを表す。ａｔは時刻ｔの行動を表す。
【0289】
次に、本実施形態の情報処理装置１０Ｃが実行する情報処理の流れの一例を説明する。
【0290】
図２０は、本実施形態の情報処理装置１０Ｃが実行する情報処理の流れの一例を示すフローチャートである。
【0291】
情報処理装置１０Ｃは、上記実施形態のステップＳ３００～ステップＳ３０８（図１６参照）と同様にして、ステップＳ４００～ステップＳ４０８の処理を実行する。
【0292】
詳細には、取得部４０Ａが、移動ロボット２０の現在状態を取得する（ステップＳ４００）。次に、取得部４０Ａは、ステップＳ４００で取得した現在状態の報酬を算出する（ステップＳ４０２）。第１行動価値関数特定部４０Ｂは、ステップＳ４００で取得した現在状態およびステップＳ４０２で算出された報酬を用いて、より報酬の高い現在状態の得られる第１行動価値関数を出力するように、第１推論モデルを強化学習により学習する（ステップＳ４０４）。第１行動価値関数特定部４０Ｂは、ステップＳ４００で取得した現在状態をステップＳ３０４で強化学習した第１推論モデルへ入力することで、第１行動価値関数を特定する（ステップＳ４０６）。第２行動価値関数特定部４０Ｃは、ステップＳ４００で取得した現在状態を第２推論モデルへ入力することで、第２行動価値関数を特定する（ステップＳ４０８）。
【0293】
次に、行動決定部４３Ｄの行動価値関数補正部４３Ｉが、ステップＳ４０６で特定された第１行動価値関数をステップＳ４０８で特定された第２行動価値関数を用いて補正した第４行動価値関数を特定する（ステップＳ４１０）。
【0294】
次に、行動決定部４３Ｄの第３行動価値関数特定部４３Ｇが、ステップＳＳ４１０で特定した第４行動価値関数とステップＳ４０８で特定した第２行動価値関数との最大関数を、第３行動価値関数として特定する（ステップＳ４１２）。
【0295】
行動選択部４１Ｈは、ステップＳ４１２で特定された第３行動価値関数に基づいて、第１行動を選択する（ステップＳ４１４）。
【0296】
送信制御部４０Ｆは、ステップＳ４１４で選択された第１行動を移動ロボット２０へ送信する（ステップＳ４１６）。表示制御部４３Ｅは表示画面７０を表示部４６に表示する（ステップＳ４１８）。
【0297】
制御部４３は、処理を終了するか否かを判断する（ステップＳ４２０）。制御部４３は、上記実施形態のステップＳ１２０（図８参照）と同様にして、処理を終了するか否かを判断すればよい。ステップＳ４２０で否定判断すると（ステップＳ４２０：Ｎｏ）、上記ステップＳ４００へ戻る。ステップＳ４２０で肯定判断すると（ステップＳ４２０：Ｙｅｓ）、本ルーチンを終了する。
【0298】
以上説明したように、本実施形態の情報処理装置１０Ｃの行動決定部４３Ｄは、行動価値関数補正部４３Ｉを有する。行動価値関数補正部４３Ｉは、第１行動価値関数を第２行動価値関数に基づいて補正した第４行動価値関数を特定する。第３行動価値関数特定部４３Ｇは、第４行動価値関数と第２行動価値関数との最大関数を第３行動価値関数として特定する。
【0299】
このため、本実施形態の情報処理装置１０Ｃは、上記実施形態の効果に加えて、報酬設定に拘わらず、第１推論モデルの学習初期段階について、移動ロボット２０の行動に関する最低要求性能を満たしながら第１推論モデルを学習可能な第１行動を決定することができる。
【0300】
（変形例）
なお、上記第１実施形態～第３実施形態では、情報処理装置１０が第２行動価値関数特定部４０Ｃを１つ備えた形態を一例として説明した。すなわち、上記実施形態では、行動決定部４０Ｄ、行動決定部４１Ｄ、および行動決定部４３Ｄの各々が、１つの第２推論モデルから出力される１つの第２行動価値関数を用いて第３行動価値関数を特定する形態を一例として説明した。
なお、上記第１実施形態～第３実施形態では、情報処理装置１０が第２行動価値関数特定部４０Ｃを１つ備えた形態を一例として説明した。すなわち、上記実施形態では、行動決定部４０Ｄ、行動決定部４１Ｄ、および行動決定部４３Ｄの各々が、１つの第２推論モデルから出力される１つの第２行動価値関数を用いて第３行動価値関数を特定する形態を一例として説明した。
【0301】
しかし、情報処理装置１０は、複数の第２行動価値関数特定部４０Ｃを備えた構成であってもよい。言い換えると、情報処理装置１０は、互いに異なる複数の２推論モデルから出力される複数の第２行動価値関数を用いて、第３行動価値関数を特定してもよい。
【0302】
この場合、行動決定部４０Ｄ、行動決定部４１Ｄ、および行動決定部４３Ｄは、複数の第２推論モデルの各々から出力された第２行動価値関数の内、任意の１つの第２行動価値関数を用いて、上記実施形態と同様にして第３行動価値関数を特定すればよい。
【0303】
次に、上記実施形態の情報処理装置１０（情報処理装置１０Ａ、情報処理装置１０Ｂ、情報処理装置１０Ｃ）、移動ロボット２０、および運行管理システム３０のハードウェア構成の一例を説明する。
【0304】
図２１は、上記実施形態の情報処理装置１０、移動ロボット２０、および運行管理システム３０の一例のハードウェア構成図である。
【0305】
上記実施形態の情報処理装置１０、移動ロボット２０、および運行管理システム３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０、およびＩ／Ｆ８２等がバス９６により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
【0306】
ＣＰＵ８６は、上記実施形態の情報処理装置１０、移動ロボット２０、および運行管理システム３０を制御する演算装置である。ＲＯＭ８８は、ＣＰＵ８６による情報処理を実現するプログラム等を記憶する。ＲＡＭ９０は、ＣＰＵ８６による各種処理に必要なデータを記憶する。Ｉ／Ｆ８２は、記憶部４２、入力部４４、表示部４６、通信部４８、通信部２４、センサ２６、および記憶部２８などに接続し、データを送受信するためのインターフェースである。
【0307】
上記実施形態の情報処理装置１０、移動ロボット２０、および運行管理システム３０では、ＣＰＵ８６が、ＲＯＭ８８からプログラムをＲＡＭ９０上に読み出して実行することにより、上記各機能がコンピュータ上で実現される。
【0308】
なお、上記実施形態の情報処理装置１０、移動ロボット２０、および運行管理システム３０で実行される上記各処理を実行するためのプログラムは、ＨＤＤ（ハードディスクドライブ）に記憶されていてもよい。また、上記実施形態の情報処理装置１０、移動ロボット２０、および運行管理システム３０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ８８に予め組み込まれて提供されていてもよい。
【0309】
また、上記実施形態の情報処理装置１０、移動ロボット２０、および運行管理システム３０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の情報処理装置１０、移動ロボット２０、および運行管理システム３０で実行される上記情報処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の情報処理装置１０、移動ロボット２０、および運行管理システム３０で実行される上記情報処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。
【0310】
なお、上記には、実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0311】
１０、１０Ａ、１０Ｂ、１０Ｃ 情報処理装置
２０ 移動ロボット
４０Ａ 取得部
４０Ｂ 第１行動価値関数特定部
４０Ｃ 第２行動価値関数特定部
４０Ｄ、４１Ｄ、４３Ｄ 行動決定部
４０Ｅ、４１Ｅ、４３Ｅ 表示制御部
４０Ｆ 送信制御部
４１Ｇ、４３Ｇ 第３行動価値関数特定部
４１Ｈ 行動選択部
４３Ｉ 行動価値関数補正部
２０ 移動ロボット
４０Ａ 取得部
４０Ｂ 第１行動価値関数特定部
４０Ｃ 第２行動価値関数特定部
４０Ｄ、４１Ｄ、４３Ｄ 行動決定部
４０Ｅ、４１Ｅ、４３Ｅ 表示制御部
４０Ｆ 送信制御部
４１Ｇ、４３Ｇ 第３行動価値関数特定部
４１Ｈ 行動選択部
４３Ｉ 行動価値関数補正部
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図13A】
【図13B】
【図13C】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図19C】
【図19D】
【図20】
【図21】