知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】経路管理装置、経路管理方法、および経路管理システム
(51)【国際特許分類】
G06N 3/092 20230101AFI20241016BHJP
G01C 21/34 20060101ALI20241016BHJP
G05D 1/46 20240101ALI20241016BHJP
【ＦＩ】
G06N3/092
G01C21/34
G05D1/46
【請求項の数】
9
(21)【出願番号】P 2024146471
(22)【出願日】2024-08-28
【審査請求日】2024-08-28
【早期審査対象出願】
(73)【特許権者】
【識別番号】397036309
【氏名又は名称】株式会社インターネットイニシアティブ
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100195408
【弁理士】
【氏名又は名称】武藤 陽子
(72)【発明者】
【氏名】柿島 純
【審査官】佐藤 直樹
(56)【参考文献】
【文献】特許第７５４１２０９（ＪＰ，Ｂ１）
【文献】特許第７４０７３２９（ＪＰ，Ｂ１）
【文献】特許第７３２１４００（ＪＰ，Ｂ１）
【文献】特開２０２３－０５９３８２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０１６２５４６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０９２
Ｇ０１Ｃ ２１／３４
Ｇ０５Ｄ １／４６
(57)【特許請求の範囲】
【請求項1】
移動空間において設定された目的地点の位置までの移動体群の経路を管理する経路管理装置であって、前記移動体群を構成する移動体ごとの現在の位置を取得するように構成された第１取得部と、
前記移動体が前記現在の位置から前記目的地点の位置に到達するまでに、前記移動体が順次進むべき進路を計算した推定結果に報酬関数を適用して、前記移動体が前記目的地点の位置へ到達するための報酬が最大化するように更新し、前記移動体が前記現在の位置から順次進むべき進路の方策を、前記移動体ごとに、強化学習モデルを用いて学習するように構成された第１学習部と、
前記移動体の前記現在の位置と、前記第１学習部による前記移動体ごとの学習によって得られた、前記移動体が前記現在の位置から順次進むべき進路の方策との関係を、教師あり学習モデルを用いて学習するように構成された第２学習部と、
前記第２学習部によって構築された学習済みの教師あり学習モデルを記憶するように構成された記憶部と
を備え、
前記現在の位置は、前記移動空間内の出発地点の位置を含み、前記移動体ごとの前記出発地点の位置は、互いに異なる位置を含む
ことを特徴とする経路管理装置。
【請求項2】
請求項１に記載の経路管理装置において、さらに、前記学習済みの教師あり学習モデルを、前記移動体群の進路を制御する制御情報として、前記移動体の各々に設定するように構成された設定部を備える
ことを特徴とする経路管理装置。
【請求項3】
請求項１に記載の経路管理装置において、前記移動空間は、前記移動空間を複数の空間に分割した単位空間で定義され、
前記移動体が前記現在の位置から順次進むべき進路の方策は、前記現在の位置に対応する単位空間の位置から、前記移動体が順次進むべき単位空間の進路の方策である
ことを特徴とする経路管理装置。
【請求項4】
請求項３に記載の経路管理装置において、前記強化学習モデルは、入力層、隠れ層、および出力層を含むニューラルネットワークモデルであり、
前記第１学習部は、前記現在の位置に対応する単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記移動体が前記現在の単位空間の位置から次に進むべき進路として、進行方向に対する所定の方向への移動に係る各々の行動をとった場合に得られる将来の前記報酬の累積値の期待値を表す行動価値関数の第１推定値を出力し、
前記第１学習部は、さらに、前記移動体が次に到達した単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記行動価値関数の第２推定値を出力し、
前記第１学習部は、前記第１推定値が、前記第２推定値から計算される目標値となるように、前記ニューラルネットワークモデルの重みパラメータを学習する
ことを特徴とする経路管理装置。
【請求項5】
移動空間において設定された目的地点の位置までの移動体群の経路を管理する経路管理方法であって、前記移動体群を構成する移動体ごとの現在の位置を取得する第１取得ステップと、
前記移動体が前記現在の位置から前記目的地点の位置に到達するまでに、前記移動体が順次進むべき進路を計算した推定結果に報酬関数を適用して、前記移動体が前記目的地点の位置へ到達するための報酬が最大化するように更新し、前記移動体が前記現在の位置から順次進むべき進路の方策を、前記移動体ごとに、強化学習モデルを用いて学習する第１学習ステップと、
前記移動体の前記現在の位置と、前記第１学習ステップでの前記移動体ごとの学習によって得られた前記移動体が前記現在の位置から順次進むべき進路の方策との関係を、教師あり学習モデルを用いて学習する第２学習ステップと、
前記第２学習ステップで構築された学習済みの教師あり学習モデルを記憶部に記憶する記憶ステップと
を備え、
前記現在の位置は、前記移動空間内の出発地点の位置を含み、前記移動体ごとの前記出発地点の位置は、互いに異なる位置を含む
ことを特徴とするコンピュータが実行する経路管理方法。
【請求項6】
請求項５に記載の経路管理方法において、さらに、前記学習済みの教師あり学習モデルを、前記移動体群の進路を制御する制御情報として、前記移動体の各々に設定する設定ステップを備える
ことを特徴とする経路管理方法。
【請求項7】
請求項５に記載の経路管理方法において、前記移動空間は、前記移動空間を複数の空間に分割した単位空間で定義され、
前記移動体が前記現在の位置から順次進むべき進路の方策は、前記現在の位置に対応する単位空間の位置から、前記移動体が順次進むべき単位空間の進路の方策である
ことを特徴とする経路管理方法。
【請求項8】
請求項７に記載の経路管理方法において、前記強化学習モデルは、入力層、隠れ層、および出力層を含むニューラルネットワークモデルであり、
前記第１学習ステップは、前記現在の位置に対応する単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記移動体が前記現在の単位空間の位置から次に進むべき進路として、進行方向に対する所定の方向への移動に係る各々の行動をとった場合に得られる将来の前記報酬の累積値の期待値を表す行動価値関数の第１推定値を出力し、
前記第１学習ステップは、さらに、前記移動体が次に到達した単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記行動価値関数の第２推定値を出力し、
前記第１学習ステップは、前記第１推定値が、前記第２推定値から計算される目標値となるように、前記ニューラルネットワークモデルの重みパラメータを学習する
ことを特徴とする経路管理方法。
【請求項9】
請求項１から４のいずれか１項に記載の経路管理装置と、前記移動体群と
を備える経路管理システムであって、
前記移動体群を構成する前記移動体の各々は、
前記経路管理装置で構築された前記学習済みの教師あり学習モデルを取得するように構成された第２取得部と、
自装置の現在の位置を取得するように構成された第３取得部と、
前記第３取得部によって取得された前記自装置の前記現在の位置を未知の入力として前記学習済みの教師あり学習モデルに与え、前記学習済みの教師あり学習モデルの演算を行って、前記自装置の前記現在の位置から順次進むべき進路の方策を出力するように構成された演算部と、
前記演算部によって出力された前記自装置の前記現在の位置から順次進むべき進路の方策に基づいて、前記出発地点から前記目的地点までの前記自装置の移動を制御するように構成された移動制御部と
を備える経路管理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、経路管理装置、経路管理方法、および経路管理システムに関する。
【背景技術】
【0002】
従来から、固定的に設定されている出発地点から目的地点までの移動体の最適な移動経路を、強化学習を用いて学習する技術が知られている（特許文献１参照）。
【0003】
特許文献１に記載されている１台の移動体の経路管理技術に基づいて、移動体群が同じ出発地点から目的地点に集団で移動するための移動経路を学習することが可能である。しかし、移動体群を構成する各移動体が異なる出発地点から共通の目的地点に集団で移動する場合、移動体ごとに移動経路を学習する必要があり、システム構成が複雑化する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２３－１７３６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このように、従来の技術では、異なる出発地点から共通の目的地点に移動する移動体群の経路を、より簡易な構成で管理することが困難であった。
【0006】
本発明は、上述した課題を解決するためになされたものであり、異なる出発地点から共通の目的地点に移動する移動体群の経路を、より簡易な構成で管理することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決するために、本発明に係る経路管理装置は、移動空間において設定された目的地点の位置までの移動体群の経路を管理する経路管理装置であって、前記移動体群を構成する移動体ごとの現在の位置を取得するように構成された第１取得部と、前記移動体が前記現在の位置から前記目的地点の位置に到達するまでに、前記移動体が順次進むべき進路を計算した推定結果に報酬関数を適用して、前記移動体が前記目的地点の位置へ到達するための報酬が最大化するように更新し、前記移動体が前記現在の位置から順次進むべき進路の方策を、前記移動体ごとに、強化学習モデルを用いて学習するように構成された第１学習部と、前記移動体の前記現在の位置と、前記第１学習部による前記移動体ごとの学習によって得られた前記移動体が前記現在の位置から順次進むべき進路の方策との関係を、教師あり学習モデルを用いて学習するように構成された第２学習部と、前記第２学習部によって構築された学習済みの教師あり学習モデルを記憶するように構成された記憶部とを備え、前記現在の位置は、前記移動空間内の出発地点の位置を含み、前記移動体ごとの前記出発地点の位置は、互いに異なる位置を含む。
【0008】
また、本発明に係る経路管理装置において、さらに、前記学習済みの教師あり学習モデルを、前記移動体群の進路を制御する制御情報として、前記移動体の各々に設定するように構成された設定部を備えていてもよい。
【0009】
また、本発明に係る経路管理装置において、前記移動空間は、前記移動空間を複数の空間に分割した単位空間で定義され、前記移動体が前記現在の位置から順次進むべき進路の方策は、前記現在の位置に対応する単位空間の位置から、前記移動体が順次進むべき単位空間の進路の方策であってもよい。
【0010】
また、本発明に係る経路管理装置において、前記強化学習モデルは、入力層、隠れ層、および出力層を含むニューラルネットワークモデルであり、前記第１学習部は、前記現在の位置に対応する単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記移動体が前記現在の単位空間の位置から次に進むべき進路として、進行方向に対する所定の方向への移動に係る各々の行動をとった場合に得られる将来の前記報酬の累積値の期待値を表す行動価値関数の第１推定値を出力し、前記第１学習部は、さらに、前記移動体が次に到達した単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記行動価値関数の第２推定値を出力し、前記第１学習部は、前記第１推定値が、前記第２推定値から計算される目標値となるように、前記ニューラルネットワークモデルの重みパラメータを学習してもよい。
【0011】
上述した課題を解決するために、本発明に係る経路管理方法は、移動空間において設定された目的地点の位置までの移動体群の経路を管理する経路管理方法であって、前記移動体群を構成する移動体ごとの現在の位置を取得する第１取得ステップと、前記移動体が前記現在の位置から前記目的地点の位置に到達するまでに、前記移動体が順次進むべき進路を計算した推定結果に報酬関数を適用して、前記移動体が前記目的地点の位置へ到達するための報酬が最大化するように更新し、前記移動体が前記現在の位置から順次進むべき進路の方策を、前記移動体ごとに、強化学習モデルを用いて学習する第１学習ステップと、前記移動体の前記現在の位置と、前記第１学習ステップでの前記移動体ごとの学習によって得られた前記移動体が前記現在の位置から順次進むべき進路の方策との関係を、教師あり学習モデルを用いて学習する第２学習ステップと、前記第２学習ステップで構築された学習済みの教師あり学習モデルを記憶部に記憶する記憶ステップとを備え、前記現在の位置は、前記移動空間内の出発地点の位置を含み、前記移動体ごとの前記出発地点の位置は、互いに異なる位置を含む。
【0012】
また、本発明に係る経路管理方法において、さらに、前記学習済みの教師あり学習モデルを、前記移動体群の進路を制御する制御情報として、前記移動体の各々に設定する設定ステップを備えていてもよい。
【0013】
また、本発明に係る経路管理方法において、前記移動空間は、前記移動空間を複数の空間に分割した単位空間で定義され、前記移動体が前記現在の位置から順次進むべき進路の方策は、前記現在の位置に対応する単位空間の位置から、前記移動体が順次進むべき単位空間の進路の方策であいてってもよい。
【0014】
また、本発明に係る経路管理方法において、前記強化学習モデルは、入力層、隠れ層、および出力層を含むニューラルネットワークモデルであり、前記第１学習ステップは、前記現在の位置に対応する単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記移動体が前記現在の単位空間の位置から次に進むべき進路として、進行方向に対する所定の方向への移動に係る各々の行動をとった場合に得られる将来の前記報酬の累積値の期待値を表す行動価値関数の第１推定値を出力し、前記第１学習ステップは、さらに、前記移動体が次に到達した単位空間の位置を前記ニューラルネットワークモデルの入力として与え、前記ニューラルネットワークモデルの演算を行い、前記行動価値関数の第２推定値を出力し、前記第１学習ステップは、前記第１推定値が、前記第２推定値から計算される目標値となるように、前記ニューラルネットワークモデルの重みパラメータを学習してもよい。
【0015】
上述した課題を解決するために、本発明に係る経路管理システムは、上述の経路管理装置と前記移動体群とを備える経路管理システムであって、前記移動体群を構成する前記移動体の各々は、前記経路管理装置で構築された前記学習済みの教師あり学習モデルを取得するように構成された第２取得部と、自装置の現在の位置を取得するように構成された第３取得部と、前記第３取得部によって取得された前記自装置の前記現在の位置を未知の入力として前記学習済みの教師あり学習モデルに与え、前記学習済みの教師あり学習モデルの演算を行って、前記自装置の前記現在の位置から順次進むべき進路の方策を出力するように構成された演算部と、前記演算部によって出力された前記自装置の現在の位置から順次進むべき進路の方策に基づいて、前記出発地点から前記目的地点までの前記自装置の移動を制御するように構成された移動制御部とを備える。
【発明の効果】
【0016】
本発明によれば、移動体の現在の位置と、第１学習部による移動体ごとの学習によって得られた、移動体が現在の位置から順次進むべき進路の方策との関係を、教師あり学習モデルを用いて学習するする。そのため、異なる出発地点から共通の目的地点に移動する移動体群の経路を、より簡易な構成で管理することができる。
【図面の簡単な説明】
【0017】
【発明を実施するための形態】
【0018】
【0019】
［経路管理システムの構成］
まず、図１を参照して、本発明の実施の形態に係る経路管理装置１および複数の移動体２を備える経路管理システムの概要について説明する。
まず、図１を参照して、本発明の実施の形態に係る経路管理装置１および複数の移動体２を備える経路管理システムの概要について説明する。
【0020】
本実施の形態に係る経路管理システムは、経路管理装置１と複数の移動体２である移動体群とを備え、経路管理装置１と複数の移動体２とは、ＬＴＥ／４Ｇ、５Ｇ、６Ｇなどの所定の通信規格に準拠する無線通信ネットワークＮＷを介して互いに通信可能に接続されている。経路管理システムは、複数の移動体２が、移動空間Ａにおいて設定された共通の目的地点の位置までに集団で移動するための経路を管理する。図１に示すように、移動体２が移動する移動空間Ａは、例えば、５Ｇ無線通信方式による通信が可能である。
【0021】
移動体２は、ドローン、無人航空機などの自律操縦飛行を行うことができる飛行体、自動走行車両、移動ロボット、船舶などが含まれる。移動体群を構成する各移動体２は、移動空間Ａの任意の位置、あるいは予め設定された異なる位置を出発地点とし、各出発地点の位置から同じ目的地点の位置へ集団で移動して設定されたタスクを実行する。
【0022】
以下において、移動体２がドローンである場合を例に挙げて説明する。移動体２は、後述のセンサ２０８等からの情報を処理してモータ２０９の回転速度やプロペラ２１０の角度を制御するフライトコントローラにより自律飛行を制御する。また、移動体２は、ＧＰＳ受信機２０７によって自装置のＧＰＳ位置を取得する。また、移動体２は、ＩＰアドレスを有するＩｏＴ端末として構成される。各ＩＰアドレスにより移動体２を一意に識別することができる。さらに、本実施の形態では、移動体２は、補助記憶装置２０５に記憶されている制御情報に基づいて、目的地点までの自律飛行を制御する。複数の移動体２の各々は、同一の構成を有し、その機能ブロックおよびハードウェア構成の詳細は後述する。
【0023】
図１に示すように、複数の移動体２が移動する移動空間Ａは、複数の空間に分割した単位空間で構成された３次元マトリックス状の空間である。移動空間Ａを構成する各単位空間は同一の容積を有する。さらに、各単位空間はノードＩＤを有し、各単位空間は１つの位置（ｘ，ｙ，ｚ）で表される。位置情報は、緯度、経度、高度からなる３次元のＧＰＳ位置座標を用いることができる。例えば、単位空間の位置として、その単位空間の中心位置などの代表値を用いることができる。
【0024】
また、図１に示すように、ｎ台（ｎは２以上の整数）の移動体２は、それぞれの異なる出発地点の位置Ｓ１，Ｓ２，・・・，Ｓｎに対応する単位空間の位置から、各単位空間をウェイポイントとして、目的地点Ｇの単位空間の位置まで集団で移動する。移動体２の目的地点Ｇの位置は任意に設定され、複数の移動体２に共通の目的地点である。
【0025】
本実施の形態に係る経路管理システムは、異なる出発地点から目的地点までを移動する複数の移動体２の各々の現在の単位空間から順次進むべき進路の方策を強化学習により学習する。さらに、学習により得られた複数の移動体２の進路の方策を教師データとして、移動体２の現在の単位空間の位置と、移動体２が順次進むべき進路の方策との関係を、教師あり学習モデルを用いて学習する。さらに、学習済みの教師あり学習モデルを、複数の移動体２の進路を制御する１つの共通の制御情報として各移動体２に設定する。各移動体２は、設定された制御情報に基づいて、自装置の現在の単位空間の位置を未知の入力として、学習済みの教師あり学習モデルの演算を行い、順次進むべき進路の方策を出力する。そして、出力された順次進むべき進路の方策に基づいて、出発地点から目的地点までの進路を決定して目的地点までの移動を制御する。
【0026】
制御情報が設定された各移動体２は、学習済みの教師あり学習モデルの演算で得られた進路の方策に基づいて決定された進路に応じて、図１の出発地点Ｓ１の各矢印で示すように進路を変えて、単位空間ごとに進むべき方向へ移動する。進路は、様々な進路、すなわち移動方向を含むことができる。図１においては、移動空間Ａを２次元平面で説明しているが、移動体２の進路は３次元の進路とすることができる。ここでは、各単位空間の位置から隣接する各単位空間の位置への移動を進路といい、出発地点の位置から複数の単位空間を経た目的地点の位置までの移動を経路という。経路管理装置１が各移動体２に設定する共通の制御情報により、複数の移動体２は、それぞれ異なる出発地点の単位空間から集団で目的地点Ｇの単位空間に到達することができる。
【0027】
［経路管理装置の機能ブロック］
図１に示すように、経路管理装置１は、第１取得部１０、第１学習部１１、第２学習部１２、第１記憶部（記憶部）１３、第２記憶部１４、および設定部１５を備える。経路管理装置１は、移動空間Ａにおいて設定された目的地点の位置までの移動体群の経路を管理する。
図１に示すように、経路管理装置１は、第１取得部１０、第１学習部１１、第２学習部１２、第１記憶部（記憶部）１３、第２記憶部１４、および設定部１５を備える。経路管理装置１は、移動空間Ａにおいて設定された目的地点の位置までの移動体群の経路を管理する。
【0028】
第１取得部１０は、移動体群を構成する各移動体２の現在の位置を取得する。具体的には、第１取得部１０は、複数の移動体２の各々が現在いる単位空間の位置を、現在の位置として取得する。また、現在の位置は、設定された時刻ｔごとの移動体２が存在する単位空間の位置であり、出発地点の単位空間の位置を含む。本実施の形態では、各移動体２の出発地点の位置は、互いに異なる位置を含む。
【0029】
第１取得部１０は、時刻ｔごとの移動体２のＧＰＳ位置に対応する単位空間の位置を、移動体２の現在の位置として取得する。なお、単位空間において複数の位置座標が含まれる場合がある。そのような場合には、第１取得部１０は、移動体２のＧＰＳ受信機２０７によって受信されたＧＰＳ位置に最も距離が近い単位空間の位置を、移動体２の現在の位置として取得することができる。本実施の形態では、第１取得部１０は、移動体群を構成するすべての移動体２の現在の位置を取得する。
【0030】
第１学習部１１は、移動体２が現在の位置から目的地点の位置に到達するまでに、移動体２が順次進むべき進路を計算した推定結果に報酬関数を適用して、移動体２が目的地点の位置へ到達するための報酬が最大化するように更新し、移動体２が現在の位置から順次進むべき進路の方策を、移動体２ごとに、強化学習モデルを用いて学習する。このように、第１学習部１１は、それぞれ出発地点が異なる複数の移動体２の各々について強化学習を行い、進路の方策を学習する。
【0031】
本実施の形態では、移動体２が各単位空間の位置から順次進むべき進路の方策として、進行方向に対する所定のｎ（ｎは２以上の整数）個の方向への移動に係る行動ａｎを採用する場合を例示する。また、進行方向は、移動体２が直前にいた単位空間の位置に基づいた方向である。
【0032】
第１学習部１１は、図２に示すような入力層ｓ、隠れ層ｈ、および出力層ｑを含むニューラルネットワークモデルを強化学習モデルとして用いる。また、ニューラルネットワークモデルとして、移動体２の位置である状態ｓｔを受取り、全ての行動価値関数Ｑ（ｓｔ，ａ１）、Ｑ（ｓｔ，ａ２）、Ｑ（ｓｔ，ａ３）、・・・、Ｑ（ｓｔ，ａｎ－１）、Ｑ（ｓｔ，ａｎ）を出力するニューラルネットワークであるＤｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ（ＤＱＮ）を採用する。
【0033】
より具体的には、第１学習部１１は、現在の移動体２の位置を示す、現在の単位空間の位置をニューラルネットワークモデルの入力として与え、ニューラルネットワークモデルの演算を行い、移動体２が現在の単位空間の位置から次に進むべき進路として、ｎ個の方向への各移動に係る行動ａｎをとった場合に得られる将来の報酬の累積値の期待値を表す行動価値関数の第１推定値Ｑ１を出力する。
【0034】
報酬とは、移動体２の現在の位置を示す状態ｓ、移動体２が所定の方向に移動する行動ａｎ、および移動体２の次の位置、すなわち次の状態ｓ’の報酬関数ｒ＝ｒ（ｓ，ａ，ｓ’）で与えられる。本実施の形態では、報酬関数は、移動体２の目的地点に係る単位空間の位置への到達度を変数として含む。その他にも、高層ビルや鉄塔などの障害物がある空間に対応する単位空間の位置への到達度を変数として含むことができる。例えば、移動体２の所定の方向への移動に係る行動によって、目的地点により近づく場合や、目的地点に最短距離で到達する場合には、スカラー量である報酬が、より大きい値として設定される。
【0035】
一方、移動体２が目的地点に遠ざかる、あるいは、障害物が存在する単位空間に到達する場合には、マイナスの報酬値（例えば、ｒ＝－１）が与えられる設計とすることができる。このように、障害物が存在する単位空間の報酬をマイナスの値として設定することで、移動体２がこれらの地点を避けて目的地点に到達することができる。
【0036】
さらに、第１学習部１１は、移動体２が次に到達した単位空間の位置をニューラルネットワークモデルの入力として与え、ニューラルネットワークモデルの演算を行い、行動価値関数の第２推定値Ｑ２を出力する。第１学習部１１は、第１推定値Ｑ１が、第２推定値Ｑ２から計算される目標値となるように、ニューラルネットワークモデルの重みパラメータを学習する。
【0037】
ニューラルネットワークモデルの重みパラメータをθとし、行動価値関数をＱ（ｓ，ａ；θ）と表すと、学習の最小化損失関数は、次の式（１）で与えられる。
Ｌ（θ）＝１／２｛ｒ＋γｍａｘａ’Ｑ（ｓ’，ａ’；θ）－Ｑ（ｓ，ａ；θ）｝２
・・・（１）
Ｌ（θ）＝１／２｛ｒ＋γｍａｘａ’Ｑ（ｓ’，ａ’；θ）－Ｑ（ｓ，ａ；θ）｝２
・・・（１）
【0038】
上式（１）において、ｒは、報酬（即時報酬）であり、γは割引率を示す。Ｑ（ｓ，ａ；θ）は、第１推定値Ｑ１に対応し、Ｑ（ｓ’，ａ’；θ）は、１ステップ進んだ状態ｓ’での行動価値すなわち第２推定値Ｑ２に対応する。目標値は、ｒ＋γｍａｘａ’Ｑ（ｓ’，ａ’；θ）で表される。
【0039】
第１学習部１１は、上式（１）で与えられる損失関数の勾配を誤差逆伝播することでニューラルネットワークモデルの重みパラメータを更新することができる。
【0040】
さらに具体的には、第１学習部１１は、図３に示すように、メインＱＮ１１１およびターゲットＱＮ１１３の２つのニューラルネットワークを用いるＦｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋを採用することができる。メインＱＮ１１１は最適な行動を選択して行動価値関数Ｑを更新する。一方、ターゲットＱＮ１１３は、行動の結果の次の状態ｓ’でとるべき行動ａ’の価値を推定および評価する。メインＱＮ１１１およびターゲットＱＮ１１３は、同一のレイヤ構造のニューラルネットワークを有するが、メインＱＮ１１１のパラメータは「θ」であり、ターゲットＱＮ１１３のパラメータは「θ－」で与えられる。
【0041】
メインＱＮ１１１は、環境１１０から移動体２の現在の位置を状態ｓとして受け取る。環境１１０は、移動体２が置かれた移動空間のシステムであり、この環境１１０下で、移動体２は、所定の方向への移動に係る行動ａをとることで別の単位空間へ移動し、次の状態ｓ’に遷移すると同時に、環境１１０から報酬ｒを獲得する。
【0042】
第１学習部１１は、移動体２の現在の位置に係る状態ｓをメインＱＮ１１１に入力し、行動価値関数Ｑ（ｓ，ａ；θ）を求める。第１学習部１１は、例えば、ε－ｇｒｅｅｄｙ法を用いて行動ａを計算し、あるいは、現時点での最適な行動ａｒｇｍａｘａＱ（ｓ，ａ；θ）を求める。環境１１０において、移動体２は、現時点での最適な進路に係る行動ａｒｇｍａｘａＱ（ｓ，ａ；θ）を行う。環境１１０は、移動体２が行動ａｒｇｍａｘａＱ（ｓ，ａ；θ）を行った結果、移動した先の単位空間の位置を次の状態ｓ’として観測し、報酬ｒを出力する。経験データ１１４は、環境１１０から出力された経験（ｓ，ａ，ｒ，ｓ’）を保存する。
【0043】
第１学習部１１は、ＤＱＮ損失算出１１２において、損失関数Ｌを求め、損失関数Ｌの勾配でメインＱＮ１１１の重みを更新する。
【0044】
第１学習部１１は、メインＱＮ１１１の重みを定期的にターゲットＱＮ１１３にコピーし同期を行う。ターゲットＱＮ１１３の同期は、メインＱＮ１１１の重みの更新頻度よりも低い頻度で行われる。第１学習部１１は、経験データ１１４から経験を取り出して、過去の状態をターゲットＱＮ１１３に入力し、推定値ｍａｘａ’Ｑ（ｓ’，ａ’；θ－）を出力させる。第１学習部１１は、ターゲットＱＮ１１３が出力した推定値ｍａｘａ’Ｑ（ｓ’，ａ’；θ－）に基づく目標値ｒ＋γｍａｘａ’Ｑ（ｓ’，ａ’；θ－）を用いて、ＤＱＮ損失算出１１２でメインＱＮ１１１の重みの学習を行う。
【0045】
第１学習部１１による学習によって得られた、出発地点の位置が異なる複数の移動体２のそれぞれの現在の位置から目的地点に到達するまでに順次進むべき進路の方策、すなわち学習済みの強化学習モデルは、第１記憶部１３に記憶される。また、移動体２ごとに構築された学習済みの強化学習モデルは、第２学習部１２による学習における教師データとして用いられる。
【0046】
第２学習部１２は、移動体２の現在の位置と、第１学習部１１による移動体２ごとの学習によって得られた、移動体２が現在の位置から順次進むべき進路の方策との関係を、教師あり学習モデルを用いて学習する。
【0047】
図４は、第２学習部１２が用いる教師あり学習モデルの一例として採用する、ニューラルネットワークモデルの構造を示す。ニューラルネットワークモデルは、入力層ｘ、隠れ層ｈ、および出力層ｙを備える。第２学習部１２は、移動体２の現在の単位空間の位置、すなわち各時刻ｔでの移動体２のＧＰＳ位置に対応する単位空間の位置をニューラルネットワークモデルの入力層に与え、入力の重み付け総和に活性化関数を適用し、しきい値処理により決定された出力を出力層に渡す。出力層の各出力ノードは、ｎ個の行動価値関数Ｑに対応するモデルの予測出力を出力する。
【0048】
第２学習部１２は、次の式（２）に示す目的関数Ｅを導入することで、移動体２の現在の位置に対するニューラルネットワークモデルからの予測値である現在の位置から順次進むべき進路の方策が、第１学習部１１による移動体２ごとの学習で得られた、各移動体２が現在の位置から順次進むべき進路の方策の値となるように、ニューラルネットワークモデルのパラメータを学習する。
【0049】
【数1】
【0050】
上式（２）において、ｙ１，ｙ２，・・・，ｙｎは各出力ノードの予測出力値を示す。また、Ｙ１，Ｙ２，・・・，Ｙｎは教師データであり、本実施の形態では、第１学習部１１による強化学習で得られた、現在の位置に対するｎ個の行動価値関数Ｑ（ｓｔ，ａ１）、Ｑ（ｓｔ，ａ２）、Ｑ（ｓｔ，ａ３）、・・・、Ｑ（ｓｔ，ａｎ－１）、Ｑ（ｓｔ，ａｎ）である。さらに、学習済みの強化学習モデルで得られた、出発地点がそれぞれ異なる複数の移動体２が、共通の目的地点に到達するまでの行動価値関数Ｑのすべてを教師データとして用いる。
【0051】
上式（２）の目的関数Ｅの値は、教師あり学習モデルの上記入力値ｘである、時刻ｔでの移動体２のＧＰＳ位置に対応する単位空間の位置に対する出力値ｙ１，ｙ２，・・・，ｙｎが教師データの目標出力Ｙ１，Ｙ２，・・・，Ｙｎに一致する場合に０となる。第２学習部１２は、目的関数Ｅが最小、つまり０となるように、教師あり学習モデルに係るニューラルネットワークの重みパラメータを調整する。第２学習部１２は、誤差逆伝播法などを用いて、目的関数Ｅを最適化することができる。
【0052】
第１記憶部１３は、第１学習部１１による敵対的学習で構築された学習済みの強化学習モデルを記憶する。学習済みの強化学習モデルは、出発地点がそれぞれ異なる移動体２ごとに構築されるため、ｎ台の移動体２の出発地点がそれぞれ異なる場合には、ｎ個の学習済みの強化学習モデルが記憶されることになる。
【0053】
第２記憶部１４は、第２学習部１２による教師あり学習で構築された学習済みの教師あり学習モデルを記憶する。
【0054】
設定部１５は、学習済みの教師あり学習モデルを、移動体群の進路を制御する制御情報として、各移動体２に設定する。例えば、設定部１５は、ネットワークＮＷを介して、各移動体２に制御情報を送信することができる。
【0055】
［経路管理装置のハードウェア構成］
次に、上述した機能を有する経路管理装置１を実現するハードウェア構成の一例について、図５を用いて説明する。
次に、上述した機能を有する経路管理装置１を実現するハードウェア構成の一例について、図５を用いて説明する。
【0056】
図５に示すように、経路管理装置１は、例えば、バス１０１を介して接続されるプロセッサ１０２、主記憶装置１０３、通信インターフェース１０４、補助記憶装置１０５、入出力Ｉ／Ｏ１０６を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。さらに、経路管理装置１は、バス１０１を介して接続される表示装置１０７を備えることができる。
【0057】
プロセッサ１０２は、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣなどによって実現される。
【0058】
主記憶装置１０３には、プロセッサ１０２が各種制御や演算を行うためのプログラムが予め格納されている。プロセッサ１０２と主記憶装置１０３とによって、図１に示した第１取得部１０、第１学習部１１、第２学習部１２、設定部１５など経路管理装置１の各機能が実現される。
【0059】
通信インターフェース１０４は、経路管理装置１と各種外部電子機器との間をネットワーク接続するためのインターフェース回路である。
【0060】
補助記憶装置１０５は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置１０５には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。
【0061】
補助記憶装置１０５は、経路管理装置１が実行する経路管理プログラムを格納するプログラム格納領域を有する。また、経路管理装置１が実行する強化学習プログラムを格納するプログラム格納領域を有する。さらに、補助記憶装置１０５は、教師あり学習プログラムを格納する領域を有する。補助記憶装置１０５によって、図１で説明した第１記憶部１３および第２記憶部１４が実現される。また、補助記憶装置１０５は、移動体群を構成する各移動体２の目的地点を記憶する領域を有する。また、補助記憶装置１０５は、移動空間の位置座標および単位空間の位置座標を記憶する領域を有する。さらに、補助記憶装置１０５は、移動体２のＩＰアドレスなどの識別情報を記憶する領域を有する。さらには、例えば、上述したデータやプログラムなどをバックアップするためのバックアップ領域などを有していてもよい。
【0062】
入出力Ｉ／Ｏ１０６は、外部機器からの信号を入力したり、外部機器へ信号を出力したりする入出力装置である。
【0063】
表示装置１０７は、有機ＥＬディスプレイや液晶ディスプレイなどによって構成される。表示装置１０７は、移動空間の地図表示や、移動体群を構成する各移動体２の現在位置、進行状況、経路、および目的地点の位置情報を表示させることができる。
【0064】
［移動体の機能ブロック］
次に、移動体２の機能ブロックについて、図６を参照して説明する。図６は、移動体２の構成を示すブロック図である。前述したように、複数の移動体２の各々は、同じ機能ブロックで構成される。
次に、移動体２の機能ブロックについて、図６を参照して説明する。図６は、移動体２の構成を示すブロック図である。前述したように、複数の移動体２の各々は、同じ機能ブロックで構成される。
【0065】
移動体２は、第３記憶部２０、第２取得部２１、第４記憶部２２、第３取得部２３、演算部２４、決定部２５、および移動制御部２６を備える。複数の移動体２の各々は、経路管理装置１によって設定された制御情報に基づいて、自装置が次に進むべき進路を決定し、目的地点の位置までの自装置の飛行を制御する。前述したように、複数の移動体２の各々の出発地点は、互いに異なる地点を含む。
【0066】
第３記憶部２０は、経路管理装置１の設定部１５によって設定された制御情報を記憶する。制御情報は、経路管理装置１の第２学習部１２が、異なる出発地点から同じ目的地点に到達するまでに、現在の位置から順次進むべき進路の方策を学習した、学習済みの教師あり学習モデルである。
【0067】
第２取得部２１は、経路管理装置１により設定された制御情報を取得する。具体的には、第２取得部２１は、第３記憶部２０に記憶されている制御情報をロードする。
【0068】
第４記憶部２２は、移動空間の位置座標を含む地図データ、および移動空間を構成する単位空間の位置座標と単位空間のノードＩＤとを対応付けた情報を記憶する。また、第４記憶部２２は、目的地点の位置情報を記憶する。
【0069】
第３取得部２３は、自装置の現在の位置を取得する。より詳細には、第３取得部２３は、自装置のＧＰＳ位置に基づいて、時刻ｔごとに自装置がいる単位空間の位置を取得する。第３取得部２３は、第４記憶部２２を参照し、ＧＰＳ受信機２０７で受信された現在のＧＰＳ位置に対応する単位空間の位置を自装置の現在の位置として取得する。
【0070】
演算部２４は、第３取得部２３によって取得された自装置の現在の位置を未知の入力として学習済みの教師あり学習モデルに与え、前記学習済みの教師あり学習モデルの演算を行って、自装置が現在の位置から順次進むべき進路の方策を出力する。
【0071】
決定部２５は、演算部２４によって出力された、自装置が現在の位置から順次進むべき進路の方策に基づいて、自装置の現在の位置から、次に進むべき進路を決定する。より具体的には、演算部２４によって出力された進路の方策に基づいて、現在の単位空間の位置を状態ｓｔとして、各状態ｓｔにて、行動価値関数Ｑの値が最大な行動ａである進路を選択することで、順次進むべき進路を決定する。
【0072】
移動制御部２６は、演算部２４によって出力された自装置が現在の位置から順次進むべき進路の方策に基づいて、自装置の移動を制御する。具体的には、移動制御部２６は、演算部２４により出力され、決定部２５によって決定された、次に進むべき進路に基づいて、自装置の移動を制御する。移動制御部２６は、現在の位置から次に進むべき進路の制御指令を演算して、モータ２０９に対して制御指令値を送信することができる。このように、複数の移動体２の各々は、各状態ｓｔにて、行動価値関数Ｑの値が最大な行動ａを選択することで、異なる出発地点から共通の目的地点に集団で移動することができる。
【0073】
［移動体のハードウェア構成］
次に、上述した機能を有する移動体２を実現するハードウェア構成の一例について、図７を用いて説明する。
次に、上述した機能を有する移動体２を実現するハードウェア構成の一例について、図７を用いて説明する。
【0074】
図７に示すように、移動体２は、例えば、バス２０１を介して接続されるプロセッサ２０２、主記憶装置２０３、通信インターフェース２０４、補助記憶装置２０５、入出力Ｉ／Ｏ２０６を備えるマイクロコンピュータと、これらのハードウェア資源を制御するプログラム、ＧＰＳ受信機２０７、センサ２０８、モータ２０９、プロペラ２１０、およびバッテリ２１１によって実現することができる。マイクロコンピュータ等のコンピュータとプログラムとによって移動体２の自律飛行を制御するフライトコントローラが実現される。移動体２はこれらの構成を所定の形状のフレームに搭載することができる。
【0075】
主記憶装置２０３には、プロセッサ２０２が移動制御や演算を行うためのプログラムが予め格納されている。プロセッサ２０２と主記憶装置２０３とによって、図６に示した、第２取得部２１、演算部２４、決定部２５、移動制御部２６など移動体２の各機能が実現される。
【0076】
通信インターフェース２０４は、移動体２と経路管理装置１との間をネットワーク接続するためのインターフェース回路である。
【0077】
補助記憶装置２０５は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。補助記憶装置２０５には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。
【0078】
補助記憶装置２０５は、移動体２が実行する移動制御プログラムを格納するプログラム格納領域を有する。また、補助記憶装置２０５は、学習済みの教師あり学習モデルの演算を行うための演算プログラムを格納する領域を有する。補助記憶装置２０５によって、図６で説明した第３記憶部２０、および第４記憶部２２が実現される。また、補助記憶装置２０５は、移動体２のＩＰアドレスなどの識別情報を記憶する領域を有する。また、補助記憶装置２０５は、経路管理装置１にＧＰＳ位置を通知するアプリケーションを記憶する領域を有する。さらには、例えば、上述したデータやプログラムなどをバックアップするためのバックアップ領域などを有していてもよい。
【0079】
入出力Ｉ／Ｏ２０６は、外部機器からの信号を入力したり、外部機器へ信号を出力したりする入出力装置である。
【0080】
ＧＰＳ受信機２０７は、ＧＰＳ信号を受信するアンテナが内蔵される。ＧＰＳ受信機２０７によって、図６の第３取得部２３が実現される。
【0081】
センサ２０８は、高度センサ、姿勢センサ、カメラ、ＬｉＤＡＲ、ＲＡＤＡＲなどの各種センサで構成される。ＧＰＳ受信機２０７に加え、高度センサによって図６の第３取得部２３が実現される。また、センサ２０８で測定される各種センサデータに基づいて、フライトコントローラは移動体２の飛行制御を行う。
【0082】
モータ２０９は、回転駆動によって回転し、モータ２０９の回転軸に取り付けられたプロペラ２１０を回転させる。
【0083】
バッテリ２１１は、リチウムイオンバッテリ等であり、移動体２の構成に電源供給する。
【0084】
なお、移動体２は、ＳＩＭを備え、ＳＩＭのＩＭＳＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ）を有していてもよい。
【0085】
［経路管理システムの動作］
次に、上述した構成を有する経路管理装置１および複数の移動体２を備える経路監視システムの動作を、図８のシーケンスを参照して説明する。複数の移動体２は、移動空間内の異なる単位空間の位置に配置され、それらの位置を出発地点とする。
次に、上述した構成を有する経路管理装置１および複数の移動体２を備える経路監視システムの動作を、図８のシーケンスを参照して説明する。複数の移動体２は、移動空間内の異なる単位空間の位置に配置され、それらの位置を出発地点とする。
【0086】
経路管理装置１は、移動体群が集団で移動する目的地点の設定情報を取得する（ステップＳ１）。次に、第１取得部１０は、移動体２の現在の位置として、移動体２が現在いる単位空間の位置を取得する（ステップＳ２）。例えば、第１取得部１０は、対象の複数の移動体２のＩＰアドレスを対象に、プッシュ通知にて各移動体２から現在のＧＰＳ位置を通知させることで、各移動体２の現在の位置を取得することができる。
【0087】
第１取得部１０は、移動体群を構成するすべての移動体２から、時刻ｔごとに移動体２が現在いる単位空間の位置を取得する。また、前述したように、各々の移動体２は、異なる出発地点の単位空間の位置から出発する。したがって、最初の時刻ｔでの各移動体２の現在いる単位空間の位置は互いに異なる。第１取得部１０は、移動体２のＧＰＳ受信機２０７で受信された現在のＧＰＳ位置に対応する単位空間の位置を移動体２の現在の位置として取得する。
【0088】
次に、第１学習部１１は、ステップＳ２で取得された移動体２の現在の位置から目的地点の位置に到達するまでに、移動体２が順次進むべき進路を計算した推定結果に報酬関数を適用して、移動体２が目的地点の位置へ到達するための報酬が最大化するように更新し、移動体２が現在の位置から順次進むべき進路の方策を、強化学習モデルを用いて学習する（第１学習処理）（ステップＳ３）。ステップＳ３では、出発地点が異なるすべての移動体２について学習処理が行われる。第１学習処理の詳細は後述する。
【0089】
その後、第１記憶部１３は、ステップＳ３で得られた学習済みの強化学習モデルを記憶する（ステップＳ４）。次に、第２学習部１２は、移動体２の現在の位置と、ステップＳ３での移動体２ごとの第１学習処理で得られた、移動体２が現在の位置から順次進むべき進路の方策との関係を、教師あり学習モデルを用いて学習する（第２学習処理）（ステップＳ５）。
【0090】
具体的には、第２学習部１２は、移動体２の現在のＧＰＳ位置に対応する単位空間の位置、すなわち現在の状態を入力値として教師あり学習モデルに与えた場合の順次進むべき進路の方策の予測出力値と、教師データとの誤差が、上式（２）の目的関数Ｅを最小とするように、重みやしきい値などのパラメータの調整および更新を繰り返し、これらのパラメータの値を決定する。ステップＳ５では、第２学習部１２は、誤差逆伝播法などにより、目的関数Ｅを最小とするパラメータを決定することができる。
【0091】
ステップＳ５で用いる教師データは、ステップＳ３の第１学習処理で構築された学習済みの強化学習モデルによって得られる、現在の単位空間の位置から順次進むべき進路の方策である。より具体的には、図４のニューラルネットワークの模式図に示すように、現在の位置に対するｎ個の行動価値関数Ｑが教師データＹ１～Ｙｎとして用いられる。ステップＳ５では、ステップＳ３の学習済みの強化学習モデルで得た、出発地点が異なる複数の移動体２が目的地点に到達するまでの行動価値関数Ｑのすべてを教師データとして用いる。
【0092】
次に、第２記憶部１４は、ステップＳ５で構築された学習済みの教師あり学習モデルを記憶する（ステップＳ６）。その後、設定部１５は、学習済みの教師あり学習モデルを、移動体群を構成する各移動体２に、制御情報として設定する（ステップＳ７）。ステップＳ７において、設定部１５は、学習済みの教師あり学習モデルを、ネットワークＮＷを介して、各移動体２に送信することができる。
【0093】
その後、移動体群を構成する移動体２の第２取得部２１は、経路管理装置１で構築された学習済みの教師あり学習モデルを取得する（ステップＳ８）。第２取得部２１は、経路管理装置１から送信され、第３記憶部２０に記憶されている制御情報、すなわち学習済みの教師あり学習モデルを読み出す。
【0094】
次に、第３取得部２３は、現在の位置として、自装置の現在の単位空間の位置を取得する（ステップＳ９）。具体的には、ＧＰＳ受信機２０７で受信されたＧＰＳ位置に対応する単位空間の位置を、自装置の現在の位置として取得することができる。次に、演算部２４は、ステップＳ８で取得された制御情報を用いて、ステップＳ９で取得した自装置の現在の単位空間の位置を未知の入力として与え、学習済みの教師あり学習モデルの演算を行って、現在の単位空間の位置から順次進むべき進路の方策を出力する（ステップＳ１０）。例えば、図１の移動空間Ａにおいて、移動体２の出発地点がＳ２である場合、出発地点Ｓ２の位置を時刻ｔ＝１での現在の位置として学習済みの教師あり学習モデルに入力し、Ｓ２から次に進むべきｎ個の行動価値関数Ｑを出力する。
【0095】
次に、決定部２５は、ステップＳ１１で出力されたｎ個の行動価値関数Ｑの値が最大な行動ａをとる進路を選択することで、順次進むべき進路を決定する（ステップＳ１１）。次に、移動制御部２６は、ステップＳ１１で決定した、次に進むべき進路に基づいて、自装置の移動を制御する（ステップＳ１２）。より詳細には、移動制御部２６は、現在の位置から次に進むべき進路の制御指令を演算して、モータ２０９に対して制御指令値を送信することができる。
【0096】
移動体２は、出発地点から共通の目的地点の単位空間に到達するまで（ステップＳ１３：ＮＯ）、現在いる単位空間の位置である状態ｓｔを取得し（ステップＳ９）、学習済みの教師あり学習モデルの演算を行い（ステップＳ１０）、時刻ｔごとに次に進むべき進路ａを決定し（ステップＳ１１）、決定した進路ａに基づく移動制御を行う（ステップＳ４４）処理を繰り返す。その後、移動体２が、目的地点の単位空間の位置に到達すると（ステップＳ１３：ＹＥＳ）、処理は終了する。このように、移動体群を構成する各移動体２は、共通の制御情報である学習済みの教師あり学習モデルを用いて、ステップＳ８からステップＳ１３までの処理を実行することで、それぞれの出発地点が異なる複数の移動体２は共通の目的地点に集団で移動し、所定のタスクを実行することができる。
【0097】
次に、経路管理装置１による第１学習処理（図８のステップＳ３）について、図９および図１０のフローチャートを用いて説明する。まず、図８で説明したステップＳ１およびステップＳ２が実行される。その後、第１学習部１１は、ステップＳ２で取得された移動体２の現在の状態である、移動体２が現在いる単位空間の位置をニューラルネットワークモデルに入力として与え、ニューラルネットワークモデルの演算を行って、移動体２が現在の単位空間の位置から次に進むべき進路として、進行方向に対する所定の方向への移動に係る各々の行動をとった場合に得られる将来の報酬の累積値の期待値を表す行動価値関数の第１推定値Ｑ１を出力する（ステップＳ２０）。
【0098】
続いて、第１取得部１０は、次の時刻ｔでの移動体２の単位空間の位置を、次の状態ｓ’として取得する（ステップＳ２１）。移動体２が次に到達した単位空間の位置は、時刻ステップごとに第１取得部１０が取得する移動体２のＧＰＳ位置に基づいて判定される。さらに、第１学習部１１は、ステップＳ２１で取得した、移動体２が次に到達した単位空間の位置をニューラルネットワークモデルの入力として与え、ニューラルネットワークモデルの演算を行い、行動価値関数の第２推定値Ｑ２を出力する（ステップＳ２２）。
【0099】
次に、第１学習部１１は、第２推定値Ｑ２から目標値を算出する（ステップＳ２３）。続いて、第１学習部１１は、第１推定値Ｑ１が、第２推定値Ｑ２から計算される目標値となるように、ニューラルネットワークモデルの重みパラメータを学習する（ステップＳ２４）。具体的には、第１学習部１１は、上式（１）の損失関数を最小化するようにニューラルネットワークモデルの重みパラメータを更新する。
【0100】
その後、出発地点がそれぞれ異なる複数の移動体２のすべてについて学習済みの強化学習モデルを構築するまで（ステップＳ２５：ＮＯ）、ステップＳ２からステップＳ２４までの処理を繰り返す。その後、すべての移動体２についての学習が行われた場合には（ステップＳ２５：ＹＥＳ）、第１記憶部１３は、ステップＳ２４で得られた学習済みの強化学習モデルを記憶する（ステップＳ４）。
【0101】
次に、図１０を参照して、メインＱＮ１１１およびターゲットＱＮ１１３の２つのニューラルネットワークを用いるＦｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋを採用した場合の、第１学習部１１による第１学習処理を説明する。
【0102】
ステップＳ１からステップＳ２までの処理は、図９で説明した第１学習処理のステップと同様である。その後、第１学習部１１は、メインＱＮ１１１にステップＳ２で取得された、移動体２が現在いる単位空間の位置を入力として与え、ニューラルネットワークモデルの演算を行って、行動価値関数Ｑを出力し、次に進むべき進路ａを計算する（ステップＳ１２０）。
【0103】
次に、第１学習部１１は、ステップＳ１２０で求めた進路ａで移動体２の行動を環境１１０に返し、次の移動体２の状態ｓ’である、移動体２が進んだ先の単位空間の位置および報酬ｒを得る（ステップＳ１２１）。
【0104】
第１学習部１１は、ステップＳ１２１で得られた経験（ｓ，ａ，ｒ，ａ’）を経験データ１１４に保存する（ステップＳ１２２）。次に、第１学習部１１は、ＤＱＮ損失算出１１２において、損失関数Ｌを求め、損失関数Ｌの勾配でメインＱＮ１１１の重みを更新する（ステップＳ１２３）。第１学習部１１は、ステップＳ１２０からステップＳ１２３までの処理を設定された回数繰り返す。
【0105】
その後、第１学習部１１は、メインＱＮ１１１の重みを定期的にターゲットＱＮ１１３にコピーし同期を行う（ステップＳ１２４）。ターゲットＱＮ１１３の同期は、メインＱＮ１１１の重みの更新頻度よりも低い頻度で行われる。次に、第１学習部１１は、経験データ１１４から経験を取り出して、過去の状態をターゲットＱＮ１１３に入力し、推定値ｍａｘａ’Ｑ（ｓ’，ａ’；θ－）を出力させる（ステップＳ１２６）。
【0106】
次に、第１学習部１１は、ターゲットＱＮ１１３が出力した推定値ｍａｘａ’Ｑ（ｓ’，ａ’；θ－）に基づく目標値ｒ＋γｍａｘａ’Ｑ（ｓ’，ａ’；θ－）を計算する（ステップＳ１２７）。次に、第１学習部１１は、ステップＳ１２７で算出された目標値を用いて、ＤＱＮ損失算出１１２で損失関数Ｌを計算する（ステップＳ１２８）。次に、第１学習部１１は、損失関数Ｌで与えられる損失を最小化するようにメインＱＮ１１１の重みの学習を行う（ステップＳ１２９）。その後、出発地点がそれぞれ異なる移動体２すべてについてのそれぞれの学習済みの強化学習モデルを第１記憶部１３に記憶する（ステップＳ４）。
【0107】
以上説明したように、本実施の形態に係る経路管理装置１によれば、異なる出発地点から共通の目的地点に移動する複数の移動体２の各々の最適な進路の方策を強化学習により学習し、強化学習で得られた進路の方策を教師データとして、移動体２の現在の位置と、順次進むべき進路の方策との関係を教師あり学習モデルを用いて学習する。さらに、学習済みの教師あり学習モデルを複数の移動体２に共通の制御情報として、各移動体２に設定する。そのため、異なる出発地点から共通の目的地点に移動する移動体群の経路を、より簡易な構成で管理することができる。
【0108】
また、本実施の形態に係る経路管理システムによれば、移動体群に共通の制御情報を設定することで、異なる出発地点から共通の目的地点までの集団移動ができる移動体２を実現することができる。そのため、それぞれの移動体２の構成を簡易としつつ、移動体２は集団移動のための移動制御を行うことができる。
【0109】
なお、説明した実施の形態では、第１学習部１１が用いる強化学習モデルは、多層ニューラルネットワークで構成されるＦｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋに係るＤＱＮを用いる場合を例示したが、強化学習モデルは、ＣＮＮ、多層パーセプトロンなどを用いることができる。また、強化学習モデルとして例示したＤＱＮのほかにも、Ｄｏｕｂｌｅ ＤＱＮ、Ｄｕｅｌｉｎｇ ＤＱＮ、Ａｃｔｏｒ－Ｃｒｉｔｉｃ（ＡＣ）メソッド、Ｓｏｆｔ Ａｃｔｏｒ－Ｃｒｉｔｉｃ（ＳＡＣ）、Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ（ＤＤＰＧ）、Ｑ－ｌｅａｒｎｉｎｇなどを用いることができる。
【0110】
また、説明した実施の形態では、第２学習部１２が用いる教師あり学習モデルは、多層ニューラルネットワークを用いる場合を例示した。しかし、教師あり学習モデルは、多層パーセプトロン、ランダムフォレストなどの決定木ベースのモデル、サポートベクターマシンなどを用いることができる。
【0111】
以上、本発明の経路管理装置、経路管理方法、および経路管理システムにおける実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。
【符号の説明】
【0112】
１…経路管理装置、１０…第１取得部、１１…第１学習部、１２…第２学習部、１３…第１記憶部、１４…第２記憶部、１５…設定部、２…移動体、２０…第３記憶部、２１…第２取得部、２２…第４記憶部、２３…第３取得部、２４…演算部、２５…決定部、２６…移動制御部、１０１、２０１…バス、１０２、２０２…プロセッサ、１０３、２０３…主記憶装置、１０４、２０４…通信インターフェース、１０５、２０５…補助記憶装置、１０６、２０６…入出力Ｉ／Ｏ、１０７…記憶装置、２０７…ＧＰＳ受信機、１１０…環境、１１１…メインＱＮ、１１２…ＤＱＮ損失算出、１１３…ターゲットＱＮ、１１４…経験データ、ＮＷ…ネットワーク。
【要約】
【課題】異なる出発地点から共通の目的地点に移動する移動体群の経路を、より簡易な構成で管理することを目的とする。
【解決手段】
経路管理装置１は、移動体２が現在の位置から目的地点の位置に到達するまでに、移動体２が順次進むべき進路を計算した推定結果に報酬関数を適用して、移動体２が目的地点の位置へ到達するための報酬が最大化するように更新し、移動体２が現在の位置から順次進むべき進路の方策を、移動体２ごとに、強化学習モデルを用いて学習する第１学習部１１と、移動体２の現在の位置と、第１学習部による移動体２ごとの学習によって得られた移動体２が現在の位置から順次進むべき進路の方策との関係を、教師あり学習モデルを用いて学習する第２学習部１２とを備え、現在の位置は、移動空間内の出発地点の位置を含み、移動体２ごとの出発地点の位置は、互いに異なる位置を含む。
【選択図】図１
【解決手段】
経路管理装置１は、移動体２が現在の位置から目的地点の位置に到達するまでに、移動体２が順次進むべき進路を計算した推定結果に報酬関数を適用して、移動体２が目的地点の位置へ到達するための報酬が最大化するように更新し、移動体２が現在の位置から順次進むべき進路の方策を、移動体２ごとに、強化学習モデルを用いて学習する第１学習部１１と、移動体２の現在の位置と、第１学習部による移動体２ごとの学習によって得られた移動体２が現在の位置から順次進むべき進路の方策との関係を、教師あり学習モデルを用いて学習する第２学習部１２とを備え、現在の位置は、移動空間内の出発地点の位置を含み、移動体２ごとの出発地点の位置は、互いに異なる位置を含む。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
