特開 2022-147373 移動体の制御装置及び制御方法、学習装置及び行動モデルの生成方法、並びに移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022147373

(43)【公開日】2022-10-06

(54)【発明の名称】移動体の制御装置及び制御方法、学習装置及び行動モデルの生成方法、並びに移動体

(51)【国際特許分類】

   G05D 1/10 20060101AFI20220929BHJP

   G06N 20/00 20190101ALI20220929BHJP

   B64C 13/18 20060101ALI20220929BHJP

   B64C 39/02 20060101ALI20220929BHJP

【ＦＩ】

G05D1/10

G06N20/00

B64C13/18 Z

B64C39/02

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021048583

(22)【出願日】2021-03-23

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、防衛装備庁 安全保障技術研究推進制度、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】517405884

【氏名又は名称】クラスターダイナミクス株式会社

(74)【代理人】

【識別番号】100125645

【弁理士】

【氏名又は名称】是枝 洋介

(74)【代理人】

【識別番号】100145609

【弁理士】

【氏名又は名称】楠屋 宏行

(74)【代理人】

【識別番号】100149490

【弁理士】

【氏名又は名称】羽柴 拓司

(72)【発明者】

【氏名】▲高▼岡 秀年

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA06

5H301AA10

5H301CC04

5H301CC07

5H301CC10

5H301DD07

5H301DD17

5H301GG07

(57)【要約】

【課題】移動体群における各移動体の協調的な動作を容易に実現させることができる移動体の制御装置及び制御方法、学習装置及び行動モデルの生成方法、並びに移動体を提供する。
【解決手段】
移動体であるＵＡＶ１は、ＵＡＶ群に含まれる自ＵＡＶ１と他のＵＡＶ１との間の相対関係が所定の基準状態から逸脱している場合において当該相対関係を当該基準状態に復元させるときに自ＵＡＶ１と前記他のＵＡＶ１との間に働く仮想相互作用力に基づいて、強化学習により予め生成された移動体の行動モデルＭを取得し、その取得した行動モデルＭに基づいて自ＵＡＶ１の動作を制御する。ここで、行動モデルＭは、前記仮想相互作用力が小さい場合に高い報酬を与える強化学習を行うことにより生成されている。
【選択図】図２

【特許請求の範囲】

【請求項1】

移動体群に含まれる一の移動体と他の移動体との間の相対関係が所定の基準状態から逸脱している場合において当該相対関係を当該基準状態に復元させるときに前記一の移動体と前記他の移動体との間に働く仮想相互作用力に基づいて、強化学習により予め生成された移動体の行動モデルを取得する取得部と、
取得した前記行動モデルに基づいて前記一の移動体を制御する制御部と
を備え、
前記行動モデルが、前記仮想相互作用力が小さい場合に高い報酬を与える強化学習を行うことにより生成される、
移動体の制御装置。

【請求項2】

前記制御部が、前記移動体群に含まれる移動体のうちの、前記一の移動体とは異なる移動体を、前記行動モデルに基づいて制御する、
請求項１に記載の移動体の制御装置。

【請求項3】

前記相対関係が、前記一の移動体と前記他の移動体との間の相対距離及び相対速度である、
請求項１又は２に記載の移動体の制御装置。

【請求項4】

前記行動モデルは、前記相対関係を状態とし、前記他の移動体に対する前記一の移動体の加速度を行動とする強化学習により生成されたものである、
請求項１乃至３の何れかに記載の移動体の制御装置。

【請求項5】

前記制御部は、前記行動モデルを関数化した関数情報に基づいて、前記一の移動体を制御する、
請求項１乃至４の何れかに記載の移動体の制御装置。

【請求項6】

移動体群に含まれる一の移動体と他の移動体との間の相対関係が所定の基準状態から逸脱している場合において当該相対関係を当該基準状態に復元させるときに前記一の移動体と前記他の移動体との間に働く仮想相互作用力に基づいて、強化学習により予め生成された移動体の行動モデルを取得するステップと、
取得した前記行動モデルに基づいて前記一の移動体を制御するステップと
を有し、
前記行動モデルが、前記仮想相互作用力が小さい場合に高い報酬を与える強化学習を行うことにより生成される、
移動体の制御方法。

【請求項7】

移動体群に含まれる一の移動体と他の移動体との間の相対関係が所定の基準状態から逸脱している場合において当該相対関係を当該基準状態に復元させるときに前記一の移動体と前記他の移動体との間に働く仮想相互作用力を、当該相対関係に基づいて算出する算出部と、
前記仮想相互作用力が小さい場合に高い報酬を与える強化学習を行うことにより移動体の行動モデルを生成する学習部と
を備える、学習装置。

【請求項8】

前記学習部は、前記相対関係を状態とし、前記他の移動体に対する前記一の移動体の加速度を行動とする強化学習を行うことにより、前記行動モデルを生成する、
請求項７に記載の学習装置。

【請求項9】

前記学習部は、深層強化学習を行うことにより前記行動モデルを生成する、
請求項８に記載の学習装置。

【請求項10】

移動体群に含まれる一の移動体と他の移動体との間の相対関係が所定の基準状態から逸脱している場合において当該相対関係を当該基準状態に復元させるときに前記一の移動体と前記他の移動体との間に働く仮想相互作用力を、当該相対関係に基づいて算出し、
前記仮想相互作用力が小さい場合に高い報酬を与える強化学習を行うことにより移動体の行動モデルを生成する、
移動体の行動モデルの生成方法。

【請求項11】

移動体群に含まれる一の移動体であって、
前記一の移動体と前記移動体群に含まれる他の移動体との間の相対関係が所定の基準状態から逸脱している場合において当該相対関係を当該基準状態に復元させるときに前記一の移動体と前記他の移動体との間に働く仮想相互作用力に基づいて、強化学習により予め生成された移動体の行動モデルを取得する取得部と、
取得した前記行動モデルに基づいて前記一の移動体を制御する制御部と
を備え、
前記行動モデルが、前記仮想相互作用力が小さい場合に高い報酬を与える強化学習を行うことにより生成される、移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば無人航空機（ＵＡＶ：unmanned aerial vehicle）等の移動体の制御装置及び制御方法、学習装置及び移動体の行動モデルの生成方法、並びに移動体に関する。

【背景技術】

【0002】

複数の移動体を群れとして捉え、その群れに含まれる各移動体を協調して動作させるための制御方法が、従来種々提案されている。例えば、特許文献１には、移動体の群を、移動体を構成要素とする連続体に見立て、各移動体に関する物理量を、連続体力学に基づいて数値解析手法により算出し、その物理量に基づいて算出された各移動体の軌道変化にしたがって、各移動体に軌道変更の指示を出す群制御方法が開示されている。これにより、安定した群れを維持したまま、群れ全体を移動させることが可能になる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６０６５１３０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した従来の制御方法の場合、移動体の動きを物理モデルでシミュレーションしており、その精度を向上させるためには、物理モデルの物理定数を適宜チューニングする必要がある。しかしながら、そのチューニングには人手による試行錯誤が必要になるという問題がある。

【0005】

本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、強化学習を用いることにより、上記の課題を解決することができる移動体の制御装置及び制御方法、学習装置及び移動体の行動モデルの生成方法、並びに移動体を提供することにある。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本発明の一の態様の移動体の制御装置は、移動体群に含まれる一の移動体と他の移動体との間の相対関係が所定の基準状態から逸脱している場合において当該相対関係を当該基準状態に復元させるときに前記一の移動体と前記他の移動体との間に働く仮想相互作用力に基づいて、強化学習により予め生成された移動体の行動モデルを取得する取得部と、取得した前記行動モデルに基づいて前記一の移動体を制御する制御部とを備え、前記行動モデルが、前記仮想相互作用力が小さい場合に高い報酬を与える強化学習を行うことにより生成される。

【0007】

前記態様において、前記制御部が、前記移動体群に含まれる移動体のうちの、前記一の移動体とは異なる移動体を、前記行動モデルに基づいて制御してもよい。

【0008】

また、前記態様において、前記相対関係が、前記一の移動体と前記他の移動体との間の相対距離及び相対速度であってもよい。

【0009】

また、前記態様において、前記行動モデルは、前記相対関係を状態とし、前記他の移動体に対する前記一の移動体の加速度を行動とする強化学習により生成されたものであってもよい。

【0010】

また、前記態様において、前記制御部は、前記行動モデルを関数化した関数情報に基づいて、前記一の移動体を制御してもよい。

【0011】

本発明の一の態様の移動体の制御方法は、移動体群に含まれる一の移動体と他の移動体との間の相対関係が所定の基準状態から逸脱している場合において当該相対関係を当該基準状態に復元させるときに前記一の移動体と前記他の移動体との間に働く仮想相互作用力に基づいて、強化学習により予め生成された移動体の行動モデルを取得するステップと、 取得した前記行動モデルに基づいて前記一の移動体を制御するステップとを有し、前記行動モデルが、前記仮想相互作用力が小さい場合に高い報酬を与える強化学習を行うことにより生成される。

【0012】

本発明の一の態様の学習装置は、移動体群に含まれる一の移動体と他の移動体との間の相対関係が所定の基準状態から逸脱している場合において当該相対関係を当該基準状態に復元させるときに前記一の移動体と前記他の移動体との間に働く仮想相互作用力を、当該相対関係に基づいて算出する算出部と、前記仮想相互作用力が小さい場合に高い報酬を与える強化学習を行うことにより移動体の行動モデルを生成する学習部とを備える。

【0013】

前記態様において、前記学習部は、前記相対関係を状態とし、前記他の移動体に対する前記一の移動体の加速度を行動とする強化学習を行うことにより、前記行動モデルを生成してもよい。また、前記学習部は、深層強化学習を行うことにより前記行動モデルを生成してもよい。

【0014】

本発明の一の態様の移動体の行動モデルの生成方法は、移動体群に含まれる一の移動体と他の移動体との間の相対関係が所定の基準状態から逸脱している場合において当該相対関係を当該基準状態に復元させるときに前記一の移動体と前記他の移動体との間に働く仮想相互作用力を、当該相対関係に基づいて算出し、前記仮想相互作用力が小さい場合に高い報酬を与える強化学習を行うことにより移動体の行動モデルを生成する。

【0015】

本発明の一の態様の移動体は、移動体群に含まれる一の移動体であって、前記一の移動体と前記移動体群に含まれる他の移動体との間の相対関係が所定の基準状態から逸脱している場合において当該相対関係を当該基準状態に復元させるときに前記一の移動体と前記他の移動体との間に働く仮想相互作用力に基づいて、強化学習により予め生成された移動体の行動モデルを取得する取得部と、取得した前記行動モデルに基づいて前記一の移動体を制御する制御部とを備え、前記行動モデルが、前記仮想相互作用力が小さい場合に高い報酬を与える強化学習を行うことにより生成される。

【発明の効果】

【0016】

本発明によれば、強化学習を用いることにより、効率良く移動体の制御を行うことが可能になる。

【図面の簡単な説明】

【0017】

【図1】制御対象となる移動体群の構成を概念的に示す説明図。

【図2】ＵＡＶの構成を示すブロック図。

【図3】学習装置の構成を示すブロック図。

【図4】バネ－ダンパー系のシミュレーションモデルの概念を示す説明図。

【図5】ＤＱＮを説明するための図。

【図6】学習装置によって実行される学習フェーズの処理手順を示すフローチャート。

【図7】関数化された行動モデルの概念を示す説明図。

【図8】ＵＡＶの制御部によって実行される適用フェーズの処理手順を示すフローチャート。

【図9】ＵＡＶの制御システムの構成を示す図。

【図10】制御装置の制御部によって実行される適用フェーズの処理手順を示すフローチャート。

【発明を実施するための形態】

【0018】

以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。

【0019】

（実施の形態１）
本実施の形態では、移動体群に含まれる複数のＵＡＶのそれぞれが、自律的に協調的な動作を行う。以下、本実施の形態に含まれる各装置の構成及び動作について説明する。

【0020】

図１は、制御対象となる移動体群の構成を概念的に示す説明図である。図１に示すように、移動体群は複数のＵＡＶ１で構成されている。この移動体群（ＵＡＶ群）に含まれるＵＡＶ１同士は個々に通信することが可能であり、互いの位置を共有することができるように構成されている。なお、ＵＡＶ１の位置は、そのＵＡＶ１が有するＧＰＳ機能により得られる。ただし、ＧＰＳ以外の自己位置測位機能によりＵＡＶ１の位置が取得されてもよい。

【0021】

図２は、ＵＡＶ１の構成を示すブロック図である。ＵＡＶ１は、マルチコプター等の小型の飛行体であって、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インタフェース等を含むコンピュータを備えている。このＣＰＵがＲＡＭにロードされたプログラムにしたがって情報処理を実行することにより、後述する動作が実現される。

【0022】

図２に示すとおり、ＵＡＶ１は、駆動部１０１、制御部１０２、記憶部１０３、及び無線通信部１０４を備えている。駆動部１０１は、ローター及びプロペラ等で構成され、その動作は制御部１０２によって制御される。

【0023】

記憶部１０３は、不揮発性メモリで構成され、各ＵＡＶ１の飛行動作のモデルを示す行動モデルＭを記憶する。行動モデルＭは、後述するようにして強化学習により生成されたＵＡＶ１の行動モデルを示す情報である。本実施の形態では、そのように生成された行動モデルを関数化した関数情報が行動モデルＭに相当する。

【0024】

無線通信部１０４は、Ｖ２Ｖ(Vehicle-to-Vehicle)通信を行うための通信モジュールを備えている。無線通信部１０４により、各ＵＡＶ１は相互に通信することが可能になり、互いの位置の共有などを実現することができる。

【0025】

図３は、上述した行動モデルを生成する学習装置の構成を示すブロック図である。学習装置２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インタフェース等を含むコンピュータである。学習装置２のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムにしたがって、後述する各処理を実行する。

【0026】

図３に示すとおり、学習装置２は、算出部２０１及び学習部２０２を備えている。算出部２０１は後述する仮想相互作用力を算出し、学習部２０２がその仮想相互作用力に基づいてＵＡＶ１の行動モデルを生成する。これらの機能部は、学習装置２のＣＰＵがプログラムにしたがって情報処理を実行することにより実現される。

【0027】

次に、（１）強化学習によりＵＡＶ１の行動モデルを生成する学習フェーズ、及び（２）生成された行動モデルを適用してＵＡＶ１の動作を制御する適用フェーズの各フェーズについて、その詳細を説明する。

【0028】

（１）学習フェーズ
学習フェーズは、機械学習の一手法である強化学習により実施可能である。本実施の形態では、強化学習の一例として、深層強化学習の代表的な手法であるＤＱＮ(Deep Q Network)を用いる。ＤＱＮは、ニューラルネットワークを用いて、Ｑ学習におけるＱ値（行動価値）を学習する手法である。

【0029】

本実施の形態では、２機のＵＡＶ１間に働く相互作用力をシミュレーションによって計算し、その相互作用力に基づいてＤＱＮを実行することによりＵＡＶ１の行動モデルを生成する。より具体的に説明すると、２機のＵＡＶ１間の相対関係が所定の基準状態から逸脱している場合においてそれを当該基準状態に復元させるときに当該ＵＡＶ１間に働く相互作用力をシミュレーションにより計算する。これにより得られた相互作用力を仮想相互作用力と称する。この仮想相互作用力が小さくなるようなＵＡＶ１の行動を実現する行動モデルを、ＤＱＮを実行することにより生成する。各ＵＡＶ１が、この行動モデルにしたがって動作することにより、ＵＡＶ群全体の安定した制御が実現される。

【0030】

２機のＵＡＶ１間に働く相互作用力として、引力及び斥力を挙げることができる。２機のＵＡＶ１間が一定の距離を保持している平衡状態においては、これらの引力及び斥力がゼロとなる。本実施の形態の場合、この平衡状態を基準状態として捉え、２機のＵＡＶ１間の相対関係が平衡状態から逸脱している場合にそれを平衡状態に復元させるときに当該ＵＡＶ１間に働く引力および斥力をシミュレーションにより計算し、これを仮想相互作用力とする。

【0031】

２機のＵＡＶ１間の相対関係としては、２機のＵＡＶ１間の相対距離及び相対速度等が挙げられる。本実施の形態では、これらの相対距離及び相対速度の２つにより、２機のＵＡＶ１間の相対関係が規定される。

【0032】

上記の仮想相互作用力の計算は、各種の物理モデルを用いて実施することができる。本実施の形態では、バネ－ダンパー系のシミュレーションモデルを用いて、仮想相互作用力が計算される。

【0033】

図４は、バネ－ダンパー系のシミュレーションモデルの概念を示す説明図である。図４に示すとおり、このモデルは２つの質点からなるバネ－ダンパー系であり、その運動（振動）を各質点の位置及び速度に基づいて計算するためのものである。図中のkspはバネ定数を、Ddumperはダンパー係数を、それぞれ示している。本実施の形態では、２機のＵＡＶ１を各質点に見立てて、このモデルにより当該２機のＵＡＶ１間の仮想相互作用力が計算される。そして、このモデルにより計算される振動の減衰が大きくなる、すなわち、このモデルにより計算される仮想相互作用力が小さくなるＵＡＶ１の行動をＤＱＮで求めることにより、各ＵＡＶ１の協調的な動作の実現が図られる。

【0034】

図５は、本実施の形態におけるＤＱＮを説明するための図である。図５に示すように、ＤＱＮの入力である「状態」として、２機のＵＡＶ１ｉとＵＡＶ１ｊとの相対距離ｒ_ｉｊ及び相対速度ｖ_ｉｊが用いられる。また、ＤＱＮの出力はＵＡＶ１ｉの各行動の「行動価値（Ｑ値）」である。本実施の形態の場合、ＵＡＶ１ｉの行動は、ＵＡＶ１ｊに対するＵＡＶ１ｉの加速度ａ_ｉである。この加速度ａ_ｉは、加速・等速・減速の３段階が用意されており、これら各段階の加速度ａ_ｉのＱ値がＤＱＮの出力となる。なお、ここでは、加速度ａ_ｉが＋１の場合は「加速」を、０の場合は「等速」を、－１の場合は「減速」を、それぞれ意味するものとする。

【0035】

以下、フローチャートを参照しながら学習装置２の具体的な動作について説明する。なお、以下では、仮想空間におけるＵＡＶ群に含まれる複数のＵＡＶ１のうち、所定の距離内に位置する２機のＵＡＶ１を処理対象とする。

【0036】

図６は、学習装置２によって実行される学習フェーズの処理手順を示すフローチャートである。学習装置２はまず、状態（２機のＵＡＶ１間の相対距離及び相対速度）を初期化する（Ｓ１０１）。

【0037】

次に、学習装置２は、乱数を用いて、ＵＡＶ１の行動を選択する（Ｓ１０２）。本実施の形態では、加速・等速・減速の何れかがＵＡＶ１の行動として選択される。

【0038】

次に、学習装置２は、選択された行動にしたがって、状態である相対距離及び相対速度を更新し（Ｓ１０３）、その状態における仮想相互作用力を、上述したバネ－ダンパー系のシミュレーションモデルを用いて計算する（Ｓ１０４）。

【0039】

次に、学習装置２は、ステップＳ１０４で得られた仮想相互作用力に基づいて、報酬を計算する（Ｓ１０５）。この場合、学習装置２は、仮想相互作用力が小さい場合に高い値となるように報酬を計算する。例えば、仮想相互作用力が所定の閾値を超えている場合には負の報酬とし、閾値以下に達した場合に正の報酬とする等である。また、時間経過に伴って負の報酬することも想定される。

【0040】

なお、上記の報酬の計算は、仮想相互作用力に加えて、他の指標を用いて実行されてもよい。例えば、仮想相互作用力及び相対速度が閾値以下に達した場合に正の報酬とする等である。

【0041】

次に、学習装置２は、ステップＳ１０５で得られた報酬を用いて、行動価値であるＱ値を計算し、更新する（Ｓ１０６）。本実施の形態の場合、時刻ｔでの状態ｓ_ｔにおいて採用する行動をａ_ｔとしたとき、行動価値Ｑ（ｓ_ｔ，ａ_ｔ）は次の式を用いて計算される。

【数1】

【0042】

次に、学習装置２は、仮想相互作用力が所定の閾値に到達したか否かを判定する（Ｓ１０７）。到達していないと判定した場合（Ｓ１０７でＮＯ）、学習装置２は、ステップＳ１０２に戻り、それ以降の処理を実行する。

【0043】

仮想相互作用力が閾値に達した場合（Ｓ１０７でＹＥＳ）、学習装置２は、学習回数が所定の閾値に到達したか否かを判定する（Ｓ１０８）。到達していないと判定した場合（Ｓ１０８でＮＯ）、学習装置２は、ステップＳ１０１に戻り、それ以降の処理を実行する。これにより学習が繰り返される。学習回数が所定の閾値に達した場合（Ｓ１０８でＹＥＳ）、学習装置２は処理を終了する。

【0044】

上記のＤＱＮによる強化学習の結果、ＵＡＶ１の行動モデルが生成される。このようにして生成された行動モデルは、各ＵＡＶ１に入力され、各ＵＡＶ１の記憶部１０３に格納される。適用フェーズでは、この行動モデルに基づいて、各ＵＡＶ１が自らの動作を制御する。以下、適用フェーズの詳細について説明する。

【0045】

（２）適用フェーズ
ＵＡＶ１は、他のＵＡＶ１との間の相対距離及び相対速度を上記の行動モデルに入力し、出力として各行動（加速・等速・減速）のＱ値を得る。そして、ＵＡＶ１が最もＱ値が高い行動をとることにより、各ＵＱＶ１間に働く仮想相互作用力が小さくなるような挙動となるため、ＵＡＶ群全体の安定した制御が実現される。

【0046】

なお、上記のように、学習装置２により生成された行動モデルをそのまま用いることも可能であるが、ＵＡＶ１の限られたハードウェア資源の下では、計算負荷が大きいという問題が生じ得る。そこで、本実施の形態では、行動モデルを関数化した関数情報を生成し、これを行動モデルＭとして用いる。

【0047】

図７は、関数化された行動モデルＭの概念を示す説明図である。学習装置２により生成された行動モデルに、相対距離ｒ_ｉｊ及び相対速度ｖ_ｉｊを変化させて繰り返し入力し、それぞれの入力について最もＱ値が高い加速度ａ_ｉをプロットすることにより、関数化する（図７参照）。なお、図７に示すグラフ中の実線は加速度ａ_ｉの値が変わる境界を示している。この関数化により、加速度ａ_ｉは相対距離ｒ_ｉｊ及び相対速度ｖ_ｉｊの関数で与えられることになるため、負荷の小さい計算で得られるようになる。

【0048】

図８は、ＵＡＶ１の制御部１０２によって実行される適用フェーズの処理手順を示すフローチャートである。なお、適用フェーズにおいて飛行動作中の各ＵＡＶ１は、ＧＰＳ機能により得られた自位置を示す位置情報及び速度情報を、他のＵＡＶ１に対してＶ２Ｖ通信により所定の時間間隔で繰り返し送信する。これにより、各ＵＡＶ１は他のＵＡＶ１の位置情報及び速度情報を得ることができる。

【0049】

ＵＡＶ１の制御部１０２は、ＧＰＳ機能により得た自位置と、無線通信部１０４を介してＶ２Ｖ通信により得た他のＵＡＶ１の位置とに基づいて、所定の半径内に位置している他のＵＡＶ１を特定する（Ｓ２０１）。

【0050】

次に、制御部１０２は、当該他のＵＡＶ１の位置情報及び速度情報並びに自装置の位置情報及び速度情報に基づいて、当該他のＵＡＶ１との間の相対距離及び相対速度を計算する（Ｓ２０２）。

【0051】

次に、制御部１０２は、記憶部１０３に格納されている関数化された行動モデルＭを取得し（Ｓ２０３）、ステップＳ２０２で得た相対距離及び相対速度をその関数に代入して加速度ａ_ｉを計算する（Ｓ２０４）。そして、制御部１０２は、このようにして得られた加速度ａ_ｉにしたがって加速するよう駆動部１０１を制御する（Ｓ２０５）。

【0052】

上記のステップＳ２０１乃至Ｓ２０５が繰り返し実行されることにより、ＵＡＶ群に含まれる各ＵＡＶ１の協調的な動作が実現される。

【0053】

本実施の形態の場合、強化学習を用いることにより、従来技術では人手による試行錯誤が必要となっていたチューニング作業を自動化することができるため、容易に実装することが可能になる。

【0054】

また、本実施の形態の場合、ＵＡＶ群に含まれるＵＡＶ１のそれぞれについて独自の行動モデルを生成しなくてもよく、１つの行動モデルをすべてのＵＡＶ１に適用することが可能である。すなわち、上述したようにＵＡＶ１ｉ及びＵＡＶ１ｊに着目して生成されたＵＡＶ１ｉの行動モデルを、ＵＡＶ群の移動体のうちのＵＡＶ１ｉ以外のＵＡＶ１に対して適用し、その動作を制御することができる。そのため、ＵＡＶ群に含まれるＵＡＶ１の数が大きくなった場合でも、学習フェーズから適用フェーズへスムースに移行することができる。

【0055】

（実施の形態２）
本実施の形態では、移動体群に含まれる複数のＵＡＶと通信する制御装置が設けられ、その制御装置からの指示にしたがって各ＵＡＶが動作を行う。以下、本実施の形態に含まれる各装置の構成及び動作について説明する。なお、実施の形態１と同様の内容については適宜説明を省略する

【0056】

図９は、ＵＡＶの制御システムの構成を示す図である。ＵＡＶ群に含まれる各ＵＡＶ１、制御装置３、及び測位システム４は、無線通信で通信可能に接続される。測位システム４は、各ＵＡＶ１の位置を測位するためのシステムであって、測位の結果を示す各ＵＡＶ１の位置情報を制御装置３に対して送信する。制御装置３は、この位置情報に基づいて各ＵＡＶ１の位置を把握する。なお、このような測位システム４を設けずに、制御装置３が各ＵＡＶ１から位置情報を直接取得するような構成であってもよい。

【0057】

制御装置３は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インタフェース等を含むコンピュータを備えている。このＣＰＵがＲＡＭにロードされたプログラムにしたがって情報処理を実行することにより、後述する動作が実現される。

【0058】

図９に示すとおり、制御装置３は、制御部３０１、記憶部３０２、及び無線通信部３０３を備えている。記憶部３０２には、実施の形態１の場合と同様に生成された行動モデルＭが格納される。また、無線通信部３０３は、各ＵＡＶ１及び測位システム４と無線通信するための通信モジュールで構成される。

【0059】

上記のとおり、制御装置３の記憶部３０２には、行動モデルＭが格納されている。この行動モデルＭは、実施形態１の場合と同様に学習装置２によって生成された行動モデルを関数化したものである。適用フェーズでは、制御装置３がこの行動モデルＭを用いて各ＵＡＶ１の動作を制御する。以下、適用フェーズにおける動作について説明する。

【0060】

図１０は、制御装置３の制御部３０１によって実行される適用フェーズの処理手順を示すフローチャートである。制御部３０１は、測位システム３から取得した各ＵＡＶ１の位置情報に基づいて、所定の半径内に位置しているＵＡＶ１のペアを特定する（Ｓ３０１）。このペアに含まれる２機のうちの１機のＵＡＶ１が制御対象となる。

【0061】

次に、制御部３０１は、特定したペアに含まれる２機のＵＡＶ１の位置情報及び速度情報に基づいて、当該ＵＡＶ１の間の相対距離及び相対速度を計算して取得する（Ｓ３０２）。なお、各ＵＡＶ１の速度情報は、ＵＡＶ１の動作を制御する制御装置２が常時把握していてる。この各ＵＡＶ１の速度情報には、シミュレーションにより得られる仮想空間上のＵＡＶ１の速度情報、及び測位システムにより得られる実空間上のＵＡＶ１の速度情報の２種類がある。通常の場合、制御装置２は、仮想空間上の速度情報を用いて制御を行うが、実空間上の速度情報との差に応じて仮想空間上の速度情報を適宜補正するなどの処理も実行する。

【0062】

次に、制御部３０１は、記憶部３０２に格納されている関数化された行動モデルＭを取得し（Ｓ３０３）、ステップＳ３０２で得た相対距離及び相対速度をその関数に代入して加速度ａ_ｉを計算する（Ｓ３０４）。制御部３０１は、このようにして得られた加速度ａ_ｉで動作する旨の制御指示を、制御対象のＵＡＶ１に対して送信する（Ｓ３０５）。この制御指示を受けたＵＡＶ１は、加速度ａ_ｉにしたがって加速するよう駆動部を制御することになる。

【0063】

上記のステップＳ３０１乃至Ｓ３０５が繰り返し実行されることにより、ＵＡＶ群に含まれる各ＵＡＶ１の動作が制御され、ＵＡＶ群全体の安定した制御が実現される。

【0064】

本実施の形態の場合でも、実施の形態１の場合と同様に、強化学習を用いることにより、従来技術では人手による試行錯誤が必要となっていたチューニング作業を自動化することが可能になる。

【0065】

（その他の実施の形態）
上記の各実施の形態ではＤＱＮを用いて学習モデルが生成されているが、これに限定されるわけではない。ＤＱＮ以外の深層強化学習を用いてもよく、またＱ学習などの深層強化学習以外の強化学習を用いてもよい。

【0066】

また、上記の各実施の形態では、ＤＱＮにおける状態として２機のＵＡＶ１間の相対距離及び相対速度が用いられているが、２機のＵＡＶ１間の相対関係であれば、他の指標を用いてもよい。また、ＵＡＶ１間の相対距離及び相対速度の何れか一方のみを用いるようにしてもよい。

【0067】

また、上記の各実施の形態では、小型の飛行体であるＵＡＶを移動体の例として説明しているが、これは例示であって、他の移動体であってもよい。例えば、より大型の飛行体であるＵＡＶ、または有人の飛行体等の移動体を制御対象としてもよい。もちろん、飛行体以外の移動体であってもよく、具体的には、地上を走行する無人のビークルを制御対象としてもよい。

【符号の説明】

【0068】

１ 移動体（ＵＡＶ）
１０１ 駆動部
１０２ 制御部
１０３ 記憶部
１０４ 無線通信部
２ 学習装置
２０１ 算出部
２０２ 学習部
３ 制御装置
３０１ 制御部
３０２ 記憶部
３０３ 無線通信部
４ 測位システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】