特開 2023-114115 制御装置、無線通信端末、制御方法および制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023114115

(43)【公開日】2023-08-17

(54)【発明の名称】制御装置、無線通信端末、制御方法および制御プログラム

(51)【国際特許分類】

   H04W 24/02 20090101AFI20230809BHJP

   H04W 8/24 20090101ALI20230809BHJP

   H04W 24/08 20090101ALI20230809BHJP

   H04M 11/00 20060101ALI20230809BHJP

   H04Q 9/00 20060101ALI20230809BHJP

   H04B 17/391 20150101ALI20230809BHJP

【ＦＩ】

H04W24/02

H04W8/24

H04W24/08

H04M11/00 301

H04Q9/00 301B

H04B17/391

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022016270

(22)【出願日】2022-02-04

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＶＩＣＳ

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100129230

【弁理士】

【氏名又は名称】工藤 理恵

(72)【発明者】

【氏名】工藤 理一

(72)【発明者】

【氏名】高橋 馨子

(72)【発明者】

【氏名】村上 友規

(72)【発明者】

【氏名】大宮 陸

(72)【発明者】

【氏名】永田 尚志

(72)【発明者】

【氏名】小川 智明

(72)【発明者】

【氏名】猿渡 俊介

(72)【発明者】

【氏名】藤橋 卓也

(72)【発明者】

【氏名】新宮 裕章

(72)【発明者】

【氏名】森 友絃

(72)【発明者】

【氏名】渡邊 尚

【テーマコード（参考）】

5K048

5K067

5K201

【Ｆターム（参考）】

5K048BA26

5K048DB01

5K048DC01

5K048GC06

5K048HA01

5K048HA02

5K067AA23

5K067EE02

5K067EE10

5K067HH22

5K067JJ51

5K201AA01

5K201BA01

5K201BA02

5K201CC01

5K201CC04

5K201CC06

5K201CC07

5K201DC04

5K201EC06

5K201ED08

5K201ED09

5K201FA03

(57)【要約】

【課題】端末による作業のタスク効率を維持しつつ、端末との無線通信の品質を向上させる。
【解決手段】物理的な動作を伴う作業を行う端末２ｉを制御する制御装置１１０であって、端末２ｉは無線通信装置１０１と無線通信し、制御装置１１０は、端末２ｉの状態情報および通信情報を含む端末情報を収集する収集部１０２と、前記端末情報を制御モデル１０５に入力し、制御モデル１０５が出力する、端末２ｉの動作および通信設定に関する制御情報に基づいて端末２ｉの動作および通信設定を制御する制御部１０３と、制御部１０３による制御後の端末情報を用いて制御情報の評価値を算出し、制御モデル１０５が出力する制御情報の評価値が高くなるように、制御モデル１０５を更新する評価部１０４と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

物理的な動作を伴う作業を行う端末を制御する制御装置であって、前記端末は無線通信装置と無線通信し、
前記制御装置は、
前記端末の状態情報および通信情報を含む端末情報を収集する収集部と、
前記端末情報を制御モデルに入力し、前記制御モデルが出力する、前記端末の動作および通信設定に関する制御情報に基づいて前記端末の動作および通信設定を制御する制御部と、
前記制御部による制御後の端末情報を用いて前記制御情報の評価値を算出し、前記制御モデルが出力する制御情報の評価値が高くなるように、前記制御モデルを更新する評価部と、を備える
制御装置。

【請求項2】

前記評価部は、作業に関する少なくとも１つの第１条件と対応する第１報酬値と、通信品質に関する少なくとも１つの第２条件と対応する第２報酬値とを保持し、前記制御部による制御後の前記端末の作業および前記通信品質を数値化し、第１報酬値および第２報酬値を用いて前記評価値を算出し、
前記第１条件が作業の完了に寄与するか否かに応じて前記第１報酬値が設定され、第２条件の通信品質に応じて前記第２報酬値が設定される
請求項１に記載の制御装置。

【請求項3】

前記評価部は、前記端末の作業、通信、日時、アプリケーション、位置、速度および加速度の少なくとも１つが、所定の条件を満たす場合にのみ、前記評価値を算出する
請求項１または２に記載の制御装置。

【請求項4】

動作に関する前記制御情報は、長期的な経路または位置に関する長期動作指令、および、短期的な前進、後進、方向変換、上昇、下降、加速または減速に関する短期動作指令の少なくとの１つを含み、
通信設定に関する前記制御情報は、無線通信の接続先、周波数、周波数帯域、要求品質、優先度、データレート、送信頻度および再送回数の少なくとも１つを含む
請求項１から３のいずれか１項に記載の制御装置。

【請求項5】

物理的な動作を伴う作業を行う無線通信端末であって、
前記無線通信端末の状態情報および通信情報を含む端末情報を取得する取得部と、
前記端末情報を制御モデルに入力し、前記制御モデルが出力する、前記無線通信端末の動作および通信設定に関する制御情報に基づいて前記無線通信端末の動作および通信設定を制御する制御部と、
前記制御情報に基づいて制御された後の端末情報を用いて前記制御情報の評価値を算出し、前記制御モデルが出力する制御情報の評価値が高くなるように、前記制御モデルを更新する評価部と、を備える
無線通信端末。

【請求項6】

制御装置が行う、物理的な動作を伴う作業を行う端末を制御する制御方法であって、前記端末は無線通信装置と無線通信し、
前記制御装置は、
前記端末の状態情報および通信情報を含む端末情報を収集する収集ステップと、
前記端末情報を制御モデルに入力し、前記制御モデルが出力する、前記端末の動作および通信設定に関する制御情報に基づいて前記端末の動作および通信設定を制御する制御ステップと、
前記制御ステップの制御後の端末情報を用いて前記制御情報の評価値を算出し、前記制御モデルが出力する制御情報の評価値が高くなるように、前記制御モデルを更新する評価ステップと、を行う
制御方法。

【請求項7】

請求項１から４のいずれか１項に記載の制御装置として、コンピュータを機能させる制御プログラム。

【請求項8】

請求項５に記載の無線通信端末として、コンピュータを機能させる制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、無線通信端末、制御方法および制御プログラムに関する。

【背景技術】

【0002】

様々なデバイスがインターネットにつながるＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）の実現が進んでおり、自動車やドローン、建設機械車両など様々な機器が無線により接続されつつある。無線通信規格としても標準化規格ＩＥＥＥ ８０２．１１で規定される無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥや５Ｇによるセルラー通信、ＩｏＴ向けのＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）通信、車通信に用いられるＥＴＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｔｏｌｌ Ｃｏｌｌｅｃｔｉｏｎ Ｓｙｓｔｅｍ）、ＶＩＣＳ（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、ＡＲＩＢ－ＳＴＤ－Ｔ１０９など、サポートする無線規格も発展しており、今後の普及が期待されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】C.J. Lowrance, A.P. Lauf, “An active and incremental learning framework for the online prediction of link quality in robot networks,” Engineering Applications of Artificial Intelligence, 77, pp.197-211, 2018.

【発明の概要】

【発明が解決しようとする課題】

【0004】

様々な用途で無線通信が使われる一方、サービスによっては、通信品質の要求条件を、無線通信が必ずしも満たすことができないことが問題となっている。特に端末や周辺のオブジェクトが動くことにより、アンテナの指向性の向きや、伝搬環境、基地局と通信する端末数とトラヒック量が変わってしまい通信品質に影響を及ぼすことはこれまで避けられなかった。

【0005】

非特許文献１では、ロボットと基地局との距離情報を用いて、通信品質を予測している。ロボットのような制御可能な端末が複数存在する場合には、それぞれの位置や通信設定が通信品質に大きく影響するため、効率的な制御方法が必要である。

【0006】

無線通信機能が搭載された端末が複数存在し、無線通信システムの容量、データレート、遅延時間、パケットロスレート、などの通信品質に関して、要求条件がある場合に、端末の位置、分布、動作によって、通信品質が期待された性能を満たさない、パフォーマンスが低くなる条件が存在するなどの問題がある。

【0007】

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、端末による作業のタスク効率を維持しつつ、端末の無線通信の品質を向上させることにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明の一態様は、物理的な動作を伴う作業を行う端末を制御する制御装置であって、前記端末は無線通信装置と無線通信し、前記制御装置は、前記端末の状態情報および通信情報を含む端末情報を収集する収集部と、前記端末情報を制御モデルに入力し、前記制御モデルが出力する、前記端末の動作および通信設定に関する制御情報に基づいて前記端末の動作および通信設定を制御する制御部と、前記制御部による制御後の端末情報を用いて前記制御情報の評価値を算出し、前記制御モデルが出力する制御情報の評価値が高くなるように、前記制御モデルを更新する評価部と、を備える。

【0009】

本発明の一態様は、物理的な動作を伴う作業を行う無線通信端末であって、前記無線通信端末の状態情報および通信情報を含む端末情報を取得する取得部と、前記端末情報を制御モデルに入力し、前記制御モデルが出力する、前記無線通信端末の動作および通信設定に関する制御情報に基づいて前記無線通信端末の動作および通信設定を制御する制御部と、前記制御情報に基づいて制御された後の端末情報を用いて前記制御情報の評価値を算出し、前記制御モデルが出力する制御情報の評価値が高くなるように、前記制御モデルを更新する評価部と、を備える。

【0010】

本発明の一態様は、制御装置が行う、物理的な動作を伴う作業を行う端末を制御する制御方法であって、前記端末は無線通信装置と無線通信し、前記制御装置は、前記端末の状態情報および通信情報を含む端末情報を収集する収集ステップと、前記端末情報を制御モデルに入力し、前記制御モデルが出力する、前記端末の動作および通信設定に関する制御情報に基づいて前記端末の動作および通信設定を制御する制御ステップと、前記制御ステップの制御後の端末情報を用いて前記制御情報の評価値を算出し、前記制御モデルが出力する制御情報の評価値が高くなるように、前記制御モデルを更新する評価ステップと、を行う。

【0011】

本発明の一態様は、上記制御装置として、コンピュータを機能させる制御プログラムである。

【発明の効果】

【0012】

本発明によれば、端末による作業のタスク効率を維持しつつ、端末との無線通信の品質を向上させることができる。

【図面の簡単な説明】

【0013】

【図1】実施形態の端末制御システムの構成例を示す図である。

【図2】制御装置の動作を示すフローチャートである。

【図3】荷物運搬のシミュレーションにおける通信エリアを示す模式図である。

【図4】図３のシミュレーションにおける２次元平面の座標を示す図である。

【図5】制御モデルのニューラルネットワーク構造の一例を示す図である。

【図6】シミュレーションにおける荷物の運搬に要したステップ数の散布図である。

【図7】シミュレーションにおけるロボットの平均スループットの累積分布関数を示す図である。

【図8】変形例の端末制御システムの構成図である。

【図9】ハードウェア構成例である。

【発明を実施するための形態】

【0014】

添付の図面を参照して、本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において、同一符号は同一または相当部分を示す。

【0015】

図１は、本実施形態の端末制御システムの構成図である。図示する端末制御システムは、基地局ＮＷ１（基地局ネットワーク）と、少なくとも１つの端末２１～２Ｌとを備える。Ｌは、端末の数であり、１以上の整数である。端末２１～２Ｌは、端末２ｉと記載することもある。基地局ＮＷ１と、各端末２ｉとは、無線通信により接続されている。

【0016】

各端末２ｉは、複数の無線通信部２ｉ１－１～２ｉ１－Ｍと、取得部２ｉ２と、制御部２ｉ３とを備え、これらは、ＮＷ部２ｉ０を介して接続される。Ｍは、無線通信部の数であり、１以上の整数である。無線通信部２ｉ１－１～２ｉ１－Ｍは、無線通信部２ｉ１と記載することもある。

【0017】

無線通信部２ｉ１は、基地局ＮＷ１のいずれかの無線通信装置１０１－１～１０１－Ｎと、無線通信する。取得部２ｉ２は、当該端末２ｉの状態情報および通信情報を含む端末情報を取得し、取得した端末情報を制御装置１１０の収集部１０２に送信する。取得部２ｉ２は、例えはカメラ、センサ（レーダ、ＬＩＤＥＲなど）などの各種のデバイスを備える。取得部２ｉ２は、これらのデバイスまたは無線通信部２１１から取得されるＧＰＳ信号、周辺の無線通信装置１０１との間の電波伝搬チャネル情報、無線信号の到来時間、カメラ映像、センサ値、タイヤ・脚部の動きなどを、端末情報として取得する。また、取得部２ｉ２は、これらのデータから算出される値を端末情報として取得してもよい。制御部２ｉ３は、制御装置１１０から送信される制御情報に従って、自身の端末２ｉを制御する。

【0018】

基地局ＮＷ１は、少なくとも１つの無線通信装置（基地局）１０１－１～１０１－Ｎと、制御装置１１０と、を備え、これらはＮＷ部１００を介して接続される。Ｎは、無線通信装置の数であり、１以上の整数である。無線通信装置１０１－１～１０１－Ｎは、無線通信装置１０１と記載することもある。

【0019】

各無線通信装置１０１は、少なくとも１つの端末２ｉと無線通信する。無線通信装置１０１は、それぞれ、異なる周波数、異なる通信方式、異なる帯域幅を有してもよい。

【0020】

制御装置１１０は、物理的な動作を伴う作業を行う、少なくとも１つの端末２ｉを制御する。図示する制御装置１１０は、収集部１０２と、制御部１０３と、評価部１０４とを備える。

【0021】

収集部１０２は、端末２ｉの状態情報および通信情報を含む端末情報を、無線通信装置１０１を介して収集する。収集部１０２は、各端末２ｉの取得部２ｉ２がそれぞれ取得した端末情報を、当該端末２ｉの端末ＩＤ（識別信号）とともに収集することができる。

【0022】

端末情報は、端末２ｉに関する情報である。状態情報は、端末２ｉの状態に関する情報であって、例えば、端末の位置、端末の向き、端末の速度、端末の動作、端末の運行計画、端末の作業の状態の少なく１つを含む。

【0023】

通信情報は、端末２ｉの無線通信に関する情報であって、例えば、通信品質、通信設定、トラヒック、通信要求品質、端末２ｉまたは端末２ｉの所有者のサービスグレードの少なくとも１つを含む。通信情報は、例えば、信号対雑音電力比、信号対干渉雑音電力比、ＲＳＳＩ（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）、ＲＳＲＱ（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｒｅｆｅｒｅｎｃｅ Ｑｕａｌｉｔｙ）、パケット誤り率、到達ビット数、単位時間あたり到達ビット数、Ｍｏｄｕｌａｒ Ｃｏｄｅ Ｓｃｈｅｍｅ （ＭＣＳ） Ｉｎｄｅｘ、再送回数、遅延時間、誤り訂正技術の設定などである。ＲＳＳＩ（信号電力）は、受信信号の強度を示す数値である。また、通信情報は、これらの値の微分情報、これらの値から所定の計算式を用いて算出される値であってもよい。また、通信情報は、無線通信装置１０１の周波数、リソースの帯域幅、送信電力、ＱｏＳ（Ｑｕａｌｉｔｙ Ｏｆ Ｓｅｒｖｉｃｅ）設定、など無線通信装置１０１の設定項目であってもよい。

【0024】

なお、収集部１０２は、制御装置１１０に接続されたカメラ、センサなどの取得装置（不図示）を用いて各端末２ｉの端末情報（状態情報）を収集または推定してもよい。

【0025】

制御部１０３は、強化学習により生成された制御モデル１０５を備える。制御モデル１０５は、予めシミュレーション空間で試行錯誤を繰り返して得られたものを利用してもよいし、実際の端末制御システムで運用しながら試行錯誤を繰り返して更新される制御モデルを利用してもよいし、あるいは、シミュレーション空間で得られた制御モデルに実際の端末制御システムでの試行錯誤を反映した制御モデルを用いてもよい。

【0026】

制御部１０３は、収集部１０２が収集した端末情報を制御モデル１０５に入力し、制御モデル１０５が出力する、端末２ｉの動作および通信設定に関する制御情報に基づいて、端末２ｉの動作および通信設定を制御する。

【0027】

具体的には、制御部１０３は、制御モデル１０５から出力された制御情報を各端末２ｉに送信する。各端末２ｉの制御部２ｉ３は、送信された制御情報に従って自身の端末２ｉを制御する。

【0028】

制御部１０３は、１つの端末２ｉの端末情報を制御モデル１０５に入力して当該端末２ｉの制御情報を出力してもよく、あるいは、複数の端末２ｉの各端末情報を制御モデル１０５に入力して複数の端末２ｉの制御情報をそれぞれ出力してもよい。

【0029】

端末２ｉの動作に関する制御情報は、例えば、長期的な経路または位置に関する長期動作指令、および、短期的な前進、後進、方向変換、上昇、下降、加速または減速に関する短期動作指令の少なくとの１つを含んでもよい。また、動作に関する制御情報は、任意の地点への移動、旋回などを含んでもよい。また、動作に関する制御情報は、前述の動作の速度、加速度、許容範囲および動作タイミングの少なくとも１つを含む動作関連情報、最大速度、最小速度などの動作ルールを含んでもよい。

【0030】

また、動作に関する制御情報には、端末２ｉが備える構成物（駆動物）の動作を制御するための制御情報を含んでもよい。制御情報は、端末２ｉの運用パラメータを制御するものであってもよい。運用パラメータは、例えば、端末２ｉが物品を運搬する場合、作業効率、作業量、電力消費量、作業リスクなどである。

【0031】

通信設定に関する制御情報は、無線通信の接続先（無線通信装置１０１）、周波数、周波数帯域、要求品質、優先度、データレート、送信頻度および再送回数の少なくとも１つを含んでもよい。通信設定に関する制御情報は、通信する基地局、利用するアンテナ数、送信電力、利用する無線システム、送信頻度、ビットレート、パケットサイズ、送信モードを含んでもよい。

【0032】

評価部１０４は、制御部１０３による制御後の端末情報を用いて制御情報の評価値を算出し、制御モデル１０５が出力する制御情報の評価値が高くなるように、制御モデル１０５を更新する。すなわち、評価部１０４は、制御情報の評価値を高くするように、制御モデル１０５を更新し、よりよい制御を実施するように制御モデル１０５を学習させる。具体的には評価部１０４は、出力された制御情報による端末２ｉの動作に対し、評価値を算出する。

【0033】

評価部１０４は、作業に関する少なくとも１つの第１条件と対応する第１報酬値と、通信品質に関する少なくとも１つの第２条件と対応する第２報酬値とを保持し、制御部１０３による制御後の端末２ｉの作業および通信品質を数値化し、第１報酬値および第２報酬値を用いて評価値を算出してもよい。第１条件が作業の完了に寄与するか否かに応じて第１報酬値が設定され、第２条件の通信品質に応じて第２報酬値が設定される。

【0034】

第１条件（要求条件）は、端末２ｉが実施する作業に対して設定されるパラメータであり、例えば運搬を行う端末２ｉの場合、運搬の成功、実施、効率などであって、望ましい条件を満たす作業に対して、高い第１報酬値が生成される。逆に、望ましくない条件を満たす作業に対して、ペナルティとしてマイナスの第１報酬値を設定してもよい。

【0035】

監視端末であれば、第１条件は監視の実施、監視エリア、監視対象の特定数などであって、望ましい条件を満たす作業に対して高い第１報酬値が設定される。ドローンであれば、第１条件は計画経路との乖離の小ささ、目的地への到達などであって、望ましい条件を満たす作業に対して高い第１報酬値が生成される。

【0036】

第２条件（要求条件）は、端末２ｉの無線通信に関するパラメータであって、前述の通信情報に対して各種の条件が設定され、望ましい通信品質に対して高い第２報酬値が設定される。例えば、単位時間当たり到達ビット数が規定の値以上となる状態をより長く継続している場合、作業実施に対する最小通信品質が大きい場合、再送回数が少ない場合、または、通信パケットの到達遅延時間が小さい場合に高い第２報酬値を設定し、逆に、既定の通信品質を満たさない場合にペナルティとしてマイナスの第２報酬値を設定してもよい。例えば、到達ビット数が既定の値以下となったり規定以下の状態が一定の時間続く場合、通信パケットの到達遅延時間が大きい場合、通信品質の変動が大きい場合、にペナルティやマイナスの報酬を設定できる。

【0037】

図２は、本実施形態の制御装置１１０の動作を示すフローチャートである。

【0038】

収集部１０２は、少なくとも１つの端末２ｉから端末情報を収集する（ステップＳ１０１）。制御部１０３は、制御モデル１０５に各端末２ｉの端末情報を入力し、各端末２ｉの制御情報を出力する（ステップＳ１０２）。

【0039】

強化学習において、必ずしも最適でない制御を行わせることでよりよい行動を行うための、ε-greedy法などの最適解でない制御情報を出力する方法を用いてもよい。ε-greedy法では、制御モデル１０５は、自身が選択した制御情報とは異なる制御情報を一定の確率で出力することを許容する。このようにすることで、よりよい制御を発見できる場合がある。

【0040】

制御部１０３は、制御モデル１０５が出力した制御情報に基づいて各端末２ｉを制御する。すなわち、制御部１０３は、各端末２ｉに対応する制御情報を送信し、各端末２ｉの動作および通信設定を制御する（ステップＳ１０３）。

【0041】

端末２ｉが制御されると、評価部１０４は、その制御結果に対して評価値を算出する（ステップＳ１０４）。例えば、評価部１０４は、端末２ｉが行う作業および無線通信の品質について評価し、予め設定された報酬値を取得する。たとえば、端末２ｉが運搬機器である場合には、以下の条件および報酬値などが考えらえる。

【0042】

・運搬の完了：＋１００
・優良な無線通信の継続：＋１０
・低品質無線通信：－１０
このように、作業の完了に対して高い報酬値を設定するとともに、端末２ｉが満たすべき無線通信品質の要求条件に応じて、無線通信に対する報酬を、プラスの値またはペナルティとしてマイナスの値をあらかじめ設定しておく。

【0043】

評価部１０４は、収集部１０２が収集した、制御情報により制御された後の各端末２ｉの端末情報を用いて、前記制御情報の制御結果を評価し、報酬値を用いて評価値を算出し、制御モデル１０５にフィードバックすることで、制御モデル１０５を更新する（ステップＳ１０６）。制御装置１１０が、図２に示す処理を繰り返し行うことで、よりよい制御モデル１０５に改善しつつ、端末２ｉを制御することができる。

【0044】

評価部１０４は、上記の条件（パラメータ）を満たした報酬値の合計を評価値として算出してもよい。また、評価部１０４は、各条件に所定の重みづけを設定し、報酬値に重み付けを加味した値の合計値を評価値として算出してもよい。

【0045】

また、評価部１０４は、端末２ｉの作業、通信、日時、アプリケーション、位置、速度および加速度の少なくとも１つが、所定の条件を満たす場合にのみ、評価値を算出してもよい。これは、端末２ｉの運動範囲が広い場合に、全ての条件に対して、常に良い制御情報を出力する制御モデル１０５を生成することが難しい場合があるためである。または、常に通信品質と作業双方を鑑みて制御する必要がないか、特定の条件でのみ、効率的な制御を実施したい場合があるためである。実際に運用する場合には、環境、通信、日時、アプリケーション、干渉、天候、などさまざまな複雑な要因が影響するため、制御モデル１０５が動作する条件を限定することで、制御モデル１０５の精度を高めることも期待できる。このため、評価部１０４は、端末２ｉの作業、通信、日時、アプリケーション、位置、速度、加速度などがあらかじめ定めた条件を満たす場合のみ、報酬を数値化して出力してもよい。例えば、特定のアプリケーション、特に無線通信を用いるアプリケーションを使っている時のみ、またはアプリケーションが特定のモードであるときのみ、本実施形態の制御方法を用いてもよい。

【0046】

図３は、本実施形態の端末制御システムの効果を検証するための荷物運搬のシミュレーション（実験例）における通信エリアを示す模式図である。倉庫などの２次元平面３０１上を３台のロボット（端末）４１、４２、４３が通信しながら移動して、Ｌｏａｄｉｎｇ Ｐｏｉｎｔ３０３にある荷物３０５を、仕分けをしながらいずれかのＧｏａｌＡ～Ｄ３０４へ運搬する。また、ロボット４１、４２、４３は、荷物３０５の運搬とともに、倉庫３０１の左右に存在する無線基地局５１、５２との無線通信品質に対する要求条件を満たす必要がある。無線基地局５１、５２と、ロボット４１、４２、４３との間のスループットは、以下の式のように定義した。

【0047】

Ｃ_i ＝ log₂(１＋Ｓ_i,j)/Ｌ_i
ここで、Ｃ_iは、無線基地局５ｉ（ｉは１または２）と、ロボット４ｊ（ｊは１～３のいずれか）が無線通信した際のスループットである。Ｓ_ｉ,ｊは、端末４ｊが送信したパケットが、無線基地局５ｉと端末４ｊの上りまたは下り回線における信号対干渉雑音電力比である。Ｌ_ｉは、無線基地局５ｉに接続される端末４ｊの数を表す。

【0048】

ここでは、無線基地局５ｉと通信している端末４ｊの数に応じて、スループットが分割されるシナリオで計算しているが、Ｗｉ－Ｆｉ、ＬＴＥ、５Ｇなど、実際のシステムにおけるスループットや回線品質に関するいかなるパラメータと置き換えてもよい。

【0049】

図４に、図３のシミュレーションにおける２次元平面３０１の座標を示す。想定した２次元平面３０１は、横１３ｍ、縦７ｍである。図４の領域４１、４２、４３は、ロボット４ｊの位置を示している。図４の縦軸５、横軸６の地点（領域４２）にＬｏａｄｉｎｇ Ｐｏｉｎｔがあるものとした。図４の領域３０４は、左から順にＧｏａｌ Ａ、Ｇｏａｌ Ｂ、Ｇｏａｌ Ｃ、Ｇｏａｌ Ｄを示す。図４の領域５１、５２は、無線基地局５ｊを示している。ロボットが動ける範囲は、図４の白い領域と、Ｇｏａｌの領域３０４と、Ｌｏａｄｉｎｇ Ｐｏｉｎｔの領域４２である。

【0050】

ここで、Ｇｏａｌは荷物によって指定されるものとした。各ロボットはＧｏａｌが指定された荷物を指定されたＧｏａｌに仕分けるものとした。Ｌｏａｄｉｎｇ Ｐｏｉｎｔ４２には、ここでは２０個の荷物が収納されたバッファが設置され、ロボットは荷物を持っていない状態でＬｏａｄｉｎｇ Ｐｏｉｎｔ４２に到達すると、バッファに格納されている荷物を受け取り、荷物を持っている状態でその荷物が指定したＧｏａｌに到達すると荷物をおろす作業を繰り返すものとした。

【0051】

本シミュレーションでは、深層強化学習のアルゴリズムを用いて適切なロボットの移動制御を推定する。ロボットの自己位置とロボットの目的地とを入力とした適切なロボットの移動制御を推定し、推定したロボット操作をシミュレータ環境へ反映し、操作後のロボットのタスク遂行効率とネットワーク性能とを元にした評価値（報酬／ペナルティ）を計算する３ステップを繰り返して、適切なロボットの移動制御を学習する。

【0052】

図５に、図３および図４のシミュレーションで用いた制御モデル１０５のニューラルネットワーク構造を示す。本手法では、各ロボットによる行動を推定するために、各ロボットの自己位置の縦軸座標および横軸座標と、目的地の横軸座標および縦軸座標とが入力として与えられる。すなわち、自己位置の縦軸横軸座標、および目的地の縦軸横軸座標の計４つの情報が入力である。無線基地局５ｊの選択は、受信電力が高い方に接続する条件を与えている。

【0053】

図示する例では、入力したロボットの自己位置と目的地に対して、ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）５０１と、ＲｅＬＵ （Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）５０２を２回用いて、ロボットの自己位置と目的地に関する特徴を抽出する。ＦＣは、全結合層である。ＲｅＬＵ５０２は、負の値を０とする活性化関数f(x)＝max(0,x)である。図の右側の添え字の数字は、ニューロンの数を表す。

【0054】

ＦＣ５０１が出力した１次元テンソルを半分に分割してそれぞれを状態価値関数および行動価値関数の学習に用いる。図５において、「６４」の添え字があるＦＣ５０１の出力を３２ずつ２つに分割し、上部のＦＣ５０１aで状態価値関数、下部のＦＣ５０１ｂで行動価値関数の学習を行っている。最後に、ＦＣ５０１aの状態価値関数から得られた出力と、ＦＣ５０１ｂの行動価値関数の出力とを結合した状態行動価値関数から適切なロボットの行動を推定し出力する。出力される行動は、上、下、右、左の４方向にいずれかへの１ｍの移動または停止の５種類とした。

【0055】

ネットワーク性能を考慮したロボットの移動制御を学習するため、評価値を算出するための条件および報酬値を、以下とした。

【0056】

・１つの行動： －１
・０．２Ｇｂｐｓ以下を下回るスループットを計測： －３
・侵入不可領域への侵入の試行： －５
・静止： －５
・目的地への接近： ＋２
・運搬の完了： ＋１００
「１つの行動」に対する報酬の減点は、タスクをなるべく少ないステップで終わらせるためのものである。行動を選択した結果、「０．２Ｇｂｐｓ以下のスループットであるか」、「侵入負荷領域への侵入を試みたか」、「停止の選択をしたのか」、「目的地への距離は小さくなったか」、「運搬は完了したのか」のいずれかを満たすか判定し、満たしていれば対応する報酬またはペナルティを受ける。０．２Ｇｂｐｓ以下になりながら、目的地に近づいたら、―３＋２＝―１のペナルティとなる。なお、侵入不可領域への侵入を試みた場合は、ロボットの位置は更新しないものとする。ロボットが荷物を運搬していない状態で、搬入口のバッファに荷物が存在しない場合、いずれの行動をとった場合も報酬は０とした。

【0057】

図６および図７に本シミュレーションの効果を示す。本シミュレーションの効果を示すために、上記評価項目の「０．２Ｇｂｐｓ以下を下回るスループットを計測：－３」を含めずスループットを考慮しない場合と、「０．２Ｇｂｐｓ以下を下回るスループットを計測：－３」を含めてスループットを考慮する場合の２通りのタスク効率と通信性能を評価した。

【0058】

図６は、各エピソード数に対する２０個の荷物の運搬に要したステップ数の散布図を示す。図６より、スループットを考慮していない場合とスループットを考慮している場合はともに、最終的に１００ステップに収束していることがわかる。タスク効率の観点で見ればスループットを考慮する項目により、効率が落ちることなく動作していることがわかる。すなわち、スループットを考慮しない場合は、約２３００エピソードで１００ステップに収束しているが、スループットを考慮した場合は、約１２００エピソードで１００ステップに収束している。

【0059】

図７は、各エピソードに対する３台のロボットの平均スループットの累積分布関数（Ｃｕｍｕｌａｔｉｖｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ： ＣＤＦ）を示す。ＣＤＦにより、スループットの全体分布を確認することができ、０～１００％が縦軸の０～１に対応している。スループットを考慮しない場合、０．３１Ｇｂｐｓを頻繁に計測していることがわかる。スループットを考慮した場合、０．３２５Ｇｂｐｓを頻繁に計測していることがわかる。

【0060】

これにより、本実施形態の端末制御システムによるスループットを考慮したロボット制御を行うことで、タスク効率を維持したまま通信の質を向上させることを達成したといえる。これは、従来の方法に対し、通信品質と作業効率の両方を考慮した強化学習とすることで得られる効果である。

【0061】

以上説明した本実施形態の制御装置１１０は、物理的な動作を伴う作業を行う端末２ｉを制御する制御装置であって、端末２ｉは無線通信装置１０１と無線通信し、制御装置１１０は、端末２ｉの状態情報および通信情報を含む端末情報を収集する収集部１０２と、前記端末情報を制御モデル１０５に入力し、制御モデル１０５が出力する、端末２ｉの動作および通信設定に関する制御情報に基づいて端末２ｉの動作および通信設定を制御する制御部１０３と、制御部１０３による制御後の端末情報を用いて制御情報の評価値を算出し、制御モデル１０５が出力する制御情報の評価値が高くなるように、制御モデル１０５を更新する評価部１０４と、を備える。

【0062】

これにより、端末２ｉによる作業のタスク効率を維持しつつ、端末２ｉの無線通信の品質を向上させることができる。

【0063】

＜変形例＞
次に、本実施形態の変形例を説明する。図１に示す本実施形態では、基地局ＮＷ１が、制御装置１１０を備え、制御装置１１０が各端末２ｉから端末情報を収集し、制御情報に従って各端末２ｉを制御し、制御結果を評価した。変形例では、制御装置１１０の機能を各端末２ｉが具備する。

【0064】

図８は、変形例の端末制御システムの構成図である。変形例の端末制御システムは、基地局ＮＷ１Ａ（基地局ネットワーク）と、少なくとも１つの端末２１Ａ～２ＬＡとを備える。Ｌは、端末の数であり、１以上の整数である。端末２１Ａ～２ＬＡは、端末２ｉＡと記載することもある。基地局ＮＷ１と、各端末２ｉＡとは、無線通信により接続されている。

【0065】

図示する基地局ＮＷ１Ａ（基地局ネットワーク）は、制御装置１１０を備えない点において、図１の基地局ＮＷ１と異なり、その他は図１の基地局ＮＷ１と同様である。すなわち、基地局ＮＷ１Ａは、少なくとも１つの無線通信装置１０１－１～１０１－Ｎを備え、これらはＮＷ部１００を介して接続される。無線通信装置１０１－１～１０１－Ｎは、図１の無線通信装置１０１と同様である。

【0066】

端末２ｉＡは、物理的な動作を伴う作業を行う無線通信端末であって、基地局ＮＷ１Ａの無線通信装置１０１と無線通信する。各端末２ｉＡは、複数の無線通信部２ｉ１－１～２ｉ１－Ｍと、取得部２ｉ２と、制御部２ｉ３と、評価部２ｉ４を備え、これらは、ＮＷ部２ｉ０を介して接続される。Ｍは、無線通信部の数であり、１以上の整数である。無線通信部２ｉ１－１～２ｉ１－Ｍは、無線通信部２ｉ１と記載することもある。変形例の無線通信部２ｉ１は、図１の無線通信部２ｉ１と同様である。

【0067】

取得部２ｉ２は、当該端末２ｉＡの状態情報および通信情報を含む端末情報を取得し、取得した端末情報を２ｉ３に送出する。取得部２ｉ２は、取得した端末情報を制御部２ｉ３に送出する点において図１の取得部２ｉ２と異なり、その他は図１の取得部２ｉ２と同様である。

【0068】

制御部２ｉ３は、図１の制御部１０３と同様の機能を有する。すなわち、制御部２ｉ３は、強化学習により生成された制御モデル２ｉ５を備える。制御部２ｉ３は、端末情報を制御モデル２ｉ５に入力し、制御モデル２ｉ５が出力する、当該端末２ｉＡの動作および通信設定に関する制御情報に基づいて当該端末２ｉＡの動作および通信設定を制御する。

【0069】

評価部２ｉ４は、図１の評価部１０４と同様の機能を有する。すなわち、評価部２ｉ４は、制御情報に基づいて制御された後の端末情報を用いて制御情報の評価値を算出し、制御モデル２ｉ５が出力する制御情報の評価値が高くなるように、制御モデル２ｉ５を更新する。

【0070】

このように本変形例では、各端末２ｉＡが、制御モデル２ｉ５に自身の端末情報を入力し、出力される制御情報に従って自身の端末２ｉＡを自律的に制御し、評価する。これにより、本変形例でも上記実施形態と同様に、端末による作業のタスク効率を維持しつつ、端末の無線通信の品質を向上させることができる。

【0071】

＜ハードウェア＞
上記説明した制御装置および端末２ｉ、２ｉＡをコンピュータで実現してもよい。すなわち、制御装置１１０および端末２ｉ、２ｉＡに、例えば、図９に示すような汎用的なコンピュータシステムを用いることができる。図示するコンピュータシステムは、CPU（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ９０３（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える。メモリ９０２およびストレージ９０３は、記憶装置である。このコンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされた制御装置１１０または端末２ｉ、２ｉＡのプログラムを実行することにより、制御装置１１０または端末２ｉ、２ｉＡの各機能が実現される。

【0072】

また、制御装置１１０および端末２ｉ、２ｉＡは、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、制御装置１１０および端末２ｉ、２ｉＡは、コンピュータに実装される仮想マシンであっても良い。制御装置１１０用のプログラムおよび端末２ｉ、２ｉＡ用のプログラムは、HDD、SSD、USB（Universal Serial Bus）メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

【0073】

なお、コンピュータ読み取り可能な記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した構成要素の一部を実現するためのものであってもよい。また、前述した構成要素をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。

【0074】

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

【符号の説明】

【0075】

１ ：基地局ネットワーク
１００：ＮＷ部
１０１：無線通信装置（基地局）
１０２：収集部
１０３：制御部
１０４：評価部
１０５：制御モデル
１１０：制御装置
２１ ：端末
２１０：ＮＷ部
２１１：無線通信部
２１２：取得部
２１３：制御部
２１４：評価部
２１５：制御モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】