特許 7425921 移動体装置の接続先基地局の選択を学習する学習装置およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-01-23

(45)【発行日】2024-01-31

(54)【発明の名称】移動体装置の接続先基地局の選択を学習する学習装置およびシステム

(51)【国際特許分類】

   H04W 24/02 20090101AFI20240124BHJP

   G06N 20/00 20190101ALI20240124BHJP

   H04W 16/32 20090101ALI20240124BHJP

   H04W 24/08 20090101ALI20240124BHJP

   H04W 36/14 20090101ALI20240124BHJP

   H04W 36/36 20090101ALI20240124BHJP

   H04W 48/16 20090101ALI20240124BHJP

   H04W 88/06 20090101ALI20240124BHJP

【ＦＩ】

H04W24/02

G06N20/00

H04W16/32

H04W24/08

H04W36/14

H04W36/36

H04W48/16 131

H04W48/16 134

H04W88/06

【請求項の数】 6

(21)【出願番号】P 2023147749

(22)【出願日】2023-09-12

【審査請求日】2023-09-12

【早期審査対象出願】

(73)【特許権者】

【識別番号】397036309

【氏名又は名称】株式会社インターネットイニシアティブ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100138759

【弁理士】

【氏名又は名称】大房 直樹

(72)【発明者】

【氏名】柿島 純

【審査官】田畑 利幸

(56)【参考文献】

【文献】米国特許出願公開第２０２３／００１６５９５（ＵＳ，Ａ１）

【文献】国際公開第２０２０／１５９４３０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２１／０００７０２３（ＵＳ，Ａ１）

【文献】国際公開第２０２２／１８６６５７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｗ ４／００－９９／００

Ｇ０６Ｎ ２０／００

３ＧＰＰ ＴＳＧ ＲＡＮ ＷＧ１－４

ＳＡ ＷＧ１－４

ＣＴ ＷＧ１，４

(57)【特許請求の範囲】

【請求項1】

通信方式が異なる複数の基地局と接続することが可能な通信エリアにおいて移動体装置が接続すべき基地局の選択を学習する学習装置であって、
前記移動体装置の前記通信エリアにおける位置を管理する移動体位置管理部と、
前記移動体装置の前記通信エリアにおける前記位置ごとに、前記複数の基地局の各々に対して、強化学習における報酬値を管理する報酬管理部であって、前記報酬値は、当該位置において当該基地局を接続先として選択することに対する報酬を表す、報酬管理部と、
前記移動体装置の前記位置と前記報酬値とに基づく強化学習により、前記移動体装置が接続すべき基地局を選択するための学習モデルを生成する学習モデル生成部と、
を備える学習装置。

【請求項2】

前記移動体位置管理部は、前記移動体装置の前記通信エリアにおける予め設定された１または複数の移動経路を、前記移動体装置の前記位置として管理し、
前記学習モデル生成部は、前記移動体装置の前記１または複数の移動経路上の各位置と当該各位置に対応する前記報酬値とに基づく強化学習により、前記学習モデルを生成する、
請求項１に記載の学習装置。

【請求項3】

前記移動経路は、第１の通信方式による基地局と接続することが可能であり第２の通信方式による基地局と接続することが可能でない第１通信エリアと、前記第１の通信方式による基地局および前記第２の通信方式による基地局の両方と接続することが可能な第２通信エリアとを跨る経路であり、
前記第２通信エリアにおいて、前記第２の通信方式による基地局に対する前記報酬値は、前記第１の通信方式による基地局に対する前記報酬値よりも高い値に設定される、
請求項２に記載の学習装置。

【請求項4】

前記第１の通信方式は、パブリック５Ｇ、パブリック４Ｇ、パブリックＬＴＥのうちのいずれかによる通信方式を含み、前記第２の通信方式は、ローカル５Ｇ、ローカル４Ｇ、ローカルＬＴＥ、無線ＬＡＮのうちのいずれかによる通信方式を含む、請求項３に記載の学習装置。

【請求項5】

前記学習モデルは、前記移動体装置の前記位置を状態ｓ_ｔとして入力し、前記複数の基地局のうちの各基地局を選択する行動ａ_ｔを行った場合における行動価値Ｑ（ｓ_ｔ，ａ_ｔ）を出力する、深層強化学習に基づくニューラルネットワークにより構成されたモデルである、請求項１に記載の学習装置。

【請求項6】

請求項１から５のいずれか１項に記載の学習装置と、前記学習装置によって生成された前記学習モデルを搭載した移動体装置と、を備えるシステムであって、
前記移動体装置は、
前記移動体装置の現在位置を取得する位置取得部と、
前記学習モデルを用いて、前記移動体装置の前記取得された現在位置に基づいて前記通信エリアにおける複数の基地局の中から１つの基地局を選択する基地局選択部と、
前記基地局選択部によって選択された基地局と通信する通信部と、
を備える、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体装置の接続先基地局の選択を学習する学習装置およびシステムに関する。

【背景技術】

【0002】

近年、多様な無線通信ネットワークが併存して利用されている。例えば、パブリック５Ｇ（または４Ｇ、ＬＴＥ）と呼ばれる通信事業者によって提供されるネットワークと、ローカル５Ｇ（または４Ｇ、ＬＴＥ）と呼ばれる通信事業者ではない一般企業や自治体等によって提供されるネットワークがあり、後者の通信エリアは前者の通信エリアに重複してスポット的に設けられている。そのような重複エリアでは、移動端末はいずれかのネットワークを選択して利用することができる。

【先行技術文献】

【非特許文献】

【0003】

【文献】「プライベートLTEとパブリックLTEの相互運用における問題とその解決」、［online］、株式会社インターネットイニシアティブ、［令和５年７月２８日検索］、インターネット＜https://www.slideshare.net/IIJ_techlog/iijmio-meeting-26-ltelte＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、例えば上記のような環境において、移動端末がパブリック５Ｇエリアからローカル５Ｇエリアへ移動した場合に、パブリック５Ｇネットワークとの通信が継続されてしまい、ローカル５Ｇネットワークへ通信が切り替わらないことがある（例えば非特許文献１参照）。

【課題を解決するための手段】

【0005】

本発明の一態様によれば、通信方式が異なる複数の基地局と接続することが可能な通信エリアにおいて移動体装置が接続すべき基地局の選択を学習する学習装置であって、前記移動体装置の前記通信エリアにおける位置を管理する移動体位置管理部と、前記移動体装置の前記通信エリアにおける前記位置ごとに、前記複数の基地局の各々に対して、強化学習における報酬値を管理する報酬管理部であって、前記報酬値は、当該位置において当該基地局を接続先として選択することに対する報酬を表す、報酬管理部と、前記移動体装置の前記位置と前記報酬値とに基づく強化学習により、前記移動体装置が接続すべき基地局を選択するための学習モデルを生成する学習モデル生成部と、を備える学習装置が提供される。

【0006】

また、本発明の一態様によれば、前記移動体位置管理部は、前記移動体装置の前記通信エリアにおける予め設定された１または複数の移動経路を、前記移動体装置の前記位置として管理し、前記学習モデル生成部は、前記移動体装置の前記１または複数の移動経路上の各位置と当該各位置に対応する前記報酬値とに基づく強化学習により、前記学習モデルを生成するのであってよい。

【0007】

また、本発明の一態様によれば、前記移動経路は、第１の通信方式による基地局と接続することが可能であり第２の通信方式による基地局と接続することが可能でない第１通信エリアと、前記第１の通信方式による基地局および前記第２の通信方式による基地局の両方と接続することが可能な第２通信エリアとを跨る経路であり、前記第２通信エリアにおいて、前記第２の通信方式による基地局に対する前記報酬値は、前記第１の通信方式による基地局に対する前記報酬値よりも高い値に設定されるのであってよい。

【0008】

また、本発明の一態様によれば、前記第１の通信方式は、パブリック５Ｇ、パブリック４Ｇ、パブリックＬＴＥのうちのいずれかによる通信方式を含み、前記第２の通信方式は、ローカル５Ｇ、ローカル４Ｇ、ローカルＬＴＥ、無線ＬＡＮのうちのいずれかによる通信方式を含むのであってよい。

【0009】

また、本発明の一態様によれば、前記学習モデルは、前記移動体装置の前記位置を状態ｓ_ｔとして入力し、前記複数の基地局のうちの各基地局を選択する行動ａ_ｔを行った場合における行動価値Ｑ（ｓ_ｔ，ａ_ｔ）を出力する、深層強化学習に基づくニューラルネットワークにより構成されたモデルであるのであってよい。

【0010】

また、本発明の一態様によれば、前記学習装置によって生成された前記学習モデルを搭載した移動体装置であって、前記移動体装置の現在位置を取得する位置取得部と、前記学習モデルを用いて、前記移動体装置の前記取得された現在位置に基づいて前記通信エリアにおける複数の基地局の中から１つの基地局を選択する基地局選択部と、前記基地局選択部によって選択された基地局と通信する通信部と、を備える移動体装置が提供される。

【発明の効果】

【0011】

本発明によれば、複数の基地局の中から移動体装置が接続すべき適切な１つの基地局を決定することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る学習装置が適用されるシステムの概略的な構成を示す図である。

【図2】本発明の一実施形態に係る学習装置の機能的構成を示すブロック図である。

【図3】移動体位置管理部が移動体装置の位置を管理し報酬管理部が学習用の報酬値を管理するための管理テーブルの一例である。

【図4】移動体装置の状態の遷移を示す模式図である。

【図5】学習モデルの一例（ＤＱＮ）を示す図である。

【図6】学習モデルの別の一例（Ｆｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋ）を示す図である。

【図7】移動経路の別の一例を示す図である。

【図8】本発明の一実施形態に係る移動体装置の機能的構成を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、図面を参照しながら本発明の実施形態について詳しく説明する。

【0014】

図１は、本発明の一実施形態に係る学習装置が適用されるシステムの概略的な構成を示す図である。システム１０は、学習装置１００と、移動体装置２００と、複数の基地局３００（３００Ａ、３００Ｂ）を備える。移動体装置２００は、複数の基地局３００との間で無線通信を行うことができる。各基地局３００は、移動体装置２００が当該基地局３００と無線通信することを可能にする無線通信エリア（以下、通信エリア）を形成する。

【0015】

図１の例において、通信エリアは、第１通信エリアＣＡ１と、第１通信エリアＣＡ１に内包された第２通信エリアＣＡ２とを含む。第１通信エリアＣＡ１は、移動体装置２００が基地局３００Ａと通信できるが基地局３００Ｂとは通信できないエリアである。第２通信エリアＣＡ２は、移動体装置２００が基地局３００Ａと基地局３００Ｂの両方と通信することが可能なエリアである。換言すれば、基地局３００Ａは、第１通信エリアＣＡ１と第２通信エリアＣＡ２の両方を包含する１つの大きなエリアにわたる通信エリアを形成している。一方、基地局３００Ｂは、基地局３００Ａによって形成される通信エリアの中にそれより小さい通信エリア（第２通信エリアＣＡ２）を形成している。

【0016】

例えば、図１のシステム１０が５Ｇ（第５世代）、４Ｇ（第４世代）、および／またはＬＴＥ（Long Term Evolution）モバイル通信システムとともに利用される場合において、基地局３００Ａによって形成される通信エリア（すなわち第１通信エリアＣＡ１と第２通信エリアＣＡ２を併せた全体エリア）は、パブリック５Ｇエリア、パブリック４Ｇエリア、またはパブリックＬＴＥエリアであってよく、また基地局３００Ｂによって形成される通信エリア（第２通信エリアＣＡ２）は、ローカル５Ｇエリア、ローカル４Ｇエリア、またはローカルＬＴＥエリアであってよい。基地局３００Ｂによって形成される通信エリア（第２通信エリアＣＡ２）は、モバイル通信によるもの限らず、例えばＷｉＦｉ等の無線ＬＡＮによる通信が可能な通信エリアであってもよい。なお、パブリック５Ｇ（４Ｇ、ＬＴＥ）エリアとは、モバイル通信サービス（携帯電話およびデータ通信）を提供する通信事業者によって構築され管理される広範な通信範囲を有する通信エリアであり、一方ローカル５Ｇ（４Ｇ、ＬＴＥ）エリアとは、通信事業者ではない一般企業や自治体等によって構築され管理される、比較的狭い通信範囲を有する通信エリアである。

【0017】

例えば、移動体装置２００は、パブリック５Ｇエリア（すなわち第１通信エリアＣＡ１および第２通信エリアＣＡ２）において、第１の通信方式（例えば第１の周波数帯域を使用した、５Ｇモバイル通信方式）を用いて、基地局３００Ａと通信することができ、またローカル５Ｇエリア（すなわち第２通信エリアＣＡ２）においては、第１の通信方式と異なる第２の通信方式（例えば第１の周波数帯域とは異なる第２の周波数帯域を使用した、５Ｇモバイル通信方式）を用いて、基地局３００Ｂと通信することができる。また、例えばパブリック５Ｇエリアと無線ＬＡＮによる通信エリアが併存する場合、移動体装置２００は、無線ＬＡＮ通信エリア（すなわち第２通信エリアＣＡ２）において、パブリック５Ｇエリアで用いる第１の通信方式（５Ｇモバイル通信方式）とは異なる第２の通信方式（無線ＬＡＮ通信方式）を用いて、基地局３００Ｂと通信することができる。したがって、第２通信エリアＣＡ２では、移動体装置２００は、第１の通信方式に従う基地局３００Ａとパブリック５Ｇによる通信を行うか、第２の通信方式に従う基地局３００Ｂとローカル５Ｇ（または、例えば無線ＬＡＮ）による通信を行うかを選択し、その選択に基づいて基地局３００Ａと基地局３００Ｂのいずれかと通信する。

【0018】

なお、通常、パブリック５Ｇ（４Ｇ、ＬＴＥ）とローカル５Ｇ（４Ｇ、ＬＴＥ）は、通信規格の世代が同じではあっても、使用される周波数帯域が互いに異なっている。本明細書では、周波数帯域の相違は、通信方式の相違に含まれる概念であるものとする。

【0019】

図１に示される通信エリアの配置は説明のための単なる一例であって、限定的と解されるべきではないことに留意されたい。例えば、第２通信エリアＣＡ２の大きさは図１に示されるよりもずっと大きいのであってもよいし、あるいは、第１通信エリアＣＡ１の中に複数の第２通信エリアＣＡ２が存在するのであってもよい。また、図１にはパブリックエリア（例えばパブリック５Ｇエリア）を形成する１つの基地局３００Ａだけが示されているが、複数の基地局３００Ａによってパブリックエリアが形成され、移動体装置２００はパブリックエリア内の位置に応じたそのうち１つの基地局３００Ａと通信するのであってよい。ローカルエリア（例えばローカル５Ｇエリア）についても同様である。

【0020】

移動体装置２００は、例えば、ドローン等の遠隔操縦式もしくは自律移動型の空中・陸上・海上移動機械、または自動運転車両を含む移動車両（自動車等）、または人間によって携帯されて移動するスマートフォン等の情報端末、あるいは、基地局３００と通信する能力を備え通信エリア内を移動することができるその他の任意のタイプの装置・デバイスであってよい。

【0021】

図１に示されるように、移動体装置２００は、通信エリア内をある移動経路ＭＰに沿って移動する。移動経路ＭＰは、例えば、最初に第１通信エリアＣＡ１を通過する区間＃１、区間＃１の後に第２通信エリアＣＡ２を通過する区間＃２、および、区間＃２の後に再び第１通信エリアＣＡ１を通過する区間＃３、からなる３つの区間を含む。この例において、移動体装置２００は、例えば、移動経路ＭＰに沿って移動中の区間＃２においてパブリック５Ｇではなくローカル５Ｇ（または無線ＬＡＮ）による通信を行うことが望ましいまたは求められる場合がある。本実施形態によるシステム１０は、このような移動経路ＭＰ上を移動する移動体装置２００が通信接続先としていずれの通信方式（例えばパブリック５Ｇ／ローカル５Ｇ）の基地局３００Ａまたは３００Ｂを選択すべきか、を学習する学習装置１００を備える。

【0022】

図２は、本発明の一実施形態に係る学習装置１００の機能的構成を示すブロック図である。学習装置１００は、移動体位置管理部１１０と、報酬管理部１２０と、学習モデル生成部１３０と、学習モデル生成部１３０によって生成された学習モデル１４０とを備える。なお、学習装置１００は、プロセッサおよびメモリを備えたコンピュータによって実現することができる。

【0023】

学習装置１００の移動体位置管理部１１０は、通信エリアにおける移動体装置２００の位置を管理するように構成される。移動体装置２００の位置は、図１に示されるような移動経路ＭＰ上の各位置である。移動経路ＭＰは、例えば、予め設定された経路であってよい。移動経路ＭＰ上の各位置は、三次元位置座標（ｘ，ｙ，ｚ）によって表すことができる。移動体位置管理部１１０は、例えば、予め設定された１または複数の移動経路ＭＰ上の各位置の三次元位置座標を管理（例えばデータベース等の記憶部に記憶）する。予め設定された１または複数の移動経路ＭＰは、学習装置１００における学習を実行するための経路として適宜に設定することができる。

【0024】

学習装置１００の報酬管理部１２０は、移動体装置２００の接続先とすべき基地局３００の学習（強化学習）において用いる報酬値を管理するように構成される。具体的に、報酬管理部１２０は、通信エリアにおける移動体装置２００の位置ごとに、複数の基地局３００の各々について、その基地局３００を接続先に選択した場合の報酬値を管理する。例えば、基地局３００Ａおよび３００Ｂによって通信エリアが形成されている上述した図１の例において、報酬管理部１２０は、通信エリアの各位置、例えば移動経路ＭＰ上の各位置について、基地局３００Ａが接続先である場合の報酬値と、基地局３００Ｂが接続先である場合の報酬値とを管理（例えばデータベース等の記憶部に記憶）する。

【0025】

報酬値は、移動体装置２００が接続先として選択することが望ましい基地局３００についての報酬値が、そうでない基地局３００についての報酬値よりも大きい値となるように設定される。例えば、図１を参照して説明した上述の例、すなわち移動経路ＭＰ中の区間＃２ではローカル５Ｇ（または無線ＬＡＮ）による通信を行うことが望まれる場合の例において、ローカル５Ｇ（または無線ＬＡＮ）に対応する基地局３００Ｂを区間＃２において選択することに関する報酬値は、パブリック５Ｇに対応する基地局３００Ａを区間＃２において選択することに関する報酬値（例えば“１”）よりも大きな値（例えば“２”）に設定される。このような報酬値の設定は、移動体装置２００をその位置（移動経路ＭＰ上の位置）に応じて複数の基地局３００のうちのどの基地局に接続させたいあるいは接続させるべきであるかという適宜の設計指針を考慮して、事前に設定しておくことができる。

【0026】

図３は、移動体位置管理部１１０が移動体装置２００の位置を管理し報酬管理部１２０が学習用の報酬値を管理するために移動体位置管理部１１０および報酬管理部１２０によって参照される管理テーブルの一例である。この例において、位置Ｐ_ｉ１～Ｐ_ｉ２は図１に例示された移動経路ＭＰ上の区間＃１内の各位置を表し、位置Ｐ_ｉ３～Ｐ_ｉ４は移動経路ＭＰ上の区間＃２内の各位置を表し、位置Ｐ_ｉ５～Ｐ_ｉ６は移動経路ＭＰ上の区間＃３内の各位置を表す。つまり、この管理テーブルは、移動体装置２００が移動経路ＭＰ上を位置Ｐ_ｉ１、…、Ｐ_ｉ２、…、Ｐ_ｉ３、…、Ｐ_ｉ４、…、Ｐ_ｉ５、…、Ｐ_ｉ６の順に移動することを設定するものである。

【0027】

また、この管理テーブルの例において、移動経路ＭＰ上の区間＃１および区間＃３では、移動体装置２００は基地局３００Ａとの通信のみが可能であることから、基地局３００Ａに対する報酬値が“１”、基地局３００Ｂに対する報酬値が“０”にそれぞれ設定されている。一方、基地局３００Ａおよび３００Ｂの両方との通信が可能な移動経路ＭＰ上の区間＃２では、基地局３００Ａに対する報酬値が“１”、基地局３００Ｂに対する報酬値が“２”にそれぞれ設定されている。すなわち、移動経路ＭＰ上の区間＃２では、基地局３００Ｂ（例えばローカル５Ｇ）に対して基地局３００Ａ（例えばパブリック５Ｇ）よりも高い報酬値が設定されている。したがって、このような報酬値が設定された管理テーブルを用いて基地局３００の選択に関する学習を行うことによって、複数の基地局３００の中から移動体装置２００が接続すべき適切な１つの基地局３００を決定することが可能となる。

【0028】

図４は、移動体装置２００の状態の遷移を示す模式図である。この状態遷移図は、例えば学習装置１００の学習モデル生成部１３０によって管理（保持）され、学習モデル１４０の生成に使用される。移動体装置２００の状態は、状態ｓ_１から状態ｓ_２へ、状態ｓ_２から状態ｓ_３へ、…、状態ｓ_ｔから状態ｓ_ｔ＋１へと遷移する。本実施形態において、移動体装置２００の「状態」は、通信エリアにおける移動体装置２００の位置である。例えば、移動体装置２００の状態は、図３に例示された管理テーブルに設定されている位置（Ｐ_ｉ１等）に従って、順次遷移する。各状態（すなわち各位置）において、移動体装置２００は、Ｎ個の行動ａ_１、ａ_２、…、ａ_Ｎをとり得る。例えば、移動体装置２００は、状態ｓ_ｔ－１において行動ａ_２を行って新たな状態ｓ_ｔへと遷移し、次いで状態ｓ_ｔにおいて行動ａ_１を行ってさらに新たな状態ｓ_ｔ＋１へと遷移することができる。移動体装置２００がとり得る各「行動」は、複数の基地局３００のうちの１つの基地局３００を接続先候補として指定することを含む。例えば、移動体装置２００の行動ａ_１は、パブリック５Ｇに対応する基地局３００Ａを接続先候補に指定することであってよく、移動体装置２００の行動ａ_２は、ローカル５Ｇ（または無線ＬＡＮ）に対応する基地局３００Ｂを接続先候補に指定することであってよい。なお、とり得る行動の数Ｎは、移動体装置２００が通信エリア内で通信可能な基地局３００の総数と等しい（例えば、図１の例ではＮ＝２である）。

【0029】

図２に戻り、学習装置１００の学習モデル生成部１３０は、移動体装置２００の状態（位置）と、複数の基地局３００の各々に対する報酬値とに基づく強化学習により、移動体装置２００が実際に通信する接続先の基地局３００を決定するための学習モデル１４０を生成するように構成される。例えば、学習モデル１４０として、図５に示されるように、移動体装置２００の状態ｓ_ｔを入力層に入力し、状態ｓ_ｔにおいて移動体装置２００がとることが可能な全ての行動（複数の基地局３００から１つの基地局３００の選択）ａ_ｔのそれぞれについての行動価値Ｑ（ｓ_ｔ，ａ_ｔ）を出力層の各ノードから出力するように構成された、ＤＱＮ（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ）に基づくニューラルネットワークを採用することができる。また、学習モデル１４０は、図６に示されるように、図５と同様の構成の２つのニューラルネットワーク（メインネットワークとターゲットネットワーク）を用いたＦｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋに基づくものであってもよい。図５のＤＱＮおよび図６のＦｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋにおいて、出力層から出力される行動価値Ｑ（ｓ_ｔ，ａ_ｔ）と報酬管理部１２０により与えられる報酬値とを用いてニューラルネットワークのパラメータ（重みおよび閾値）を更新することで、学習モデル１４０の訓練が行われる（すなわち学習モデル１４０が生成される）。

【0030】

なお、ＤＱＮおよびＦｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋにおけるニューラルネットワークの学習方法としては、周知の方法を適用することができる。よって本明細書では、学習の具体的手順については説明を省略する。

【0031】

なお、上記説明では、図１に示されるように通信エリアには１つの移動経路ＭＰのみが設定されているものとしたが、移動経路は図７に示されるように複数設定されるのであってもよく、移動体装置２００がこれら各移動経路上を移動するそれぞれの場合について、ニューラルネットワークの学習を行ってもよい。

【0032】

図８は、本発明の一実施形態に係る移動体装置２００の機能的構成を示すブロック図である。移動体装置２００は、位置取得部２１０と、基地局選択部２２０と、学習モデル２３０と、通信部２４０とを少なくとも備える。なお、移動体装置２００は、その他の機能に関わる機能部（例えば移動のためのエンジンやモータ等の駆動部）を備えてもよいが、ここではそれらについての説明は省略する。

【0033】

移動体装置２００の位置取得部２１０は、通信エリアを移動中の移動体装置２００の現在位置を取得するように構成される。例えば、位置取得部２１０は、ＧＰＳ信号を受信し、受信したＧＰＳ信号から移動体装置２００の現在のＧＰＳ位置情報を取得するように構成されるのであってよい。

【0034】

移動体装置２００の基地局選択部２２０は、学習モデル２３０を用いて、移動体装置２００の現在位置に基づいて通信エリアにおける複数の基地局３００の中から１つの基地局３００を選択するように構成される。移動体装置２００には、学習装置１００によって生成された（すなわち訓練済みの）学習モデル１４０が、学習モデル２３０として搭載される。学習モデル２３０の入力層には移動体装置２００の現在位置が入力され、学習モデル２３０は、移動体装置２００が複数の基地局３００の各々をそれぞれ接続先に選択した場合の各行動価値Ｑ（ｓ_ｔ，ａ_ｔ）を、出力層の各ノードから出力する。基地局選択部２２０は、学習モデル２３０の出力層から出力される行動価値Ｑ（ｓ_ｔ，ａ_ｔ）のうち最大の行動価値に対応する基地局３００を、移動体装置２００が実際に接続するべき基地局として選択する。

【0035】

移動体装置２００の通信部２４０は、このように基地局選択部２２０によって選択された基地局３００と通信する。これにより、移動体装置２００は、その現在位置に応じた適切な基地局３００と通信することができる。

【0036】

以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。

【符号の説明】

【0037】

１０ システム
１００ 学習装置
１１０ 移動体位置管理部
１２０ 報酬管理部
１３０ 学習モデル生成部
１４０ 学習モデル
２００ 移動体装置
２１０ 位置取得部
２２０ 基地局選択部
２３０ 学習モデル
２４０ 通信部
３００Ａ、Ｂ 基地局
ＣＡ１ 第１通信エリア
ＣＡ２ 第２通信エリア
ＭＰ 移動経路

【要約】

【課題】複数の基地局の中から移動体装置が接続すべき適切な１つの基地局を決定する。
【解決手段】通信方式が異なる複数の基地局と接続することが可能な通信エリアにおいて移動体装置が接続すべき基地局の選択を学習する学習装置が提供される。学習装置は、前記移動体装置の前記通信エリアにおける位置を管理する移動体位置管理部と、前記移動体装置の前記通信エリアにおける前記位置ごとに、前記複数の基地局の各々に対して、強化学習における報酬値を管理する報酬管理部であって、前記報酬値は、当該位置において当該基地局を接続先として選択することに対する報酬を表す、報酬管理部と、前記移動体装置の前記位置と前記報酬値とに基づく強化学習により、前記移動体装置が接続すべき基地局を選択するための学習モデルを生成する学習モデル生成部と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】