ホーム > 特許ランキング > 日本電信電話株式会社
▶ 日本電信電話株式会社の特許一覧 ▶ 大学共同利用機関法人情報・システム研究機構の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023009997
(43)【公開日】2023-01-20
(54)【発明の名称】無線通信方法、無線端末および無線端末用プログラム
(51)【国際特許分類】
H04W 28/06 20090101AFI20230113BHJP
H04W 72/0457 20230101ALI20230113BHJP
H04W 16/32 20090101ALI20230113BHJP
H04W 24/02 20090101ALI20230113BHJP
H04W 48/16 20090101ALI20230113BHJP
H04B 7/022 20170101ALI20230113BHJP
【ＦＩ】
H04W28/06 130
H04W72/04 111
H04W16/32
H04W24/02
H04W48/16 132
H04B7/022
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021113733
(22)【出願日】2021-07-08
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(71)【出願人】
【識別番号】504202472
【氏名又は名称】大学共同利用機関法人情報・システム研究機構
(74)【代理人】
【識別番号】110003199
【氏名又は名称】弁理士法人高田・高橋国際特許事務所
(72)【発明者】
【氏名】若尾 佳佑
(72)【発明者】
【氏名】河村 憲一
(72)【発明者】
【氏名】守山 貴庸
(72)【発明者】
【氏名】金子 めぐみ
(72)【発明者】
【氏名】ティハーリー ディン
【テーマコード（参考）】
5K067
【Ｆターム（参考）】
5K067AA13
5K067AA23
5K067BB04
5K067BB21
5K067DD11
5K067DD17
5K067DD43
5K067DD45
5K067EE02
5K067EE10
5K067EE24
5K067EE56
5K067FF16
5K067HH22
5K067JJ12
5K067JJ13
5K067JJ37
(57)【要約】
【課題】この開示は、複数の無線端末と複数の無線基地局等とを含むネットワークにおいて高い通信効率を得ることを目的とする。
【解決手段】複数の無線基地局と無線端末との接続の状態Ｓｋ(t)を、ＤＬとＵＬとを区別して検知する（ステップ１００）。状態Ｓｋ(t)の下で無線端末が採り得る行動ａｋ(t)夫々の価値をＤＱＮに出力させる（ステップ１０８）。行動ａｋ(t)の夫々は、何れの無線基地局に接続を要求するかをＤＬとＵＬとを区別して定める。採用する行動ａｋ(t)を無線基地局に要求する（ステップ１１２）。要求に対する応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する（ステップ１１６、１１８）。報酬に基づいて行動ａｋ(t)の価値を更新し、更新後の価値に基づいてＤＱＮのパラメータを学習する（ステップ１２２）。
【選択図】図１０
【解決手段】複数の無線基地局と無線端末との接続の状態Ｓｋ(t)を、ＤＬとＵＬとを区別して検知する（ステップ１００）。状態Ｓｋ(t)の下で無線端末が採り得る行動ａｋ(t)夫々の価値をＤＱＮに出力させる（ステップ１０８）。行動ａｋ(t)の夫々は、何れの無線基地局に接続を要求するかをＤＬとＵＬとを区別して定める。採用する行動ａｋ(t)を無線基地局に要求する（ステップ１１２）。要求に対する応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する（ステップ１１６、１１８）。報酬に基づいて行動ａｋ(t)の価値を更新し、更新後の価値に基づいてＤＱＮのパラメータを学習する（ステップ１２２）。
【選択図】図１０
【特許請求の範囲】
【請求項1】
複数の無線基地局と無線端末との接続の組合せを決める無線通信方法であって、
前記複数の無線基地局と前記無線端末との接続の状態を、ＤＬの通信とＵＬの通信とを区別して検知するステップと、
前記状態を価値関数に入力するステップと、
前記状態の下で前記無線端末が採り得る行動の夫々の価値を前記価値関数が出力し、当該行動の夫々は、何れの無線基地局に接続を要求するかをＤＬの通信とＵＬの通信とを区別して定めたものであるステップと、
採用する行動に対応する要求を無線基地局に伝達するステップと、
前記要求に対する応答を前記無線基地局から取得するステップと、
前記応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する報酬算出ステップと、
前記報酬に基づいて、前記状態の下で前記行動を採用することについての価値を更新するステップと、
更新後の前記価値に基づいて、前記価値関数のパラメータを学習するステップと、
を含む無線通信方法。
前記複数の無線基地局と前記無線端末との接続の状態を、ＤＬの通信とＵＬの通信とを区別して検知するステップと、
前記状態を価値関数に入力するステップと、
前記状態の下で前記無線端末が採り得る行動の夫々の価値を前記価値関数が出力し、当該行動の夫々は、何れの無線基地局に接続を要求するかをＤＬの通信とＵＬの通信とを区別して定めたものであるステップと、
採用する行動に対応する要求を無線基地局に伝達するステップと、
前記要求に対する応答を前記無線基地局から取得するステップと、
前記応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する報酬算出ステップと、
前記報酬に基づいて、前記状態の下で前記行動を採用することについての価値を更新するステップと、
更新後の前記価値に基づいて、前記価値関数のパラメータを学習するステップと、
を含む無線通信方法。
【請求項2】
前記複数の無線基地局の少なくとも一部は、互いに仕様の異なる複数の無線通信用のインターフェースを有し、
前記無線端末は、前記複数の無線通信用のインターフェースを有し、
前記状態は、前記無線端末が、どの無線基地局と、どのインターフェースで、ＤＬとＵＬの何れで接続しているかの情報を含み、
前記行動は、前記無線端末のどのインターフェースを、どの無線基地局に、ＤＬとＵＬの何れで接続させるかの情報を含む請求項１に記載の無線通信方法。
前記無線端末は、前記複数の無線通信用のインターフェースを有し、
前記状態は、前記無線端末が、どの無線基地局と、どのインターフェースで、ＤＬとＵＬの何れで接続しているかの情報を含み、
前記行動は、前記無線端末のどのインターフェースを、どの無線基地局に、ＤＬとＵＬの何れで接続させるかの情報を含む請求項１に記載の無線通信方法。
【請求項3】
前記報酬算出ステップは、
前記無線端末が要求するＤＬの通信に関するSINRを算出するステップと、
ＤＬに関する前記SINRに基づいて、ＤＬの通信で得られた伝送レートを算出するステップと、
前記無線端末が要求するＵＬの通信におけるSINRを算出するステップと、
ＵＬに関する前記SINRに基づいて、ＵＬの通信で得られた伝送レートを算出するステップと、
ＤＬに関する前記伝送レートと、ＵＬに関する前記伝送レートとに基づて前記報酬を算出するステップと、
を含む請求項１または２に記載の無線通信方法。
前記無線端末が要求するＤＬの通信に関するSINRを算出するステップと、
ＤＬに関する前記SINRに基づいて、ＤＬの通信で得られた伝送レートを算出するステップと、
前記無線端末が要求するＵＬの通信におけるSINRを算出するステップと、
ＵＬに関する前記SINRに基づいて、ＵＬの通信で得られた伝送レートを算出するステップと、
ＤＬに関する前記伝送レートと、ＵＬに関する前記伝送レートとに基づて前記報酬を算出するステップと、
を含む請求項１または２に記載の無線通信方法。
【請求項4】
前記価値関数は、Deep Q-NetworkまたはDouble Deep Q-Networkである請求項１乃至３の何れか１項に記載の無線通信方法。
【請求項5】
複数の無線基地局と接続する機能を有する無線端末であって、
ＣＰＵとを備え、
前記ＣＰＵが、
前記複数の無線基地局と前記無線端末との接続の状態を、ＤＬの通信とＵＬの通信とを区別して検知する処理と、
前記状態を価値関数に入力する処理と、
前記状態の下で前記無線端末が採り得る行動の夫々の価値を前記価値関数を用いて算出し、当該行動の夫々は、何れの無線基地局に接続を要求するかをＤＬの通信とＵＬの通信とを区別して定めたものである処理と、
採用する行動に対応する要求を無線基地局に伝達する処理と、
前記要求に対する応答を無線基地局から取得する処理と、
前記応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する報酬算出処理と、
前記報酬に基づいて、前記状態の下で前記行動を採用することについての価値を更新する処理と、
更新後の前記価値に基づいて、前記価値関数のパラメータを学習する処理と、
を実行する無線端末。
ＣＰＵとを備え、
前記ＣＰＵが、
前記複数の無線基地局と前記無線端末との接続の状態を、ＤＬの通信とＵＬの通信とを区別して検知する処理と、
前記状態を価値関数に入力する処理と、
前記状態の下で前記無線端末が採り得る行動の夫々の価値を前記価値関数を用いて算出し、当該行動の夫々は、何れの無線基地局に接続を要求するかをＤＬの通信とＵＬの通信とを区別して定めたものである処理と、
採用する行動に対応する要求を無線基地局に伝達する処理と、
前記要求に対する応答を無線基地局から取得する処理と、
前記応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する報酬算出処理と、
前記報酬に基づいて、前記状態の下で前記行動を採用することについての価値を更新する処理と、
更新後の前記価値に基づいて、前記価値関数のパラメータを学習する処理と、
を実行する無線端末。
【請求項6】
前記複数の無線基地局の少なくとも一部は、互いに仕様の異なる複数の無線通信用のインターフェースを有し、
前記無線端末は、前記複数の無線通信用のインターフェースを有し、
前記状態は、前記無線端末が、どの無線基地局と、どのインターフェースで、ＤＬとＵＬの何れで接続しているかの情報を含み、
前記行動は、前記無線端末のどのインターフェースを、どの無線基地局に、ＤＬとＵＬの何れで接続させるかの情報を含む請求項５に記載の無線端末。
前記無線端末は、前記複数の無線通信用のインターフェースを有し、
前記状態は、前記無線端末が、どの無線基地局と、どのインターフェースで、ＤＬとＵＬの何れで接続しているかの情報を含み、
前記行動は、前記無線端末のどのインターフェースを、どの無線基地局に、ＤＬとＵＬの何れで接続させるかの情報を含む請求項５に記載の無線端末。
【請求項7】
前記報酬算出処理は、
前記無線端末が要求するＤＬの通信に関するSINRを算出する処理と、
ＤＬに関する前記SINRに基づいて、ＤＬの通信で得られた伝送レートを算出する処理と、
前記無線端末が要求するＵＬの通信に関するSINRを算出する処理と、
ＵＬに関する前記SINRに基づいて、ＵＬの通信で得られた伝送レートを算出する処理と、
ＤＬに関する前記伝送レートと、ＵＬに関する前記伝送レートとに基づいて前記報酬を算出する処理と、
を含む請求項５または６に記載の無線端末。
前記無線端末が要求するＤＬの通信に関するSINRを算出する処理と、
ＤＬに関する前記SINRに基づいて、ＤＬの通信で得られた伝送レートを算出する処理と、
前記無線端末が要求するＵＬの通信に関するSINRを算出する処理と、
ＵＬに関する前記SINRに基づいて、ＵＬの通信で得られた伝送レートを算出する処理と、
ＤＬに関する前記伝送レートと、ＵＬに関する前記伝送レートとに基づいて前記報酬を算出する処理と、
を含む請求項５または６に記載の無線端末。
【請求項8】
複数の無線基地局と接続する機能を実現するための無線端末用プログラムであって、
無線端末が備えるＣＰＵに、
前記複数の無線基地局と前記無線端末との接続の状態を、ＤＬの通信とＵＬの通信とを区別して検知する処理と、
前記状態を価値関数に入力する処理と、
前記状態の下で前記無線端末が採り得る行動の夫々の価値を前記価値関数を用いて算出し、当該行動の夫々は、何れの無線基地局に接続を要求するかをＤＬの通信とＵＬの通信とを区別して定めたものである処理と、
採用する行動に対応する要求を無線基地局に伝達する処理と、
前記要求に対する応答を無線基地局から取得する処理と、
前記応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する報酬算出処理と、
前記報酬に基づいて、前記状態の下で前記行動を採用することについての価値を更新する処理と、
更新後の前記価値に基づいて、前記価値関数のパラメータを学習する処理と、
を実行させるプログラムを含む無線端末用プログラム。
無線端末が備えるＣＰＵに、
前記複数の無線基地局と前記無線端末との接続の状態を、ＤＬの通信とＵＬの通信とを区別して検知する処理と、
前記状態を価値関数に入力する処理と、
前記状態の下で前記無線端末が採り得る行動の夫々の価値を前記価値関数を用いて算出し、当該行動の夫々は、何れの無線基地局に接続を要求するかをＤＬの通信とＵＬの通信とを区別して定めたものである処理と、
採用する行動に対応する要求を無線基地局に伝達する処理と、
前記要求に対する応答を無線基地局から取得する処理と、
前記応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する報酬算出処理と、
前記報酬に基づいて、前記状態の下で前記行動を採用することについての価値を更新する処理と、
更新後の前記価値に基づいて、前記価値関数のパラメータを学習する処理と、
を実行させるプログラムを含む無線端末用プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、無線通信方法、無線端末および無線端末用プログラムに係り、特に、複数の無線端末と複数の無線基地局等とを含むネットワークにおいて、高い通信効率を得る上で好適な無線通信方法、無線端末および無線端末用プログラムに関する。
【背景技術】
【0002】
無線通信システムの発展に伴い、マルチバンド・マルチアクセスのシステムによるヘテロジニアスなネットワークが実用化の段階に至っている。セルラー通信では、第５世代移動通信（５Ｇ）が実用化されている。５Ｇの通信システムでは、１ＧＨｚ以下の帯域からミリ波帯まで幅広い周波数が利用される。また、スモールセルからマクロセルまで、様々なサイズのセルが重畳するように提供される環境が整備されつつある。
【0003】
もう一つの代表的な無線アクセスシステムである無線ＬＡＮでは、２．４／５／６０ＧＨｚ帯の無線周波数が利用されており、更に、６ＧＨｚ帯の利用も検討されている。スマートフォンなどの無線端末には、セルラーおよび無線ＬＡＮの双方にアクセスするためのインターフェース（ＩＦ）が一般的に与えられている。また、それぞれのＩＦは複数の周波数帯に対応するように構成されている。
【0004】
無線端末は、複数の周波数帯およびアクセス方式から、接続する無線基地局或いはアクセスポイント（ＡＰ）を選択して、通信を確立することが一般的となっている。デュアルコネクティビティ等の機能により、１台の無線端末が複数の無線基地局を統合して利用することも行われる。このようなヘテロジニアス環境においては、無線端末がどのＩＦを用いてどの基地局を選択するかを、システム全体で制御し最適化することが、システムリソースを有効に利用するうえで重要である。
【0005】
ヘテロジニアスな環境において、システムリソースを有効に利用する技術に関して、例えば下記非特許文献１や非特許文献２は、無線端末とＡＰとの接続を、強化学習により最適化する手法を開示している。より具体的には、非特許文献２は、Deep Q-Learning、或いはDouble Deep Q-Learningの手法を用いて、複数のＩＦを用いる無線端末と複数のＡＰとの接続を最適化する技術を開示している。
【0006】
また、下記非特許文献３は高次元の入力を強化学習で取り扱う手法であるDeep Q-Network（ＤＱＮ）についての開示を、また、下記非特許文献４はDouble Deep Q-Network（ＤＤＱＮ）についての開示を夫々提供している。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】“Reinforcement Learning-aided Distributed User-to-Access Points Association in Interfering Networks”, Thi Ha Ly Dinh, Megumi Kaneko, Keisuke Wakao, Hirantha Abeysekera, Yasushi Takatori, IEEE Globecom, Waikoloa, Hawaii, USA, Dec. 2019
【非特許文献2】“Deep Reinforcement Learning-based User Association in Sub6GHz/mmWave Integrated Networks”, Thi Ha Ly Dinh, Megumi Kaneko, Keisuke Wakao, Kenichi Kawamura, Takatsune Moriyama, Hirantha Abeysekera and Yasushi Takatori, in IEEE CCNC, Jan. 2021
【非特許文献3】“Human-level control through deep reinforcement learning,”Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves,Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou,Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg & Demis Hassabis, Nature. 2015 Feb 26; Vol.518(7540): P529-533. doi: 10.1038/nature14236
【非特許文献4】“Deep Reinforcement Learning with Double Q-Learning,” H. Van Hasselt, A. Guez, and D. Silver, in Thirtieth AAAI conference on artificial intelligence, 2016
【発明の概要】
【発明が解決しようとする課題】
【0008】
上述した非特許文献１は、下記の手順でＤＱＮを更新する手法を開示している。
１．無線端末が、どの無線基地局に接続を求めるかが「行動ａｋ(t)」となる。
２．無線端末がある行動ａｋ(t)を選択した場合、その結果として、無線基地局からどの程度の伝送データレートを獲得できたか、に基づいて報酬Γｋ(t)が計算される。
３．ＤＱＮは、ある状態Ｓｋ(t)の下で取り得る行動ａｋ(t)の夫々について、採用の価値を算出するために用いられる。
４．ある状態Ｓｋ(t)の下である行動ａｋ(t)が選択され、その結果報酬Γｋ(t)が得られた場合に、そのΓｋ(t)に基づいて、その状態Ｓｋ(t)の下でその行動ａｋ(t)を選択することについての「価値」が更新される。
５．同じ（Ｓｋ(t)、ａｋ(t)）の組み合わせに対して、ＤＱＮが算出する「価値」が更新後の値となるように、ＤＱＮを特徴付けるパラメータθが更新される。
１．無線端末が、どの無線基地局に接続を求めるかが「行動ａｋ(t)」となる。
２．無線端末がある行動ａｋ(t)を選択した場合、その結果として、無線基地局からどの程度の伝送データレートを獲得できたか、に基づいて報酬Γｋ(t)が計算される。
３．ＤＱＮは、ある状態Ｓｋ(t)の下で取り得る行動ａｋ(t)の夫々について、採用の価値を算出するために用いられる。
４．ある状態Ｓｋ(t)の下である行動ａｋ(t)が選択され、その結果報酬Γｋ(t)が得られた場合に、そのΓｋ(t)に基づいて、その状態Ｓｋ(t)の下でその行動ａｋ(t)を選択することについての「価値」が更新される。
５．同じ（Ｓｋ(t)、ａｋ(t)）の組み合わせに対して、ＤＱＮが算出する「価値」が更新後の値となるように、ＤＱＮを特徴付けるパラメータθが更新される。
【0009】
このような学習の手法によれば、複数の無線基地局が複数の無線端末に提供する伝送レートが最適化されるように、両者の接続が決定できる。このため、上記の学習手法は、無線通信システムのリソースを有効に活用するうえで有用である。
【0010】
しかしながら、無線基地局と無線端末との間では、前者から後者に向かうダウンリンク（ＤＬ）の通信の他に、後者から前者に向かうアップリング（ＵＬ）の通信も行われる。上述した非特許文献１または２に記載の技術を含めて、従来の学習手法では、一般にＤＬの通信だけを考慮して接続の最適化が図られる。そして、上記の学習手法のようにＤＬの通信だけを考慮して最適化を図る技術では、ＤＬとＵＬの双方を最適化することができないことがある。
【0011】
本開示は、上記の課題に着目してなされたものであり、複数の無線端末と複数の基地局等とを含むネットワークにおいて、ＤＬとＵＬの双方を最適化することのできる無線通信方法、無線端末および無線端末用プログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
本開示の第１の態様は、上記の目的を達成するため、複数の無線基地局と無線端末との接続の組合せを決める無線通信方法であって、
前記複数の無線基地局と前記無線端末との接続の状態を、ＤＬの通信とＵＬの通信とを区別して検知するステップと、
前記状態を価値関数に入力するステップと、
前記状態の下で前記無線端末が採り得る行動の夫々の価値を前記価値関数が出力し、当該行動の夫々は、何れの無線基地局に接続を要求するかをＤＬの通信とＵＬの通信とを区別して定めたものであるステップと、
採用する行動に対応する要求を無線基地局に伝達するステップと、
前記要求に対する応答を前記無線基地局から取得するステップと、
前記応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する報酬算出ステップと、
前記報酬に基づいて、前記状態の下で前記行動を採用することについての価値を更新するステップと、
更新後の前記価値に基づいて、前記価値関数のパラメータを学習するステップと、
を含むことが望ましい。
前記複数の無線基地局と前記無線端末との接続の状態を、ＤＬの通信とＵＬの通信とを区別して検知するステップと、
前記状態を価値関数に入力するステップと、
前記状態の下で前記無線端末が採り得る行動の夫々の価値を前記価値関数が出力し、当該行動の夫々は、何れの無線基地局に接続を要求するかをＤＬの通信とＵＬの通信とを区別して定めたものであるステップと、
採用する行動に対応する要求を無線基地局に伝達するステップと、
前記要求に対する応答を前記無線基地局から取得するステップと、
前記応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する報酬算出ステップと、
前記報酬に基づいて、前記状態の下で前記行動を採用することについての価値を更新するステップと、
更新後の前記価値に基づいて、前記価値関数のパラメータを学習するステップと、
を含むことが望ましい。
【0013】
また、本開示の第２の態様は、複数の無線基地局と接続する機能を有する無線端末であって、
ＣＰＵを備え、
前記ＣＰＵが、
前記複数の無線基地局と前記無線端末との接続の状態を、ＤＬの通信とＵＬの通信とを区別して検知する処理と、
前記状態を価値関数に入力する処理と、
前記状態の下で前記無線端末が採り得る行動の夫々の価値を前記価値関数を用いて算出し、当該行動の夫々は、何れの無線基地局に接続を要求するかをＤＬの通信とＵＬの通信とを区別して定めたものである処理と、
採用する行動に対応する要求を無線基地局に伝達する処理と、
前記要求に対する応答を無線基地局から取得する処理と、
前記応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する報酬算出処理と、
前記報酬に基づいて、前記状態の下で前記行動を採用することについての価値を更新する処理と、
更新後の前記価値に基づいて、前記価値関数のパラメータを学習する処理と、
を実行することが望ましい。
ＣＰＵを備え、
前記ＣＰＵが、
前記複数の無線基地局と前記無線端末との接続の状態を、ＤＬの通信とＵＬの通信とを区別して検知する処理と、
前記状態を価値関数に入力する処理と、
前記状態の下で前記無線端末が採り得る行動の夫々の価値を前記価値関数を用いて算出し、当該行動の夫々は、何れの無線基地局に接続を要求するかをＤＬの通信とＵＬの通信とを区別して定めたものである処理と、
採用する行動に対応する要求を無線基地局に伝達する処理と、
前記要求に対する応答を無線基地局から取得する処理と、
前記応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する報酬算出処理と、
前記報酬に基づいて、前記状態の下で前記行動を採用することについての価値を更新する処理と、
更新後の前記価値に基づいて、前記価値関数のパラメータを学習する処理と、
を実行することが望ましい。
【0014】
また、本開示の第３の態様は、複数の無線基地局と接続する機能を実現するための無線端末用プログラムであって、
無線端末が備えるＣＰＵに、
前記複数の無線基地局と前記無線端末との接続の状態を、ＤＬの通信とＵＬの通信とを区別して検知する処理と、
前記状態を価値関数に入力する処理と、
前記状態の下で前記無線端末が採り得る行動の夫々の価値を前記価値関数を用いて算出し、当該行動の夫々は、何れの無線基地局に接続を要求するかをＤＬの通信とＵＬの通信とを区別して定めたものである処理と、
採用する行動に対応する要求を無線基地局に伝達する処理と、
前記要求に対する応答を無線基地局から取得する処理と、
前記応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する報酬算出処理と、
前記報酬に基づいて、前記状態の下で前記行動を採用することについての価値を更新する処理と、
更新後の前記価値に基づいて、前記価値関数のパラメータを学習する処理と、
を実行させるプログラムを含むことが望ましい。
無線端末が備えるＣＰＵに、
前記複数の無線基地局と前記無線端末との接続の状態を、ＤＬの通信とＵＬの通信とを区別して検知する処理と、
前記状態を価値関数に入力する処理と、
前記状態の下で前記無線端末が採り得る行動の夫々の価値を前記価値関数を用いて算出し、当該行動の夫々は、何れの無線基地局に接続を要求するかをＤＬの通信とＵＬの通信とを区別して定めたものである処理と、
採用する行動に対応する要求を無線基地局に伝達する処理と、
前記要求に対する応答を無線基地局から取得する処理と、
前記応答に基づいて、ＤＬに関わる評価とＵＬに関わる評価とが共に反映された報酬を算出する報酬算出処理と、
前記報酬に基づいて、前記状態の下で前記行動を採用することについての価値を更新する処理と、
更新後の前記価値に基づいて、前記価値関数のパラメータを学習する処理と、
を実行させるプログラムを含むことが望ましい。
【発明の効果】
【0015】
本開示によれば、無線端末が、ある状態の下で選択した行動に対する報酬に、ＤＬに関する評価とＵＬに関する評価の双方が反映される。そして、ある状態の下での最適な行動を示す評価関数のパラメータが、その報酬に基づいて学習される。このような学習によれば、ＤＬとＵＬの双方が総合的に最適化されるように価値関数を収束させることができる。このため、本開示によれば、ＤＬとＵＬとが混在するヘテロジニアスな環境下で、双方向の通信を総合的に最適化することができる。
【図面の簡単な説明】
【0016】
【図1】本開示の実施の形態１の無線通信システムの全体構成を説明するための図である。
【図2】本開示の実施の形態１における無線端末と無線基地局との接続状態の一例を説明するための図である。
【図3】本開示の実施の形態１におけるヘテロジニアスな環境下で、sub6GHz帯およびミリ波帯の全てがダウンリンクの通信に用いられている様子を示す図である。
【図5】本開示の実施の形態１で用いられる無線基地局の機能的な構成を説明するためのブロック図である。
【図6】本開示の実施の形態１で用いられる無線端末の機能的な構成を説明するためのブロック図である。
【図7】本開示の実施の形態１で用いられる無線端末のハードウェア構成を説明するための図である。
【図8】本開示の実施の形態１で用いられるＤＱＮの概要を説明するための図である。
【図9】本開示の実施の形態１で用いられるＤＱＮの更新に関わる処理の内容を説明するための図である。
【図10】本開示の実施の形態１における無線端末が、最適な接続状態を実現するために実行する処理の流れを説明するためのフローチャートである。
【発明を実施するための形態】
【0017】
実施の形態１．
［実施の形態１の全体構成］
図１は、本開示の実施の形態１の無線通信システム１０の全体構成を説明するための図である。図１に示すように、無線通信システム１０は、有線通信のネットワーク１２を含んでいる。ネットワーク１２には、スイッチ１４を介して複数の無線基地局１６が接続されている。無線基地局１６は、ネットワーク１２を介して、また無線の経路を介して、他の無線基地局１６と通信することができる。
［実施の形態１の全体構成］
図１は、本開示の実施の形態１の無線通信システム１０の全体構成を説明するための図である。図１に示すように、無線通信システム１０は、有線通信のネットワーク１２を含んでいる。ネットワーク１２には、スイッチ１４を介して複数の無線基地局１６が接続されている。無線基地局１６は、ネットワーク１２を介して、また無線の経路を介して、他の無線基地局１６と通信することができる。
【0018】
図１に示す無線通信システム１０は、複数の無線端末１８を含んでいる。本実施形態において、無線端末１８は、スマートフォン、或いはタブレット端末のようなモバイル端末を含んでいるものとする。
【0019】
無線端末１８は、夫々、無線通信用のアプリケーションとＩＦを、複数組み備えている。例えば、無線端末１８は、６ＧＨｚ以下の帯域（以下、「sub6GHz」とする）での通信に用いるアプリケーション並びにＩＦ、ミリ波の帯域（以下、「mmWave」とする）での通信に用いるアプリケーション並びにＩＦを備えている。更には、無線ＬＡＮで用いられる２．４／５／６０ＧＨｚ帯での通信に用いるアプリケーション並びにＩＦが備わっていても良い。
【0020】
上述した無線基地局１６にも、それらに対応するＩＦ等が備わっている。そして、個々の無線端末１８は、上記のアプリケーションおよびＩＦを介して、単一または複数の無線基地局１６と無線で通信することができる。これにより、本実施形態の無線通信システム１０は、マルチバンド・マルチアクセスによるヘテロジニアスなネットワークとしての機能を実現する。
【0021】
また、本実施形態において、無線端末１８は、通信に用いる接続を、ダウンリンク（ＤＬ）およびアップリンク（ＵＬ）毎に管理する。より具体的には、無線端末１８は、複数のアプリケーションの夫々と、使用するＩＦ並びに帰属先の無線基地局１６との対応関係を、ＤＬとＵＬを区別して管理する。
【0022】
一方、無線基地局１６は、アプリケーション毎に、無線端末１８からのＤＬの接続要求およびＵＬの接続要求を判断し、その可否についての応答をフィードバックする。そして、無線端末１８は、受信した応答に基づいて、ＤＬで得られた結果、およびＵＬで得られた結果の全てを考慮して、今回要求した接続の組み合わせに対する報酬Γを計算する。
【0023】
尚、本実施形態の無線通信システム１０は、通信事業者が設置するセルラー通信用の無線基地局に加えて、無線ＬＡＮのアクセスポイント（ＡＰ）にも対応していてもよい。以下、便宜上「無線基地局１６」は両者を包括するものとして説明を進める。
【0024】
［実施の形態１の課題］
次に、図２乃至図１２を参照して、本実施形態における無線端末１８の特徴を説明する。以下の説明では、無線基地局１６および無線端末１８が、第一の周波数帯域での通信に対応するインターフェースＩＦ１と、第二の周波数帯域での通信に対応するインターフェースＩＦ２を備えていることとする。ＩＦ１は、例えば、sub6GHzに対応するインターフェースであり、ＩＦ２は、例えば、mmWaveに対応するインターフェースである。
次に、図２乃至図１２を参照して、本実施形態における無線端末１８の特徴を説明する。以下の説明では、無線基地局１６および無線端末１８が、第一の周波数帯域での通信に対応するインターフェースＩＦ１と、第二の周波数帯域での通信に対応するインターフェースＩＦ２を備えていることとする。ＩＦ１は、例えば、sub6GHzに対応するインターフェースであり、ＩＦ２は、例えば、mmWaveに対応するインターフェースである。
【0025】
また、以下の説明では、無線端末１８を複数の中の特定の一台として指し示す必要がある場合は、「無線端末１８ｋ」のように、ｋ等の文字を含む符号を用いる。更に、複数の無線基地局１６の夫々を区別して説明する必要がある場合は、１６－１、１６－２のように添え字を付した符号を用いることとする。
【0026】
図２は、無線端末１８ｋが、二台の無線基地局１６－１、１６－２に帰属している様子を示している。無線端末１８ｋおよび無線基地局１６は、上記の通り、異なる帯域に対応する二つのインターフェース、ＩＦ１およびＩＦ２を備えている。図２に示す例では、無線端末１８ｋが、ＩＦ１で第一の無線基地局１６－１に帰属し、ＩＦ２で第二の無線基地局１６－２に帰属する状態が形成されている。
【0027】
図３は、マルチバンド・マルチアクセスによるヘテロジニアスな環境下に、四台の無線基地局１６－１～１６－４と、三台の無線端末１８i、１８ｊ、１８ｋが存在する様子を示している。図２に示す場合と同様に、それらは何れも、sub6GHzに対応するＩＦ１と、mmWaveに対応するＩＦ２を備えている。
【0028】
sub6GHzの通信波は、障害物を回り込む性質が強く、広い範囲の通信エリアを確保するのに適している。図３において、無線基地局１６－１～１６－４の夫々を取り巻くように描かれている楕円のエリアは、無線基地局１６－１～１６－４の夫々が、sub6GHzに対応するＩＦ１を用いることで実現する通信エリアを示している。
【0029】
mmWaveの通信波は、直進性が強く、sub6GHzのように広いエリアをカバーするのには不適であるが、高速で大容量の通信を実現するのに適している。図３において、無線基地局１６－２と無線端末１８ｋとの間を含む三か所に、矢印を包含する楕円が描かれている。これらの楕円は、ビームフォーミングされた波形の向きと幅を表している。
【0030】
図３に示す例では、無線端末１８ｉ、１８ｊ、１８ｋの全てを、ＤＬの通信で無線基地局１６－１～１６－４に接続させることが想定されている。この想定によれば、無線端末１８ｉ、１８ｊ、１８ｋの夫々が、複数の無線基地局１６から受け取るデータの伝送レートが最大となるように接続先を決めることで、システム容量は最大化することができる。しかしながら、本実施形態の無線通信システム１０では、ＵＬの通信が用いられる場合がある。
【0031】
図４は、無線端末１８ｋのＩＦ２が、無線基地局１６－２とのＵＬの通信に用いられている様子を示している。図４に示すようにＤＬの通信とＵＬの通信とが混在する環境下では、ＤＬの通信だけを評価の対象とする最適化では、システム容量が最大化できない事態が生ずる。そこで、本実施形態では、ＤＬの通信とＵＬの通信とを区別して、その双方を評価の対象として接続の最適化を図ることとした。
【0032】
［無線基地局の構成］
図５は、無線基地局１６の一例を機能的に説明するためのブロック図である。無線基地局１６は、アンテナ部２０を備えている。アンテナ部２０は、無線基地局１６が、他の無線基地局１６並びに周囲の無線端末１８と無線信号を授受するために用いられる。
図５は、無線基地局１６の一例を機能的に説明するためのブロック図である。無線基地局１６は、アンテナ部２０を備えている。アンテナ部２０は、無線基地局１６が、他の無線基地局１６並びに周囲の無線端末１８と無線信号を授受するために用いられる。
【0033】
アンテナ部２０は、無線通信部２２に接続されている。無線通信部２２は、高周波の信号を処理するＲＦ（Radio Frequency）部２４と、無線通信におけるメディアアクセス制御の機能を備えたＭＡＣ（Media Access Control）機能部２６とを備えている。無線通信部２２は、複数の周波数帯域に対応する機能、具体的には、sub6GHzに対応するＩＦ１としての機能と、mmWaveに対応するＩＦ２としての機能を、共に実現することができる。
【0034】
本実施形態において、無線通信部２２が実現する複数のＩＦの夫々（ここではＩＦ１およびＩＦ２の夫々）には、ＤＬの通信およびＵＬの通信の双方が混在することがある。但し、後述する最適化の処理は、ＩＦの夫々が、ＤＬおよびＵＬの一方にだけ割り当てられるものとして実行される。また、この最適化の処理は、一台の無線端末１８に、ＤＬ用またはＵＬ用として、複数の無線基地局１６のＩＦが同時に割り当てられることはないものとして行われる。
【0035】
無線基地局１６は、品質測定部２８を備えている。品質測定部２８は、無線環境測定部３０とトラヒック測定部３２を備えている。無線環境測定部３０は、無線基地局１６を取り巻く無線通信の環境に関わる情報を取得する。トラヒック測定部３２は、無線基地局１６と無線端末１８との間のトラヒックに関わる情報を取得する。品質測定部２８は、それらの情報に基づいて、無線基地局１６と無線端末１８との間の通信品質の情報を算出する。通信品質情報には、例えば、無線端末１８からの受信電力、無線端末１８の要求データレート、現実の伝送レート、および無線基地局１６における帯域使用率等が含まれる。
【0036】
無線基地局１６は、通信ＩＦ部３４を備えている。通信ＩＦ部３４は、ネットワーク１２を経由する有線での通信に用いられる。無線基地局１６は、通信ＩＦ部３４を経由する有線通信により、或いは無線通信部２２およびアンテナ部２０を経由する無線通信により、他の無線基地局１６が取得した通信品質情報を取得することができる。他の無線基地局１６から取得した通信品質情報は、自らが取得した通信品質情報と共に、品質測定部２８において一元的に管理される。
【0037】
無線基地局１６は、情報通知部３６を備えている。情報通知部３６は、品質測定部２８に集約された通信品質情報を読み出すことができる。情報通知部３６は、読み出した通信品質情報を、通信ＩＦ部３４並びに無線通信部２２に提供することができる。これにより、無線基地局１６は、有線または無線の経路で、自らが保有する通信品質情報を他の無線基地局１６に提供することができる。
【0038】
無線基地局１６は、無線通信部２２およびアンテナ部２０を介して、周辺に位置する無線端末１８からＤＬに関する帰属要求、並びにＵＬに関する帰属要求を受け付ける。それらの帰属要求は、要求情報評価部３８で処理される。要求情報評価部３８は、無線端末１８が要求する帯域およびデータレート、更には自らの負荷状態等に基づいて帰属の可否を判断する。
【0039】
要求情報評価部３８による判断の結果は、要求応答通知部４０と、帰属情報記録部４２に送られる。要求応答通知部４０は、無線通信部２２およびアンテナ部２０を介して、帰属要求を発した無線端末１８に向けて、帰属の可否に関する判断結果をＤＬとＵＬの夫々について提供する。帰属情報記録部４２は、その判断の結果に基づいて、無線基地局１６に帰属している無線端末１８の情報をＤＬおよびＵＬ毎に更新して記録する。
【0040】
［無線端末の構成］
図６は、無線端末１８の一例を機能的に説明するためのブロック図である。無線端末１８は、アンテナ部４４および無線通信部４６を備えている。無線通信部４６は、ＲＦ部４８およびＭＡＣ機能部５０を備えている。これらの機能は、無線基地局１６が備える対応ブロックの機能と実質的に同じであるため、ここでは、その説明を省略する。
図６は、無線端末１８の一例を機能的に説明するためのブロック図である。無線端末１８は、アンテナ部４４および無線通信部４６を備えている。無線通信部４６は、ＲＦ部４８およびＭＡＣ機能部５０を備えている。これらの機能は、無線基地局１６が備える対応ブロックの機能と実質的に同じであるため、ここでは、その説明を省略する。
【0041】
本実施形態において、無線端末１８は、ＤＬ／ＵＬ管理部５２を備えている。ＤＬ／ＵＬ管理部５２は、無線端末１８におけるＤＬの通信に必要な処理と、ＵＬの通信に必要な処理とを実行する。
【0042】
無線端末１８は、制御情報算出部５４を備えている。制御情報算出部５４は、無線通信部４６およびアンテナ部４４を介して、帰属先の無線基地局１６から通信品質情報を取得する。制御情報算出部５４は、更に、取得した通信品質情報に基づいて、ＤＱＮまたはＤＤＱＮを用いた最適化処理を行う。具体的には、複数のＩＦの夫々を、どの無線基地局１６のどのＩＦに、ＤＬおよびＵＬの何れの用途で接続させるのが最適な行動ａｋ(t)であるかをＤＱＮまたはＤＤＱＮを用いて決定する処理と、そのＤＱＮまたはＤＤＱＮの学習処理とを実行する。
【0043】
制御情報算出部５４は、状態算出部５６を備えている。状態算出部５６では、通信品質情報に基づいて、ＤＱＮまたはＤＤＱＮの入力層に提供する状態Ｓｋ(t)が算出される。状態Ｓｋ(t)には、ＤＬおよびＵＬ毎に、自身が有するＩＦの夫々が、どの無線基地局１６のどのＩＦに帰属しているかの情報が含まれている。
【0044】
制御情報算出部５４は、また、報酬算出部５８を備えている。報酬算出部５８は、通信品質情報に基づいて、採用された行動ａｋ(t)により得られた報酬Γｋ(t)を算出する。報酬Γｋ(t)は、ＤＬの通信に関する評価およびＵＬの通信に関する評価が共に反映されるように算出される。この算出の手法については、後に詳細に説明する。
【0045】
制御情報算出部５４は、更に、ＤＱＮ／ＤＤＱＮ更新部６０を備えている。ＤＱＮ／ＤＤＱＮ更新部６０では、強化学習に用いられるＤＱＮまたはＤＤＱＮのパラメータθが更新される。より具体的には、ＤＱＮまたはＤＤＱＮの価値関数としての特徴を決める重み付けの係数やバイアス値（以下、「重み付け係数等」とする）が更新される。
【0046】
ＤＱＮ／ＤＤＱＮ更新部６０によって更新されたＤＱＮまたはＤＤＱＮは、帰属先算出部６２において用いられる。即ち、帰属先算出部６２は、更新後のＤＱＮまたはＤＤＱＮに従って、今回採用するべき行動ａｋ(t)、つまり、どのＩＦを、どの無線基地局１６のどのＩＦに、ＤＬおよびＵＬの何れの用途で帰属させるべきかを算出する。
【0047】
ＤＱＮおよびＤＤＱＮは、入力層に状態Ｓｋ(t)が与えられると、無線端末１８が採り得る行動ａｋ(t)の夫々について、採用の価値を出力層に表出させる。従って、その価値が最も大きい値となる行動を選択すれば、現在の学習段階において最適と考えられる行動を選択することができる。但し、次の行動ａｋ(t)が常に上記の価値に基づいて選択されるとすると、偶然選ばれた局所的な解に囚われてしまい、真の最適行動が永遠に選択されない事態に陥ることがある。
【0048】
帰属先算出部６２は、そのような事態の発生を避けるため、ε-greedy法に従って行動ａｋ(t)を算出する。このため、帰属先算出部６２では、確率εで、ＤＱＮまたはＤＤＱＮによらずランダムに次の行動ａｋ(t)が選択される。また、確率1-εで、ＤＱＮまたはＤＤＱＮが最適と判断する行動ａｋ(t)が選択される。
【0049】
更に、帰属先算出部６２は、学習が繰り返される毎に、εに減衰処理を施す。偶然選ばれた局所的解に陥る可能性は、学習初期の段階で大きく、学習が進行するに連れて小さくなる。このため、ランダムに行動ａｋ(t)を選択する必要性は、学習が進むに連れて小さくなる。εに減衰処理を施すと、その必要性の低下に合わせて、行動ａｋ(t)がランダムに選択される頻度を下げることができる。このため、本実施形態の帰属先算出部６２によれば、効率よく学習を進めて、パラメータθを短期間で最適値に収束させることができる。
【0050】
無線端末１８は、メモリ部６６を備えている。メモリ部６６は、下記の情報を経験ｅｋ(t)として格納する。
１．今回の学習でＤＱＮまたはＤＤＱＮの入力層に提供された状態Ｓｋ(t)、
２．その状態Ｓｋ(t)に応じて決定された行動ａｋ(t)、
３．その行動ａｋ(t)により得られた報酬Γｋ(t)、
４．その行動ａｋ(t)により遷移した先の状態Ｓｋ(t+1)。
１．今回の学習でＤＱＮまたはＤＤＱＮの入力層に提供された状態Ｓｋ(t)、
２．その状態Ｓｋ(t)に応じて決定された行動ａｋ(t)、
３．その行動ａｋ(t)により得られた報酬Γｋ(t)、
４．その行動ａｋ(t)により遷移した先の状態Ｓｋ(t+1)。
【0051】
無線端末１８は、また、帰属先要求部６８を備えている。帰属先要求部６８は、帰属先算出部６２から行動ａｋ(t)を受け取り、その行動ａｋ(t)に対応するリクエストを生成する。例えば、ＤＬの用途でＩＦ１を用いて無線基地局１６－１に接続する、或いは、ＵＬの用途でＩＦ２を用いて無線基地局１６－２に接続する、といったリクエストを生成する。生成されたリクエストは、無線通信部４６およびアンテナ部２０を介して、単一または複数の無線基地局１６に送信される。
【0052】
無線端末１８は、帰属先記録部７０を備えている。無線基地局１６から受け取る情報には、リクエストに対する可否の応答が含まれている。例えば、その情報には、新たな接続を許可する旨の応答、或いは接続の更新を許可する旨の応答等が含まれている。帰属先記録部７０は、これらの応答に基づいて、帰属先の無線基地局１６についての情報を更新して記録する。
【0053】
図７は、無線端末１８のハードウェア構成を説明するための図である。ここでは、無線端末１８がスマートフォンである場合について説明する。但し、無線端末１８は、スマートフォンに限定されるものではなく、タブレット端末や汎用のコンピュータシステムであってもよい。
【0054】
無線端末１８は、CPU（Central Processing Unit）７２を備えている。CPU７２は、バス配線７４を介して、無線端末１８が備える各種のハードウェア要素と接続されている。バス配線７４には、例えば、ROM（Read Only Memory）７６、RAM（Random Access Memory）７８、ストレージ８０等の各種メモリ装置が接続されている。
【0055】
ストレージ８０は、フラッシュROM等の不揮発性メモリを含んでいる。各種のアプリケーションの実行に必要なプログラムやデータは、ストレージ８０に格納されている。上述したメモリ部６６および帰属先記録部７０は、ストレージ８０により実現される。また、CPU７２は、ストレージ８０に格納されているプログラムに沿って処理を進めることにより、図６に示すＤＬ／ＵＬ管理部５２および制御情報算出部５４等の機能を実現する。
【0056】
無線端末１８は、通信インターフェース８２を備えている。通信インターフェース８２は、上記のアンテナ部４４および無線通信部４６に相当する。無線端末１８は、更に、操作部８４および表示部８６を備えている。操作部８４は、各種の機械的なスイッチ機構および電子的なセンサ機構に加えて、表示部８６と一体化されたタッチパネルを含んでいる。
【0057】
［ＤＱＮの概要］
図８は、ＤＱＮの概要を説明するための図である。以下、図８を参照して、無線端末１８ｋが用いる深層強化学習の一例であるＤＱＮの概要を説明する。本実施形態で用いられるＤＱＮは、入力層と、隠れ層と、出力層を有している。また、ＤＱＮには、現時点ｔの学習状態に対応するパラメータθｉ ｔが設定されている。ＤＱＮの価値関数としての特性は、パラメータθｉ ｔにより決定される。
図８は、ＤＱＮの概要を説明するための図である。以下、図８を参照して、無線端末１８ｋが用いる深層強化学習の一例であるＤＱＮの概要を説明する。本実施形態で用いられるＤＱＮは、入力層と、隠れ層と、出力層を有している。また、ＤＱＮには、現時点ｔの学習状態に対応するパラメータθｉ ｔが設定されている。ＤＱＮの価値関数としての特性は、パラメータθｉ ｔにより決定される。
【0058】
図８において、ＤＱＮの入力層は、Ｍ個のノードＳ１～ＳＭを有している。これらのノードには、無線端末１８ｋの状態Ｓｋを構成する要素が夫々入力される。状態Ｓｋの要素には、例えば、以下のような要素が含まれる。これらは、ＤＬに関わるものとＵＬに関わるものとが区別して扱われる。
１．無線基地局１６－ｂの帯域利用率φｂ、
２．無線端末１８ｋのインターフェースｆの要求データレートＲｋｆ、
３．無線端末１８ｋと無線基地局１６－ｂとの帰属の関係ｘｂｋｆ（帰属していれば１、そうでなければ０）、
４．無線端末１８ｋのインターフェースｆの無線基地局１６－ｂに対する帰属の要求ａｂｋｆ（要求有りなら１、そうでなければ０）、
５．無線端末１８ｋのインターフェースｆと無線基地局１６－ｂとの間に成立している伝送レートｒｂｋｆ。
１．無線基地局１６－ｂの帯域利用率φｂ、
２．無線端末１８ｋのインターフェースｆの要求データレートＲｋｆ、
３．無線端末１８ｋと無線基地局１６－ｂとの帰属の関係ｘｂｋｆ（帰属していれば１、そうでなければ０）、
４．無線端末１８ｋのインターフェースｆの無線基地局１６－ｂに対する帰属の要求ａｂｋｆ（要求有りなら１、そうでなければ０）、
５．無線端末１８ｋのインターフェースｆと無線基地局１６－ｂとの間に成立している伝送レートｒｂｋｆ。
【0059】
隠れ層の層数とノード数は任意である。出力層は、無線端末１８ｋが、状態Ｓｋの下で取ることのできる行動ａｉの総数Ｎと等しいノード数を有している。行動ａｉの一部を以下に例示する。
・ＩＦ１をＤＬの用途で無線基地局１６－１に帰属させる。
・ＩＦ１をＵＬの用途で無線基地局１６－１に帰属させる。
・ＩＦ２をＤＬの用途で無線基地局１６－１に帰属させる。
・ＩＦ２をＵＬの用途で無線基地局１６－１に帰属させる。
・ＩＦ１をＤＬの用途で無線基地局１６－１に帰属させ、ＩＦ２をＵＬの用途で無線基地局１６－２に帰属させる。
・ＩＦ１をＵＬの用途で無線基地局１６－１に帰属させ、ＩＦ２をＤＬの用途で無線基地局１６－２に帰属させる。
・
・
・
・ＩＦ１をＤＬの用途で無線基地局１６－１に帰属させる。
・ＩＦ１をＵＬの用途で無線基地局１６－１に帰属させる。
・ＩＦ２をＤＬの用途で無線基地局１６－１に帰属させる。
・ＩＦ２をＵＬの用途で無線基地局１６－１に帰属させる。
・ＩＦ１をＤＬの用途で無線基地局１６－１に帰属させ、ＩＦ２をＵＬの用途で無線基地局１６－２に帰属させる。
・ＩＦ１をＵＬの用途で無線基地局１６－１に帰属させ、ＩＦ２をＤＬの用途で無線基地局１６－２に帰属させる。
・
・
・
【0060】
出力層の各ノードには、無線端末１８ｋが取り得る行動ａｉ（ｉ＝１～Ｎ）の夫々についてのＱ値＝Ｑ（Ｓｋ，ａｉ；θｉ
ｔ）が表出する。Ｑ値は、パラメータθｉ
ｔの下でＤＱＮが算出した行動ａｉについての採用価値である。
【0061】
ＤＱＮを用いる手法では、出力層に表れたＱ値の中から最も大きな値を選択して、そのＱ値を生じさせる行動ａｉを、現時点ｔでの最適な行動ａｋ(t)と決定する。ＤＱＮによれば、このようにして、個々の学習段階において、その時点ｔで最適と判断できる行動ａｋ(t)を決定することができる。
【0062】
図９は、無線端末１８ｋの制御情報算出部５４がＤＱＮのパラメータθｉを更新する流れを説明するため図である。尚、図８では、行動ａｋ(t)を、便宜上ＤＱＮ／ＤＤＱＮの後段に示しているが、行動ａｋ(t)がＤＱＮまたはＤＤＱＮにより決定されるのは、上記の通り確率１－εの場合に限られる。そして、確率εの下では、行動ａｋ(t)がランダムに決定される。パラメータθｉには、それら双方の場合に得られた経験ｅｋ(t)が反映される。
【0063】
無線端末１８ｋでは、行動ａｋ(t)が決定された後、その行動ａｋ(t)に対する報酬Γｋ(t)が算出される。報酬Γｋ(t)は、例えば、次式（１）により算出される。
【0064】
【数1】
【0065】
上記（１）式中、右辺第一項は加点項目であり、第二項は減点項目である。両者に付されたω１ｋ、ω２ｋは、それらに対する配分比率を決める係数である。λは集合Λ＝｛ＤＬ、ＵＬ｝の各要素を示す識別子である。νは、集合L＝｛sub6GHz、mmWave｝の各要素を示す識別子である。
【0066】
更に、上記（１）式中、右辺第一項中のｃ１ｋ
λ，νは、λ（ＤＬまたはＵＬ）で求める要求データレートＲｋｆ
λを満たす伝送レートｒｂｋｆ(t)が、ν（sub6GHzまたはmmWave）において得られた場合の加点分を意味している。その値は、次式（２）により算出される。
【0067】
【数2】
【0068】
上記（２）式は、以下の場合に、伝送レートｒｂｋｆ(t)に応じた加点ｒｂｋｆ(t)／Ｗλ，νが与えられることを意味している。但し、末項中のＷλ，νは、λ（ＤＬまたはＵＬ）並びにν（sub6GHzまたはmmWave）の違いに起因する周波数帯の違いを相殺して正規化するための因子である。
１．無線基地局１６－ｂが無線端末１８ｋのインターフェースｆの帰属を、λ（ＤＬまたはＵＬ）の用途で、ν（sub6GHzまたはmmWave）について認めており（ｘｂｋｆ λ，ν＝１）、かつ、λ（ＤＬまたはＵＬ）について、要求データレートＲｋｆ λ以上の伝送レートｒｂｋｆ(t)が得られていること（ｒｂｋｆ(t)≧Ｒｋｆ λ）。
２．無線基地局１６－ｂに、無線端末１８ｋのインターフェースｆが、λ（ＤＬまたはＵＬ）の用途で、ν（sub6GHzまたはmmWave）での帰属を要求していること（ａｂｋｆ λ，ν(t)＝１）。
１．無線基地局１６－ｂが無線端末１８ｋのインターフェースｆの帰属を、λ（ＤＬまたはＵＬ）の用途で、ν（sub6GHzまたはmmWave）について認めており（ｘｂｋｆ λ，ν＝１）、かつ、λ（ＤＬまたはＵＬ）について、要求データレートＲｋｆ λ以上の伝送レートｒｂｋｆ(t)が得られていること（ｒｂｋｆ(t)≧Ｒｋｆ λ）。
２．無線基地局１６－ｂに、無線端末１８ｋのインターフェースｆが、λ（ＤＬまたはＵＬ）の用途で、ν（sub6GHzまたはmmWave）での帰属を要求していること（ａｂｋｆ λ，ν(t)＝１）。
【0069】
上記（１）式中、右辺第二項中のｃ２ｋ
λ，νは、λ（ＤＬまたはＵＬ）で求める要求データレートＲｋｆ
λを満たす伝送レートｒｂｋｆ(t)が、ν（sub6GHzまたはmmWave）において得られなかった場合の減点分を意味している。その値は、例えば次式（３）により算出される。
【0070】
【数3】
【0071】
上記（３）式は、以下の二つの場合には、報酬Γｋ(t)に、要求データレートＲｋｆ
λと伝送レートｒｂｋｆ(t)との比に応じた減点が施されることを意味している。
１．λ（ＤＬまたはＵＬ）の用途で、ν（sub6GHzまたはmmWave）での帰属の要求が出され（ａｂｋｆ λ，ν(t)＝１）、帰属は許可されたが（ｘｂｋｆ λ，ν(t)＝１）、要求データレートＲｋｆ λを満たす伝送レートｒｂｋｆ(t)が得られなかった場合（ｒｂｋｆ(t)＜Ｒｋｆ λ）。
２．λ（ＤＬまたはＵＬ）の用途で、ν（sub6GHzまたはmmWave）での帰属の要求が出されたが（ａｂｋｆ λ，ν(t)＝１）、要求したλ（ＤＬまたはＵＬ）について、無線基地局１６で帰属が許可されなかった場合（ｘｂｋｆ λ，ν(t)＝０）。
１．λ（ＤＬまたはＵＬ）の用途で、ν（sub6GHzまたはmmWave）での帰属の要求が出され（ａｂｋｆ λ，ν(t)＝１）、帰属は許可されたが（ｘｂｋｆ λ，ν(t)＝１）、要求データレートＲｋｆ λを満たす伝送レートｒｂｋｆ(t)が得られなかった場合（ｒｂｋｆ(t)＜Ｒｋｆ λ）。
２．λ（ＤＬまたはＵＬ）の用途で、ν（sub6GHzまたはmmWave）での帰属の要求が出されたが（ａｂｋｆ λ，ν(t)＝１）、要求したλ（ＤＬまたはＵＬ）について、無線基地局１６で帰属が許可されなかった場合（ｘｂｋｆ λ，ν(t)＝０）。
【0072】
このように、報酬Γｋ(t)は、行動ａｋ(t)の結果として要求データレートＲｋｆ
λを満たす伝送レートｒｂｋｆ(t)が得られれば大きな値となる。他方、十分な伝送レートｒｂｋｆ(t)が得られなければ、報酬Γｋ(t)は小さな値となる。
【0073】
尚、上記（３）式に含まれる伝送レートｒｂｋｆ(t)は、以下の四つの場面毎に、下記（４）式により算出することができる。
１．無線端末１８ｋが、ＤＬの用途で、sub6GHzで無線基地局１６－ｂに帰属、
２．無線端末１８ｋが、ＵＬの用途で、sub6GHzで無線基地局１６－ｂに帰属、
３．無線端末１８ｋが、ＤＬの用途で、mmWaveで無線基地局１６－ｂに帰属、
４．無線端末１８ｋが、ＵＬの用途で、mmWaveで無線基地局１６－ｂに帰属。
１．無線端末１８ｋが、ＤＬの用途で、sub6GHzで無線基地局１６－ｂに帰属、
２．無線端末１８ｋが、ＵＬの用途で、sub6GHzで無線基地局１６－ｂに帰属、
３．無線端末１８ｋが、ＤＬの用途で、mmWaveで無線基地局１６－ｂに帰属、
４．無線端末１８ｋが、ＵＬの用途で、mmWaveで無線基地局１６－ｂに帰属。
【0074】
【数4】
【0075】
また、上記（４）式の四つの右辺に含まれるγｂｋｆ
λ，ν(t)は、夫々の条件下でのSINR（Signal to Interference plus Noise power Ratio）である。それらは、下記（５）式～（８）式で算出することができる。
【0076】
【数5】
【0077】
【数6】
【0078】
【数7】
【0079】
【数8】
【0080】
但し、上記（５）式において、ｐｂｋｆ
DL，ｓｕｂ(t)は、ＤＬ、sub6GHzにおける送信電力である。また、ｈｂｋ
ｓｕｂ(t)は、無線基地局１６－ｂと無線端末１８ｋとの間のsub6GHzにおける相関係数である。その値は、両者の距離が近い場合に大きくなり、伝搬ロスやフェージングの影響を受ける。ｈｂ´ｋ
ｓｕｂ(t)並びにｈｋ´ｋ
ｓｕｂ(t)についても、夫々の添え字が示す環境下での相関係数である。更に、分母末尾のＷＤＬ，ｓｕｂはＤＬ、sub6GHzでの帯域幅を表しており、ノイズ部分の電力計算に用いられている。上記（６）～（８）式中のｐｂｋｆ
λ，ν(t)、ｈｂｋ
ν(t)等、並びにＷλ、νについても同様である。
【0081】
以上説明した通り、本実施形態では、無線端末１８ｋと無線基地局１６との通信品質が、ＤＬおよびＵＬの夫々について評価される。そして、選択された行動ａｋ(t)に対する報酬Γｋ(t)には、その両者が反映される。
【0082】
このようにして報酬Γｋ(t)が算出されると、今回の経験ｅｋ(t)がメモリに格納される（ステップ８８）。具体的には、現在の状態Ｓｋ(t)、選択された行動ａｋ(t)、得られた報酬Γｋ(t)、並びに遷移後の状態Ｓｋ(t+1)が、経験ｅｋ(t)としてメモリに格納される。
【0083】
サンプルの系列に時間的な相関があると学習が適切に進まないことがある。この問題を解決するために、パラメータθｉの更新にあたっては、メモリに格納された経験ｅｋからランダムにメモリサンプルを取得し、それらをバッチ的に処理する（ステップ９０）。
【0084】
ランダムに取得したメモリサンプル、つまり（Ｓｋ、ａｋ、Γｋ、Ｓｋ´）を含む経験ｅｋを用いて、ＤＱＮ／ＤＤＱＮのパラメータθｉを更新する（ステップ９２）。但し、Ｓｋ´は、行動ａｋにより遷移した先の状態を指すものとする。本ステップ９２の処理は、具体的には、以下のように進められる。
【0085】
行動ａｋに対する報酬Γｋが決まると、その報酬Γｋに基づいて、状態Ｓｋの下で行動ａｋを選択することについての「新たなＱ値」＝Ｑ（Ｓｋ，ａｋ）が算出できる。新たなＱ値は、例えば下記（９）式のように算出される。
【0086】
Ｑ（Ｓｋ，ａｋ）←Γｋ＋γ*maxＱ（Ｓｋ´，ａｋ´） ・・・（９）
但し、γは、時間割引率である。
但し、γは、時間割引率である。
【0087】
上記（９）式の右辺、Γｋ＋γ*maxＱ（Ｓｋ´，ａｋ´）は、（Ｓｋ，ａｋ）の組合せに対して、「学習後のＤＱＮ」にＱ値として算出して貰いたい値である。従って、ＤＱＮのパラメータθｉは、（Ｓｋ，ａｋ）の入力に対して出力層にその値が表出するように更新すればよい。
【0088】
下記（１０）式は、本実施形態においてＤＱＮのパラメータθｉを更新する際に用いる損失関数Lｋを示す。
【0089】
【数9】
【0090】
但し、上記（１０）式中、右辺第一項のＱ（Ｓｋ，ａｋ；θｉ）は、パラメータθｉを持つメインネットワークが（Ｓｋ，ａｋ）の組合せに対して算出するＱ値である。また、右辺第二項中のＱ（Ｓｋ´，ａｋ´；θｉ
―）は、パラメータθｉ
―を持つターゲットネットワークが（Ｓｋ´，ａｋ´）の組合せに対して算出するＱ値である。
【0091】
ＤＱＮを更新する際に、更新するネットワークの値を更新中のネットワークで計算すると、学習が安定しないことがある。このため、ＤＱＮの更新では、更新対象であるメインネットワークの他に、更新値を計算するためのターゲットネットワークを用いるのが通常である。本実施形態においても、上記通常の手法に従い、新たなＱ値に当たる（１０）式第二項は、ターゲットネットワークを用いて計算する。
【0092】
本ステップ９２では、上記（１０）式に示す損失関数Ｌｋが最小化されるように、ＤＱＮのパラメータθｉ、つまりメインネットワークのパラメータθｉが更新される。その結果、ＤＱＮは、状態Ｓｋの入力に対して、行動ａｋのＱ値として、上記（９）式右辺の値を表出するように学習される。
【0093】
ターゲットネットワークは、更新の直後を除いて、過去のメインネットワークと同一である。そして、ターゲットネットワークは、既定の周期で更新される（ステップ９４）。即ち、既定の周期で更新時期が到来すると、ターゲットネットワークのパラメータθｉ
―が、メインネットワークのパラメータθｉにより上書きされる。以上の処理により、ＤＱＮの更新が完了する。
【0094】
尚、下記（１１）式は、本実施形態で、ＤＤＱＮの手法が用いられる場合に、上記ステップ９２において用いられる損失関数Ｌｋを示す。更新の原理は、ＤＱＮの場合と同様であるため、これについての詳細は説明は省略する。
【0095】
【数10】
【0096】
［無線端末のCPUによる処理］
図１０は、上記の機能を実現するために無線端末１８のＣＰＵ７２が実行する処理の流れを説明するためのフローチャートである。尚、ここでは、強化学習の手法としてＤＱＮが用いられる場合について説明する。
図１０は、上記の機能を実現するために無線端末１８のＣＰＵ７２が実行する処理の流れを説明するためのフローチャートである。尚、ここでは、強化学習の手法としてＤＱＮが用いられる場合について説明する。
【0097】
図１０に示すルーチンでは、先ず、周辺の無線基地局１６から取得した通信品質情報等に基づいて、ＤＱＮの入力層に提供する状態Ｓｋ(t)が設定される（ステップ１００）。状態Ｓｋ(t)には、上記の通り、ＤＬに関する接続の情報と、ＵＬに関する接続の情報とが含まれている。
【0098】
次に、今回の学習で用いるεが設定される（ステップ１０２）。εには、例えば初期値として０．１程度の値が与えられ、その後、本ルーチンが繰り返される毎に、εに減衰処理が施される。
【0099】
次に、０～１の範囲に収まる乱数を発生させる。更に、その乱数がε以下であるかが判別される（ステップ１０４）。
【0100】
乱数≦εの成立が認められた場合は、現在の状態Ｓｋ(t)に対して、次の行動ａｋ(t)がランダムに決定される（ステップ１０６）。この行動ａｋ(t)には、帰属を求める無線基地局１６を、ＤＬおよびＵＬ毎に特定した情報が含まれる。
【0101】
これに対して、上記ステップ１０４で乱数≦εの成立が認められなかった場合は、ＤＱＮの入力層に状態Ｓｋ(t)が入力される（ステップ１０８）。そして、ＤＱＮの出力層に表れたＱ値が比較され、最も大きなＱ値を示す行動ａｉ(t)が、現時点での最適な行動ａｋ(t)として選択される（ステップ１１０）。
【0102】
次に、上記の処理により選択された行動ａｋ(t)に基づいて、周囲の無線基地局１６に対して帰属のリクエストが出される（ステップ１１２）。具体的には、ＤＬとＵＬの別、sub6GHzとmmWaveの別、および接続先の無線基地局１６－ｂを特定した一または複数の接続要求が発せられる。
【0103】
上記の接続要求を受けた無線基地局１６では、ＤＬおよびＵＬの夫々について、接続の可否が判断される。接続可否の判断は、例えばBranch and Bound法により、ＤＬおよびＵＬの夫々につき、以下のような手順で行われる。
１．無線端末１８からの全ての接続要求を、伝送効率（ｒｂｋｆ／φｂｋｆ）の良い順にソートする（但し、φｂｋｆは、無線基地局１６－ｂが、無線端末１８ｋのアプリケーションｆで伝送レートｒｂｋｆを得る際の負荷である）。
２．上記のソートの順に帰属の候補を選び、収容の可否を判断する。残存する容量で収容できれば接続を許可し、そうでなければ接続を却下する。
３．全ての候補について判断を終えたら、周辺の無線端末１８に、その結果を含む応答を送信する。
１．無線端末１８からの全ての接続要求を、伝送効率（ｒｂｋｆ／φｂｋｆ）の良い順にソートする（但し、φｂｋｆは、無線基地局１６－ｂが、無線端末１８ｋのアプリケーションｆで伝送レートｒｂｋｆを得る際の負荷である）。
２．上記のソートの順に帰属の候補を選び、収容の可否を判断する。残存する容量で収容できれば接続を許可し、そうでなければ接続を却下する。
３．全ての候補について判断を終えたら、周辺の無線端末１８に、その結果を含む応答を送信する。
【0104】
無線端末１８ｋは、リクエストに対する応答を受信すると、その応答に含まれている通信品質情報を取得する（ステップ１１４）。
【0105】
次に、通信品質情報に基づいて、上記（５）式～（８）式によりγｂｋｆ
λ，ν(t)が算出される（ステップ１１６）。これにより、ＤＬとＵＬの一方と、sub6GHzとmmWaveの一方とで定まる条件毎のSINRが算出される。
【0106】
次いで、γｂｋｆ
λ，ν(t)の算出値を上記（１）～（４）式に当てはめることにより、今回の行動ａｋ(t)に対する報酬Γｋ(t)が算出される（ステップ１１８）。これにより、ＤＬに関する評価とＵＬに関する評価の双方が反映された報酬Γｋ(t)が算出される。
【0107】
以上の処理が終わると、メモリ部６６を構成するＲＡＭ７８に、今回のルーチンで取得した経験ｅｋ(t)、即ち、（Ｓｋ(t)、ａｋ(t)、Γｋ(t)、Ｓｋ(t+1)）のセットが格納される（ステップ１２０）。
【0108】
以後、バッチ処理によるＤＱＮの更新が実行されて（ステップ１２２）、今回のルーチンが終了される。
【0109】
以上説明した通り、本実施形態における無線端末１８は、ＤＬに関わる評価とＵＬに関わる評価が共に反映された報酬Γｋ(t)を計算する。そして、その報酬Γｋ(t)に基づいて更新されたＱ値に基づいて、ＤＱＮまたはＤＤＱＮのパラメータθｉが更新される。このため、本実施形態によれば、ＤＬとＵＬとが混在するヘテロジニアスな環境下で、それら双方の品質を総合的に最適化するようにＤＱＮまたはＤＤＱＮを学習することができる。そして、複数の無線端末１８と複数の無線基地局１６との接続が、そのＤＱＮまたはＤＤＱＮに従って決定されるため、ＤＬとＵＬとが混在するヘテロジニアスな環境下で、双方向の通信を総合的に最適化することができる。
【0110】
ところで、上述した実施の形態１では、無線端末１８および無線基地局１６が、無線通信に二つのＩＦを用いることとしているが、本開示はこれに限定されるものではない。例えば、無線通信用のＩＦは三つ以上であってもよい。更には、無線通信用のＩＦには、ライセンス帯を対象とするものと、無線ＬＡＮ等に用いる非ライセンス帯を対象とするものとが混在していてもよい。
【0111】
また、上述した実施の形態１では、行動を決める価値関数として、ＤＱＮまたはＤＤＱＮを用いることとしている。しかしながら、それらはあくまで例示であり、本開示はこれに限定されるものではない。特定の状態の下で取り得る行動毎の価値を判断することのできるものであれば、何れも本開示の価値関数として用いることができる。
【符号の説明】
【0112】
１０ 無線通信システム
１６、１６－１、１６－２、１６－３ 無線基地局
１８、１８ｉ、１８ｊ、１８ｋ 無線端末
５２ ＤＬ／ＵＬ管理部
５４ 制御情報算出部
６０ ＤＱＮ／ＤＤＱＮ更新部
Γｋ(t) 報酬
ａｋ(t) 行動
ｅｋ(t) 経験
Ｓｋ(t) 状態
Ｓｋ(t+1) 遷移後の状態
Ｒｋｆ 要求データレート
ｒｂｋｆ 伝送レート
θｉ パラメータ
１６、１６－１、１６－２、１６－３ 無線基地局
１８、１８ｉ、１８ｊ、１８ｋ 無線端末
５２ ＤＬ／ＵＬ管理部
５４ 制御情報算出部
６０ ＤＱＮ／ＤＤＱＮ更新部
Γｋ(t) 報酬
ａｋ(t) 行動
ｅｋ(t) 経験
Ｓｋ(t) 状態
Ｓｋ(t+1) 遷移後の状態
Ｒｋｆ 要求データレート
ｒｂｋｆ 伝送レート
θｉ パラメータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】