特許 7156644 無線通信制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-11

(45)【発行日】2022-10-19

(54)【発明の名称】無線通信制御方法

(51)【国際特許分類】

   H04W 36/08 20090101AFI20221012BHJP

   H04W 36/30 20090101ALI20221012BHJP

   H04W 36/36 20090101ALI20221012BHJP

   H04W 48/16 20090101ALI20221012BHJP

【ＦＩ】

H04W36/08

H04W36/30

H04W36/36

H04W48/16 132

【請求項の数】 6

(21)【出願番号】P 2019033386

(22)【出願日】2019-02-26

(65)【公開番号】P2020141176

(43)【公開日】2020-09-03

【審査請求日】2021-07-02

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504202472

【氏名又は名称】大学共同利用機関法人情報・システム研究機構

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】若尾 佳佑

(72)【発明者】

【氏名】アベセカラ ヒランタ

(72)【発明者】

【氏名】鷹取 泰司

(72)【発明者】

【氏名】金子 めぐみ

(72)【発明者】

【氏名】ティハーリー ディン

【審査官】中野 修平

(56)【参考文献】

【文献】特開２０１６－２０１７３１（ＪＰ，Ａ）

【文献】特開２００９－２６０９９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｂ ７／２４－ ７／２６

Ｈ０４Ｗ ４／００－９９／００

３ＧＰＰ ＴＳＧ ＲＡＮ ＷＧ１－４

ＳＡ ＷＧ１－４

ＣＴ ＷＧ１、４

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

複数の無線端末と複数の無線基地局とが行う無線通信を制御する無線通信制御方法であって、
無線基地局と当該無線基地局に帰属する無線端末との間の無線通信品質、及び他の無線基地局における帰属する他の無線端末との間の無線通信品質に基づく品質測定情報を無線端末それぞれに通知する通知工程と、
通知された品質測定情報に基づいて、無線通信品質を向上可能な無線基地局のいずれかを新たな帰属先として選択する帰属情報を算出する算出工程と、
算出した帰属情報に基づいて無線端末の帰属先を更新するように帰属情報を記録する記録工程と
を含み、
前記算出工程は、
無線基地局と無線端末の間の現在の品質測定情報に基づく無線通信品質を離散的に表した状態と、無線基地局それぞれに帰属する無線端末の組合せを表した行動とを用いて、無線通信品質を向上可能な無線基地局のいずれかを新たな帰属先として選択する帰属情報を算出すること
を特徴とする無線通信制御方法。

【請求項2】

前記算出工程は、
前記状態と前記行動との離散的な組合せを示すＱテーブルが含む複数の要素から、利得が最大となる要素を選択することにより、無線通信品質を向上可能な無線基地局のいずれかを新たな帰属先として選択する帰属情報を算出すること
を特徴とする請求項１に記載の無線通信制御方法。

【請求項3】

前記算出工程は、
無線基地局と無線端末の間の品質測定情報に基づいて報酬を算出し、算出した報酬を用いて前記Ｑテーブルが含む複数の要素の利得の更新を繰り返すこと
を特徴とする請求項２に記載の無線通信制御方法。

【請求項4】

前記算出工程は、
無線端末がいずれの無線基地局に帰属しているかを示す行列と、利得が所定値以上であるか否かを示す行列との積を前記状態とすること
を特徴とする請求項３に記載の無線通信制御方法。

【請求項5】

前記算出工程は、
無線基地局と無線端末の間の無線通信におけるデータレート、要求データレート、平均パケットサイズ、及び無線基地局の帯域使用率に基づいて利得を算出すること
を特徴とする請求項４に記載の無線通信制御方法。

【請求項6】

前記算出工程は、
帰属情報の算出対象となる１つの無線端末、帰属情報の算出対象となる無線端末の近傍に位置する他の無線端末、及び、特定された１つ以上の無線端末のいずれかに対して、前記状態及び前記報酬を算出すること
を特徴とする請求項５に記載の無線通信制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、無線通信制御方法に関する。

【背景技術】

【0002】

現在、多様な無線通信システムが広く普及している。例えば、免許帯の無線通信システムであるセルラシステムは、現在第４世代の無線通信規格が商用化されており、径が大小のセルを組み合わせながら、移動無線端末を収容している。また、免許不要帯で普及している無線通信システムとしては、まず無線ＬＡＮシステムが挙げられ、国内では２．４／５／６０ＧＨｚ帯の無線周波数を利用して数～数十ｍの径に存在する無線端末に対して広帯域な無線通信が提供されている。また、別の免許不要帯の無線通信システムとして挙げられるＬＰＷＡ（Low Power Wide Area）は、数～数ｋｍの広大な径に存在する無線端末に対して低消費電力で無線通信を提供できることから、モノのインターネットサービスを収容することに適している。

【0003】

このように、多様な無線通信システムの中から、無線サービスの要求に応じて適した無線通信システムを選択できる無線通信環境が普及している。また、無線通信システム群のうち、大容量を目的としたものは、エリア容量増大のために無線基地局の高密度化が進んでいる。例えば、無線端末の周りに十分無線通信を実施できるほどの強い受信電力で検出される無線基地局が１台以上存在するような無線環境が増えている。

【0004】

結果として、無線端末が選択できる無線アクセスの自由度は、無線通信システムの種類及び無線基地局台数の両面で、大きくなっている。この自由度を活かして、複数の無線アクセスに同時接続してロードバランシングやフレーム冗長送信を行う無線通信プロトコルが開発されている（例えば非特許文献１参照）。例えば、セルラ回線と無線ＬＡＮ回線を同時に用いることにより、無線通信環境を安定化させることができる。

【0005】

無線端末主導の自律分散制御によって無線仮想インターフェースの無線基地局帰属先制御を実施する構成は、制御演算処理の簡便さから有力な構成の１つである。しかしながら、この場合、従来技術では段階的に以下の３点の課題が生じる。

【0006】

１点目の課題は、無線基地局での輻輳が生じやすいという点である。従来の技術では、無線通信伝送レート最大化の観点から、主に無線端末での受信電力が最大の無線基地局へ接続される。しかしながら、大容量を要する無線仮想インターフェースがある無線基地局の周りに集中している場合、該無線基地局の無線通信の最大伝送レートを超えて輻輳し、各無線仮想インターフェースの要求を満足できなくなる。

【0007】

２点目の課題は、従来技術では、無線通信環境の安定性を考慮した無線通信制御アルゴリズムとはなっていないが、この場合に観測された無線通信環境を入力した時に、無線通信品質が劣化してしまう設定を出力してしまう可能性がある点である。例えば、１点目に挙げた課題を克服し、無線基地局の利用率の情報を収集する手段を具備して、無線端末がある時点についての適切な無線基地局を選択できるとする。しかしながら、観測された無線通信環境が瞬時的なものである場合、例えば、無線仮想インターフェースの出入りが激しい場合などに、該無線基地局は、一時的に当初の無線仮想インターフェースのトラヒックの収容には成功できるが、新たな無線仮想インターフェースが該無線基地局へ帰属してきた場合に、直ちに輻輳が生じる。

【0008】

３点目の課題は、無線端末が収集する情報の状態数が膨大であり、統計的な手法で制御を実施する手法が適用できない点である。２点目の課題を克服するには、強化学習やパターンマッチングなどの統計的な制御手法により、情報収集によって取得された無線通信環境が安定なのか不安定なのか、各場合で各無線仮想インターフェースが帰属すべき無線基地局はいずれなのか、といった判断機能を経験的に取得するアプローチが有効となる。

【0009】

しかしながら、上記制御手法では、いずれも無線通信環境を事前に離散化された状態として定義したうえで、現時点で取得された無線通信環境がどの状態に属するかを判定した後に、該状態における無線仮想インターフェースの適切な帰属先無線基地局を決定するという手順を踏む必要がある。一方で、信号の受信強度やトラヒックのデータレートなど、無線通信品質情報のほとんどは、連続値で定義される。よって、各数値の型でそのまま離散状態を定義してしまうと、あまりに膨大な状態数となり、状態の判定処理が収束しなくなるという課題がある。

【先行技術文献】

【非特許文献】

【0010】

【文献】Atefeh Hajijamali Arani, 外４名, "Distributed Learning for Energy-Efficient Resource Management in Self-Organizing Heterogeneous Networks", IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY, OCTOBER 2017, VOL. 66, NO. 10, p.9287-9303

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明は、無線基地局に対する無線端末の配置に偏りが生じても、通信品質の低下を抑えることができる無線通信制御方法を提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の一態様にかかる無線通信制御方法は、複数の無線端末と複数の無線基地局とが行う無線通信を制御する無線通信制御方法であって、無線基地局と当該無線基地局に帰属する無線端末との間の無線通信品質、及び他の無線基地局における帰属する他の無線端末との間の無線通信品質に基づく品質測定情報を無線端末それぞれに通知する通知工程と、通知された品質測定情報に基づいて、無線通信品質を向上可能な無線基地局のいずれかを新たな帰属先として選択する帰属情報を算出する算出工程と、算出した帰属情報に基づいて無線端末の帰属先を更新するように帰属情報を記録する記録工程とを含み、前記算出工程は、無線基地局と無線端末の間の現在の品質測定情報に基づく無線通信品質を離散的に表した状態と、無線基地局それぞれに帰属する無線端末の組合せを表した行動とを用いて、無線通信品質を向上可能な無線基地局のいずれかを新たな帰属先として選択する帰属情報を算出することを特徴とする。

【0014】

本発明の一態様にかかる無線通信制御方法は、前記算出工程は、前記状態と前記行動との離散的な組合せを示すＱテーブルが含む複数の要素から、利得が最大となる要素を選択することにより、無線通信品質を向上可能な無線基地局のいずれかを新たな帰属先として選択する帰属情報を算出することを特徴とする。

【0015】

本発明の一態様にかかる無線通信制御方法は、前記算出工程は、無線基地局と無線端末の間の品質測定情報に基づいて報酬を算出し、算出した報酬を用いて前記Ｑテーブルが含む複数の要素の利得の更新を繰り返すことを特徴とする。

【0016】

本発明の一態様にかかる無線通信制御方法は、前記算出工程は、無線端末がいずれの無線基地局に帰属しているかを示す行列と、利得が所定値以上であるか否かを示す行列との積を前記状態とすることを特徴とする。

【0017】

本発明の一態様にかかる無線通信制御方法は、前記算出工程は、無線基地局と無線端末の間の無線通信におけるデータレート、要求データレート、平均パケットサイズ、及び無線基地局の帯域使用率に基づいて利得を算出することを特徴とする。

【0018】

本発明の一態様にかかる無線通信制御方法は、前記算出工程は、帰属情報の算出対象となる１つの無線端末、帰属情報の算出対象となる無線端末の近傍に位置する他の無線端末、及び、特定された１つ以上の無線端末のいずれかに対して、前記状態及び前記報酬を算出することを特徴とする。

【発明の効果】

【0019】

本発明によれば、無線基地局に対する無線端末の配置に偏りが生じても、通信品質の低下を抑えることができる。

【図面の簡単な説明】

【0020】

【図1】一実施形態にかかる無線通信システムの構成例を示す図である。

【図2】無線基地局が品質測定情報を交換する情報交換経路を示す図である。

【図3】一実施形態にかかる無線基地局の構成例を示す図である。

【図4】一実施形態にかかる無線端末の構成例を示す図である。

【図5】Ｑテーブルを用いた制御処理の概要を示す図である。

【図6】Ｑテーブルを用いた学習処理の概要を示す図である。

【図7】一実施形態にかかる無線通信システムの実施例を示す図である。

【図8】無線送信電力、チャネル係数、帰属先無線基地局の集合、無線仮想インターフェースの集合及び無線端末の集合の表記例を示す図である。

【図9】一実施形態にかかる無線通信システムの他の実施例を示す図である。

【図10】無線通信制御アルゴリズムにおける各無線端末の制御を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下に、図面を用いて無線通信システムの一実施形態を説明する。図１は、一実施形態にかかる無線通信システム１０の構成例を示す。図１に示すように、無線通信システム１０は、複数の無線基地局２０がネットワーク１００に対してそれぞれスイッチ１０２を介して接続されている。ここで、無線基地局２０それぞれは、ネットワーク１００を介した有線通信経路によって互いに接続されている。また、無線基地局２０は、無線通信によって他の無線基地局２０との間で通信を行うことも可能にされている。

【0022】

無線基地局２０の周囲には、無線基地局２０との間で無線通信を行う複数の無線端末３０が位置している。無線端末３０は、例えばＲＳＳＩ（Received Signal Strength Indicator）の強度などの物理的な信号によって無線基地局２０に対する帰属を決定する１つ以上の無線物理インターフェース、及び、受信信号を演算処理した結果に応じて無線基地局２０に対する帰属を決定する１つ以上の無線仮想インターフェースのいずれかによって無線基地局２０に接続される。無線仮想インターフェースは、例えば強化学習によって無線基地局２０に対する無線端末３０の帰属先を制御する。

【0023】

ここで、無線端末３０は、無線基地局２０から通知される品質測定情報に基づいて、帰属する無線基地局２０を選択する自律分散制御を行う。品質測定情報は、無線基地局２０が帰属する無線端末３０との間の無線通信品質を測定した情報と、他の無線基地局２０における無線端末３０との間の無線通信品質を測定した情報とを含むものとする（図３等を用いて後述）。なお、無線端末３０は、周辺の１つ以上の無線基地局２０に対して帰属可能であり、遠方の無線基地局２０に対しては帰属外となる。

【0024】

図２は、無線通信システム１０における無線基地局２０が品質測定情報などの情報を互いに交換する情報交換経路を示す。図２において太矢印で示した情報交換経路は、有線区間（有線通信経路）と無線区間（無線通信経路）の２種類に分類される。有線区間では、スイッチ１０２及びネットワーク１００を介して情報が交換される。無線区間には、無線基地局２０が他の無線基地局２０との間で無線通信を直接行う区間と、無線基地局２０が無線端末３０を介して他の無線基地局２０と無線通信を行う区間とがある。つまり、無線端末３０は、無線基地局２０と他の無線基地局２０との間の通信を中継することも可能にされている。

【0025】

例えば、無線端末３０が無線基地局２０の相互の通信を中継しない場合には、無線基地局２０は、自局が測定した品質測定情報を周囲の他の無線基地局２０へ送信することにより、それぞれの品質測定情報を交換する。

【0026】

また、無線端末３０が無線基地局２０の相互の通信を中継する場合には、無線基地局２０は、自局が測定した品質測定情報を周囲の無線端末３０へ通知する。そして、無線端末３０は、通知された品質測定情報を周囲の他の無線基地局２０へ通知する。無線端末３０は、複数の無線通信アプリケーションを実行し、情報を中継する場合に無線通信規格（無線通信方式）を他の無線通信規格に変換し、他の無線通信規格で無線基地局に通知するように構成されてもよい。また、無線端末３０及び無線基地局２０は、互いに複数の無線通信規格によって無線通信を行う複数の無線通信アプリケーションを備え、品質測定情報が無線通信アプリケーションそれぞれにおける無線通信品質に基づくようにされてもよい。

【0027】

図３は、一実施形態にかかる無線基地局２０の構成例を示す。図３に示すように、無線基地局２０は、アンテナ部２１、無線通信部２２、通信Ｉ／Ｆ部２３、品質測定部２４、情報通知部２５、要求情報評価部２６、要求応答通知部２７及び帰属情報記録部２８を有する。

【0028】

無線基地局２０は、アンテナ部２１を介して所定の規格の電波を送受信し、無線通信部２２が行う処理により、無線端末３０及び他の無線基地局２０との間で無線通信を行う。無線通信部２２は、高周波（RF：Radio Frequency）の信号を処理するＲＦ部２２０と、無線通信メディアアクセス制御（ＭＡＣ）の機能を備えたＭＡＣ機能部２２２とを有する。通信Ｉ／Ｆ部２３は、ネットワーク１００（図１）などによって構成される有線区間を介して通信を行うインターフェースである。

【0029】

品質測定部２４は、無線環境測定部２４０及びトラヒック測定部２４２を有し、当該無線基地局２０（自局）に帰属する無線端末３０との間の無線通信品質を測定し、自局の無線通信品質に基づく品質測定情報を品質測定情報算出処理によって算出して取得する。無線環境測定部２４０は、無線通信の環境の測定を行い無線環境情報を取得する。トラヒック測定部２４２は、無線通信のトラヒックの測定を行いトラヒック情報を取得する。品質測定情報は、例えば無線環境情報及びトラヒック情報に基づいて算出される。また、品質測定情報は、無線通信における受信電力、要求データレート及び無線基地局の帯域の使用率を含んでもよい。

【0030】

無線基地局２０は、他の無線基地局２０（他局）において帰属する無線端末３０との間の無線通信品質を示す品質測定情報に関しては、通信Ｉ／Ｆ部２３を介して有線区間の情報を取得し、無線通信部２２を介して無線区間の情報を取得する。そして、品質測定部２４は、自局及び他局から取得した品質測定情報を集約させる。

【0031】

情報通知部２５は、品質測定部２４が集約させた品質測定情報を無線通信部２２を介して無線端末３０へ通知する。

【0032】

要求情報評価部２６は、無線通信部２２を介して無線端末３０から後述する帰属要求を受けると、無線端末３０の帰属の可否（帰属先の変更・更新の可否）を判断する。

【0033】

要求応答通知部２７は、要求情報評価部２６が無線端末３０の帰属先の更新を許可した場合、その旨を要求応答として無線端末３０へ無線通信部２２を介して通知する。

【0034】

帰属情報記録部２８は、要求情報評価部２６が無線端末３０の帰属先の更新を許可した場合、無線端末３０の帰属先を管理する管理情報を更新して記録する。

【0035】

図４は、無線端末３０の構成例を示す。図４に示すように、無線端末３０は、アンテナ部３１、無線通信部３２、制御情報算出部３３、帰属先要求部３４及び帰属先記録部３５を有する。

【0036】

無線端末３０は、アンテナ部３１を介して所定の規格の電波を送受信し、無線通信部３２が行う処理により、無線基地局２０との間で無線通信を行う。無線通信部３２は、高周波の信号を処理するＲＦ部３２０と、無線通信メディアアクセス制御（ＭＡＣ）の機能を備えたＭＡＣ機能部３２２とを有する。そして、無線端末３０は、無線通信部３２を介して無線基地局２０が送信する品質測定情報を取得する。

【0037】

制御情報算出部３３は、状態算出部３３０、報酬算出部３３２、Ｑテーブル管理部３３４及び帰属先算出部３３６を有し、例えば強化学習を用いた無線仮想インターフェースによって無線基地局２０への帰属先を制御する。

【0038】

状態算出部３３０は、無線通信部３２を介して品質測定情報を取得し、品質測定情報を離散的に表す”状態”を算出する。

【0039】

報酬算出部３３２は、品質測定情報に基づく”報酬”を算出する。

【0040】

Ｑテーブル管理部３３４は、離散的な”状態”それぞれにおける”行動”が選択された場合の利得を格納したＱテーブルを保持・管理し、報酬算出部３３２が算出した”報酬”を用いて、利得を補正する。なお、利得は、無線基地局２０と無線端末３０の間の無線通信におけるデータレート、要求データレート、平均パケットサイズ、及び無線基地局２０の帯域使用率等に基づいて算出される。

【0041】

帰属先算出部３３６は、Ｑテーブル管理部３３４が管理するＱテーブルに基づいて帰属先算出処理を行い、無線通信品質を向上可能な無線基地局２０のいずれかを新たな帰属先として選択する帰属情報を算出する。例えば、帰属先算出部３３６は、無線通信品質を高めるために最適な無線基地局２０を新たな帰属先として選択する帰属情報を算出する。

【0042】

帰属先要求部３４は、帰属している無線基地局２０、又は帰属先算出部３３６が算出した帰属情報により選択される無線基地局２０などに対し、帰属先を変更する許可を求める帰属要求を無線通信部３２を介して通知する。

【0043】

帰属先記録部３５は、無線端末３０が帰属先の更新を許可する要求応答を無線基地局２０から受信した場合、帰属先算出部３３６が算出した帰属情報に基づいて帰属先を更新するように帰属情報を記録する。つまり、帰属先記録部３５は、帰属先を管理する管理情報を帰属情報によって更新する。

【0044】

次に、無線通信システム１０が実行する無線通信制御アルゴリズム（無線通信制御方法）について説明する。

【0045】

まず、無線端末３０がある行動によって無線仮想インターフェースを無線基地局２０に帰属させると、無線基地局２０は、帰属している無線端末３０及び周囲の無線端末３０の無線仮想インターフェース群の現在の無線通信品質を測定し、自局の無線通信品質に基づく品質測定情報を品質測定情報算出処理によって算出する。

【0046】

無線基地局２０は、必要に応じて他の無線基地局２０（他局）おいて帰属する無線端末３０との間の無線通信品質を示す品質測定情報を取得するように情報交換を行い、自局及び他局から取得した品質測定情報を集約させる。

【0047】

そして、無線基地局２０は、集約させた品質測定情報を無線端末３０へ通知する。

【0048】

無線端末３０は、通知された品質測定情報に基づいて、現在の状態と他の無線端末３０へ与える報酬を算出する。報酬は、Ｑテーブル管理部３３４が管理するＱテーブルを補正する値であり、図１２等を用いて後述する。

【0049】

無線端末３０は、状態及び報酬を用いて、図５を用いて説明する制御処理、及び図６を用いて説明する学習処理を実施する。

【0050】

図５は、Ｑテーブルを用いた制御処理の概要を示す。Ｑテーブルは、離散的な状態と行動の組合せで区画化されており、区画ごとに状態における行動が選択された時の利得が格納されている。状態は、現在の品質測定情報を離散的に表している。行動は、無線通信制御アルゴリズムにおける制御対象パラメータであり、無線仮想インターフェースによる基地局への帰属先の組合せを示している。

【0051】

図５に示すように、制御情報算出部３３は、例えば状態３を算出し、Ｑテーブルの中から現在の状態に該当する区画群を抽出し、該区画群の中から利得が最大である１区画を選択することにより、次時点でとるべき行動（例えば行動４）を選択する制御処理を行う。

【0052】

図６は、Ｑテーブルを用いた学習処理の概要を示す。無線端末３０は、現在の行動（例えば行動２）を帰属先記録部３５が記録している。制御情報算出部３３は、例えば状態３を算出し、報酬（Ｑテーブルの利得の補正値：例えばａ）を算出して、Ｑテーブルの中から現在の状態・行動に該当する１区画を選択し、選択した１区画の利得を報酬によって補正する学習処理を行う。

【0053】

無線端末３０は、上述した処理を逐次的に繰り返すことにより、各状態における適切な行動を推定する機能を試行錯誤による統計的なパラメータチューニングによって取得していく。

【0054】

次に、一実施形態にかかる無線通信システムの第１実施例について説明する。

【0055】

図７は、一実施形態にかかる無線通信システムの実施例を示す。無線通信システムの第１実施例では、無線基地局台数Ｂ、無線端末台数Ｋ、無線仮想インターフェース数Ｆであるとすると、各無線端末の各無線仮想インターフェースの帰属状況を示す行列Ａは、下式（１）によって表される。

【0056】

【数1】

【0057】

また、帰属関係は、下式（２）によって表される。

【0058】

【数2】

【0059】

また、無線送信電力、チャネル係数、帰属先無線基地局の集合、無線仮想インターフェースの集合及び無線端末の集合は、図８に示したように記すこととする。

【0060】

ここで、無線端末ｋが達成する無線伝送レートは、下式（３）、（４）によって表される。

【0061】

【数3】

【0062】

【数4】

【0063】

また、無線基地局ｂから無線端末ｋの無線仮想インターフェースｆへの要求トラヒックにより生じる時間占有率は、下式（５）によって表される。

【0064】

【数5】

【0065】

なお、無線基地局ｂは、文献（A.H. Arani, M.J. Omidi, A. Mehbodniya and F. Adachi, “A Distributed Learning-based Users Association for Heterogeneous Networks”, Trans. on Emerging Telecommun. Techno., vol.28, no.11, DOI: 10.1002/ett.3192, April 2017）に示されているように、下式（６）の条件を満たす時に輻輳する。

【0066】

【数6】

【0067】

また、無線基地局ｂから無線端末ｋの無線仮想インターフェースｆへのファイルの送信遅延時間は、下式（７）によって表される。

【0068】

【数7】

【0069】

なお、無線端末ｋの無線仮想インターフェースｆにおける許容遅延時間Ｔ_ｋｆは、別途定められることとする。

【0070】

次に、状態及び報酬の算出に用いる条件式（式（８）～（１２））について説明する。

【0071】

帰属関係を示す要素は、上式（１）、（２）を用いて説明したように、例えば下式（８）によって表される。

【0072】

【数8】

【0073】

また、１つの無線仮想インターフェースが１つの無線基地局にしか帰属していないか否かは、下式（９）によって規定される。

【0074】

【数9】

【0075】

また、無線仮想インターフェースの要求データレート（最小レート制約）が満たされているか否かは、下式（１０）に示すように、利得が所定値以上であるか否かによって規定される。

【0076】

【数10】

【0077】

また、無線仮想インターフェースの最大遅延制約が満たされているか否かは、下式（１１）に示すように、許容遅延時間以下であるか否かによって規定される。

【0078】

【数11】

【0079】

また、無線基地局の利用率が輻輳するもの（オーバーロード）になっているか否かは、下式（１２）によって規定される。

【0080】

【数12】

【0081】

次に、図９等を用いて無線通信制御アルゴリズムで用いる状態・行動・報酬の設計方法について説明する。図９は、一実施形態にかかる無線通信システムの他の実施例を示す。

【0082】

無線基地局は、上述したように、例えば近傍の帰属している無線端末の無線仮想インターフェースへφ_ｂ，Ｒ_ｋｆ，ａ_ｂｋｆ（ｔ），γ_ｂｋｆ（ｔ）を通知する。無線端末は、通知された情報に基づいて状態、行動、報酬を算出する。

【0083】

状態は、下式（１３）によって示される。

【0084】

【数13】

【0085】

ここで、状態空間のサイズは、下式（１４）によって表される。

【0086】

【数14】

また、下式（１５）に示すように、各仮想インターフェースは、１つの無線基地局のみを利用可能となっている。

【0087】

【数15】

【0088】

報酬は、下式（１６）にも示すように、品質測定情報に基づいて算出されるｃ_１ｋとｃ_２ｋをウェイトｗ_ｋで結合して設計される。

【0089】

【数16】

【0090】

下式（１７）は、例えば無線基地局ｂの帰属を示している。

【0091】

【数17】

【0092】

ｃ_１ｋ，ｃ_２ｋは、それぞれ下式（１８），（１９）によって表されるように、任意の範囲の無線端末の帰属先の無線基地局と無線仮想インターフェースとにおける無線通信のデータレート、要求データレート、無線基地局の利用率の情報からなり、該情報が無線基地局から無線端末へ通知される。

【0093】

【数18】

【数19】

【0094】

なお、無線基地局ｂのローカルなフィードバックによって報酬を算出する場合には、ｃ_２ｋは、下式（２０）によって表される。

【0095】

【数20】

【0096】

ここで、負荷正規化係数Ｎ（ｔ）は、下式（２１）によって表されるとする。

【0097】

【数21】

【0098】

また、無線仮想インターフェースの最小レート制約及び最大遅延制約を考慮して報酬を算出する場合には、ｃ_２ｋは、下式（２２）によって表される。

【0099】

【数22】

【0100】

ここで、Ｍ（ｔ）は、下式（２３）によって表されるとする。

【0101】

【数23】

【0102】

無線基地局は、帰属している無線端末が状態及び報酬を算出すると、情報収集対象となる無線端末及び無線仮想インターフェースが自局に帰属していない場合、他の無線基地局との間で情報交換を行って帰属していない無線端末における状態及び報酬を取得する。

【0103】

行動は、下式（２４）によって表される。

【0104】

【数24】

【0105】

図１０は、無線通信制御アルゴリズムにおける各無線端末の制御を示すフローチャートである。各無線端末ｋは、初期時点ｔ＝０において、Ｑテーブルを初期化する（Ｓ１００）。また、無線端末ｋは、状態については初期時点ｔ＝０では算出できないので、ランダムに決定する（Ｓ１０２）。

【0106】

以降、無線端末ｋは、時点ごと（Ｓ１０４）に以下の逐次処理を繰り返す。グリーディ係数εは、時点ループを更新するたびに１以下の正の実数で定義される減衰率λが乗算され、時間を経るにつれて判断条件を満たさない行動の選択が支配的になるように調整する役割をする。

【0107】

すなわち、無線端末ｋは、まず１以下の乱数ｐを生成し、グリーディ係数ε未満であるか否かを判断する（Ｓ１０６）。無線端末ｋは、乱数ｐがグリーディ係数ε未満である場合には、可能な選択肢の中から行動をランダムに選択し、次の行動ｙ_ｋ（ｔ）とする（Ｓ１０８）。無線端末ｋは、乱数ｐがグリーディ係数ε未満でない場合には、Ｑテーブルを参照し、現在の状態において利得が最大となる行動をｙ_ｋ（ｔ）として選択する（Ｓ１１０）。

【0108】

各無線基地局ｂは、それぞれ無線基地局自身がオーバーロードとなっているか否かを判定し、オーバーロードでない場合には帰属先結果を無線端末へフィードバックし、オーバーロードである場合には帰属させる無線端末を選択して他の無線端末をドロップする（Ｓ１１２）。

【0109】

無線端末ｋは、行動を実施した後に、無線基地局が無線通信品質の測定及び無線基地局間の情報交換を行った後の品質測定情報のフィードバックを取得し、ｙ_ｋ（ｔ）によって状態Ｓ_ｋ（ｔ＋１）及び報酬Γ_ｋ（ｔ）を算出する（Ｓ１１４）。そして、無線端末ｋは、報酬Γ_ｋ（ｔ）を下式（２５）に代入し、ＱテーブルのＱ（ｘ_ｋ（ｔ），ｙ_ｋ（ｔ））を更新して（Ｓ１１６）、状態の置き換えを行う（Ｓ１１８）。

【0110】

【数25】

【0111】

このように、実施形態にかかる無線通信システムは、品質測定情報に基づいて算出された帰属情報によって帰属先を更新するので、無線基地局に対する無線端末の配置に偏りが生じても、通信品質の低下を抑えることができる。

【0112】

また、実施形態にかかる無線通信システムは、周波数利用効率の向上だけでなく、無線基地局での輻輳を可能な限り回避し、かつ、連続的な無線通信品質を離散化された状態に変換し、情報収集によって取得された品質測定情報が安定であるか否か、各場合で各無線仮想インターフェースが帰属すべき無線基地局はいずれなのか、といった判断機能を効果的に実施できる強化学習による制御手法を適用可能にされている。

【0113】

また、実施形態にかかる無線通信システムは、運用と並行して各無線端末間で強化学習の学習結果を共有し、その学習結果により、障害発生箇所に応じて、集中制御局による中央集中制御と、無線端末による分散制御とに切り換えることができる。換言すれば、両方の制御方式で、障害発生箇所に応じたそれぞれの切り換え動作に対応して学習結果を用いた最適化が可能である強化学習の方法には何らかの特徴があると考えられる。

【符号の説明】

【0114】

１０・・・無線通信システム、２０・・・無線基地局、２２・・・無線通信部、２３・・・通信Ｉ／Ｆ部、２４・・・品質測定部、２５・・・情報通知部、２６・・・要求情報評価部、２７・・・要求応答通知部、２８・・・帰属情報記録部、３０・・・無線端末、３２・・・無線通信部、３３・・・制御情報算出部、３４・・・帰属先要求部、３５・・・帰属先記録部、１００・・・ネットワーク、３３０・・・状態算出部、３３２・・・報酬算出部、３３４・・・Ｑテーブル管理部、３３６・・・帰属先算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】