特許 7219900 無線通信方法、無線通信システム、基地局装置、無線端末、及び無線通信プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-01

(45)【発行日】2023-02-09

(54)【発明の名称】無線通信方法、無線通信システム、基地局装置、無線端末、及び無線通信プログラム

(51)【国際特許分類】

   H04W 48/16 20090101AFI20230202BHJP

   H04W 88/10 20090101ALI20230202BHJP

   H04W 88/06 20090101ALI20230202BHJP

【ＦＩ】

H04W48/16 132

H04W88/10

H04W88/06

【請求項の数】 8

(21)【出願番号】P 2020034682

(22)【出願日】2020-03-02

(65)【公開番号】P2021141355

(43)【公開日】2021-09-16

【審査請求日】2022-03-04

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504202472

【氏名又は名称】大学共同利用機関法人情報・システム研究機構

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】若尾 佳佑

(72)【発明者】

【氏名】河村 憲一

(72)【発明者】

【氏名】守山 貴庸

(72)【発明者】

【氏名】アベセカラ ヒランタ

(72)【発明者】

【氏名】鷹取 泰司

(72)【発明者】

【氏名】金子 めぐみ

(72)【発明者】

【氏名】ティハーリー ディン

【審査官】伊東 和重

(56)【参考文献】

【文献】国際公開第２０１９／１５９８９８（ＷＯ，Ａ１）

【文献】特表２０１２－５０４３５４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｂ ７／２４－７／２６

Ｈ０４Ｗ ４／００－９９／００

３ＧＰＰ ＴＳＧ ＲＡＮ ＷＧ１－４

ＳＡ ＷＧ１－４

ＣＴ ＷＧ１，４

(57)【特許請求の範囲】

【請求項1】

高周波帯で無線通信を行う１つ以上の高周波帯基地局、前記高周波帯基地局よりも低い周波数帯で無線通信を行う１つ以上の低周波帯基地局、並びに前記高周波帯基地局及び前記低周波帯基地局のいずれとも無線通信を可能にされた複数の無線端末を備えた無線通信システムが行う無線通信方法において、
遮蔽物により電波を遮蔽されていない前記無線端末が送信するアプリケーションごとの品質要件を伴う接続要求に対する接続の可否を前記高周波帯基地局が判定する高周波接続判定工程と、
前記高周波接続判定工程により接続を許可した前記無線端末に対し、高周波帯における接続許可を前記高周波帯基地局が応答する高周波応答制御工程と、
前記高周波帯基地局が接続要求を拒否した前記無線端末に対し、当該無線端末が送信する接続要求に対する接続の可否を前記低周波帯基地局が判定する低周波接続判定工程と、
前記低周波接続判定工程により接続を許可した前記無線端末に対し、低周波帯における接続許可を前記低周波帯基地局が応答する低周波応答制御工程と、
前記無線端末それぞれが前記高周波帯基地局及び前記低周波帯基地局それぞれからの応答、及び前記低周波帯基地局における輻輳発生確率に基づいて、アプリケーションごとの品質要件を満たすように、前記高周波帯基地局又は前記低周波帯基地局を接続先として選択する学習を行う学習処理工程と
を含むことを特徴とする無線通信方法。

【請求項2】

前記学習処理工程では、
前記無線端末が現在の接続にかかる状態を検知し、次に前記高周波帯基地局又は前記低周波帯基地局に接続を要求する行動に対する報酬を取得して、前記状態及び前記行動の組合せの有効性を前記報酬により補正する強化学習を行うこと
を特徴とする請求項１に記載の無線通信方法。

【請求項3】

高周波帯で無線通信を行う１つ以上の高周波帯基地局、前記高周波帯基地局よりも低い周波数帯で無線通信を行う１つ以上の低周波帯基地局、並びに前記高周波帯基地局及び前記低周波帯基地局のいずれとも無線通信を可能にされた複数の無線端末を備えた無線通信システムにおいて、
前記高周波帯基地局は、
遮蔽物により電波を遮蔽されていない前記無線端末が送信するアプリケーションごとの品質要件を伴う接続要求に対する接続の可否を判定する高周波接続判定部と、
前記高周波接続判定部が接続を許可した前記無線端末に対し、高周波帯における接続許可を応答する高周波応答制御部と
を有し、
前記低周波帯基地局は、
前記高周波帯基地局が接続要求を拒否した前記無線端末に対し、当該無線端末が送信する接続要求に対する接続の可否を判定する低周波接続判定部と、
前記低周波接続判定部が接続を許可した前記無線端末に対し、低周波帯における接続許可を応答する低周波応答制御部と
を有し、
前記無線端末それぞれは、
前記高周波帯基地局及び前記低周波帯基地局それぞれからの応答、及び前記低周波帯基地局における輻輳発生確率に基づいて、アプリケーションごとの品質要件を満たすように、前記高周波帯基地局又は前記低周波帯基地局を接続先として選択する学習を行う学習処理部
を有することを特徴とする無線通信システム。

【請求項4】

前記学習処理部は、
当該無線端末の現在の接続にかかる状態を検知し、次に前記高周波帯基地局又は前記低周波帯基地局に接続を要求する行動に対する報酬を取得して、前記状態及び前記行動の組合せの有効性を前記報酬により補正する強化学習を行うこと
を特徴とする請求項３に記載の無線通信システム。

【請求項5】

高周波帯で無線端末と無線通信を行う高周波帯基地局、及び前記高周波帯基地局よりも低い周波数帯で無線端末と無線通信を行う低周波帯基地局の少なくとも１つを備えた基地局装置において、
前記高周波帯基地局は、
遮蔽物により電波を遮蔽されていない前記無線端末が送信するアプリケーションごとの品質要件を伴う接続要求に対する接続の可否を判定する高周波接続判定部と、
前記高周波接続判定部が接続を許可した前記無線端末に対し、高周波帯における接続許可を応答する高周波応答制御部と
を有し、
前記低周波帯基地局は、
前記高周波帯基地局が接続要求を拒否した前記無線端末に対し、当該無線端末が送信する接続要求に対する接続の可否を判定する低周波接続判定部と、
前記低周波接続判定部が接続を許可した前記無線端末に対し、低周波帯における接続許可を応答する低周波応答制御部と
を有することを特徴とする基地局装置。

【請求項6】

高周波帯で無線通信を行う１つ以上の高周波帯基地局、及び前記高周波帯基地局よりも低い周波数帯で無線通信を行う１つ以上の低周波帯基地局のいずれとも無線通信を可能にされた無線端末において、
当該無線端末が遮蔽物により電波を遮蔽されていない場合に送信するアプリケーションごとの品質要件を伴う接続要求に対して接続を許可した前記高周波帯基地局、及び前記高周波帯基地局が接続要求を拒否した場合に接続を許可した前記低周波帯基地局それぞれからの応答、及び前記低周波帯基地局における輻輳発生確率に基づいて、アプリケーションごとの品質要件を満たすように、前記高周波帯基地局又は前記低周波帯基地局を接続先として選択する学習を行う学習処理部と、
前記学習処理部が接続先として選択した前記高周波帯基地局又は前記低周波帯基地局に対して接続要求を行う接続要求制御部と
を有することを特徴とする無線端末。

【請求項7】

請求項５に記載の基地局装置の各部としてコンピュータを機能させるための無線通信プログラム。

【請求項8】

請求項６に記載の無線端末の各部としてコンピュータを機能させるための無線通信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、無線通信方法、無線通信システム、基地局装置、無線端末、及び無線通信プログラムに関する。

【背景技術】

【0002】

移動通信を用いた幅広いサービスやニーズをもとに、次世代移動通信システムとして第五世代移動通信システム（５Ｇ）の検討が進められている。５Ｇの特徴としては、超高速、超低遅延、多数同時接続が挙げられており、これらによって新たな産業創出や社会的課題の解決などが期待されている。

【0003】

５Ｇは、様々なサービスの要求品質に応えるため、８００ＭＨｚ、２ＧＨｚ、サブ６ＧＨｚ帯、又はＷｉ－Ｆｉ（登録商標）などの低い周波数帯からミリ波帯などの高い周波数帯まで、様々な周波数帯を活用するヘテロジーニアスネットワーク（Integrated Networks）で構成されている。

【0004】

このヘテロジーニアスネットワークを有効活用するために、５Ｇではデュアルコネクティビティが検討されている（例えば非特許文献１参照）。デュアルコネクティビティは、無線端末が異なる周波数帯のインターフェース（ＩＦ）を備え、複数の基地局と同時接続して通信をすることを可能にする仕組みである。

【0005】

また、５Ｇは、多様化したアプリケーションの各通信を要求品質に応じて適当な周波数帯の基地局に振り分けて、効率的にサービスを収容することが期待されている。

【0006】

しかしながら、デュアルコネクティビティにおける各無線端末の接続先基地局の決定法、及び基地局接続確立後の各アプリケーションのルーティング設定法は、明確に規定されていない。

【先行技術文献】

【非特許文献】

【0007】

【文献】O.Semiari et.al., “Integrated Millimeter Wave and Sub-6 GHz Wireless Networks: A Roadmap for Joint Mobile Broadband and Ultra-Reliable Low-Latency Communications,”IEEE Wireless Communications, vol.26, no.2, pp.109-115, April 2019

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、異なる周波数帯を用いて効率的な通信を可能にすることができる無線通信方法、無線通信システム、基地局装置、無線端末、及び無線通信プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様にかかる無線通信方法は、高周波帯で無線通信を行う１つ以上の高周波帯基地局、前記高周波帯基地局よりも低い周波数帯で無線通信を行う１つ以上の低周波帯基地局、並びに前記高周波帯基地局及び前記低周波帯基地局のいずれとも無線通信を可能にされた複数の無線端末を備えた無線通信システムが行う無線通信方法において、遮蔽物により電波を遮蔽されていない前記無線端末が送信するアプリケーションごとの品質要件を伴う接続要求に対する接続の可否を前記高周波帯基地局が判定する高周波接続判定工程と、前記高周波接続判定工程により接続を許可した前記無線端末に対し、高周波帯における接続許可を前記高周波帯基地局が応答する高周波応答制御工程と、前記高周波帯基地局が接続要求を拒否した前記無線端末に対し、当該無線端末が送信する接続要求に対する接続の可否を前記低周波帯基地局が判定する低周波接続判定工程と、前記低周波接続判定工程により接続を許可した前記無線端末に対し、低周波帯における接続許可を前記低周波帯基地局が応答する低周波応答制御工程と、前記無線端末それぞれが前記高周波帯基地局及び前記低周波帯基地局それぞれからの応答、及び前記低周波帯基地局における輻輳発生確率に基づいて、アプリケーションごとの品質要件を満たすように、前記高周波帯基地局又は前記低周波帯基地局を接続先として選択する学習を行う学習処理工程とを含むことを特徴とする。

【0010】

本発明の一態様にかかる無線通信システムは、高周波帯で無線通信を行う１つ以上の高周波帯基地局、前記高周波帯基地局よりも低い周波数帯で無線通信を行う１つ以上の低周波帯基地局、並びに前記高周波帯基地局及び前記低周波帯基地局のいずれとも無線通信を可能にされた複数の無線端末を備えた無線通信システムにおいて、前記高周波帯基地局が、遮蔽物により電波を遮蔽されていない前記無線端末が送信するアプリケーションごとの品質要件を伴う接続要求に対する接続の可否を判定する高周波接続判定部と、前記高周波接続判定部が接続を許可した前記無線端末に対し、高周波帯における接続許可を応答する高周波応答制御部とを有し、前記低周波帯基地局が、前記高周波帯基地局が接続要求を拒否した前記無線端末に対し、当該無線端末が送信する接続要求に対する接続の可否を判定する低周波接続判定部と、前記低周波接続判定部が接続を許可した前記無線端末に対し、低周波帯における接続許可を応答する低周波応答制御部とを有し、前記無線端末それぞれが、前記高周波帯基地局及び前記低周波帯基地局それぞれからの応答、及び前記低周波帯基地局における輻輳発生確率に基づいて、アプリケーションごとの品質要件を満たすように、前記高周波帯基地局又は前記低周波帯基地局を接続先として選択する学習を行う学習処理部を有することを特徴とする。

【0011】

本発明の一態様にかかる基地局装置は、高周波帯で無線端末と無線通信を行う高周波帯基地局、及び前記高周波帯基地局よりも低い周波数帯で無線端末と無線通信を行う低周波帯基地局の少なくとも１つを備えた基地局装置において、前記高周波帯基地局が、遮蔽物により電波を遮蔽されていない前記無線端末が送信するアプリケーションごとの品質要件を伴う接続要求に対する接続の可否を判定する高周波接続判定部と、前記高周波接続判定部が接続を許可した前記無線端末に対し、高周波帯における接続許可を応答する高周波応答制御部とを有し、前記低周波帯基地局が、前記高周波帯基地局が接続要求を拒否した前記無線端末に対し、当該無線端末が送信する接続要求に対する接続の可否を判定する低周波接続判定部と、前記低周波接続判定部が接続を許可した前記無線端末に対し、低周波帯における接続許可を応答する低周波応答制御部とを有することを特徴とする。

【0012】

本発明の一態様にかかる無線端末は、高周波帯で無線通信を行う１つ以上の高周波帯基地局、及び前記高周波帯基地局よりも低い周波数帯で無線通信を行う１つ以上の低周波帯基地局のいずれとも無線通信を可能にされた無線端末において、当該無線端末が遮蔽物により電波を遮蔽されていない場合に送信するアプリケーションごとの品質要件を伴う接続要求に対して接続を許可した前記高周波帯基地局、及び前記高周波帯基地局が接続要求を拒否した場合に接続を許可した前記低周波帯基地局それぞれからの応答、及び前記低周波帯基地局における輻輳発生確率に基づいて、アプリケーションごとの品質要件を満たすように、前記高周波帯基地局又は前記低周波帯基地局を接続先として選択する学習を行う学習処理部と、前記学習処理部が接続先として選択した前記高周波帯基地局又は前記低周波帯基地局に対して接続要求を行う接続要求制御部とを有することを特徴とする。

【発明の効果】

【0013】

本発明によれば、異なる周波数帯を用いて効率的な通信を可能にすることができる。

【図面の簡単な説明】

【0014】

【図1】一実施形態にかかる無線通信システムの基本構成例を示す図である。

【図2】無線通信システムの動作の概要を例示する図である。

【図3】高周波帯基地局が有する機能を例示する図である。

【図4】低周波帯基地局が有する機能を例示する図である。

【図5】無線端末が有する機能を例示する図である。

【図6】無線通信システムにおける動作を示すための変数を示す図である。

【図7】無線通信システムにおける動作を示すための変数を示す図である。

【図8】（ａ）は、無線端末から基地局装置への接続要求を示す図である。（ｂ）は、基地局装置から無線端末への接続の過程を示す図である。（ｃ）は、無線端末が基地局装置との接続を決定した状態及び学習を継続している状態を示す図である。

【図9】（ａ）は、基地局装置のミリ波帯インターフェースに対し、各無線端末が接続要求を行っている状態を示す図である。（ｂ）は、基地局装置が最も効用が高くなるユーザを選択した状態を示す図である。（ｃ）は、基地局装置がユーザの近隣に位置するユーザをクラスタに追加した状態を示す図である。（ｄ）は、ビームフォーミングを決定した状態を示す図である。

【図10】（ａ）は、基地局装置のサブ６ＧＨｚ帯のインターフェースに対し、各無線端末が接続要求を行っている状態を示す図である。（ｂ）は、基地局装置がサブ６ＧＨｚ帯のインターフェースに対し、接続する無線端末を選択した状態を示す図である。

【図11】一実施形態にかかる無線端末のハードウェア構成例を示す図である。

【図12】（ａ）は、無線通信システムの基本構成例を示す図である。（ｂ）は、無線通信システムが高周波帯を用いた場合の動作例を示す図である。（ｃ）は、無線通信システムが低周波帯を用いた場合の動作例を示す図である。

【発明を実施するための形態】

【0015】

まず、本発明がなされるに至った背景について説明する。図１２は、比較例の無線通信システム１の構成例及び動作例を示す図である。図１２（ａ）は、無線通信システム１の基本構成例を示す図である。図１２（ｂ）は、無線通信システム１が高周波帯を用いた場合の動作例を示す図である。図１２（ｃ）は、無線通信システム１が低周波帯を用いた場合の動作例を示す図である。なお、無線通信システム１は、上述した５Ｇの機能を備えていることとする。

【0016】

図１２（ａ）に示すように、無線通信システム１は、高周波帯インターフェース（ＩＦ）及び低周波数帯インターフェースを備えた複数の基地局装置２と、高周波帯インターフェース及び低周波数帯インターフェースを備えた１つ以上の無線端末３とを有する。

【0017】

具体的には、基地局装置２は、例えばミリ波帯などの高周波帯基地局としての機能、及びサブ６ＧＨｚ帯などの低周波帯基地局としての機能を有する。無線端末３は、例えばミリ波帯などの高周波帯無線端末としての機能、及びサブ６ＧＨｚ帯などの低周波帯無線端末としての機能を有する。

【0018】

つまり、無線通信システム１は、異なる周波数帯を用いたデュアルコネクティビティを有するシステムである。以下、高周波帯ではミリ波帯の電波（ビーム）が発せられ、低周波帯ではサブ６ＧＨｚ帯の電波（ビーム）が発せられることとする。

【0019】

無線通信システム１においては、無線端末３が備えるアプリケーションの要求品質を考慮せずに、無作為に無線端末３の接続先となる基地局装置２の決定、及びアプリケーションそれぞれのルーティング設定を行うと、以下のような通信効率の低下が生じる場合がある。

【0020】

例えば、図１２（ｂ）に示すように、基地局装置２と無線端末３とが高周波帯による通信を行う場合、樹木などの電波を遮蔽する遮蔽物４が通信路上にあると、高周波帯の電波が遮蔽されてしまう。

【0021】

具体的には、基地局装置２は、ミリ波帯の電波を照射する場合、無線通信システム１全体の利用率を最大化するように、接続する無線端末３が集中している方向へビームフォーミング（ＢＦ）を行う。

【0022】

しかし、基地局装置２が照射するＢＦの照準方向に存在する遮蔽物４の裏に位置する無線端末３に対しては伝送レートが激減する。つまり、高周波帯通信の指向性に伴って伝送レートの劣化が生じてしまう。

【0023】

また、図１２（ｃ）に示すように、高周波帯での収容に失敗した通信が低周波帯に遷移した場合、単に無線端末３における受信電力が最大となる基地局装置２に接続するようにされると、無線端末３それぞれの配置によっては特定の基地局装置２に接続が集中してしまうことがある。つまり、低周波帯の通信を行う基地局装置２において、輻輳の確率が高まることがある。

【0024】

そこで、一実施形態にかかる無線通信システムでは、異なる周波数帯を用いて効率的な通信を可能にするように、基地局装置及び無線端末が構成されている。

【0025】

図１は、一実施形態にかかる無線通信システム１０の基本となる構成例を示す図である。図１に示すように、無線通信システム１０は、例えば基地局装置２０及び無線端末３０を有し、基地局装置２０はネットワーク１００に接続されている。なお、無線通信システム１０は、上述した５Ｇの機能を備えていることとする。

【0026】

基地局装置２０は、高周波帯基地局４０及び低周波帯基地局６０を有し、デュアルコネクティビティを備えた基地局となっている。つまり、基地局装置２０は、高周波帯インターフェース（ＩＦ）及び低周波数帯インターフェースを備えている。

【0027】

高周波帯基地局４０は、ネットワーク１００に接続されており、例えばミリ波帯などの高周波帯（ミリ波帯インターフェース）を用いて無線端末３０との間で無線通信を行う。

【0028】

低周波帯基地局６０は、ネットワーク１００に接続されており、例えばサブ６ＧＨｚ帯（サブ６ＧＨｚ帯インターフェース）などの低周波帯を用いて無線端末３０との間で無線通信を行う。

【0029】

無線端末３０は、例えばミリ波帯などの高周波帯無線端末としての機能、及びサブ６ＧＨｚ帯などの低周波帯無線端末としての機能を有する。

【0030】

次に、図２を用いて無線通信システム１０の動作の概要について説明する。図２は、無線通信システム１０の動作の概要を例示する図である。ここでは、無線通信システム１０は、２つの基地局装置２０を有し、２つの基地局装置２０の周囲に８つの無線端末３０が位置しているものとする。

【0031】

無線通信システム１０において、無線端末３０は、自局が実行する各アプリケーションの要求品質の要件（品質要件）を満たすように、基地局装置２０が備える高周波帯基地局４０又は低周波帯基地局６０を選択して接続する設定を行う。また、無線端末３０は、アプリケーションごとにルーティング設定を実施する。

【0032】

このとき、無線端末３０は、高周波帯基地局４０及び低周波帯基地局６０に対し、接続要求の送信と、接続要求への応答としてフィードバック（ＦＢ）情報を受信することを繰り返し、上述した品質要件を満たすように設定を収束させる。

【0033】

ＦＢ情報には、無線端末３０が送信する各要求に対する可否の判定結果、他の無線端末３０に関する無線伝送レート、及び各アプリケーションの要求レートを含むこととする。

【0034】

具体的には、無線端末３０は、以下のようにＦＢ情報を用いてＱ学習（Q-learning）、ＤＱＮ（deep Q-learning）、ＤＤＱＮ（Dobule DQN）などの強化学習を行い、設定を収束させる。

【0035】

強化学習は、例えば無線端末３０が現在の状態を検知してある行動をとったことに対して報酬と呼ばれる補正値を受け取り、その状態・行動のペアの有効性を報酬で補正していくアルゴリズムである。ここでは、例えば無線通信システム１０における状態、行動、報酬を下記のように定義する。

【0036】

状態は、現在の高周波帯基地局４０又は低周波帯基地局６０を選択する設定、及び無線端末３０が実行するアプリケーションごとのルーティング設定であるとする。

【0037】

行動は、次に要求する高周波帯基地局４０又は低周波帯基地局６０を選択する設定、及び無線端末３０が実行するアプリケーションごとのルーティング設定の内容であるとする。

【0038】

報酬は、ＦＢ情報の加工値であるとする。

【0039】

そして、無線通信システム１０は、基地局装置２０と無線端末３０との間で次の（Ａ），（Ｂ），（Ｃ）の処理を繰り返す。

【0040】

（Ａ） 無線端末３０は、基地局装置２０に対して、接続とアプリケーションごとのルーティング設定を要求する。そして、無線端末３０は、現在の学習情報を参照して、現在の最適な接続とアプリケーションごとのルーティング設定を算出し、接続要求を対象となる基地局装置２０へ通知する。

【0041】

（Ｂ） 基地局装置２０は、後述する所定の制御を行い、無線端末３０からの要求に対する応答及び基地局装置２０に関する情報を無線端末３０に対して通知する。例えば、基地局装置２０は、無線端末３０が送信した接続要求に対する応答（接続可否）を通知する。また、基地局装置２０は、接続中又は接続要求中の他の無線端末３０の要求品質及び伝送レート等を基地局情報として無線端末３０へ通知する。

【0042】

具体例として、基地局装置２０において、高周波帯基地局４０は、無線通信システム１０全体の無線効率（効用）を最大化するように、無線端末３０が集中して位置する場所（接続無線端末集中部）に照準を合わせたＢＦ（ビームフォーミング）制御を行う。

【0043】

このとき、高周波帯基地局４０は、無線の受信電力を介して当該高周波帯基地局４０に対する各無線端末３０の相対座標となる情報を取得する。同時に、高周波帯基地局４０は、取得した情報に基づいて、ＢＦ制御における無線伝送レートも算出する。

【0044】

また、基地局装置２０は、過去の通信実績に基づいて、各無線端末３０が実行する各アプリケーションの要求帯域を示す情報を取得する。そして、高周波帯基地局４０は、各無線端末３０に対する無線伝送レート及び各アプリケーションの要求帯域の２つの情報に基づいて、効用を最大化する方向を接続無線端末集中部とする。

【0045】

また、基地局装置２０において、低周波帯基地局６０は、輻輳が生じる場合には無線端末３０に対する接続の可否を判定し、接続を許可する無線端末３０を選択する制御を行う。

【0046】

（Ｃ） 無線端末３０は、基地局装置２０が送信した応答及び基地局情報を用いて、高周波帯基地局４０又は低周波帯基地局６０の選択、及び無線端末３０が実行するアプリケーションごとのルーティングを学習する処理を行う。ここで、無線端末３０は、制御に関する学習情報を強化学習又は深層強化学習により更新する。

【0047】

そして、無線通信システム１０は、無線端末３０が制御及び学習を行って、次のように動作する。

【0048】

まず、高周波帯基地局４０は、通信経路上に遮蔽物４がない無線端末３０の位置する方向へビームフォーミングを行い、当該無線端末３０のみに接続する。

【0049】

通信経路上に遮蔽物４がある無線端末３０に対しては、低周波帯基地局６０が収容する。また、高周波帯基地局４０が収容しきれない無線端末３０に対しても、基地局装置２０は、デュアルコネクティビティによって低周波帯基地局６０が接続する。

【0050】

なお、無線端末３０は、低周波帯基地局６０に対して接続する場合、電波の利用率の偏りを最小化することができる低周波帯基地局６０を選択して接続する。また、高周波帯基地局４０及び低周波帯基地局６０の両方に接続中の無線端末３０は、それぞれの接続による輻輳確率を最小化するように、各アプリケーションのルーティングを設定する。

【0051】

次に、高周波帯基地局４０、低周波帯基地局６０及び無線端末３０の構成例を示し、無線通信システム１０について詳述する。

【0052】

図３は、高周波帯基地局４０が有する機能を例示する図である。図３に示すように、高周波帯基地局４０は、アンテナ部４００、ＲＦ（Radio Frequency）部４０２、送受信部４０４、ＩＦ（インターフェース）部４０６、伝送レート測定部４０８、メディアアクセス制御（ＭＡＣ）測定部４１０、高周波接続判定部４１２、高周波応答制御部４１４、及びＢＦ（ビームフォーミング）制御部４１６を有する。

【0053】

高周波帯基地局４０は、アンテナ部４００及びＲＦ部４０２を介して、送受信部４０４が例えばミリ波帯の電波を送受信する。また、高周波帯基地局４０は、ＩＦ部４０６がネットワーク１００を介して他の基地局装置２０との間で情報を送受信する。

【0054】

伝送レート測定部４０８は、ＩＦ部４０６を介して取得した情報に基づいて他の基地局装置２０の伝送レート、及び自局の伝送レートを測定し、測定結果を高周波接続判定部４１２に対して出力する。

【0055】

ＭＡＣ測定部４１０は、ＩＦ部４０６を介して取得した情報に基づいて他の基地局装置２０のメディアアクセス等、及び自局のメディアアクセス等を測定し、測定結果を高周波接続判定部４１２に対して出力する。

【0056】

高周波接続判定部４１２は、送受信部４０４、伝送レート測定部４０８及びＭＡＣ測定部４１０から入力された情報に基づいて、遮蔽物により電波を遮蔽されていない無線端末３０が送信するアプリケーションごとの品質要件を伴う接続要求に対する接続の可否を判定し、判定結果を高周波応答制御部４１４及びＢＦ制御部４１６に対して出力する。

【0057】

高周波応答制御部４１４は、接続要求をした無線端末３０に対する応答を制御する。例えば、高周波応答制御部４１４は、高周波接続判定部４１２が接続を許可した無線端末３０に対し、高周波帯における接続許可を、送受信部４０４、ＲＦ部４０２及びアンテナ部４００を介して応答する。

【0058】

ＢＦ制御部４１６は、高周波接続判定部４１２が判定した接続の可否に基づいて、ＲＦ部４０２及びアンテナ部４００によって出力するビームフォーミングを制御する。例えば、ＢＦ制御部４１６は、通信経路上に遮蔽物４（図２参照）がない無線端末３０に照準を合わせたビームフォーミング制御を行う。

【0059】

図４は、低周波帯基地局６０が有する機能を例示する図である。図４に示すように、低周波帯基地局６０は、アンテナ部６００、ＲＦ（Radio Frequency）部６０２、送受信部６０４、ＩＦ（インターフェース）部６０６、伝送レート測定部６０８、メディアアクセス制御（ＭＡＣ）測定部６１０、低周波接続判定部６１２、及び低周波応答制御部６１４を有する。

【0060】

低周波帯基地局６０は、アンテナ部６００及びＲＦ部６０２を介して、送受信部６０４が例えばサブ６ＧＨｚ帯の電波を送受信する。また、低周波帯基地局６０は、ＩＦ部６０６がネットワーク１００を介して他の基地局装置２０との間で情報を送受信する。

【0061】

伝送レート測定部６０８は、ＩＦ部６０６を介して取得した情報に基づいて他の基地局装置２０の伝送レート、及び自局の伝送レートを測定し、測定結果を低周波接続判定部６１２に対して出力する。

【0062】

ＭＡＣ測定部６１０は、ＩＦ部６０６を介して取得した情報に基づいて他の基地局装置２０のメディアアクセス等、及び自局のメディアアクセス等を測定し、測定結果を低周波接続判定部６１２に対して出力する。

【0063】

低周波接続判定部６１２は、送受信部６０４、伝送レート測定部６０８及びＭＡＣ測定部６１０から入力された情報に基づいて、高周波帯基地局４０が接続要求を拒否した無線端末３０に対し、当該無線端末３０が送信する接続要求に対する接続の可否を判定し、判定結果を低周波応答制御部６１４に対して出力する。

【0064】

低周波応答制御部６１４は、接続要求をした無線端末３０に対する応答を制御する。例えば、低周波応答制御部６１４は、低周波接続判定部６１２が接続を許可した無線端末３０に対し、低周波帯における接続許可を、送受信部６０４、ＲＦ部６０２及びアンテナ部６００を介して応答する。

【0065】

図５は、無線端末３０が有する機能を例示する図である。図５に示すように、無線端末３０は、アンテナ部３００、高周波帯ＲＦ部３０２、高周波帯送受信部３０４、アンテナ部３０６、低周波帯ＲＦ部３０８、低周波帯送受信部３１０、アプリケーション管理部３１２、ルーティング設定部３１４、接続要求制御部３１６、記憶部３１８、及び学習処理部３２０を有する。

【0066】

無線端末３０は、アンテナ部３００及び高周波帯ＲＦ部３０２を介して、高周波帯送受信部３０４が例えばミリ波帯の電波を送受信する。また、無線端末３０は、アンテナ部３０６及び低周波帯ＲＦ部３０８を介して、低周波帯送受信部３１０が例えばサブ６ＧＨｚ帯の電波を送受信する。

【0067】

アプリケーション管理部３１２は、無線端末３０が備える各アプリケーションを管理する。

【0068】

ルーティング設定部３１４は、アプリケーション管理部３１２が管理するアプリケーションごとにルーティング設定を行い、設定内容を接続要求制御部３１６に対して出力する。なお、ルーティング設定部３１４は、学習処理部３２０が行う強化学習又は深層強化学習の結果に応じてルーティング設定を更新する。

【0069】

接続要求制御部３１６は、ルーティング設定部３１４が設定したルーティング、及び学習処理部３２０が行う強化学習又は深層強化学習の結果に応じて、基地局装置２０に対する接続要求を制御する。

【0070】

記憶部３１８は、高周波帯送受信部３０４及び低周波帯送受信部３１０が受信した情報、並びに学習処理部３２０が学習した結果を記憶する。

【0071】

学習処理部３２０は、記憶部３１８が記憶している情報に基づいて、強化学習又は深層強化学習を行い、学習した結果をルーティング設定部３１４及び接続要求制御部３１６に対して出力する。

【0072】

例えば、学習処理部３２０は、高周波帯基地局４０及び低周波帯基地局６０それぞれからの応答、及び低周波帯基地局６０における輻輳発生確率に基づいて、アプリケーションごとの品質要件を満たすように、高周波帯基地局４０又は低周波帯基地局６０を接続先として選択する学習を行う。

【0073】

また、学習処理部３２０は、当該無線端末３０の現在の接続にかかる状態を検知し、次に高周波帯基地局４０又は低周波帯基地局６０に接続を要求する行動に対する報酬を取得して、状態及び行動の組合せの有効性を報酬により補正する強化学習又は深層強化学習を行う。

【0074】

次に、無線通信システム１０の動作について詳述する。なお、無線通信システム１０における動作を示すために、ここでは図６及び図７に示された変数を用いる。

【0075】

図６に示した基地局装置ｂ（ＡＰｂ）及び無線端末ｋ（ユーザｋ）が備える通信インターフェースは、下式（１）によって表される。

【0076】

【数1】

【0077】

ミリ波帯の電波は、無線端末ｋを収容する容量がサブ６ＧＨｚ帯の電波よりも多くなる。しかし、遮蔽物によって容易に遮蔽されてしまう。ここでは、ミリ波帯の電波は、下式（２）によって表される。

【0078】

【数2】

【0079】

一方、サブ６ＧＨｚ帯の電波は、ミリ波帯の電波よりも無線端末ｋを収容する容量が小さくなるが、ミリ波帯の電波よりも遮蔽されにくく、信頼性が高い。

【0080】

各無線端末ｋは、アプリケーションセットＦ_ｋの品質要件を伴う接続を要求する。各アプリケーションは、それぞれの品質要件を満たす必要がある。

【0081】

そこで、無線通信システム１０は、無線端末ｋ内のアプリケーションｆの要求帯域Ｒ_ｋｆを必要最低限「補償」し、基地局装置ｂの負荷φ_ｂを抑制して、下式（３）～（８）に示すようにシステム全体の効用関数（電波の利用効率）ｕを最大化する。

【0082】

【数3】

【数4】

【数5】

【数6】

【数7】

【数8】

【0083】

図８は、無線通信システム１０の動作シーケンス（（ａ）～（ｃ））を示す図である。図８（ａ）は、無線端末ｋから基地局装置ｂへの接続要求を示す図である。図８（ｂ）は、基地局装置ｂから無線端末ｋへの接続の過程を示す図である。図８（ｃ）は、無線端末ｋが基地局装置ｂとの接続を決定した状態及び学習を継続している状態を示す図である。

【0084】

図８（ａ）において、状態ｓ_ｋ（ｔ）は、現在の無線端末ｋ（ユーザｋ）がアプリケーションの品質要件を満たして基地局装置ｂに時間ｔで接続していることを示しており、具体的には下式（９）によって表される。

【0085】

【数9】

【0086】

なお、状態Ｓ_ｋの濃度は、下式（１０）によって表され、（基地局台数×バンド数）^アプリケーション数となっている。ここでは、バンド数は、高周波及び低周波の２つである。

【0087】

【数10】

【0088】

また、行動ａ_ｋ（ｔ）は、無線端末ｋが基地局装置ｂに対してアプリケーションを実行するために時間ｔにおいて次に選択して要求する接続であり、具体的には下式（１１），（１２）によって表される。

【0089】

【数11】

【数12】

【0090】

なお、行動Ａ_ｋの濃度は、下式（１３）によって表され、（基地局台数×バンド数）^アプリケーション数となっている。ここでは、バンド数は、高周波及び低周波の２つである。

【0091】

【数13】

【0092】

上述したように、無線端末ｋは、例えばＤＱＮを用いて強化学習を行う機能を備えており、アプリケーションごとに接続要求を基地局装置ｂに対して行う。

【0093】

図８（ｂ）に示すように、基地局装置ｂは、無線端末ｋからのミリ波帯によるアプリケーションごとの品質要件を満たす接続要求に対し、無線端末ｋの位置及び基地局装置ｂの電波利用効率に基づいて、接続を許可する無線端末ｋを選択する。

【0094】

また、基地局装置ｂは、無線端末ｋからのサブ６ＧＨｚ帯によるアプリケーションごとの品質要件を満たす接続要求に対し、無線端末ｋの位置及び基地局装置ｂの電波利用効率に基づいて、接続を許可する無線端末ｋを選択する。このとき、基地局装置ｂは、過負荷である場合には、最も負荷の重い無線端末ｋをドロップさせる。

【0095】

そして、基地局装置ｂは、ＦＢ情報を用いて接続の可否を無線端末ｋへ応答する。

【0096】

図８（ｃ）に示すように、無線端末ｋは、ＦＢ情報に基づいて下式（１４）～（１６）によって表される報酬を算出し、ＤＱＮ又はＤＤＱＮを更新させて強化学習を行い、新たな状態へ移行する。

【0097】

【数14】

【数15】

【数16】

【0098】

次に、図８（ｂ）に示した基地局装置ｂから無線端末ｋへの接続のためのアルゴリズムを、図９及び図１０を用いてより詳細に説明する。

【0099】

図９は、基地局装置ｂがミリ波帯のインターフェースを用いて接続を許可する無線端末ｋ（ユーザｕ）を選択するアルゴリズムを模式的に示す図である。図９（ａ）は、基地局装置ｂのミリ波帯インターフェースに対し、各無線端末ｋ（各ユーザｕ）が接続要求を行っている状態を示す図である。図９（ｂ）は、基地局装置ｂが最も効用（電波利用効率）が高くなるユーザｕ_２を選択した状態を示す図である。図９（ｃ）は、基地局装置ｂがユーザｕ_２の近隣に位置するユーザｕ_１をクラスタＣ_ｂに追加した状態を示す図である。図９（ｄ）は、基地局装置ｂがユーザｕ_２の近隣に位置するユーザｕ_１をクラスタに追加して、ビームフォーミングを決定した状態を示す図である。

【0100】

図９（ａ）に示すように、各無線端末ｋ（ユーザｕ_１～ｕ_３）が接続要求を行っている場合、基地局装置ｂは、ビーム幅θ_ｂｋを最小にして、実利（効用）が最も高くなるユーザｕ_２を選択する。

【0101】

図９（ｂ）に示すように、基地局装置ｂは、選択したユーザｕ_２を下式（１７）によって表されるクラスタＣ_ｂに追加する。

【0102】

【数17】

【0103】

このとき、ユーザｕ_１及びユーザｕ_３は、ユーザｕ_２の近隣に位置してビーム照射の対象に追加される候補となっている。もし、下式（１８）が満たされる場合、基地局装置ｂは、当該ユーザｕを上式（１７）に示したクラスタＣ_ｂに追加する。

【0104】

【数18】

【0105】

図９（ｃ）に示した例では、基地局装置ｂは、ユーザｕ_１が上式（１８）を満たしたとして、下式（１９）に示したように、ユーザｕ_１をクラスタＣ_ｂに追加する。

【0106】

【数19】

【0107】

次に、基地局装置ｂは、ユーザｕ_２の近隣に位置しているもう一つのユーザｕ_３をクラスタＣ_ｂに追加した後の最適化されたビーム方向及びビーム幅の関数である基地局の有利関数と、ユーザｕ_３をクラスタＣ_ｂに追加する前の最適化されたビーム方向及びビーム幅の関数である基地局の有利関数とを下式（２０）に示したように比較する。

【0108】

【数20】

【0109】

ここでは、ユーザｕ_３をクラスタＣ_ｂに追加した後の最適化された基地局の有利関数が、ユーザｕ_３をクラスタＣ_ｂに追加する前の最適化された基地局の有利関数よりも小さくなる（図９（ｄ））ため、基地局装置ｂは、上式（１９）に示したようにクラスタＣ_ｂを決定する。

【0110】

図１０は、基地局装置ｂがサブ６ＧＨｚ帯のインターフェースを用いて接続を許可する無線端末ｋ（ユーザｕ）を選択するアルゴリズムを模式的に示す図である。図１０（ａ）は、基地局装置ｂのサブ６ＧＨｚ帯のインターフェースに対し、各無線端末ｋ（各ユーザｕ_１～ｕ_３）が接続要求を行っている状態を示す図である。図１０（ｂ）は、基地局装置ｂがサブ６ＧＨｚ帯のインターフェースに対し、接続する無線端末ｋ（各ユーザｕ）を選択した状態を示す図である。

【0111】

基地局装置ｂのサブ６ＧＨｚ帯のインターフェースに対し、各無線端末ｋ（各ユーザｕ_１～ｕ_３）が接続要求を行っている場合（図１０（ａ））、基地局装置ｂは、実利（効用）が最も高くなる例えばユーザｕ_２，ｕ_３を選択する。このとき、基地局装置ｂは、負荷の重い（効用が小さい）ユーザｕ_１，ｕ_４をドロップさせる。

【0112】

なお、無線端末３０、高周波帯基地局４０、及び低周波帯基地局６０それぞれが有する各機能は、それぞれ一部又は全部がハードウェアによって構成されてもよいし、ＣＰＵ等のプロセッサが実行するプログラムとして構成されてもよい。

【0113】

すなわち、無線端末３０、高周波帯基地局４０、及び低周波帯基地局６０は、それぞれコンピュータとプログラムを用いて実現することができ、プログラムを記憶媒体に記録することも、ネットワークを通して提供することも可能である。

【0114】

図１１は、無線端末３０のハードウェア構成例を示す図である。図１１に示すように、無線端末３０は、例えば入力部７０、出力部７１、通信部７２、ＣＰＵ７３、メモリ７４及びＨＤＤ７５がバス７６を介して接続され、コンピュータとしての機能を備える。また、無線端末３０は、記憶媒体７７との間でデータを入出力することができるようにされている。

【0115】

入力部７０は、例えばキーボード等である。出力部７１は、例えばディスプレイなどの表示装置である。通信部７２は、例えば無線のネットワークインターフェースである。

【0116】

ＣＰＵ７３は、無線端末３０を構成する各部を制御し、上述した計算等を行う。メモリ７４及びＨＤＤ７５は、データ等を記憶する。記憶媒体７７は、無線端末３０が有する機能を実行させる無線通信プログラム等を記憶可能にされている。なお、無線端末３０を構成するアーキテクチャは図１１に示した例に限定されない。また、高周波帯基地局４０及び低周波帯基地局６０も無線端末３０と同様のハードウェア構成を有する。

【0117】

このように、一実施形態にかかる無線通信システム１０は、高周波帯基地局４０が、遮蔽物４により電波を遮蔽されていない無線端末３０が送信するアプリケーションごとの品質要件を伴う接続要求に対する接続の可否を判定し、低周波帯基地局６０が、高周波帯基地局４０が接続要求を拒否した無線端末３０に対し、当該無線端末３０が送信する接続要求に対する接続の可否を判定し、無線端末３０それぞれが、高周波帯基地局４０及び低周波帯基地局６０それぞれからの応答、及び低周波帯基地局６０における輻輳発生確率に基づいて、アプリケーションごとの品質要件を満たすように、高周波帯基地局４０又は低周波帯基地局６０を接続先として選択する学習を行うので、異なる周波数帯を用いて効率的な通信を可能にすることができる。

【符号の説明】

【0118】

１０・・・無線通信システム、２０・・・基地局装置、３０・・・無線端末、４０・・・高周波帯基地局、６０・・・低周波帯基地局、７０・・・入力部、７１・・・出力部、７２・・・通信部、７３・・・ＣＰＵ、７４・・・メモリ、７５・・・ＨＤＤ、７６・・・バス、７７・・・記憶媒体、４００・・・アンテナ部、４０２・・・ＲＦ部、４０４・・・送受信部、４０６・・・ＩＦ部、４０８・・・伝送レート測定部、４１０・・・ＭＡＣ測定部、４１２・・・高周波接続判定部、４１４・・・高周波応答制御部、４１６・・・ＢＦ制御部、６００・・・アンテナ部、６０２・・・ＲＦ部、６０４・・・送受信部、６０６・・・ＩＦ部、６０８・・・伝送レート測定部、６１０・・・ＭＡＣ測定部、６１２・・・低周波接続判定部、６１４・・・低周波応答制御部、３００・・・アンテナ部、３０２・・・高周波帯ＲＦ部、３０４・・・高周波帯送受信部、３０６・・・アンテナ部、３０８・・・低周波帯ＲＦ部、３１０・・・低周波帯送受信部、３１２・・・アプリケーション管理部、３１４・・・ルーティング設定部、３１６・・・接続要求制御部、３１８・・・記憶部、３２０・・・学習処理部、

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】