特許 7606833 制御装置、及び、制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-18

(45)【発行日】2024-12-26

(54)【発明の名称】制御装置、及び、制御方法

(51)【国際特許分類】

   H04W 28/18 20090101AFI20241219BHJP

   H04W 16/14 20090101ALI20241219BHJP

   H04B 17/382 20150101ALI20241219BHJP

【ＦＩ】

H04W28/18 110

H04W16/14

H04B17/382

【請求項の数】 8

(21)【出願番号】P 2020132990

(22)【出願日】2020-08-05

(65)【公開番号】P2022029618

(43)【公開日】2022-02-18

【審査請求日】2023-07-06

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、総務省、令和２年度における電波資源拡大のための研究開発のうちＩｏＴ／５Ｇ時代の様々な電波環境に対応した最適通信方式選択技術の研究開発の委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000005821

【氏名又は名称】パナソニックホールディングス株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】下条 則之

【審査官】石井 則之

(56)【参考文献】

【文献】特開平０５－２８４０８９（ＪＰ，Ａ）

【文献】特開２０２０－１１３９１４（ＪＰ，Ａ）

【文献】特開２００９－０５５４６７（ＪＰ，Ａ）

【文献】特開２０１３－２１１６１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｗ ２８／１８

Ｈ０４Ｗ １６／１４

Ｈ０４Ｂ １７／３８２

(57)【特許請求の範囲】

【請求項1】

無線通信方式、無線接続する基地局、無線通信に関する設定情報、及び、動作するアプリケーションの少なくとも１つが互いに異なる第１の端末と第２の端末とを含む複数の端末のそれぞれから送信された信号に対する受信処理の結果を示す受信結果を前記端末毎に取得する取得部と、
前記複数の端末を集中制御する制御部であって、
前記第１の端末から送信された信号に対する前記受信処理の結果を示す第１の受信結果に基づいて、前記第１の端末に共通である第１の機械学習を行い、前記第１の端末が使用する無線通信に関するパラメータを決定し、
前記第２の端末から送信された信号に対する前記受信処理の結果を示す第２の受信結果に基づいて、前記第２の端末に共通である第２の機械学習を行い、前記第２の端末が使用する無線通信に関するパラメータを決定する制御部と、
を備える制御装置。

【請求項2】

前記パラメータは、前記端末が使用するチャネル、送信電力、及び、拡散率の少なくとも１種類を含む、
請求項１に記載の制御装置。

【請求項3】

前記第１の受信結果は、前記第１の端末から送信された前記信号の受信が成功したか否か、前記第１の端末から送信された前記信号の受信成功率、及び、前記第１の端末から送信された前記信号の受信成功時間間隔の少なくとも１つを示し、
前記第２の受信結果は、前記第２の端末から送信された前記信号の受信が成功したか否か、前記第２の端末から送信された前記信号の受信成功率、及び、前記第２の端末から送信された前記信号の受信成功時間間隔の少なくとも１つを示す、
請求項１に記載の制御装置。

【請求項4】

前記制御部は、前記第１の機械学習において、前記第２の機械学習において得られた情報を使用する、
請求項１に記載の制御装置。

【請求項5】

前記制御部は、前記第１の受信結果が、前記第１の端末から送信された前記信号の受信が成功しなかったことを示す場合、前記信号を送信した前記第１の端末が使用する前記パラメータを決定しない、
請求項１に記載の制御装置。

【請求項6】

前記制御部は、複数の前記パラメータを、優先度の高いものから順に決定する、
請求項１に記載の制御装置。

【請求項7】

前記端末及び前記制御装置は、Low Power Wide Area（ＬＰＷＡ）のネットワークに適用される、
請求項１に記載の制御装置。

【請求項8】

制御装置が、
無線通信方式、無線接続する基地局、無線通信に関する設定情報、及び、動作するアプリケーションの少なくとも１つが互いに異なる第１の端末と第２の端末とを含む複数の端末のそれぞれから送信された信号に対する受信処理の結果を示す受信結果を前記端末毎に取得し、
前記第１の端末から送信された信号に対する前記受信処理の結果を示す第１の受信結果に基づいて、前記第１の端末に共通である第１の機械学習を行い、前記第１の端末が使用する無線通信に関するパラメータを決定し、
前記第２の端末から送信された信号に対する前記受信処理の結果を示す第２の受信結果に基づいて、前記第２の端末に共通である第２の機械学習を行い、前記第２の端末が使用する無線通信に関するパラメータを決定する、
制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、制御装置、及び、制御方法に関する。

【背景技術】

【0002】

無線通信装置間（例えば、基地局と端末との間）の通信には、免許不要な帯域（アンライセンスバンド）が利用されることがある。アンライセンスバンドは、様々な無線システムによって利用されるため、干渉等を含む様々な無線通信環境の変化が生じる。

【0003】

例えば、特許文献１には、複数の基地局に対して、通信に用いるチャネルを割り当てる場合に、干渉量が最小化されるようにチャネルの割り当てを決定する無線通信システムが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－８１０８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、端末が使用するチャネル等の無線通信に関するパラメータを無線通信環境の変化に応じて制御する方法については、検討の余地がある。

【0006】

本開示の非限定的な実施例は、無線通信環境の変化に応じて、無線通信に関するパラメータを簡易に制御することができる制御装置、通信システム、及び、制御方法の提供に資する。

【課題を解決するための手段】

【0007】

本開示の一実施例に係る制御装置は、複数の端末のそれぞれから送信された信号に対する受信処理の結果を示す受信結果を前記端末毎に取得する取得部と、前記複数の端末を集中制御する制御部であって、前記受信結果に基づいて、前記複数の端末に共通である機械学習を行い、前記複数の端末それぞれが使用する無線通信に関するパラメータを決定する制御部と、を備える。

【0008】

本開示の一実施例に係る通信システムは、複数の端末と、前記複数の端末を集中制御する制御装置と、を有し、前記制御装置は、前記複数の端末のそれぞれから送信された第１の信号に対する受信処理の結果を示す受信結果を前記端末毎に取得する取得部と、前記受信結果に基づいて、前記複数の端末に共通である機械学習を行い、前記複数の端末それぞれが使用する無線通信に関するパラメータを決定する第１の制御部と、を備え、前記端末は、前記制御装置から前記パラメータを含む制御情報を受信する受信部と、前記パラメータを用いて、第２の信号の送信処理を行う第２の制御部と、前記第２の信号を送信する送信部と、を備える。

【0009】

本開示の一実施例に係る制御方法は、複数の端末を集中制御する制御装置が、前記複数の端末のそれぞれから送信された信号に対する受信処理の結果を示す受信結果を前記端末毎に取得し、前記受信結果に基づいて、前記複数の端末に共通である機械学習を行い、前記複数の端末それぞれが使用する無線通信に関するパラメータを決定する。

【0010】

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0011】

本開示の一実施例によれば、無線通信環境の変化に応じて、無線通信に関するパラメータを簡易に制御することができる。

【0012】

本開示の一実施例における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0013】

【図1】ＬＰＷＡを含む無線システムの概要を示す図

【図2】本開示の一実施の形態に係るネットワークの構成例を示すブロック図

【図3】本開示の一実施の形態に係る基地局の構成例を示すブロック図

【図4】本開示の一実施の形態に係る集中制御サーバの構成例を示すブロック図

【図5】本開示の一実施の形態に係る端末の構成例を示すブロック図

【図6】強化学習のモデルの一例を示す図

【図7】マルチエージェントのモデルの一例を示す図

【図8】エージェント毎に学習器が設けられるモデルの例を示す図

【図9】エージェント間で共通の学習器が設けられるモデルの例を示す図

【図10】本開示の一実施の形態における処理手順のシーケンスの一例を示す図

【図11】バリエーション１における、学習器を含むモデルの例を示す図

【図12】バリエーション２における、学習器を含むモデルの例を示す図

【図13】バリエーション２において、情報交換を行う場合のモデルの例を示す図

【発明を実施するための形態】

【0014】

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0015】

（一実施の形態）
アンライセンスバンド（例えば、９２０ＭＨｚ帯、２．４ＧＨｚ帯、及び、５ＧＨｚ帯といった周波数帯）では、無線ＬＡＮ（Local Area Network）の通信に加えて、ＩｏＴ（Internet of Things）端末及び／又はＭ２Ｍ（Machine to Machine）端末による通信が行われる。

【0016】

例えば、ＩｏＴ及び／又はＭ２Ｍでは、低消費電力で広いエリアでの通信が可能なＬＰＷＡ（Low Power Wide Area）と呼ばれる無線通信技術の利用が検討されている。

【0017】

ＬＰＷＡには、複数の方式（規格又はＲＡＴ（Radio Access Technology））が存在する。例えば、ＬＰＷＡの通信方式には、スペクトラム拡散方式を用いて通信を行う第１の通信方式と、スペクトラム拡散方式を用いずに通信を行う第２の通信方式とが含まれる。第１の通信方式には、例えば、「ＬｏＲａ」と称される通信方式が含まれる。また、第２の通信方式には、例えば、「Ｗｉ－ＳＵＮ（Wireless Smart Utility Network）」と称される通信方式が含まれる。

【0018】

ＬＰＷＡシステムの通信をサポートする端末（以下、「ＬＰＷＡ端末」と記載される場合がある）は、ユーザが所有する端末に限らず、様々な機器に搭載される。例えば、ＬＰＷＡ端末は、テレビ、エアコン、洗濯機、及び、冷蔵庫等の家電機器、ならびに、車両等の移動輸送機関にも搭載される。

【0019】

アンライセンスバンドは、ＬＰＷＡの他にも、例えば、Ｗｉ－ｆｉ（登録商標）やＲＦＩＤ（Radio Frequency IDentifier）等を含む様々なシステムが使用するため、トラヒックが急増し、干渉が増加する。

【0020】

そのため、例えば、ＬＰＷＡシステムにおいて、ＬＰＷＡ端末の通信に使用するパラメータ（例えば、チャネル）は、干渉等を考慮して適切に決定されることが望まれる。

【0021】

図１は、ＬＰＷＡを含む無線システムの概要を示す図である。

【0022】

図１には、グループ＃１と、グループ＃２と、グループ＃３とが示される。各グループには、複数の装置が含まれる。

【0023】

グループ＃１と＃２とは、どちらも、ＬＰＷＡシステムである。ただし、グループ＃１の各装置が属するネットワーク＃１（ＮＷ＃１）は、グループ＃２の各装置が属するネットワーク＃２（ＮＷ＃２）と異なる。例えば、ＮＷ＃１とＮＷ＃２とは、同一のＬＰＷＡシステムであり、互いに異なる事業者によって運用されるネットワークである。グループ＃２のＬＰＷＡシステムは、グループ＃１によって管理されないネットワーク（管理外ネットワーク）のＬＰＷＡシステムである。

【0024】

グループ＃１には、ＮＷ＃１に属し、ＮＷ＃１と有線接続又は無線接続する装置が含まれる。例えば、グループ＃１は、ＬＰＷＡシステムのゲートウェイ＃１（ＧＷ＃１）とＧＷ＃２と端末＃１～＃３とを含む。また、グループ＃１は、ＮＷ＃１を介して、ＧＷ等を集中制御する集中制御サーバ＃１を含む。

【0025】

グループ＃２には、ＮＷ＃２に属し、ＮＷ＃２と有線接続又は無線接続する装置が含まれる。例えば、グループ＃２は、ＬＰＷＡシステムのＧＷ＃３と端末＃４～＃５とを含む。また、グループ＃２は、ＮＷ＃２を介して、ＧＷ等を集中制御する集中制御サーバ＃２を含む。

【0026】

なお、図１のグループ＃１及びグループ＃２における装置の数は一例であり、本開示はこれに限定されない。例えば、１つのグループに含まれるＧＷの数は、３以上であってもよい。また、１つのグループに含まれる端末の数は、１であってもよいし、４以上であってもよい。

【0027】

また、各グループのＮＷには、他の装置が接続されてもよい。例えば、グループ＃１には、ＧＷ＃１及び／又はＧＷ＃２と端末＃１～＃３との無線通信を中継する中継局が含まれてよい。なお、グループ＃２においても、同様の中継局が含まれてよい。

【0028】

グループ＃３は、グループ＃１の無線システム（ＬＰＷＡシステム）と異なる無線システムである。グループ＃３の無線システムは、グループ＃１によって管理されない管理外ネットワークの無線システムである。グループ＃３の無線システムは、例えば、ＲＦＩＤ及びＷｉ－ｆｉ等である。グループ＃３には、ＲＦＩＤリーダ／ライタ及びＲＦＩＤタグと、Ｗｉ－ｆｉを使用する端末等が含まれる。なお、グループ＃３の無線システムには、ＬＴＥ（Long Term Evolution）システム、及び、レーダシステム等が含まれてよい。さらにグループ＃３には、無線システム以外の、例えば一般家電、照明設備、重機設備等の雑音源が含まれてよい。

【0029】

なお、図１に示すネットワーク構成、及び／又は、装置の構成は一例であり、本開示はこれに限定されない。

【0030】

なお、上述した、ＧＷは、干渉を測定する干渉モニタリング装置の機能を有してもよい。以下の説明における「基地局」は、干渉モニタリング装置の機能を有するＧＷに対応する。「干渉モニタリング」は、「電波モニタリング」、「通信環境モニタリング」等の他の表記に置き換えられてもよい。

【0031】

また、図１に示す各ネットワークには、図１に示す装置と別の装置が含まれてよい。その場合、当該別の装置が、図１に示す装置の一部又は全部の機能を有してもよい。例えば、グループ＃１又はグループ＃２に中継局が設けられる場合、当該中継局が、干渉モニタリング装置の機能を有してもよい。また、中継局は、ＧＷの機能と干渉モニタリング機能とを有してもよい。あるいは、中継局は、干渉モニタリング装置の機能を有し、ＧＷの機能を有さなくてもよい。

【0032】

グループ＃１～＃３の各無線装置は、共通のシステム帯域（例えば、アンライセンスバンド）を使用する。そのため、グループ＃１～＃３に含まれる各無線装置は、他の無線装置からの干渉を受ける。以下、グループ＃１に含まれる無線装置が受ける干渉を例に挙げて説明する。

【0033】

例えば、グループ＃１に含まれる第１の無線装置（例えば、端末＃２）がグループ＃１に含まれる第２の無線装置（例えば、ＧＷ＃１）に対して送信する信号は、グループ＃１に含まれる第３の無線装置（例えば、ＧＷ＃２）においても受信（検出）される場合がある。この場合、第３の無線装置においては、当該信号に起因した干渉を生じさせる場合がある。以下では、ＮＷ＃１に属する無線装置がＮＷ＃１に属する他の無線装置から受信する干渉信号は、「管理内信号」と記載されることがある。例えば、管理内信号は、ＬＰＷＡシステムの通信をサポートし、ＮＷ＃１に属する無線装置が、ＬＰＷＡシステムの通信をサポートし、ＮＷ＃１に属する別の無線装置から受ける干渉に該当する。

【0034】

また、例えば、グループ＃２及び／又はグループ＃３に含まれる無線装置（例えば、端末＃５及び／又はＲＦＩＤリーダ／ライタ）によって送信される信号は、グループ＃１に含まれる無線装置（例えば、端末＃１）において干渉を生じさせる。以下では、ＮＷ＃１に属する無線装置が、ＮＷ＃１に属さない無線装置から受ける干渉は、「管理外干渉」と記載されることがある。例えば、管理外干渉は、ＬＰＷＡシステムの通信をサポートし、ＮＷ＃１に属する無線装置が、ＮＷ＃１に属さない無線装置から受ける干渉に該当する。あるいは、管理外干渉は、検出した信号（干渉）の中から、管理内信号を除いた干渉成分に該当する。

【0035】

管理外干渉は、更に、干渉の要因に基づいて分類されてよい。

【0036】

例えば、グループ＃２に含まれる無線装置（例えば、端末＃４）によって送信される信号は、グループ＃１に含まれる無線装置（例えば、ＧＷ＃１）において干渉を生じさせる。以下では、ＮＷ＃１に属する無線装置がＮＷ＃２に属する無線装置から受ける干渉は、「管理外干渉」のうち、「電波干渉」と記載されることがある。例えば、「電波干渉」は、ＬＰＷＡシステムの通信をサポートし、ＮＷ＃１に属する無線装置が、ＬＰＷＡシステムの通信をサポートし、ＮＷ＃１と異なるＮＷ＃２に属する無線装置から受ける干渉に該当する。

【0037】

また、例えば、グループ＃３に含まれる無線装置（例えば、ＲＦＩＤリーダ／ライタ）によって送信される信号は、グループ＃１に含まれる無線装置（例えば、ＧＷ＃１）において干渉を生じさせる。以下では、ＬＰＷＡシステムの通信をサポートし、ＮＷ＃１に属する無線装置が、ＬＰＷＡシステムと異なる無線システムをサポートする無線装置から受ける干渉は、「管理外干渉」のうち、「環境雑音」と記載されることがある。

【0038】

図１を例に挙げて示したように、ＬＰＷＡシステムは、ＬＰＷＡシステムと異なる無線システム、及び／又は、異なるネットワークに属する同じＬＰＷＡシステムと、共通のシステム帯域を使用する。このような状況では、無線通信環境は、時間及び／又は空間の違いに応じて変化し、その環境に応じた適切な無線通信制御が望まれる。

【0039】

一般的なルールをベースにした無線通信制御（「ルールベース型の無線通信制御」と称されてもよい）は、限定された無線通信環境（例えば、通信エリアのサイズ及び／又は端末の数等）において適用できるが、限定された無線通信環境の範囲を超えてしまう場合に、適用できない可能性がある。あるいは、無線通信環境毎にルール及び／又はパラメータの調整が求められる可能性がある。

【0040】

また、より広い範囲の無線通信環境に適用できるルールを設計した場合、設計されたルールは、パラメータの数、ルールに基づく処理工程の数等が増加し、複雑になってしまう可能性がある。

【0041】

また、より広い範囲の無線通信環境に適用できるルールが設計された場合であっても、無線通信環境の変化（例えば、新たな基地局の設置による、通信エリアの数の増加）に対して、設計されたルールの見直し、及び、調整が求められてしまう。

【0042】

上述のように、一般的なルールをベースにした無線通信制御では、ルールの設計及び開発に膨大なコストがかかる。また、設計されたルールをベースに制御する場合も、その運用のコストがかかってしまう。

【0043】

本開示の非限定的な実施例は、機械学習の一例である強化学習を用いることによって、複雑なルールの設計及びパラメータの調整を行うことなく、無線通信環境に適応した制御（例えば、パラメータの制御）を実現することを説明する。

【0044】

＜ネットワークの構成例＞
図２は、本実施の形態に係るネットワーク（ＮＷ）の構成例を示すブロック図である。図２に示すネットワークには、基地局１０（基地局１０－１～１０－Ｌ（Ｌは１以上の整数））、集中制御サーバ２０、及び、端末３０－１～３０－Ｍ（以下、単に、端末＃１～＃Ｍ（Ｍは１以上の整数）と記載される場合がある）が含まれる。図２に示すネットワークに含まれる各装置は、図１に示したグループ＃１の装置に対応し、例えば、ＬＰＷＡシステムの通信をサポートする。

【0045】

基地局１０は、端末３０（端末＃１～＃Ｍのいずれか）と無線接続し、端末に割り当てられたチャネルにおいて無線通信を行う。また、基地局１０は、使用可能なチャネルのそれぞれにおいて干渉モニタリングを行い、干渉の分類結果を集中制御サーバ２０へ出力する。

【0046】

集中制御サーバ２０は、基地局１０と有線接続し、基地局１０から、分類結果を取得する。また、集中制御サーバ２０は、基地局１０から、基地局１０と無線接続する端末に関する情報を取得してもよい。集中制御サーバ２０は、分類結果に基づいて、基地局１０において端末に割り当てるチャネルを決定する。集中制御サーバ２０は、端末に割り当てるチャネルの情報を含む割当情報を基地局１０へ出力する。

【0047】

端末＃１～＃Ｍは、それぞれ、基地局１０（基地局１０－１～１０－Ｌのいずれか）とＬＰＷＡシステムの通信を行うＬＰＷＡ端末である。

【0048】

＜基地局の構成例＞
図３は、本実施の形態に係る基地局１０の構成例を示すブロック図である。基地局１０は、例えば、図１に示したＮＷ＃１に属するＧＷ＃１又はＧＷ＃２に対応する。

【0049】

基地局１０は、受信部１０１と、復調／復号部１０２と、干渉分類部１０３と、制御部１０４と、制御信号生成部１０５と、符号化／変調部１０６と、送信部１０７と、を備える。

【0050】

受信部１０１は、端末が送信した信号を受信し、受信した信号に所定の受信処理を行う。例えば、所定の受信処理は、端末に割り当てたチャネルの周波数又は制御信号を送信するためのチャネルの周波数に基づいた、周波数変換処理（ダウンコンバート）を含む。端末に割り当てたチャネルの周波数の情報は、例えば、制御部１０４から取得されてよい。

【0051】

また、受信部１０１は、干渉測定（例えば、電波モニタリング）のために、システム帯域における使用可能な各チャネル（例えば、アンライセンスバンドに含まれる各チャネル）において、信号を受信（検出）する。そして、受信部１０１は、受信した信号に所定の受信処理を行う。所定の受信処理は、例えば、各チャネルの周波数に基づく周波数変換処理を含む。システム帯域における使用可能な各チャネルは、端末３０に割り当て可能な候補チャネルに対応してよい。

【0052】

受信部１０１は、所定の受信処理を行った受信信号を復調／復号部１０２と、干渉分類部１０３へ出力する。

【0053】

復調／復号部１０２は、受信部１０１から取得した受信信号に対して、復調処理及び復号処理を行い、受信データを生成し、制御部１０４へ出力する。なお、受信データには、基地局１０と同じＮＷ（ＮＷ＃１）に属する端末を識別する識別子が含まれてよい。なお、復調／復号部１０２は、受信信号の受信に成功したか否かを示す情報を制御部１０４へ出力してもよい。例えば、復調／復号部１０２は、受信データを生成できた場合、又は、受信データに誤りが無かった場合、受信信号の受信に成功したと判定してよい。

【0054】

干渉分類部１０３は、例えば、電波モニタリングを行う。例えば、干渉分類部１０３は、各チャネルにおける干渉を検出し、検出した干渉を分類する。例えば、干渉分類部１０３は、１つのチャネルにおける、所定時間の受信信号をモニタリングし、受信信号から、上述した、管理内信号、及び、管理外干渉を分類する。

【0055】

例えば、干渉分類部１０３は、受信信号のプリアンブルを検出する。ＬＰＷＡシステムをサポートする端末が送信する信号には、ＬＰＷＡシステムのプリアンブルが付される。例えば、干渉分類部１０３は、ＬＰＷＡシステムにおいて用いられるプリアンブルと受信信号との相関を計算する。ＬＰＷＡシステムにおいて用いられるプリアンブルは、受信信号の送信元の端末が属するＮＷに関わらず共通であってよい。

【0056】

干渉分類部１０３は、プリアンブルと受信信号との相関の結果に所定値以上のピークが生じなかった場合、受信信号の送信元は、ＬＰＷＡ端末でない、と判定する。この場合、干渉分類部１０３は、受信信号の送信元がＬＰＷＡシステムと異なる無線システムをサポートする無線装置であり、当該受信信号が、管理外干渉の一例である環境雑音に対応する、と判定する。

【0057】

例えば、干渉分類部１０３は、プリアンブルと受信信号との相関の結果に所定値以上のピークが生じた場合、受信信号の送信元がＬＰＷＡ端末である、と判定する。

【0058】

ここで、ＬＰＷＡシステムの通信に用いられるプリアンブルは、受信信号の送信元の端末が属するＮＷに関わらず共通であってよい。そのため、干渉分類部１０３は、受信信号の送信元がＬＰＷＡ端末であると判定した場合、送信元の属するＮＷが、基地局１０と同じＮＷ（ＮＷ＃１）か、基地局１０と異なるＮＷ（例えば、図１のＮＷ＃２）かを判定する。

【0059】

例えば、干渉分類部１０３は、復調／復号部１０２から取得する受信信号の復号結果に基づいて、送信元の属するＮＷを判定する。例えば、干渉分類部１０３は、受信信号が正しく復号され、受信信号に識別子が含まれる場合、当該受信信号の送信元の属するＮＷが基地局１０と同じＮＷである、と判定する。一方で、例えば、干渉分類部１０３は、受信信号が正しく復号されず、受信信号に識別子が含まれていない場合、当該受信信号の送信元の属するＮＷが基地局１０と異なるＮＷである、と判定する。

【0060】

干渉分類部１０３は、受信信号の送信元が、基地局１０と同じＮＷ＃１に属するＬＰＷＡ端末である場合、当該受信信号が管理内信号に対応する、と判定する。干渉分類部１０３は、受信信号の送信元が、基地局１０と異なるＮＷに属するＬＰＷＡ端末である場合、当該受信信号が管理外干渉の一例である電波干渉に対応する、と判定する。

【0061】

なお、干渉分類部１０３における分類方法は、上述した、受信信号のプリアンブル検出結果及び受信信号の復号結果に基づく方法に限定されない。

【0062】

例えば、干渉分類部１０３は、受信信号を、管理内信号と、管理内信号と異なる干渉（管理外干渉）とに分類してよい。この場合、干渉分類部１０３は、管理外干渉を電波干渉と環境雑音とに分類しなくてもよい。例えば、干渉分類部１０３は、受信信号の復号結果に基づいて、受信信号の中から管理内信号を分類し、受信信号から管理内信号を差し引くことによって、管理外干渉を検出してよい。また、干渉分類部１０３は、受信信号を、管理内信号と管理外干渉とに分類することなく、受信信号の干渉量を決定してもよい。

【0063】

干渉分類部１０３は、干渉量から、各チャネルにおけるチャネル占有率（チャネル使用率）、受信レベルを決定する。

【0064】

干渉分類部１０３は、電波モニタリングを行い、電波モニタリングの結果を示す情報を制御部１０４へ出力する。例えば、制御部１０４へ出力する情報には、上述した各チャネルにおけるチャネル占有率（チャネル使用率）、受信レベル等が含まれてよい。

【0065】

なお、干渉量の表し方は、特に限定されない。例えば、干渉量は、受信信号電力（干渉電力と称されてもよい）の平均値、最小値、又は、最大値によって表されてもよい。あるいは、干渉量は、受信信号電力と受信信号を受信する時間区間（モニタリング区間と称されてもよい）との関係を用いて表されてよい。例えば、干渉量は、受信信号電力が所定値以上の値を有する時間区間等によって表されてもよいし、受信信号電力が所定値以上の値を有する時間区間が所定長以上か否か等によって表されてもよい。

【0066】

制御部１０４は、集中制御サーバ２０へ出力する情報を生成する。例えば、制御部１０４は、受信信号の受信が成功したか否か、受信成功率、及び、受信成功時間間隔の少なくとも１つを示す情報（例えば、受信結果等）を、集中制御サーバ２０へ出力する。例えば、制御部１０４は、複数回の受信タイミングのそれぞれにおける、受信信号の受信が成功したか否かを示す情報に基づいて、受信成功率及び／又は受信成功時間間隔を算出してよい。

【0067】

また、制御部１０４は、各チャネルにおけるチャネル占有率（チャネル使用率）、受信レベル等の情報を、ＮＷ＃１の集中制御サーバ２０（図１及び図２参照）へ出力する。制御部１０４から集中制御サーバ２０に出力される情報は、基地局１０における受信処理の結果を示す受信結果と称されてよい。なお、基地局１０における受信処理には、端末３０から基地局１０宛に送信される信号に対する処理と、候補チャネルのそれぞれをモニタリングして得られる信号に対する処理が含まれてよい。

【0068】

なお、制御部１０４は、集中制御サーバ２０に出力するための情報に対して変換処理を施し、変換処理を施した後の情報を集中制御サーバ２０に出力してよい。

【0069】

制御部１０４は、ＮＷ＃１の集中制御サーバ２０（図１及び図２参照）から、端末３０に設定されたパラメータに関する情報を取得する。

【0070】

制御部１０４は、パラメータに関する情報を制御信号生成部１０５へ出力する。

【0071】

また、制御部１０４は、端末とのデータ通信に関する制御を行う。例えば、復調／復号部１０２から取得した受信データを、図示しない外部のネットワーク、又は、ＮＷ＃１内の他の装置へ出力してもよい。また、制御部１０４は、外部のネットワーク、又は、ＮＷ＃１内の他の装置から取得した、端末３０宛の送信データを、符号化／変調部１０６へ出力する。

【0072】

制御信号生成部１０５は、制御部１０４から取得した情報に基づいて、端末宛の制御情報を含む制御信号を生成する。制御信号生成部１０５は、制御信号を符号化／変調部１０６へ出力する。

【0073】

符号化／変調部１０６は、制御部１０４から取得した送信データに対して、符号化処理及び変調処理を行い、送信信号を生成する。また、符号化／変調部１０６は、制御信号生成部１０５から取得した制御信号に対して、符号化処理及び変調処理を行い、送信制御信号を生成する。符号化／変調部１０６は、送信信号及び／又は送信制御信号を送信部１０７へ出力する。

【0074】

送信部１０７は、送信信号に対して、所定の送信処理を行う。例えば、所定の送信処理は、端末３０に割り当てたチャネルの周波数に基づいた、周波数変換処理（アップコンバート）を含む。端末３０に割り当てたチャネルの周波数に関する情報は、例えば、制御部１０４から取得されてよい。

【0075】

また、送信部１０７は、送信制御信号に対して、所定の送信処理を行う。例えば、所定の送信処理は、端末３０に送信制御信号を送信するためのチャネルの周波数に基づいた、周波数変換処理（アップコンバート）を含む。端末３０に送信制御信号を送信するためのチャネルとは、例えば、予め決められたチャネルであってもよいし、端末３０との通信に現時点で用いられているチャネルであってもよい。

【0076】

＜集中制御サーバの構成例＞
図４は、本実施の形態に係る集中制御サーバ２０の構成例を示すブロック図である。集中制御サーバ２０は、例えば、図１に示したＮＷ＃１に属する。例えば、集中制御サーバ２０は、上述した基地局１０と有線接続する。あるいは、集中制御サーバ２０は、インターネット等のネットワークと有線接続し、当該ネットワークを介して基地局１０と接続してもよい。

【0077】

集中制御サーバ２０は、受信部２０１、制御部２０２、及び、送信部２０３を備える。

【0078】

受信部２０１は、例えば、基地局１０からの情報を受信する。例えば、基地局１０から受信する情報は、基地局１０における受信処理の結果を示す受信結果を含む。受信結果には、受信が成功したか否か、受信成功率、及び、受信成功時間間隔の少なくとも１つを示す情報が含まれる。また、受信結果には、各チャネルのチャネル使用率、各チャネルの受信レベルの少なくとも１つが含まれてよい。

【0079】

制御部２０２は、基地局１０から受信した情報に基づいて、端末３０のそれぞれに設定するパラメータを選択（決定）する。例えば、制御部２０２は、通知結果に基づいて、学習処理を行い、端末３０に割り当てるチャネルを選択（決定）する。

【0080】

なお、制御部２０２における学習処理は、例えば、制御部２０２に含まれる学習器（図示省略）によって実行されてよい。

【0081】

送信部２０３は、基地局１０に対して、制御部２０２において、設定された端末３０それぞれのパラメータを含む情報を送信する。

【0082】

なお、上述では、図３に示す構成が１つの基地局１０に含まれ、図４に示す構成が１つの集中制御サーバ２０に含まれる例を説明した。本開示はこれに限定されない。例えば、基地局１０が、集中制御サーバ２０の構成の少なくとも一部を有してもよいし、集中制御サーバ２０が、基地局１０の構成の少なくとも一部を有してもよい。例えば、図２に示すネットワークにおいて、基地局１０のいずれか少なくとも１つが、集中制御サーバ２０の構成を有してもよい。

【0083】

例えば、図３に示す基地局１０の構成が、ＬＰＷＡシステムの通信機能を有する第１の装置と、電波干渉モニタリング装置の機能（例えば、干渉分類部１０３）を有する第２の装置とに分けられてよい。

【0084】

＜端末の構成例＞
図５は、本実施の形態に係る端末３０の構成例を示すブロック図である。端末３０は、受信部３０１、制御部３０２、及び、送信部３０３を備える。

【0085】

受信部３０１は、例えば、アンテナを介して、基地局１０からの信号を受信する。例えば、基地局１０から受信する信号は、下りリンクのデータを含む信号、制御情報を含む信号である。受信部３０１は、受信した信号の受信処理を行い、下りリンクのデータ及び／又は制御情報を制御部３０２へ出力する。

【0086】

制御部３０２は、下りリンクのデータを処理し、図示しない上位レイヤの処理部へ出力する。制御部３０２は、上位レイヤの処理部から取得する上りリンクのデータを送信部３０３へ出力する。

【0087】

制御部３０２は、下りリンクの制御情報に基づいて、無線通信に関するパラメータの設定を行う。例えば、制御部３０２は、制御情報に含まれるチャネルの情報に基づいて、信号の送信処理に使用するチャネルを設定する。また、制御部３０２は、制御情報に含まれる他のパラメータ（例えば、拡散率および送信電力）を、信号の送信処理に使用するパラメータに設定する。また、制御部３０２は、上りリンクの制御情報を生成し、送信部３０３へ出力する。

【0088】

送信部３０３は、上りリンクのデータ及び／又は制御情報の送信処理を行い、送信信号を生成する。送信部３０３は、送信信号を、アンテナを介して送信する。

【0089】

なお、制御部３０２は、制御情報に基づいて、信号の受信処理に使用するパラメータを設定してもよい。

【0090】

＜強化学習＞
次に、集中制御サーバ２０の制御部２０２によって実行される機械学習の一例として、強化学習について説明する。図６は、強化学習のモデルの一例を示す図である。

【0091】

強化学習は、「行動」の主体である「エージェント」が、「経験」に基づいて、試行錯誤を行い、より適した「行動」を獲得する枠組みである。ここで、「経験」とは、例えば、観測によって得られる「状態」及び／又は「報酬」に相当する。例えば、「エージェント」と「環境」との間の相互作用を記述する数理モデルの一例として、マルコフ決定過程が用いられる。図６に示す学習モデルでは、１つの「エージェント」（シングルエージェント）に対してマルコフ決定過程が用いられる。

【0092】

例えば、マルコフ決定過程では、或る時点における状態遷移の遷移確率が、その時点よりも前の「状態」とその時点での「行動」によって規定される。

【0093】

行動、状態、報酬等をモデル化し、適切な行動決定の基準（例えば、「方策」ともいう）を定めることによって、制御対象に強化学習を適用できる。

【0094】

本実施の形態では、上述したような、複数の無線システムが共存する周波数帯で動作するＬＰＷＡネットワークに適用する強化学習のモデルを説明する。

【0095】

例えば、本実施の形態において、「エージェント」は、「端末」（例えば、ＬＰＷＡ端末）に相当する。そのため、本実施の形態では、エージェントが複数存在する環境、すなわち、マルチエージェント環境であってよい。また、以下の説明において、「エージェント」と「端末」とは、相互に読み替えられてよい。

【0096】

図７は、マルチエージェントのモデルの一例を示す図である。本実施の形態では、図７に示すようなマルチエージェントを例に挙げる。

【0097】

そして、エージェント毎の「行動」は、例えば、候補チャネルの中からのチャネルの選択（チャネルの割り当て）に対応する。例えば、チャネルの選択が、基地局によって実行される場合、エージェント毎の「行動」は、選択されたチャネルを用いた通信に対応する。

【0098】

エージェント毎の「状態」は、例えば、候補チャネルそれぞれのチャネル占有率（使用率）、及び／又は、基地局における受信レベルに対応する。

【0099】

エージェント毎の「報酬」は、例えば、基地局における受信結果に対応する。例えば、受信結果とは、受信成功率、又は、複数回の受信成功の間の間隔（受信成功間隔）であってよい。

【0100】

そして、「学習」は、例えば、上述した「状態」及び／又は「報酬」に応じた行動決定の基準（方策）を更新していくことに対応する。

【0101】

ここで、強化学習では、「行動」の回数、及び、それに伴う「学習」の機会が多いほど、より適切な「基準（方策）」に到達する。

【0102】

ＬＰＷＡネットワークでは、無線ＬＡＮ等と比較して、端末の数が多い一方で、各端末の通信頻度が比較的低い（別言すると、「行動」の回数が比較的少ない）。そのため、端末が個別で学習を行う場合、学習の機会が減少し、学習が進まず、より適切な「基準（方策）」へ到達しづらい。

【0103】

そこで、本実施の形態では、エージェントである端末間で学習器を共通に設ける。

【0104】

図８は、エージェント毎に学習器が設けられるモデルの例を示す図である。図９は、エージェント間で共通の学習器が設けられるモデルの例を示す図である。

【0105】

図８と比較して、図９では、エージェント間で共通の学習器において、各エージェントの行動と行動に対する状態及び／又は報酬とが用いられる。そのため、学習を早く進め、より適切な「基準（方策）」へ到達しやすくできる。ＬＰＷＡネットワークでは、端末数が多いため、学習の進度を向上できる。

【0106】

なお、上述した例では、エージェント毎の「行動」は、チャネルの選択である例を示したが、本開示はこれに限られない。例えば、エージェント毎の「行動」は、通信に関して設定される他のパラメータ（例えば、拡散率、送信電力、変調方式及び符号化率（ＭＣＳ））等であってよい。あるいは、エージェント毎の「行動」は、チャネルの選択及び通信に関するパラメータの２以上の組み合わせであってよい。

【0107】

また、上述した例において、エージェント毎にモデル化が共通であってもよいし、異なってもよい。例えば、エージェント＃１の「行動」が、チャネルの選択であり、エージェント＃２の「行動」が、拡散率の設定であってよい。この場合、学習が進むにつれて、エージェント＃１において、選択されるチャネルがより適したチャネルになり、エージェント＃２において、設定される拡散率がより適した拡散率になる。

【0108】

＜処理手順＞
本実施の形態における、端末３０と、基地局１０及び集中制御サーバ２０との処理の手順の例を説明する。図１０は、本実施の形態における処理手順のシーケンスの一例を示す図である。なお、図１０は、基地局１０が、上述した集中制御サーバ２０の構成を含む例を示す。

【0109】

基地局１０は、電波モニタリングを行う（Ｓ１００）。例えば、基地局１０は、各候補チャネルのチャネル使用率をモニタリングし、チャネル使用率を測定する。電波モニタリングは、常時、実行されてもよいし、定期的に実行されてよい。

【0110】

或るチャネルのチャネル使用率は、或る単位時間内で当該チャネルが使用中の時間が、当該単位時間に対する比率によって規定されてよい。例えば、或るチャネルにおいて閾値以上の受信電力が測定された場合、当該チャネルを使用中と判定し、或るチャネルにおいて閾値未満の受信電力を測定した場合、当該チャネルを使用中ではない、と判定してよい。

【0111】

あるいは、チャネル使用率は、局所的な値ではなく、複数の単位時間で平均化した値であってよい。あるいは、複数の単位時間それぞれのチャネル使用率から極端に平均から外れた値が除外され、除外された後の複数のチャネル使用率が平均化されてよい。チャネル使用率は、このような、測定値の確からしさを向上させるデータ処理（統計的な処理）が施されてよい。

【0112】

端末３０は、上りリンクで送信するパケット（上りパケット）の送信処理を行う（Ｓ１０１）。基地局１０は、上りパケットの受信処理を行う（Ｓ１０２）。

【0113】

そして、基地局１０は、各候補チャネルの受信結果を決定する。例えば、基地局１０は、端末３０から上りパケットが受信できたか否かを決定する。

【0114】

そして、基地局１０が受信できたこと（受信ＯＫ）、又は、受信できなかったこと（受信ＮＧ）を示す受信結果の情報を記録する（Ｓ１０３）。また、記録される受信結果の情報には、チャネル使用率、受信電力（例えば、ＲＳＳＩ）が含まれてよい。なお、記録される情報は、受信結果、チャネル使用率、受信電力のうちの少なくとも１つであってもよい。あるいは、記録される情報は、これら以外であってもよい。

【0115】

ここで、受信できなかったこと（受信ＮＧ）が判定できない場合、例えば、受信電力が小さく、端末３０からパケットが送信されたと判定できない場合がある。例えば、定期的に端末３０からパケットを受信するアプリケーションが動作中の場合、定期的なタイミングに対して、受信ＮＧが判定されてよい。また、受信ＮＧの場合に、受信電力が極めて小さい可能性がある。受信電力が極めて小さく測定ができない場合、受信電力の測定値の代わりに、規定値が記録されてよい。例えば、この場合の規定値は、受信電力の測定可能なレンジの最小値よりも小さい値であってよい。

【0116】

次に、基地局１０は、記録した情報の変換処理を行う（Ｓ１０４）。ここでの変換処理では、例えば、記録した情報が、上述した学習器の学習処理において扱うデータへ変換される。例えば、受信電力（例えば、ＲＳＳＩ）は、「０」から「１」の範囲の値に変換される。また、例えば、受信結果が受信ＯＫを示す場合に、受信結果は「＋１」に変換され、受信ＮＧを示す場合に、受信結果は「－１」に変換される。また、複数のパケットに対する受信結果が、受信成功率及び／又は受信成功時間間隔に変換されてよい。

【0117】

基地局１０は、変換処理が施された情報を学習器に出力する。

【0118】

学習器は、学習処理を行い、候補チャネルの中から端末３０に割り当てるチャネル（行動の一例）を決定する（Ｓ１０５）。学習処理に用いられる学習アルゴリズムは、特に限定されない。学習処理に用いられる学習アルゴリズムは、一般的な強化学習用アルゴリズムであってよい。強化学習用アルゴリズムとしては、例示的に、Ｑ学習、SARSA、Actor-Critic、方策勾配法、DQN（Deep Q-Network）、PPO（Proximal Policy Optimization）、及び、REINFORCE等が挙げられるが、本実施の形態では、これらの強化学習用アルゴリズムの１つが使用されてもよいし、これら以外のアルゴリズムが使用されてもよいし、複数の強化学習用アルゴリズムが組み合わされてもよい。

【0119】

基地局１０は、決定したチャネルの情報を含む下り制御情報を端末３０に送信する送信処理を行う（Ｓ１０６）。例えば、基地局１０は、下り制御情報を含む下りリンクの制御信号を端末３０に送信する。

【0120】

なお、ＬＰＷＡネットワークでは、端末３０の受信タイミングが制限される場合がある。例えば、ＬｏＲａ－ＷＡＮのＣｌａｓｓ Ａでは、端末３０の電池の駆動時間を抑えるために、端末３０の下り受信の時間と上り送信の時間とが、時間軸上で近くに設けられる。例えば、端末３０の下り受信のタイミングは、端末３０の上り送信の後の所定時間に制限される。端末３０の電池の駆動時間は、下り受信の開始タイミングから上り送信の終了タイミングまで伸長される。

【0121】

なお、Ｓ１０２の受信処理において、パケット受信ができない場合（受信ＮＧの場合）、下り制御情報は送信されなくてよい。ただし、パケット受信のタイミングが既知の場合、例えば、既知のタイミングで端末３０からパケットを受信するアプリケーションが動作中の場合、受信ＮＧであっても、下り制御情報が送信されてよい。

【0122】

端末３０は、チャネルの情報を含む下り制御情報の受信処理を行う（Ｓ１０７）。

【0123】

端末３０は、下り制御情報に含まれる情報を端末３０の制御に反映させる処理（制御反映処理）を行う（Ｓ１０８）。例えば、端末３０は、チャネル情報が示すチャネルを、上りパケットを送信するチャネルに設定する。

【0124】

端末３０は、設定したチャネルを用いて、例えば、次の上り送信の時間において、上りパケットを送信する。

【0125】

なお、図１０では省略されるが、基地局１０は、複数の端末３０から送信された上りパケット（送信信号の一例）に対して受信処理を行い、複数の端末３０それぞれの受信結果の情報を記録してよい。この場合、基地局１０は、複数の端末３０それぞれの受信結果の情報を変換し、共通の学習器へ出力する。

【0126】

また、図１０では、基地局１０が、上述した集中制御サーバ２０の構成を含む例を示したが、基地局１０が、集中制御サーバ２０と別の構成であってもよい。この場合、図１０に示した処理の一部が、基地局１０によって実行され、残りの一部が集中制御サーバ２０によって実行されてよい。

【0127】

例えば、Ｓ１０３にて、基地局１０が、受信結果の情報を記録する代わりに、受信結果の情報を、集中制御サーバ２０に出力してもよい。また、この場合、Ｓ１０４及びＳ１０５は、集中制御サーバ２０によって実行され、集中制御サーバ２０が、決定したチャネルの情報を基地局１０に出力してよい。

【0128】

以上、本実施の形態では、集中制御サーバ２０（制御装置の一例）が、複数の端末３０に共通の学習器を有し、学習器が複数の端末３０それぞれから送信された信号の受信結果に基づいて、機械学習を行い、複数の端末３０それぞれに割り当てるチャネル（無線通信に関するパラメータの一例）を決定する。これにより、複雑なルールの設計及びパラメータの調整を行うことなく、無線通信環境の変化に応じて、無線通信に関するパラメータを簡易に制御することができる。

【0129】

なお、上述した例では、端末３０のそれぞれについて共通の学習器が設けられる学習モデルの例を示したが、本開示はこれに限定されない。以下では、学習モデルのバリエーションを説明する。

【0130】

＜バリエーション１＞
バリエーション１では、ＲＡＴ（Radio Access Technology）毎に学習器が設けられる例を説明する。

【0131】

図１１は、バリエーション１における、学習器を含むモデルの例を示す図である。図１０に示すように、バリエーション１では、同じＲＡＴの端末間（エージェント間）で共通の学習器が設けられる。この場合、学習結果が、同じＲＡＴ内で共通になる。また、この場合、異なるＲＡＴの学習器は、互いに異なる。

【0132】

例えば、ＬｏＲａ方式とＷｉ－ＳＵＮ方式とは、互いに異なるＲＡＴである。このような互いに異なるＲＡＴ間では、通信性能に差が生じる場合がある。通信性能に差が生じる場合、学習に用いる「状態」（例えば、チャネル使用率及び／又は受信電力）と、「報酬」（例えば、受信結果）との関係（例えば、耐干渉特性、受信電力特性、ＳＩＮＲ特性）が、ＲＡＴ毎に異なる。例えば、ＬｏＲａ方式は、スペクトラム拡散方式を用いるため、Ｗｉ－ＳＵＮ方式と比較して、干渉に対する耐性が強い。そのため、例えば、ＬｏＲａ方式とＷｉ－ＳＵＮ方式とで受信電力が同じ場合でも（つまり、「状態」が同じ場合でも）、ＬｏＲａ方式は、Ｗｉ－ＳＵＮ方式よりも、受信結果が良好となる（つまり、「報酬」に差が生じる）。

【0133】

また、互いに異なるＲＡＴ間では、占有帯域幅が異なり、候補チャネルの数及び／又はチャネルの幅が異なる場合がある。例えば、９２０ＭＨｚ帯の単位チャネルは２００ｋＨｚの幅であり、ＬｏＲａ方式では、占有帯域幅１２５ｋＨｚで信号の送信が行われ、Ｗｉ－ＳＵＮ方式では、占有帯域幅４００ｋＨｚで信号の送信が行われることが多い。この場合、ＬｏＲａ方式では、１チャネル単位で割り当てられるが、Ｗｉ－ＳＵＮ方式では、２チャネル単位で割り当てられる。この場合、例えば、「状態」に対応するチャネル使用率と「行動」に対応するチャネル選択とにおいて、１つのチャネルの単位が異なる。

【0134】

上述したような状況を鑑みて、ＲＡＴ毎に学習器が設けられることによって、ＲＡＴ毎に「状態」に対応する情報、「報酬」に対応する情報、「行動」に対応する情報が規定でき、ＲＡＴ毎に、より適した学習結果が得られる。

【0135】

なお、上述のＲＡＴ毎の学習器は、互いに異なる集中制御サーバ２０に含まれてもよいし、１つの集中制御サーバ２０に含まれてもよい。

【0136】

また、複数のＲＡＴのうち、一部のＲＡＴ間では学習器が共通であってもよい。例えば、３つのＲＡＴ（ＲＡＴ＃１、ＲＡＴ＃２およびＲＡＴ＃３）のうち、ＲＡＴ＃１とＲＡＴ＃２とに対して共通の学習器＃１が設けられ、ＲＡＴ＃３に対して、学習器＃１と異なる学習器＃２が設けられてよい。

【0137】

また、ＲＡＴ毎に学習器を設ける例に限らず、設定毎に学習器が設けられてよい。

【0138】

例えば、拡散率（ＳＦ）の設定毎に、学習器が設けられてよい。これにより、拡散利得の違いに基づく通信性能の差が生じる場合でも、より適した学習結果が得られる。

【0139】

また、例えば、帯域幅の設定毎に、学習器が設けられてよい。帯域幅の設定に応じて、候補チャネルの数が変わるため、帯域幅の設定毎に学習器が設けられることによって、より適した学習結果が得られる。

【0140】

また、ＲＡＴ毎に学習器を設ける例に限らず、アプリケーション毎に学習器が設けられてよい。

【0141】

例えば、アプリケーション毎に設定が異なる場合には、アプリケーション間で通信性能の差が生じたり、あるいは、アプリケーション毎候補チャネルが変わったりするため、アプリケーション毎に学習器が設けられる。また、例えば、アプリケーション毎に要求される品質が異なる場合、アプリケーション毎に性能指標が変わるため、アプリケーション毎に学習器が設けられてよい。また、例えば、移動する端末に適用されるアプリケーションと、移動しない端末に適用されるアプリケーションとのそれぞれに対して、学習器が設けられてよい。また、通信頻度が互いに異なるアプリケーションのそれぞれに対して、学習器が設けられてよい。

【0142】

＜バリエーション１の処理手順＞
次に、上述した図１０を援用し、バリエーション１の処理手順を説明する。例示的に、端末＃１がＲＡＴ＃１の端末であり、端末＃２がＲＡＴ＃２の端末であり、基地局＃０がＲＡＴ＃１及びＲＡＴ＃２のそれぞれに対応し、基地局＃０がＲＡＴ＃１の学習器＃１とＲＡＴ＃２の学習器＃２とを有する。

【0143】

図１０に示した例と同様に、基地局１０は、情報の変換処理を行い（図１０のＳ１０４参照）、変換処理が施された情報を学習器に出力する。ここで、端末＃１から送信されたパケットの受信結果に関する情報の場合、学習器＃１へ出力し、端末＃２から送信されたパケットの受信結果に関する情報の場合、学習器＃２へ出力する。そして、学習器＃１は、取得した情報に基づいて学習処理を行い、候補チャネルの中から端末＃１に割り当てるチャネルを決定する。学習器＃２は、取得した情報に基づいて学習処理を行い、候補チャネルの中から端末＃２に割り当てるチャネルを決定する。なお、学習器＃１の候補チャネルと、学習器＃２の候補チャネルとは、一部又は全部が共通であってもよい。

【0144】

なお、上述の処理手順では、２つのＲＡＴと２つの学習器を例に挙げて説明したが、本開示はこれに限定されない。例えば、ＲＡＴの数は、１つであってもよいし、３つ以上であってもよい。

【0145】

また、同じＲＡＴであっても、パラメータの設定に応じて学習器が設けられてよい。例えば、ＬｏＲａ方式の拡散率毎に学習器が設けられてよい。

【0146】

また、同じＲＡＴであっても、アプリケーションに応じて学習器が設けられてよい。例えば、同じＬｏＲａ方式であっても、子供が端末を所有し、親が端末の位置情報等を通じて、子供を見守る見守りアプリケーションと、工場、農場等に多数設けられ、温度、湿度等の環境をセンシングする環境センシングアプリケーションとで異なる学習器が設けられてよい。

【0147】

＜バリエーション２＞
バリエーション２では、基地局１０毎に学習器が設けられる例を説明する。

【0148】

図１２は、バリエーション２における、学習器を含むモデルの例を示す図である。図１１に示すように、バリエーション２では、１つの基地局１０に対して１つの学習器が対応付けて設けられる。別言すると、同じ基地局１０に接続する端末間で共通の学習器が設けられる。この場合、学習結果は、同一の基地局内で共通になる。また、この場合、異なる基地局の学習器は、互いに異なる。

【0149】

例えば、複数の基地局のそれぞれの通信環境（例えば、受信状態）は、設置された場所等によって異なる場合がある。例えば、電波伝搬の障害物が相対的に少ない場所に設けられた基地局と、障害物が相対的に多い場所に設けられた基地局とは、受信状態が互いに異なるため、得られる「状態」（例えば、受信レベル）が異なる場合がある。

【0150】

上述したような状況を鑑みて、基地局毎に学習器が設けられることによって、基地局毎に「状態」に対応する情報、「報酬」に対応する情報、「行動」に対応する情報が規定でき、基地局毎に、より適した学習結果が得られる。

【0151】

なお、基地局毎に学習器が設けられ、学習器間で情報を交換してもよい。図１３は、バリエーション２において、情報交換を行う場合のモデルの例を示す図である。図１３では、学習器＃１と学習器＃２とが情報交換を行う点を除いて、図１２と同様である。

【0152】

図１３に示すように、各学習器で独立して学習処理を進め、学習器間で情報を交換し、一部の情報を共有する。別言すると、学習器＃１の機械学習の処理において、学習器＃２の機械学習の処理の結果（又は経過）の情報が使用される。これによって、より適した学習結果が得られる可能性がある。なお、ここで、共有する情報については、特に限定されない。

【0153】

＜バリエーション１の処理手順＞
次に、上述した図１０を援用し、バリエーション２の処理手順を説明する。例示的に、基地局＃１が学習器＃１を有し、基地局＃２が学習器＃２を有し、端末＃１が基地局＃１と接続し、端末＃２が基地局＃２と接続する。また、この例では、基地局＃１、基地局＃２、端末＃１及び端末＃２は、同じＲＡＴであってよい。

【0154】

図１０に示した例と同様に、基地局１０は、情報の変換処理を行い（図１０のＳ１０４参照）、変換処理が施された情報を学習器に出力する。ここで、基地局＃１は、端末＃１から送信されたパケットの受信結果に関する情報を、学習器＃１へ出力する。基地局＃２は、端末＃２から送信されたパケットの受信結果に関する情報を、学習器＃２へ出力する。そして、学習器＃１は、取得した情報に基づいて学習処理を行い、候補チャネルの中から端末＃１に割り当てるチャネルを決定する。学習器＃２は、取得した情報に基づいて学習処理を行い、候補チャネルの中から端末＃２に割り当てるチャネルを決定する。なお、学習器＃１の候補チャネルと、学習器＃２の候補チャネルとは、一部又は全部が共通であってもよい。

【0155】

ここで、学習器＃１と学習器＃２とが情報を交換してもよい。交換する情報は、例えば、学習アルゴリズムにＱ学習が適用される場合、Ｑ学習におけるＱ値（例えば、行動価値関数）であってよい。

【0156】

なお、上述の処理手順では、２つの基地局と２つの学習器を例に挙げて説明したが、本開示はこれに限定されない。例えば、基地局の数は、１つであってもよいし、３つ以上であってもよい。

【0157】

例えば、基地局＃１～基地局＃３の中で、基地局＃１と基地局＃３とが共通の学習器＃１を有し、基地局＃２が学習器＃２を有してよい。例えば、基地局＃１と基地局＃３とが互いに隣り合う基地局である場合、学習器が共通であってよい。

【0158】

＜バリエーション３＞
バリエーション３では、例えば、上述した図１０のＳ１０７において、端末３０が下り制御情報を受信できなかった例を説明する。この例では、端末３０が、自律的に、通信に用いるチャネルを選択してよい。例えば、端末３０は、候補チャネルの中から、ランダムにチャネルを選択してもよい。あるいは、端末３０は、通信に用いたチャネルの履歴を有し、履歴に基づいて、チャネルを選択してもよい。例えば、端末３０は、現時点で使用中のチャネルの１つ前に使用していたチャネルを選択し、次の時点で使用するチャネルに設定してもよい。あるいは、端末３０は、候補チャネルのそれぞれの平均選択率（平均使用率）を計算し、計算した平均選択率に基づいて、チャネルを選択してもよい。

【0159】

＜バリエーション４＞
バリエーション４では、集中制御サーバ２０が、或る端末３０の通信に用いるチャネルを優先度の高い方から順に複数選択し、選択された複数のチャネルのチャネル情報を含む下り制御情報を、当該端末３０に送信する例を説明する。この例では、下り制御情報に、複数のチャネルのチャネル情報が含まれるため、端末３０が、或る受信タイミングで、下り制御情報を受信できなかった場合に、当該端末３０は、当該受信タイミングよりも前に受信済みの下り制御情報を用いて、通信に用いるチャネルを選択してよい。

【0160】

例えば、下り制御情報には、複数のチャネルのそれぞれのチャネル情報が含まれてよい。例えば、下り制御情報には、優先度の高い方から順に、第１候補のチャネルから、第Ｋ候補のチャネルまでのＫ個のチャネルのチャネル情報が含まれてよい。あるいは、下り制御情報には、複数のチャネルのそれぞれの優先度を示す情報（例えば、選択確率）が含まれてよい。

【0161】

端末３０は、下り制御情報を受信できた場合、受信した下り制御情報に基づいて、通信（例えば、上り送信）に用いるチャネルを設定してよい。

【0162】

また、端末３０は、下り制御情報を受信できなかった場合、下り制御情報を受信できなかった時点よりも前に受信していた下り制御情報に基づいて、通信に用いるチャネルを設定してよい。

【0163】

例えば、端末３０は、下り制御情報を受信できなかった時点よりも前に通信に用いたチャネルよりも優先度が低いチャネルを、次の通信に用いるチャネルに設定してよい。あるいは、端末は、選択確率に基づいて、再選択を行ってよい。

【0164】

なお、上記実施の形態における「・・・部」という表記は、「・・・回路（circuitry）」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。

【0165】

また、上記実施の形態における「チャネル」という表記は、「周波数」、「周波数チャネル」、「帯域」、「バンド」、「キャリア」、「サブキャリア」、又は、「（周波数）リソース」といった他の表記に置換されてもよい。

【0166】

また、上記実施の形態における「算出」という用語は、「決定」、「推定」、「導出」といった他の用語に置換されてもよい。

【0167】

また、上記実施の形態における「分類」という用語は、「分離」、「抽出」といった他の用語に置換されてもよい。

【0168】

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。

【0169】

上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部又は全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0170】

集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。

【0171】

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0172】

本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。

【0173】

通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。

【0174】

通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。

【0175】

また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサー等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサーが含まれる。

【0176】

また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。

【0177】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

【0178】

以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

【産業上の利用可能性】

【0179】

本開示は、無線通信システムに好適である。

【符号の説明】

【0180】

１０ 基地局
１０１、２０１、３０１ 受信部
１０２ 復調／復号部
１０３ 干渉分類部
１０４、２０２、３０２ 制御部
１０５ 制御信号生成部
１０６ 符号化／変調部
１０７、２０３、３０３ 送信部
２０ 集中制御サーバ
３０ 端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】