▶ ノキア ソリューションズ アンド ネットワークス オサケユキチュアの特許一覧
特許7193621機械学習を使用してグリッドオブビームを設計するための装置および方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-12
(45)【発行日】2022-12-20
(54)【発明の名称】機械学習を使用してグリッドオブビームを設計するための装置および方法
(51)【国際特許分類】
H04B 7/06 20060101AFI20221213BHJP
G06N 3/08 20060101ALI20221213BHJP
G06N 20/00 20190101ALI20221213BHJP
H04B 7/08 20060101ALI20221213BHJP
H04W 16/28 20090101ALI20221213BHJP
【ＦＩ】
H04B7/06 950
G06N3/08
G06N20/00
H04B7/08 800
H04W16/28
【請求項の数】
25
(21)【出願番号】P 2021514102
(86)(22)【出願日】2018-09-13
(65)【公表番号】
(43)【公表日】2022-01-04
(86)【国際出願番号】 US2018050872
(87)【国際公開番号】W WO2020055408
(87)【国際公開日】2020-03-19
【審査請求日】2021-05-10
(73)【特許権者】
【識別番号】513311642
【氏名又は名称】ノキア ソリューションズ アンド ネットワークス オサケユキチュア
(74)【代理人】
【識別番号】110001173
【氏名又は名称】弁理士法人川口國際特許事務所
(72)【発明者】
【氏名】ナヤック，ディーパク
(72)【発明者】
【氏名】ザジャスウィ，チャンドラシェカール
(72)【発明者】
【氏名】カルヤナサンダラム，スレシュ
(72)【発明者】
【氏名】アグラワル，ラジーブ
(72)【発明者】
【氏名】シュ，ホワ
(72)【発明者】
【氏名】ベデカー，アナンド
(72)【発明者】
【氏名】カプドゥビエル，ベロニク
(72)【発明者】
【氏名】ミハイレスク，クラウディウ
(72)【発明者】
【氏名】クアシ，ボリス
(72)【発明者】
【氏名】フェキ，アフェフ
【審査官】原田 聖子
(56)【参考文献】
【文献】A.Alkhateeb, S.Alex, P.Varkey, Y.Li, Q.Qu and D.Tujkovic，"Deep Learning Coordinated Beamforming for Highly-Mobile Millimeter Wave Systems"，IEEE Access，Vol. 6，2018年06月25日，pp.37328-37348，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8395149
【文献】董 鯉、張 裕淵、府川 和彦，”ＭＩＭＯ小セルネットワークにおけるニューラルネットワークに基づくビームフォーミングと送信電力制御を用いたセル間干渉制御”，電子情報通信学会技術研究報告 RCS2017-347，Vol.117、No.456，2018年02月21日，pp.173-178
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｂ ７／０６
Ｇ０６Ｎ ３／０８
Ｇ０６Ｎ ２０／００
Ｈ０４Ｂ ７／０８
Ｈ０４Ｗ １６／２８
(57)【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備える装置であって、
少なくとも１つのメモリ、および、コンピュータプログラムコードが、少なくとも１つのプロセッサによって、装置に、少なくとも、
ニューラルネットワークを訓練するためのネットワークデータを収集させ、
収集されたデータを使用して、所与のビームをグリッドオブビーム（ＧｏＢ）内へと含めることの利益を評価する非割引累積報酬（Ｑ）を学習するように、ニューラルネットワークを訓練させ、
グリッドオブビーム（ＧｏＢ）内に含めるための少なくとも１つのビームを選択して性能メトリックを最適化するために、訓練されたニューラルネットワークを適用させ、訓練されたニューラルネットワークは、グリッドオブビームに必要な数のビームが選択されるまで繰り返し適用され、
ユーザ機器に送信するために、または、ユーザ機器からの送信を受信するために、グリッドオブビーム（ＧｏＢ）から１つ以上のビームを選択させる
ように構成される、装置。
【請求項2】
収集されるデータが、統計学的モデルから、または、いくつかの現実的な配備に対するレイトレーシングデータから収集されるシミュレーションデータ、および、
事前定義されたグリッドオブビーム（ＧｏＢ）にわたる測定値から収集されるオンラインデータ
のうちの少なくとも１つを含む、請求項１に記載の装置。
【請求項3】
少なくとも１つのメモリ、および、コンピュータプログラムコードが、少なくとも１つのプロセッサによって、装置に、少なくとも、（Ｑ）を
【数1】
【請求項4】
特徴ベクトルｖが、離散フーリエ変換（ＤＦＴ）ビームの数、
マージされたビームの数、
テーパ付けされたビームの数、
ビームのビームポインティング方向、
ビームのビーム幅、および、
ビームの最大ビームフォーミング利得
のうちの少なくとも１つを含む、請求項３に記載の装置。
【請求項5】
少なくとも１つのメモリ、および、コンピュータプログラムコードが、少なくとも１つのプロセッサによって、装置に、少なくとも、重みベクトルｗまたは近似
【数2】
ように構成される、請求項１から４のいずれか一項に記載の装置。
【請求項6】
ニューラルネットワークの訓練が、（ａ）すべての状態およびアクションに対して、重みベクトルｗおよび（Ｑ）関数を初期化することと、
（ｂ）（ｓ，ａ）対、および、更新ｗを、以下の、
【数3】
【数4】
【数5】
ステップ（ｂ）を、ｗベクトルまたは近似
【数6】
を含む、請求項１から４のいずれか一項に記載の装置。
【請求項7】
少なくとも１つのメモリ、および、コンピュータプログラムコードが、少なくとも１つのプロセッサによって、装置に、少なくとも、グリッドオブビーム（ＧｏＢ）内に含めるための、最大（Ｑ）値を有する少なくとも１つのビームを選択させる
ように構成される、請求項１から４のいずれか一項に記載の装置。
【請求項8】
性能メトリックが、トラフィック密度で重み付けされたビームフォーミング利得を含み、適用することが、以下の報酬
【数7】
請求項１から４のいずれか一項に記載の装置。
【請求項9】
性能メトリックが、カバレッジ最適化を含み、適用することが、以下の報酬
【数8】
請求項１から４のいずれか一項に記載の装置。
【請求項10】
性能メトリックが、ビームフォーミング利得の幾何平均を含み、適用することが、以下の報酬
【数9】
請求項１から４のいずれか一項に記載の装置。
【請求項11】
ニューラルネットワークが、畳み込みニューラルネットワークまたはディープニューラルネットワークのうちの少なくとも１つを含む、請求項１から４のいずれか一項に記載の装置。
【請求項12】
ニューラルネットワークを訓練するためのネットワークデータを収集することと、収集されたデータを使用して、所与のビームをグリッドオブビーム（ＧｏＢ）内へと含めることの利益を評価する非割引累積報酬（Ｑ）を学習するように、ニューラルネットワークを訓練することと、
グリッドオブビーム（ＧｏＢ）内に含めるための少なくとも１つのビームを選択して性能メトリックを最適化するために、訓練されたニューラルネットワークを適用することであって、訓練されたニューラルネットワークは、グリッドオブビームに必要な数のビームが選択されるまで繰り返し適用される、ことと、
ユーザ機器に送信するために、または、ユーザ機器からの送信を受信するために、グリッドオブビーム（ＧｏＢ）から１つ以上のビームを選択することと
を含む、方法。
【請求項13】
収集されるデータが、統計学的モデルから、または、いくつかの現実的な配備に対するレイトレーシングデータから収集されるシミュレーションデータ、および、
事前定義されたグリッドオブビーム（ＧｏＢ）にわたる測定値から収集されるオンラインデータ
のうちの少なくとも１つを含む、請求項１２に記載の方法。
【請求項14】
方法が、（Ｑ）を
【数10】
請求項１２に記載の方法。
【請求項15】
特徴ベクトルｖが、離散フーリエ変換（ＤＦＴ）ビームの数、
マージされたビームの数、
テーパ付けされたビームの数、
ビームのビームポインティング方向、
ビームのビーム幅、および、
ビームの最大ビームフォーミング利得
のうちの少なくとも１つを含む、請求項１４に記載の方法。
【請求項16】
方法が、重みベクトルｗまたは近似
【数11】
をさらに含む、請求項１２から１５のいずれか一項に記載の方法。
【請求項17】
ニューラルネットワークの訓練が、（ａ）すべての状態およびアクションに対して、重みベクトルｗおよび（Ｑ）関数を初期化することと、
（ｂ）（ｓ，ａ）対、および、更新ｗを、以下の、
【数12】
【数13】
【数14】
ステップ（ｂ）を、ｗベクトルまたは近似
【数15】
を含む、請求項１２から１５のいずれか一項に記載の方法。
【請求項18】
方法が、グリッドオブビーム（ＧｏＢ）内に含めるための、最大（Ｑ）値を有する少なくとも１つのビームを選択すること
をさらに含む、請求項１２から１５のいずれか一項に記載の方法。
【請求項19】
性能メトリックが、トラフィック密度で重み付けされたビームフォーミング利得を含み、適用することが、以下の報酬
【数16】
請求項１２から１５のいずれか一項に記載の方法。
【請求項20】
性能メトリックが、カバレッジ最適化を含み、適用することが、以下の報酬
【数17】
請求項１２から１５のいずれか一項に記載の方法。
【請求項21】
性能メトリックが、ビームフォーミング利得の幾何平均を含み、適用することが、以下の報酬
【数18】
請求項１２から１５のいずれか一項に記載の方法。
【請求項22】
ニューラルネットワークが、畳み込みニューラルネットワークまたはディープニューラルネットワークのうちの少なくとも１つを含む、請求項１２から１５のいずれか一項に記載の方法。
【請求項23】
ニューラルネットワークを訓練するためのネットワークデータを収集するための収集する手段と、収集されたデータを使用して、所与のビームをグリッドオブビーム（ＧｏＢ）内へと含めることの利益を評価する非割引累積報酬（Ｑ）を学習するように、ニューラルネットワークを訓練するための訓練する手段と、
グリッドオブビーム（ＧｏＢ）内に含めるための少なくとも１つのビームを選択して性能メトリックを最適化するために、訓練されたニューラルネットワークを適用するための適用する手段であって、訓練されたニューラルネットワークは、グリッドオブビームに必要な数のビームが選択されるまで繰り返し適用される、手段と、
ユーザ機器に送信するために、または、ユーザ機器からの送信を受信するために、グリッドオブビーム（ＧｏＢ）から１つ以上のビームを選択するための選択する手段と
を備える、装置。
【請求項24】
装置に、少なくとも以下のこと、ニューラルネットワークを訓練するためのネットワークデータを収集することと、
収集されたデータを使用して、所与のビームをグリッドオブビーム（ＧｏＢ）内へと含めることの利益を評価する非割引累積報酬（Ｑ）を学習するように、ニューラルネットワークを訓練することと、
グリッドオブビーム（ＧｏＢ）内に含めるための少なくとも１つのビームを選択して性能メトリックを最適化するために、訓練されたニューラルネットワークを適用することであって、訓練されたニューラルネットワークは、グリッドオブビームに必要な数のビームが選択されるまで繰り返し適用される、ことと、
ユーザ機器に送信するために、または、ユーザ機器からの送信を受信するために、グリッドオブビーム（ＧｏＢ）から１つ以上のビームを選択することと
を行わせるためのプログラム命令を含む、コンピュータ可読記憶媒体。
【請求項25】
装置が、少なくとも以下のこと、ニューラルネットワークを訓練するためのネットワークデータを収集することと、
収集されたデータを使用して、所与のビームをグリッドオブビーム（ＧｏＢ）内へと含めることの利益を評価する非割引累積報酬（Ｑ）を学習するように、ニューラルネットワークを訓練することと、
グリッドオブビーム（ＧｏＢ）内に含めるための少なくとも１つのビームを選択して性能メトリックを最適化するために、訓練されたニューラルネットワークを適用することであって、訓練されたニューラルネットワークは、グリッドオブビームに必要な数のビームが選択されるまで繰り返し適用される、ことと、
ユーザ機器に送信するために、または、ユーザ機器からの送信を受信するために、グリッドオブビーム（ＧｏＢ）から１つ以上のビームを選択することと
を行わせるための命令を含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
いくつかの例示の実施形態は、一般的には、ロングタームエボリューション（ＬＴＥ）または第５世代（５Ｇ）無線アクセス技術または新無線（ＮＲ）アクセス技術、または、他の通信システムなどの、モバイルまたはワイヤレス電気通信システムに関し得る。例えば、特定の実施形態は、大規模多入力多出力（ＭＩＭＯ）、および、機械学習により最適化されるグリッドオブビーム（ＧｏＢ）に関し得る。
【背景技術】
【0002】
モバイルまたはワイヤレス電気通信システムの例は、ユニバーサルモバイル電気通信システム（ＵＭＴＳ）地上無線アクセスネットワーク（ＵＴＲＡＮ）、ロングタームエボリューション（ＬＴＥ）進化型ＵＴＲＡＮ（Ｅ－ＵＴＲＡＮ）、ＬＴＥ－アドバンスト（ＬＴＥ－Ａ）、ＭｕｌｔｅＦｉｒｅ、ＬＴＥ－Ａ Ｐｒｏ、および／または、第５世代（５Ｇ）無線アクセス技術もしくは新無線（ＮＲ）アクセス技術を含み得る。第５世代（５Ｇ）ワイヤレスシステムは無線システムおよびネットワークアーキテクチャの、次世代（ＮＧ）を指す。５Ｇは、主として、新無線（ＮＲ）上に構築されるが、５Ｇ（またはＮＧ）ネットワークは、また、Ｅ－ＵＴＲＡ無線上に構築することができる。ＮＲは、１０－２０Ｇビット／ｓ以上の程度のビットレートを提供することになり、少なくとも増強されたモバイルブロードバンド（ｅｎｈａｎｃｅｄ ｍｏｂｉｌｅ ｂｒｏａｄｂａｎｄ）（ｅＭＢＢ）および超高信頼低遅延通信（ｕｌｔｒａ－ｒｅｌｉａｂｌｅ ｌｏｗ－ｌａｔｅｎｃｙ－ｃｏｍｍｕｎｉｃａｔｉｏｎ）（ＵＲＬＬＣ）ならびに大規模マシンタイプ通信（ｍＭＴＣ：ｍａｓｓｉｖｅ ｍａｃｈｉｎｅ ｔｙｐｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）をサポートすることになるということが推測される。ＮＲは、モノのインターネット（ＩｏＴ）をサポートするための、超ブロードバンド、および、超ロバストの低遅延接続性、および、大規模ネットワーキングをもたらすことが期待される。ＩｏＴおよびマシンツーマシン（Ｍ２Ｍ）通信がより普及するのに伴い、より低い電力、低いデータレート、および、長いバッテリ寿命の必要性を満たすネットワークに対する高まる必要性が存することになる。５Ｇにおいて、無線アクセス機能性をユーザ機器に（すなわち、Ｅ－ＵＴＲＡＮにおいてのノードＢ、または、ＬＴＥにおいてのｅＮＢと同様に）提供することができるノードは、ＮＲ無線上で構築されるときにｇＮＢと命名され得、Ｅ－ＵＴＲＡ無線上で構築されるときにＮＧ－ｅＮＢと命名され得るということが留意される。
【発明の概要】
【課題を解決するための手段】
【0003】
一実施形態が、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを含み得る、装置を対象とする。少なくとも１つのプロセッサによって、装置に、少なくとも、ニューラルネットワークを訓練するためのネットワークデータを収集させ、収集されたデータを使用して、所与のビームをグリッドオブビーム（ＧｏＢ）内へと含めることの利益を評価する非割引累積報酬（ｎｏｎ－ｄｉｓｃｏｕｎｔｅｄ ｃｕｍｕｌａｔｉｖｅ ｒｅｗａｒｄ）（Ｑ）を学習するように、ニューラルネットワークを訓練させ、グリッドオブビーム（ＧｏＢ）内に含めるための少なくとも１つのビームを選択して性能メトリックを最適化するために、訓練されたニューラルネットワークを適用させ、訓練されたニューラルネットワークは、グリッドオブビームに必要な数のビームが選択されるまで繰り返し適用され、ユーザ機器に送信するために、または、ユーザ機器からの送信を受信するために、グリッドオブビーム（ＧｏＢ）から１つ以上のビームを選択させるように構成される、少なくとも１つのメモリ、および、コンピュータプログラムコード。
【0004】
別の実施形態が、ニューラルネットワークを訓練するためのネットワークデータを収集することと、収集されたデータを使用して、所与のビームをグリッドオブビーム（ＧｏＢ）内へと含めることの利益を評価する非割引累積報酬（Ｑ）を学習するように、ニューラルネットワークを訓練することと、グリッドオブビーム（ＧｏＢ）内に含めるための少なくとも１つのビームを選択して性能メトリックを最適化するために、訓練されたニューラルネットワークを適用することであって、訓練されたニューラルネットワークは、グリッドオブビームに必要な数のビームが選択されるまで繰り返し適用される、ことと、ユーザ機器に送信するために、または、ユーザ機器からの送信を受信するために、グリッドオブビーム（ＧｏＢ）から１つ以上のビームを選択することとを含み得る、方法を対象とする。
【0005】
別の実施形態が、ニューラルネットワークを訓練するためのネットワークデータを収集するための収集する手段と、収集されたデータを使用して、所与のビームをグリッドオブビーム（ＧｏＢ）内へと含めることの利益を評価する非割引累積報酬（Ｑ）を学習するように、ニューラルネットワークを訓練するための訓練する手段と、グリッドオブビーム（ＧｏＢ）内に含めるための少なくとも１つのビームを選択して性能メトリックを最適化するために、訓練されたニューラルネットワークを適用するための適用する手段であって、訓練されたニューラルネットワークは、グリッドオブビームに必要な数のビームが選択されるまで繰り返し適用される、手段と、ユーザ機器に送信するために、または、ユーザ機器からの送信を受信するために、グリッドオブビーム（ＧｏＢ）から１つ以上のビームを選択するための選択する手段とを含み得る、装置を対象とする。
【0006】
別の実施形態が、装置に、少なくとも以下のこと：ニューラルネットワークを訓練するためのネットワークデータを収集することと、収集されたデータを使用して、所与のビームをグリッドオブビーム（ＧｏＢ）内へと含めることの利益を評価する非割引累積報酬（Ｑ）を学習するように、ニューラルネットワークを訓練することと、グリッドオブビーム（ＧｏＢ）内に含めるための少なくとも１つのビームを選択して性能メトリックを最適化するために、訓練されたニューラルネットワークを適用することであって、訓練されたニューラルネットワークは、グリッドオブビームに必要な数のビームが選択されるまで繰り返し適用される、ことと、ユーザ機器に送信するために、または、ユーザ機器からの送信を受信するために、グリッドオブビーム（ＧｏＢ）から１つ以上のビームを選択することとを行わせるためのプログラム命令を含む、コンピュータ可読媒体を対象とする。
【0007】
別の実施形態が、装置に、少なくとも以下のこと：ニューラルネットワークを訓練するためのネットワークデータを収集することと、収集されたデータを使用して、所与のビームをグリッドオブビーム（ＧｏＢ）内へと含めることの利益を評価する非割引累積報酬（Ｑ）を学習するように、ニューラルネットワークを訓練することと、グリッドオブビーム（ＧｏＢ）内に含めるための少なくとも１つのビームを選択して性能メトリックを最適化するために、訓練されたニューラルネットワークを適用することであって、訓練されたニューラルネットワークは、グリッドオブビームに必要な数のビームが選択されるまで繰り返し適用される、ことと、ユーザ機器に送信するために、または、ユーザ機器からの送信を受信するために、グリッドオブビーム（ＧｏＢ）から１つ以上のビームを選択することとを行わせるための命令を含む、コンピュータプログラムを対象とする。
【0008】
例示の実施形態の適正な理解のために、参照が、付随する図面に対して行われるべきである。
【図面の簡単な説明】
【0009】
【図1】一実施形態による例示のシステムを例示する図である。
【図2】一実施形態による方法の例示のフローダイアグラムを例示する図である。
【図3a】一実施形態による装置のブロックダイアグラムを例示する図である。
【図3b】一実施形態による装置のブロックダイアグラムを例示する図である。
【発明を実施するための形態】
【0010】
本明細書においての図において一般的に説明および例示されるような、特定の例示の実施形態の構成要素は、多種多様の異なる構成で配置構成および設計され得るということが、たやすく理解されることになる。かくして、グリッドオブビーム（ＧｏＢ）を決定するためのシステム、方法、装置、およびコンピュータプログラム製品の、いくつかの例示の実施形態の、以下の詳細な説明は、特定の実施形態の範囲を限定することを意図されるのではなく、選択される例示の実施形態を代表するものである。
【0011】
本明細書の全体を通して説明される例示の実施形態の特徴、構造、または特性は、１つ以上の例示の実施形態において、任意の適した様式で組み合わされ得る。例えば、本明細書の全体を通しての、語句「特定の実施形態」、「いくつかの実施形態」、または、他の同様の文言の使用の仕方は、一実施形態に関連して説明される個別の特徴、構造、または特性が、少なくとも１つの実施形態に含まれ得るという事実を指す。かくして、本明細書の全体を通しての、語句「特定の実施形態において」、「いくつかの実施形態において」、「他の実施形態において」、または、他の同様の文言の出現は、必ずしもすべてが実施形態の同じ群を指すとは限らず、説明される特徴、構造、または特性は、１つ以上の例示の実施形態において、任意の適した様式で組み合わされ得る。
【0012】
追加的に、必要に応じて、下記で論考される異なる機能またはステップは、異なる順序で、および／または、互いと同時的に行われ得る。さらにまた、必要に応じて、説明される機能またはステップのうちの１つ以上は、任意選択であり得、または、組み合わされ得る。しかるがゆえに、以下の説明は、特定の例示の実施形態の原理および教示について、ただ単に例示的と考えられるべきであり、原理および教示を限定すると考えられるべきではない。
【0013】
大規模ＭＩＭＯの利得を達成するための１つの方法は、いわゆるグリッドオブビーム（ＧｏＢ）を作ることによるものである。このＧｏＢは、ビームのセットを表し、そのセットから、１つ以上のビームが、ダウンリンク（ＤＬ）においてＵＥに送信するために、または、アップリンク（ＵＬ）上でのＵＥの送信を受信するために選定されることになる。最良のビームは、典型的には、ＵＥフィードバックを使用して、または、ＤＬ無線周波数（ＲＦ）チェーンとＵＬ無線周波数（ＲＦ）チェーンとの間の較正を仮定して、時間分割複信（ＴＤＤ）システムにおいてのＵＬサウンディングを使用することにより決定される。
【0014】
ＧｏＢソリューションは、固有ビームフォーミング、ゼロフォーシング、または最大信号対漏れプラス雑音比（ｍａｘ－Ｓｉｇｎａｌ－ｔｏ－ｌｅａｋａｇｅ－ｐｌｕｓ－ｎｏｉｓｅ ｒａｔｉｏ）スキームなどの、他の、より複雑なビームフォーミング技法と比較されるときに、実装するのがより容易であり得る。ＧｏＢソリューションは、十分な数のビームが選定され、ビームが、ビームポインティング方向、ビーム幅、サイドローブ利得、その他などのパラメータを制御することにより、うまく設計されるならば、より複雑なビームフォーミング技法の性能に近付くように作り出され得る。
【0015】
生じる問題は、適切な性能メトリックが最適化されるように、ＧｏＢ内に含められるビームをどのように決定すべきかに関する。例えば、そのような性能メトリックは、信号対干渉プラス雑音比（ＳＩＮＲ）、スループット、ビームフォーミング利得、その他を含み得るが、それらに限定されない。特に、ＧｏＢ内のビームを、空間的トラフィック分布、基地局（ＢＳ）高さ、サイト間距離、伝搬条件、クラッタ、その他に適合させることが望ましくあり得る。このことは、最適化されるべき多くの相互に関係しているパラメータが存するので、非常に困難な問題であるとわかる。ビームは、特定のビーム幅を有し、強いサイドローブを有することがある。以下で論考されるように、最適化問題が定式化されるときでさえ、それは、選択され得るビームの大量の可能な選定に起因して、正確に解くのが困難である。それゆえに、特定の実施形態は、ＧｏＢ内のビームを最適化する問題を解くのに良く適した、動的計画法（ｄｙｎａｍｉｃ ｐｒｏｇｒａｍｍｉｎｇ）、ならびに、機械学習（ＭＬ）および／または人工知能（ＡＩ）技法の組み合わせを使用し得る。
【0016】
ＧｏＢ内のビームは、ＵＥにおいての、追加的なオーバヘッド、および、増加したスキャニング／探索時間のために、遅い時間尺度で変化させられるということが留意される。それゆえに、いくつかの実施形態によれば、最適ＧｏＢ選択モジュールが、無線アクセスネットワーク（ＲＡＮ）の外側に配され得、そこでは、ＭＬ用途に対して最適化された、何らかの専用のハードウェアが使用され得る。一実施形態において、ＭＬモデルは、訓練されると、新しいトラフィック分布および伝搬シナリオを入力として与えられるとき、推論のために使用され得る。
【0017】
本明細書において説明される特定の実施形態は、１つ以上の性能メトリックを達成することなど、適切な目的を最適化するために、ＧｏＢ内に含められるビームを決定し適合させるための方法および／または装置を提供する。いくつかの実施形態は、機械学習（ＭＬ）および近似動的計画法技法を利用して、ＧｏＢ内に含めるための（例えば、性能メトリックの観点での）最良の、または最適なビームを選択し得る。例示の実施形態を使用して対処および克服され得る、問題のタイプのいくつかの例は：（１）カバレッジを改善するためのＳＳＢビーム設計、ならびに／または、（２）キャパシティおよび／もしくはスループット性能を改善するための改良されるトラフィックビーム設計、を含み得る。カバレッジを改善するためのＳＳＢビーム設計に対して、目的関数は、セルにおいての最小基準信号受信電力（ＲＳＲＰ）を最大化すること、または、トラフィック密度により重み付けされたセルのＲＳＲＰの幾何平均を最大化すること、または、５パーセンタイルワーストＲＳＲＰを最大化すること、その他であり得る。キャパシティおよび／またはスループット性能を改善するための改良される／トラフィックビーム設計に対して、目的は、トラフィック密度で重み付けされた平均ビームフォーミング利得、または、ビームフォーミング利得、信号対雑音比（ＳＮＲ）、ＳＩＮＲ、スループット、その他の、トラフィック密度で重み付けされた幾何平均を最大化することであり得る。例示の実施形態が、これらの問題を参照して本明細書において説明される一方で、特定の実施形態は、これらの例に限定されず、他の変形例に等しく適用可能であることになるということが留意されるべきである。
【0018】
本明細書において説明されるように、Ｕは、ＧｏＢ内に含められ得るすべての潜在的ビームを含むビームのユニバーサルセットを表し得る。しかるがゆえに、ユニバーサルビームセットＵは、ビームの大きいコレクションまたはディクショナリを含み得る。これらのビームは、方位角／仰角ステアリング方向、ならびに、方位角面および仰角面においてのビーム幅により特徴付けられ得る。例えば、Ｕは、離散フーリエ変換（ＤＦＴ）ビーム、方向の適切なチューニングのためのシフトされたＤＦＴビーム、オーバサンプリングされたＤＦＴビーム、ビーム幅の適切なチューニングのためのマージされたビーム（ｍｅｒｇｅｄ ｂｅａｍ）、ビーム幅低減を犠牲にしたビーム間干渉低減（サイドローブ低減）のためのテーパ付けされたビーム（ｔａｐｅｒｅｄ ｂｅａｍ）、その他を含み得る。加えて、いくつかの実施形態によれば、ＮＢ個のビームのサブセットのみが、ＧｏＢを構築するためにＵから選択され得るという制約が存するということが仮定され得る。それゆえに、特定の実施形態は、適切な性能メトリックを最適化する、Ｕの最良のＮＢサイズのサブセットを選択するように構成される。例えば、性能メトリックは、トラフィック密度で重み付けされた平均ビームフォーミング利得、もしくは、トラフィック密度で重み付けされたビームフォーミング利得の幾何平均を最大化すること、トラフィック密度で重み付けされた平均ＳＮＲ／ＳＩＮＲ／スループット、その他を最大化すること、および／または、セルにおいての最小ＲＳＲＰを最大化すること（カバレッジ問題）、もしくは、トラフィック密度により重み付けされたセルのＲＳＲＰの幾何平均を最大化すること、もしくは、５パーセンタイル（またはｘパーセンタイル）ワーストＲＳＲＰを最大化すること、または、任意の他の適切な性能メトリックを含み得るが、それらに限定されない。
【0019】
図１は、一実施形態によるシステムの例示の機能ブロックダイアグラムを例示する。図１の例において例示されるように、システムは、下記でより詳細に論考されることになる、訓練段階１１０と、推論段階１２０とを含み得る。下記の表１は、図１において描写される、および、さもなければ本明細書において使用される、表記または変数を定義する。
【0020】
【表1】
【0021】
図１の例において例示されるように、訓練は、最初に訓練段階１１０において行われ得る。一実施形態において、訓練は、シミュレーションからのデータを使用して行われ得る。いくつかの実施形態によれば、シミュレーションデータは、３ＧＰＰ ３Ｄチャネルモデルなどの統計学的モデルからの、または、大量の現実的な配備に対するレイトレーシングデータからのものであり得る。図１の例において描写されるように、訓練段階１１０は、例えば多数のセルシナリオにわたって、長期の準静的データを収集および／または記憶することを含み得る。
【0022】
いくつかの実施形態によれば、訓練のために使用される（シミュレーション）データが、シナリオを的確に表さないならば、オンラインで収集されたデータが、訓練段階１１０の改良のために使用され得る。この場合、事前定義されたＧｏＢにわたるオンラインデータまたはオンライン測定値によって、質的に向上させられ、または、強化され得る、新しい訓練動作が適用され得る。
【0023】
１つの実施形態は、適切な目的関数が最適化されるように、近似動的計画法（ＤＰ）手法を利用または適用して、ＧｏＢ内に含めるための最良のＮＢ個のビームを決定し得る。特定の実施形態は、妥当なサイズのユニバーサルビームセットおよびＧｏＢセットによってでさえ発生することになる、状態空間の爆発のために、「近似」動的計画法方法を使用し得る。例えば、｜Ｕ｜が１００であり、ＮＢが３２であるならば、状態の数は２．５９Ｅ２６である。かくして、この問題を解くための価値反復および方策反復などの、正確な動的計画法技法を使用することが可能でないことがある。それゆえに、一実施形態は、例えばディープＱニューラルネットワーク（ＤＱＮ）手法を使用する近似方法を適用し得る。
【0024】
ＤＱＮ手法によれば、Ｑ関数
は、状態ｓにおいてアクションａを選定することの即時報酬、および、次の状態ｓ’以降からの最適な報酬の総和：
を与え、ここで、ｓ’は、アクションａが選定されるときに、状態ｓからシステムにより訪問される次の状態である。特定の実施形態に対して、次の状態ｓ’は、アクションａが状態ｓにおいて選定されるときに決定論的であるということが留意される。しかしながら、上記で論考された状態およびアクション空間爆発に起因して、精確な動的計画法方法を使用してＱ（ｓ，ａ）を決定することが可能でないことがある。それゆえに、特定の実施形態によれば、Ｑ（ｓ，ａ）は、例えば、ディープニューラルネットワーク（ＤＮＮ）に由来し、重みベクトルｗによりパラメータ化され得る、
により近似され得る。
【数1】
【数2】
【数3】
【0025】
１つの実施形態において、特徴のセットｖが選択され得、ＤＮＮは、Ｑ関数を、状態およびアクションの代わりに、これらの特徴に応じて近似し得る。このことは、なぜならば、定義されるような状態およびアクションは、Ｑ関数を近似できるための、ＤＮＮへの入力として提示可能な形態でないことがあるからである。例えば、いくつかの状態は、クリティカルサンプリングされたＤＦＴビームに対応し得、他のものは、広いビームに対応し得る。それらの状態を実際に訪問することなしに、ＤＮＮが、そのような状態の間で区別することは困難であり得る。特徴ベクトルｖは、
からのマッピングであり得、Ｑ関数は、
として、
の代わりに近似され得る。いくつかの実施形態によれば、例えば、以下のもののうちの１つ以上が、所与の状態ｓおよびアクションａに対する特徴ベクトルとして選定され得る：ＤＦＴビームの数、マージされたビームの数、テーパ付けされたビームの数、これらのビームのビームポインティング方向、これらのビームのビーム幅、および／または、これらのビームの最大ビームフォーミング利得、その他。
【数4】
【数5】
【数6】
【0026】
一実施形態によれば、ＤＱＮ方法は、観測に基づいて、Ｑ関数の可能な限り良好な関数的近似を得ることを試みるために使用され得る。しかるがゆえに、いくつかの実施形態は、動的プログラム（ＤＰ）ベルマンの方程式アクション－価値反復を行い、Ｑ関数をより良好に近似するようにＮＮを訓練するための反復を、同時に遂行し得る。ＤＱＮによって、畳み込みニューラルネットワーク（ＣＮＮ）またはディープニューラルネットワーク（ＤＮＮ）は、アクションａが状態ｓにおいて行われるときの非割引累積報酬を表す「Ｑ関数」をモデリング／近似するために使用され得、収束まで近似を反復して継続する。かくして、ＣＮＮ／ＤＮＮは、状態ｓ（または、対応する特徴ベクトルｖ）を入力として使用し得、Ｑ値を、その状態に対する各可能なアクションａに対して出力し得る。
【0027】
例えば、特定の実施形態において、ＤＱＮ反復は、以下のこと：（１）すべての状態およびアクションに対して、重みｗおよびＱ関数を初期化すること（例えば、それらは、０に初期化され得る）と；（２）（ｓ，ａ）対、および、更新を、以下の：
によって、選択することとを含み得、ここで、
は、重みベクトルｗにおいての状態アクション対（ｓ，ａ）に対して計算される
関数の勾配である。このプロセスは、ｗベクトルまたは近似
関数のいずれかが、反復の間に十分に変化しなくなるまで繰り返され得る。特定の実施形態において、ｗ－は、周期的にのみ更新され得、または、ｗ－は、ｗが更新されるたびに更新され得る。
【数7】
【数8】
【数9】
【数10】
【0028】
【数11】
【数12】
【0029】
【数13】
【0030】
一実施形態において、ＧｏＢ選択に適用される際、ＤＱＮは、「非」割引累積報酬であるＱ（ｓ，ａ）を決定し得、なぜならば、ＧｏＢ内へと追加されるすべてのビームに対する、非割引（等しい重み）報酬に対する必要性が存するからである。Ｑ（ｓ，ａ）に対して、状態ｓは、ＧｏＢのステータス（構築においてのＧｏＢにおいての、選択された、および、選択されないビーム）であり、アクションａは、Ｕ（ユニバーサルビームセット）からの１つの追加的なビームの選択に対応し、アクションａに対するＱ関数は、そのようなビームを更新されるＧｏＢ内に追加することからの利益を反映する。
【0031】
図１の例において例示され、上記で紹介されたように、特定の実施形態は、訓練されたＧｏＢ方策を動作するセルに適用するように構成される推論段階１２０を含み得る。図１の例において描写されるように、推論段階１２０は、入力として、訓練段階１１０の出力、および、任意選択で、考慮されるセルに対する長期の準静的データを取り得る。それゆえに、一実施形態において、ＣＮＮ／ＤＮＮは、訓練段階１１０の間に、何らかの新しい所与のビームをＧｏＢ内へと含めることのグローバルな利益を評価する非割引累積報酬Ｑを学習するように訓練されている。推論段階１２０は、次いで、ＧｏＢのビームの必要な数と同じ回数、訓練されたＣＮＮ／ＤＮＮを反復して適用し得る。
【0032】
１つの実施形態は、性能メトリックとしての、トラフィック密度で重み付けされたビームフォーミング利得を最大化することに努め得る。しかるがゆえに、目的は、｛ρ，Ｇ｝入力特徴を最適ＧｏＢにマッピングする方策をセットアップすることである。上記で述べられたように、例示の実施形態によれば、反復的プロセスは、ＧｏＢが構築されるところで、（ユニバーサルビームセットから選択される）ＧｏＢ内のビームの最大数までのビームに次々と行われる。この実施形態において、反復ごとに、ＢＳは、構築中のＧｏＢ内にここまでで含められるビームのセットを示し、構築中のＧｏＢに追加されるビーム「ａ」は、以下の報酬：
を生む。
【数14】
【0033】
同様に、この実施形態によれば、ビームは、それが、この新しい候補ビームを伴わないＧｏＢと比較されるときに、関心のある全エリアにわたってのＢＦ利得の観点で、最良の成果／効率を確実にするならば、ＧｏＢに追加され得る。プロセスの終了においての目的は、期待される非割引累積報酬、ＮＢステップ累積報酬を最大化することである：
よって、上記のソリューションは、トラフィック密度で重み付けされたビームフォーミング利得を最大化することができる。
【数15】
【0034】
カバレッジ最適化のために、別の実施形態が、セルの意図されるカバレッジエリア内のいかなるところでも最小ＲＳＲＰを最大化するという目的を使用し得る。この場合、選択されるビームの数は、目標はただＳＳＢビームを決定することであるので、より小さくあり得る。量子化された直方体／タイル（ｘ，ｙ，ｚ）においてのＲＳＲＰは、ビームｂｉがそのタイルをサーブしていると仮定して、
により示される。よって、この実施形態において、報酬は、以下の：
において、ｒ（ｓ，ａ）により与えられる。
【数16】
【数17】
【0035】
別の実施形態において、ビームフォーミング利得の重み付けされた総和（または最小ＲＳＲＰ）を最大化することの代わりに、セルの全域でのビームフォーミング利得の、公正な割り振りをもたらす別の目的は、ビームフォーミング利得の幾何平均を最大化することである。かくして、この実施形態において、最適化問題は、
を最大化することである。この目的は、ビームフォーミング利得の、より公正な割り振りをもたらし得、なぜならば、ビームフォーミング利得の小さすぎる値は、それが算術平均を低減するよりもはるかに多く、積を低減することになるからである。このことを、加法的報酬のみを認める動的プログラム（ｄｙｎａｍｉｃ ｐｒｏｇｒａｍ）（ＤＰ）として定式化するために、一実施形態は、この幾何平均の対数を最大化することができ、なぜならば、対数は、その引数の単調増加関数であるからである。かくして、例示の実施形態は、
を最大化する
を最大化する。
この実施形態において、報酬ｒ（ｓ，ａ）は、以下の：
のように、ビームフォーミング利得の幾何平均を最大化するように修正され得る。
一実施形態は、ｌｏｇを内側に移すことができ、なぜならば、ｌｏｇは単調増加関数であるからである。かくして、報酬は、次式：
により与えられることになる。このことは、利得がビームフォーミング利得のｌｏｇにより置換される、より早期の総和報酬最大化問題の平易な修正である。
【数18】
【数19】
【数20】
この実施形態において、報酬ｒ（ｓ，ａ）は、以下の：
【数21】
一実施形態は、ｌｏｇを内側に移すことができ、なぜならば、ｌｏｇは単調増加関数であるからである。かくして、報酬は、次式：
【数22】
【0036】
図２は、一例示の実施形態による、ネットワーク性能メトリックを最大化するために、ＧｏＢ内に含めるための１つ以上のビームを決定するための方法の例示のフローダイアグラムを例示する。特定の例示の実施形態において、図２のフローダイアグラムは、ＬＴＥまたは５Ｇ ＮＲなどの、３ＧＰＰ通信システム内のネットワークエンティティまたはネットワークノードにより行われ得る。例えば、いくつかの例示の実施形態において、図２の方法は、ＬＴＥ、５Ｇ、またはＮＲシステム内の、基地局、ｅＮＢ、ｇＮＢ、またはアクセスノード、または類するものにより行われ得る。
【0037】
１つの実施形態において、図２の方法は、２００において、ニューラルネットワーク（ＮＮ）を訓練するためのネットワークデータを収集することを含み得る。いくつかの実施形態によれば、ＮＮは、例えば、ＣＮＮ、ＤＮＮ、および／またはＤＱＮであり得る。収集されるデータは、３ＧＰＰ ３Ｄチャネルモデルなどの統計学的モデルから、もしくは、いくつかの現実的な配備に対するレイトレーシングデータから収集されるシミュレーションデータ、および／または、事前定義されたＧｏＢにわたる測定値から収集されるオンラインデータを含み得る。
【0038】
一実施形態によれば、図２の方法は、また、２１０において、収集されたデータを使用して、所与のビームをＧｏＢ内へと含めることの利益を評価する非割引累積報酬Ｑを学習するように、ＮＮを訓練することを含み得る。１つの実施形態において、方法は、Ｑを
として近似することを含み得、ここで、ｖは特徴ベクトルであり、ｗは重みベクトルである。特定の実施形態において、特徴ベクトルｖは、離散フーリエ変換（ＤＦＴ）ビームの数；マージされたビームの数；テーパ付けされたビームの数；ビームのビームポインティング方向；ビームのビーム幅；および／または、ビームの最大ビームフォーミング利得のうちの、１つ以上を含み得る。
【数23】
【0039】
一実施形態において、方法は、重みベクトルｗまたは近似
関数のいずれかが、反復の間に十分に変化しなくなるまで、ＮＮの訓練を反復して適用することを含み得る。いくつかの実施形態によれば、ＮＮの訓練は：（ａ）すべての状態およびアクションに対して、重みベクトルｗおよびＱ関数を初期化することと；（ｂ）（ｓ，ａ）対、および、更新ｗを、以下の：
によって、選択することとを含み得、ここで、
は、重みベクトルｗにおいての状態アクション対（ｓ，ａ）に対して計算される
関数の勾配である。ステップ（ｂ）は、次いで、ｗベクトルまたは近似
関数のいずれかが、反復の間に十分に変化しなくなるまで繰り返され得る。
【数24】
【数25】
【数26】
【数27】
【数28】
【0040】
１つの実施形態によれば、図２の方法は、また、２２０において、ＧｏＢ内に含めるための１つ以上のビームを選択して性能メトリックを最適化するために、訓練されたＮＮを適用することを含み得る。訓練されたＮＮは、ＧｏＢに必要な数のビームが選択されるまで繰り返し適用され得る。一実施形態において、方法は、次いで、２３０において、ユーザ機器に送信するために、または、ユーザ機器からの送信を受信するために、グリッドオブビーム（ＧｏＢ）から１つ以上のビームを選択することを含み得る。
【0041】
特定の実施形態において、ＧｏＢ内に含めることのためのビームの選択は、グリッドオブビーム（ＧｏＢ）内に含めるための最大Ｑ値を有するビームを選択し、そのことにより、性能メトリックを最適化することを含み得る。１つの実施形態によれば、性能メトリックは、トラフィック密度で重み付けされたビームフォーミング利得であり得、適用すること２２０は、以下の報酬：
によって、トラフィック密度で重み付けされたビームフォーミング利得を最大化する、ＧｏＢ内に含めるためのビームを選択するために、訓練されたＮＮを適用することを含み得る。
【数29】
【0042】
別の実施形態において、性能メトリックは、カバレッジ最適化であり得、適用すること２２０は、以下の報酬：
によって、最小ＲＳＲＰを最大化する、ＧｏＢ内に含めるためのビームを選択するために、訓練されたＮＮを適用することを含み得る。
【数30】
【0043】
なおも別の実施形態において、性能メトリックは、ビームフォーミング利得の幾何平均であり得、適用すること２２０は、以下の報酬：
によって、ビームフォーミング利得の幾何平均を最大化する、ＧｏＢ内に含めるためのビームを選択するために、訓練されたＮＮを適用することを含み得る。
【数31】
【0044】
図３ａは、一実施形態による装置１０の例を例示する。一実施形態において、装置１０は、通信ネットワーク内の、または、そのようなネットワークをサーブする、ノード、ホスト、またはサーバであり得る。例えば、装置１０は、ＧＳＭネットワーク、ＬＴＥネットワーク、５Ｇ、またはＮＲなどの無線アクセスネットワークと関連付けられる、基地局、ノードＢ、進化型ノードＢ（ｅＮＢ）、５ＧノードＢもしくはアクセスポイント、次世代ノードＢ（ＮＧ－ＮＢまたはｇＮＢ）、ＷＬＡＮアクセスポイント、モビリティ管理エンティティ（ＭＭＥ）、および／もしくはサブスクリプションサーバであり得る。
【0045】
いくつかの例示の実施形態において、装置１０は、分散コンピューティングシステムとしてエッジクラウドサーバから成り得、そこでは、サーバおよび無線ノードは、無線パスを介して、もしくは、有線接続を介して互いと通信するスタンドアロン装置であり得、または、サーバおよび無線ノードは、有線接続を介して通信して、同じエンティティ内に配置され得るということが理解されるべきである。例えば、装置１０がｇＮＢを表す特定の例示の実施形態において、装置１０は、ｇＮＢ機能性を分割する、セントラルユニット（ｃｅｎｔｒａｌ ｕｎｉｔ）（ＣＵ）および分散ユニット（ｄｉｓｔｒｉｂｕｔｅｄ ｕｎｉｔ）（ＤＵ）アーキテクチャにおいて構成され得る。そのようなアーキテクチャにおいて、ＣＵは、ユーザデータの転送、モビリティ制御、無線アクセスネットワーク共有、ポジショニング、および／またはセッション管理、その他などのｇＮＢ機能を含む論理ノードであり得る。ＣＵは、フロントホールインターフェイス上でＤＵの動作を制御し得る。ＤＵは、機能分離オプションに応じてのｇＮＢ機能のサブセットを含む論理ノードであり得る。当業者は、装置１０が、図３ａにおいて示されない構成要素または特徴を含み得るということを理解することになるということが留意されるべきである。
【0046】
図３ａの例において例示されるように、装置１０は、情報を処理し、命令または動作を実行するためのプロセッサ１２を含み得る。プロセッサ１２は、任意のタイプの汎用または専用プロセッサであり得る。実際、プロセッサ１２は、例として、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、および、マルチコアプロセッサアーキテクチャに基づくプロセッサのうちの１つ以上を含み得る。単一のプロセッサ１２が図３ａにおいて示されるが、多数のプロセッサが、他の実施形態によって利用され得る。例えば、特定の実施形態において、装置１０は、マルチプロセッシングをサポートし得るマルチプロセッサシステムを形成し得る、２つ以上のプロセッサを含み得る（例えば、この場合、プロセッサ１２は、マルチプロセッサを表し得る）ということが理解されるべきである。特定の実施形態において、マルチプロセッサシステムは、（例えば、コンピュータクラスタを形成するために）緊密に結合され、または、緩く結合され得る。
【0047】
プロセッサ１２は、例えば、アンテナ利得／位相パラメータのプリコーディング、通信メッセージを形成する個々のビットの符号化および復号、情報のフォーマッティング、ならびに、通信リソースの管理に関係しているプロセスを含む装置１０の全体制御を含み得る、装置１０の動作と関連付けられる機能を行い得る。
【0048】
装置１０は、さらに、情報、および、プロセッサ１２により実行され得る命令を記憶するための、プロセッサ１２に結合され得る（内部または外部の）メモリ１４を含み、または、メモリ１４に結合され得る。メモリ１４は、１つ以上のメモリで、および、ローカルなアプリケーション環境に適した任意のタイプのものであり得、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリ、ならびに／または、リムーバブルメモリなどの、任意の適した揮発性または不揮発性データ記憶技術を使用して実装され得る。例えば、メモリ１４は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気もしくは光学ディスク、ハードディスクドライブ（ＨＤＤ）などの静的ストレージ、または、任意の他のタイプの非一時的機械もしくはコンピュータ可読媒体の、任意の組み合わせから成り得る。メモリ１４内に記憶される命令は、プロセッサ１２により実行されるときに、装置１０が、本明細書において説明されるようなタスクを行うことを可能にする、プログラム命令またはコンピュータプログラムコードを含み得る。
【0049】
一実施形態において、装置１０は、さらに、光学ディスク、ＵＳＢドライブ、フラッシュドライブ、もしくは、任意の他の記憶媒体などの外部コンピュータ可読記憶媒体を受け付け、読み出すように構成される、（内部または外部の）ドライブもしくはポートを含み、または、ドライブもしくはポートに結合され得る。例えば、外部コンピュータ可読記憶媒体は、プロセッサ１２および／または装置１０による実行のための、コンピュータプログラムまたはソフトウェアを記憶し得る。
【0050】
いくつかの実施形態において、装置１０は、また、装置１０への、および、装置１０からの、信号および／もしくはデータを、送信および受信するための、１つ以上のアンテナ１５を含み、または、1つ以上のアンテナ１５に結合され得る。装置１０は、さらに、情報を送信および受信するように構成される送受信器１８を含み、または、送受信器１８に結合され得る。送受信器１８は、例えば、アンテナ１５に結合され得る複数の無線インターフェイスを含み得る。無線インターフェイスは、ＧＳＭ、ＮＢ－ＩｏＴ、ＬＴＥ、５Ｇ、ＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＢＴ－ＬＥ、ＮＦＣ、無線周波数識別子（ＲＦＩＤ）、超広帯域（ＵＷＢ）、ＭｕｌｔｅＦｉｒｅ、および類するもののうちの１つ以上を含む、複数の無線アクセス技術に対応し得る。無線インターフェイスは、１つ以上のダウンリンクを介する送信のためにシンボルを生成するための、および、（例えば、アップリンクを介して）シンボルを受信するための、フィルタ、コンバータ（例えば、デジタルアナログコンバータおよび類するもの）、マッパ、高速フーリエ変換（ＦＦＴ）モジュール、および類するものなどの構成要素を含み得る。
【0051】
しかるがゆえに、送受信器１８は、アンテナ１５による送信のために、キャリア波形上へと情報を変調し、装置１０の他の要素によるさらなる処理のために、アンテナ１５を介して受信された情報を復調するように構成され得る。他の実施形態において、送受信器１８は、直接的に信号またはデータを送信および受信する能力があり得る。追加的または代替的に、いくつかの実施形態において、装置１０は、入力および／または出力デバイス（Ｉ／Ｏデバイス）を含み得る。
【0052】
一実施形態において、メモリ１４は、プロセッサ１２により実行されるときに機能性を提供するソフトウェアモジュールを記憶し得る。モジュールは、例えば、装置１０に対するオペレーティングシステム機能性を提供するオペレーティングシステムを含み得る。メモリは、また、装置１０に対する追加的な機能性を提供するために、アプリケーションまたはプログラムなどの、１つ以上の機能モジュールを記憶し得る。装置１０の構成要素は、ハードウェアにおいて、または、ハードウェアおよびソフトウェアの任意の適した組み合わせとして実装され得る。
【0053】
いくつかの実施形態によれば、プロセッサ１２およびメモリ１４は、処理回路網もしくは制御回路網内に含められ得る、または、処理回路網もしくは制御回路網の一部を形成し得る。加えて、いくつかの実施形態において、送受信器１８は、送受信回路網内に含められ得る、または、送受信回路網の一部を形成し得る。
【0054】
本明細書において使用される際、用語「回路網（ｃｉｒｃｕｉｔｒｙ）」は、ハードウェアのみの回路網実装（例えば、アナログおよび／またはデジタル回路網）、ハードウェア回路およびソフトウェアの組み合わせ、ソフトウェア／ファームウェアとのアナログおよび／またはデジタルハードウェア回路の組み合わせ、装置（例えば、装置１０）に、様々な機能を行わせるために一緒に働く（デジタル信号プロセッサを含む）ソフトウェアを伴うハードウェアプロセッサの任意の部分、ならびに／あるいは、ソフトウェアが、それが動作のために必要とされないときに存在しないことがあるという場合を除いては、動作のためにソフトウェアを使用する、ハードウェア回路および／もしくはプロセッサ、またはそれらの部分を指し得る。さらなる例として、本明細書において使用される際、用語「回路網」は、また、ただ単にハードウェア回路もしくはプロセッサ（または多数のプロセッサ）、または、ハードウェア回路もしくはプロセッサの部分、ならびに、その付随するソフトウェアおよび／またはファームウェアの実装を包含し得る。用語、回路網は、また、例えば、サーバ、セルラーネットワークノードもしくはデバイス、または、他のコンピューティングもしくはネットワークデバイス内のベースバンド集積回路を包含し得る。
【0055】
上記で紹介されたように、特定の実施形態において、装置１０は、基地局、アクセスポイント、ノードＢ、ｅＮＢ、ｇＮＢ、ＷＬＡＮアクセスポイント、または類するものなどの、ネットワークノードまたはＲＡＮノードであり得る。特定の実施形態によれば、装置１０は、図１において例示されるもの、または、図２において例示されるフローダイアグラムなどの、本明細書において説明される実施形態のうちの任意のものと関連付けられる機能を行うように、メモリ１４およびプロセッサ１２により制御され得る。いくつかの実施形態において、装置１０は、１つ以上の性能メトリックが最適化されるように、ＧｏＢを設計または選択するための手順を行うように構成され得る。
【0056】
例えば、１つの実施形態において、装置１０は、ＮＮを訓練するためのネットワークデータを収集するように、メモリ１４およびプロセッサ１２により制御され得る。いくつかの実施形態によれば、ＮＮは、例えば、ＣＮＮ、ＤＮＮ、および／またはＤＱＮであり得る。収集されるデータは、３ＧＰＰ ３Ｄチャネルモデルなどの統計学的モデルから、もしくは、いくつかの現実的な配備に対するレイトレーシングデータから収集されるシミュレーションデータ、および／または、事前定義されたＧｏＢにわたる測定値から収集されるオンラインデータを含み得る。
【0057】
一実施形態によれば、装置１０は、また、収集されたデータを使用して、ＮＮを訓練して、所与のビームをＧｏＢ内へと含めることの利益を評価する非割引累積報酬Ｑを学習するように、メモリ１４およびプロセッサ１２により制御され得る。１つの実施形態において、装置１０は、Ｑを
として近似するように、メモリ１４およびプロセッサ１２により制御され得、ここで、ｖは特徴ベクトルであり、ｗは重みベクトルである。特定の実施形態において、特徴ベクトルｖは、離散フーリエ変換（ＤＦＴ）ビームの数；マージされたビームの数；テーパ付けされたビームの数；ビームのビームポインティング方向；ビームのビーム幅；および／または、ビームの最大ビームフォーミング利得のうちの、１つ以上を含み得る。
【数32】
【0058】
一実施形態において、装置１０は、重みベクトルｗまたは近似
関数のいずれかが、反復の間に十分に変化しなくなるまで、ＮＮの訓練を反復して適用するように、メモリ１４およびプロセッサ１２により制御され得る。いくつかの実施形態によれば、ＮＮの訓練は：（ａ）すべての状態およびアクションに対して、重みベクトルｗおよびＱ関数を初期化することと；（ｂ）（ｓ，ａ）対、および、更新ｗを、以下の：
によって、選択することとを含み得、ここで、
は、重みベクトルｗにおいての状態アクション対（ｓ，ａ）に対して計算される
関数の勾配である。ステップ（ｂ）は、次いで、ｗベクトルまたは近似
関数のいずれかが、反復の間に十分に変化しなくなるまで繰り返され得る。
【数33】
【数34】
【数35】
【数36】
【数37】
【0059】
１つの実施形態によれば、装置１０は、訓練されたＮＮを適用して、ＧｏＢ内に含めるための１つ以上のビームを選択して性能メトリックを最適化するように、メモリ１４およびプロセッサ１２により制御され得る。一実施形態において、装置１０は、訓練されたＮＮを、ＧｏＢに必要な数のビームが選択されるまで繰り返し適用するように、メモリ１４およびプロセッサ１２により制御され得る。一実施形態において、装置１０は、ユーザ機器に送信するために、または、ユーザ機器からの送信を受信するために、グリッドオブビーム（ＧｏＢ）から１つ以上のビームを選択するように、メモリ１４およびプロセッサ１２により制御され得る。
【0060】
特定の実施形態において、装置１０は、グリッドオブビーム（ＧｏＢ）内に含めるための最大Ｑ値を有するビームを選択して、そのことにより、性能メトリックを最適化するように、メモリ１４およびプロセッサ１２により制御され得る。１つの実施形態によれば、性能メトリックは、トラフィック密度で重み付けされたビームフォーミング利得であり得、装置１０は、訓練されたＮＮを適用して、以下の報酬：
によって、トラフィック密度で重み付けされたビームフォーミング利得を最大化する、ＧｏＢ内に含めるためのビームを選択するように、メモリ１４およびプロセッサ１２により制御され得る。
【数38】
【0061】
別の実施形態において、性能メトリックは、カバレッジ最適化であり得、装置１０は、訓練されたＮＮを適用して、以下の報酬：
によって、最小ＲＳＲＰを最大化する、ＧｏＢ内に含めるためのビームを選択するように、メモリ１４およびプロセッサ１２により制御され得る。
【数39】
【0062】
なおも別の実施形態において、性能メトリックは、ビームフォーミング利得の幾何平均であり得、装置１０は、訓練されたＮＮを適用して、以下の報酬：
によって、ビームフォーミング利得の幾何平均を最大化する、ＧｏＢ内に含めるためのビームを選択するように、メモリ１４およびプロセッサ１２により制御され得る。
【数40】
【0063】
図３ｂは、別の実施形態による装置２０の例を例示する。一実施形態において、装置２０は、ＵＥ、モバイル機器（ＭＥ）、モバイル局、モバイルデバイス、固定式デバイス、ＩｏＴデバイス、または他のデバイスなどの、通信ネットワーク内の、または、そのようなネットワークと関連付けられる、ノードまたは要素であり得る。本明細書において説明されるように、ＵＥは、代替的には、例えば、モバイル局、モバイル機器、モバイルユニット、モバイルデバイス、ユーザデバイス、加入者局、ワイヤレス端末、タブレット、スマートフォン、ＩｏＴデバイス、またはＮＢ－ＩｏＴデバイス、または類するものと呼称され得る。１つの例として、装置２０は、例えば、ワイヤレスハンドヘルドデバイス、ワイヤレスプラグインアクセサリ、または類するものにおいて実装され得る。
【0064】
いくつかの例示の実施形態において、装置２０は、１つ以上のプロセッサ、１つ以上のコンピュータ可読記憶媒体（例えば、メモリ、ストレージ、または類するもの）、１つ以上の無線アクセス構成要素（例えば、モデム、送受信器、または類するもの）、および／またはユーザインターフェイスを含み得る。いくつかの実施形態において、装置２０は、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａ、ＮＲ、５Ｇ、ＷＬＡＮ、ＷｉＦｉ、ＮＢ－ＩｏＴ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＭｕｌｔｅＦｉｒｅ、および／または、任意の他の無線アクセス技術などの、１つ以上の無線アクセス技術を使用して動作するように構成され得る。当業者は、装置２０が、図３ｂにおいて示されない構成要素または特徴を含み得るということを理解することになるということが留意されるべきである。
【0065】
図３ｂの例において例示されるように、装置２０は、情報を処理し、命令もしくは動作を実行するためのプロセッサ２２を含み、または、プロセッサ２２に結合され得る。プロセッサ２２は、任意のタイプの汎用または専用プロセッサであり得る。実際、プロセッサ２２は、例として、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、および、マルチコアプロセッサアーキテクチャに基づくプロセッサのうちの１つ以上を含み得る。単一のプロセッサ２２が図３ｂにおいて示されるが、多数のプロセッサが、他の実施形態によって利用され得る。例えば、特定の実施形態において、装置２０は、多重処理をサポートし得るマルチプロセッサシステムを形成し得る、２つ以上のプロセッサを含み得る（例えば、この場合、プロセッサ２２は、マルチプロセッサを表し得る）ということが理解されるべきである。特定の実施形態において、マルチプロセッサシステムは、（例えば、コンピュータクラスタを形成するために）緊密に結合され、または、緩く結合され得る。
【0066】
プロセッサ２２は、いくつかの例として、アンテナ利得／位相パラメータのプリコーディング、通信メッセージを形成する個々のビットの符号化および復号、情報のフォーマッティング、ならびに、通信リソースの管理に関係しているプロセスを含む装置２０の全体制御を含む、装置２０の動作と関連付けられる機能を行い得る。
【0067】
装置２０は、さらに、情報、および、プロセッサ２２により実行され得る命令を記憶するための、プロセッサ２２に結合され得る（内部または外部の）メモリ２４を含み、または、メモリ２４に結合され得る。メモリ２４は、１つ以上のメモリで、および、ローカルなアプリケーション環境に適した任意のタイプのものであり得、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリ、ならびに／または、リムーバブルメモリなどの、任意の適した揮発性または不揮発性データ記憶技術を使用して実装され得る。例えば、メモリ２４は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気もしくは光学ディスク、ハードディスクドライブ（ＨＤＤ）などの静的ストレージ、または、任意の他のタイプの非一時的機械もしくはコンピュータ可読媒体の、任意の組み合わせから成り得る。メモリ２４内に記憶される命令は、プロセッサ２２により実行されるときに、装置２０が、本明細書において説明されるようなタスクを行うことを可能にする、プログラム命令またはコンピュータプログラムコードを含み得る。
【0068】
一実施形態において、装置２０は、さらに、光学ディスク、ＵＳＢドライブ、フラッシュドライブ、もしくは、任意の他の記憶媒体などの外部コンピュータ可読記憶媒体を受け付け、読み出すように構成される、（内部または外部の）ドライブもしくはポートを含み、または、ドライブもしくはポートに結合され得る。例えば、外部コンピュータ可読記憶媒体は、プロセッサ２２および／または装置２０による実行のための、コンピュータプログラムまたはソフトウェアを記憶し得る。
【0069】
いくつかの実施形態において、装置２０は、また、ダウンリンク信号を受信するための、および、装置２０からアップリンクを介して送信するための、１つ以上のアンテナ２５を含み、または、1つ以上のアンテナ２５に結合され得る。装置２０は、情報を送信および受信するように構成される送受信器２８をさらに含み得る。送受信器２８は、また、アンテナ２５に結合される無線インターフェイス（例えば、モデム）を含み得る。無線インターフェイスは、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａ、５Ｇ、ＮＲ、ＷＬＡＮ、ＮＢ－ＩｏＴ、Ｂｌｕｅｔｏｏｔｈ、ＢＴ－ＬＥ、ＮＦＣ、ＲＦＩＤ、ＵＷＢ、および類するもののうちの１つ以上を含む、複数の無線アクセス技術に対応し得る。無線インターフェイスは、ダウンリンクまたはアップリンクにより搬送されるＯＦＤＭＡシンボルなどのシンボルを処理するための、フィルタ、コンバータ（例えば、デジタルアナログコンバータおよび類するもの）、シンボルデマッパ、信号整形構成要素、逆高速フーリエ変換（ＩＦＦＴ）モジュール、および類するものなどの、他の構成要素を含み得る。
【0070】
例えば、送受信器２８は、アンテナ２５による送信のために、キャリア波形上へと情報を変調し、装置２０の他の要素によるさらなる処理のために、アンテナ２５を介して受信された情報を復調するように構成され得る。他の実施形態において、送受信器２８は、直接的に信号またはデータを送信および受信する能力があり得る。追加的または代替的に、いくつかの実施形態において、装置１０は、入力および／または出力デバイス（Ｉ／Ｏデバイス）を含み得る。特定の実施形態において、装置２０は、グラフィカルユーザインターフェイスまたはタッチスクリーンなどのユーザインターフェイスをさらに含み得る。
【0071】
一実施形態において、メモリ２４は、プロセッサ２２により実行されるときに機能性を提供するソフトウェアモジュールを記憶する。モジュールは、例えば、装置２０に対するオペレーティングシステム機能性を提供するオペレーティングシステムを含み得る。メモリは、また、装置２０に対する追加的な機能性を提供するために、アプリケーションまたはプログラムなどの、１つ以上の機能モジュールを記憶し得る。装置２０の構成要素は、ハードウェアにおいて、または、ハードウェアおよびソフトウェアの任意の適した組み合わせとして実装され得る。一例示の実施形態によれば、装置２０は、任意選択で、ＮＲなどの任意の無線アクセス技術による、ワイヤレスまたは有線通信リンク７０を介して、装置１０と通信するように構成され得る。
【0072】
いくつかの実施形態によれば、プロセッサ２２およびメモリ２４は、処理回路網もしくは制御回路網内に含められ得る、または、処理回路網もしくは制御回路網の一部を形成し得る。加えて、いくつかの実施形態において、送受信器２８は、送受信回路網内に含められ得る、または、送受信回路網の一部を形成し得る。
【0073】
上記で論考されたように、いくつかの実施形態によれば、装置２０は、例えば、ＵＥ、モバイルデバイス、モバイル局、ＭＥ、ＩｏＴデバイス、および／またはＮＢ－ＩｏＴデバイスであり得る。特定の実施形態によれば、装置２０は、本明細書において説明される例示の実施形態と関連付けられる機能を行うように、メモリ２４およびプロセッサ２２により制御され得る。例えば、いくつかの実施形態において、装置２０は、本明細書において説明されるフローチャートまたはシグナリングダイアグラムのうちの任意のものにおいて描写されるプロセスのうちの１つ以上を行うように構成され得る。例えば、特定の実施形態において、装置２０は、性能メトリックを最適化するために、ＧｏＢから選択されるビーム上で、ネットワークから受信する、または、ネットワークに送信するための手順を行うように構成され得る。
【0074】
ゆえに、いくつかの実施形態によれば、装置２０は、ＧｏＢから選択されるビーム上で、ネットワークからのデータを受信または送信するために、性能測定基準を最適化するように、メモリ２４およびプロセッサ２２により制御され得る。
【0075】
それゆえに、特定の例示の実施形態は、いろいろな技術的改善、増強、および／または利点を提供する。例えば、特定の実施形態は、ＧｏＢの設計などの、ビームフォーミング技法に対する改善を提供する。
【0076】
例えば、上記で論考されたように、特定の実施形態は、ビームフォーミング利得の幾何平均を最大化することができる。いくつかの実施形態において、ＭＬベースのＧｏＢ設計は、トラフィック分布に無関係に選定される、大まかな一様のベースラインに対して、ビームフォーミング利得の幾何平均において６ｄＢ利得をもたらし得る。例えば、特定の実施形態は、より少ないトラフィックが存する領域内で広いビームをもたらし得、高いトラフィック密度が存する領域は、その方向においてポインティングするより大量のビームを有し得る。別の例において、ＵＥがセクタの１つのエッジにおいて疎に配置される場合、ビームの大部分は、トラフィックが集中するセルの他の領域に向けられ得、結果として、ＵＥのビームフォーミング利得の幾何平均において、最高で４．６ｄＢ改善が存する。よって、例示の実施形態は、他のビームフォーミング技法と比較されるときに、有意な追加的なビームフォーミング利得を提供する。
【0077】
しかるがゆえに、例示の実施形態は、ネットワーク、ならびに、例えば、アクセスポイント、基地局／ｅＮＢ／ｇＮＢ、および、モバイルデバイスまたはＵＥを含むネットワークノードの、電力効率、性能、遅延、および／またはスループットを改善し得る。よって、特定の例示の実施形態の使用は、通信ネットワーク、および、それらのノードの、改善された機能実行をもたらす。
【0078】
いくつかの例示の実施形態において、本明細書において説明される方法、プロセス、シグナリングダイアグラム、アルゴリズム、またはフローチャートのうちの任意のものの機能性は、メモリ、または、他のコンピュータ可読もしくは有形媒体内に記憶され、プロセッサにより実行される、ソフトウェア、および／または、コンピュータプログラムコード、もしくは、コードの部分により実装され得る。
【0079】
いくつかの例示の実施形態において、装置が、少なくとも１つの演算プロセッサにより実行される、算術演算として、または、プログラム、もしくは、プログラムの部分（追加または更新されるソフトウェアルーチンを含む）として構成される、少なくとも１つのソフトウェアアプリケーション、モジュール、ユニット、またはエンティティとともに含められ、あるいは、少なくとも１つのソフトウェアアプリケーション、モジュール、ユニット、またはエンティティと関連付けられ得る。ソフトウェアルーチン、アプレット、およびマクロを含む、またプログラム製品またはコンピュータプログラムと呼ばれるプログラムは、任意の装置可読データ記憶媒体内に記憶され、個別のタスクを行うためのプログラム命令を含み得る。
【0080】
コンピュータプログラム製品は、プログラムが走らされるときに、いくつかの例示の実施形態を遂行するように構成される、１つ以上のコンピュータ実行可能構成要素を備え得る。１つ以上のコンピュータ実行可能構成要素は、少なくとも１つのソフトウェアコード、または、少なくとも１つのソフトウェアコードの部分であり得る。一例示の実施形態の機能性を実装するために必要な修正および構成は、追加または更新されるソフトウェアルーチンとして実装され得るルーチンとして行われ得る。ソフトウェアルーチンは、装置内へとダウンロードされ得る。
【0081】
例として、ソフトウェアもしくはコンピュータプログラムコード、または、その部分は、ソースコード形態、オブジェクトコード形態での、または、何らかの中間形態でのものであり得、プログラムを搬送する能力がある任意のエンティティまたはデバイスであり得る、何らかの種類のキャリア、配信媒体、またはコンピュータ可読媒体内に記憶され得る。そのようなキャリアは、例えば、記録媒体、コンピュータメモリ、読み出し専用メモリ、光電および／または電気キャリア信号、電気通信信号、ならびにソフトウェア配信パッケージを含み得る。必要とされる処理電力に応じて、コンピュータプログラムは、単一の電子デジタルコンピュータにおいて実行され得、または、コンピュータプログラムは、いくつかのコンピュータの間で分散され得る。コンピュータ可読媒体またはコンピュータ可読記憶媒体は、非一時的媒体であり得る。
【0082】
他の例示の実施形態において、機能性は、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、ハードウェアおよびソフトウェアの任意の他の組み合わせの使用を通して、装置（例えば、装置１０または装置２０）内に含まれるハードウェアまたは回路網により行われ得る。なおも別の例示の実施形態において、機能性は、インターネットまたは他のネットワークからダウンロードされる電磁信号により搬送され得る、信号、非有形手段として実装され得る。
【0083】
一例示の実施形態によれば、ノード、デバイス、または、対応する構成要素などの装置は、単一チップコンピュータ要素など、回路網、コンピュータ、もしくは、マイクロプロセッサとして、または、少なくとも、算術演算のために使用される記憶容量を提供するためのメモリと、算術演算を実行するための演算プロセッサとを含むチップセットとして構成され得る。
【0084】
当業者は、上記で論考されたような例示の実施形態が、開示されるものとは異なる順序でのステップによって、および／または、開示されるものとは異なる構成でのハードウェア要素によって実践され得るということをたやすく理解することになる。それゆえに、いくつかの実施形態が、これらの例の好ましい実施形態に基づいて説明されたが、特定の修正、変形、および代替的構築が、例示の実施形態の趣旨および範囲の中にとどまりながらも明らかなことになるということが、当業者には明らかなことになる。それゆえに、例示の実施形態の境界および範囲を決定するために、参照が、添付される特許請求の範囲に対して行われるべきである。
【図1】
【図2】
【図3a】
【図3b】