ホーム > 特許ランキング > 株式会社日立国際電気
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138789
(43)【公開日】2024-10-09
(54)【発明の名称】無線端末及び無線システム
(51)【国際特許分類】
H04L 47/41 20220101AFI20241002BHJP
【ＦＩ】
H04L47/41
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023049472
(22)【出願日】2023-03-27
(71)【出願人】
【識別番号】000001122
【氏名又は名称】株式会社日立国際電気
(74)【代理人】
【識別番号】100093104
【弁理士】
【氏名又は名称】船津 暢宏
(72)【発明者】
【氏名】木本 亨尚
【テーマコード（参考）】
5K030
【Ｆターム（参考）】
5K030GA13
5K030HA08
5K030HC09
5K030LB06
(57)【要約】
【課題】 マルチパスにおけるパケット伝送の割合を最適化でき、通信品質を安定化できる無線端末及び無線システムを提供する。
【解決手段】 ５ＱＩのリソースタイプを基にした通信品質を報酬として、マルチパスに送信するパケットの割合を変化させて、ＰＭＦ部１２と電波・回線状況観測部１３でのパラメータの数値を強化学習させ、最適なマルチパスへのパケット伝送の割合を決定して、ＭＰＴＣＰ通信部１１のスケジューラ１１ａに設定してパケット送信の割合を制御するとする無線端末及び無線システムである。
【選択図】 図１
【解決手段】 ５ＱＩのリソースタイプを基にした通信品質を報酬として、マルチパスに送信するパケットの割合を変化させて、ＰＭＦ部１２と電波・回線状況観測部１３でのパラメータの数値を強化学習させ、最適なマルチパスへのパケット伝送の割合を決定して、ＭＰＴＣＰ通信部１１のスケジューラ１１ａに設定してパケット送信の割合を制御するとする無線端末及び無線システムである。
【選択図】 図１
【特許請求の範囲】
【請求項1】
マルチパスへのパケット伝送を行う無線端末であって、
通信品質を報酬にして前記マルチパスへのパケット伝送の割合を変化させながら強化学習を行い、前記割合を最適化することを特徴とする無線端末。
通信品質を報酬にして前記マルチパスへのパケット伝送の割合を変化させながら強化学習を行い、前記割合を最適化することを特徴とする無線端末。
【請求項2】
前記通信品質として５ＱＩのリソースタイプを用い、アプリケーションの要求に応じた前記５ＱＩに基づいて報酬を決定することを特徴とする請求項１記載の無線端末。
【請求項3】
マルチパスは、異なる無線方式のパスであることを特徴とする請求項１又は２記載の無線端末。
【請求項4】
マルチパスは、同じ無線方式であって異なる周波数のパスであることを特徴とする請求項１又は２記載の無線端末。
【請求項5】
請求項１又は２記載の無線端末と、前記通信品質に応じた報酬を前記無線端末に送信するＴＣＰサーバとを有することを特徴とする無線システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチパス伝送を行う無線端末に係り、特に、マルチパスにおけるパケット伝送の割合を最適化できる無線端末及び無線システムに関する。
【背景技術】
【0002】
［従来の技術］
まず、複数の無線ネットワークインターフェースを同時に使用して伝送を行うマルチパス伝送がある。マルチパス伝送のためのプロトコルとしては、RFC 8684のMultipath TCP（以下、ＭＰＴＣＰ）が挙げられる。
まず、複数の無線ネットワークインターフェースを同時に使用して伝送を行うマルチパス伝送がある。マルチパス伝送のためのプロトコルとしては、RFC 8684のMultipath TCP（以下、ＭＰＴＣＰ）が挙げられる。
【0003】
複数回線を同時に使用する方法としては、第１に、スループットを上げるためにそれぞれの回線に別々のパケットを送信する方法、第２に、１回でのパケットの到達率を上げるために同じパケットを別々の回線に送信する方法、第３に、主回線と副回線というように使う優先度をつけて、主回線のスループットが不足してきた時に副回線を追加して、スループットを確保する方法がある。
【0004】
複数の無線回線を同時に使用した場合、回線毎に速度や遅延が異なる場合が多い。
それらの回線上でスループットを上げる方法で２つの回線に同じ量の別パケットを送信したとすると、速度が速くレイテンシー（遅延時間）が小さい回線側では受信装置までにすぐに届くが、速度が遅く遅延が大きい回線側ではすぐに届かないという状態が発生する。
それらの回線上でスループットを上げる方法で２つの回線に同じ量の別パケットを送信したとすると、速度が速くレイテンシー（遅延時間）が小さい回線側では受信装置までにすぐに届くが、速度が遅く遅延が大きい回線側ではすぐに届かないという状態が発生する。
【0005】
そうなると、全てのパケットが受信装置に届くまで、２つの回線のうち、速度が速くレイテンシーが小さい回線側が使われていないという状況が発生する。そのため、速度が速くレイテンシーが小さい回線に多くのパケットを送信し、速度が遅く遅延が大きい回線には少量のパケットしか送信しないという制御が必要となる。
【0006】
無線回線の場合、場所や時刻によって回線の速度、遅延が大きく変化する。そのため、どの回線にどれだけのパケットを送信するのかを決める方法が重要であるが、決まった方法が存在しないのが現状である。
【0007】
［関連技術］
尚、関連する先行技術として、特開２０１１－０３５５１６号公報「ＩＰパケット転送装置ならびにその転送方法および転送プログラム」（特許文献１）、特開２０２１－０６４９０１号公報「モバイルデバイス及びネットワーク通信ハンドオーバープログラム」（特許文献２）、また、3GPP TS23.501 Table 5.7.4-1 Standardized 5QI to QoS characteristics mapping（非特許文献１）がある。
尚、関連する先行技術として、特開２０１１－０３５５１６号公報「ＩＰパケット転送装置ならびにその転送方法および転送プログラム」（特許文献１）、特開２０２１－０６４９０１号公報「モバイルデバイス及びネットワーク通信ハンドオーバープログラム」（特許文献２）、また、3GPP TS23.501 Table 5.7.4-1 Standardized 5QI to QoS characteristics mapping（非特許文献１）がある。
【0008】
特許文献１には、パケットを複製し、同一のパケットを異なる伝送路で同時に送信する構成が示されている。
特許文献２には、スループットの閾値により無線ＬＡＮ通信とセルラー通信を切り替える構成が示されている。
特許文献２には、スループットの閾値により無線ＬＡＮ通信とセルラー通信を切り替える構成が示されている。
【0009】
非特許文献１には、５ＱＩにおけるリソースタイプ（Resource Type）が示されている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開２０１１－０３５５１６号公報
【特許文献2】特開２０２１－０６４９０１号公報
【非特許文献】
【0011】
【非特許文献1】3GPP TS23.501 Table 5.7.4-1 Standardized 5QI to QoS characteristics mapping
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかしながら、従来のマルチパスの無線システムでは、場所や時刻によって回線の速度、遅延が大きく変化するものの、回線に伝送するパケットの割合を制御するのが難しく、通信品質の安定化が容易ではないという問題点があった。
【0013】
尚、特許文献１，２、非特許文献１には、無線システムで、マルチパスにおけるパケット伝送の割合を最適化し、通信品質を安定化させる構成の記載がない。
【0014】
本発明は上記実情に鑑みて為されたもので、マルチパスにおけるパケット伝送の割合を最適化でき、通信品質を安定化させることができる無線端末及び無線システムを提供することを目的とする。
【課題を解決するための手段】
【0015】
上記従来例の問題点を解決するための本発明は、マルチパスへのパケット伝送を行う無線端末であって、通信品質を報酬にしてマルチパスへのパケット伝送の割合を変化させながら強化学習を行い、当該割合を最適化することを特徴とする。
【0016】
本発明は、上記無線端末において、通信品質として５ＱＩのリソースタイプ（Resource Type）を用い、アプリケーションの要求に応じた５ＱＩに基づいて報酬を決定することを特徴とする。
【0017】
本発明は、上記無線端末において、マルチパスが、異なる無線方式のパスであることを特徴とする。
【0018】
本発明は、上記無線端末において、マルチパスが、同じ無線方式であって異なる周波数のパスであることを特徴とする。
【0019】
本発明は、無線システムにおいて、上記無線端末と、通信品質に応じた報酬を無線端末に送信するＴＣＰサーバとを有することを特徴とする。
【発明の効果】
【0020】
本発明によれば、マルチパスへのパケット伝送を行う無線端末であって、通信品質を報酬にしてマルチパスへのパケット伝送の割合を変化させながら強化学習を行い、当該割合を最適化することを特徴とする無線端末としているので、通信品質を安定化できる効果がある。
【0021】
本発明によれば、上記無線端末と、通信品質に応じた報酬を無線端末に送信するＴＣＰサーバとを有する無線システムとしているので、パケット伝送の割合を決定する強化学習ができると共に通信品質を安定化できる効果がある。
【図面の簡単な説明】
【0022】
【図1】本無線システムの構成概略図である。
【図2】本無線端末の構成ブロック図である。
【図3】５ＱＩのリソースタイプと報酬の関係を示す図である。
【図4】強化学習の状態のパラメータを示す図である。
【図5】スケジューリング方式の一覧表を示す図である。
【図6】強化学習の学習時のシステム構成図である。
【図7】Ｑテーブルの概略図である。
【図8】深層強化学習済モデルの構成概略図である。
【発明を実施するための形態】
【0023】
本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る無線端末（本無線端末）は、通信品質を報酬として、マルチパスに伝送するパケットの割合を変化させて学習させ、最適なマルチパスへのパケット伝送の割合を決定するものであり、通信品質を安定化できるものである。
［実施の形態の概要］
本発明の実施の形態に係る無線端末（本無線端末）は、通信品質を報酬として、マルチパスに伝送するパケットの割合を変化させて学習させ、最適なマルチパスへのパケット伝送の割合を決定するものであり、通信品質を安定化できるものである。
【0024】
また、本発明の実施の形態に係る無線システム（本無線システム）は、本無線端末と、通信品質に応じて報酬を本無線端末に送信するＴＣＰサーバとを備えており、パケット伝送の割合を決定する強化学習ができると共に通信品質を安定化できるものである。
【0025】
本無線システムでは、複数の無線回線を同時に使用する無線端末とユーザデータのパケット転送を行うＴＣＰサーバとの間でＭＰＴＣＰ（Multipath TCP）通信を行うもので、無線端末における複数回線の利用を定義するＴＣＰサブフロー（TCP subflow）の制御に強化学習の結果を用いている。
【0026】
そして、本無線端末は、強化学習の結果を利用する方式として、ルックアップテーブル方式又はニューラルネットワーク方式のいずれかを用いている。
【0027】
強化学習の報酬として、５ＱＩ（5G QoS Indicator）毎に異なる報酬を用いることとし、強化学習の状態設定として、無線の電波状況、回線の込み具合、ＲＴＴ（Round Trip Time）、ＴＣＰスループットを使用することにしている。尚、ＱｏＳは、サービス品質（Quality of Service）である。
【0028】
無線の電波状況に関して、第５世代移動通信システム（以下５Ｇ）は下りのＣＱＩ（Channel Quality Indicator）と上りのＭＣＳ（Modulation and Coding Scheme）レベルを用い、Ｗｉ－ＦｉはＲＳＳＩ（Received Signal Strength Indicator）を使用している。
また、無線回線の混雑度具合に関して、５ＧはＳＳ－ＲＳＲＱ（Synchronization Signal-Reference Signal Received Quality）を使用し、Ｗｉ－Ｆｉはビジー（Busy）時間率を使用することにしている。
また、無線回線の混雑度具合に関して、５ＧはＳＳ－ＲＳＲＱ（Synchronization Signal-Reference Signal Received Quality）を使用し、Ｗｉ－Ｆｉはビジー（Busy）時間率を使用することにしている。
【0029】
ＲＴＴ（Round Trip Time）とＴＣＰスループットに関しては、通信相手となるＴＣＰサーバから得ることにしている。
強化学習の行動として、ＭＰＴＣＰのスケジューリング方式を選択し、ＴＣＰサブフローに流すパケットの割合を適時変えることにしている。
強化学習の行動として、ＭＰＴＣＰのスケジューリング方式を選択し、ＴＣＰサブフローに流すパケットの割合を適時変えることにしている。
【0030】
また、本無線システムでは、 強化学習時に使用するＱテーブルの状態数を減らすために、５Ｇの下りの回線品質に関して、ＳＳ－ＲＳＲＰ（Synchronization Signal-Reference Signal Received Power）ではなくＣＱＩを使うことにしている。
【0031】
また、本無線システムでは、５ＱＩがＧＢＲ（Guaranteed Bit Rate）かつ回線を１端末で使用している時のＰＭＦ（Performance Management Function）のＴＣＰスループットと位置をデータベースに記録し、スループットのエリア図を作成するものである。
【0032】
更に、本無線システムでは、 データベースに蓄積された結果を学習のためのシミュレーションに使用するものである。
【0033】
［本無線システム：図１］
本無線システムについて図１を参照しながら説明する。図１は、本無線システムの構成概略図である。
本無線システムは、図１に示すように、無線端末１と、ＴＣＰサーバ２と、Ｗｉ－Ｆｉアクセスポイント３と、５Ｇ基地局４と、アプリケーションサーバ５とから構成されている。
尚、無線端末１は、実際は複数存在してＴＣＰサーバ２に接続し、Ｗｉ－Ｆｉアクセスポイント３と５Ｇ基地局４も複数存在するものであるが、図１では説明を簡単にするために各々１つを示している。
本無線システムについて図１を参照しながら説明する。図１は、本無線システムの構成概略図である。
本無線システムは、図１に示すように、無線端末１と、ＴＣＰサーバ２と、Ｗｉ－Ｆｉアクセスポイント３と、５Ｇ基地局４と、アプリケーションサーバ５とから構成されている。
尚、無線端末１は、実際は複数存在してＴＣＰサーバ２に接続し、Ｗｉ－Ｆｉアクセスポイント３と５Ｇ基地局４も複数存在するものであるが、図１では説明を簡単にするために各々１つを示している。
【0034】
無線端末１は、ＭＰＴＣＰ通信部１１と、ＰＭＦ部１２とを備え、ＴＣＰサーバ２もＭＰＴＣＰ通信部２１と、ＰＭＦ部２２とを備えている。
ＭＰＴＣＰ通信部１１とＭＰＴＣＰ通信部２１は、相互にＭＰＴＣＰ通信を行い、アプリケーションサーバ５にパケットを転送する。
ＰＭＦ部１２とＰＭＦ部２２は、回線の性能又は能力を測定するもので、例えば、それぞれの回線の遅延を測定し、それぞれの回線のスループットを測定するものである。
ＭＰＴＣＰ通信部１１とＭＰＴＣＰ通信部２１は、相互にＭＰＴＣＰ通信を行い、アプリケーションサーバ５にパケットを転送する。
ＰＭＦ部１２とＰＭＦ部２２は、回線の性能又は能力を測定するもので、例えば、それぞれの回線の遅延を測定し、それぞれの回線のスループットを測定するものである。
【0035】
回線の遅延測定のために、ＴＣＰサーバ２のＰＭＦ部２２は、無線端末１内のＰＭＦ部１２から遅延測定のために送られてきたパケットに応答する機能を備えている。
また、それぞれの回線のＴＣＰスループットを測定した場合に、無線端末１内のＰＭＦ部１２に報告する機能を備える。
無線端末１及びＴＣＰサーバ２の詳細については後述する。
また、それぞれの回線のＴＣＰスループットを測定した場合に、無線端末１内のＰＭＦ部１２に報告する機能を備える。
無線端末１及びＴＣＰサーバ２の詳細については後述する。
【0036】
Ｗｉ－Ｆｉアクセスポイント３は、無線端末１とＴＣＰサーバ２との間のＷｉ－Ｆｉの無線通信路（パス）における無線通信を有線通信に変換する装置である。
５Ｇ基地局４は、無線端末１とＴＣＰサーバ２との間の５Ｇの無線通信路（パス）における無線通信を有線通信に変換する装置である。
また、アプリケーションサーバ５は、アプリケーションプログラムを実行するもので、ＴＣＰサーバ２を介して無線端末１との接続を行う。
５Ｇ基地局４は、無線端末１とＴＣＰサーバ２との間の５Ｇの無線通信路（パス）における無線通信を有線通信に変換する装置である。
また、アプリケーションサーバ５は、アプリケーションプログラムを実行するもので、ＴＣＰサーバ２を介して無線端末１との接続を行う。
【0037】
尚、無線回線としては、図１の場合、Ｗｉ－Ｆｉアクセスポイント３を経由する回線（パス）と５Ｇ基地局４を経由する回線（パス）の２回線を示している。ただし、無線回線は別種類のものか、同じ種類の無線回線であっても周波数が異なる回線が複数あればよく、通信方式としてもＩＰ（Internet Protocol）通信ができればよいので、回線の本数や種類を限定するものではない。
【0038】
［本無線端末１：図２］
次に、本無線端末１の構成について図２を参照しながら説明する。図２は、本無線端末の構成ブロック図である。
本無線端末１は、図２に示すように、アプリケーション１０と、ＭＰＴＣＰ通信部１１と、ＰＭＦ部１２と、電波・回線状況観測部１３と、５ＱＩ設定部１４と、ＴＣＰサブフロー（TCP Subflow）１５ａ，１５ｂと、ＩＰ層１６ａ，１６ｂと、５Ｇ用無線モデム１７と、Ｗｉ－Ｆｉ無線モデム１８とを備えている。
次に、本無線端末１の構成について図２を参照しながら説明する。図２は、本無線端末の構成ブロック図である。
本無線端末１は、図２に示すように、アプリケーション１０と、ＭＰＴＣＰ通信部１１と、ＰＭＦ部１２と、電波・回線状況観測部１３と、５ＱＩ設定部１４と、ＴＣＰサブフロー（TCP Subflow）１５ａ，１５ｂと、ＩＰ層１６ａ，１６ｂと、５Ｇ用無線モデム１７と、Ｗｉ－Ｆｉ無線モデム１８とを備えている。
【0039】
［アプリケーション１０］
アプリケーション１０は、図１のアプリケーションサーバ５と通信する部分であり、ＭＰＴＣＰ通信部１１を経由して通信する。
アプリケーション１０は、図１のアプリケーションサーバ５と通信する部分であり、ＭＰＴＣＰ通信部１１を経由して通信する。
【0040】
［ＭＰＴＣＰ通信部１１］
ＭＰＴＣＰ通信部１１は、スケジューラ１１ａを備え、ＰＭＦ部１２、電波・回線状況観測部１３、５ＱＩ設定部１４から情報を入力し、それらの情報に基づいて為された強化学習の結果がスケジューラ１１ａに設定されており、２つの回線に伝送するパケットの割合をスケジューラ１１ａで変更可能に管理し、当該スケジューラ１１ａで管理されたパケットの送信の割合に従ってＴＣＰサブフロー１５ａ，１５ｂにパケットを出力する。
ＭＰＴＣＰ通信部１１における処理の詳細は後述する。
ＭＰＴＣＰ通信部１１は、スケジューラ１１ａを備え、ＰＭＦ部１２、電波・回線状況観測部１３、５ＱＩ設定部１４から情報を入力し、それらの情報に基づいて為された強化学習の結果がスケジューラ１１ａに設定されており、２つの回線に伝送するパケットの割合をスケジューラ１１ａで変更可能に管理し、当該スケジューラ１１ａで管理されたパケットの送信の割合に従ってＴＣＰサブフロー１５ａ，１５ｂにパケットを出力する。
ＭＰＴＣＰ通信部１１における処理の詳細は後述する。
【0041】
［ＰＭＦ部１２］
ＰＭＦ部１２は、各回線の往復遅延時間、ＲＴＴ（Round Trip Time）とＴＣＰスループットを把握している。
ＰＭＦ部１２は、各回線の往復遅延時間、ＲＴＴ（Round Trip Time）とＴＣＰスループットを把握している。
【0042】
［電波・回線状況観測部１３］
電波・回線状況観測部１３は、それぞれの無線回線の電波状況や回線の混雑状況を測定する機能を備えている。
５Ｇでは、上りのＭＣＳレベルが「上りの電波状況」を示しており、ＳＳ－ＲＳＲＱが「回線の混雑具合」を示している。また、Ｗｉ－Ｆｉでは、ＲＳＳＩが「電波状況」を示しており、ビジー時間率が「回線の混雑具合」を示している。
電波・回線状況観測部１３は、それぞれの無線回線の電波状況や回線の混雑状況を測定する機能を備えている。
５Ｇでは、上りのＭＣＳレベルが「上りの電波状況」を示しており、ＳＳ－ＲＳＲＱが「回線の混雑具合」を示している。また、Ｗｉ－Ｆｉでは、ＲＳＳＩが「電波状況」を示しており、ビジー時間率が「回線の混雑具合」を示している。
【0043】
ここで、５Ｇ下りの電波状況を表す指標としてＳＳ－ＲＳＲＰがあるが、ＳＳ－ＲＳＲＰは、－４４ｄＢｍから－１４０ｄＢｍの１ｄＢｍ刻みの範囲をとるのに対し、ＣＱＩは０から１５の１６段階となるため、ＣＱＩを使用した方が状態数を減らすことができる。
よって、５Ｇ下りの電波状況は、ＣＱＩを用いるのが望ましい。
よって、５Ｇ下りの電波状況は、ＣＱＩを用いるのが望ましい。
【0044】
また、ビジー時間率の計測方法は、Ｗｉ－Ｆｉのインターフェースにおいて、アクティブ時間（active time）とビジー時間（busy time）が出力されるので、以下の式１を用いてビジー時間率を算出する。
Busy時間率 ＝ busy time ／ (busy time ＋ active time) …式１
Busy時間率 ＝ busy time ／ (busy time ＋ active time) …式１
【0045】
［５ＱＩ設定部１４］
５ＱＩ設定部１４は、５Ｇ通信のＱｏＳが設定されており、非特許参考文献１に記載されている「Resource Type」（リソースタイプ）を使用する。
５ＱＩと報酬の具体的な関係については後述する。
５ＱＩ設定部１４は、５Ｇ通信のＱｏＳが設定されており、非特許参考文献１に記載されている「Resource Type」（リソースタイプ）を使用する。
５ＱＩと報酬の具体的な関係については後述する。
【0046】
［ＴＣＰサブフロー１５ａ，１５ｂ］
ＴＣＰサブフロー１５ａは、５Ｇ用無線モデム１７のＴＣＰ通信を行い、ＭＰＴＣＰ通信部１１からのパケットをＩＰ層１６ａに出力し、ＩＰ層１６ａからのパケットをＭＰＴＣＰ通信部１１に出力する。
ＴＣＰサブフロー１５ｂは、Ｗｉ－Ｆｉ無線モデム１８のＴＣＰ通信を行い、ＭＰＴＣＰ通信部１１からのパケットをＩＰ層１６ｂに出力し、ＩＰ層１６ｂからのパケットをＭＰＴＣＰ通信部１１に出力する。
ＴＣＰサブフロー１５ａは、５Ｇ用無線モデム１７のＴＣＰ通信を行い、ＭＰＴＣＰ通信部１１からのパケットをＩＰ層１６ａに出力し、ＩＰ層１６ａからのパケットをＭＰＴＣＰ通信部１１に出力する。
ＴＣＰサブフロー１５ｂは、Ｗｉ－Ｆｉ無線モデム１８のＴＣＰ通信を行い、ＭＰＴＣＰ通信部１１からのパケットをＩＰ層１６ｂに出力し、ＩＰ層１６ｂからのパケットをＭＰＴＣＰ通信部１１に出力する。
【0047】
［ＩＰ層１６ａ，１６ｂ］
ＩＰ層１６ａは、ＴＣＰサブフロー１５ａと５Ｇ用無線モデム１７との間で、ＩＰのプロトコルで通信を行うために、５Ｇ用無線モデム１７のＩＰアドレスとＴＣＰサーバ２のＩＰアドレスを付与する。
ＩＰ層１６ｂは、ＴＣＰサブフロー１５ｂとＷｉ－Ｆｉ無線モデム１８との間で、ＩＰのプロトコルで通信を行うために、Ｗｉ－Ｆｉ無線モデム１８のＩＰアドレスとＴＣＰサーバ２のＩＰアドレスを付与する。
ＩＰ層１６ａは、ＴＣＰサブフロー１５ａと５Ｇ用無線モデム１７との間で、ＩＰのプロトコルで通信を行うために、５Ｇ用無線モデム１７のＩＰアドレスとＴＣＰサーバ２のＩＰアドレスを付与する。
ＩＰ層１６ｂは、ＴＣＰサブフロー１５ｂとＷｉ－Ｆｉ無線モデム１８との間で、ＩＰのプロトコルで通信を行うために、Ｗｉ－Ｆｉ無線モデム１８のＩＰアドレスとＴＣＰサーバ２のＩＰアドレスを付与する。
【0048】
［５Ｇ用無線モデム１７，Ｗｉ－Ｆｉ無線モデム１８］
５Ｇ用無線モデム１７は、５Ｇ用の無線通信を行うためのモデムである。
Ｗｉ－Ｆｉ無線モデム１８は、Ｗｉ－Ｆｉの無線通信を行うためのモデムである。
図２では、５ＧとＷｉ－Ｆｉの異なる無線回線を示したが、５Ｇ用無線モデムを複数枚使用して異なる周波数での回線（マルチパス）に適用することができる。
５Ｇ用無線モデム１７は、５Ｇ用の無線通信を行うためのモデムである。
Ｗｉ－Ｆｉ無線モデム１８は、Ｗｉ－Ｆｉの無線通信を行うためのモデムである。
図２では、５ＧとＷｉ－Ｆｉの異なる無線回線を示したが、５Ｇ用無線モデムを複数枚使用して異なる周波数での回線（マルチパス）に適用することができる。
【0049】
［ＭＰＴＣＰ通信部１１のスケジューラ１１ａの強化学習：図３～６］
スケジューラ１１ａは、強化学習後の結果が設定されている。
当該強化学習について図３～６を参照しながら説明する。図３は、５ＱＩのリソースタイプ（Resource Type）と報酬の関係を示す図であり、図４は、強化学習の状態のパラメータを示す図であり、図５は、スケジュールリング方式の一覧表を示す図であり、図６は、強化学習の学習時のシステム構成図である。
スケジューラ１１ａは、強化学習後の結果が設定されている。
当該強化学習について図３～６を参照しながら説明する。図３は、５ＱＩのリソースタイプ（Resource Type）と報酬の関係を示す図であり、図４は、強化学習の状態のパラメータを示す図であり、図５は、スケジュールリング方式の一覧表を示す図であり、図６は、強化学習の学習時のシステム構成図である。
【0050】
５ＱＩ設定部１４には、図３に示す５ＱＩの複数のリソースタイプが設定され、行動価値算出部１９の切り替えに使用される。
そして、ＭＰＴＣＰ通信部１１は、ＰＭＦ部１２と電波・回線状況観測部１３から図４に示す強化学習の状態を示すパラメータの数値を取得し、５ＱＩ設定部１４に設定されている複数のリソースタイプ毎に行動価値算出部１９で行動価値の計算が行われ、その行動価値算出部１９の結果に基づき図５に示すスケジューリング方式の一覧表からリソースタイプ毎に最適なパケット送信の割合をスケジューリング方式番号で選択し、スケジューラ１１ａに設定して当該番号に示すパケット送信の割合でパケットをＴＣＰサブフロー１５ａ、１５ｂに出力し、運用している。
そして、ＭＰＴＣＰ通信部１１は、ＰＭＦ部１２と電波・回線状況観測部１３から図４に示す強化学習の状態を示すパラメータの数値を取得し、５ＱＩ設定部１４に設定されている複数のリソースタイプ毎に行動価値算出部１９で行動価値の計算が行われ、その行動価値算出部１９の結果に基づき図５に示すスケジューリング方式の一覧表からリソースタイプ毎に最適なパケット送信の割合をスケジューリング方式番号で選択し、スケジューラ１１ａに設定して当該番号に示すパケット送信の割合でパケットをＴＣＰサブフロー１５ａ、１５ｂに出力し、運用している。
【0051】
［５ＱＩのリソースタイプと強化学習時の報酬：図３］
５ＱＩ設定部１４に設定されている５ＱＩのリソースタイプと強化学習時の報酬について図３を参照しながら説明する。報酬は報酬算出部２４が算出する。
図３に示すように、５ＱＩのリソースタイプが、ＧＢＲ（Guaranteed Bit Rate）の場合は、複数回線のＴＣＰスループット合計値の大きさが報酬となり、伝送速度を優先したものとなる。強化学習では、複数回線のＴＣＰスループット合計値が最大となるよう学習される。報酬の算出式は式２となる。
ＧＢＲの時の報酬＝（ＭＰＴＣＰ通信部が受信している現在のスループット値）／（無線回線の理論上の最大スループットの合計値）…式２
５ＱＩ設定部１４に設定されている５ＱＩのリソースタイプと強化学習時の報酬について図３を参照しながら説明する。報酬は報酬算出部２４が算出する。
図３に示すように、５ＱＩのリソースタイプが、ＧＢＲ（Guaranteed Bit Rate）の場合は、複数回線のＴＣＰスループット合計値の大きさが報酬となり、伝送速度を優先したものとなる。強化学習では、複数回線のＴＣＰスループット合計値が最大となるよう学習される。報酬の算出式は式２となる。
ＧＢＲの時の報酬＝（ＭＰＴＣＰ通信部が受信している現在のスループット値）／（無線回線の理論上の最大スループットの合計値）…式２
【0052】
また、５ＱＩのリソースタイプが、Ｎｏｎ－ＧＢＲの場合は、ＴＣＰ再送回数の少なさが報酬となり、パケットの到達率を優先したものとなる。強化学習では、ＴＣＰ再送回数が最小になるよう学習される。報酬の算出式は式３となる。
Ｎｏｎ－ＧＢＲの時の報酬＝（１）／（ＭＰＴＣＰ通信部が受信している今の再送回数＋１）…式３
また、５ＱＩのリソースタイプが、Delay-critical ＧＢＲの場合は、遅延の小ささが報酬となり、少ない伝送遅延を優先したものとなる。強化学習では、遅延が最小となるよう学習される。報酬の算出式は式４となる。
Delay-criticalＧＢＲの時の報酬＝（無線回線の理論上の最小遅延）／（ＭＰＴＣＰ通信部が受信している今の遅延）…式４
Ｎｏｎ－ＧＢＲの時の報酬＝（１）／（ＭＰＴＣＰ通信部が受信している今の再送回数＋１）…式３
また、５ＱＩのリソースタイプが、Delay-critical ＧＢＲの場合は、遅延の小ささが報酬となり、少ない伝送遅延を優先したものとなる。強化学習では、遅延が最小となるよう学習される。報酬の算出式は式４となる。
Delay-criticalＧＢＲの時の報酬＝（無線回線の理論上の最小遅延）／（ＭＰＴＣＰ通信部が受信している今の遅延）…式４
【0053】
［強化学習時の状態を示すパラメータ：図４］
次に、強化学習時の状態を示すパラメータについて図４を参照しながら説明する。
図４に示す強化学習時の状態を示すパラメータは、ＴＣＰサーバ２から特定のパケットが無線端末１に戻って来た時に取得するパラメータとなる。
ＰＭＦ部１２では、ＰＭＦ部２２から各回線のパケットのＲＴＴ［msec］、各回線のパケットのＴＣＰスループット［Mbps］のパラメータの数値を取得する。
電波・回線状況観測部１３では、５Ｇ用無線モデム１７及びＷｉ－Ｆｉ無線モデム１８からパラメータの数値を取得する。
次に、強化学習時の状態を示すパラメータについて図４を参照しながら説明する。
図４に示す強化学習時の状態を示すパラメータは、ＴＣＰサーバ２から特定のパケットが無線端末１に戻って来た時に取得するパラメータとなる。
ＰＭＦ部１２では、ＰＭＦ部２２から各回線のパケットのＲＴＴ［msec］、各回線のパケットのＴＣＰスループット［Mbps］のパラメータの数値を取得する。
電波・回線状況観測部１３では、５Ｇ用無線モデム１７及びＷｉ－Ｆｉ無線モデム１８からパラメータの数値を取得する。
【0054】
尚、報酬の内容によって回線毎の送信パケット量が異なることがあるので、報酬毎に生成する各Ｑテーブルでは、パラメータの数値も違ってくることになり、報酬毎のＱテーブルが必要となる。
【0055】
ＰＭＦ部１２では、５ＧのＲＴＴ［msec］、Ｗｉ－ＦｉのＲＴＴ［msec］、５ＧのＴＣＰスループット［Mbps］、Ｗｉ－ＦｉのＴＣＰスループット［Mbps］がパラメータとなる。
電波・回線状況観測部１３では、５Ｇ下りのＣＱＩ、５ＧのＳＳーＲＳＲＱ［dB］、５Ｇの上りＭＣＳレベル、Ｗｉ－ＦｉのＲＳＳＩ［dBm］、Ｗｉ－Ｆｉのビジー時間率がパラメータとなる。
電波・回線状況観測部１３では、５Ｇ下りのＣＱＩ、５ＧのＳＳーＲＳＲＱ［dB］、５Ｇの上りＭＣＳレベル、Ｗｉ－ＦｉのＲＳＳＩ［dBm］、Ｗｉ－Ｆｉのビジー時間率がパラメータとなる。
【0056】
［スケジューリング方式の一覧表：図５］
スケジューラ１１ａは、図５に示す５Ｇ回線にパケットを送信する割合とＷｉ－Ｆｉ回線にパケットを送信する割合を定めたスケジューリング方式の一覧表を記憶しており、強化学習の結果、最適な送信割合が導き出されるとスケジューリング方式の番号で選択され、当該番号に示す割合でパケットの送信が行われる。
スケジューラ１１ａは、図５に示す５Ｇ回線にパケットを送信する割合とＷｉ－Ｆｉ回線にパケットを送信する割合を定めたスケジューリング方式の一覧表を記憶しており、強化学習の結果、最適な送信割合が導き出されるとスケジューリング方式の番号で選択され、当該番号に示す割合でパケットの送信が行われる。
【0057】
［強化学習の学習時のシステム構成：図６］
本無線システムにおいて、強化学習の学習時のシステム構成について図６を参照しながら説明する。
学習時のシステム構成は、図６に示すように、ＴＣＰサーバ２が、ＭＰＴＣＰ通信部２１と、ＰＭＦ部２２、５ＱＩ設定部２３と報酬算出部２４を備え、無線端末１が、ＭＰＴＣＰ通信部１１、ＰＭＦ部１２、電波・回線状況観測部１３、５ＱＩ設定部１４、行動価値算出部１９を備えている。
本無線システムにおいて、強化学習の学習時のシステム構成について図６を参照しながら説明する。
学習時のシステム構成は、図６に示すように、ＴＣＰサーバ２が、ＭＰＴＣＰ通信部２１と、ＰＭＦ部２２、５ＱＩ設定部２３と報酬算出部２４を備え、無線端末１が、ＭＰＴＣＰ通信部１１、ＰＭＦ部１２、電波・回線状況観測部１３、５ＱＩ設定部１４、行動価値算出部１９を備えている。
【0058】
ＭＰＴＣＰ通信部２１とＭＰＴＣＰ通信部１１とは、無線通信を行い、ＭＰＴＣＰ通信部１１のスケジューラ１１ａがマルチパスへのパケット送信の割合を制御している。スケジューラ１１ａは、パケット送信をまず特定の割合で行う。
【0059】
ＴＣＰサーバ２のＰＭＦ部２２が、図４に示すパラメータの測定を行い、通信品質を報酬算出部２４に送る。報酬算出部２４では５ＱＩ設定部２３の値より図３に示す報酬を算出する。その報酬を無線端末１の行動価値算出部１９に送信する。
行動価値算出部１９は５ＱＩ設定部１４からの値に基づいてＱテーブルを選択する。該当するＱテーブルにおいて、以下の式５の行動価値関数Ｑを算出し、Ｑテーブルに記録する。Rt+1は報酬算出部２４から報告された報酬である。
Ｑ（St，at）=Ｑ（St，at）＋α（Rt+1 ＋γmax Ｑ（St+1，a）－Ｑ（St，at））…式５
行動価値算出部１９は５ＱＩ設定部１４からの値に基づいてＱテーブルを選択する。該当するＱテーブルにおいて、以下の式５の行動価値関数Ｑを算出し、Ｑテーブルに記録する。Rt+1は報酬算出部２４から報告された報酬である。
Ｑ（St，at）=Ｑ（St，at）＋α（Rt+1 ＋γmax Ｑ（St+1，a）－Ｑ（St，at））…式５
【0060】
ｔはある時刻を表す。
（St，at）は現在の図７のＱテーブル上の位置であり、Ｑ（St，at）はその位置におけるＱ値である。
Stは状態を示し、図７のＰＦＭ部と電波・回線状況観測部のインデックスとなる。
atは行動を示し、図７のスケジューリング方式のインデックスとなる。
（St，at）は現在の図７のＱテーブル上の位置であり、Ｑ（St，at）はその位置におけるＱ値である。
Stは状態を示し、図７のＰＦＭ部と電波・回線状況観測部のインデックスとなる。
atは行動を示し、図７のスケジューリング方式のインデックスとなる。
【0061】
αは学習率で、一般的に０．１が使われる。
Rt+1は、状態Stで行動atをとった時に得られる報酬となる。行動後に報酬が得られるため、ｔ+1となる。
γは割引率で、一般的に０．１が使われる。
Ｑ（St+1，a）のSt+1は、（St，at）で行動した結果、遷移先する状態を示す。
max Ｑ（St+1，a）は遷移先の行動に対するＱ値を比較した時の最大値である。
行動価値関数Ｑは累計報酬を示している。
Rt+1は、状態Stで行動atをとった時に得られる報酬となる。行動後に報酬が得られるため、ｔ+1となる。
γは割引率で、一般的に０．１が使われる。
Ｑ（St+1，a）のSt+1は、（St，at）で行動した結果、遷移先する状態を示す。
max Ｑ（St+1，a）は遷移先の行動に対するＱ値を比較した時の最大値である。
行動価値関数Ｑは累計報酬を示している。
【0062】
また、ＴＣＰサーバ２からの無線パケットを無線端末１が受信することで、図４に示すＰＭＦ部のパラメータの数値をＰＭＦ部１２が取得する。
電波・回線状況観測部１３は、図４に示す電波・回線状況観測部のパラメータを５Ｇ用無線モデム１７及びＷｉ－Ｆｉ無線モデム１８から取得する。アプリケーションの要求品質を５ＱＩ設定部１４に設定する。
電波・回線状況観測部１３は、図４に示す電波・回線状況観測部のパラメータを５Ｇ用無線モデム１７及びＷｉ－Ｆｉ無線モデム１８から取得する。アプリケーションの要求品質を５ＱＩ設定部１４に設定する。
【0063】
無線端末１のＭＰＴＣＰ通信部１１は、ＰＭＦ部１２、電波・回線状況観測部１３からのパラメータを現在の状態とし、ＱテーブルのＱ値が一番大きいスケジューリング方式の割合で、マルチパスへのパケット送信を行う。
また、Ｑテーブルの初期値を大きい値とすることで、図５の一覧表の全ての割合を実行することが可能となる。Ｑテーブルの計算は、５ＱＩのリソースタイプ毎に行われる。図３ではリソースタイプが３種類あるので、３種類行うことになる。
そして、全ての割合に対するパラメータの数値の取得は、定期的に巡回的に行うことで強化学習を実行するものである。
また、Ｑテーブルの初期値を大きい値とすることで、図５の一覧表の全ての割合を実行することが可能となる。Ｑテーブルの計算は、５ＱＩのリソースタイプ毎に行われる。図３ではリソースタイプが３種類あるので、３種類行うことになる。
そして、全ての割合に対するパラメータの数値の取得は、定期的に巡回的に行うことで強化学習を実行するものである。
【0064】
そして、ＭＰＴＣＰ通信部１１のスケジューラ１１ａは、強化学習の結果を利用する方式として、ルックアップテーブル方式又はニューラルネットワーク方式がある。
次に、強化学習の結果を利用するルックアップテーブル（Ｑテーブル）方式とニューラルネットワーク方式について説明する。
次に、強化学習の結果を利用するルックアップテーブル（Ｑテーブル）方式とニューラルネットワーク方式について説明する。
【0065】
［ルックアップテーブル（Ｑテーブル）方式：図７］
次に、Ｑテーブル方式について図７を参照しながら説明する。図７は、Ｑテーブルの概略図である。
Ｑテーブルは、図７に示すように、図４に示したＰＭＦ部１２で取得できるパラメータと電波・回線状況観測部１３で取得できるパラメータが縦軸に設定され、横軸には、５Ｇ回線とＷｉ－Ｆｉ回線へのパケット伝送（送信）の割合が設定されている。縦軸が強化学習の状態、横軸が強化学習の行動となる。横軸の割合は１０％単位としているが、もっと細かくてももっと粗くても構わない。
次に、Ｑテーブル方式について図７を参照しながら説明する。図７は、Ｑテーブルの概略図である。
Ｑテーブルは、図７に示すように、図４に示したＰＭＦ部１２で取得できるパラメータと電波・回線状況観測部１３で取得できるパラメータが縦軸に設定され、横軸には、５Ｇ回線とＷｉ－Ｆｉ回線へのパケット伝送（送信）の割合が設定されている。縦軸が強化学習の状態、横軸が強化学習の行動となる。横軸の割合は１０％単位としているが、もっと細かくてももっと粗くても構わない。
【0066】
そして、図６の強化学習時のシステム構成に従って、ＭＰＴＣＰ通信部１１が横軸の割合についてＰＭＦ部１２と電波・回線状況観測部１３から得られたパラメータの数値を入力し、Ｑテーブルを完成させる。
ここで、５ＱＩ設定部１４に記憶されているリソースタイプの報酬の全てについてＱテーブルを生成する。図３ではリソースタイプが３つ設定されているので、３枚のＱテーブルが形成される。
ここで、５ＱＩ設定部１４に記憶されているリソースタイプの報酬の全てについてＱテーブルを生成する。図３ではリソースタイプが３つ設定されているので、３枚のＱテーブルが形成される。
【0067】
そのように生成されたＱテーブルから、ユーザ（システム運用者）が指定する５ＱＩのリソースにおいてパラメータの数値が全体的に良好な割合が選択される。
従って、ある状態において行動価値関数Ｑが一番高くなるスケジューリング方式が決定されるものである。
従って、ある状態において行動価値関数Ｑが一番高くなるスケジューリング方式が決定されるものである。
【0068】
［ニューラルネットワーク方式：図８］
次に、ニューラルネットワーク方式について図８を参照しながら説明する。図８は、深層強化学習済モデルの構成概略図である。
深層強化学習済モデルは、上記強化学習によりＰＭＦ部１２及び電波・回線状況観測部１３でのパラメータの数値を学習済で、中間層のパラメータが調整されている。
深層強化学習済モデルは、図８に示すように、入力層としてＰＭＦ部１２と電波・回線状況観測部１３を設け、中間層をニューラルネットワークで構成し、出力層でスケジューラ１１ａを設けている。
次に、ニューラルネットワーク方式について図８を参照しながら説明する。図８は、深層強化学習済モデルの構成概略図である。
深層強化学習済モデルは、上記強化学習によりＰＭＦ部１２及び電波・回線状況観測部１３でのパラメータの数値を学習済で、中間層のパラメータが調整されている。
深層強化学習済モデルは、図８に示すように、入力層としてＰＭＦ部１２と電波・回線状況観測部１３を設け、中間層をニューラルネットワークで構成し、出力層でスケジューラ１１ａを設けている。
【0069】
運用中は、入力層のＰＭＦ部１２と電波・回線状況観測部１３からパラメータが入力されると、出力層のスケジューラ１１ａにはパラメータの数値が良好なパケット送信の割合が入力され、スケジューラ１１ａは、その割合に従ってマルチパスへのパケットの伝送を行うものである。つまり、図８の方式では推論が為される。
学習時には、リソースタイプに応じた行動価値関数Ｑが最大化するようにパラメータを修正する。学習が終わるとパラメータを固定して使用する。
学習時には、リソースタイプに応じた行動価値関数Ｑが最大化するようにパラメータを修正する。学習が終わるとパラメータを固定して使用する。
【0070】
［スループットエリア図生成］
次に、スループットエリア図の生成について説明する。
５ＱＩのリソースタイプがＧＢＲのとき、２つの回線のＴＣＰスループット合計値を最大化することが強化学習の報酬となる。
そのため、５ＱＩがＧＢＲかつ回線が混雑していなく、自分の無線端末１しか使っていない時、ＰＭＦ部１２のＴＣＰスループットの数値と位置をアプリケーションサーバ５に接続するデータベースに記録しておく。これにより、アプリケーションサーバ５でスループットのエリア図を作成することができる。
位置に関しては、屋外の場合はＧＰＳ（Global Positioning Satellite）、屋内の場合はＳＬＡＭ（Simultaneous Localization and Mapping）より取得することができる。
次に、スループットエリア図の生成について説明する。
５ＱＩのリソースタイプがＧＢＲのとき、２つの回線のＴＣＰスループット合計値を最大化することが強化学習の報酬となる。
そのため、５ＱＩがＧＢＲかつ回線が混雑していなく、自分の無線端末１しか使っていない時、ＰＭＦ部１２のＴＣＰスループットの数値と位置をアプリケーションサーバ５に接続するデータベースに記録しておく。これにより、アプリケーションサーバ５でスループットのエリア図を作成することができる。
位置に関しては、屋外の場合はＧＰＳ（Global Positioning Satellite）、屋内の場合はＳＬＡＭ（Simultaneous Localization and Mapping）より取得することができる。
【0071】
更に、本無線システムでは、 上記データベースに蓄積された結果を強化学習の学習時のデータに使用して、強化学習の学習時の効率化を図ることができるものである。
【0072】
以上説明したように、本無線システムは、５ＱＩ毎に報酬を変えることで、アプリケーションの要求に応じてパケット送信の割合をＭＰＴＣＰ通信部１１のスケジューラ１１ａで制御し、各回線に対応するＴＣＰサブフローを効率的に使用できるものである。
【0073】
また、本無線システムは、無線回線の品質と混雑状況を見るとこで、より通信のしやすい回線を重視して、通信することができる。
また、本無線端末１の移動時には無線回線の品質や混雑状況が刻々と変化するが、このような状況においても、アプリケーションの要求に応じた通信が可能となる。
また、本無線端末１の移動時には無線回線の品質や混雑状況が刻々と変化するが、このような状況においても、アプリケーションの要求に応じた通信が可能となる。
【0074】
［実施の形態の効果］
本無線端末によれば、５ＱＩのリソースタイプを基にしたアプリケーションの要求品質を報酬として、マルチパスに送信するパケットの割合を変化させて、ＰＭＦ部１２と電波・回線状況観測部１３でのパラメータの数値を強化学習の状態とさせ、最適なマルチパスへのパケット伝送の割合を決定して、ＭＰＴＣＰ通信部１１のスケジューラ１１ａに設定してパケット送信の割合を制御するようにしているので、通信品質を安定化できる効果がある。
本無線端末によれば、５ＱＩのリソースタイプを基にしたアプリケーションの要求品質を報酬として、マルチパスに送信するパケットの割合を変化させて、ＰＭＦ部１２と電波・回線状況観測部１３でのパラメータの数値を強化学習の状態とさせ、最適なマルチパスへのパケット伝送の割合を決定して、ＭＰＴＣＰ通信部１１のスケジューラ１１ａに設定してパケット送信の割合を制御するようにしているので、通信品質を安定化できる効果がある。
【0075】
本無線システムによれば、本無線端末と、アプリケーションの要求品質に応じて報酬を本無線端末に送信するＴＣＰサーバとを備えるようにしているので、パケット送信の割合を決定する強化学習ができると共に通信品質を安定化できる効果がある。
【産業上の利用可能性】
【0076】
本発明は、マルチパスにおけるパケット伝送の割合を最適化でき、通信品質を安定化できる無線端末及び無線システムに好適である。
【符号の説明】
【0077】
１…無線端末、 ２…ＴＣＰサーバ、 ３…Ｗｉ－Ｆｉアクセスポイント、 ４…５Ｇ基地局、 ５…アプリケーションサーバ、 １０…アプリケーション部、 １１…ＭＰＴＣＰ通信部、 １１ａ…スケジューラ、 １２…ＰＭＦ部、 １３…電波・回線状況観測部、 １４…５ＧＩ設定部、 １５ａ，１５ｂ…ＴＣＰサブフロー、 １６ａ，１６ｂ…ＩＰ層、 １７…５Ｇ用無線モデム、 １８…Ｗｉ－Ｆｉ無線モデム、 １９…行動価値算出部、 ２１…ＭＰＴＣＰ通信部、 ２２…ＰＭＦ部、 ２３…５ＱＩ設定部、 ２４…報酬算出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】