ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-19
(45)【発行日】2023-09-27
(54)【発明の名称】通信品質を予測するシステム、装置、方法及びプログラム
(51)【国際特許分類】
H04W 16/18 20090101AFI20230920BHJP
【ＦＩ】
H04W16/18
【請求項の数】
8
(21)【出願番号】P 2022502350
(86)(22)【出願日】2020-02-25
(86)【国際出願番号】 JP2020007363
(87)【国際公開番号】W WO2021171342
(87)【国際公開日】2021-09-02
【審査請求日】2022-07-27
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100119677
【弁理士】
【氏名又は名称】岡田 賢治
(74)【代理人】
【識別番号】100160495
【弁理士】
【氏名又は名称】畑 雅明
(74)【代理人】
【識別番号】100115794
【弁理士】
【氏名又は名称】今下 勝博
(72)【発明者】
【氏名】高橋 馨子
(72)【発明者】
【氏名】工藤 理一
(72)【発明者】
【氏名】井上 武
(72)【発明者】
【氏名】水野 晃平
【審査官】岡本 正紀
(56)【参考文献】
【文献】特開２００３－３２３６２０（ＪＰ，Ａ）
【文献】特開２０１９－２０８１８８（ＪＰ，Ａ）
【文献】特開２０１８－１４８２９７（ＪＰ，Ａ）
【文献】特開２０１８－００６８４４（ＪＰ，Ａ）
【文献】工藤理一,ほか，視覚情報を用いたマイクロ波帯通信品質予測の実験的検討，電子情報通信学会２０１９年通信ソサイエティ大会講演論文集１，日本，2019年08月27日，第324ページ
【文献】今川 隼人,ほか，ストリートセルにおける遮蔽物体が伝搬損失に及ぼす影響，電子情報通信学会２０１５年通信ソサイエティ大会講演論文集１，日本，2015年08月25日，第11ページ
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｂ ７／２４－ ７／２６
Ｈ０４Ｗ ４／００－９９／００
(57)【特許請求の範囲】
【請求項1】
無線通信を行う通信装置の周辺環境情報を取得する周辺環境情報収集部と、前記周辺環境情報を用いて前記通信装置の周囲に存在する物体の移動速度を含むオブジェクト状態情報を生成するオブジェクト判定部と、
前記オブジェクト状態情報を無線通信の通信品質への影響に応じて予め分類された通信品質予測用カテゴリに分類し、前記オブジェクト判定部で生成された前記オブジェクト状態情報の少なくとも一部及び前記通信品質予測用カテゴリを含む入力配列データセットを生成する入力配列作成部と、
前記オブジェクト状態情報及び前記通信品質予測用カテゴリと通信品質との関係を機械学習により学習して得られた通信品質予測モデルに、前記入力配列作成部で生成された入力配列データセットを入力し、前記通信装置の現在又は未来の通信品質を予測する通信品質予測部と、
を備えることを特徴とするシステム。
【請求項2】
前記通信品質予測用カテゴリに分類する前記オブジェクト状態情報を、通信品質への影響ごとに定義する通信品質予測用カテゴリ定義部をさらに備え、前記オブジェクト状態情報は、物体を構成している素材、動作条件、検出位置、出現頻度の少なくともいずれかを含み、
前記通信品質予測用カテゴリ定義部は、前記オブジェクト判定部で検出された物体を構成している素材、動作条件、検出位置、出現頻度の少なくともいずれかを用いて、前記通信品質予測用カテゴリを定義する、
ことを特徴とする請求項１に記載のシステム。
【請求項3】
前記通信品質予測用カテゴリ定義部は、前記通信品質予測用カテゴリに分類された物体の種類が適切であるか判定するため、複数の前記通信品質予測用カテゴリに当該物体の種類を仮に分類し、通信品質の予測精度を評価し、通信品質の予測精度が高くなるように、前記通信品質予測用カテゴリを更新する、
ことを特徴とする請求項２に記載のシステム。
【請求項4】
前記オブジェクト判定部において他の物体の種類と誤判定しやすい物体が前記オブジェクト状態情報に含まれている場合、前記入力配列作成部は、前記オブジェクト状態情報に含まれている前記物体に対応する前記通信品質予測用カテゴリと、前記物体に誤判定されやすい前記他の物体に対応する前記通信品質予測用カテゴリと、の両方に分類する、ことを特徴とする請求項１から３のいずれかに記載のシステム。
【請求項5】
無線通信を行う通信装置の周辺環境情報を取得する周辺環境情報収集部と、前記周辺環境情報を用いて、前記通信装置の周囲に存在する物体の移動速度を含むオブジェクト状態情報を生成するオブジェクト判定部と、
前記オブジェクト状態情報を無線通信の通信品質への影響に応じて予め分類された通信品質予測用カテゴリに分類し、前記オブジェクト判定部で生成された前記オブジェクト状態情報の少なくとも一部及び前記通信品質予測用カテゴリを含む入力配列データセットを生成する入力配列作成部と、
前記オブジェクト状態情報及び前記通信品質予測用カテゴリと通信品質との関係を機械学習により学習して得られた通信品質予測モデルに、前記入力配列作成部で生成された入力配列データセットを入力し、前記通信装置の現在又は未来の通信品質を予測する通信品質予測部と、
を備えることを特徴とする装置。
【請求項6】
無線通信を行う通信装置の周辺環境情報を取得する周辺環境情報収集部と、前記周辺環境情報を用いて、前記通信装置の周囲に存在する物体の移動速度を含むオブジェクト状態情報を生成するオブジェクト判定部と、
前記オブジェクト状態情報を無線通信の通信品質への影響に応じて予め分類された通信品質予測用カテゴリに分類し、前記オブジェクト判定部で生成された前記オブジェクト状態情報の少なくとも一部及び前記通信品質予測用カテゴリを含む入力配列データセットを生成する入力配列作成部と、
前記入力配列作成部で生成された入力配列データセットを入力データに用い、前記入力配列データセットと通信品質との関係を機械学習により学習し、通信品質予測モデルを生成するモデル学習部と、
を備えることを特徴とする装置。
【請求項7】
周辺環境情報収集部が、無線通信を行う通信装置の周辺環境情報を取得し、オブジェクト判定部が、前記周辺環境情報を用いて、前記通信装置の周囲に存在する物体の移動速度を含むオブジェクト状態情報を生成し、
入力配列作成部が、前記オブジェクト状態情報を無線通信の通信品質への影響に応じて予め分類された通信品質予測用カテゴリに分類し、前記オブジェクト判定部で生成された前記オブジェクト状態情報の少なくとも一部及び前記通信品質予測用カテゴリを含む入力配列データセットを生成し、
通信品質予測部が、前記オブジェクト状態情報及び前記通信品質予測用カテゴリと通信品質との関係を機械学習により学習して得られた通信品質予測モデルに、前記入力配列作成部で生成された入力配列データセットを入力し、前記通信装置の現在又は未来の通信品質を予測する、
ことを特徴とする方法。
【請求項8】
周辺環境情報収集部が、無線通信を行う通信装置の周辺環境情報を取得し、オブジェクト判定部が、前記周辺環境情報を用いて、前記通信装置の周囲に存在する物体の移動速度を含むオブジェクト状態情報を生成し、
入力配列作成部が、前記オブジェクト状態情報を無線通信の通信品質への影響に応じて予め分類された通信品質予測用カテゴリに分類し、前記オブジェクト判定部で生成された前記オブジェクト状態情報の少なくとも一部及び前記通信品質予測用カテゴリを含む入力配列データセットを生成し、
前記オブジェクト状態情報及び前記通信品質予測用カテゴリと通信品質との関係を機械学習により学習して得られた通信品質予測モデルに、前記入力配列作成部で生成された入力配列データセットを入力し、前記通信装置の現在又は未来の通信品質を予測する、
ステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、環境情報を用いた無線通信品質の予測技術に関する。
【背景技術】
【0002】
無線通信機能が搭載されたデバイス（通信装置）を使用する際、その周辺環境の変化（周辺に存在するオブジェクトの移動など）に伴って通信品質も変化する可能性があり、当該デバイスのサービスやシステムが要求する通信品質を満たせない要因となる。例えば、ＩＥＥＥ８０２．１１ａｄやセルラー通信の５Ｇでは、ミリメータ帯の高い周波数を用いるため、無線通信を行う送受の間の遮蔽物によるブロッキングが大きな問題となる。ミリ波だけでなく、それ以外の周波数の無線通信であっても、遮蔽物によるブロッキングや、反射物の動きによる伝搬環境の変化は通信品質に影響を及ぼす。それ以外にも、反射物が動くことによって生じるドップラーシフトも通信に影響を与える。
【0003】
あらかじめ通信品質を予測することで、サービスやシステムが影響を受ける前に対策がとれる可能性がある。また、通信品質を予測するモデルを作成する際、周辺に存在するオブジェクトの動作や素材などにより通信品質への影響が変わる点を考慮する必要がある。
【0004】
非特許文献１では、オブジェクト通過によるミリ波通信の無線通信路遮蔽時における通信品質の予測を深度カメラを用いて行なっている。非特許文献１では、対象となるオブジェクトが人のみであり、その動きも一定であるため、材質などが異なる複数種類のオブジェクトが不規則に動作する場合については示されていない。また複数種類のオブジェクト情報からデータセットを作成する手法による予測精度への効果には言及されていない。
【先行技術文献】
【非特許文献】
【0005】
【文献】Ｔ． Ｎｉｓｈｉｏ， Ｈ． Ｏｋａｍｏｔｏ， Ｋ． Ｎａｋａｓｈｉｍａ， Ｙ． Ｋｏｄａ， Ｋ． Ｙａｍａｍｏｔｏ， Ｍ． Ｍｏｒｉｋｕｒａ， Ｙ． Ａｓａｉ， ａｎｄ Ｒ． Ｍｉｙａｔａｋｅ， “Ｐｒｏａｃｔｉｖｅ Ｒｅｃｅｉｖｅｄ Ｐｏｗｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｕｓｉｎｇ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ａｎｄ Ｄｅｐｔｈ Ｉｍａｇｅｓ ｆｏｒ ｍｍＷａｖｅ Ｎｅｔｗｏｒｋｓ，” ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｓｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ， ｖｏｌ． ３７， ｎｏ． １１， ｐｐ． ２４１３－２４２７， Ｎｏｖ． ２０１９．ｄｏｉ： １０．１１０９／ＪＳＡＣ．２０１９．２９３３７６３．
【文献】Ｊ． Ｒｅｄｍｏｎ， Ａ． Ｆａｒｈａｄｉ， “ＹＯＬＯｖ３： Ａｎ Ｉｎｃｒｅｍｅｎｔａｌ Ｉｍｐｒｏｖｅｍｅｎｔ， ”， ＣｏＲＲ， ２０１８．
【文献】Ｊ． Ｒｅｄｍｏｎ， Ａ． Ｆａｒｈａｄｉ， “ＹＯＬＯｖ３： Ａｎ Ｉｎｃｒｅｍｅｎｔａｌ Ｉｍｐｒｏｖｅｍｅｎｔ， ”， ＣｏＲＲ， ２０１８．
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示は、環境変動による通信品質の変化に対応できるよう、将来の通信品質を予測可能な通信システム及び端末を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示のシステムは、
無線通信を行う通信装置の周辺環境情報を取得する周辺環境情報収集部と、
前記周辺環境情報を用いて、前記通信装置の周囲に存在する物体の種類、位置、速度、状態のうち少なくとも一つを含むオブジェクト状態情報を生成するオブジェクト判定部と、
前記オブジェクト状態情報を無線通信の通信品質への影響に応じて予め分類された通信品質予測用カテゴリに分類し、前記オブジェクト判定部で生成されたオブジェクト状態情報の少なくとも一部及び通信品質予測用カテゴリを含む入力配列データセットを生成する入力配列作成部と、
物体の種類、位置、速度、状態のうち少なくとも一つを含むオブジェクト状態情報及び通信品質予測用カテゴリと通信品質との関係を機械学習により学習して得られた通信品質モデルに、前記入力配列作成部で生成された入力配列データセットを入力し、前記通信装置の現在又は未来の通信品質を予測する通信品質予測部と、
を備える。
無線通信を行う通信装置の周辺環境情報を取得する周辺環境情報収集部と、
前記周辺環境情報を用いて、前記通信装置の周囲に存在する物体の種類、位置、速度、状態のうち少なくとも一つを含むオブジェクト状態情報を生成するオブジェクト判定部と、
前記オブジェクト状態情報を無線通信の通信品質への影響に応じて予め分類された通信品質予測用カテゴリに分類し、前記オブジェクト判定部で生成されたオブジェクト状態情報の少なくとも一部及び通信品質予測用カテゴリを含む入力配列データセットを生成する入力配列作成部と、
物体の種類、位置、速度、状態のうち少なくとも一つを含むオブジェクト状態情報及び通信品質予測用カテゴリと通信品質との関係を機械学習により学習して得られた通信品質モデルに、前記入力配列作成部で生成された入力配列データセットを入力し、前記通信装置の現在又は未来の通信品質を予測する通信品質予測部と、
を備える。
【0008】
ここで、本開示に係るシステムに備わる各機能部は、同じ装置に備わっていてよいし、異なる装置に備わっていてもよい。すなわち、本開示に係るシステムは、周辺環境情報収集部、オブジェクト判定部、入力配列作成部及び通信品質予測部を備える装置を含む。
【0009】
本開示に係る方法は、
周辺環境情報収集部が、無線通信を行う通信装置の周辺環境情報を取得し、
オブジェクト判定部が、前記周辺環境情報を用いて、前記通信装置の周囲に存在する物体の種類、位置、速度、状態のうち少なくとも一つを含むオブジェクト状態情報を生成し、
入力配列作成部が、前記オブジェクト状態情報を無線通信の通信品質への影響に応じて予め分類された通信品質予測用カテゴリに分類し、前記オブジェクト判定部で生成されたオブジェクト状態情報の少なくとも一部及び通信品質予測用カテゴリを含む入力配列データセットを生成し、
通信品質予測部が、物体の種類、位置、速度、状態のうち少なくとも一つを含むオブジェクト状態情報及び通信品質予測用カテゴリと通信品質との関係を機械学習により学習して得られた通信品質モデルに、前記入力配列作成部で生成された入力配列データセットを入力し、前記通信装置の現在又は未来の通信品質を予測する。
周辺環境情報収集部が、無線通信を行う通信装置の周辺環境情報を取得し、
オブジェクト判定部が、前記周辺環境情報を用いて、前記通信装置の周囲に存在する物体の種類、位置、速度、状態のうち少なくとも一つを含むオブジェクト状態情報を生成し、
入力配列作成部が、前記オブジェクト状態情報を無線通信の通信品質への影響に応じて予め分類された通信品質予測用カテゴリに分類し、前記オブジェクト判定部で生成されたオブジェクト状態情報の少なくとも一部及び通信品質予測用カテゴリを含む入力配列データセットを生成し、
通信品質予測部が、物体の種類、位置、速度、状態のうち少なくとも一つを含むオブジェクト状態情報及び通信品質予測用カテゴリと通信品質との関係を機械学習により学習して得られた通信品質モデルに、前記入力配列作成部で生成された入力配列データセットを入力し、前記通信装置の現在又は未来の通信品質を予測する。
【0010】
本開示に係る装置は、
無線通信を行う通信装置の周辺環境情報を取得する周辺環境情報収集部と、
前記周辺環境情報を用いて、前記通信装置の周囲に存在する物体の種類、位置、速度、状態のうち少なくとも一つを含むオブジェクト状態情報を生成するオブジェクト判定部と、
前記オブジェクト状態情報を無線通信の通信品質への影響に応じて予め分類された通信品質予測用カテゴリに分類し、前記オブジェクト判定部で生成されたオブジェクト状態情報の少なくとも一部及び通信品質予測用カテゴリを含む入力配列データセットを生成する入力配列作成部と、
前記入力配列作成部で生成された入力配列データセットを入力データに用い、前記入力配列データセットと通信品質との関係を機械学習により学習し、通信品質モデルを生成するモデル学習部と、
を備えることを特徴とする。
無線通信を行う通信装置の周辺環境情報を取得する周辺環境情報収集部と、
前記周辺環境情報を用いて、前記通信装置の周囲に存在する物体の種類、位置、速度、状態のうち少なくとも一つを含むオブジェクト状態情報を生成するオブジェクト判定部と、
前記オブジェクト状態情報を無線通信の通信品質への影響に応じて予め分類された通信品質予測用カテゴリに分類し、前記オブジェクト判定部で生成されたオブジェクト状態情報の少なくとも一部及び通信品質予測用カテゴリを含む入力配列データセットを生成する入力配列作成部と、
前記入力配列作成部で生成された入力配列データセットを入力データに用い、前記入力配列データセットと通信品質との関係を機械学習により学習し、通信品質モデルを生成するモデル学習部と、
を備えることを特徴とする。
【0011】
本開示に係るプログラムは、本開示に係る装置に備わる各機能部としてコンピュータを機能させる。また本開示に係る方法に備わる各ステップをコンピュータに実行させる。
【発明の効果】
【0012】
本開示によれば、通信環境に応じて通信品質に影響を及ぼすオブジェクトの個体の特徴（動き、素材等）を考慮したオブジェクトの分類を行って学習および予測を行うことにより、将来の通信品質を予測可能にし、これによって環境変動による通信品質の変化に対応可能になる。
【図面の簡単な説明】
【0013】
【図1】本開示に係る通信装置の一例を示す。
【図2】本開示に係る通信品質予測システムの処理フローの一例を示す。
【図3】オブジェクト状態情報の一例を示す。
【図4】トラッキングを行う場合のオブジェクト状態情報の一例を示す。
【図5】トラッキングを行わない場合のオブジェクト状態情報の一例を示す。
【図6】トラッキングによる効果の一例を示す。
【図7】通信品質予測用カテゴリに分ける効果の一例を示す。
【図8】本開示に係る通信品質予測システムの構成の一例を示す。
【図9】通信装置の第１の構成例を示す。
【図10】通信装置の第２の構成例を示す。
【図11】通信装置の第３の構成例を示す。
【図12】通信装置の第４の構成例を示す。
【図13】屋外におけるスループット予測実験の説明図である。
【図14】スループット予測実験で得られた映像の取得例を示す。
【図15】スループット予測実験で用いた実験諸元を示す。
【図16】周辺環境情報からのオブジェクト状態情報の取得例を示す。
【図17】スループット予測実験で得られたオブジェクト状態情報の一例を示す。
【図18】映像に含まれる４つのフレームからのオブジェクト状態情報の取得例を示す。
【図19】スループット予測実験で用いた通信品質予測用カテゴリを示す。
【図20】通信品質予測用カテゴリごとに並べ替えたデータセットの一例を示す。
【図21】ダウンサンプリング前のデータ例を示す。
【図22】ダウンサンプリング後のデータ例を示す。
【図23】速度算出前のデータ例を示す。
【図24】速度算出後のデータ例を示す。
【図25】通信品質予測用カテゴリとして、ｂｕｓ，ｔｒｕｃｋ，ｖｅｈｉｃｌｅ，ｐｅｒｓｏｎを設定した場合の予測結果例を示す。
【発明を実施するための形態】
【0014】
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
【0015】
本開示は、２つ以上の通信装置間で無線通信を行う通信システムを想定する。例えば、本開示に係る通信品質予測システムは、無線通信を行う２以上の通信装置を備える。本開示は、無線通信を行う通信システムにおいて、環境変動による通信品質の変化に対応できるよう、将来の通信品質を予測可能にする。
【0016】
無線通信システムとしては、ＩＥＥＥ８０２．１１で規定される無線ＬＡＮ、Ｗｉｇｉｇ（登録商標）、ＩＥＥＥ８０２．１１ｐ、ＩＴＳ用通信規格、ＬＴＥや５Ｇなどのセルラー通信、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）などの無線通信、ないし音波、電気、光による通信を用いることができる。
【0017】
端末とは、端末の移動や動作などの制御、端末の構成物の制御、及び端末の通信の制御、のいずれかが可能なハードウェアであり、例えば、自動車、大型移動車、小型移動車、鉱山・建設機械、ドローンなどの飛行移動体、２輪車、車いす、ロボットが想定される。
【0018】
通信品質とは、通信装置内に有する通信部の少なくとも１つが、外部の通信装置と無線で通信する際の品質に関連する指標である。受信電力、ＲＳＳＩ（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｏ）、ＲＳＲＱ（Ｒｅｆｅｒｅｓｎｃｅ Ｓｉｎｇｎａｌ Ｒｅｃｅｉｖｅｄ Ｑｕａｌｉｔｙ）、ＳＮＲ（Ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ）、ＳＩＮＲ（Ｓｉｇｎａｌ ｔｏ ｉｎｔｅｒｆｅｒｅｎｃｅ ｎｏｉｓｅ ｒａｔｉｏ）、パケットロス率、データレート、アプリケーション品質、およびそれらの増減に関する指標や、それらの２つ以上を線形演算などにより組み合わせた指標など、ＱｏＥ（Ｑｕａｌｉｔｙｂｏｆ ｅｘｐｅｒｉｅｎｃｅ）に関連する指標を用いることができる。
【0019】
図１に、本開示に係る通信装置の一例を示す。通信装置１は、無線通信を行う通信部１－１を備える。通信部１－１は、ダウンリンク（基地局からモバイル端末への送信）、アップリンク（モバイル端末から基地局への送信）、サイドリンク（モバイル端末からモバイル端末への送信）が想定され、いずれの通信でも適用可能である。また、本開示に係る通信装置１は、基地局であっても、モバイル端末であってもいずれでもよい。
【0020】
通信装置１は、情報処理部及び装置ネットワーク１－０を備える。情報処理部は、周辺環境情報収集部１－２、オブジェクト判定部１－５、入力配列作成部２７、通信品質予測部３２、通信装置管理部１－３を備える。情報処理部は、後述するデータ収集部、学習部１－６及び予測部１－７に備わる任意の機能を備えていてもよい。また、情報処理部に備わる各機能部は、装置ネットワーク１－０で互いに接続されうる。情報処理部に備わる各機能部は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【0021】
本開示に係る通信装置１は、ダウンリンクまたはアップリンクの通信品質を予測する基地局であった場合には、通信装置管理部１－３は、通信相手となる外部の通信装置であるモバイル端末の位置などの通信装置状態情報を、通信部１－０を介して取得し生成する。
【0022】
本開示に係る通信装置１がダウンリンクまたはアップリンクの通信品質を予測するモバイル端末であった場合には、通信装置管理部１－３は、自通信装置の通信装置状態情報を生成する。この場合、通信装置１は、通信相手となる基地局の位置やアンテナ条件などの情報を、通信部１－１を介して収集し、通信装置管理部１－３で生成してもよい。
【0023】
本開示に係る通信装置１が、サイドリンクの通信品質を予測する基地局であった場合には、通信装置管理部１－３は、通信相手となる外部の通信装置であるモバイル端末の端末情報を、通信部５３を介して取得するとともに、自通信装置の位置情報などの通信装置状態情報を生成する。
【0024】
図２に、本開示に係る通信品質予測システムの処理フローの一例を示す。本開示に係る通信品質予測システムは、環境情報取得ステップＣ１、オブジェクト判定ステップＣ２、通信品質予測用カテゴリ分類ステップＣ３、補助情報取得ステップＣ４、通信品質予測ステップＣ５、を実行する。以下に図２で示した処理の説明を示す。
【0025】
ステップＣ１では、周辺環境情報収集部１－２が、通信装置の一方もしくは両方の周辺の環境情報（以後、周辺環境情報と称する。）を取得する。ここで、周辺環境情報は、カメラで撮像された画像及び映像、センサによって検出された任意のデータ、センサやカメラのサンプリング間隔を含む。また、カメラやセンサは、通信装置１に搭載されているものであってもよいし、通信装置の外に備わるものであってもよい。
【0026】
ステップＣ２では、オブジェクト判定部１－５が、ステップＣ１により得られた周辺環境情報から、既存の物体検出手法を用いて、通信装置の周辺に存在するオブジェクトの種類（クラス）、位置、大きさ等のオブジェクト状態情報を取得する。ここで、クラスとは、物体検出手法にて定義されるもので、物体の種類を表す。位置情報とは画角上または実世界上におけるオブジェクトの中心位置・幅・高さ・輪郭・距離（深度・奥行き）などである。このように、周辺環境情報をオブジェクト状態情報へ変換することで、周辺環境情報を人間が理解・説明・評価しやすくなる。また今後物体検出技術がさらに向上した場合、その技術を導入することが可能である。
【0027】
図３に、オブジェクト判定部１２におけるオブジェクト状態情報例を示す。カメラから取得した映像を周辺環境情報に用いる例を示す。映像から、１コマごとにオブジェクトのクラス、スコア、位置、大きさを出力する。認識したオブジェクトに対して、画面上における位置座標（ｘ，ｙ）、幅ｗｘ、高さｗｙ、所属するクラス、スコアをオブジェクト状態情報として出力する。Ｏｂｊｅｃｔ ｓｃｏｒｅはオブジェクトがそのクラスに属する信頼度を示す。本例では、既存の物体認識技術ＹＯＬＯｖ３を使用した場合を示すが（例えば、非特許文献２参照。）、本開示は、周辺環境情報からオブジェクト状態情報を取得可能な１以上の任意のオブジェクト判定モデルを用いることができる。
【0028】
ステップＣ２に示している立方体が並んだ図は、画像からオブジェクト状態情報を取得するときにＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等のデープラーニングを用いた場合をイメージして記載しているが、それ以外の機械学習のアルゴリズムを用いてもよい。機械学習で用いるパラメータは事前に学習する。
【0029】
ステップＣ３では、入力配列作成部２７が、ステップＣ２により得られたオブジェクト状態情報を、通信品質予測用カテゴリへ分類し、オブジェクト状態情報の少なくとも一部及び通信品質予測用カテゴリを含む入力配列データセットを生成する。ここで通信品質予測用カテゴリとは、あるクラスに属するオブジェクトが無線通信で使用する周波数帯の電波伝搬に与える影響具合の“類似性”やステップＣ２における“検出の誤りやすさ”、出現頻度を基準に分類されてもよい。ここで、“類似性”は、オブジェクトの素材、サイズ、動作、認識される位置などが類似している場合を指す。また各クラスに属する物体に対して、物体検出領域（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎなど）をもとに同一物体かどうかを判定し、トラッキングすることで得られる時間変化量をオブジェクト状態情報に含んでも良い。このとき、クラスは重複してもよく、また、“通信品質予測時に使用しない情報カテゴリ”を設けても良い。
【0030】
ステップＣ４では、通信装置管理部１－３が、補助情報として通信装置の位置、向き、姿勢、速度、パーツ状態、通信品質の情報を収集する。
【0031】
ステップＣ５では、通信品質予測部３２が、通信品質予測用カテゴリへ区分されたオブジェクト状態情報及び補助情報の一部もしくは全てを含む入力配列データセットを用いて通信の品質を予測する。ステップＣ５ではニューラルネットワークをモチーフにした図を示しているがこれに限定することなく、他の機械学習や統計的手法などのいかなる手法を用いても良い。機械学習で用いるパラメータは事前に学習する。
【0032】
（トラッキングに基づくデータ格納）
図４及び図５に、トラッキングに基づくデータ格納方法と取得可能な特徴量の一例を示す。図４はトラッキングを行う場合を示し、図５はトラッキングを行わない場合を示す。図４及び図５において、ΦＢｕｓ＃１は１番目のカラムに格納されたクラス「Ｂｕｓ」に属するオブジェクトのオブジェクト状態情報を表すベクトルであり、ｘ（オブジェクトのｘ座標）、ｙ（ｙ座標）、ｗ（幅）、ｈ（高さ）などが含まれる。
図４及び図５に、トラッキングに基づくデータ格納方法と取得可能な特徴量の一例を示す。図４はトラッキングを行う場合を示し、図５はトラッキングを行わない場合を示す。図４及び図５において、ΦＢｕｓ＃１は１番目のカラムに格納されたクラス「Ｂｕｓ」に属するオブジェクトのオブジェクト状態情報を表すベクトルであり、ｘ（オブジェクトのｘ座標）、ｙ（ｙ座標）、ｗ（幅）、ｈ（高さ）などが含まれる。
【数1】
【0033】
ｘ方向におけるオブジェクトの速度を算出するときは、各カラムに対して時間変化量を算出することで計算が可能である。
【数2】
【0034】
トラッキングした場合、同一物体に対するデータは同カラムへ格納される。このため、個々の物体に対して時間における変化量・中央値・平均値等を算出し、特徴量として使用することができる。一方、トラッキングしなかった場合、複数の物体が同時に検出されるとき、それら物体が同じクラスに属していた場合、同一の物体に対する情報であっても別のカラムへデータが格納される場合がある。このように、トラッキングしていないと違うオブジェクトに対して変化量を見てしまう可能性があり、速度が算出できない。
【0035】
図６に、トラッキングによる効果の一例を示す。通信品質予測用カテゴリごとに分類されたオブジェクト状態情報と通信品質（スループット）との関係をランダムフォレストで学習し、テストデータで評価した結果である。ランダムフォレストへの入力データにオブジェクトの速度情報を含めた場合と含めなかった場合とを比較すると、速度情報がない場合に比べ、速度情報がある場合の予測精度Ｒ２が高いことが分かる。トラッキングにより物体の速度情報を抽出し、通信品質予測モデルへの入力データに加えることで、予測精度の向上が見られた。
【0036】
ここで、予測精度Ｒ２は決定係数と呼ばれ、以下で定義される。
【数3】
【0037】
予測精度Ｒ２は、１に近いほど予測値が実測値をよく説明していることを表す。また一般的にＲ２＞０．６の時「回帰できている」と言われる。
【0038】
（通信品質予測用カテゴリ）
図７に、通信品質予測用カテゴリに分ける効果の一例を示す。通信品質予測用カテゴリごとに分類されたオブジェクト状態情報と通信品質（スループット）との関係をランダムフォレストで学習し、テストデータで予測精度（Ｒ２）を評価した。
図７に、通信品質予測用カテゴリに分ける効果の一例を示す。通信品質予測用カテゴリごとに分類されたオブジェクト状態情報と通信品質（スループット）との関係をランダムフォレストで学習し、テストデータで予測精度（Ｒ２）を評価した。
【0039】
カテゴリ例０と４の比較より、オブジェクトをすべて同等に扱う場合（カテゴリ例０）より、金属物（ｖｅｈｉｃｌｅ）と生物（ｐｅｒｓｏｎ）といった素材ごとに分けて扱ったほうが予測精度が高くなることから、素材の分類が有効であることが示唆される。また、カテゴリ０と１を比較すると、クラスでの分類の有効性も示唆される。
【0040】
カテゴリ３のように、素材による分類に加え、バス・トラックのようなサイズが大きく電波伝搬への影響が大きいと予想されるクラスに対してはそれら専用のカテゴリ（ｂｕｓ，ｔｒｕｃｋ）を設けることで、予測精度が向上することから、スループット予測にはオブジェクトの素材・クラス・大きさなどを考慮した品質予測用カテゴリの設定が有用であることが示唆される。
【0041】
オブジェクト状態情報の通信品質予測用カテゴリへの分類は、人間にとっての物体区分を通信にとっての物体区分に変更する手続きである。図６より、いずれのカテゴリ設定の場合においても、機械学習時にオブジェクトの速度情報を含めることで、速度情報を含めない場合より予測精度（Ｒ２）が向上していることから、速度情報の有用性が示唆される。
【0042】
“検出の誤りやすさ”の具体例としては、ステップＣ２での物体検出にて、時間フレーム毎に物体検出領域（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎなど）をもとにトラッキングをしたときに同一物体と評価されたものに対して、クラス検出では別物体として複数クラスが検出された時、それらクラスは“誤りやすいクラス”と定義する方法が考えられる。また、物体検出時に出力される信頼スコア（ｃｏｎｆｉｄｅｎｃｅ ｓｃｏｒｅ）が基準より小さい時、“誤りやすい”と定義する方法も考えられる。事前にそのクラスに属するオブジェクトが通信品質へ与える影響を調査し、各クラスに対応する通信品質予測用カテゴリを決定する。
【0043】
図８に、本開示に係る通信品質予測システムの構成の一例を示す。本開示に係る通信品質予測システムは、データ収集部、学習部１－６、予測部１－７を備える。データ収集部は、周辺環境情報取集部１－２、通信装置管理部１－３、通信品質評価部１－４、オブジェクト判定部１－５、データ蓄積部１－８、を備える。学習部１－６は、モデル学習部２１、モデル記憶部２２、予測モデル定義部２３、教師データ作成部２４、入力データ取得部２５、通信品質予測用カテゴリ定義部２６、入力配列作成部２７を備える。予測部１－７は、モデル選択部３１、通信品質予測部３２を備える。
【0044】
（データ収集部）
周辺環境情報収集部１－２は、カメラやセンサによって端末周辺の環境情報（＝周辺環境情報）とそれらを取得した位置の情報（＝周辺環境取得位置情報）を収集する。
通信装置管理部１－３は、通信装置状態情報及び通信設定情報を取得する。通信装置状態情報は、無線通信を行う通信装置に含まれる少なくともいずれかの通信装置の状態を表す情報であり、自装置または通信相手またはその両方の位置・向き・速度のうち少なくとも一つを含む情報である。通信設定情報は、通信に利用している周波数帯・チャネル情報を少なくとも含む情報である。
通信品質評価部１－４は、通信装置間の無線通信の品質を測定する。
オブジェクト判定部１－５は、ｙｏｌｏなどのオブジェクト判定モデルを取得し、周辺環境情報から存在するオブジェクトのクラス、位置、速度、状態等のオブジェクト状態情報を取得する。
データ蓄積部１－８は、周辺環境情報収集部１－２、通信装置管理部１－３、通信品質評価部１－４、オブジェクト判定部１－５より出力された情報を記憶する。
周辺環境情報収集部１－２は、カメラやセンサによって端末周辺の環境情報（＝周辺環境情報）とそれらを取得した位置の情報（＝周辺環境取得位置情報）を収集する。
通信装置管理部１－３は、通信装置状態情報及び通信設定情報を取得する。通信装置状態情報は、無線通信を行う通信装置に含まれる少なくともいずれかの通信装置の状態を表す情報であり、自装置または通信相手またはその両方の位置・向き・速度のうち少なくとも一つを含む情報である。通信設定情報は、通信に利用している周波数帯・チャネル情報を少なくとも含む情報である。
通信品質評価部１－４は、通信装置間の無線通信の品質を測定する。
オブジェクト判定部１－５は、ｙｏｌｏなどのオブジェクト判定モデルを取得し、周辺環境情報から存在するオブジェクトのクラス、位置、速度、状態等のオブジェクト状態情報を取得する。
データ蓄積部１－８は、周辺環境情報収集部１－２、通信装置管理部１－３、通信品質評価部１－４、オブジェクト判定部１－５より出力された情報を記憶する。
【0045】
（学習部１－６）
予測モデル定義部２３は、ランダムフォレストやニューラルネットワークなどから機械学習手法の選択、その構造（層数やノード数など）の設定、通信品質の予測先の時間（何秒後を予測するか）の設定をすることができる。
入力データ取得部２５は、データ蓄積部１－８もしくは周辺環境情報収集部１－２、オブジェクト判定部１－５、通信装置管理部１－３、通信品質評価部１－４から、周辺環境取得位置情報、オブジェクト状態情報、通信装置状態情報、通信設定情報のうち少なくとも一つを含む情報を取得する。オブジェクト状態情報を取得する際、通信装置状態情報をもとに、自装置や通信相手付近に設置されたカメラやセンサーから得られた情報を選んで取得しても良い。
予測モデル定義部２３は、ランダムフォレストやニューラルネットワークなどから機械学習手法の選択、その構造（層数やノード数など）の設定、通信品質の予測先の時間（何秒後を予測するか）の設定をすることができる。
入力データ取得部２５は、データ蓄積部１－８もしくは周辺環境情報収集部１－２、オブジェクト判定部１－５、通信装置管理部１－３、通信品質評価部１－４から、周辺環境取得位置情報、オブジェクト状態情報、通信装置状態情報、通信設定情報のうち少なくとも一つを含む情報を取得する。オブジェクト状態情報を取得する際、通信装置状態情報をもとに、自装置や通信相手付近に設置されたカメラやセンサーから得られた情報を選んで取得しても良い。
【0046】
通信品質予測用カテゴリ定義部２６は、通信品質予測用カテゴリに分類するオブジェクト状態情報を、通信品質への影響ごとに通信品質予測用カテゴリを定義する。定義方法の例を以下に示す。
ステップＳ１－１：入力データ取得部２５から出力されたオブジェクト状態情報に含まれるクラスを列挙する。
ステップＳ１－２：ステップＳ１－１で挙がったクラスを、素材・大きさ・移動速度・出現頻度などをもとに分類し、カテゴリを作成する。
ステップＳ１－３：上に加え、スループット情報や端末位置などオブジェクト状態情報以外の特徴量を扱うカテゴリを設定しても良い。
ステップＳ２－１：ステップＳ１－１～Ｓ１－３の方法をもとにカテゴリ区分を複数パターン用意し、それぞれのカテゴリパターンを用いて学習・予測した時の精度が最も高いカテゴリパターンを採用する。
ステップＳ１－１：入力データ取得部２５から出力されたオブジェクト状態情報に含まれるクラスを列挙する。
ステップＳ１－２：ステップＳ１－１で挙がったクラスを、素材・大きさ・移動速度・出現頻度などをもとに分類し、カテゴリを作成する。
ステップＳ１－３：上に加え、スループット情報や端末位置などオブジェクト状態情報以外の特徴量を扱うカテゴリを設定しても良い。
ステップＳ２－１：ステップＳ１－１～Ｓ１－３の方法をもとにカテゴリ区分を複数パターン用意し、それぞれのカテゴリパターンを用いて学習・予測した時の精度が最も高いカテゴリパターンを採用する。
【0047】
ステップＳ１－２におけるカテゴリの作成は、物体を構成している素材、動作条件、検出位置、出現頻度の少なくともいずれかを含み、例えば以下のようにして行う。
＜例１＞メタリックな素材のものと、生物とでは電波伝搬に与える影響が違うため、車・バイク・トラック・バスのカテゴリと、人間のカテゴリを作成。また、トラック・バスは他の物体よりサイズが大きく通信路遮蔽効果が大きいと考えられるため、トラックのカテゴリとバスのカテゴリをさらに作成。
＜例２＞トラックは他の物体より出現頻度が少なく学習データ量が不十分であると考えられるため、大型車のカテゴリを作成し、形や素材の近いバスとトラックを同一カテゴリへ分類する。
＜例１＞メタリックな素材のものと、生物とでは電波伝搬に与える影響が違うため、車・バイク・トラック・バスのカテゴリと、人間のカテゴリを作成。また、トラック・バスは他の物体よりサイズが大きく通信路遮蔽効果が大きいと考えられるため、トラックのカテゴリとバスのカテゴリをさらに作成。
＜例２＞トラックは他の物体より出現頻度が少なく学習データ量が不十分であると考えられるため、大型車のカテゴリを作成し、形や素材の近いバスとトラックを同一カテゴリへ分類する。
【0048】
入力配列作成部２７は、入力データ取得部２５より得られたデータを通信品質カテゴリ定義部２６により定義されたカテゴリごとに分類し、通信品質予測モデルに入力する入力配列データセットを作成する。オブジェクト状態情報を入力配列データセットに格納する時、オブジェクトの検出領域に対しＩｏＵ（ｔｈｅ Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｆ Ｕｎｉｏｎ）を算出するなどして、連続した複数時間に対して検出した物体が同一のものかどうかを判定し、同一だった場合その情報を同じカラムへ格納させても良い。また、同じカラムに格納された特徴量に対して、時間変化率（速度）を算出したり、時間窓における中央値や平均値を算出することで新たに特徴量を作成しても良い。
教師データ作成部２４は、入力用配列作成部２７により作成された入力配列データセットをモデルに入力したときの教師データとなる通信品質を少なくとも含むデータをデータベースもしくは通信品質評価部１５から取得する。
教師データ作成部２４は、入力用配列作成部２７により作成された入力配列データセットをモデルに入力したときの教師データとなる通信品質を少なくとも含むデータをデータベースもしくは通信品質評価部１５から取得する。
【0049】
モデル学習部２１は、予測モデル定義部２３より出力された機械学習モデルを用いて、入力配列作成部２７から出力された入力配列データセットと教師データ作成部２４より出力された教師データより、通信品質予測モデルの学習を行う。
モデル記憶部２２では、モデル学習部２１にて学習済みの通信品質予測モデルと、それに対応する通信装置状態情報、通信設定情報及び通信品質予測用カテゴリを記憶する。
モデル記憶部２２では、モデル学習部２１にて学習済みの通信品質予測モデルと、それに対応する通信装置状態情報、通信設定情報及び通信品質予測用カテゴリを記憶する。
【0050】
（予測部１－７）
モデル選択部３１は、通信装置状態情報及び通信設定情報が一致する通信品質予測モデルを選択する。
通信品質予測部３２は、モデル選択部３１より選択された通信品質予測モデルに、入力配列作成部２７より作成された入力配列データセットを入力し、通信品質の予測を行う。
モデル選択部３１は、通信装置状態情報及び通信設定情報が一致する通信品質予測モデルを選択する。
通信品質予測部３２は、モデル選択部３１より選択された通信品質予測モデルに、入力配列作成部２７より作成された入力配列データセットを入力し、通信品質の予測を行う。
【0051】
（システム構成例１）
図９に、通信装置の第１の構成例を示す。第１の通信装置１は、周辺環境情報取集部１－２、通信装置管理部１－３、通信品質評価部１－４、オブジェクト判定部１－５、学習部１－６、予測部１－７、通信部１－１－１が、装置ネットワーク１－０で接続されている。この場合、通信装置１には、オブジェクト判定部１－５が物体認識したり、学習部１－６が通信品質予測モデルを学習したりするのに十分なスペックが搭載されている必要がある。通信装置１は外部の通信装置と無線通信を行っている。
図９に、通信装置の第１の構成例を示す。第１の通信装置１は、周辺環境情報取集部１－２、通信装置管理部１－３、通信品質評価部１－４、オブジェクト判定部１－５、学習部１－６、予測部１－７、通信部１－１－１が、装置ネットワーク１－０で接続されている。この場合、通信装置１には、オブジェクト判定部１－５が物体認識したり、学習部１－６が通信品質予測モデルを学習したりするのに十分なスペックが搭載されている必要がある。通信装置１は外部の通信装置と無線通信を行っている。
【0052】
（システム構成例２）
図１０に、通信装置の第２の構成例を示す。第２の通信装置１は、通信装置の外部に備わるカメラ・センサ２のデータを用いる。この場合、通信装置１には、オブジェクト判定部１－５が物体認識したり、学習部１－６が通信品質予測モデルを学習したりするのに十分なスペックが搭載されている必要がある。また、通信装置１は有線または無線で外部のカメラ・センサ２に接続している必要がある。
図１０に、通信装置の第２の構成例を示す。第２の通信装置１は、通信装置の外部に備わるカメラ・センサ２のデータを用いる。この場合、通信装置１には、オブジェクト判定部１－５が物体認識したり、学習部１－６が通信品質予測モデルを学習したりするのに十分なスペックが搭載されている必要がある。また、通信装置１は有線または無線で外部のカメラ・センサ２に接続している必要がある。
【0053】
（システム構成例３）
図１１に、通信装置の第３の構成例を示す。端末および通信装置１の外部のカメラ・センサ２の周辺環境情報を外部ネットワーク０のデータ蓄積部０－８に蓄積する。通信装置１は外部の通信装置と無線通信を行っている。通信装置１および外部のカメラ・センサ２は、有線または無線で外部ネットワーク０に接続している。通信装置１に備わる学習部１－６は、データ蓄積部０－８に蓄積されている情報を用いて学習を行う。
図１１に、通信装置の第３の構成例を示す。端末および通信装置１の外部のカメラ・センサ２の周辺環境情報を外部ネットワーク０のデータ蓄積部０－８に蓄積する。通信装置１は外部の通信装置と無線通信を行っている。通信装置１および外部のカメラ・センサ２は、有線または無線で外部ネットワーク０に接続している。通信装置１に備わる学習部１－６は、データ蓄積部０－８に蓄積されている情報を用いて学習を行う。
【0054】
（システム構成例４）
図１２に、通信装置の第４の構成例を示す。外部ネットワーク０に接続された学習部０－６で学習された通信品質予測モデルを用いて、通信装置１にて予測を行なう。学習部０－６は、学習部１－６と同様の機能を備え、データ蓄積部０－８に蓄積されている情報を用いて学習を行う。通信装置１は外部の通信装置と無線通信を行っている。通信装置１は有線または無線で外部ネットワーク０に接続している。入力配列作成部１－２７は、データ蓄積部０－８に蓄積されているデータを通信品質予測用カテゴリごとに分類し、通信品質予測モデルに入力する入力配列データセットを作成する。通信品質予測部１－３２は、入力配列作成部１－２７の作成した入力配列データセットを通信品質予測モデルに入力する。
図１２に、通信装置の第４の構成例を示す。外部ネットワーク０に接続された学習部０－６で学習された通信品質予測モデルを用いて、通信装置１にて予測を行なう。学習部０－６は、学習部１－６と同様の機能を備え、データ蓄積部０－８に蓄積されている情報を用いて学習を行う。通信装置１は外部の通信装置と無線通信を行っている。通信装置１は有線または無線で外部ネットワーク０に接続している。入力配列作成部１－２７は、データ蓄積部０－８に蓄積されているデータを通信品質予測用カテゴリごとに分類し、通信品質予測モデルに入力する入力配列データセットを作成する。通信品質予測部１－３２は、入力配列作成部１－２７の作成した入力配列データセットを通信品質予測モデルに入力する。
【実施例】
【0055】
屋外におけるスループット予測実験を行った。
［実験環境］
図１３に示す屋外路上に通信端末（図に示す★）と基地局（図に示す▲）を設置した。５．６６ＧＨｚでスループットの測定を行いつつ、通信端末に設置した２つのＨＤカメラを用い、通過する車両および歩行者の映像を取得した。計測は１時間行った。映像の取得例を図１４に示す。スループットは、過去３０秒間のスループットの中央値で規格化したものを用い、オブジェクトが周辺を通過することによるスループットの変化を測定した。実験諸元を図１５に示す。
［実験環境］
図１３に示す屋外路上に通信端末（図に示す★）と基地局（図に示す▲）を設置した。５．６６ＧＨｚでスループットの測定を行いつつ、通信端末に設置した２つのＨＤカメラを用い、通過する車両および歩行者の映像を取得した。計測は１時間行った。映像の取得例を図１４に示す。スループットは、過去３０秒間のスループットの中央値で規格化したものを用い、オブジェクトが周辺を通過することによるスループットの変化を測定した。実験諸元を図１５に示す。
【0056】
［物体認識］
物体認識技術ＹＯＬＯｖ３（例えば、非特許文献３参照。）を使用し、映像から１コマごとにオブジェクトのクラス、スコア、位置、大きさを出力した。各時間ｔに対して、それぞれのオブジェクトＯ１～Ｏｎ（ｎはＹｏｌｏが認識したオブジェクトの数）から、図１６に示すような、クラス（ｃｌａｓｓ）、ｘ、ｙ、ｗｘ、ｗｙ、スコア（ｓｃｏｒｅ）の５つのパラメータを取得した。本実験ではカメラ映像は１０ｆｐｓ（１０Ｈｚサンプリング）で記録されるため、０．１秒ごとの物体認識結果が得られる。オブジェクト状態情報の取得データ例を図１７に示す。
物体認識技術ＹＯＬＯｖ３（例えば、非特許文献３参照。）を使用し、映像から１コマごとにオブジェクトのクラス、スコア、位置、大きさを出力した。各時間ｔに対して、それぞれのオブジェクトＯ１～Ｏｎ（ｎはＹｏｌｏが認識したオブジェクトの数）から、図１６に示すような、クラス（ｃｌａｓｓ）、ｘ、ｙ、ｗｘ、ｗｙ、スコア（ｓｃｏｒｅ）の５つのパラメータを取得した。本実験ではカメラ映像は１０ｆｐｓ（１０Ｈｚサンプリング）で記録されるため、０．１秒ごとの物体認識結果が得られる。オブジェクト状態情報の取得データ例を図１７に示す。
【0057】
［トラッキングによる同一オブジェクトの判定］
Ｙｏｌｏを用い動画に対して物体認識を行ったとき、フレームごとに認識をかける。そのため、図１８に示すように、時間ｔ＝０．０～０．３（ｓ）における連続する４つのフレームで車を認識し、時間前後のフレームで認識された物体が同一のものかどうかは判定できない。そこで、物体が同一のものかを判定するために、ｔｈｅ Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｆ Ｕｎｉｏｎ （ＩｏＵ）を用いた。
Ａｉｎｔｅｒｓｅｃｔｉｏｎは検出されたふたつのｂｏｕｎｄｉｎｇ ｂｏｘの重なった部分の面積、Ａｕｎｉｏｎはふたつのｂｏｕｎｄｉｎｇ ｂｏｘの総合面積を表す。過去２フレームに対してＩｏＵの計算を行い、ＩｏＵが０．６以上のとき同一物体とした。
Ｙｏｌｏを用い動画に対して物体認識を行ったとき、フレームごとに認識をかける。そのため、図１８に示すように、時間ｔ＝０．０～０．３（ｓ）における連続する４つのフレームで車を認識し、時間前後のフレームで認識された物体が同一のものかどうかは判定できない。そこで、物体が同一のものかを判定するために、ｔｈｅ Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｆ Ｕｎｉｏｎ （ＩｏＵ）を用いた。
【数4】
【0058】
［通信品質予測用カテゴリを設定］
以降、通信品質予測用カテゴリとして、図１９に示すように、ｖｅｈｉｃｌｅカテゴリとｐｅｒｓｏｎカテゴリを設定した場合について述べる。ｂｕｓ，ｔｒｕｃｋ，ｐｅｒｓｏｎはそれぞれ、物体認識にてクラスをｂｕｓ，ｔｒｕｃｋ，ｐｅｒｓｏｎとして認識した物体のグループを指す。またｖｅｈｉｃｌｅカテゴリは物体認識にてクラスをｍｏｔｏｒｂｉｋｅ，ｃａｒ，ｂｕｓ，ｔｒｕｃｋ，として認識した物体を指す。
以降、通信品質予測用カテゴリとして、図１９に示すように、ｖｅｈｉｃｌｅカテゴリとｐｅｒｓｏｎカテゴリを設定した場合について述べる。ｂｕｓ，ｔｒｕｃｋ，ｐｅｒｓｏｎはそれぞれ、物体認識にてクラスをｂｕｓ，ｔｒｕｃｋ，ｐｅｒｓｏｎとして認識した物体のグループを指す。またｖｅｈｉｃｌｅカテゴリは物体認識にてクラスをｍｏｔｏｒｂｉｋｅ，ｃａｒ，ｂｕｓ，ｔｒｕｃｋ，として認識した物体を指す。
【0059】
［通信品質予測モデルへの入力配列データセットの作成］
（１）データの並べ替え
物体認識によって得られたオブジェクト状態情報（図１７）から、通信品質予測用カテゴリに含まれるクラスのデータを抽出し、通信品質予測用カテゴリごとに並べ替えた入力配列データセットを作成した。（図２０）
（１）データの並べ替え
物体認識によって得られたオブジェクト状態情報（図１７）から、通信品質予測用カテゴリに含まれるクラスのデータを抽出し、通信品質予測用カテゴリごとに並べ替えた入力配列データセットを作成した。（図２０）
【0060】
図２０においてＮｃａｔｅｇｏｒｙ（ｃａｔｅｇｏｒｙ： ｖｅｈｉｃｌｅ， ｐｅｒｓｏｎ， ｂｕｓ， ｔｒｕｃｋ）は、同時間に存在する、通信品質予測用カテゴリに属する物体の最大数を表す。ＩｏＵで同一物体と検出されたものに対しては同じインデックス（＃Ｎｃａｔｅｇｏｒｙ）が割り振られ、その物体情報（ｘ，ｙ，ｗｘ，ｗｙ）は同じカラムに格納される。
【0061】
Ｎｃａｔｅｇｏｒｙより少ない数の物体しか存在しないときは、０を格納する。例えばｔ＝０．２にて、ｖｅｈｉｃｌｅのカテゴリに該当する物体が２つであった場合、＃３～＃Ｎｖｅｈｉｃｌｅのインデックスが振られている欄には０が格納される。
【0062】
（２）ダウンサンプリング
（１）にて並び替えたデータを１０Ｈｚサンプリングから２Ｈｚサンプリングへダウンサンプリングした。２Ｈｚサンプリングのデータは０．５ｓ区間ごとに中央値より求めた。中央値の算出式はｘを例に以下に示す。図２１はダウンサンプリング前のデータを、図２２はダウンサンプリング後のデータ例を示す。
（１）にて並び替えたデータを１０Ｈｚサンプリングから２Ｈｚサンプリングへダウンサンプリングした。２Ｈｚサンプリングのデータは０．５ｓ区間ごとに中央値より求めた。中央値の算出式はｘを例に以下に示す。図２１はダウンサンプリング前のデータを、図２２はダウンサンプリング後のデータ例を示す。
【数5】
【0063】
（３）速度の算出
（２）にて作成されたデータに対しカラムごとに時間変化量を算出し、特徴量として加える。図２３は速度算出前のデータを、図２４は速度算出後のデータ例を示す。ここで作成された特徴量はオブジェクトの速度に値する。速度の算出は以下の式に従う。
（２）にて作成されたデータに対しカラムごとに時間変化量を算出し、特徴量として加える。図２３は速度算出前のデータを、図２４は速度算出後のデータ例を示す。ここで作成された特徴量はオブジェクトの速度に値する。速度の算出は以下の式に従う。
【数6】
【0064】
［ランダムフォレストによる予測］
ランダムフォレストを用い、通信品質予測モデルを作成する。ランダムフォレストへの入力には図２４に示す速度算出後のデータを用い、各時間に対し１秒後のスループットを出力するようランダムフォレストを学習させた。
ランダムフォレストを用い、通信品質予測モデルを作成する。ランダムフォレストへの入力には図２４に示す速度算出後のデータを用い、各時間に対し１秒後のスループットを出力するようランダムフォレストを学習させた。
【0065】
検証はｋ－交差検証法を用いた。検証では、１時間の測定から得られたデータをｋ個のデータセットに分割し、そのうちの（ｋ－１）個のデータセットによりランダムフォレストの学習を行い、残りの１個のデータセットから予測及びＲ２の算出を行う。評価は得られたｋ個のＲ２の値の平均を用いて行い、その値が大きいときほど予測精度が高いとする。本実験はｋ＝５とした。
【0066】
通信品質予測用カテゴリとして、ｂｕｓ，ｔｒｕｃｋ，ｖｅｈｉｃｌｅ，ｐｅｒｓｏｎを設定した場合の予測結果例を図２５に示す。スループットの実測値（ｒｅａｌ）の低下に対して予測値（ｐｒｅｄｉｃｔ）も低下しており、予測ができていることがわかる。
【0067】
（本開示の概要）
・本開示に係る通信システムは、カメラ・センサー・報知情報収集機器・その他の周辺環境情報収集装置から、通信機器周辺の周辺環境情報を収集する。
・本開示に係る通信システムは、周辺環境情報から物体認識手法を用い、物体の種類・位置・大きさといったオブジェクト状態情報を取得する。
・本開示に係る通信システムは、オブジェクト状態情報を通信品質予測に効果的なカテゴリ（通信品質予測用カテゴリ）に分類する。
・本開示に係る通信システムは、通信品質予測用カテゴリごとに分類された、オブジェクト状態情報を少なくとも含んだデータと、通信品質との関係を機械学習にてモデル化する。
・本開示に係る通信システムは、カメラ・センサー・報知情報収集機器・その他の周辺環境情報収集装置から、通信機器周辺の周辺環境情報を収集する。
・本開示に係る通信システムは、周辺環境情報から物体認識手法を用い、物体の種類・位置・大きさといったオブジェクト状態情報を取得する。
・本開示に係る通信システムは、オブジェクト状態情報を通信品質予測に効果的なカテゴリ（通信品質予測用カテゴリ）に分類する。
・本開示に係る通信システムは、通信品質予測用カテゴリごとに分類された、オブジェクト状態情報を少なくとも含んだデータと、通信品質との関係を機械学習にてモデル化する。
【0068】
（本開示の効果）
本開示によれば、端末周辺の環境情報から既存の物体認識手法により取得した物体の種類・位置・大きさといったオブジェクト状態情報を、通信品質予測用カテゴリへ分類することで、人間にとって理解しやすい物体区分から、無線通信にとってその品質に影響しやすい区分へ分類することが可能であり、これにより通信品質の予測精度を向上することができる。
本開示によれば、端末周辺の環境情報から既存の物体認識手法により取得した物体の種類・位置・大きさといったオブジェクト状態情報を、通信品質予測用カテゴリへ分類することで、人間にとって理解しやすい物体区分から、無線通信にとってその品質に影響しやすい区分へ分類することが可能であり、これにより通信品質の予測精度を向上することができる。
【0069】
本開示は、端末周辺の環境情報をオブジェクト状態情報へ変換する工程と、オブジェクト状態情報を通信品質予測用カテゴリへ分類する工程を分けることで、前者工程にて既存の物体検出手法を使用でき、より高性能な物体検出手法が作成された際に、その手法へ差し替えることが容易である。
【産業上の利用可能性】
【0070】
本開示は情報通信産業に適用することができる。
【符号の説明】
【0071】
０：外部ネットワーク
０－０：ネットワーク装置
１：通信装置
２：外部カメラ・センサ
１－０、２－０：装置ネットワーク
０－１－１、０－１－Ｎ、１－１、１－１－１、２－１－１、２－１－Ｎ：通信部
１－２、２－２：周辺環境情報収集部
１－３：通信装置管理部
１－４：通信品質評価部
１－５：オブジェクト判定部
１－６、０－６：学習部
１－７：予測部
１－８、０－８：データ蓄積部
２１：モデル学習部
２２：モデル記憶部
２３：予測モデル定義部
２４：教師データ作成部
２５：入力データ取得部
２６：通信品質予測用カテゴリ定義部
２７、１－２７：入力配列作成部
３１：モデル選択部
３２：通信品質予測部
０－０：ネットワーク装置
１：通信装置
２：外部カメラ・センサ
１－０、２－０：装置ネットワーク
０－１－１、０－１－Ｎ、１－１、１－１－１、２－１－１、２－１－Ｎ：通信部
１－２、２－２：周辺環境情報収集部
１－３：通信装置管理部
１－４：通信品質評価部
１－５：オブジェクト判定部
１－６、０－６：学習部
１－７：予測部
１－８、０－８：データ蓄積部
２１：モデル学習部
２２：モデル記憶部
２３：予測モデル定義部
２４：教師データ作成部
２５：入力データ取得部
２６：通信品質予測用カテゴリ定義部
２７、１－２７：入力配列作成部
３１：モデル選択部
３２：通信品質予測部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】