ホーム > 特許ランキング > 日本電信電話株式会社
▶ 日本電信電話株式会社の特許一覧 ▶ 国立大学法人京都大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022085309
(43)【公開日】2022-06-08
(54)【発明の名称】無線通信装置、無線通信システム及びビーム方向補正方法
(51)【国際特許分類】
H04B 7/06 20060101AFI20220601BHJP
H04W 16/28 20090101ALI20220601BHJP
H04W 24/10 20090101ALI20220601BHJP
H04B 7/08 20060101ALI20220601BHJP
【ＦＩ】
H04B7/06 982
H04W16/28
H04W24/10
H04B7/06 150
H04B7/08 982
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2020196925
(22)【出願日】2020-11-27
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(71)【出願人】
【識別番号】504132272
【氏名又は名称】国立大学法人京都大学
(74)【代理人】
【識別番号】110001634
【氏名又は名称】特許業務法人 志賀国際特許事務所
(72)【発明者】
【氏名】黄 俊翔
(72)【発明者】
【氏名】白戸 裕史
(72)【発明者】
【氏名】内田 大誠
(72)【発明者】
【氏名】北 直樹
(72)【発明者】
【氏名】山本 高至
(72)【発明者】
【氏名】香田 優介
(72)【発明者】
【氏名】新崎 聖峰
【テーマコード（参考）】
5K067
【Ｆターム（参考）】
5K067AA23
5K067EE34
5K067KK02
5K067KK03
(57)【要約】
【課題】自装置の環境センサが検出する環境状態データが正常でない場合であっても、無線信号のビームの方向を適切な方向に補正する。
【解決手段】複数の無線通信装置の各々の環境センサが検出する環境状態データを取得し、無線通信部が行う無線通信のビームの方向を示すビーム方向データを検出し、無線通信部が行う無線通信の無線通信品質を示す無線通信品質データを検出し、取得した環境状態データと、検出したビーム方向データ及び無線通信品質データとから予め求めるビームの方向の補正方策を出力する関数と、ある通信期間において検出したビーム方向データと、当該通信期間において取得した環境状態データとに基づいて、当該通信期間の次の通信期間におけるビームの方向の補正方策を求め、求めたビームの方向の補正方策の中から最適なビームの方向の補正方向を選択し、選択した補正方向に基づいて無線通信部にビームの方向を補正させる。
【選択図】図２
【解決手段】複数の無線通信装置の各々の環境センサが検出する環境状態データを取得し、無線通信部が行う無線通信のビームの方向を示すビーム方向データを検出し、無線通信部が行う無線通信の無線通信品質を示す無線通信品質データを検出し、取得した環境状態データと、検出したビーム方向データ及び無線通信品質データとから予め求めるビームの方向の補正方策を出力する関数と、ある通信期間において検出したビーム方向データと、当該通信期間において取得した環境状態データとに基づいて、当該通信期間の次の通信期間におけるビームの方向の補正方策を求め、求めたビームの方向の補正方策の中から最適なビームの方向の補正方向を選択し、選択した補正方向に基づいて無線通信部にビームの方向を補正させる。
【選択図】図２
【特許請求の範囲】
【請求項1】
アレイアンテナと、
指向性を有する無線電波のビームを前記アレイアンテナにより形成して無線通信を行う無線通信部と、
自装置の状態を示す環境状態データを検出する環境センサと、
前記環境センサが検出する前記環境状態データを他の無線通信装置に送信する環境状態データ送信部と、
自装置、及び、前記他の無線通信装置の環境状態データを取得する環境状態データ取得部と、
前記無線通信部が行う無線通信の前記ビームの方向を示すビーム方向データと、前記無線通信部が行う無線通信の無線通信品質を示す無線通信品質データとを検出する無線通信品質監視部と、
前記環境状態データ取得部が取得する前記環境状態データと、前記無線通信品質監視部が検出する前記ビーム方向データ及び前記無線通信品質データとから予め求めるビームの方向の補正方策を出力する関数と、ある通信期間において前記無線通信品質監視部が検出する前記ビーム方向データと、当該通信期間において前記環境状態データ取得部が取得する前記環境状態データとに基づいて、当該通信期間の次の通信期間における前記ビームの方向の補正方策を求め、求めた前記ビームの方向の補正方策の中から最適なビームの方向の補正方向を選択し、選択した補正方向に基づいて前記無線通信部にビームの方向を補正させるビーム方向制御部と、
を備える無線通信装置。
指向性を有する無線電波のビームを前記アレイアンテナにより形成して無線通信を行う無線通信部と、
自装置の状態を示す環境状態データを検出する環境センサと、
前記環境センサが検出する前記環境状態データを他の無線通信装置に送信する環境状態データ送信部と、
自装置、及び、前記他の無線通信装置の環境状態データを取得する環境状態データ取得部と、
前記無線通信部が行う無線通信の前記ビームの方向を示すビーム方向データと、前記無線通信部が行う無線通信の無線通信品質を示す無線通信品質データとを検出する無線通信品質監視部と、
前記環境状態データ取得部が取得する前記環境状態データと、前記無線通信品質監視部が検出する前記ビーム方向データ及び前記無線通信品質データとから予め求めるビームの方向の補正方策を出力する関数と、ある通信期間において前記無線通信品質監視部が検出する前記ビーム方向データと、当該通信期間において前記環境状態データ取得部が取得する前記環境状態データとに基づいて、当該通信期間の次の通信期間における前記ビームの方向の補正方策を求め、求めた前記ビームの方向の補正方策の中から最適なビームの方向の補正方向を選択し、選択した補正方向に基づいて前記無線通信部にビームの方向を補正させるビーム方向制御部と、
を備える無線通信装置。
【請求項2】
前記環境センサが故障している場合に前記環境センサが検出する前記環境状態データに故障を示す故障情報を付与して前記環境状態データ送信部及び前記環境状態データ取得部に出力し、前記環境センサが故障していない場合に前記環境センサが検出する前記環境状態データを前記環境状態データ送信部及び前記環境状態データ取得部に出力するセンサ故障検出部と、をさらに備え、
前記環境状態データ取得部は、
自装置、及び、前記他の無線通信装置から取得する前記環境状態データの中から、前記故障情報が付与されていない前記環境状態データを選択する、
請求項１に記載の無線通信装置。
前記環境状態データ取得部は、
自装置、及び、前記他の無線通信装置から取得する前記環境状態データの中から、前記故障情報が付与されていない前記環境状態データを選択する、
請求項１に記載の無線通信装置。
【請求項3】
前記ビーム方向制御部は、
自装置、又は、前記他の無線通信装置の組み合わせ毎に前記関数を予め求め、ある通信期間において前記無線通信品質監視部が検出する前記ビーム方向データと、当該通信期間において前記環境状態データ取得部が取得する前記環境状態データと、前記環境状態データ取得部が取得する前記環境状態データを取得した自装置、または、前記他の無線通信装置の組み合わせに対応する前記関数とに基づいて前記補正方策を求め、求めた前記補正方策の中から最適なビームの方向の補正方向を選択し、選択した補正方向に基づいて前記無線通信部にビームの方向を補正させる、
請求項１又は２に記載の無線通信装置。
自装置、又は、前記他の無線通信装置の組み合わせ毎に前記関数を予め求め、ある通信期間において前記無線通信品質監視部が検出する前記ビーム方向データと、当該通信期間において前記環境状態データ取得部が取得する前記環境状態データと、前記環境状態データ取得部が取得する前記環境状態データを取得した自装置、または、前記他の無線通信装置の組み合わせに対応する前記関数とに基づいて前記補正方策を求め、求めた前記補正方策の中から最適なビームの方向の補正方向を選択し、選択した補正方向に基づいて前記無線通信部にビームの方向を補正させる、
請求項１又は２に記載の無線通信装置。
【請求項4】
前記ビーム方向制御部は、
自装置、及び、前記他の無線通信装置の合計数を上限値とする１以上の全ての整数値の各々に対応する前記関数を予め求め、ある通信期間において前記無線通信品質監視部が検出する前記ビーム方向データと、当該通信期間において前記環境状態データ取得部が取得する前記環境状態データと、前記環境状態データ取得部が取得する前記環境状態データの数に対応する前記関数とに基づいて前記補正方策を求め、求めた前記補正方策の中から最適なビームの方向の補正方向を選択し、選択した補正方向に基づいて前記無線通信部にビームの方向を補正させる、
請求項１又は２に記載の無線通信装置。
自装置、及び、前記他の無線通信装置の合計数を上限値とする１以上の全ての整数値の各々に対応する前記関数を予め求め、ある通信期間において前記無線通信品質監視部が検出する前記ビーム方向データと、当該通信期間において前記環境状態データ取得部が取得する前記環境状態データと、前記環境状態データ取得部が取得する前記環境状態データの数に対応する前記関数とに基づいて前記補正方策を求め、求めた前記補正方策の中から最適なビームの方向の補正方向を選択し、選択した補正方向に基づいて前記無線通信部にビームの方向を補正させる、
請求項１又は２に記載の無線通信装置。
【請求項5】
前記環境状態データ取得部は、
前記他の無線通信装置から取得する前記環境状態データの上限値が予め定められている場合に、前記他の無線通信装置の台数が前記上限値を超えている場合、前記他の無線通信装置から取得する前記環境状態データの中から前記上限値の範囲内の数の前記環境状態データを選択するか、または、前記他の無線通信装置から取得する前記環境状態データの中から自装置の近傍に位置している前記他の無線通信装置の前記環境状態データを選択する、
請求項１から４のいずれか一項に記載の無線通信装置。
前記他の無線通信装置から取得する前記環境状態データの上限値が予め定められている場合に、前記他の無線通信装置の台数が前記上限値を超えている場合、前記他の無線通信装置から取得する前記環境状態データの中から前記上限値の範囲内の数の前記環境状態データを選択するか、または、前記他の無線通信装置から取得する前記環境状態データの中から自装置の近傍に位置している前記他の無線通信装置の前記環境状態データを選択する、
請求項１から４のいずれか一項に記載の無線通信装置。
【請求項6】
前記ビーム方向制御部は、
前記ビームの方向の補正方策を出力する関数を、前記無線通信品質監視部が検出する前記ビーム方向データ及び前記無線通信品質データと、前記環境状態データ取得部が取得する前記環境状態データとに基づく強化学習処理によって予め求める、
請求項１から５のいずれか一項に記載の無線通信装置。
前記ビームの方向の補正方策を出力する関数を、前記無線通信品質監視部が検出する前記ビーム方向データ及び前記無線通信品質データと、前記環境状態データ取得部が取得する前記環境状態データとに基づく強化学習処理によって予め求める、
請求項１から５のいずれか一項に記載の無線通信装置。
【請求項7】
複数の無線通信装置と、リモート制御装置とを備える無線通信システムであって、
前記無線通信装置の各々は、
アレイアンテナと、
指向性を有する無線電波のビームを前記アレイアンテナにより形成して無線通信を行う無線通信部と、
自装置の状態を示す環境状態データを検出する環境センサと、
前記環境センサが検出する前記環境状態データを他の無線通信装置に送信する環境状態データ送信部と、
前記無線通信部が行う無線通信の前記ビームの方向を示すビーム方向データと、前記無線通信部が行う無線通信の無線通信品質を示す無線通信品質データとを検出し、検出した前記ビーム方向データと前記無線通信品質データとを前記リモート制御装置に送信する無線通信品質監視部と、を備え、
前記リモート制御装置は、
複数の前記無線通信装置の各々の前記環境状態データ送信部が送信する前記環境状態データを受信して出力する環境状態データ取得部と、
前記環境状態データ取得部が取得する前記環境状態データと、複数の前記無線通信装置の各々の前記無線通信品質監視部から受信する前記無線通信装置ごとの前記ビーム方向データ及び前記無線通信品質データとから前記無線通信装置ごとに予め求めるビームの方向の補正方策を示す関数と、ある通信期間において複数の前記無線通信装置の各々の前記無線通信品質監視部から受信する前記ビーム方向データと、当該通信期間において前記環境状態データ取得部が取得する前記環境状態データとに基づいて、当該通信期間の次の通信期間における前記ビームの方向の補正方策を前記無線通信装置ごとに求め、求めた前記ビームの方向の補正方策の中から最適なビームの方向の補正方向を前記無線通信装置ごとに選択し、選択した補正方向に基づいて前記無線通信装置の各々の前記無線通信部にビームの方向を補正させるビーム方向制御部と、
を備える無線通信システム。
前記無線通信装置の各々は、
アレイアンテナと、
指向性を有する無線電波のビームを前記アレイアンテナにより形成して無線通信を行う無線通信部と、
自装置の状態を示す環境状態データを検出する環境センサと、
前記環境センサが検出する前記環境状態データを他の無線通信装置に送信する環境状態データ送信部と、
前記無線通信部が行う無線通信の前記ビームの方向を示すビーム方向データと、前記無線通信部が行う無線通信の無線通信品質を示す無線通信品質データとを検出し、検出した前記ビーム方向データと前記無線通信品質データとを前記リモート制御装置に送信する無線通信品質監視部と、を備え、
前記リモート制御装置は、
複数の前記無線通信装置の各々の前記環境状態データ送信部が送信する前記環境状態データを受信して出力する環境状態データ取得部と、
前記環境状態データ取得部が取得する前記環境状態データと、複数の前記無線通信装置の各々の前記無線通信品質監視部から受信する前記無線通信装置ごとの前記ビーム方向データ及び前記無線通信品質データとから前記無線通信装置ごとに予め求めるビームの方向の補正方策を示す関数と、ある通信期間において複数の前記無線通信装置の各々の前記無線通信品質監視部から受信する前記ビーム方向データと、当該通信期間において前記環境状態データ取得部が取得する前記環境状態データとに基づいて、当該通信期間の次の通信期間における前記ビームの方向の補正方策を前記無線通信装置ごとに求め、求めた前記ビームの方向の補正方策の中から最適なビームの方向の補正方向を前記無線通信装置ごとに選択し、選択した補正方向に基づいて前記無線通信装置の各々の前記無線通信部にビームの方向を補正させるビーム方向制御部と、
を備える無線通信システム。
【請求項8】
アレイアンテナと、指向性を有する無線電波のビームを前記アレイアンテナにより形成して無線通信を行う無線通信部と、自装置の状態を示す環境状態データを検出する環境センサとを備える複数の無線通信装置の前記ビームの方向を補正するビーム方向補正方法であって、
前記複数の無線通信装置の各々の前記環境センサが検出する前記環境状態データを取得し、
前記無線通信部が行う無線通信の前記ビームの方向を示すビーム方向データを検出し、
前記無線通信部が行う無線通信の無線通信品質を示す無線通信品質データを検出し、
取得した前記環境状態データと、検出した前記ビーム方向データ及び前記無線通信品質データとから予め求めるビームの方向の補正方策を出力する関数と、ある通信期間において検出した前記ビーム方向データと、当該通信期間において取得した前記環境状態データとに基づいて、当該通信期間の次の通信期間における前記ビームの方向の補正方策を求め、
求めた前記ビームの方向の補正方策の中から最適なビームの方向の補正方向を選択し、
選択した補正方向に基づいて前記無線通信部にビームの方向を補正させる、
ビーム方向補正方法。
前記複数の無線通信装置の各々の前記環境センサが検出する前記環境状態データを取得し、
前記無線通信部が行う無線通信の前記ビームの方向を示すビーム方向データを検出し、
前記無線通信部が行う無線通信の無線通信品質を示す無線通信品質データを検出し、
取得した前記環境状態データと、検出した前記ビーム方向データ及び前記無線通信品質データとから予め求めるビームの方向の補正方策を出力する関数と、ある通信期間において検出した前記ビーム方向データと、当該通信期間において取得した前記環境状態データとに基づいて、当該通信期間の次の通信期間における前記ビームの方向の補正方策を求め、
求めた前記ビームの方向の補正方策の中から最適なビームの方向の補正方向を選択し、
選択した補正方向に基づいて前記無線通信部にビームの方向を補正させる、
ビーム方向補正方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無線通信装置、無線通信システム及びビーム方向補正方法に関する。
【背景技術】
【0002】
近年、高速通信が可能なミリ波無線通信技術が注目されている。ミリ波帯を採用した無線通信システムとして、例えば、無線ＬＡＮ（Local Area Network）におけるＩＥＥＥ８０２．１１ａｄ，８０２．１１ａｙや、無線ＰＡＮ（Personal Area Network）におけるＩＥＥＥ８０２．１５．３ｅといった国際標準規格があり、更に、第五世代の移動体通信システム等においても国際標準規格が制定されている。
【0003】
周波数が６ＧＨｚ以下のマイクロ波帯に比べて、周波数が数十ＧＨｚ以上のミリ波帯では、伝搬減衰が大きいという特徴がある。この伝搬減衰を補償するため、上記の標準化された無線通信システムでは、アレイアンテナを用いて指向性ビームを形成することにより無線通信品質を改善する技術が採用されている。アレイアンテナによって特定の方向にビームを形成することにより、ミリ波帯の無線通信システムを、屋外での高速の無線伝送にも適用することが可能になる。
【0004】
屋外での高速の無線伝送に対して、ミリ波帯の無線通信システムを適用することが可能になったことから、例えば、Macro-Cell（以下「マクロセル」という）と、Pico-Cell（以下「ピコセル」という）とを接続した無線通信システムを提供する技術が提案されている（例えば、非特許文献１参照）。ピコセルは、主に屋外でエンドユーザに近い場所、例えば、電柱や吊り線などに設置されることが一般的である。こうした屋外環境では、風などの外因により、設置された無線送信機において変位が頻繁に発生する。無線送信機において変位が発生すると、送受信で対向させる必要があるアレイアンテナが形成するビームの方向（以下「ビーム方向」ともいう）において不対向が生じる。そのため、伝搬減衰を補償できず、無線通信品質の低下が頻発する。
【0005】
ここで、図２０を参照しつつ、風などの外因によりビーム方向の不対向が発生する一例を説明する。図２０に示す無線通信システム５００において、無線通信装置２００は、道路３００に沿って設定された電柱３０１－１及び電柱３０１－２の間に張り渡されている吊り線３１０上に取り付けられている。これに対して、無線通信装置２００の通信先となる無線通信装置４００は、建物３５０の壁面に固定的に設置されている。無線通信装置２００は、無風状態等の外力が加えられていない状態において、無線通信装置２００が放射する無線電波のビーム２５０の方向が、無線通信装置４００が放射する無線電波のビーム４５０と対向する方向になるように、吊り線３１０上に取り付けられる。
【0006】
しかし、図２０に示すように、例えば、風が吹いたりすると、無線通信装置２００や吊り線３１０に対して風の力による外力がかかり、無線通信装置２００の位置や向きが不規則に変化する。そのため、無線通信装置２００のビーム２５０の方向が、無線通信装置４００のビーム４５０と対向する方向から外れてしまい、ビーム２５０の方向と、ビーム４５０の方向とが不対向の状態になる。このような不対向の状態になると、無線通信装置２００と無線通信装置４００との間の無線通信品質が低下してしまう現象が発生する。
【0007】
通常のミリ波帯の無線通信システムでは、両側の無線通信装置２００，４００においてビーム２５０，４５０の方向を対向させる調整を行うことにより、無線通信品質を改善することが行われる。ビーム２５０，４５０の方向を対向させる調整手法として、例えば、両方の無線通信装置２００，４００の各々が、変更し得るビーム２５０，４５０の方向を全て探索し、最良の無線通信品質が得られるビーム２５０，４５０の方向、例えば受信電力が最大となる方向を選定した上で、その選定した方向を通信先の無線通信装置４００，２００に通知する手法がある。
【0008】
しかし、図２０に示した吊り線３１０に取り付けられている無線通信装置２００の場合、風などの外力が加わると、頻繁に位置や向きが変化する。そのため、無線通信システム５００において無線通信品質を維持するには、双方の無線通信装置２００，４００が最良の無線通信品質が得られるように頻繁にビーム２５０，４５０の方向を探索しなければならなくなる。このようなビーム２５０，４５０の方向の探索が頻繁に行われると、データ伝送において利用可能な無線通信リソース、例えば、時間軸のタイムスロット、または、周波数軸のサブキャリア等が減少してしまうという問題がある。
【0009】
上記の問題を解決する技術が、例えば、非特許文献２において提案されている。非特許文献２に開示される技術では、設置された環境における風などの外因によって無線通信装置の位置や向きが変わった場合、無線通信装置は、自装置が備えるセンサにより自装置が設置されている環境の変動を示すデータとして、位置を示す位置データと、動きを示す速度データとを検出する。無線通信装置は、検出した環境の変動を示すデータを用いて深層強化学習処理を行い、深層強化学習処理によって得られたビーム方向の補正方策に基づいて、次の通信期間におけるビーム方向の補正方向を選択する。非特許文献２に開示されている技術では、このような学習型のビーム方向の制御手法を採用することにより、十分な学習時間を経過した後に、風などにより不規則に位置や向きを変える無線通信装置であっても、ビーム方向の不対向を防止し、無線通信品質の維持を可能としている。
【0010】
ここで、図２１を参照しつつ、非特許文献２に開示されている無線通信装置の概要について説明する。図２１は、非特許文献２に開示されている無線通信装置２００ａの概略構成を示すブロック図である。無線通信装置２００ａは、図２０の無線通信装置２００に替えて用いられる装置である。無線通信装置２００ａは、センシング機能ブロック２１０と、無線通信制御機能ブロック２２０という２つの機能ブロックを備えている。
【0011】
センシング機能ブロック２１０は、環境センサ２１１、及び環境状態データ取得部２１２を備える。環境センサ２１１は、無線通信装置２００ａの運動の状態を示す環境状態データを検出する。ここで、環境状態データとは、例えば、無線通信装置２００ａの位置を示す位置データと、動きを示す速度データとを含むデータである。環境状態データ取得部２１２は環境センサ２１１が検出した環境状態データを取り込み、取り込んだ環境状態データを集約して適切な処理を行い、適切な処理を行った環境状態データを無線通信制御機能ブロック２２０のビーム方向制御部２２４に出力する。
【0012】
無線通信制御機能ブロック２２０は、アレイアンテナ２２１、無線通信部２２２、無線通信品質監視部２２３、及びビーム方向制御部２２４を備える。無線通信部２２２は、高周波回路、信号処理回路などのデバイスを備えており、アレイアンテナ２２１を介して、通信先である無線通信装置４００との間で無線信号の送受信を行う。アレイアンテナ２２１は、無線通信部２２２が出力する無線信号から指向性を有する無線電波のビームを形成して放射する。アレイアンテナ２２１は、無線通信装置４００が指向性を形成して放射する無線電波のビームを受信する。
【0013】
無線通信品質監視部２２３は、無線通信部２２２からアレイアンテナ２２１が形成している指向性ビームの方向を示すビーム方向データを検出する。無線通信品質監視部２２３は、無線通信部２２２が行う無線通信の無線通信品質に関するデータを検出する。ここで、無線通信品質に関するデータとして、非特許文献２では、受信電力のデータである例が示されている。
【0014】
ビーム方向制御部２２４は、環境状態データ取得部２１２が出力する環境状態データと、無線通信品質監視部２２３が検出するビーム方向データ及び無線通信品質に関するデータとに基づいて、様々な環境状態において無線通信品質を維持可能にする最適なビーム方向の補正方策を出力する関数を求める深層強化学習処理を行う。
【0015】
ビーム方向制御部２２４は、深層強化学習処理によって求めた関数と、ある通信期間において無線通信品質監視部２２３が検出するビーム方向データと、当該通信期間において環境状態データ取得部２１２が出力する環境状態データとに基づいて、次の通信期間におけるビーム方向の補正方向を選択する。ビーム方向制御部２２４は、無線通信部２２２に対して、選択した補正方向を含む制御指示信号を出力する。無線通信部２２２は、ビーム方向制御部２２４から制御指示信号を受けると、受けた制御指示信号に含まれる補正方向にしたがってビーム方向を補正し、補正したビーム方向にビームを形成する無線信号をアレイアンテナ２２１に出力し、アレイアンテナ２２１は、当該方向に無線電波のビームを形成して放射する。
【0016】
このように、非特許文献２の無線通信装置２００ａでは、環境状態データと、ビーム方向と、無線通信品質に関するデータとに基づいて深層強化学習処理を行うことにより、風などの外因によって無線通信装置２００ａの位置や動きの速度が変わる環境であっても、適切な方向にビームを放射して無線通信品質を維持することを可能にしている。
【先行技術文献】
【非特許文献】
【0017】
【非特許文献1】S. Hur, T. Kim, D.J. Love, J.V. Krogmeier, T.A. Thomas, and A. Ghosh, “Millimeter Wave Beamforming for Wireless Backhaul and Access in Small Cell Networks,” IEEE Transaction on Communications, Vol.61, No.10, October, 2013
【非特許文献2】M. Shinzaki, Y. Koda, K. Yamamoto, T. Nishio, M. Morikura, C. H. Huang, Y. Shirato, and N. Kita, “Deep Reinforcement Learning-based Beam Tracking from mmWave Antennas installed on Overhead Messenger Wires,” Proc. IEEE VTC2020-fall, Online, November-December, 2020
【発明の概要】
【発明が解決しようとする課題】
【0018】
上記したように、非特許文献２の無線通信装置２００ａは、環境センサ２１１が検出する環境状態データを用いて、様々な環境状態において無線通信品質を維持可能にする最適なビーム方向の補正方策を出力する関数を求める深層強化学習処理を行っている。そのため、例えば、深層強化学習処理を行っている間に、環境センサ２１１が検出する環境状態データにノイズや誤差が重畳したり、環境センサ２１１が故障して正常な環境状態データが取得できなかったりした場合、精度の良い深層強化学習処理を行うことができないという問題がある。
【0019】
深層強化学習処理が完了した後においても、環境センサ２１１が検出する環境状態データにノイズや誤差が重畳したり、環境センサ２１１が故障して正常な環境状態データが取得できなかったりした場合、ビームの方向の補正方向を誤って選択してしまうという問題がある。
【0020】
本発明は、自装置の環境センサが検出する環境状態データが正常でない場合であっても、無線信号のビームの方向を適切な方向に補正することができる技術の提供を目的としている。
【課題を解決するための手段】
【0021】
本発明の一態様は、アレイアンテナと、指向性を有する無線電波のビームを前記アレイアンテナにより形成して無線通信を行う無線通信部と、自装置の状態を示す環境状態データを検出する環境センサと、前記環境センサが検出する前記環境状態データを他の無線通信装置に送信する環境状態データ送信部と、自装置、及び、前記他の無線通信装置の環境状態データを取得する環境状態データ取得部と、前記無線通信部が行う無線通信の前記ビームの方向を示すビーム方向データと、前記無線通信部が行う無線通信の無線通信品質を示す無線通信品質データとを検出する無線通信品質監視部と、前記環境状態データ取得部が取得する前記環境状態データと、前記無線通信品質監視部が検出する前記ビーム方向データ及び前記無線通信品質データとから予め求めるビームの方向の補正方策を出力する関数と、ある通信期間において前記無線通信品質監視部が検出する前記ビーム方向データと、当該通信期間において前記環境状態データ取得部が取得する前記環境状態データとに基づいて、当該通信期間の次の通信期間における前記ビームの方向の補正方策を求め、求めた前記ビームの方向の補正方策の中から最適なビームの方向の補正方向を選択し、選択した補正方向に基づいて前記無線通信部にビームの方向を補正させるビーム方向制御部と、を備える無線通信装置である。
【0022】
本発明の一態様は、複数の無線通信装置と、リモート制御装置とを備える無線通信システムであって、前記無線通信装置の各々は、アレイアンテナと、指向性を有する無線電波のビームを前記アレイアンテナにより形成して無線通信を行う無線通信部と、自装置の状態を示す環境状態データを検出する環境センサと、前記環境センサが検出する前記環境状態データを他の無線通信装置に送信する環境状態データ送信部と、前記無線通信部が行う無線通信の前記ビームの方向を示すビーム方向データと、前記無線通信部が行う無線通信の無線通信品質を示す無線通信品質データとを検出し、検出した前記ビーム方向データと前記無線通信品質データとを前記リモート制御装置に送信する無線通信品質監視部と、を備え、前記リモート制御装置は、複数の前記無線通信装置の各々の前記環境状態データ送信部が送信する前記環境状態データを受信して出力する環境状態データ取得部と、前記環境状態データ取得部が取得する前記環境状態データと、複数の前記無線通信装置の各々の前記無線通信品質監視部から受信する前記無線通信装置ごとの前記ビーム方向データ及び前記無線通信品質データとから前記無線通信装置ごとに予め求めるビームの方向の補正方策を示す関数と、ある通信期間において複数の前記無線通信装置の各々の前記無線通信品質監視部から受信する前記ビーム方向データと、当該通信期間において前記環境状態データ取得部が取得する前記環境状態データとに基づいて、当該通信期間の次の通信期間における前記ビームの方向の補正方策を前記無線通信装置ごとに求め、求めた前記ビームの方向の補正方策の中から最適なビームの方向の補正方向を前記無線通信装置ごとに選択し、選択した補正方向に基づいて前記無線通信装置の各々の前記無線通信部にビームの方向を補正させるビーム方向制御部と、を備える無線通信システムである。
【0023】
本発明の一態様は、アレイアンテナと、指向性を有する無線電波のビームを前記アレイアンテナにより形成して無線通信を行う無線通信部と、自装置の状態を示す環境状態データを検出する環境センサとを備える複数の無線通信装置の前記ビームの方向を補正するビーム方向補正方法であって、前記複数の無線通信装置の各々の前記環境センサが検出する前記環境状態データを取得し、前記無線通信部が行う無線通信の前記ビームの方向を示すビーム方向データを検出し、前記無線通信部が行う無線通信の無線通信品質を示す無線通信品質データを検出し、取得した前記環境状態データと、検出した前記ビーム方向データ及び前記無線通信品質データとから予め求めるビームの方向の補正方策を出力する関数と、ある通信期間において検出した前記ビーム方向データと、当該通信期間において取得した前記環境状態データとに基づいて、当該通信期間の次の通信期間における前記ビームの方向の補正方策を求め、求めた前記ビームの方向の補正方策の中から最適なビームの方向の補正方向を選択し、選択した補正方向に基づいて前記無線通信部にビームの方向を補正させる、ビーム方向補正方法である。
【発明の効果】
【0024】
本発明により、自装置の環境センサが検出する環境状態データが正常でない場合であっても、無線信号のビームの方向を適切な方向に補正することが可能になる。
【図面の簡単な説明】
【0025】
【図1】第１の実施形態の無線通信システムの構成を示すブロック図である。
【図2】第１の実施形態の無線通信装置の内部構成を示すブロック図である。
【図3】第１の実施形態の環境状態データ取得部の内部構成、及び他の機能部との接続関係を示すブロック図である。
【図4】第１の実施形態におけるビーム方向を説明するための図である。
【図5】第１の実施形態のビーム方向制御部の内部構成、及びビーム方向制御部と他の機能部との接続関係を示すブロック図である。
【図6】第１の実施形態の学習モデル部の内部構成、及び学習モデル部と他の機能部との接続関係を示すブロック図である。
【図7】第１の実施形態の補正方策学習部の入出力情報、及び補正方策学習部と他の機能部との接続関係を示すブロック図である。
【図8】第１の実施形態の環境センサ、センサ故障検出部、及び環境状態データ送信部による処理の流れを示すフローチャートである。
【図9】第１の実施形態の環境状態データ取得部による処理の流れを示すフローチャートである。
【図10】第１の実施形態の無線通信部、無線通信品質監視部、及びビーム方向制御部による処理の流れを示すフローチャートである。
【図11】第２の実施形態の無線通信システムの構成を示すブロック図である。
【図12】第２の実施形態の無線通信装置の内部構成を示すブロック図である。
【図13】第２の実施形態のリモート制御装置の内部構成を示すブロック図である。
【図14】第２の実施形態の環境状態データ取得部の内部構成、及び環境状態データ取得部と他の機能部との接続関係を示すブロック図である。
【図15】第２の実施形態のビーム方向制御部の内部構成、及びビーム方向制御部と他の機能部との接続関係を示すブロック図である。
【図16】第３の実施形態の無線通信システムの構成を示すブロック図である。
【図17】第３の実施形態の無線通信装置の内部構成を示すブロック図である。
【図18】第３の実施形態のビーム方向制御部の内部構成、及びビーム方向制御部と他の機能部との接続関係を示すブロック図である。
【図19】第３の実施形態の無線通信部、無線通信品質監視部、及びビーム方向制御部による処理の流れを示すフローチャートである。
【図20】従来の無線通信システムの構成を示すブロック図である。
【図21】非特許文献２の無線通信装置の概要を示すブロック図である。
【発明を実施するための形態】
【0026】
（第１の実施形態）
以下、本発明の実施形態について図面を参照して説明する。図１は、第１の実施形態による無線通信システム１の構成を示すブロック図である。無線通信システム１は、例えば、ミリ波帯の無線通信システムであり、無線通信装置１０Ａ，１０Ｂ，１０Ｃと、固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとを備える。無線通信装置１０Ａ，１０Ｂ，１０Ｃは、道路５に沿って設定された電柱３－１及び電柱３－２の間に張り渡されている吊り線４上に取り付けられる。固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃは、建物２の壁面に固定的に設置されている。無線通信装置１０Ａ，１０Ｂ，１０Ｃと、固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとは、ミリ波帯の無線信号を送受信する装置であり、指向性のある無線電波のビームを形成して放射する。
以下、本発明の実施形態について図面を参照して説明する。図１は、第１の実施形態による無線通信システム１の構成を示すブロック図である。無線通信システム１は、例えば、ミリ波帯の無線通信システムであり、無線通信装置１０Ａ，１０Ｂ，１０Ｃと、固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとを備える。無線通信装置１０Ａ，１０Ｂ，１０Ｃは、道路５に沿って設定された電柱３－１及び電柱３－２の間に張り渡されている吊り線４上に取り付けられる。固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃは、建物２の壁面に固定的に設置されている。無線通信装置１０Ａ，１０Ｂ，１０Ｃと、固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとは、ミリ波帯の無線信号を送受信する装置であり、指向性のある無線電波のビームを形成して放射する。
【0027】
無風状態等の外力が加えられていない状態において、無線通信装置１０Ａが形成して放射する無線電波のビーム６０Ａと、固定設置型無線通信装置７０Ａが形成して放射する無線電波のビーム８０Ａとが対向するように、無線通信装置１０Ａが吊り線４上に取り付けられる。同様に、無風状態等の外力が加えられていない状態において、無線通信装置１０Ｂが形成して放射する無線電波のビーム６０Ｂと、固定設置型無線通信装置７０Ｂが形成して放射する無線電波のビーム８０Ｂとが対向するように、無線通信装置１０Ｂが吊り線４上に取り付けられる。同様に、無風状態等の外力が加えられていない状態において、無線通信装置１０Ｃが形成して放射する無線電波のビーム６０Ｃと、固定設置型無線通信装置７０Ｃが形成して放射する無線電波のビーム８０Ｃとが対向するように、無線通信装置１０Ｃが吊り線４上に取り付けられる。
【0028】
これにより、例えば、吊り線４に併設された電線や光ファイバを通じて、無線通信装置１０Ａ，１０Ｂ，１０Ｃがインターネット等の通信サービスに接続している場合、無線通信装置１０Ａ，１０Ｂ，１０Ｃの各々は、各々に対向する固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃに対して、当該通信サービスを提供できることになる。
【0029】
無線通信装置１０Ａ，１０Ｂ，１０Ｃは、同一の内部構成を備える装置であり、以下、無線通信装置１０Ａ，１０Ｂ，１０Ｃの各々を、個別に特定せずに示す場合、「無線通信装置１０」として示すものとする。なお、図１では、一例として、３台の無線通信装置１０Ａ，１０Ｂ，１０Ｃと、３台の固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとを示しているが、無線通信システム１は、３台を超える同一構成の無線通信装置１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ，…と、無線通信装置１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ，…の台数に一致し、各々が同一構成である固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃ，…とを備えていてもよい。以下の説明において、無線通信装置１０が内部に備える機能部に対応する無線通信装置１０Ａ，１０Ｂ，１０Ｃの機能部を個別に示す必要がある場合、無線通信装置１０Ａ，１０Ｂ，１０Ｃの各々に付されている英字の符号である「Ａ」、「Ｂ」、「Ｃ」を付して示すものとする。例えば、図２に示す無線通信装置１０の無線通信部１６に対応する無線通信装置１０Ａの機能部を示す場合、「無線通信部１６Ａ」として示すものとする。
【0030】
図２は、無線通信装置１０の内部構成を示すブロック図である。無線通信装置１０の各々には、無線通信装置１０の各々を識別可能な無線通信装置識別情報が予め付与されている。無線通信装置１０は、環境センサ１１、センサ故障検出部１２、環境状態データ送信部１３、環境状態データ取得部１４、アレイアンテナ１５、無線通信部１６、無線通信品質監視部１７、及びビーム方向制御部１８を備える。環境センサ１１は、測定間隔τ（秒）ごとに無線通信装置１０に関わる環境状態データを検出する。ここで、無線通信装置１０に関わる環境状態データとは、例えば、無線通信装置１０の３次元空間における位置を示す位置データと、無線通信装置１０の動きを表す速度を示す速度データである。なお、速度データは、環境センサ１１が、例えば、圧電素子などを備えており、当該圧電素子から得られる加速度から求められる。
【0031】
センサ故障検出部１２は、無線通信装置１０の起動時、または、運用中に定期的に環境センサ１１を試験して動作状態を検出し、検出した動作状態に基づいて、環境センサ１１が故障しているか否かを判定する。試験の手法は、環境センサ１１の種類に応じて予め定められており、例えば、環境センサ１１が、電気エネルギーと機械エネルギーの変換で加速度を検出する圧電素子である場合、センサ故障検出部１２は、環境センサ１１に対して適切な範囲で外部電圧を印加し、外部電圧の印加した後の環境センサ１１の機械的な動作が予め定められる範囲内に留まっているか否かを判定することにより、環境センサ１１が故障しているか否かを判定する。
【0032】
センサ故障検出部１２は、内部の記憶領域に自装置に付与されている無線通信装置識別情報を予め記憶する。センサ故障検出部１２は、環境センサ１１が出力する環境状態データを取り込み、取り込んだ環境状態データに内部の記憶領域が記憶する自装置の無線通信装置識別情報を付与する。
【0033】
センサ故障検出部１２は、環境センサ１１が故障していないと判定した場合、自装置の無線通信装置識別情報を付与した環境状態データを環境状態データ送信部１３と、環境状態データ取得部１４とに出力する。センサ故障検出部１２は、環境センサ１１が故障していると判定した場合、自装置の無線通信装置識別情報を付与した環境状態データに対して、更に、故障していることを示す故障情報を付与し、自装置の無線通信装置識別情報と、故障情報とを付与した環境状態データを環境状態データ送信部１３と、環境状態データ取得部１４とに出力する。
【0034】
環境状態データ送信部１３は、センサ故障検出部１２が出力する環境状態データを取り込み、取り込んだ環境状態データを他の無線通信装置１０に送信する。
【0035】
環境状態データ取得部１４は、図３に示すように、自装置環境状態データ取得部２１、他装置環境状態データ受信部２２、及び環境状態データ選択部２３を備える。自装置環境状態データ取得部２１は、センサ故障検出部１２が出力する無線通信装置１０の環境状態データを取得し、取得した環境状態データを環境状態データ選択部２３に出力する。
【0036】
他装置環境状態データ受信部２２は、他の無線通信装置１０の環境状態データ送信部１３が送信する環境状態データを受信し、受信した環境状態データを環境状態データ選択部２３に出力する。他装置環境状態データ受信部２２において、環境状態データ選択部２３に出力する環境状態データの上限値が定められており、例えば、上限値がＮ－１（ここで、Ｎは、１以上の整数である）であるとする。この場合に、他の無線通信装置１０の台数が、Ｎ－１を超える数である場合、他装置環境状態データ受信部２２は、複数の他の無線通信装置１０から受信した複数の環境状態データの中から、任意に定める条件により、付与されている無線通信装置識別情報が異なるＮ－１個の環境状態データを選択し、選択したＮ－１個の環境状態データを環境状態データ選択部２３に出力する。
【0037】
ここで、上限値Ｎ－１は、予め定められる固定値である。他装置環境状態データ受信部２２は、複数の他の無線通信装置１０から環境状態データを受信するごとに、受信した環境状態データの中から環境状態データ選択部２３に出力する環境状態データを選択する処理を行う。当該処理を行う際、他装置環境状態データ受信部２２は、最初に選択した環境状態データに付与されている無線通信装置識別情報が組み合わせと、２回目以降に選択する環境状態データに付与されている無線通信装置識別情報が組み合わせとが同一になるようにＮ－１個の環境状態データを選択するものとする。
【0038】
環境状態データ選択部２３は、自装置環境状態データ取得部２１が出力する無線通信装置１０の環境状態データと、他装置環境状態データ受信部２２が出力する他の無線通信装置１０の環境状態データとを取り込む。上記したように、他装置環境状態データ受信部２２が出力する環境状態データは、付与されている無線通信装置識別情報が異なるＮ－１個の環境状態データである。そのため、環境状態データ選択部２３は、自装置環境状態データ取得部２１が出力する環境状態データを含めて、付与されている無線通信装置識別情報が異なるＮ個の環境状態データを取り込むことになる。
【0039】
環境状態データ選択部２３は、取り込んだ環境状態データに故障情報が付与されている環境状態データが含まれているか否かを判定する。環境状態データ選択部２３は、取り込んだ環境状態データに故障情報が付与されている環境状態データが含まれている場合、故障情報が付与されていな環境状態データを選択し、選択した環境状態データをビーム方向制御部１８に出力する。環境状態データ選択部２３は、取り込んだ環境状態データに故障情報が付与されている環境状態データが含まれていない場合、取り込んだ全ての環境状態データをビーム方向制御部１８に出力する。したがって、ビーム方向制御部１８が取り込む環境状態データの数をＭとすると、ＭとＮとは、Ｍ≦Ｎという関係になる。
【0040】
なお、環境状態データ送信部１３、及び他装置環境状態データ受信部２２に適用される通信手段は、任意の通信方式による通信手段でよく、例えば、小電力近距離の無線通信方式、または、モバイルネットワークの無線通信方式であってもよい。例えば、吊り線４に電線や光ファイバが併設されており、これらの電線や光ファイバを利用した有線通信方式の通信手段であってもよい。
【0041】
図２に戻り、アレイアンテナ１５は、自装置に対向するいずれか１つの固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃが指向性を形成して送信する無線電波を受信し、受信した無線電波から得られる無線信号を無線通信部１６に出力する。アレイアンテナ１５は、無線通信部１６が、アレイアンテナ１５を構成する複数のアンテナの各々に出力する無線信号から指向性を有する無線電波のビームを形成して放射する。
【0042】
無線通信部１６は、予め定められる無線周波数によって無線信号を送受信するための高周波回路、信号処理回路などのデバイスを備えており、自装置に対向するいずれか１つの固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとの間でアレイアンテナ１５を介して無線信号を送受信する。無線通信部１６は、ビーム方向制御部１８が出力する制御指示信号に含まれる補正方向にしたがってビーム方向を補正し、補正したビーム方向に無線電波の指向性が形成されるように、アレイアンテナ１５を構成する複数のアンテナの各々に対するウエイトを調整する。
【0043】
無線通信部１６によるウエイトの調整は、例えば、アナログ方式によってアレイアンテナ１５を構成する複数のアンテナに対して無線通信部１６が出力する無線信号、及び複数のアンテナが無線通信部１６に出力する無線信号の位相を調整することにより行ってもよい。デジタル方式によってアレイアンテナ１５を構成する複数のアンテナに対して無線通信部１６が出力する無線信号、及び複数のアンテナが無線通信部１６に出力する無線信号の振幅と位相を調整することにより行ってもよい。アナログ方式とデジタル方式を組み合わせて、多段でアレイアンテナ１５を構成する複数のアンテナに対して無線通信部１６が出力する無線信号、及び複数のアンテナが無線通信部１６に出力する無線信号の振幅と位相を調整することにより行ってもよい。
【0044】
無線通信品質監視部１７は、無線通信部１６からアレイアンテナ１５が形成している指向性ビームの方向を示すビーム方向データを測定間隔τ（秒）ごとに検出する。図４に示すように、無線通信装置１０の３次元空間における位置を原点としたＸＹＺ座標系を想定する。この場合、無線通信装置１０のアレイアンテナ１５が放射するビーム６０のビーム方向６１は、Ｚ軸とビーム方向６１とが成す角度である仰角θと、ビーム方向６１をＸＹ平面に射影した線６２と、Ｘ軸とが成す角度である方位角φとによって特定される。ビーム方向６１をベクトルで示すと、ビーム方向６１のベクトルｂは、次式（１）に示すようにＸ軸とＹ軸とＺ軸の３つの成分で表される。
【0045】
【数1】
【0046】
無線通信品質監視部１７は、無線通信部１６が無線信号を受信している際に得られる無線通信品質に関するデータ（以下「無線通信品質データ」という）を検出する。ここで、無線通信品質データとは、例えば、受信電力や受信電力対雑音比やビット誤り率などのデータである。無線通信品質監視部１７は、検出したビーム方向データ、及び無線通信品質データをビーム方向制御部１８に出力する。
【0047】
ビーム方向制御部１８は、無線通信品質監視部１７がτ（秒）ごとに検出するビーム方向データと、環境状態データ取得部１４がτ（秒）ごとに出力する環境状態データとを取り込む。ビーム方向制御部１８は、取り込んだビーム方向データと、環境状態データとに基づいて、無線通信品質監視部１７が検出する無線通信品質を最適にするという条件下で、ビーム方向の補正方策を出力する関数を強化学習処理によって求める。ここで、無線通信品質を最適にするとは、例えば、対象としている無線通信品質が受信電力である場合、受信電力を最大値にすることである。
【0048】
ビーム方向制御部１８は、十分な学習時間を経て強化学習処理により関数を求めると、求めた関数と、ある通信期間において取り込んだ環境状態データとビーム方向データとに基づいて、当該ある通信期間の次の通信期間におけるビーム方向の補正方策を求め、求めたビームの補正方策の中から最適なビーム方向の補正方向を選択する。ビーム方向制御部１８は、選択した補正方向を含む制御指示信号を無線通信部１６に出力する。
【0049】
ビーム方向制御部１８は、図５に示すように、学習モデル切替部３１と、学習部３２とを備える。学習部３２は、複数の学習モデル部３３－１，３３－２，…，３３－ｐ，…，３３－Ｖを備える。ここで、ｐは、１からＶの範囲の任意の整数であり、学習モデル部３３－ｐは、学習モデル部３３－１～３３－Ｖの中の任意の１つを示す。学習モデル部３３－１～３３－Ｖの個数Ｖは、次式（２）によって求められる。なお、環境状態データ取得部１４の環境状態データ選択部２３がビーム方向制御部１８に出力する環境状態データの数の最大値であるＮは、固定値であるため、学習モデル部３３－１～３３－Ｖの個数のＶも固定値になる。
【0050】
【数2】
【0051】
例えば、無線通信システム１が、３台の無線通信装置１０Ａ，１０Ｂ，１０Ｃを備えている場合、学習モデル部３３－１～３３－Ｖの各々に与えられる環境状態データの組み合わせは、無線通信装置１０Ａのみ、無線通信装置１０Ｂのみ、無線通信装置１０Ｃのみ、無線通信装置１０Ａ，１０Ｂ、無線通信装置１０Ａ，１０Ｃ、無線通信装置１０Ｂ，１０Ｃ、または、無線通信装置１０Ａ，１０Ｂ，１０Ｃの７通りとなる。この場合、Ｖ＝７となり、７個の学習モデル部３３－１～３３－７は、上記の組み合わせのいずれか１つに予め対応付けられる。
【0052】
学習モデル切替部３１は、内部の記憶領域に学習部３２において強化学習処理が行われているか否かを示す処理種別フラグを備えている。学習モデル切替部３１は、環境状態データ取得部１４が出力する環境状態データを取り込み、取り込んだ環境状態データの各々に付与されている無線通信装置識別情報を検出する。学習モデル切替部３１は、処理種別フラグが強化学習処理中であることを示している場合、検出した無線通信装置識別情報に基づいて、学習モデル部３３－１～３３－Ｖの各々に対して、各々に対応する環境状態データの組み合わせを出力する。
【0053】
例えば、無線通信システム１が、３台の無線通信装置１０Ａ，１０Ｂ，１０Ｃを備えており、学習モデル部３３Ａ－１～３３Ａ－７が、それぞれ、無線通信装置１０Ａのみ、無線通信装置１０Ｂのみ、無線通信装置１０Ｃのみ、無線通信装置１０Ａ，１０Ｂ、無線通信装置１０Ａ，１０Ｃ、無線通信装置１０Ｂ，１０Ｃ、無線通信装置１０Ａ，１０Ｂ，１０Ｃの組み合わせに対応付けられているとする。この場合、学習モデル切替部３１は、学習モデル部３１－１には、無線通信装置１０Ａの無線通信装置識別情報が付与された環境状態データを出力する。同様に、学習モデル切替部３１は、学習モデル部３１－２には、無線通信装置１０Ｂの無線通信装置識別情報が付与された環境状態データを出力し、学習モデル部３１－３には、無線通信装置１０Ｃの無線通信装置識別情報が付与された環境状態データを出力する。
【0054】
学習モデル切替部３１は、学習モデル部３１－４には、無線通信装置１０Ａの無線通信装置識別情報が付与された環境状態データと、無線通信装置１０Ｂの無線通信装置識別情報が付与された環境状態データとを出力する。同様に、学習モデル切替部３１は、学習モデル部３１－５には、無線通信装置１０Ａの無線通信装置識別情報が付与された環境状態データと、無線通信装置１０Ｃの無線通信装置識別情報が付与された環境状態データとを出力し、学習モデル部３１－６には、無線通信装置１０Ｂの無線通信装置識別情報が付与された環境状態データと、無線通信装置１０Ｃの無線通信装置識別情報が付与された環境状態データとを出力する。学習モデル切替部３１は、学習モデル部３１－７には、無線通信装置１０Ａの無線通信装置識別情報が付与された環境状態データと、無線通信装置１０Ｂの無線通信装置識別情報が付与された環境状態データと、無線通信装置１０Ｃの無線通信装置識別情報が付与された環境状態データとを出力する。
【0055】
これに対して、学習モデル切替部３１は、処理種別フラグが強化学習処理中でないことを示している場合、検出した無線通信装置識別情報の組み合わせに対応するいずれか１つの学習モデル部３３－１～３３－Ｖに対して、取り込んだ環境状態データを出力する。
【0056】
以下、学習モデル部３３－１～３３－Ｖの中の一例である学習モデル部３３－ｐの詳細な内部構成を、図６を参照しつつ説明する。なお、図６に示す機能部の中で、符号に「ｐ」の枝番号が付されている機能部の「ｐ」の値を、１からＶの値の各々に置き換えることにより、学習モデル部３３－１～３３－Ｖの各々が備える内部構成を示すことになる。
【0057】
学習モデル部３３－ｐは、補正方策学習部４１－ｐ、係数記憶部４２－ｐ、係数更新部４３－ｐ、及び補正方向選択部４４－ｐを備える。補正方策学習部４１－ｐは、学習モデル切替部３１が出力する時刻ｔの環境状態データの組み合わせを取り込むと、無線通信品質監視部１７が時刻ｔに検出して出力するビーム方向データを取り込む。ここで、時刻ｔは、ｔ＝１，２，…，Ｔ／τである。τ（秒）は、上記したように環境センサ１１と、無線通信品質監視部１７の測定間隔であり、補正方策学習部４１－ｐによる強化学習処理の処理ステップの間隔でもある。なお、Ｔは、任意に定められる学習時間である。
【0058】
補正方策学習部４１－ｐは、内部に関数近似器を備えており、当該関数近似器に係数記憶部４２－ｐが記憶する係数を適用する。補正方策学習部４１－ｐは、学習モデル切替部３１が出力する環境状態データ及びビーム方向データを、係数を適用した関数近似器に与えてビーム方向の補正方向の方策、すなわち補正方向ごとの価値を算出する。なお、強化学習処理が完了することにより、価値の大きい補正方向ほど、正しい補正方向であることを表すことになり、このことから関数近似器は、時刻ｔの環境状態データ及びビーム方向データから時刻ｔ＋１における補正方向を予測していることになる。
【0059】
補正方策学習部４１－ｐは、内部の記憶領域に強化学習処理を行っているか否かを示す処理種別フラグを備えている。補正方策学習部４１－ｐは、処理種別フラグが、強化学習処理中であることを示している場合、関数近似器によって予測する最大の価値の補正方向にビーム方向を補正することにより無線通信品質監視部１７が検出する無線通信品質データから算出する報酬が増加していくように強化学習処理を行い、最終的に、様々な環境状態において無線通信品質を最適にするビーム方向の補正方策を出力する関数を関数近似器において近似する。なお、補正方策学習部４１－ｐが備える関数近似器が、深層ニューラルネットワークである場合、補正方策学習部４１－ｐは、深層強化学習処理を行うことになり、この場合、係数とは、深層ニューラルネットワークの重みやバイアスになる。
【0060】
係数更新部４３－ｐは、補正方策学習部４１－ｐが強化学習処理を行っている場合に動作する機能部であり、強化学習処理後には動作しない機能部であることから点線で示している。係数更新部４３－ｐは、補正方策学習部４１－ｐの関数近似器が算出する補正方向ごとの価値が正しくなるように関数近似器の係数を更新し、更新した係数を係数記憶部４２－ｐに書き込んで記憶させる。係数記憶部４２－ｐは、初期状態では、係数の初期値を記憶しており、強化学習処理の間は、係数更新部４３－ｐによって書き込まれる係数を記憶し、強化学習処理が完了した際には、学習済みの係数を記憶することになる。
【0061】
補正方向選択部４４－ｐは、補正方策学習部４１－ｐが出力するビーム方向の補正方策の中から価値が最大の補正方向をビーム方向の補正方向として選択する。補正方向選択部４４－ｐは、選択した補正方向を含む制御指示信号を無線通信部１６に出力する。
【0062】
（強化学習処理について）
ここで、更に、図７を参照しつつ、無線通信装置１０が行う強化学習処理の具体例について説明する。無線通信装置１０が行う強化学習処理は、非特許文献２に示される深層Ｑネットワークを複数の無線通信装置１０が存在する場合に拡張した強化学習処理であり、以下、非特許文献２に示されているいくつかの式を引用しつつ説明する。
ここで、更に、図７を参照しつつ、無線通信装置１０が行う強化学習処理の具体例について説明する。無線通信装置１０が行う強化学習処理は、非特許文献２に示される深層Ｑネットワークを複数の無線通信装置１０が存在する場合に拡張した強化学習処理であり、以下、非特許文献２に示されているいくつかの式を引用しつつ説明する。
【0063】
以下では、無線通信品質データが示す無線通信品質とは、受信電力であるとする。以下では、図１に示した無線通信システム１、すなわち３台の無線通信システム１０Ａ，１０Ｂ，１０Ｃが備えられており、その中の無線通信装置１０Ａにおいて行われる強化学習処理を一例として説明する。無線通信装置１０Ａが備える学習モデル部３３Ａ－１～３３Ａ－７には、それぞれ、無線通信装置１０Ａの環境状態データ、無線通信装置１０Ｂの環境状態データ、無線通信装置１０Ｃの環境状態データ、無線通信装置１０Ａ，１０Ｂの環境状態データ、無線通信装置１０Ａ，１０Ｃの環境状態データ、無線通信装置１０Ｂ，１０Ｃの環境状態データ、無線通信装置１０Ａ，１０Ｂ，１０Ｃの環境状態データが与えられるものとし、以下では、一例として、無線通信装置１０Ａ，１０Ｂ，１０Ｃの環境状態データが与えられる学習モデル部３３Ａ－７について説明する。
【0064】
補正方策学習部４１Ａ－７は、時刻ｔにおいて、時刻ｔにおける無線通信装置１０Ａ，１０Ｂ，１０Ｃの環境状態データ、すなわち無線通信装置１０Ａ，１０Ｂ，１０Ｃの位置データ及び速度データを入力情報として取り込む。補正方策学習部４１Ａ－７は、自装置の無線通信品質監視部１７Ａが無線通信部１６から検出して出力する時刻ｔのビーム方向データを入力情報として取り込む。
【0065】
補正方策学習部４１Ａ－７が行う強化学習処理とは、次式（３）で示される割引累積報酬Ｒｔを最大化することである。
【0066】
【数3】
【0067】
式（３）において、τ（秒）は、上記したように強化学習処理の処理ステップの間隔であり、γは、予め定められる割引率である。ｒは、瞬時報酬であり、次式（４）により、補正方策学習部４１Ａ－７が、無線通信品質監視部１７Ａが無線通信部１６から検出する受信電力Ｐに基づいて算出する値である。
【0068】
【数4】
【0069】
式（４）において、ｂｃ及びｄｃは、予め定められる定数であって強化学習の報酬を適切に与えるための定数である。ここで、ｂｃは、バイアスであり、ｄｃは、式（４）に示される－１≦（Ｐ－ｂｃ）／ｄｃ≦１を満たすようにするためのスケールファクタである。強化学習処理をＱ学習によって行う場合、割引累積報酬Ｒｔの期待値は、次式（５）に示す行動価値関数Ｑπ（ｓ，ａ）によって表すことができる。ここで、Ｑ学習とは、各時刻ｔの入力情報、すなわち無線通信装置１０Ａ，１０Ｂ，１０Ｃの位置データ及び速度データと、ビーム方向データとによって示される各時刻ｔの状態(state)において、価値(value)が最大になるような行動(action)、すなわち補正方向を選択していく学習手法である。
【0070】
【数5】
【0071】
式（５）においてｓｔは、補正方策学習部４１Ａ－７に与えられる時刻ｔの入力情報、すなわち時刻ｔにおける状態であり、時刻ｔの環境状態データ、すなわち無線通信装置１０Ａ，１０Ｂ，１０Ｃの各々の時刻ｔの位置データ及び速度データと、時刻ｔの無線通信装置１０Ａのビーム方向データである。
【0072】
式（５）においてａｔは、時刻ｔにおいて補正方向選択部４４Ａ－７が選択する行動、すなわちビーム方向の補正方向である。ビーム方向の補正方向は、次式（６）において示されるように「維持(stay)」、「仰角アップ(up)」,「仰角ダウン(down)」、「方位角左(left)」、「方位角右(right)」の５パターンのいずれか１つであり、１回の学習ステップにおける補正量βは、予め定められる固定量である。
【0073】
【数6】
【0074】
式（５）において、πは、状態(state)を入力として与えた場合に行動(action)を出力する方策関数である。式（５）で表される行動価値関数Ｑπ（ｓ，ａ）は、補正方策学習部４１Ａ－７が内部に備える関数近似器によって近似される関数であり、関数近似器がニューラルネットワークである場合、行動価値関数Ｑπ（ｓ，ａ）は、Ｑネットワークを呼ばれ、更に、ニューラルネットワークが深層ニューラルネットワークである場合、深層Ｑネットワーク（以下「ＤＱＮ」(Deep Q-Network)ともいう）と呼ばれる。なお、深層ニューラルネットワークに適用される係数δで示した場合、ＤＱＮは、Ｑ（ｓ，ａ；δ）として表すことができる。
【0075】
係数更新部４３Ａ－７による補正方策学習部４１Ａ－７の関数近似器に適用される係数の更新処理は、次式（７）によって求められる誤差ｅを減少させるように行われる。
【0076】
【数7】
【0077】
ＤＱＮ、すなわちＱ（ｓ，ａ；δ）の出力は、図７に示すように補正方向として「維持」、「仰角アップ」,「仰角ダウン」、「方位角左」、「方位角右」の各々を選択した場合の価値である。補正方策学習部４１Ａ－７は、時刻ｔにおいて、係数記憶部４２Ａ－７が記憶する係数δが適用されたＤＱＮに、入力情報ｓｔである無線通信装置１０Ａ，１０Ｂ，１０Ｃの各々の時刻ｔの位置データ及び速度データと、時刻ｔの無線通信装置１０Ａのビーム方向データとを与えて補正方向ごとの価値を算出する。
【0078】
補正方向選択部４４Ａ－７は、補正方策学習部４１Ａ－７が算出した価値が最大になる補正方向を選択する。ただし、時刻ｔ＝１では、補正方向選択部４４Ａ－７は、ランダムに補正方向を選択する。ここで、補正方向選択部４４Ａ－７が時刻ｔにおいて選択した補正方向ａｔに対する価値、すなわちＤＱＮの補正方向ａｔに対する出力値が式（７）の第３項になる。補正方向選択部４４Ａ－７は、選択した補正方向ａｔと、補正方向ａｔに対する価値の値とを補正方策学習部４１Ａ－７に出力する。補正方策学習部４１Ａ－７は、補正方向選択部４４Ａ－７から受けた補正方向ａｔに対する価値の値を係数更新部４３Ａ－７に出力する。
【0079】
補正方向選択部４４Ａ－７は、選択した補正方向ａｔを含む制御指示信号を無線通信部１６Ａに出力する。無線通信部１６Ａは、補正方向選択部４４Ａ－７が出力する制御指示信号に含まれる補正方向ａｔにしたがってビーム方向を補正し、補正したビーム方向に無線電波の指向性が形成されるように、アレイアンテナ１５Ａを構成する複数のアンテナの各々に対するウエイトを調整する。
【0080】
無線通信品質監視部１７Ａは、ビーム方向の補正後に無線通信部１６Ａが受信する無線信号の受信電力Ｐｔを検出し、検出した受信電力Ｐｔを補正方策学習部４１Ａ－７に出力する。なお、無線通信品質監視部１７Ａが繰り返し検出する受信電力Ｐｔの中から補正方策学習部４１Ａ－７が、補正後のタイミングに対応する受信電力Ｐｔを選択してもよいし、補正方策学習部４１Ａ－７が関数近似器を用いて補正方向ごとの価値を算出した後、ビーム方向の補正が完了する所定の時間後に、測定指示信号を無線通信品質監視部１７Ａに出力し、無線通信品質監視部１７Ａが当該測定指示信号を受けて受信電力Ｐｔを検出するようにしてもよい。
【0081】
補正方策学習部４１Ａ－７は、無線通信品質監視部１７Ａが出力する受信電力Ｐｔを取り込み、取り込んだ受信電力Ｐｔから式（４）により瞬時報酬ｒを算出し、算出した瞬時報酬ｒの値を係数更新部４３Ａ－７に出力する。この瞬時報酬ｒが、次式（７）の右辺の第１項に相当する。
【0082】
補正方策学習部４１Ａ－７は、時刻ｔ＋１において、ＤＱＮを用いて補正方向ごとの価値を算出し、算出した価値の中の最大値に割引率γを乗算して、式（７）の右辺の第２項に対応する値を算出し、算出した値を係数更新部４３Ａ－７に出力する。なお、式（７）において右辺第３項の係数δと、右辺第２項の係数δ－との関係は、例えば、ある時刻ｔにおいて係数δ＝係数δ－とし、その後、係数δが新たな係数δに更新されたとしても、係数δ－については、時刻ｔの係数δを維持するという関係がある。すなわち、第２式については、しばらくの間、継続して時刻ｔの係数δを引数として演算し続けることになる。その後、係数δが予め定められる所定回数更新され、その時刻をｔ＋ｋとすると、時刻ｔ＋ｋの時点での係数δを、新たな係数δ－に置き換える。
【0083】
係数更新部４３Ａ－７は、補正方向選択部４４Ａ－７及び補正方策学習部４１Ａ－７から受けた値に基づいて、式（７）に基づいて誤差ｅを算出し、算出した誤差ｅを減少させるように、例えば、確率的勾配法などによって新たな係数δを算出し、算出した係数δを係数記憶部４２Ａ－７に書き込んで記憶させる。
【0084】
補正方策学習部４１Ａ－７が、係数記憶部４２Ａ－７が記憶する新たな係数δをＤＱＮに適用して、上記の処理を行うことを繰り返すことにより、誤差ｅが小さくなるようにＤＱＮが収束する。ＤＱＮが収束することにより、関数近似器は、いずれの状態ｓｔにおいても行動価値関数Ｑπ（ｓ，ａ）が出力する価値を最適にする方策πを示す次式（８）で表される最適行動価値関数Ｑ＊（ｓ，ａ）を近似することになる。
【0085】
【数8】
【0086】
なお、強化学習処理が適切に進むように、ε貪欲法を適用し、補正方策学習部４１Ａ－７は、確率εに対応する時刻ｔにおいて、「維持」、「仰角アップ」,「仰角ダウン」、「方位角左」、「方位角右」のいずれか１つをランダムに選択するようにしてもよい。上記のように、処理ステップごとに係数δを更新するのではなく、補正方策学習部４１Ａ－７が、行動履歴、すなわち、状態、行動（選択した補正方向）、瞬時報酬、遷移先の状態の履歴を記憶させておき、記憶した行動履歴の中から強化学習処理に用いるものをランダムに選択してミニバッチを生成するＥｘｐｅｒｉｅｎｃｅＲｅｐｌａｙという手法を適用するようにしてもよい。なお、ミニバッチを用いる場合には、上記のように処理ステップごとに誤差ｅに基づいて係数δを更新するのではなく、ミニバッチの間に算出する複数の誤差ｅに、例えば、Ｈｕｂｅｒ損失などの損失関数を適用して、損失関数から得られる損失を減少させるように係数δを更新することになる。ＤＱＮではなく、非特許文献２に示されるＤＤＱＮ(Double Deep Q-Network)や、Dueling深層Ｑネットワーク(Dueling Deep Q-Network)を適用するようにしてもよい。
【0087】
これにより、係数記憶部４２Ａ－７が記憶する学習済みの係数が適用された補正方策学習部４１Ａ－７に対して、ある通信期間において学習モデル切替部３１Ａが出力する無線通信装置１０Ａ，１０Ｂ，１０Ｃの位置データと速度データと、無線通信品質監視部１７Ａが出力する無線通信装置１０Ａのビーム方向データとが与えられると、補正方策学習部４１Ａ－７は、「維持」、「仰角アップ」、「仰角ダウン」、「方位角左」、「方位角右」の各々の補正方向における価値を出力する。補正方向選択部４４Ａ－７は、次式（９）に示す処理、すなわち、補正方策学習部４１Ａ－７が出力する価値の中で最大の価値に対応する補正方向を選択し、選択した補正方向を含む制御指示信号を無線通信部１６Ａに出力する。無線通信部１６Ａは、補正方向選択部４４Ａ－７が出力する制御指示信号に含まれる補正方向にしたがってビーム方向を補正し、補正したビーム方向に無線電波の指向性が形成されるように、アレイアンテナ１５Ａを構成する複数のアンテナの各々に対するウエイトを調整する。
【0088】
【数9】
【0089】
上記した強化学習処理が、他の学習モデル部３３Ａ－１～３３Ａ－６においても並列に行われ、他の無線通信装置１０Ｂ，１０Ｃの学習モデル部３３Ｂ－１～３３Ｂ－７、３３Ｃ－１～３３Ｃ－７においても同様の強化学習処理が並列に行われる。これにより、十分な学習時間が経過した後に、無線通信装置１０Ａ，１０Ｂ、１０Ｃの各々の学習モデル部３３Ａ－１～３３Ａ－７，３３Ｂ－１～３３Ｂ－７，３３Ｃ－１～３３Ｃ－７の係数記憶部４２Ａ－１～４２Ａ－７，４２Ｂ－１～４２Ｂ－７，４２Ｃ－１～４２Ｃ－７は、学習済みの係数を記憶することになる。
【0090】
無線通信装置１０Ａ，１０Ｂ，１０Ｃが備える環境センサ１１Ａ，１１Ｂ，１１Ｃにおいて、例えば、環境センサ１１Ａが故障している場合、無線通信装置１０Ａにおいて、環境センサ１１Ａが検出する環境状態データを必要とする学習モデル部３３Ａ－１，３３Ａ－４，３３Ａ－５，３３Ａ－７については、環境状態データの組み合わせが揃わないことになる。そのため、無線通信装置１０Ａの学習モデル切替部３１Ａは、学習モデル部３３Ａ－１，３３Ａ－４，３３Ａ－５，３３Ａ－７に対して環境状態データを出力せず、学習モデル部３３Ａ－１，３３Ａ－４，３３Ａ－５，３３Ａ－７において強化学習処理は行われず、それ以外の学習モデル部３３Ａ－２，３３Ａ－３，３３Ａ－６においてのみ強化学習処理が行われることになる。無線通信装置１０Ｂ，１０Ｃにおいても同様に、学習モデル部３３Ｂ－１～３３Ｂ－７，３３Ｃ－１～３３Ｃ－７の中で、環境センサ１１Ａが検出する環境状態データを必要とするものについては、強化学習処理が行われないことになる。
【0091】
（第１の実施形態の無線通信装置１０による処理）
次に、図８から図１０を参照しつつ、第１の実施形態の無線通信装置１０による処理について説明する。ここでは、図１に示すように無線通信システム１が、３台の無線通信装置１０Ａ，１０Ｂ，１０Ｃと、３台の固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとを備えている場合について説明する。
次に、図８から図１０を参照しつつ、第１の実施形態の無線通信装置１０による処理について説明する。ここでは、図１に示すように無線通信システム１が、３台の無線通信装置１０Ａ，１０Ｂ，１０Ｃと、３台の固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとを備えている場合について説明する。
【0092】
図８は、無線通信装置１０Ａ，１０Ｂ，１０Ｃの環境センサ１１Ａ，１１Ｂ，１１Ｃ、センサ故障検出部１２Ａ，１２Ｂ，１２Ｃ、環境状態データ送信部１３Ａ，１３Ｂ，１３Ｃによる処理の流れを示すフローチャートである。環境センサ１１Ａ，１１Ｂ，１１Ｃの各々、センサ故障検出部１２Ａ，１２Ｂ，１２Ｃの各々、及び環境状態データ送信部１３Ａ，１３Ｂ，１３Ｃの各々において同様の処理が行われるため、以下、無線通信装置１０Ａの環境センサ１１Ａ、センサ故障検出部１２Ａ、及び環境状態データ送信部１３Ａに関する処理について説明する。
【0093】
無線通信装置１０Ａの環境センサ１１Ａは、測定間隔τ（秒）ごとに、環境状態データ、すなわち位置データ及び速度データを検出する。環境センサ１１Ａは、検出した環境状態データを、センサ故障検出部１２Ａに出力する（ステップＳａ１）。
【0094】
センサ故障検出部１２Ａは、センサ故障検出部１２Ａが出力する環境状態データを取り込み、取り込んだ環境状態データに対して、内部の記憶領域が記憶する自装置の無線通信装置識別情報を付与する（ステップＳａ２）。
【0095】
センサ故障検出部１２Ａは、既に行った試験の結果から環境センサ１１Ａが故障しているか否かを判定する（ステップＳａ３）。センサ故障検出部１２Ａは、環境センサ１１Ａが故障していないと判定した場合（ステップＳａ３、Ｎｏ）、処理をステップＳａ５に進める。一方、センサ故障検出部１２Ａは、環境センサ１１Ａが故障していると判定した場合（ステップＳａ３、Ｙｅｓ）、自装置の無線通信装置識別情報を付与した環境状態データに、更に、故障情報を付与する（ステップＳａ４）。センサ故障検出部１２Ａは、環境状態データを、環境状態データ送信部１３Ａと、環境状態データ取得部１４Ａとに出力する。環境状態データ送信部１３Ａは、センサ故障検出部１２Ａが出力する環境状態データを他の無線通信装置１０Ｂ，１０Ｃに送信する（ステップＳａ５）。その後、ステップＳａ１以降の処理が繰り返し行われる。
【0096】
図９は、無線通信装置１０Ａ，１０Ｂ，１０Ｃの環境状態データ取得部１４Ａ，１４Ｂ，１４Ｃによる処理の流れを示すフローチャートである。環境状態データ取得部１４Ａ，１４Ｂ，１４Ｃの各々において同様の処理が行われるため、ここでは、環境状態データ取得部１４Ａによる処理について説明する。
【0097】
環境状態データ取得部１４Ａの自装置環境状態データ取得部２１Ａは、センサ故障検出部１２Ａが出力する環境状態データを取り込み、取り込んだ環境状態データを環境状態データ選択部２３Ａに出力する。他装置環境状態データ受信部２２Ａは、他の無線通信装置１０Ｂ，１０Ｃが送信する環境状態データを受信し、受信した環境状態データを環境状態データ選択部２３Ａに出力する（ステップＳｂ１）。なお、上限値Ｎ－１において、Ｎが３以上の値である場合、他装置環境状態データ受信部２２Ａは、他の無線通信装置１０Ｂ，１０Ｃの両方の環境状態データを環境状態データ選択部２３Ａに出力することになる。これに対して、Ｎが２である場合、他の無線通信装置１０Ｂ，１０Ｃのいずれか一方を選択し、選択したいずれか一方の他の無線通信装置１０Ｂ，１０Ｃの無線通信装置識別情報を内部の記憶領域に書き込み、内部の記憶領域が記憶する無線通信装置識別情報に対応する環境状態データを環境状態データ選択部２３Ａに出力する。なお、Ｎが最小値の１である場合、他装置環境状態データ受信部２２Ａは、他の無線通信装置１０Ｂ，１０Ｃの環境状態データを環境状態データ選択部２３Ａに出力せず、内部の記憶領域への無線通信装置識別情報の書き込みも行わない。
【0098】
環境状態データ選択部２３Ａは、自装置環境状態データ取得部２１Ａ及び他装置環境状態データ受信部２２Ａが出力する環境状態データを取り込む。環境状態データ選択部２３Ａは、取り込んだ環境状態データに故障情報が付与されている環境状態データが含まれているか否かを判定する（ステップＳｂ２）。
【0099】
環境状態データ選択部２３Ａは、取り込んだ環境状態データに故障情報が付与されている環境状態データが含まれていないと判定した場合（ステップＳｂ２、Ｎｏ）、取り込んだ全ての環境状態データを選択して処理をステップＳｂ４に進める。一方、環境状態データ選択部２３Ａは、取り込んだ環境状態データに故障情報が付与されている環境状態データが含まれていると判定した場合（ステップＳｂ２、Ｙｅｓ）、故障情報が付与されていない環境状態データを選択する（ステップＳｂ３）。環境状態データ選択部２３Ａは、選択した環境状態データをビーム方向制御部１８Ａに出力する（ステップＳｂ４）。その後、ステップＳｂ１以降の処理が繰り返し行われ、２回目以降のステップＳｂ１において、他装置環境状態データ受信部２２Ａは、内部の記憶領域が記憶する無線通信装置識別情報に対応する環境状態データのみを環境状態データ選択部２３Ａに出力する。これにより、環境状態データ選択部２３Ａが、他装置環境状態データ受信部２２Ａから取り込む環境状態データに対応する無線通信装置識別情報の組み合わせが固定されることになる。
【0100】
図１０は、無線通信装置１０Ａ，１０Ｂ，１０Ｃの無線通信部１６Ａ，１６Ｂ，１６Ｃ、無線通信品質監視部１７Ａ，１７Ｂ，１７Ｃ、及びビーム方向制御部１８Ａ，１８Ｂ，１８Ｃによる処理の流れを示すフローチャートである。なお、ここでは、３台の無線通信装置１０Ａ，１０Ｂ，１０Ｃが存在することから、上記した強化学習処理の具体例の場合と同様に、無線通信装置１０Ａ，１０Ｂ，１０Ｃのビーム方向制御部１８Ａ，１８Ｂ，１８Ｃの学習部３２Ａ，３２Ｂ，３２Ｃの各々は、７個の学習モデル部３３Ａ－１～３３Ａ－７，３３Ｂ－１～３３Ｂ－７，３３Ｃ－１～３３Ｃ－７を備えることになる。
【0101】
無線通信部１６Ａ，１６Ｂ，１６Ｃの各々、無線通信品質監視部１７Ａ，１７Ｂ，１７Ｃの各々、及びビーム方向制御部１８Ａ，１８Ｂ，１８Ｃの各々において同様の処理が行われるため、ここでは、無線通信部１６Ａ、無線通信品質監視部１７Ａ、及びビーム方向制御部１８Ａによる処理について説明する。
【0102】
無線通信装置１０Ａが起動した初期状態において、学習モデル切替部３１Ａの内部の記憶領域の処理種別フラグと、学習部３２Ａの学習モデル部３３Ａ－１～３３Ａ－７の補正方策学習部４１Ａ－１～４１Ａ－７の各々の内部の記憶領域の処理種別フラグは、強化学習処理中であることを示す情報に初期設定される。その後、補正方策学習部４１Ａ－１～４１Ａ－７の各々は、強化学習処理を完了すると、各々の処理種別フラグの状態を強化学習処理中でないことを示す情報に書き換え、各々が学習モデル切替部３１Ａに強化学習処理が完了したことを通知する。学習モデル切替部３１Ａは、全ての補正方策学習部４１Ａ－１～４１Ａ－７から強化学習処理が完了した通知を受けると、内部の記憶領域の処理種別フラグを強化学習処理中でないことを示す情報に書き換る。
【0103】
ビーム方向制御部１８Ａの学習モデル切替部３１Ａは、環境状態データ取得部１４Ａの環境状態データ選択部２３Ａが出力する環境状態データを取り込む。学習モデル切替部３１Ａは、取り込んだ環境状態データに付与されている無線通信装置識別情報を検出する（ステップＳｃ１）。学習モデル切替部３１Ａは、内部の記憶領域の処理種別フラグを参照し、処理種別フラグが強化学習処理中であることを示しているか否かを判定する（ステップＳｃ２）。
【0104】
学習モデル切替部３１Ａは、処理種別フラグが強化学習処理中であることを示していると判定した場合（ステップＳｃ２、Ｙｅｓ）、検出した無線通信装置識別情報に基づいて、学習モデル部３３Ａ－１～３３Ａ－７の各々に対して、各々に対応する環境状態データの組み合わせを出力する（ステップＳｃ３）。学習モデル部３３Ａ－１～３３Ａ－７の各々は、上記した強化学習処理の１つの処理ステップを実行して（ステップＳｃ４）、処理を終了する。
【0105】
一方、学習モデル切替部３１Ａは、処理種別フラグが強化学習処理中でないことを示していると判定した場合（ステップＳｃ２、Ｎｏ）、検出した無線通信装置識別情報の組み合わせに対応するいずれか１つの学習モデル部３３Ａ－１～３３Ａ－７に対して、取り込んだ環境状態データを出力する（ステップＳｃ５）。例えば、無線通信装置１０Ｂの環境センサ１１Ｂが故障している場合、学習モデル切替部３１Ａが取り込む環境状態データは、無線通信装置１０Ａ，１０Ｃの環境センサ１１Ａ，１１Ｃが検出した２つの環境状態データになる。この場合、学習モデル切替部３１Ａは、環境センサ１１Ａ，１１Ｃが検出した２つの環境状態データの組み合わせに対応付けられている学習モデル部３３Ａ－５に取り込んだ２つの環境状態データを出力することになる。
【0106】
以下、一例として、学習モデル切替部３１Ａが検出した無線通信装置識別情報の組み合わせに学習モデル部３３Ａ－５が対応しているものとして、ステップＳｃ６，Ｓｃ７の処理について説明する。学習モデル部３３Ａ－５の補正方策学習部４１Ａ－５は、学習モデル切替部３１Ａが出力する環境状態データを取り込んだ場合、内部の記憶領域が記憶する処理種別フラグを参照する。ここでは、既に学習モデル切替部３１Ａの処理種別フラグが強化学習処理中でないことを示しているため、補正方策学習部４１Ａ－７の内部の記憶領域が記憶する処理種別フラグも強化学習処理中でないことを示すことになる。
【0107】
処理種別フラグが強化学習処理中でないことを示しているため、補正方策学習部４１Ａ－５は、係数記憶部４２Ａ－５から学習済みの係数を読み出し、読みだした学習済みの係数を内部に備える関数近似器に適用する。補正方策学習部４１Ａ－５は、無線通信品質監視部１７Ａが出力するビーム方向データを取り込む。補正方策学習部４１Ａ－５は、取り込んだ環境状態データと、ビーム方向データとを学習済みの係数を適用した関数近似器に与える。補正方向選択部４４Ａ－５は、補正方策学習部４１Ａ－５の関数近似器が出力するビーム方向補正方策の中から最大の価値に対応する補正方向を選択する（ステップＳｃ６）。
【0108】
補正方向選択部４４Ａ－５は、選択した補正方向を含む制御指示信号を無線通信部１６Ａに出力する。無線通信部１６Ａは、補正方向選択部４４Ａ－５が出力する制御指示信号に含まれる補正方向にしたがってビーム方向を補正し、補正したビーム方向に無線電波の指向性が形成されるように、アレイアンテナ１５Ａを構成する複数のアンテナの各々に対するウエイトを調整した上で、無線信号をアレイアンテナ１５Ａに出力する（ステップＳｃ７）。これにより、無線通信装置１０Ａと固定設置型無線通信装置７０Ａの各々が放射する無線信号のビームの方向が対向する状態にすることが可能となり、風などの外因があったとしても、無線通信装置１０Ａと固定設置型無線通信装置７０Ａの間の無線通信品質を維持することが可能になる。なお、学習モデル部３３Ａ－５以外の他の学習モデル部３３Ａ－１～３３Ａ－４，３３Ａ－６，３３Ａ－７においても、学習モデル切替部３１Ａから各々に対応する環境状態データの組み合わせが与えられた場合、同様に、ステップＳｃ６，Ｓｃ７の処理が行われてビーム方向が補正されることになる。
【0109】
なお、上記の図８から図１０に示したフローチャートでは、無線通信システム１が、３台の無線通信装置１０Ａ，１０Ｂ，１０Ｃを備えている例について説明したが、無線通信システム１が、４台以上の無線通信装置１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ，…を備えている場合も、図８から図１０に示した処理と同様の処理が、無線通信装置１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ，…の各々において行われる。
【0110】
上記の第１の実施形態の無線通信装置１０において、無線通信部１６は、指向性を有する無線電波のビームをアレイアンテナ１５により形成して無線通信を行う。環境センサ１１は、自装置の状態を示す環境状態データを検出する。環境状態データ送信部１３は、環境センサ１１が検出する環境状態データを他の無線通信装置１０に送信する。環境状態データ取得部１４は、自装置、及び、他の無線通信装置１０の環境センサ１１が検出する環境状態データを取得して出力する。無線通信品質監視部１７は、無線通信部１６が行う無線通信のビームの方向を示すビーム方向データと、無線通信部１６が行う無線通信の無線通信品質を示す無線通信品質データとを検出する。ビーム方向制御部１８は、環境状態データ取得部１４が出力する環境状態データと、無線通信品質監視部１７が検出するビーム方向データ及び無線通信品質データとから予め求めるビームの方向の補正方策を出力する関数と、ある通信期間において無線通信品質監視部が検出するビーム方向データと、当該通信期間において環境状態データ取得部１４が出力する環境状態データとに基づいて、当該通信期間の次の通信期間におけるビームの方向の補正方策を求め、求めたビームの方向の補正方策の中から最適なビームの方向の補正方向を選択し、選択した補正方向に基づいて無線通信部１６にビームの方向を補正させる。
【0111】
無線通信装置１０において、センサ故障検出部１２は、環境センサ１１が故障しているか否かを判定し、環境センサ１１が故障していると判定した場合、環境センサ１１が検出する環境状態データに故障を示す故障情報を付与して環境状態データ送信部１３及び環境状態データ取得部１４に出力し、環境センサ１１が故障していないと判定した場合、環境センサ１１が検出する環境状態データを環境状態データ送信部１３及び環境状態データ取得部１４に出力する。この場合において、環境状態データ取得部１４は、自装置、及び、他の無線通信装置１０から取得する環境状態データの中から、故障情報が付与されていない環境状態データを選択して出力する。
【0112】
これにより、自装置、または、他の無線通信装置１０の環境センサ１１が故障して正常な環境状態データが取得できない場合であっても、環境状態データ取得部１４の環境状態データ選択部２３が正常でない環境状態データを除外する。そのため、学習モデル部３３－１～３３－Ｖにおいて、無線通信品質に影響を与える風などの外因が複雑化する条件であっても、正常な環境状態データに基づく強化学習処理を行うことが可能になる。他の無線通信装置１０の環境センサ１１が検出する環境状態データを強化学習処理に利用するため、自装置の環境センサ１１が故障して正常な環境状態データが取得できない場合であっても、自装置のビーム方向の補正方策を出力する関数を求める強化学習処理を行うことが可能になる。自装置の環境センサ１１が検出する環境状態データに加えて、他の無線通信装置１０の環境センサが検出する環境状態データを強化学習処理に利用するため、自装置の環境センサ１１が検出する環境状態データのみによって行う強化学習処理よりも、より精度の高い自装置のビーム方向の補正方策を出力する関数を求める強化学習処理を行うことが可能になる。
【0113】
また、環境センサ１１が検出する環境状態データにノイズや誤差が重畳する場合、第１の実施形態の無線通信装置１０では、自装置の環境センサ１１が検出する環境状態データに加えて、他の無線通信装置１０の環境センサが検出する環境状態データを利用して強化学習処理を行っていることから、ノイズや誤差の影響を抑制する関数を得ることができ、当該関数に基づいてビーム方向を補正することにより、受信電力の期待値が増加するという効果がある。
【0114】
また、上記した風が吹く場合には、無線通信装置１０と吊り線４の全体に風の力が加わって、無線通信装置１０の位置が変位することになる。これに対して、吊り線４に鳥が止まる場合、鳥が止まることにより生じる変位が、吊り線４を介して無線通信装置１０に伝搬するため、鳥が止まったことによる変位の影響が、無線通信装置１０の環境センサ１１に遅れて到達することになる。このような場合であっても、第１の実施形態の無線通信装置１０では、吊り線４上の複数の異なる位置に取り付けられている複数の無線通信装置１０の環境センサ１１の各々が取得した環境状態データを用いて強化学習処理を行っている。そのため、鳥が止まった位置から離れた位置に取り付けられている無線通信装置１０においても、鳥が止まった位置に近い位置に取り付けられている無線通信装置１０から得られた環境状態データを用いた強化学習処理を行うことができるので、自装置の環境センサ１１が検出する環境状態データのみによって行う強化学習処理よりも、より精度の高い自装置のビーム方向の補正方策を出力する関数を求める強化学習処理を行うことが可能になる。
【0115】
強化学習処理が完了した後においても、環境状態データ取得部１４の環境状態データ選択部２３が正常でない環境状態データを除外するので、自装置の環境センサ１１が検出する環境状態データが正常でない場合であっても、他の無線通信装置１０の環境センサ１１が検出する正常な環境状態データに基づいて、自装置の無線信号のビームの方向を適切な方向に補正することが可能になる。
【0116】
ところで、上記の第１の実施形態の構成において、無線通信装置１０は、センサ故障検出部１２を備えない構成とし、環境状態データ送信部１３と、自装置環境状態データ取得部２１が、環境センサ１１が検出して出力する環境状態データを取り込むようにしてもよい。この場合、故障情報が環境状態データに付与されないことになり、正常でない環境状態データに基づいて、補正方向の選択が行われたり、強化学習処理が行われたりすることになるが、複数の無線通信装置１０において検出した環境状態データに基づいて強化学習処理が行われるため、非特許文献２のように１地点の環境センサ２１１が検出する環境状態データのみによって強化学習処理を行うよりも、精度の高い精度の高いビーム方向の補正方策を出力する関数を求める強化学習処理を行うことが可能になる。それにより、センサ故障検出部１２を備えない無線通信装置１０であっても、非特許文献２の無線通信装置よりも精度の高いビーム方向の補正を行うことが可能である。なお、センサ故障検出部１２を備えない構成の場合、環境状態データ送信部１３と自装置環境状態データ取得部２１の各々が、予め内部の記憶領域に自装置の無線通信装置識別情報を記憶させておき、環境センサ１１が出力する環境状態データを取り込んだ際に、取り込んだ環境状態データに対して内部の記憶領域が記憶する自装置の無線通信装置識別情報を付与することになる。環境状態データ選択部２３は、図９のステップＳｂ２，Ｓｂ３の処理を行わず、自装置環境状態データ取得部２１と他装置環境状態データ受信部２２とから取り込んだ環境状態データを全てビーム方向制御部１８に出力することになる。
【0117】
上記の第１の実施形態において、以下のような構成としてもよい。無線通信装置１０の他装置環境状態データ受信部２２は、複数の無線通信装置１０が吊り線４に取り付けられた位置関係を予め内部の記憶領域に記憶する。他装置環境状態データ受信部２２は、他の無線通信装置１０から環境状態データを受信すると、内部の記憶領域が記憶する複数の無線通信装置１０が吊り線４に取り付けられた位置関係を参照し、受信した環境状態データの中から、自装置の近傍に位置しているＮ－１台の他の無線通信装置１０に対応する環境状態データを選択する。例えば、他装置環境状態データ受信部２２は、自装置の位置から近い順にＮ－１台の他の無線通信装置１０に対応する環境状態データを選択する。他装置環境状態データ受信部２２は、内部の記憶領域に選択した環境状態データに付与されている無線通信装置識別情報を書き込んで記憶させ、選択した環境状態データを環境状態データ選択部２３に出力する。このようにすることで、環境状態が類似する近傍の位置に存在する他の無線通信装置１０の環境状態データを用いてより精度の高いビーム方向の補正方策を出力する関数を求める強化学習処理を行うことが可能になる。
【0118】
上記の第１の実施形態において、一例として、無線通信品質データとして、受信電力を用いて強化学習処理を行う例を示しているが、受信電力以外の受信電力対雑音比やビット誤り率などのデータを用いて強化学習処理を行うようにしてもよい。
【0119】
上記の第１の実施形態において、他装置環境状態データ受信部２２において定められる上限値Ｎ－１は、予め定められる固定値としているが、強化学習処理が完了した後においては、当初定めた上限値Ｎ－１以下であれば、可変値としてもよい。
【0120】
上記の第１の実施形態において、センサ故障検出部１２が、環境センサ１１の故障の有無を判定する際に、機械学習の手法によって、故障の有無を判定するようにしてもよい。
【0121】
上記の第１の実施形態では、複数の無線通信装置１０が、同一のタイミングで起動することを前提とし、学習モデル部３３－１～３３－Ｖが、並列に強化学習処理を行うようにしている。現実には、複数の無線通信装置１０が、同一のタイミングで起動するとは限らないため、無線通信装置１０が起動した直後は、自装置の環境センサ１１が検出する環境状態データのみによって強化学習処理を行い、その後、一定の時間が経過して、他の無線通信装置１０の環境センサ１１が検出する環境状態データを受信するタイミングで、上記の第１の実施形態のように、学習モデル部３３－１～３３－Ｖが、並列に強化学習処理を行うようにしてもよい。
【0122】
上記の第１の実施形態では、無線通信システム１が備える無線通信装置１０の台数が予め分かっており、学習部３２は、複数の無線通信装置１０の組み合わせに応じた数の学習モデル部３３－１～３３－Ｖを備えるようにしている。これに対して、学習モデル切替部３１が、新たな無線通信装置１０の組み合わせを検出するごとに、新たに検出した組み合わせの強化学習処理のために必要となる学習モデル部３３－１～３３－Ｖを動的に生成していくという構成にしてもよい。
【0123】
上記の第１の実施形態では、学習モデル部３３－１～３３－Ｖは、関数近似器を用いてビーム方向の補正方策を出力する関数を求める深層Ｑネットワークを用いた深層強化学習処理を行うようにしているが、深層Ｑネットワーク以外の手法を用いた強化学習処理を行ってもよいし、関数近似器としてニューラルネットワークや深層ニューラルネットワーク以外の手段を適用するようにしてもよい。関数近似器を用いない強化学習処理によって当該関数を求めるようにしてもよいし、強化学習処理以外の機械学習などの手法によってビーム方向の補正方策を出力する関数を求めるようにしてもよい。
【0124】
（第２の実施形態）
第１の実施形態では、無線通信装置１０が、自装置、及び他の無線通信装置１０の環境センサ１１が検出した環境状態データを取得し、ビームの方向の補正方策を出力する関数を強化学習処理により求める構成になっていた。そのため、他の無線通信装置１０が多数存在する場合、無線通信装置１０は、他の無線通信装置１０から取得した大量の環境状態データを記憶する大容量の記憶領域を備える必要があり、更に、当該大量の環境状態データに対する処理を行うのに相応した性能のＣＰＵ（Central Processing Unit）を備える必要がある。言い換えると、他の無線通信装置１０が多数存在する場合、第１の実施形態の無線通信装置１０のハードウェアの構成は肥大化し、そのために、装置の重量が増大してしまうという課題がある。
第１の実施形態では、無線通信装置１０が、自装置、及び他の無線通信装置１０の環境センサ１１が検出した環境状態データを取得し、ビームの方向の補正方策を出力する関数を強化学習処理により求める構成になっていた。そのため、他の無線通信装置１０が多数存在する場合、無線通信装置１０は、他の無線通信装置１０から取得した大量の環境状態データを記憶する大容量の記憶領域を備える必要があり、更に、当該大量の環境状態データに対する処理を行うのに相応した性能のＣＰＵ（Central Processing Unit）を備える必要がある。言い換えると、他の無線通信装置１０が多数存在する場合、第１の実施形態の無線通信装置１０のハードウェアの構成は肥大化し、そのために、装置の重量が増大してしまうという課題がある。
【0125】
無線通信装置１０が取り付けられる吊り線４には荷重制限があるため、無線通信装置１０のハードウェア構成を簡素化して、装置を軽量化するのが望ましいと考えられる。そこで、第２の実施形態では、無線通信装置１０を軽量化することを可能にしつつ、本発明の目的を達成する無線通信システム１ａについて説明する。
【0126】
図１１は、第２の実施形態による無線通信システム１ａの構成を示すブロック図である。第２の実施形態において、第１の実施形態の無線通信システム１と同一の構成については、同一の符号を付し、以下、異なる構成について説明する。
【0127】
無線通信システム１ａは、例えば、ミリ波帯の無線通信システムであり、無線通信装置１０ａＡ，１０ａＢ，１０ａＣと、固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃと、リモート制御装置５０とを備える。無線通信装置１０ａＡ，１０ａＢ，１０ａＣは、道路５に沿って設定された電柱３－１及び電柱３－２の間に張り渡されている吊り線４上に取り付けられる。固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃは、建物２の壁面に固定的に設置されている。無線通信装置１０ａＡ，１０ａＢ，１０ａＣと、固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとは、ミリ波帯の無線信号を送受信する装置であり、指向性のある無線電波のビームを形成して放射する。無線通信装置１０ａＡ，１０ａＢ，１０ａＣの吊り線４への取り付け方は、第１の実施形態の無線通信装置１０Ａ，１０Ｂ，１０Ｃの吊り線４への取り付け方と同一である。
【0128】
リモート制御装置５０は、例えば、遠方の局舎内などの遠隔地に設置されており、無線通信装置１０ａＡ，１０ａＢ，１０ａＣの各々に、任意の通信方式による通信手段によって接続する。ここで、任意の通信方式による通信手段とは、例えば、モバイルネットワークの無線通信方式による通信手段であってもよい。例えば、吊り線４に電線や光ファイバが併設されており、これらの電線や光ファイバが通信網に接続しており、当該通信網にリモート制御装置５０が有線通信方式で接続するという形態であってもよい。
【0129】
無線通信装置１０ａＡ，１０ａＢ，１０ａＣの各々は、同一の内部構成を備える装置であり、以下、無線通信装置１０ａＡ，１０ａＢ，１０ａＣの各々を、個別に特定せずに示す場合、「無線通信装置１０ａ」として示すものとする。なお、図１１では、一例として、３台の無線通信装置１０ａＡ，１０ａＢ，１０ａＣと、３台の固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとを示しているが、無線通信システム１ａは、３台を超える同一構成の無線通信装置１０ａＡ，１０ａＢ，１０ａＣ，１０ａＤ，…と、無線通信装置１０ａＡ，１０ａＢ，１０ａＣ，１０ａＤ，…の台数に一致し、各々が同一構成である固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃ，…とを備えていてもよい。以下の説明において、無線通信装置１０ａが内部に備える機能部に対応する無線通信装置１０ａＡ，１０ａＢ，１０ａＣの機能部を個別に示す必要がある場合、無線通信装置１０ａＡ，１０ａＢ，１０ａＣの各々に対応する英字の符号である「Ａ」、「Ｂ」、「Ｃ」を付して示すものとする。例えば、図１２に示す無線通信装置１０ａの無線通信品質監視部１７ａに対応する無線通信装置１０ａＡの機能部を示す場合、「無線通信品質監視部１７ａＡ」として示すものとする。
【0130】
図１２は、無線通信装置１０ａの内部構成を示すブロック図である。第１の実施形態と同様に、無線通信装置１０ａの各々には、無線通信装置１０ａの各々を識別可能な無線通信装置識別情報が予め付与されている。無線通信装置１０ａは、環境センサ１１、センサ故障検出部１２、環境状態データ送信部１３ａ、アレイアンテナ１５、無線通信部１６、及び無線通信品質監視部１７ａを備える。環境状態データ送信部１３ａは、センサ故障検出部１２が出力する環境状態データを取り込み、取り込んだ環境状態データをリモート制御装置５０に送信する。
【0131】
無線通信品質監視部１７ａは、第１の実施形態の無線通信品質監視部１７と以下の点を除いて同一の構成を備える。すなわち、第１の実施形態の無線通信品質監視部１７は、検出したビーム方向データと、無線通信品質データとをビーム方向制御部１８に出力する構成になっていた。これに対して、無線通信品質監視部１７ａは、内部の記憶領域に無線通信装置１０ａに予め付与されている無線通信装置識別情報を記憶しており、検出したビーム方向データと、無線通信品質データとに対して内部の記憶領域が記憶する無線通信装置識別情報を付与してリモート制御装置５０に送信する。
【0132】
なお、第１の実施形態では、無線通信部１６は、制御指示信号を自装置のビーム方向制御部１８から受けていたが、第２の実施形態では、無線通信部１６は、制御指示信号をリモート制御装置５０から受信する。
【0133】
図１３は、リモート制御装置５０の内部構成を示すブロック図である。リモート制御装置５０は、環境状態データ取得部１４ａと、ビーム方向制御部１８ａとを備える。環境状態データ取得部１４ａは、図１４に示すように、環境状態データ受信部２４と、環境状態データ選択部２３とを備える。環境状態データ受信部２４は、全ての無線通信装置１０ａが送信する環境状態データを受信し、受信した環境状態データを環境状態データ選択部２３に出力する。なお、第１の実施形態では、環境状態データ選択部２３は、自装置環境状態データ取得部２１と、他装置環境状態データ受信部２２とが出力する環境状態データを取り込んでいたが、第２の実施形態では、環境状態データ受信部２４が出力する環境状態データを取り込む。
【0134】
ビーム方向制御部１８ａは、図１５に示すように、データ振分部３４と、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…と、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に接続する学習部３２Ａ，３２Ｂ，３２Ｃ，…とを備える。学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の個数と、学習部３２Ａ，３２Ｂ，３２Ｃ，…の個数は、無線通信システム１ａが備える無線通信装置１０ａの台数に一致する。図１１に示す無線通信システム１ａの場合、３台の無線通信装置１０ａＡ，１０ａＢ，１０ａＣが備えられているため、ビーム方向制御部１８ａは、３つの学習モデル切替部３１Ａ，３１Ｂ，３１Ｃと、３つの学習部３２Ａ，３２Ｂ，３２Ｃを備えることになる。
【0135】
学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々は、いずれか１つの無線通信装置１０ａに予め対応付けられており、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々も、各々が接続する学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…に対応付けられている無線通信装置１０ａに予め対応付けられている。
【0136】
学習部３２Ａ，３２Ｂ，３２Ｃ，…は、それぞれＶ個の学習モデル部３３Ａ－１～３３Ａ－Ｖ，３３Ｂ－１～３３Ｂ－Ｖ，３３Ｃ－１～３３Ｃ－Ｖ，…を備える。ここで、Ｖは、第１の実施形態と同様に、式（２）によって求められる値であり、Ｎは、無線通信システム１ａが備える無線通信装置１０ａの台数に一致する値である。
【0137】
学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…は、第１の実施形態の学習モデル切替部３１と同一の構成である。学習部３２Ａ，３２Ｂ，３２Ｃ，…は、第１の実施形態の学習部３２と同一の構成である。そのため、学習モデル部３３Ａ－１～３３Ａ－Ｖ，３３Ｂ－１～３３Ｂ－Ｖ，３３Ｃ－１～３３Ｃ－Ｖ，…の各々は、各々の符号の「－１」～「－Ｖ」の枝番号が同一である第１の実施形態の学習モデル部３３－１～３３－Ｖの各々と同一の構成になる。
【0138】
データ振分部３４は、環境状態データ取得部１４ａが出力する環境状態データを取り込み、取り込んだ環境状態データを学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に出力する。第２の実施形態では、データ振分部３４において上限値Ｎが予め固定値として定められている。無線通信装置１０ａの台数が、Ｎを超える数である場合、データ振分部３４は、取り込んだ環境状態データに付与されてる無線通信装置識別情報に基づいて、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に対して、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に対応する無線通信装置１０ａの無線通信装置識別情報が付与されている環境状態データと、当該環境状態データ以外の環境状態データであって付与されている無線通信装置識別情報が異なるＮ－１個の環境状態データとを選択する。このようにすることで、例えば、学習モデル切替部３１Ａと学習部３２Ａとに、無線通信装置１０ａＡが対応付けられている場合、学習部３２Ａにおいて行われる強化学習処理において、無線通信装置１０ａＡにおいて検出した環境状態データを含めることができる。上記の付与されている無線通信装置識別情報が異なるＮ－１個の環境状態データについては、データ振分部３４が、任意に定める条件にしたがって選択する。データ振分部３４は、選択した環境状態データを学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に出力する。
【0139】
これにより、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…が取り込む環境状態データの数は、Ｎ個に制限されることになる。ただし、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に繰り返し環境状態データを出力する際に、出力する環境状態データの組み合わせが固定されるように、データ振分部３４は、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に最初に環境状態データを出力する際に、出力した環境状態データに付与されている無線通信装置識別情報を学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に関連付けて内部の記憶領域に記憶させておく。データ振分部３４は、２回目以降については、内部の記憶領域に記憶されている無線通信装置識別情報に対応する環境状態データの組み合わせを選択して学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に出力する。これにより、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に与えられる環境状態データの組み合わせが固定されることになる。
【0140】
データ振分部３４は、無線通信装置１０ａの各々に付与されている無線通信装置識別情報と、無線通信装置識別情報に対応する学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…との関係を予め内部の記憶領域に記憶させている。データ振分部３４は、無線通信装置１０ａの無線通信品質監視部１７ａから無線通信装置識別情報が付与されたビーム方向データと無線通信品質データを受信すると、無線通信装置識別情報に対応するいずれか１つの学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…に対して、受信したビーム方向データと、無線通信品質データとを出力する。
【0141】
（第２の実施形態の無線通信装置１０ａとリモート制御装置５０による処理）
第２の実施形態の無線通信装置１０ａの環境センサ１１、センサ故障検出部１２による処理は、図８に示したフローチャートのステップＳａ１～Ｓａ４と同一の処理が行われる。第１の実施形態では、ステップＳａ５において、センサ故障検出部１２は、環境状態データ送信部１３と、環境状態データ取得部１４とに環境状態データを出力する処理が行われていた。これに対して、第２の実施形態では、ステップＳａ５の処理に替えて、センサ故障検出部１２は、環境状態データ送信部１３ａに環境状態データを出力する。環境状態データ送信部１３ａは、センサ故障検出部１２が出力する環境状態データを取り込み、取り込んだ環境状態データをリモート制御装置５０に送信する処理を行う。
第２の実施形態の無線通信装置１０ａの環境センサ１１、センサ故障検出部１２による処理は、図８に示したフローチャートのステップＳａ１～Ｓａ４と同一の処理が行われる。第１の実施形態では、ステップＳａ５において、センサ故障検出部１２は、環境状態データ送信部１３と、環境状態データ取得部１４とに環境状態データを出力する処理が行われていた。これに対して、第２の実施形態では、ステップＳａ５の処理に替えて、センサ故障検出部１２は、環境状態データ送信部１３ａに環境状態データを出力する。環境状態データ送信部１３ａは、センサ故障検出部１２が出力する環境状態データを取り込み、取り込んだ環境状態データをリモート制御装置５０に送信する処理を行う。
【0142】
次に、第２の実施形態のリモート制御装置５０の環境状態データ取得部１４ａによる処理について説明する。第１の実施形態では、図９に示したフローチャートのステップＳｂ１において、自装置環境状態データ取得部２１が、センサ故障検出部１２が出力する環境状態データを取り込み、取り込んだ環境状態データを環境状態データ選択部２３に出力する処理と、他装置環境状態データ受信部２２が、他の無線通信装置１０が送信する環境状態データを受信し、受信した環境状態データを環境状態データ選択部２３に出力する処理が行われていた。これに対して、第２の実施形態では、図９に示したフローチャートのステップＳｂ１のタイミングにおいて、リモート制御装置５０の環境状態データ受信部２４が、無線通信装置１０ａの環境状態データ送信部１３ａが送信する環境状態データを受信し、受信した環境状態データを環境状態データ選択部２３に出力する処理が行われる。その後、ステップＳｂ２～Ｓｂ４と同一の処理が、リモート制御装置５０の環境状態データ選択部２３によって行われる。ただし、ステップＳｂ４における環境状態データ選択部２３の出力先は、ビーム方向制御部１８ａになる。
【0143】
次に、第２の実施形態のリモート制御装置５０のビーム方向制御部１８ａによる処理について説明する。なお、ここでは、一例として、無線通信システム１ａが、３台の無線通信装置１０ａＡ，１０ａＢ，１０ａＣを備えており、学習モデル切替部３１Ａと学習部３２Ａが、無線通信装置１０ａＡに予め対応付けられており、学習モデル切替部３１Ｂと学習部３２Ｂが、無線通信装置１０ａＢに予め対応付けられており、学習モデル切替部３１Ｃと学習部３２Ｃが、無線通信装置１０ａＣに予め対応付けられているとする。
【0144】
ビーム方向制御部１８ａのデータ振分部３４は、図１０に示したフローチャートのステップＳｃ１の処理が行われる前に、環境状態データ選択部２３が出力する環境状態データを取り込み、取り込んだ環境状態データを学習モデル切替部３１Ａ，３１Ｂ，３１Ｃの各々に出力する処理を行う。ここで、上限値Ｎが３以上の値である場合、データ振分部３４は、無線通信装置１０ａＡ，１０ａＢ，１０ａＣの環境状態データを学習モデル切替部３１Ａ，３１Ｂ，３１Ｃの各々に出力する。
【0145】
これに対して、上限値Ｎが２である場合、データ振分部３４は、学習モデル切替部３１Ａについては、無線通信装置１０ａＡの無線通信装置識別情報が付与された環境状態データと、無線通信装置１０ａＢの無線通信装置識別情報が付与された環境状態データ、または、無線通信装置１０ａＣの無線通信装置識別情報が付与された環境状態データのいずれか一方を選択して学習モデル切替部３１Ａに出力する。学習モデル切替部３１Ｂについては、データ振分部３４は、無線通信装置１０ａＢの無線通信装置識別情報が付与された環境状態データと、無線通信装置１０ａＡの無線通信装置識別情報が付与された環境状態データ、または、無線通信装置１０ａＣの無線通信装置識別情報が付与された環境状態データのいずれか一方を選択して学習モデル切替部３１Ｂに出力する。学習モデル切替部３１Ｃについては、データ振分部３４は、無線通信装置１０ａＣの無線通信装置識別情報が付与された環境状態データと、無線通信装置１０ａＡの無線通信装置識別情報が付与された環境状態データ、または、無線通信装置１０ａＢの無線通信装置識別情報が付与された環境状態データのいずれか一方を選択して学習モデル切替部３１Ｂに出力する。
【0146】
なお、上限値Ｎが最小値である１である場合、データ振分部３４は、学習モデル切替部３１Ａについては、無線通信装置１０ａＡの無線通信装置識別情報が付与された環境状態データを出力し、学習モデル切替部３１Ｂについては、無線通信装置１０ａＢの無線通信装置識別情報が付与された環境状態データを出力し、学習モデル切替部３１Ｃについては、無線通信装置１０ａＣの無線通信装置識別情報が付与された環境状態データを出力する。
【0147】
上記したように、データ振分部３４は、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃの各々に最初に環境状態データを出力する際に、出力した環境状態データに付与されている無線通信装置識別情報を学習モデル切替部３１Ａ，３１Ｂ，３１Ｃの各々に関連付けて内部の記憶領域に記憶させておく。データ振分部３４は、次回以降、内部の記憶領域に記憶されている無線通信装置識別情報に対応する環境状態データの組み合わせを選択して学習モデル切替部３１Ａ，３１Ｂ，３１Ｃの各々に出力する。これにより、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃの各々に与えられる環境状態データの組み合わせが固定されることになる。
【0148】
データ振分部３４は、受信したビーム方向データ及び無線通信品質データに付与されている無線通信装置識別情報に対応するいずれか１つの学習モデル切替部３１Ａ，３１Ｂ，３１Ｃに対して、受信したビーム方向データと、無線通信品質データとを出力する。その後、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃの各々、及び学習部３２Ａ，３２Ｂ，３２Ｃの各々は、図１０のフローチャートに示した第１の実施形態の学習モデル切替部３１と、学習部３２が行う処理と同一の処理を行う。
【0149】
補正方向を含む制御指示信号を送信する場合、学習モデル部３３Ａ－１～３３Ａ－Ｖのいずれかが処理を行ったときには、処理を行った学習モデル部３３Ａ－１～３３Ａ－Ｖが、自らを備える学習部３２Ａに予め対応付けられている無線通信装置１０ａＡの無線通信部１６Ａに制御指示信号を送信する。学習モデル部３３Ｂ－１～３３Ｂ－Ｖのいずれかが処理を行ったときには、処理を行った学習モデル部３３Ｂ－１～３３Ｂ－Ｖが、自らを備える学習部３２Ｂに予め対応付けられている無線通信装置１０ａＢの無線通信部１６Ｂに制御指示信号を送信する。学習モデル部３３Ｃ－１～３３Ｃ－Ｖのいずれかが処理を行ったときには、処理を行った学習モデル部３３Ｃ－１～３３Ｃ－Ｖが、自らを備える学習部３２Ｃに予め対応付けられている無線通信装置１０ａＣの無線通信部１６Ｃに制御指示信号を送信する。
【0150】
なお、上記では、無線通信システム１ａが、３台の無線通信装置１０ａＡ，１０ａＢ，１０ａＣを備えている例について説明したが、無線通信システム１ａが、４台以上の無線通信装置１０ａＡ，１０ａＢ，１０ａＣ，１０ａＤ，…を備えている場合も、同様の処理が、無線通信装置１０ａＡ，１０ａＢ，１０ａＣ，１０ａＤ，…の各々において行われる。
【0151】
上記の第２の実施形態の構成により、第１の実施形態の無線通信システム１と同様の効果を奏する上に、無線通信装置１０ａの構成の簡素化、及び軽量化を図ることが可能になる。
【0152】
なお、上記の第２の実施形態の構成において、第１の実施形態と同様に、無線通信装置１０ａは、センサ故障検出部１２を備えない構成とし、環境状態データ送信部１３ａが、環境センサ１１が検出して出力する環境状態データを取り込むようにしてもよい。この場合、故障情報が環境状態データに付与されないことになり、正常でない環境状態データに基づいて、補正方向の選択が行われたり、強化学習処理が行われたりすることになるが、複数の無線通信装置１０ａにおいて検出した環境状態データに基づいて、リモート制御装置５０において強化学習処理が行われるため、非特許文献２のように１地点の環境センサ２１１が検出する環境状態データのみによって強化学習処理を行うよりも、精度の高い精度の高いビーム方向の補正方策を出力する関数を求める強化学習処理を行うことが可能になる。それにより、センサ故障検出部１２を無線通信装置１０ａが備えていなくとも、リモート制御装置５０は、非特許文献２の場合よりも精度の高いビーム方向の補正を行うことが可能である。なお、センサ故障検出部１２を備えない構成の場合、環境状態データ送信部１３ａが、予め内部の記憶領域に自装置の無線通信装置識別情報を記憶させておき、環境センサ１１が出力する環境状態データを取り込んだ際に、取り込んだ環境状態データに対して内部の記憶領域が記憶する自装置の無線通信装置識別情報を付与することになる。リモート制御装置５０の環境状態データ選択部２３は、図９のステップＳｂ２，Ｓｂ３に対応する処理を行わず、環境状態データ受信部２４から取り込んだ環境状態データを全てビーム方向制御部１８ａに出力することになる。
【0153】
上記の第２の実施形態において、以下のような構成としてもよい。リモート制御装置５０のビーム方向制御部１８ａのデータ振分部３４は、複数の無線通信装置１０ａが吊り線４に取り付けられた位置関係を予め内部の記憶領域に記憶する。データ振分部３４は、環境状態データ取得部１４ａが出力する環境状態データを取り込むと、内部の記憶領域が記憶する複数の無線通信装置１０ａが吊り線４に取り付けられた位置関係を参照して、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に対して、各々に対応する無線通信装置１０ａに対応する環境状態データと、各々に対応する無線通信装置１０ａの近傍に位置しているＮ－１台の他の無線通信装置１０ａに対応する環境状態データとを選択し、選択した環境状態データを出力する。例えば、データ振分部３４は、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に対応する無線通信装置１０ａの近傍に位置しているＮ－１台の他の無線通信装置１０ａに対応する環境状態データを選択する際、各々に対応する無線通信装置１０ａの位置から近い順にＮ－１台の他の無線通信装置１０ａに対応する環境状態データを選択する。データ振分部３４は、内部の記憶領域に学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に関連付けて、各々に対して選択した環境状態データに付与されている無線通信装置識別情報を書き込んで記憶させ、学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…の各々に対して選択した環境状態データの組み合わせを、各々に対応する学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…に対して出力する。このようにすることで、環境状態が類似する近傍の位置に存在する無線通信装置１０ａの環境状態データを用いてより精度の高いビーム方向の補正方策を出力する関数を求める強化学習処理を行うことが可能になる。
【0154】
上記の第２の実施形態において、データ振分部３４において定められる上限値Ｎは、予め定められる固定値としているが、強化学習処理が完了した後においては、当初定めた上限値Ｎ以下であれば、可変値としてもよい。
【0155】
（第３の実施形態）
第１の実施形態では、無線通信装置１０が備えるビーム方向制御部１８の学習部３２は、自装置、及び他の無線通信装置１０を含むＮ台の無線通信装置１０の組み合わせの数、すなわち、式（２）に示す演算により求められるＶ個の学習モデル部３３－１～３３－Ｖを備えていた。そのため、無線通信装置１０の台数が増えると、学習モデル部３３－１～３３－Ｖの数が膨大になり、無線通信装置１０のハードウェア構成が肥大化するという課題がある。
第１の実施形態では、無線通信装置１０が備えるビーム方向制御部１８の学習部３２は、自装置、及び他の無線通信装置１０を含むＮ台の無線通信装置１０の組み合わせの数、すなわち、式（２）に示す演算により求められるＶ個の学習モデル部３３－１～３３－Ｖを備えていた。そのため、無線通信装置１０の台数が増えると、学習モデル部３３－１～３３－Ｖの数が膨大になり、無線通信装置１０のハードウェア構成が肥大化するという課題がある。
【0156】
無線通信装置１０が取り付けられる吊り線４には荷重制限があるため、無線通信装置１０のハードウェア構成を簡素化して、装置を軽量化するのが望ましいと考えられる。そこで、第３の実施形態では、無線通信装置１０を軽量化することを可能にしつつ、本発明の目的を達成する無線通信システム１ｂについて説明する。
【0157】
図１６は、第３の実施形態による無線通信システム１ｂの構成を示すブロック図である。第３の実施形態において、第１の実施形態の無線通信システム１と同一の構成については、同一の符号を付し、以下、異なる構成について説明する。
【0158】
無線通信システム１ｂは、例えば、ミリ波帯の無線通信システムであり、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣと、固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとを備える。無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣは、道路５に沿って設定された電柱３－１及び電柱３－２の間に張り渡されている吊り線４上に取り付けられる。固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃは、建物２の壁面に固定的に設置されている。無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣと、固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとは、ミリ波帯の無線信号を送受信する装置であり、指向性のある無線電波のビームを形成して放射する。無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣの吊り線４への取り付け方は、第１の実施形態の無線通信装置１０Ａ，１０Ｂ，１０Ｃの吊り線４への取り付け方と同一である。
【0159】
無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣの各々は、同一の内部構成を備える装置であり、以下、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣの各々を、個別に特定せずに示す場合、「無線通信装置１０ｂ」として示すものとする。なお、図１６では、一例として、３台の無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣと、３台の固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとを示しているが、無線通信システム１ｂは、３台を超える同一構成の無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣ，１０ｂＤ，…と、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣ，１０ｂＤ，…の台数に一致し、各々が同一構成である固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃ，…とを備えていてもよい。以下の説明において、無線通信装置１０ｂが内部に備える機能部に対応する無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣの機能部を個別に示す必要がある場合、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣの各々に対応する英字の符号である「Ａ」、「Ｂ」、「Ｃ」を付して示すものとする。例えば、図１７に示す無線通信装置１０ｂのビーム方向制御部１８ｂに対応する無線通信装置１０ｂＡの機能部を示す場合、「ビーム方向制御部１８ｂＡ」として示すものとする。
【0160】
図１７は、無線通信装置１０ｂの内部構成を示すブロック図である。第１の実施形態と同様に、無線通信装置１０ｂの各々には、無線通信装置１０ｂの各々を識別可能な無線通信装置識別情報が予め付与されている。無線通信装置１０ｂは、環境センサ１１、センサ故障検出部１２、環境状態データ送信部１３、環境状態データ取得部１４、アレイアンテナ１５、無線通信部１６、無線通信品質監視部１７、及びビーム方向制御部１８ｂを備える。
【0161】
ビーム方向制御部１８ｂは、図１８に示すように、学習モデル切替部３１ｂと、学習部３２ｂとを備える。ここで、第１の実施形態と同様に、無線通信システム１ｂが備える無線通信装置１０ｂの台数を「Ｎ」とした場合、学習部３２ｂは、第１の実施形態の学習部３２とは異なり、Ｎ個の学習モデル部３３ｂ－１，３３ｂ－２，…，３３ｂ－ｐ，…，３３ｂ－Ｎを備える。なお、ｐは、１からＮの範囲の任意の整数であり、学習モデル部３３ｂ－ｐは、学習モデル部３３ｂ－１～３３ｂ－Ｎの中の任意の１つを示す。
【0162】
第１の学習モデル部３３－１～３３－Ｖと異なり、第３の実施形態の学習モデル部３３ｂ－１～３３ｂ－Ｎの各々は、各々の符号の枝番号の数に一致する数の環境状態データを入力情報として取り込む構成を備える。
【0163】
例えば、無線通信システム１ｂが、３台の無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣを備えている場合、無線通信装置１０ｂＡは、３つの学習モデル部３３ｂＡ－１，３３ｂＡ－２，３３ｂＡ－３を備える。この場合、学習モデル部３３ｂＡ－３は、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣの各々が備える環境センサ１１Ａ，１１Ｂ，１１Ｃが検出した３つの環境状態データを入力情報として取り込む。
【0164】
学習モデル部３３ｂＡ－２は、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣの各々が備える環境センサ１１Ａ，１１Ｂ，１１Ｃが検出した３つの環境状態データの中から予め固定的に定めた２つの環境状態データの組み合わせをとして取り込む。例えば、最初に、無線通信装置１０ｂＡの環境センサ１１Ａが検出した環境状態データと、無線通信装置１０ｂＢの環境センサ１１Ｂが検出した環境状態データとの組み合わせを入力情報として学習モデル部３３ｂＡ－２に与えると予め固定的に定めた場合、この組み合わせを継続して入力情報として学習モデル部３３ｂＡ－２に与えるということである。
【0165】
予め固定的に定めた組み合わせを入力情報として学習モデル部３３ｂＡ－２に与える理由は、以下のような理由である。例えば、強化学習処理の最初の処理ステップでは、無線通信装置１０ｂＡの環境センサ１１Ａが検出した環境状態データと、無線通信装置１０ｂＢの環境センサ１１Ｂが検出した環境状態データとの組み合わせを入力情報として学習モデル部３３ｂＡ－２に与え、次の処理ステップでは、無線通信装置１０ｂＡの環境センサ１１Ａが検出した環境状態データと、無線通信装置１０ｂＣの環境センサ１１Ｃが検出した環境状態データとの組み合わせを入力情報として学習モデル部３３ｂＡ－２に与え、さらに次の処理ステップでは、無線通信装置１０ｂＢの環境センサ１１Ｂが検出した環境状態データと、無線通信装置１０ｂＣの環境センサ１１Ｃが検出した環境状態データとの組み合わせを入力情報として学習モデル部３３ｂＡ－２に与えるといったように、強化学習処理の各処理ステップにおいて入力情報を変えると、強化学習処理が収束しない恐れがあるからである。そのため、上記のように予め固定的に定めた２つの環境状態データの組み合わせを入力情報として学習モデル部３３ｂＡ－２に与えることにしている。
【0166】
学習モデル部３３ｂＡ－１は、複数の無線通信装置１０ｂの各々が備える環境センサ１１Ａ，１１Ｂ，１１Ｃが検出した３つの環境状態データの中から予め固定的に定めた１つの環境状態データを入力情報として取り込む。この場合、予め固定的に定める１つの環境状態データは、自装置の環境センサ１１が検出した環境状態データであることが好ましいが、他の無線通信装置１０の環境センサ１１が検出した環境状態データであってもよい。
【0167】
学習モデル部３３ｂ－ｐは、与えられる入力情報が上記のように予め固定的に定められたｐ個の環境状態データの組み合わせに変わる他は、図６に示した第１の学習モデル部３３－ｐと同一の構成を有する。
【0168】
これにより、学習部３２ｂは、無線通信システム１ｂが備える無線通信装置１０ｂの台数「Ｎ」を上限とする１以上の全ての整数値の数の各々に対応するビーム方向の補正方策を出力する関数を学習モデル部３３ｂ－１～３３ｂ－Ｎによる強化学習処理により求めることになる。例えば、無線通信システム１ｂが、図１６に示すように、３台の無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣを備えている場合、「１，２，３」の数の各々に対応するビーム方向の補正方策を出力する３つの関数が、学習モデル部３３ｂ－１，３３ｂ－２，３３ｂ－３による強化学習処理によって求められることになる。
【0169】
学習モデル切替部３１ｂは、内部の記憶領域に学習部３２ｂにおいて強化学習処理が行われているか否かを示す処理種別フラグを備えている。学習モデル切替部３１ｂは、環境状態データ取得部１４が出力する環境状態データを取り込み、取り込んだ環境状態データの各々に付与されている無線通信装置識別情報を検出する。
【0170】
学習モデル切替部３１ｂは、上記した学習モデル部３３ｂ－１～３３ｂ－Ｎの各々に対して予め固定的に定められている無線通信装置１０ｂの組み合わせに対応する無線通信装置識別情報の組み合わせを、学習モデル部３３ｂ－１～３３ｂ－Ｎの各々に関連付けて予め内部の記憶領域に記憶させている。学習モデル切替部３１ｂは、処理種別フラグが強化学習処理中であることを示している場合、内部の記憶領域が記憶する無線通信装置識別情報の組み合わせと、学習モデル部３３ｂ－１～３３ｂ－Ｎとの対応付けと、検出した無線通信装置識別情報とに基づいて、学習モデル部３３ｂ－１～３３ｂ－Ｎの各々に対して、各々に対応する環境状態データの組み合わせを出力する。
【0171】
また、学習モデル切替部３１ｂは、内部の記憶領域が記憶する無線通信装置識別情報の組み合わせに含まれるいずれかの無線通信装置識別情報を検出しなかった場合、内部の記憶領域が記憶する無線通信装置識別情報の組み合わせを変更する処理を行う。例えば、無線通信システム１ｂが、３台の無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣを備えており、無線通信装置１０ｂＡの学習モデル部３３ｂＡ－３に、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣの無線通信装置識別情報の組み合わせが対応付けられており、学習モデル部３３ｂＡ－２に、無線通信装置１０ｂＡ，１０ｂＢの無線通信装置識別情報の組み合わせが対応付けられており、学習モデル部３３ｂＡ－１に、無線通信装置１０ｂＡの無線通信装置識別情報の組み合わせが対応付けられているとする。
【0172】
ここで、例えば、無線通信装置１０ｂＢの環境センサ１１Ｂが故障したとする。環境状態データ取得部１４の環境状態データ選択部２３は、無線通信装置１０ｂＢの無線通信装置識別情報が付与された環境状態データを除外する。そのため、学習モデル切替部３１ｂＡに、無線通信装置１０ｂＢの無線通信装置識別情報が付与された環境状態データが与えられず、学習モデル切替部３１ｂＡは、無線通信装置１０ｂＡ，１０ｂＣに対する２つの無線通信識別情報を検出するが、無線通信装置１０ｂＢの無線通信装置識別情報を検出しないことになる。この場合、学習モデル切替部３１ｂＡは、２つの環境状態データに基づいて強化学習処理を行う学習モデル部３３ｂＡ－２に対応する無線通信識別情報の組み合わせを、無線通信装置１０ｂＡ，１０ｂＢの無線通信装置識別情報の組み合わせから、検出した無線通信装置１０ｂＡ，１０ｂＣの無線通信装置識別情報の組み合わせに変更する。
【0173】
この場合、学習モデル部３３ｂＡ－２に与えられる入力情報が、強化学習処理の途中で、無線通信装置１０ｂＡ，１０ｂＢに対応する環境状態データの組み合わせから、無線通信装置１０ｂＡ，１０ｂＣに対応する環境状態データの組み合わせに変わることになる。そのため、無線通信装置１０ｂＡ，１０ｂＢに対応する環境状態データの組み合わせを入力情報として継続的に与える場合よりも、強化学習処理が収束するまでに要する時間は長くなる。ただし、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣに対応する３つの環境状態データには相関がある。そのため、強化学習処理の途中であり、無線通信装置１０ｂＡ，１０ｂＢに対応する２つの環境状態データに基づいて事前学習された学習モデル部３３ｂＡ－２に対して、無線通信装置１０ｂＡ，１０ｂＣに対応する２つの環境状態データを与えて強化学習処理を継続する方が、無線通信装置１０ｂＡ，１０ｂＣに対応する環境状態データを用いて強化学習処理を最初からやり直すよりも、強化学習処理が収束するまでに要する時間を短縮することができる。
【0174】
また、学習モデル切替部３１ｂは、処理種別フラグが強化学習処理中でないことを示している場合、検出した無線通信装置識別情報の数に対応するいずれか１つの学習モデル部３３ｂ－１～３３ｂ－Ｎに対して、取り込んだ環境状態データを出力する。
【0175】
例えば、上記した、無線通信システム１ｂが、３台の無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣを備えており、無線通信装置１０ｂＡの学習モデル部３３ｂＡ－３に、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣの無線通信装置識別情報の組み合わせが対応付けられており、学習モデル部３３ｂＡ－２に、無線通信装置１０ｂＡ，１０ｂＢの無線通信装置識別情報の組み合わせが対応付けられており、学習モデル部３３ｂＡ－１に、無線通信装置１０ｂＡの無線通信装置識別情報の組み合わせが対応付けられている例の場合、強化学習処理の間に、環境センサ１１Ａ，１１Ｂ，１１Ｂのいずれもが故障しなかった場合、学習モデル部３３ｂ－２は、無線通信装置１０ｂＡ，１０ｂＢの環境センサ１１Ａ，１１Ｂが検出した環境状態データに基づいて強化学習処理を完了させていることになる。強化学習処理の完了後に、例えば、無線通信装置１０ｂＢの環境センサ１１Ｂが故障すると、学習モデル切替部３１ｂは、無線通信装置１０ｂＡ，１０ｂＣに対応する２つの環境状態データを取り込むため、「２」の数に対応する学習モデル部３３ｂＡ－２に無線通信装置１０ｂＡ，１０ｂＣに対応する環境状態データを入力情報として与えることになる。そのため、学習モデル部３３ｂＡ－２が強化学習処理に用いた無線通信装置１０ｂＡ，１０ｂＢの組み合わせとは異なる、無線通信装置１０ｂＡ，１０ｂＣの環境状態データの組み合わせに基づいて補正方向を求めることになるが、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣに対応する３つの環境状態データには相関があるため、求める補正方向の精度は、無線通信装置１０ｂＡ，１０ｂＢの環境状態データの組み合わせを入力情報として与える場合よりは劣るものの、一定の程度で保証されることになる。
【0176】
（第３の実施形態の無線通信装置１０ｂによる処理）
第３の実施形態の無線通信装置１０ｂの環境センサ１１、センサ故障検出部１２、環境状態データ送信部１３による処理は、図８に示したフローチャートと同一の処理が行われる。また、無線通信装置１０ｂの環境状態データ取得部１４による処理は、図９に示したフローチャートと同一の処理が行われる。
第３の実施形態の無線通信装置１０ｂの環境センサ１１、センサ故障検出部１２、環境状態データ送信部１３による処理は、図８に示したフローチャートと同一の処理が行われる。また、無線通信装置１０ｂの環境状態データ取得部１４による処理は、図９に示したフローチャートと同一の処理が行われる。
【0177】
図１９は、無線通信装置１０ｂの無線通信部１６、無線通信品質監視部１７、及びビーム方向制御部１８ｂによる処理の流れを示すフローチャートである。ここでは、図１６に示すように無線通信システム１ｂが、３台の無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣと、３台の固定設置型無線通信装置７０Ａ，７０Ｂ，７０Ｃとを備えている場合について説明する。３台の無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣが存在することから、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣのビーム方向制御部１８ｂＡ，１８ｂＢ，１８ｂＣの学習部３２ｂＡ，３２ｂＢ，３２ｂＣの各々は、３個の学習モデル部３３ｂＡ－１～３３ｂＡ－３，３３ｂＢ－１～３３ｂＢ－３，３３ｂＣ－１～３３ｂＣ－３を備えることになる。
【0178】
無線通信部１６Ａ，１６Ｂ，１６Ｃの各々、無線通信品質監視部１７Ａ，１７Ｂ，１７Ｃの各々、及びビーム方向制御部１８ｂＡ，１８ｂＢ，１８ｂＣの各々において同様の処理が行われるため、ここでは、無線通信部１６Ａ、無線通信品質監視部１７Ａ、及びビーム方向制御部１８ｂＡによる処理について説明する。
【0179】
無線通信装置１０ｂＡが起動した初期状態において、学習モデル切替部３１ｂＡの内部の記憶領域の処理種別フラグと、学習部３２ｂＡの学習モデル部３３ｂＡ－１～３３ｂＡ－３の補正方策学習部４１Ａ－１～４１Ａ－３の各々の内部の記憶領域の処理種別フラグは、強化学習処理中であることを示す情報に初期設定される。その後、補正方策学習部４１Ａ－１～４１Ａ－３の各々は、強化学習処理を完了すると、各々の処理種別フラグの状態を強化学習処理中でないことを示す情報に書き換え、各々が学習モデル切替部３１ｂＡに強化学習処理が完了したことを通知する。学習モデル切替部３１ｂＡは、全ての補正方策学習部４１Ａ－１～４１Ａ－３から強化学習処理が完了した通知を受けると、内部の記憶領域の処理種別フラグを強化学習処理中でないことを示す情報に書き換る。
【0180】
ビーム方向制御部１８ｂＡの学習モデル切替部３１ｂＡは、環境状態データ取得部１４Ａの環境状態データ選択部２３Ａが出力する環境状態データを取り込む。学習モデル切替部３１ｂＡは、取り込んだ環境状態データに付与されている無線通信装置識別情報を検出する（ステップＳｄ１）。学習モデル切替部３１ｂＡは、内部の記憶領域の処理種別フラグを参照し、処理種別フラグが強化学習処理中であることを示しているか否かを判定する（ステップＳｄ２）。
【0181】
学習モデル切替部３１ｂＡは、処理種別フラグが強化学習処理中であることを示していると判定した場合（ステップＳｄ２、Ｙｅｓ）、内部の記憶領域が記憶する無線通信装置識別情報の組み合わせに含まれる全ての無線通信装置識別情報が検出できているか否かを判定する（ステップＳｄ３）。学習モデル切替部３１ｂＡは、内部の記憶領域が記憶する無線通信装置識別情報の組み合わせに含まれる全ての無線通信装置識別情報が検出できていると判定した場合（ステップＳｄ３、Ｙｅｓ）、処理をステップＳｄ５に進める。
【0182】
一方、学習モデル切替部３１ｂＡは、内部の記憶領域が記憶する無線通信装置識別情報の組み合わせに含まれる全ての無線通信装置識別情報が検出できていないと判定した場合（ステップＳｄ３、Ｎｏ）、検出した無線通信装置識別情報に基づいて、無線通信装置識別情報を検出できていない学習モデル部３３ｂＡ－１～３３ｂＡ－３に対応する無線通信装置識別情報の組み合わせを変更する処理を行う（ステップＳｄ４）。
【0183】
上記した例のように、学習モデル切替部３１ｂＡの内部の記憶領域において、無線通信装置１０ｂＡの学習モデル部３３ｂＡ－３に、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣの無線通信装置識別情報の組み合わせが対応付けられており、学習モデル部３３ｂＡ－２に、無線通信装置１０ｂＡ，１０ｂＢの無線通信装置識別情報の組み合わせが対応付けられており、学習モデル部３３ｂＡ－１に、無線通信装置１０ｂＡの無線通信装置識別情報の組み合わが対応付けられているとする。この場合に、無線通信装置１０ｂＢの環境センサ１１Ｂが故障し、学習モデル切替部３１ｂＡは、無線通信装置１０ｂＡ，１０ｂＣに対する２つの無線通信識別情報を検出したが、無線通信装置１０ｂＢの無線通信装置識別情報を検出しなかったとする。
【0184】
この場合、学習モデル切替部３１ｂＡは、ステップＳｄ４の処理において、無線通信装置１０ｂＡの学習モデル部３３ｂＡ－３については、３つの無線通信装置識別情報の組み合わせを割り当てられず、学習モデル部３３ｂＡ－３については、強化学習処理を継続できないため、内部の記憶領域が記憶する学習モデル部３３ｂＡ－３に対する無線通信装置識別情報の組み合わせの対応付けを消去する。これにより、学習モデル部３３ｂＡ－３には、それ以降、入力情報が学習モデル切替部３１ｂＡによって与えられないため、強化学習処理が行われないことになる。
【0185】
また、学習モデル切替部３１ｂＡは、内部の記憶領域が記憶する学習モデル部３３ｂＡ－２と無線通信装置識別情報の組み合わせの対応付けを、無線通信装置１０ｂＡ，１０ｂＢの無線通信装置識別情報の組み合わせから、検出した無線通信装置１０ｂＡ，１０ｂＣの無線通信装置識別情報の組み合わせに変更する。これにより、学習モデル部３３ｂＡ－２には、その後、無線通信装置１０ｂＡ，１０ｂＣの環境センサ１１Ａ，１１Ｃが故障しない間は、無線通信装置１０ｂＡ，１０ｂＣに対応する環境状態データが入力情報として学習モデル部３１ｂＡによって継続的に与えられることになる。
【0186】
また、学習モデル切替部３１ｂＡは、学習モデル部３３ｂＡ－１に対する無線通信装置識別情報の対応付けは変更せず、無線通信装置１０ｂＡの無線通信装置識別情報を対応付けた状態のままにしておく。
【0187】
学習モデル切替部３１ｂＡは、内部の記憶領域が記憶する学習モデル部３３ｂＡ－１～３３ｂＡ－３の各々に対応付けられている無線通信装置識別情報の組み合わせを参照し、学習モデル部３３ｂＡ－１～３３ｂＡ－３の各々に対して、各々に対応する環境状態データの組み合わせを出力する（ステップＳｄ５）。学習モデル部３３ｂＡ－１～３３ｂＡ－３の各々は、第１の実施形態において説明した強化学習処理の１つの処理ステップを実行して（ステップＳｄ６）、処理を終了する。
【0188】
一方、学習モデル切替部３１ｂＡは、処理種別フラグが強化学習処理中でないことを示していると判定した場合（ステップＳｄ２、Ｎｏ）、検出した無線通信装置識別情報の数に対応するいずれか１つの学習モデル部３３ｂＡ－１～３３ｂＡ－３に対して、取り込んだ環境状態データを出力する（ステップＳｄ７）。例えば、無線通信装置１０ｂＢの環境センサ１１Ｂが故障している場合、学習モデル切替部３１ｂＡが取り込む環境状態データは、無線通信装置１０Ａ，１０Ｃの環境センサ１１Ａ，１１Ｃが検出した２つの環境状態データになる。この場合、学習モデル切替部３１Ａは、取り込んだ環境状態データの数、すなわち、検出した無線通信装置識別情報の数である「２」に対応する学習モデル部３３ｂＡ－２に取り込んだ２つの環境状態データを出力することになる。
【0189】
ステップＳｄ８，Ｓｄ９については、図１０に示したステップＳｃ６，Ｓｃ７と同一の処理が、学習モデル切替部３１ｂＡによって環境状態データが与えられた学習モデル部３３ｂＡ－１～３３ｂＡ－３によって行われる。
【0190】
なお、上記の図１９に示したフローチャートでは、無線通信システム１ｂが、３台の無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣを備えている例について説明したが、無線通信システム１ｂが、４台以上の無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣ，１０ｂＤ，…を備えている場合も、図１９に示した処理と同様の処理が、無線通信装置１０ｂＡ，１０ｂＢ，１０ｂＣ，１０ｂＤ，…の各々において行われる。
【0191】
上記の第３の実施形態の構成により、強化学習処理の途中で、いずれかの無線通信装置１０ｂの環境センサ１１が強化学習処理の途中において故障した場合、第１の実施形態の無線通信システム１よりも、強化学習処理に要する時間が長くなる可能性があり、また、強化学習処理の完了後に、いずれかの無線通信装置１０ｂの環境センサ１１が故障した場合、強化学習処理の間の入力情報の組み合わせとは異なる組み合わせの環境状態データに基づいて補正方向を求めるため、補正方向の精度が第１の実施形態よりも低下する可能性があるというディメリットがある他は、第１の実施形態の無線通信システム１と同様の効果を奏しつつ、無線通信装置１０ｂの学習部３２ｂにおいて、学習モデル部３３ｂ－１～３３ｂ－Ｎの数を、無線通信システム１ｂが備える無線通信装置１０ｂの台数に抑えることができるので、無線通信装置１０ｂの構成の簡素化、及び軽量化を図ることが可能になる。
【0192】
また、第３の実施形態の構成を、第２の実施形態に適用してもよい。その場合、第２の実施形態のリモート制御装置５０のビーム方向制御部１８ａは、Ｎ個の学習モデル切替部３１Ａ，３１Ｂ，３１Ｃ，…に替えて、Ｎ個の第３の実施形態の学習モデル切替部３１ｂＡ，３１ｂＢ，３１ｂＣ，…を備えることになる。また、ビーム方向制御部１８ａが備えるＮ個の学習モデル部３１Ａ，３１Ｂ，３１Ｃ，…の各々は、Ｖ個の学習モデル部３３Ａ－１～３３Ａ－Ｖ，３３Ｂ－１～３３Ｂ－Ｖ，３３Ｃ－１～３３Ｃ－Ｖ，…に替えて、Ｎ個の学習モデル部３３ｂＡ－１～３３ｂＡ－Ｎ，３３ｂＢ－１～３３ｂＢ－Ｎ，３３ｂＣ－１～３３ｂＣ－Ｎ，…を備えることになる。
【0193】
上述した実施形態における無線通信装置１０，１０ａ、及びリモート制御装置５０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0194】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0195】
１…無線通信システム、１０，１０Ａ，１０Ｂ，１０Ｃ…無線通信装置、１１…環境センサ、１２…センサ故障検出部、１３…環境状態データ送信部、１４…環境状態データ取得部、１５…アレイアンテナ、１６…無線通信部、１７…無線通信品質監視部、１８…ビーム方向制御部、７０Ａ，７０Ｂ，７０Ｃ…固定設置型無線通信装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】