(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0022】
本発明の実施の形態について図面を参照しながら説明する。[実施の形態の概要]
本発明の実施の形態に係る無線通信システム(本システム)は、無線通信装置(本装置)に指向性アンテナの電波方向と光軸が一致する撮像手段を備え、条件が良好なときに撮像した画像を基準画像として記憶しておき、通信相手である無線通信装置及びその近傍を撮像し、制御部が、定期的に撮像した画像と基準画像とを比較して、明るさの変化に影響を受けにくい正規化相互相関によるテンプレートマッチング手法で類似度を算出し、類似度が低い状態が一定期間持続した場合に保守端末にアラートを発報する構成としており、保守員の作業負荷を軽減すると共に、天候や日照等の外乱ノイズによる誤発報を防ぎ、通信障害の発生を容易に且つ精度よく予測して、実際の障害発生を未然に防ぐことができ、通信の信頼性を向上させることができるものである。
【0023】
また、本発明の実施の形態に係る無線通信装置は、監視範囲を複数のブロックに分割し、撮像画像をブロック毎に基準画像と比較して類似度を算出するものであり、画像を精度良く解析することができると共に、ブロック毎の類似度の変化から通信障害の原因を推定することができ、迅速に対応可能とするものである。
【0024】
[実施の形態に係る無線通信システムの構成:
図1]
図1は、本発明の実施の形態に係る無線通信システムXの構成を示す概略図である。無線通信システムXは、接続元機器と接続先機器との間の通信を中継する通信システムであり、無線通信装置10,11と、保守端末20とを備えている。
図1の例では、無線通信装置10は、ネットワーク5を介して保守端末20及び接続先機器と接続されており、無線通信装置11は、ネットワーク6を介して接続元機器に接続されている。
【0025】
無線通信装置10、11は同様の構成を備え、P−P通信用の対向型の無線通信装置である。無線通信装置10、11は、データ通信用の無線リピータとして機能し、例えば指向性の高い25GHzのミリ波帯、準ミリ波帯等を用いて数kmの距離で数100Mbpsもしくはそれ以上のレートで双方向に対向通信を行う。
無線通信装置10、11は、起動時の状態によって一方がマスタ装置、他方がスレーブ装置として自動設定され、周波数チャンネル等も自動で選択させることできる。
また、無線通信装置10,11は、画像を撮像する撮像部を備えており、互いに相手の画像を撮像して通信障害の予測に利用している。
【0026】
そして、本システムの特徴として、無線通信装置10、11は、その見通し線上に障害物30(物体)が建築された等で、無線通信の障害を検知した場合、画像を含む通信障害情報を保守装置20に送信する。
また、無線通信装置10、11は、所定間隔で定期的に画像を撮像し、画像に異常があれば、画像及び推定原因の情報を含むアラート情報(警告情報)を保守装置20に送信する。
【0027】
保守装置20は、無線通信システムXの管理者が用いる保守や管理用のPC、汎用機、サーバ等の装置である。
保守装置20は、無線通信装置10、11に対して各種パラメータの設定を行い、また、撮像された画像データや各種センサのデータ及び受信信号強度のデータ等を要求することもできる。
【0028】
ネットワーク5、6は、任意のIPネットワークであり、無線通信装置10、11と例えば1000BASE−T等により接続される。ネットワーク5、6は、スイッチ、ルータ、PC(Person al Computer)、サーバ、スマートフォン、タブレット等の接続先機器と接続することができる。
また、ネットワーク5、6は、ルータ等を用いてインターネットや携帯電話網やPHS網等の他のネットワークと接続してもよい。
【0029】
本システムでは、無線通信装置10、11間の通信異常を、実際に発生する前に検出するため、画像を撮影して基準画像と比較して解析し、それに基づいて迅速で精度のよいアラート出力を行うものである。画像の撮像や解析の処理については後で詳細に説明する。
無線通信装置10,11は同様の構成及び動作であるため、以下の説明においては、無線通信装置10を例として説明する。
【0030】
[無線通信装置10の外観:
図2]
次に、
図2を参照して、無線通信装置10の外観について説明する。
図2は、無線通信装置10の外観図である。
図2に示すように、無線通信装置10は、アンテナ、高周波部、信号処理部(PHY)、MAC処理部、インタフェース部等を一体に内蔵する筐体12と、ポール等への取り付け金具である取り付け部13とから主に構成されている。
また、筐体12には、アンテナの指向性方向を確認するためのスコープ部14を備えている。さらに、筐体12には、アンテナの指向性方向と同一方向にカメラの光軸が向くように設定された撮像部15を備えている。撮像部15は、カメラ等である。
【0031】
また、撮像部15は、通信相手の無線通信装置11及び通信経路上の画像を撮像するものであり、アンテナの指向性のある方向に、例えば数度程度の視野角の画像のみ撮像する。更に、撮像部15は、カメラの光軸を雲台等で変更できないように構成することが好適である。これにより、無線通信装置10に係るプライバシー上の問題を少なくすることができる。撮像部15は、スマートフォンなどに内蔵されるカメラセンサモジュールと適切な固定ズームレンズを組み合わせて実現できる。
【0032】
[無線通信装置10の構成ブロック:
図3]
次に、
図3を参照して、本システムの無線通信装置10の具体的な制御構成について説明する。
図3は、無線通信装置10の機能ブロック図である。
図3に示すように、無線通信装置10は、
図2に示した筐体12の内部に、主として、制御部100と、記憶部110と、無線送受信部120と、信号強度測定部130と、同期検出部135と、ネットワーク送受信部140と、撮像部150と、画像処理部160と、レーザー出力部170と、タイマー部180とを備えている。各部は、例えば共通のバス等で接続される。尚、撮像部150は、
図2に示した撮像部15と同等である。
【0033】
無線通信装置10の各部について具体的に説明する。
[制御部100]
制御部100は、GPP(General Purpose Processor)、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、SoC(System-on-a-chip)等の組込みコンピュータであり、各部を制御する。
【0034】
本装置の特徴に関する制御としては、制御部100は、撮像部150に対して相手装置の無線通信装置を含む画像の撮影(撮像)を指示する。
撮像は、送受信時に取得された電波状態が異常の場合に行うと共に、通信異常が発生する前から定期的に監視するため、タイマー部180に基づいて行う。
電波状態の監視としては、信号強度測定部130からの受信信号強度や、同期検出部135からの同期検出を用いる。
また、制御部100は、保守装置20からの指示や現地の作業員による操作に応じて撮像部150に撮像を指示することも可能である。
【0035】
そして、本装置の特徴として、制御部100は、撮像された画像(撮像画像)に基づいて、通信障害が発生する前に、障害発生を予測してアラートを出力する通信障害予測処理を行う。通信障害予測処理については後述する。
【0036】
[記憶部110]
記憶部110は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等で構成され、制御部100が実行するプログラムやデータ、各種の設定値、及び画像データを記憶している。
画像データとしては、正常時の基準となる基準画像データと、運用時に撮像された撮像画像データ、また一定期間の撮像画像の平均である平均画像データ等がある。これらの画像データの詳細については後述する。
記憶されている設定値やデータとしては、撮像を判定するための信号強度の閾値(信号強度撮像閾値)、撮像間隔設定値、アラート情報のデータフォーマット等がある。
【0037】
更に、本装置の特徴として、記憶部110は、撮像された画像データを解析し、アラート情報を出力するか否かを判断するためのデータを記憶する画像解析テーブルと、アラート情報を出力する前に、検出された異常の原因を推定するための基準となる原因推定テーブルを備えている。これらのテーブルについても後述する。
【0038】
また、記憶部110は、後述する重み付き統合類似度の閾値や、スコアの閾値を記憶している。
尚、記憶部110は、例えば、USBメモリやSDカード等の脱着可能な記録媒体を含んでいてもよく、記録媒体にも画像データを記憶可能である。
【0039】
[無線送受信部120]
無線送受信部120は、アンテナ、RF(Radio Frequency)手段(無線通信手段)、デジタル変復調手段、A/D(Analog/Digital)変換手段、D/A(Digital/Analog)変換手段、符復号化手段、暗号化手段、QoSスケジューリング手段等を含み、無線信号の送受信を行う。また任意の伝送路状況に応じて最善なスループットが得られるように適応変調符号化(AMC)を行う。
無線送受信部120のアンテナは、搬送波が広がりにくいペンシルビームアンテナ等の指向性アンテナを用いることが好適である。
また、無線送受信部120は、電波の送受信を、時分割双方向通信(TDD;Time Division Duplex)や周波数分割双方向通信(FDD;Frequency Division Duplex)等の方式で行うことができる。
【0040】
[信号強度測定部130]
信号強度測定部130は、無線送受信部120からの電波について、受信信号強度の測定や受信品質に係るS/N比等の取得を行うものであり、これらの測定値が基準値より低ければ制御部100に受信信号強度が異常である旨報知する。適応変調符号化を実施している場合は、現在の変調方式や符号化方式の情報もあわせて取得する。
【0041】
[同期検出部135]
同期検出部135は、受信した無線信号に含まれる同期信号やプリアンブル等を検出し、無線伝送されて同期信号を復元すると共に、同期信号の復元の有無を検出する。そして、同期信号やプリアンブルの検出が正常に行われなかった場合に、同期検出が異常である旨報知する。
信号強度測定部130及び同期検出部135の機能は通常、無線送受信部120内に構成され得る。
【0042】
[ネットワーク送受信部140]
ネットワーク送受信部140は、ネットワーク5又は6に接続するための、例えば、1000BASE−T/100BASE−TX規格のインタフェースであり、伝送媒体に即したMAC層処理を行う。つまり無線送受信部120で扱っている無線伝送ペイロードや、制御部100で発生する保守装置との通信等を、ネットワーク5又は6に接続する。
また、ネットワーク送受信部140は、例えば、PoE(Power on Ethernet、Ethernetは商標)による電源供給を行うための電源部やバッテリ等を備えてもよい。またブリッジ処理やルータ処理を行ってもよい。
【0043】
[撮像部150]
撮像部150は、制御部100からの指示に応じて相手先の無線通信装置11を含む画像を撮影し、赤外線や可視光用のカラー/モノクロの光信号を電気信号に変換するものであり、撮像素子とA/Dコンバータ等を備えている。撮像素子としては、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)等がある。
【0044】
ここで、撮像部150は、主に対向する無線通信装置11への電波通信が障害物で遮られることなく到達する「見通し」を確認する程度の狭い範囲のみ撮像する。
撮像部150は、無線送受信部120の指向性アンテナとカメラの光軸が一致する視野角0.5〜5度程度の所定角度の範囲のみ撮像できるようにすると、また、プライバシーに配慮することができる。
【0045】
撮像部150は、光学レンズ、ズームレンズ、及び雨水や埃等の侵入を防ぐカバーを備えてもよい。
適度な光学ズーム倍率のレンズの使用により、撮像素子に必要な画素数を減らすことができる。また夜間に動く被写体を撮影する目的ではないため、感度はあまり必要なく、大きな撮像素子を使用する必要がないため、コストを削減できる。
尚、撮像部150は、必ずしも無線通信装置10と一体に構成するものに限らず、分離していてもよい。また、静止画像だけでなく動画像を撮像可能としてもよい。
尚、後述するように、「見通し」の判断にはレーザーを用いてもよい。
【0046】
[画像処理部160]
画像処理部160は、撮像部150からの電気信号を画像処理して、所定のフォーマット、例えばJPEG、JPEG2000、PNG、BMP等の主に静止画像に変換する。その際、画像の容量の圧縮、ベクトルデータ化等を行うことも可能である。
画像処理部160は、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)等の画像処理用コンピュータで構成される。
【0047】
また、画像処理部160は、記憶部110に記憶された過去の撮像画像に基づいて平均画像を作成し、画像同士の差分計算を行う。差分は、基準画像と撮像画像、又は平均画像と撮像画像との間で求められる。
【0048】
また、画像処理部160は、FFT(Fast Fourier Transform)やウェーブレット分析等を用いて画像のノイズ成分や特徴量の分析を行う。特徴量を分析することにより、雨や霧、陽炎等の環境要因を排除しながら、無線通信に障害をもたらす遮蔽物30を高精度に判別ことが可能となる。
【0049】
更に、画像処理部160は、時系列の撮像画像データを、動画GIF、AVI、MOV、MPEG等の動画データに変換することも可能である。これにより、建物の建設の進捗等を保守装置20から閲覧可能である。
【0050】
[レーザー出力部170]
レーザー出力部170は、例えば、撮像部150で検知可能な赤外線等のレーザー信号を、無線送受信部120のアンテナの電波の方向と同方向に出力する。レーザー出力部170のレーザー信号を画像処理部160が検知して、「見通し」があるか否かを制御部100が判定することも可能である。
レーザー光は、相手装置に到達するまでの間に適当な径に広がり、撮像部150に入射する。相手装置の画像処理部でロックイン検出するために、レーザー信号は、撮像部150の撮影レートより低速の既知の周期で或いは擬似雑音系列によりON/OFF変調されることが望ましい。相手装置との間の同期は、後述のNTP同期された時計或いは無線フレームナンバーのカウント等により行う。なおレーザー信号は、自装置から送信され、相手装置(又は障害物)によって反射された信号でもよいし、相手装置から送信されたレーザー信号であってもよい。あるいは、無線通信装置10が設置されるビルに若しくは相手装置からの見通し線上に、航空障害灯及び昼間障害標識等が設置されている場合、それで代用できる。
【0051】
[タイマー部180]
タイマー部180は、クオーツを備えたバッテリバックアップ・リアルタイムクロック(RTC)やインターバルタイマー等で構成され、年/日/時/分/秒等の時刻を計測する。
また、保守装置20から画像の撮像間隔を設定しておくことにより、タイマー180は定期的に制御部100に対して撮像のタイミングを報知する。尚、タイマー部180の時刻は、制御部100がインターネット等のタイムサーバ等から取得して、設定してもよい。
【0052】
[その他]
なお、この他にも、無線通信装置10は、降雨、日照、天候、風力、風向、温度、湿度等の周囲環境に係るデータを取得するセンサ類を備えていてもよい。このセンサ類で取得した値も、記憶部110に記憶する。
また、無線通信装置10は、ポータブル保守装置と直接接続する受信電力モニタ端子、シリアル/USB端子、無線LANインタフェース等を備えていてもよい。
【0053】
[保守装置20の構成:
図4]
次に、本システムの保守装置20の構成について
図4を用いて説明する。
図4は、本システムの保守装置20の構成ブロック図である。
図4に示すように、本システムの保守装置20は、制御部200と、記憶部210と、表示部220と、入力部230と、ネットワーク送受信部240とを備えている。
【0054】
制御部200は、演算手段であり、保守装置20全体の制御を行うものである。
記憶部210は、制御部200で実行する保守用プログラムを記憶すると共に、無線通信装置10から送信されたアラート情報を記憶し、蓄積している。
表示部220は、アラート情報に含まれる画像やメッセージを表示して管理者に閲覧可能とし、また、保守用の画面等を表示する。
入力部230は、管理者の指示や設定値等を入力する。
ネットワーク送受信部240は、ネットワーク5,6に接続するインタフェースである。
【0055】
[監視領域の設定:
図5]
本装置における動作を具体的に説明する前に、画像を監視して通信障害の発生を予測する際の監視対象となる監視領域の設定例について
図5を用いて説明する。
図5は、監視領域の設定例を示す説明図である。
図5に示すように、通信相手の無線通信装置11を撮像部150で撮影すると、例えば、
図5全体の画像が取得される。
【0056】
この内、重要な監視対象となるのは、無線通信装置11及びその近傍であり、この領域を監視領域70として指定する。
具体的には、初期設定時において、どの範囲を監視領域70とするかを、例えば保守員が画面上で矩形で囲んで指定すると、記憶部110に、画像全体における監視領域70の座標データが監視領域データとして記憶される。
【0057】
尚、撮像部150のカメラと無線通信装置10の光軸がハードウェア上で同じであれば、撮像画像中での相手通信装置11の位置は画像の中心付近に一意に決定でき、自動で監視範囲70が決定されるようにしてもよい。組立上の精度が不足した場合に備え、ユーザが任意に監視範囲を指定するインタフェースが用意されている。
図5では監視領域70が画像の中央上寄りに設定された例が示されているが、実際には中央付近である。
監視領域70を指定する際の形状は矩形に限らず、円、長円(楕円)、多角形等或いは単なる1つの点であってもよい。点で指定された場合は、所定のサイズの領域に自動的に拡張される。
画像の比較時には、制御部100は、基準画像の監視領域70と撮像画像の監視領域70との比較を行って類似度を算出するものである。
【0058】
[分割監視領域の設定:
図6]
更に、本装置においては、監視領域70だけでなく、監視領域70を拡張し、複数に分割した分割監視領域についても監視対象の領域として監視を行う。分割監視領域について
図6を用いて説明する。
図6は、分割監視領域の設定例を示す説明図である。
図6に示すように、分割監視領域80は、
図5に示した監視領域70を上下左右に広げた領域であり、更に領域全体を4段3列に分割して、左上から右下に向かって、分割ブロック8(1,1)、8(1,2)、...8(4,3)とする。そして、各分割ブロック8(m,n)について基準画像との比較を行う。尚、分割監視領域80は、請求項における拡張領域に相当する。
【0059】
分割監視領域80の形状及び分割ブロックの形状は、保守員が個別に入力してもよいし、予め形状のパターンを入力しておいて、基準となる位置を画面上で指定することで制御部100によって分割監視領域80が特定されるようにしてもよい。
更に、個々の分割ブロック8は、他の分割ブロック8と一部重なっていてもよい。
【0060】
分割監視領域80を設けることにより、きめ細かい画像監視を可能とすると共に、通信障害が発生することを予測した場合に、その原因を推定することができるものである。例えば、分割監視領域80の下のほうの分割部ロック8から順に類似度が低くなっている場合、建物が建設されつつあることが考えられる。
更に、分割ブロック毎に重み付けすることにより、緊急性の高い異常を迅速に検出してアラート発報したり、また、画像の信頼性の低いブロックを識別することができるものである。
【0061】
図7は、分割監視領域の他の設定例を示す説明図である。本例では通信装置11の位置を点で指定すると、それを中心に大きさの異なる3つの円領域と、その下方に画像下端まで延びる台形領域が自動で設定され、それぞれの領域は、
図6の分割ブロック同様、類似度の低下の順や重み付けを用いた識別に利用できる。通信装置10と11の間の無線伝送路は、空中に円柱状に形成されていると考えられ、その断面は、自己の通信装置10のごく近くでは、
図7の外側の円のように、通信装置11の像よりかなり大きくなる。
【0062】
[通信障害予測処理:
図8]
上述したように、本装置では、実際に通信障害により受信信号強度が劣化する前に、画像を監視することでその兆候を発見し、原因を推定し、画像情報及び推定原因を含むアラート情報を送信する通信障害予測処理を行う。
通信障害予測処理の概要について
図8を用いて説明する。
図8は、本装置における通信障害予測処理の概要を示すフローチャートである。
通信障害予測処理は、本装置の特徴部分であり、制御部100が、各部と協働してハードウェア資源を用いて実行するものである。
【0063】
図8に示すように、本装置は、まず、通信相手となる無線通信装置11への見通しを判断するための基準画像を生成する(S101)。基準画像は、後述する画像解析処理のテンプレートマッチングにおいて、撮像画像と比較されるテンプレートになる画像である。
S101では、少なくとも1つの基準画像が、装置設置時や視界が良好な状態において、撮像部150により撮像された画像を平均化することで生成される。後述するように、昼夜(時刻)や天候、季節等の環境に応じて複数の平均化画像が記憶され、その中から選択した1つを基準画像として用いることができる。基準画像は、画像処理部160によって所定のデータフォーマットに変換されて、記憶部110に記憶される。
また、後述するように、本装置は、撮像画像の解析を行う毎に基準画像の信頼性をチェックして、必要であれば基準画像の更新或いは切替えを行う。
【0064】
更に、本装置は、監視対象となる監視領域70及び分割監視領域80を設定し、記憶部110に記憶する(S102)。
装置の運用が開始されると、本装置は、定期的に現状を撮影する現状撮像処理を行う(S104)。現状撮像処理については後述する。
【0065】
そして、本装置は、撮像を行うと、撮像条件が良好であるか、つまり撮像画像の信頼性が高いかどうかを判断する(S106)。例えば、画像が暗かったり、基準画像との差分が非常に大きかったりした場合、撮像画像もしくは基準画像の信頼性が低い。
撮像画像の信頼性が高くないと判断した場合には(Noの場合)、本装置は処理S130に移行する。これにより、信頼性の低い画像に基づいてアラートを発報してしまう誤発報を防ぐ。
【0066】
一方、処理S106で撮像画像の信頼性が高い場合には(Yesの場合)、当該撮像画像を用いて画像解析処理を行う(S110)。画像解析処理では、監視領域70及び分割監視領域80について基準画像と撮像画像とを比較して、類似度を算出し、更に類似度に重み付けして指標値を算出し、更に指標値の時間的な変化を加味したスコアを算出する。スコアは、当該撮像画像での監視領域及び分割監視領域の状態が、通信異常が発生する可能性が高いかどうかを判断するための指標となる値である。
本装置では、類似度の算出において、明るさの変化に強い正規化相互相関によるテンプレートマッチングによって類似度を算出することにより、明るさの違いによる誤発報を低減する。
画像解析処理については後で説明する。
【0067】
そして、本装置は、画像解析処理(S110)で算出されたスコアがアラート発報の基準となるスコアの閾値以下であるかどうかを判断し(S112)、閾値以下(類似度の低い状態が一定期間継続している場合)であれば(Yesの場合)、アラート発報処理を行う(S120)。発報されるアラート情報には、撮像画像データと、推定された障害の原因を示す情報とが含まれうる。アラート発報処理については後述する。
【0068】
また、処理S112で、スコアが閾値を超えていた場合(類似度が高い、又は類似度の低い状態が一定期間継続していない場合)には(Noの場合)、基準画像更新処理を行って(S130)、処理S104に移行して現状の監視を続ける。基準画像の更新時定数は、障害物30の建築に進展が確認できる程度の時間に設定され、通常は数日以上である。
【0069】
図8に示すように、処理S104から処理S130の間はループになっており、通常は、タイマー部180から指示されるタイミングで処理S104が開始される。
ループ処理の実行間隔は、例えば10分〜1日程度であり、保守装置20から任意に設定可能としており、記憶部110に記憶されると共にタイマー部180に設定されている。
また、信号強度測定部130が測定した受信信号強度が、予め設定され記憶部110に記憶された信号強度撮像閾値を下回った場合、あるいはユーザが任意に実行を指示した場合は、定期的な実行間隔によらず直ちにS104〜S130を実行するようにしてもよい。
【0070】
後述するように、本装置の通信障害予測処理では、昼夜や天候を考慮した処理を行って、正常時と現状との差分を正確に算出し、通信障害とは関係ない明るさの変化に過度に反応しないようにして、アラートの精度を向上させるものである。
また、監視領域70だけでなく、分割監視領域80の分割ブロック毎に画像の類似度を算出してそれに基づいて通信障害発生を予測して、きめ細かい現状認識を可能とすると共に、分割ブロック毎の類似度の変化によって通信障害の原因推定を可能とするものである。
以下、通信障害予測処理内の処理ブロックについて具体的に説明する。
【0071】
[現状撮像処理:
図9]
次に、
図8の処理S104に示した現状撮像処理について
図9を用いて説明する。
図9に示すように、現状撮像処理では、制御部100は、タイマー部180からの撮像のタイミング等に基づいて撮像部150に指示を出力し、撮像部150は撮像を行う(S201)。この撮像は、1回の露出によるものに限らず、複数回の撮影により取得した複数の画像を平均化し、1つの撮像画像として出力することを含む。数分の間に撮影した数1000枚のRAW画像を平均化することで、S/Nを改善することができる。このとき、露出(シャッタ速度や絞り)やフォーカスを変化させながら撮影してもよい。軸上色収差が大きいレンズでは、フォーカスの微動により、いずれかの色で合焦が改善した画像が得られる。
そして、画像処理部160が撮像画像を所定のデータフォーマットに変換し(S202)、変換された撮像画像を撮像画像データとして記憶部110に記憶する(S203)。基準画像と同じデータフォーマットに変換することにより、基準画像と撮像画像との比較を行うことができるものである。
【0072】
そして、制御部100は、現時点の昼夜を判定する(S204)。これは、昼と夜とでは画像の明るさやホワイトバランス等が異なるため、基準画像を切替えたり、それを考慮して基準画像との差の有意性を判断したりする。
昼夜の判定方法は、例えば、予め記憶部110に本装置が設置された地点の緯度と経度における日の出日の入りの時刻を記憶しておき、制御部100が、タイマー部180から現在の日時を取得して、記憶された日の出日の入りの時刻と比較して昼夜を判定する。
【0073】
更に、制御部100は、現時点の日照(天候)条件を判定する(S205)。
昼であっても晴天時と曇天や雨天時、霧が発生している場合等では日照の状態が異なり、その違いによって陰影のできかた等が変化するため、基準画像との差分が大きくなってアラートを発報してしまうのを防ぐためである。日照条件のうち照度は、画像処理部160によって、画面全体あるいは人工的な光の影響を受けにくい領域の輝度の平均値等で表される明るさによって表現できる。
【0074】
日照条件のうち大気透明度は、コントラストの大小を計測することにより、コントラストが小さい場合に、霧や雪等の視認性が悪い(視界が不良)状態を認識したり、画面全体のS/N比を求める方法等がある。或いは、ネットワーク経由で外部から気象情報データを取得して利用してもよい。なお日照条件が精度良く得られれば、S204の昼夜も自ずと判定できる。
【0075】
昼夜判定の結果及び日照条件の判定結果は、撮像時の明るさ(照度)やコントラスト、S/N比を示す情報を含み、制御部100は、これらの判定結果を明るさ情報として撮像画像データに対応付けて記憶部110に記憶し(S206)、現状撮像処理を終了して
図8の処理S106に移行する。
【0076】
図8の処理S106では、制御部100は、記憶部110に記憶された明るさ情報に基づいて撮像画像の信頼性を評価し、例えば、視認性が悪い(よく見えない)場合や、コントラストやS/N比が基準画像とかけ離れている場合には、画像の信頼性が低いと判断することができる。
【0077】
[画像解析テーブル:
図10]
ここで、記憶部110に記憶されている画像解析テーブルについて
図10を用いて説明する。
図10(a)は、監視対象となる領域を示す図であり、(b)は、画像解析テーブルの一例を示す説明図である。
図10(b)に示す画像解析テーブルは、撮像画像データに対応して、
図10(a)に示した監視対象の監視領域70及び分割監視領域80の各分割ブロック8について、算出された類似度、各種統計値、及び、通信障害発生の有無を予測するため予め設定される各種データを記憶するテーブルである。
画像解析テーブルに記憶されたデータは、当該撮像画像での監視対象の状態が正常であるか異常であるかを判断するための指標値を算出する際に用いられる。
【0078】
具体的には、
図10(b)に示すように、画像解析テーブルは、監視領域70と、分割監視領域80の12個の分割ブロック8のそれぞれについて、類似度と、類似度の平均値と、標準偏差と、しきい値と、正規化補正の補正値と、領域重み付け係数と、信頼度とを記憶しており、また、監視対象の領域全体に対応して、重み付き統合類似度と、正常/異常のクラスと、スコアとを記憶する。
【0079】
各項目について説明する。
類似度は、後述する画像解析処理において算出された値であり、類似度が高いと通信障害発生の可能性は低く、類似度が低いと通信障害発生の可能性は高くなる。
ここでは、無線通信装置11の近傍である監視領域70の類似度は0.95と高い値であるが、分割監視領域80の右下ブロックである分割ブロック8(4,3)の類似度は0.41と低くなっている。
【0080】
平均は、現在から一定期間の過去において算出された類似度の平均値であり、標準偏差(σ)は、同じ一定期間において算出された類似度の標準偏差である。
平均及び標準偏差は、画像解析処理により類似度が算出されるたびに更新される。平均及び標準偏差を厳密に計算しようとすると、一定期間において算出された全ての類似度の値を保持しておく必要があるため、現在記憶している平均値、標準偏差と類似度から、近似的に計算してもよい。
【0081】
閾値は、各領域の類似度を正常か異常かに分類する基準の値であり、予め与えられる値である。閾値よりも大きければ正常、閾値以下であれば異常とする。
本実施形態では、閾値を領域毎に異なる値としており、
図10の例では、(平均値−2σ)か、0.80のいずれか低いほうとしている。例えば、監視領域70のしきい値は、0.79であり、分割ブロック8(2,1)のしきい値は0.62である。また、全てのしきい値を同じ固定の値としてもよいし、(平均値−3σ)としてもよい。
尚、本形態では、後述する重み付き統合類似度を用いて画像の総合的な評価を行うため、閾値は必須ではないが、閾値を用いた各監視領域や分割ブロック毎の判断を主体とし、異常と判定された領域の数や、異常な領域の出現する順序関係などに基づいて総合的な判断をする実施形態とすることも可能である。
【0082】
また、正規化補正の補正値は、領域間で類似度を正規化するための補正値である。領域内の絵柄によって高い類似度の得られやすさがことなるので、例えば類似度の平均値が低い領域に、1より大きな補正値を与え、類似度を補正する。
領域重み付け係数は、領域の空間的位置等に由来する重要度に応じて類似度に重み付けする係数であり、各領域の類似度を、総合的な通信障害発生の有無の判定にどの程度反映させるか、寄与の度合いを調整するものである。
【0083】
図10(b)の例では、最も重要度の高い無線通信装置11をカバーする監視領域70の領域重み付け係数が最も大きく、0.5であり、分割監視領域80の各分割ブロックの領域重み付け係数は、監視領域70から離れるほど小さくなっている。つまり、監視領域70を占有するような障害物は無線通信に致命的であるが、分割ブロック8(4,3)だけに掛かる障害物は、それが無線通信装置11から近くにある場合に伝送路の一部を遮蔽しうるに過ぎない。なおここでは、領域重み付け係数の合計は1になるようにしている。
【0084】
信頼度は、当該撮像画像に基づいて通信障害発生の有無を総合的に判定する場合に、各領域で算出された類似度を、どの程度寄与させるかを示す指標である。
例えば、
図10(b)の例では、監視領域70は信頼度1.0であり、監視領域の類似度は、通信障害発生の判断に大きく寄与するが、分割ブロック8(4,3)は信頼度0.00であり、今回撮像された撮像画像を用いた通信障害予測の判定において、当該分割ブロックの類似度は全く寄与しないことを示している。
【0085】
画像解析テーブルにおいて、閾値や、正規化補正の補正値、領域重み付け係数、信頼度の各数値は、装置の運用開始前に保守装置20から固定的に設定されてもよいし、画像解析処理において算出される類似度等の値に応じて適応制御してもよい。
【0086】
統合類似度(重み付き統合類似度)は、当該撮像画像と基準画像とが監視対象の領域全体としてどの程度類似しているかを表す指標値である。
後述するように、統合類似度は、監視対象となる各領域の類似度に、画像解析テーブルに記憶された正規化補正値、領域重み付け係数、信頼度を乗算し、それらを合算することよって算出される。類似度に乗じられる係数が3つあることにより、それらの一部を手動設定(固定)、残りを自動設定(可変)にして用いることができる。
【0087】
また、正常/異常のクラスは、統合類似度と、記憶されている統合類似度の閾値とを比較して、当該撮像画像の監視対象の領域が全体として「正常」(1)であるか「異常」(0)であるか、クラス分けした結果である。
更に、スコアは、クラス分けの結果を一定期間に亘って平均或いは蓄積した値である。スコアを算出することにより、正常/異常の状態の時間的な継続状態を反映させるものである。
統合類似度、正常/異常のクラス、スコアは、領域の数と必ずしも一致せず、テーブルの形態で保持される必要はない。
【0088】
更に、本装置では、画像解析テーブルのデータを一定期間記憶部110に保持しておき、アラート発報の際にそのデータを用いて通信障害の原因推定を行うものである。★
【0089】
[画像解析処理:
図11]
ここで、
図8の処理S110に示した画像解析処理について
図11を参照しながら説明する。画像解析処理の主な内容は、制御部100又は画像処理部160が、
図10で示した画像解析テーブルに基づいてスコアを算出することである。
最初にS301として、撮像画像の平均画像を更新し、記憶部110に記憶する。平均画像は、過去から現在までの特定期間の撮像画像を指数移動平均して得られる画像であり、昼夜(時刻)や天候、季節等に応じて複数のバージョンが作成され得る。S301の更新は、現在基準画像に採用されている平均画像そのものを置き換える様態や、採用された平均画像とは別個に生成する様態で行われ、別個に生成された平均画像は、採用された平均画像が(一時的に)適切でなくなった時などに、代わりに利用されうる。
【0090】
平均画像を更新するのは、
図8の処理S106で撮像画像の信頼性が高いと判断された場合である。平均画像データの更新は、ユーザが通信装置を設置した直後や、ユーザによる目視によるチェックがされた直後で、天候条件のよい数日間など、映像に異常がないことが既知な時のみ実行するようにしてもよい。
【0091】
次にS302として、テンプレートマッチングにより基準画像と撮像画像とを比較して、類似度を算出する(S302)。
具体的には、基準画像と撮像画像の、監視領域70及び分割監視領域80について類似度を求める。基準画像には、
図9の現状撮像処理で取得した昼夜や天候といった情報(明るさ情報)に基づいて、複数の平均画像の中から最適な1つが選択される。
類似度の算出は、同じ位置(同じ座標)の領域の画像データの比較によるものであり、基準画像と撮像画像の監視領域70同士、及び分割監視領域80の分割ブロック8(1,1)〜8(4,3)同士を比較して類似度を算出する。
【0092】
その際、本装置では、テンプレートマッチング法の一種で、明るさ変化に強い正規化相互相関に基づいて演算を行う。正規化相互相関は、従来の輝度差による判定に比べて、明るさの変化を過度に検出しないので、多くの種類の平均画像を持たなくても、明るさの違いによるアラートの誤発報を低減できるものである。
【0093】
基準画像データの監視領域70の画素の輝度をT、撮像画像データの監視領域70の画素の輝度をIとし、監視領域70を幅M、高さNの矩形とする場合、正規化相互相関に基づく類似度R
znccは、式(1)で表される。
【0095】
類似度の演算については、正規化相互相関の代わりに、ヒストグラム等化等のコントラスト補正後にSAD(Sum of Absolute Difference)を求めてもよく、等化後のヒストグラムの類似度(ヒストグラムインターセクション)を用いてもよい。或いは、画素値ベクトルを入力する特異スペクトル変換法(Singular Spectrum Transformation)で得られる特異ベクトルの内積値、SIFT(Scale-Invariant Feature Transform)等の特徴量での比較(距離)等を用いてもよい。
分割監視領域80の各分割ブロック8についても同様に算出する。
そして、制御部100は、監視領域70及び分割監視領域80の各分割ブロックについて算出された類似度を、上述した画像解析テーブルに一時的に保持する。更に、各領域について類似度の平均値や標準偏差も算出して、画像解析テーブルに保持する。
【0096】
正規化相互相関を用いることによって、保持する平均画像の数を減らすことができるが、S104の現状撮像処理で取得した明るさ情報が、より多くの種類の詳細な撮影環境を示している場合、明るさ情報に基づいて類似度を補正することにより、更にロバスト性を向上させることができる。
【0097】
次にS303として、制御部100は、算出された各領域の類似度について統計或いは時間推移解析等を行い、対応する領域の閾値、領域重み付け係数、信頼度を決定し、画像解析テーブルに保持する。これら閾値等を固定値として運用する場合、S303は不要、或いは設置後の一定期間のみ行う。
例えば、過去3ヶ月間の各日の同時刻に取得した撮像画像データの類似度の平均及び標準偏差(σ)を算出し、平均値−2σや、平均値−3σを閾値とする。
【0098】
また、信頼度については、類似度の標準偏差が他の領域よりも著しく大きい領域など、分割監視領域80全体の類似度の傾向と明らかに異なる領域の信頼度を低く設定する。
特に、撮像画像データの明るさ情報が基準画像の明るさ情報と著しく異なる領域については、処理S303で当該領域の信頼度を低くして、判定に対する寄与率を小さくする。
更に、天候条件やノイズの影響を受けやすく、誤報の実績が多い領域に関して信頼度を低く設定する。
また、長期に亘って類似度の平均が低い領域についても信頼性が低いものとして、信頼度を低く設定する。
【0099】
或いは、ある領域の現在の類似度または過去短期間の平均類似度に基づいて、他の領域の領域重み付け係数や信頼度を変化させてもよい。例えば、障害物30の建設が、下から上に進行することに対応して、分割ブロック8(4,2)の類似度が低い時、その上方に位置する分割ブロック8(3,2)の重みを増加させる。これにより、障害物30が分割ブロック8(3,2)と8(3,2)の両方に映り込んだ時に、実質的に線形加算を上回る重みを与えることができ、更に、分割ブロックに映り込む順序によって重みを異ならせることもできる。この様に、領域間の共起性の考慮された統合類似度を算出することができる。
【0100】
本装置では、信頼度を設定するための基準となる情報が記憶部110に記憶されており、制御部100はこれに基づいて各領域の信頼度を設定する。信頼度を調整することにより、通信障害発生の判定において、現在の監視対象が正確に反映されている信頼性の高い領域の類似度の寄与を大きくすると共に、正確に反映されていない恐れのある信頼性の低い領域の類似度の寄与を低減し、判定の精度を向上させることができる。
【0101】
次にS304として、制御部100は、類似度及び画像解析テーブルに記憶されている数値を用いて、統合類似度(統合指標値)を算出する。
統合類似度は、領域毎の(類似度×領域重み付け係数×正規化補正値×信頼度)の値の総和を、信頼度の総和で除算することで算出される。すなわち、
統合類似度 = Σ(類似度×領域重み付け係数×正規化補正値×信頼度)/Σ信頼度 である。
【0102】
統合類似度は、当該撮像画像で解析された監視対象の領域が、全体として、基準画像とどの程度類似しているかを示す指標値であり、重要な領域や信頼性の高い領域の類似度の寄与が大きくなっている。
【0103】
次にS305として、制御部100は、算出された統合類似度について、正常/異常のクラス分けを行い、正常であれば「1」、異常であれば「0」を画像解析テーブルに記憶する。簡易な例では、現在の統合類似度を、記憶部110に記憶されている統合類似度の閾値と比較することで、正常/異常を判断する。
【0104】
更に複雑な手法としては、上記統合類似度は用いずに、機械学習アルゴリズムの一種であるランダムフォレスト(Random Forest)や1クラスサポートベクターマシン、エイダブースト(AdaBoost)などの学習手法によって、時空間方向の類似度の多変量の分布を学習しておき、現在から過去一定期間の類似度(領域重み付け係数等が乗じられている)を入力することで、正常クラスと異常クラスに分類するなどの方法をとってもよい。
なお、時間空間方向必ずしも2クラスで分類する必要はなく、「不確定」などのクラスを設けてもよいし、異常クラスもカメラのずれや障害物など原因ごとにクラスを分けてもよいし、クラスのような離散量でなく、識別器出力そのままの連続量でもよい。
【0105】
最後にS306として、制御部100は、各領域のクラス分けの結果に基づいて、すぐに発報すべきかどうかを示す指標であるスコアを算出する。スコアは、例えばその値をしきい値処理するだけで、監視対象の領域において異常な状態が継続しているか否かが容易に判断できるような値であり、例えば、直近3日間のクラス分け結果の平均値である。
S306の後、
図8の処理S112に移行する。スコアに基づいて異常状態を検出することにより、駐車車両や通行人、又は鳥が止まっているといった一時的な画像変化による異常検出を防ぐことができる。
S306の後、
図8の処理S112に移行する。
【0106】
そして、
図8の処理112では、制御部100は、算出されたスコアに基づいて、直ちにアラート発報を行うかどうかを判定する。
例えば、算出されたスコアが記憶部110に記憶されているスコアの閾値(例えば0.2とする)以下となった場合、保守装置20に対してアラート情報を送信するアラート発報処理を行う。
【0107】
スコアが閾値以下になるのは、「異常」にクラス分けされる状態が一定期間継続している場合や、「正常」と「異常」が混在するが「異常」が多い、つまり「異常」な状態が断続的に続いている、といった不安定な状態が継続している場合である。
これにより、本装置では、鳥や飛翔体、建築機械等による一時的な画像変化による異常検出を防ぎつつ、建築中の建造物などのゆっくりであるが確実に進行し伝送路に干渉する恐れのある障害物を、実際に通信電波を妨害する前に、察知して報知することができるものである。
【0108】
尚、簡便な処理として、処理S306でスコアとして「異常」にクラス分けされる状態が継続している期間を求めるようにしてもよい。
その場合、
図8の処理S112で、「異常」が継続している期間が予め設定された特定期間(閾値)を超えた場合、例えば、「異常」と判定された場合にアラート発報処理(S120)に移行する。
【0109】
[アラート発報処理]
次に、
図8のアラート発報処理S120の詳細について、
図12を参照して説明する。
アラート発報処理S120は、原因推定処理S401と、アラート発報実行処理S402を含む。
原因推定処理S401では、制御部100は、記憶部110に記憶されている現在までの特定期間の画像解析テーブルのデータや受信信号強度のデータに基づいて、異常発生の原因を推定し、必要に応じてスクリーニングをする。具体的には、特徴量(各領域の類似度や受信信号強度)の空間的分布や時間的分布を求め、記憶部110に記憶されている原因推定テーブル(
図13)と比較して、変化傾向に基づいて異常の原因を推定する。原因推定処理S401は、S306の判断のみでは誤報が生じうる場合に有効であるが、必須ではなく、省略できる。
【0110】
例えば、分割監視領域の類似度が、下段の分割ブロックから順次低下していることを検出した場合には、制御部100は、原因推定テーブルに基づいて、新規建造物による障害であると推定する。本装置では、各特徴量の変化傾向を検出するためのパラメータ等を記憶しており、制御部100はそれに基づいて特徴量の変化傾向を検出する。原因推定テーブルの例については後述する。
【0111】
また、例えば、機械学習手法によって、予め正常時と各種の通信阻害要因がある場合とで、時空間方向の類似度の分布を学習しておき、その学習結果と実際に記憶部110に記憶された画像解析データ及び受信信号強度データを比較して、原因を推定してもよい。
【0112】
更に、当該装置で通信障害の発生を予測している場合、対となる相手装置でも同様に通信障害発生を予測している可能性が高いため、相手装置の処理結果を通信等により取得して、自装置での処理結果と共に相手装置の処理結果を考慮して原因を推定してもよい。
【0113】
アラート発報実行処理S402では、制御部100は、直近の撮像画像データと、推定した原因の情報とを含むアラート情報を保守端末20に対して送信し(S402)、
図8の処理S130に示した基準画像更新処理に移行する。
【0114】
また、アラート発報後、制御部100は、保守端末20から、ユーザによって撮像画像データ等が解析された結果を受信して、当該アラート発報の正誤や、真の原因を取得して、以降の処理を調整することも可能である。例えば、誤発報であった場合や推定原因が誤っていた場合、次回の撮像時において、画像解析テーブルの領域毎の信頼度に反映させることで、更に精度を向上させることが考えられる。
【0115】
[原因推定テーブル:
図13]
次に、原因推定テーブルについて
図13を用いて説明する。
図13は、原因推定テーブルの説明図である。
原因推定テーブルは、原因推定処理S401において、スコアの元となった類似度等に立ち戻ってアラートの発生原因を推定するためのもので、特徴量の変化傾向(パターン)と、そのような変化傾向が出現した際に考えられる原因の可能性とを対応付けて記憶している。
図13の例では、変化傾向に対応して、新規建造物、装置ずれ、カメラ故障/汚れが原因となる可能性を3段階で表して記憶している。
【0116】
例えば、類似度が分割監視領域80の下段の分割ブロック8から順に低下している場合、新規建造物の可能性が高く、カメラ故障や汚れであることも考えられる。但し、装置ずれの可能性は低い。
同様に、相手側通信装置11において、本装置と同様の通信障害予測処理で異常と判定している場合、新規建造物の可能性が高く、他の原因である可能性は低い。
また、相手側通信装置において正常と判断している場合、相手からの見通しは良好であるため、新規建造物よりは、装置ずれやカメラ故障/汚れの可能性が高くなる。
【0117】
更に、
図13には示していないが、全ての分割ブロックで同時に類似度が低下している場合には、カメラのずれや天候ノイズの影響の可能性が高い。
本装置では、制御部100が、原因推定処理S401の時に、記憶されている画像解析データや受信信号強度データの傾向を求め、
図13の原因推定テーブルと照合して、可能性の高い原因を特定している。アラート情報として送信する推定原因は、1つでもよいし、可能性の高い順に複数個としてもよい。原因推定処理は容易にプログラム可能なシェルスクリプト等で記述され実行されることが望ましく、原因推定テーブルはそれらスクリプト内に記述され得る。
【0118】
[基準画像更新処理:
図14]
次に、
図8の処理130に示した基準画像更新処理について
図14を用いて説明する。
図14は、基準画像更新処理を示すフローチャートである。
図14に示すように、基準画像更新処理が開始されると、制御部100は、現在の基準画像の信頼性を評価する(S501)。
基準画像の信頼性は、制御部100が、アラートの発生頻度や、画像解析処理において分割監視領域の類似度の時間推移を解析して得られる類似度の平均値や標準偏差を解析して基準画像の信頼性を示す指標値を算出し、指標値を予め設定された基準画像の信頼性を示す指標値の閾値と比較して、基準画像の信頼性を評価する。
【0119】
また、基準画像の信頼性を保守員等が目視により判断してもよい。例えば、アラート発生時の原因推定処理S401で、原因が、通信への影響がないものであると推定されていた場合には、基準画像データの信頼性は低いと評価される。通信への影響がない原因としては、季節変化や通信装置のずれ等がある。
【0120】
そして、制御部100は、算出された指標値を閾値と比較して、信頼性が低いかどうかを判断する(S502)。
指標値が閾値以上であって、基準画像の信頼性が低くない場合(Noの場合)、基準画像の更新は不要であるため、基準画像更新処理を終わる。
【0121】
また、処理S502で指標値が閾値未満であって、基準画像の信頼性が低い場合(Yesの場合)、制御部100は、記憶部110に記憶されている基準画像を更新し(S503)、基準画像更新処理を終わる。
新たな基準画像は、撮像条件が良好であれば現在時刻の画像でもよいし、記憶されている平均画像でもよい。
【0122】
尚、基準画像の信頼性が低い状態としては、初期撮像画像にノイズが多く運用当初から類似度が低い状態が続く場合や、あるいは初期撮像画像の撮像時と季節や周辺環境が変化し、類似度が低くなっている場合が想定される。
従って、運用当初は、類似度が高い状態が一定期間観測されなければ、基準画像の信頼性が低いとみなして自動更新してもよい。
また、長期運用時に類似度が低下する傾向を示した場合は、保守員によって通信障害発生の異常がないことを確認した上で、基準画像データを定期的にメンテナンス更新してもよい。
【0123】
そして、制御部100は、
図8の処理S104に移行して、次のタイミングで再び現状撮像処理を実行する。
このようにして本装置の処理が行われるものである。
【0124】
これにより、本装置及び本システムでは、保守員が無線通信装置10,11の設置場所に頻繁に行かなくても、「見通し」内の障害物や、障害が発生しつつある状況を、実際に通信障害が発生する前に検知することができるので、通信障害を未然に防ぎ、通信の信頼性を向上させることができるものである。
また、保守員は、保守装置20を監視することで、通信障害となりそうな異常な状態を発見することができ、保守の負荷を大幅に軽減することができるものである。
尚、上記実施の形態の構成及び動作は例であって、本発明の主旨を逸脱しない範囲で適宜変更して実行できる。