電波伝搬シミュレーションモデルを作成する作成方法において、通信エリアを3次元レーザースキャナーによりスキャンし、測定点ごとの3次元座標を取得して点群データを作成するステップと、点群データと点群データに対応する通信エリアの画像データとを取得して、画像データの画像から物体の領域を抽出するとともに、抽出された物体の種類を分類用データを参照して認識するステップと、物体の種類ごとに媒質定数を対応付けて記憶するデータベースを参照して、認識された物体の種類に対応する媒質定数を推定するステップと、推定された物体の媒質定数と、点群データにより得られる物体の3次元座標とに基づいて、通信エリアにおける電波伝搬シミュレーションモデルを作成するステップとを有する。
請求項5または請求項6に記載の電波伝搬シミュレーションモデルの作成装置が行う処理をコンピュータに実行させることを特徴とする電波伝搬シミュレーションモデルの作成プログラム。
【発明を実施するための形態】
【0017】
以下、図面を参照して、本発明に係る電波伝搬シミュレーションモデルの作成方法、作成システム、作成装置および作成プログラムの実施形態について説明する。
【0018】
図1は、本実施形態に係る電波伝搬シミュレーションモデルの作成システム100(以降、作成システム100と称する)の構成例を示す。
図1において、作成システム100は、通信エリアをレーザースキャナーによりスキャンして点群データを取得するまでの一連の処理を行う点群データ作成ブロック101と、点群データを入力して電波伝搬シミュレーションデータを算出するまでの一連の処理を行うシミュレーションデータ作成ブロック102と、インターネットなどから屋内・屋外の大量の2次元画像データを取得して分類用データを学習する分類用データ蓄積ブロック103とを有する。ここで、点群データ作成ブロック101、シミュレーションデータ作成ブロック102および分類用データ蓄積ブロック103は、請求項における点群データ作成部、シミュレーションデータ作成部およびデータ蓄積部にそれぞれ対応する。
【0019】
図1において、点群データ作成ブロック101は、レーザースキャン部201、緯度経度取得部202、出射角度取得部203、画像取得部204および面素処理部205を有する。そして、点群データ作成ブロック101は、点群データファイル206を作成してシミュレーションデータ作成ブロック102側に出力する。
【0020】
先ず、点群データ作成ブロック101の各部の動作について説明する。
【0021】
レーザースキャン部201は、3次元レーザースキャナーを有し、3次元レーザースキャナーから対象物に照射される光の反射光の強度をモニタして対象物までの距離を計測する機器である。レーザースキャン部201は、例えば機器本体を水平面上で回転させる機構と、レーザー光を垂直方向に振る機構とを有し、メッシュ状に通信エリア内の全方向をスキャンすることができる。このようにして、レーザースキャン部201から対象物(測定点)までの相対距離が計測される。ここで、
図2は、複数台のレーザースキャン部201を設置して、測定点との相対距離を計測する例を示す。なお、
図2において、レーザースキャン部201aおよびレーザースキャン部201bは、
図1で説明したレーザースキャン部201と同一又は同様の機器である。例えば、レーザースキャン部201aは、レーザーの出射方向を水平面上で回転させながら垂直方向に振る機構を有し、メッシュ状に全方向をスキャンする。そして、レーザースキャン部201aは、通信エリア内の測定点から反射される光の強度に基づいて、測定点との距離を計測する。同様に、レーザースキャン部201bは、レーザースキャン部201aとは異なる位置において通信エリア内の測定点ごとの距離を計測する。このように、異なる位置に設置された複数台のレーザースキャン部201で測定点ごとの距離を計測することにより、測定精度や分解能が向上する。
【0022】
緯度経度取得部202は、レーザースキャン部201が設置されている地理的な位置を示す絶対座標(緯度,経度,標高)を例えばGPS(Global Positioning System)などにより取得する。
【0023】
出射角度取得部203は、レーザースキャン部201がレーザーを出射する角度(例えば、垂直方向の角度及び水平面上の回転角度)を取得する。ここで、各角度は、例えばエンコーダー、ジャイロセンサ、オドメータなどにより取得される。
【0024】
画像取得部204は、レーザースキャン部201によりスキャンされる通信エリアをカメラで撮影して2次元画像データを取得する。なお、カラーカメラを用いることにより、色情報を取得することができるので、レーザースキャン部201による測定点ごとの色情報が得られる。また、複数台のレーザースキャン部201を用いる場合、画像取得部204は、それぞれのレーザースキャン部201に対応する2次元画像データを撮影するカメラを備える。
【0025】
面素処理部205は、測定点の絶対座標を算出し、さらに、距離空間内に離散的に分布する測定点ごとのデータ(点形式のデータ)を面形式のデータに変換する処理を行う。ここで、測定点の絶対座標は、レーザースキャン部201の絶対座標と、レーザースキャン部201と測定点との間の相対距離およびレーザーの出射角度に基づいて算出可能である。このようにして、面素処理部205は、3次元空間に離散的に分布した全測定点ごとの絶対座標を求める。さらに、面素処理部205は、測定点ごとの絶対座標を示す点形式のデータを物体認識など処理に適した面形式のデータに変換した点群データファイル206を作成する。本実施形態では、点形式のデータを面形式のデータに変換する技術の一つとして知られるドロネー三角形分割法により、点形式のデータを面形式のデータに変換する。ドロネー三角形分割法の場合、例えば、3点で囲まれた三角形部分を1つの面の単位(面素)とする面形式のデータが生成され、これにより、物体の形状の判別がし易くなる。なお、本実施形態では、ドロネー三角形分割法を用いるが、他の手法を用いても構わない。
【0026】
このようにして、点群データ作成ブロック101は、レーザースキャン部201により通信エリアをスキャンして点群データファイル206を作成し、シミュレーションデータ作成ブロック102に点群データファイル206を出力する。
【0027】
次に、
図1において、シミュレーションデータ作成ブロック102について説明する。シミュレーションデータ作成ブロック102は、画像認識部301、物体認識部302、媒質定数推定部303およびシミュレーションデータ算出部304を有する。
【0028】
画像認識部301は、点群データ作成ブロック101が作成した点群データファイル206を入力して、点群データに対応する画像データを取得する処理を行う。なお、点群データに対応する画像データは、画像取得部204により取得された画像データである。
【0029】
物体認識部302は、点群データに対応する通信エリアの画像内の個別の物体を認識する処理を行う。ここで、物体認識部302は、(1)通信エリアの画像を小領域に分割する処理、(2)複数の小領域を1つの領域に結合する処理、(3)結合された領域をCNN(Convolutional Neural Network:畳み込みニューラルネットワーク)により判定する処理、の3つの処理により個別の物体を認識する。これにより、物体認識部302は、レーザースキャン部201によりスキャンされた点群データおよび画像取得部204により取得された画像データから通信エリア内のどの位置にどのような種類の物体が存在するのかを知ることができる。なお、物体認識部302の処理については、後で詳しく説明する。
【0030】
媒質定数推定部303は、物体認識部302が認識した物体ごとの媒質定数(誘電率,導電率および透磁率などの電気定数)を推定する。なお、ここでは、物体認識部302が認識して物体の種類(分類名)が確定した物体を媒質と称する。物体認識部302が認識した媒質の媒質定数の推定は、媒質の種類別に媒質定数が対応付けて記憶された後述の媒質データサーバ403の情報を参照する。例えば、物体認識部302が認識した媒質の分類名が「コピー機」である場合は、媒質データサーバ403に蓄積されているデータベースから「コピー機」を検索し、「コピー機」に対応付けて記憶されている媒質定数を読み出し、当該媒質の媒質定数として割り当てる。このようにして、媒質定数推定部303は、物体認識部302が認識した媒質ごとに媒質定数を適切に推定して割り当てることができる。
【0031】
シミュレーションデータ算出部304は、電波伝搬シミュレーションモデルのデータを算出する。電波伝搬シミュレーションモデルのデータは、通信エリアの三次元空間上のどの位置(領域)にどのような媒質定数の物体があるのかを示す情報を有する。例えば、通信エリア内に「コピー機」がある場合、電波伝搬シミュレーションモデルのデータは、「コピー機」の3次元空間位置に「コピー機」の媒質定数が割り当てられた情報である。
【0032】
このようにして、物体認識部302は、通信エリア内の物体の位置と当該物体の媒質定数とを知ることができるので、精度の高い電波伝搬シミュレーションモデルを自動的に作成することができる。
【0033】
次に、
図1に示した分類用データ蓄積ブロック103の処理について説明する。
図1において、分類用データ蓄積ブロック103は、インターネット401などのネットワーク上から大量の2次元画像データ(以降、特に必要が無い場合は画像データと称する)を取得し、画像データの画像から物体の領域を抽出するとともに、抽出された物体を種類別に分類した分類用データを作成して、媒質データサーバ403に蓄積する画像蓄積部402を有する。なお、媒質データサーバ403は、各媒質ごとに対応する媒質定数の情報が記憶された媒質定数データベース(電気定数データベースと称してもよい)を含む。また、媒質定数データベースは、例えば、非特許文献2などに基づいて事前に作成される。ここで、
図1では、画像蓄積部402を独立したブロックとしたが、画像蓄積部402の処理を画像認識部301および物体認識部302が行ってもよい。
また、本発明に係る電波伝搬シミュレーションモデルの作成装置は、
図1に示したシミュレーションデータ作成ブロック102に相当するが、点群データ作成ブロック101および分類用データ蓄積ブロック103のいずれか又は両方の機能を含めてもよい。また、本発明に係る電波伝搬シミュレーションモデルの作成装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【0034】
画像蓄積部402は、インターネット401などのネットワーク上から取得可能な屋外・屋内に存在する様々な物体の画像データを種類別に大量に取得して、分類用データをCNNにより機械学習する。なお、種類別に大量の画像データをインターネット401上から取得する方法の一つとして、例えば、画像蓄積部402が画像の検索サイトで「分類名(例えば、机など)」を自動入力して検索を実行することにより、インターネット401上の大量の画像データを収集できる。
【0035】
図3は、画像蓄積部402がインターネット401から取得して媒質データサーバ403に蓄積する分類用データの一例を示す。
図3の例では、棚、机、コピー機およびガラス窓の画像データが分類用データとして学習されている。ここで、棚、机、コピー機およびガラス窓などの分類において、同じ種類の物であっても様々な形状、色、材質などがあり、また、見る角度によっても異なる形状に見える場合があり、認識精度を高めるためには、出来るだけ大量の分類用データを学習することが望ましい。本実施形態に係る電波伝搬シミュレーションモデルの作成システム100は、媒質データサーバ403に蓄積された大量の分類用データを参照することにより、物体の認識精度を大幅に向上することができる。
【0036】
次に、
図1で説明した物体認識部302の処理について、詳しく説明する。
(1)通信エリアの画像を小領域に分割する処理
物体認識部302は、通信エリアの画像において、例えば、既存のアルゴリズムで小領域に分割する。ここで、既存のアルゴリズムの一例として、例えば、通信エリアの画像をエッジ抽出し、エッジが連続する部分や囲まれた部分を小領域として分割する方法などが考えられる。或いは、単純に8画素×8画素のブロックに分割して小領域としてもよい。
(2)複数の小領域を1つの領域に結合する処理
物体認識部302は、分割された小領域同士を類似度(色のヒストグラムやテクスチャ、明るさなど)で数値化する。或いは、通信エリアの画像データに対応する点群データの距離情報を利用して、距離の類似度(距離差が予め設定された範囲内)で数値化してもよい。なお、距離の類似度を用いる処理は、次の(2)で説明する処理に適用してもよい。そして、物体認識部302は、各小領域を定量的に評価する混合メトリクスにより類似度の高いものから小領域を結合する処理を行い、所定値以上の類似度の隣接する小領域が無くなるまで繰り返して、最終的な一つの領域に結合する。ここで、結合後の領域の大きさが予め設定された閾値以下の場合に、当該領域を除外する処理を行うようにしてもよい。これにより、ノイズ成分が除去されるので、物体認識の処理時間が短くなり、物体の認識精度が向上する。
【0037】
図4は、物体認識部302による小領域の結合処理後の通信エリアの画像例Aを示す。また、
図5は、他の通信エリアの画像例Bを示す。
図4および
図5において、点線で示した矩形領域は、物体認識部302による小領域の結合処理後の領域を示す。
図4の画像例Aでは、6つの最終的な結合領域が示されている。同様に、
図5の画像例Bでは、4つの最終的な結合領域が示されている。なお、
図4および
図5に示した各例は、領域分類の実施例であり、矩形の枠でそれぞれの物体の領域が示されているが、さらに、色のヒストグラムやテクスチャなどの類似度を用いてピクセル単位でラベル付けを行うことにより、各物体の形状に応じた領域を切り出すことができる。これにより、例えば、棚、机、コピー機およびガラス窓などの物体は、矩形の領域ではなく、見る角度に応じた各物体の形状が切り出され、物体周辺のノイズが除去されるので、物体の認識精度が向上する。
(3)CNNによる判定処理
物体認識部302は、結合された一つの矩形領域(或いは、物体形状に応じて切り出された領域)に対して、周知の技術であるCNNを用いて物体を判定する。CNNは、様々な評価尺度を用いて評価することにより物体らしさをスコアで示すことができ、CNNによる判定により、結合された一つの領域(或いは、物体形状に応じて切り出された領域)の物体の種類(例えば、棚、机、コピー機およびガラス窓など)を判定することができる。
【0038】
このようにして、物体認識部302は、点群データに対応する通信エリア内に存在する物体を認識することができる。
【0039】
図6は、
図1で説明したシミュレーションデータ作成ブロック102の処理例を示す。
図6において、各処理は、画像認識部301、物体認識部302および媒質定数推定部303により実行される。
【0040】
ステップS101において、画像認識部301は、点群データ作成ブロック101により作成された点群データに対応する画像データを取得する。ここで、点群データに対応する画像データは、画像取得部204により取得された画像データである。
【0041】
ステップS102において、物体認識部302は、画像取得部204により取得された画像データの画像から、1つ又は複数の個別の物体を認識する処理を行い、画像上での位置(例えば矩形状の領域)までの絞り込みを行う。ここで、物体の認識は、例えば、画像データの画像と点群データとを組み合わせて行われる。
【0042】
ステップS103において、物体認識部302は、ステップS102で絞り込まれた例えば矩形状の領域において、ピクセル単位で物体領域を抽出する(Segmentation)。そして、物体認識部302は、抽出された物体領域を判別して、分類名(例えば、机、コピー機、窓など)のラベル付けを行う。ここで、物体の判別は、例えば、CNNによる画像認識などが用いられる。特に、本実施形態では、インターネット401などネットワーク上の屋内・屋外の大量の2次元画像データにより機械学習した分類用データを利用することにより、物体の認識精度を向上することができる。なお、ステップS103の処理は、媒質定数推定部303が行ってもよい。
【0043】
ステップS104において、媒質定数推定部303は、媒質データサーバ403に格納されている媒質定数データベースを参照して、ステップS103でラベル付けされた分類名に対応する媒質定数を割り当てる。ここで、媒質定数データベースは、
図1に示した媒質データサーバ403に含まれているものとするが、媒質データサーバ403とは別に媒質定数データベースを設けてもよい。なお、媒質定数データベースでは、分類名別に媒質定数が対応付けられており、分類名に基づいて媒質定数を取得することができる。媒質定数データベースには、例えば表1に示すような情報が記憶され、机の媒質定数:μa,σa,εa、棚の媒質定数:μb,σb,εb、椅子の媒質定数:μc,σc,εc、コピー機の媒質定数:μd,σd,εd、ガラス窓の媒質定数:μe,σe,εe、のような情報が格納されている。
【0045】
なお、分類が同じ机であっても、その材質が木材であったり、金属であったり、プラスチックなど様々なので、媒質定数データベースには、机(木材)の媒質定数:μa1,σa1,εa1、机(金属)の媒質定数:μa2,σa2,εa2、机(プラスチック)の媒質定数:μa3,σa3,εa3、のように、材質別に対応する媒質定数が格納されている。また、ステップS103のCNNによる物体認識の処理においても、材質を含めた物体の認識が行われる。
【0046】
ステップS105において、シミュレーションデータ算出部304は、推定された物体の媒質定数と、点群データにより得られる物体の3次元座標とに基づいて、通信エリアにおける電波伝搬シミュレーションモデルを作成する。電波伝搬シミュレーションモデルのデータは、例えば「コピー機」の位置(領域)と「コピー機」の媒質定数とを対応付けたデータであり、通信エリアの三次元空間上のどの位置にどのような媒質定数の媒質があるかが把握できるデータである。
【0047】
このようにして、本実施形態に係る電波伝搬シミュレーションモデルの作成システム100は、精度の高い電波伝搬シミュレーションモデルを自動的に作成することができる。特に、本実施形態に係る電波伝搬シミュレーションモデルの作成システム100は、3次元レーザースキャナーにより得られる点群データおよび点群データに対応する画像データだけでなく、屋内・屋外の大量の2次元画像データをCNNなどによる機械学習にて最適化した学習済みデータを利用して物体の認識を行うとともに、媒質定数データベースを参照して、認識した物体に媒質定数を自動的に割り当てることができ、精度の高い電波伝搬シミュレーションモデルの作成を自動化することができる。
【0048】
図7は、本実施形態に係る電波伝搬シミュレーションモデルの作成システム100による物体の認識精度を実際に評価した結果の一例を示す。ここで、
図7に示す画像例Aは、
図4で説明した画像例Aに対応し、
図7に示す画像例Bは、
図5で説明した画像例Bに対応する。
図7では、画像例Aおよび画像例Bにおける棚、机、コピー機およびガラス窓の存在割合を求めて比較した結果を示している。ここで、存在割合は、画像中に特定の物体が存在するか否かを示す指標である。
図7の例では、CNNによる物体検出の際の物体らしさを示す評価値(Score)を用いており、最大で1.0(100%)となる。
図7において、画像例Aの場合は、棚の存在割合が0.70(70%)で最も高く、机の存在割合が0.18(18%)、ガラス窓の存在割合が0.12(12%)、コピー機の存在割合が0.01(1%)である。例えば、5%以下のときに当該物体が画像中に存在しないと判定する場合、画像例Aには、コピー機は存在しないと判定できる。一方、画像例Bの場合は、棚の存在割合が0.49(49%)で最も高く、次にコピー機の存在割合が0.20(20%)、机の存在割合が0.18(18%)、ガラス窓の存在割合が0.13(13%)であり、画像例Bには、コピー機が存在する可能性が高いことを示している。
【0049】
このように、本実施形態に係る電波伝搬シミュレーションモデルの作成システム100は、精度の高い物体の認識を行うことができる。なお、画像例Aおよび画像例Bの評価結果では、棚の存在割合が高くなっているが、これは、窓の外のビルを棚として誤認識したためであるが、これは屋外の物体に対する学習量が少ないためであり、屋外の物体の学習量を増加させることにより、このような誤認識は解消されるものと考えられる。
【0050】
図8は、比較例の電波伝搬シミュレーションモデルの作成システム900の構成例を示す。ここで、
図8において、比較例の作成システム900は、
図1に示した本発明の点群データ作成ブロック101に相当するブロックである。従って、
図8のレーザースキャン部901、緯度経度取得部902、出射角度取得部903、画像取得部904、面素処理部905および点群データファイル906は、
図1のレーザースキャン部201、緯度経度取得部202、出射角度取得部203、画像取得部204、面素処理部205および点群データファイル206の各ブロックにそれぞれ対応する。また、
図8において、スキャン位置aに設置されたレーザースキャン部901aおよびスキャン位置bに設置されたレーザースキャン部901bは、
図2で説明した本発明のレーザースキャン部201aおよびレーザースキャン部201bにそれぞれ対応し、レーザースキャン部201aおよびレーザースキャン部201bと同様に動作する。
【0051】
このように、比較例の電波伝搬シミュレーションモデルの作成システム900は、点群データファイル906の作成までを自動化できるが、物体の認識や媒質定数の割り当てなどを自動的に行うことは難しい。このため、比較例の作成システム900では、技術者が点群データを参照して物体の認識を行い、通信エリアの電波伝搬シミュレーションモデルを作成する必要がある。特に、比較例の作成システム900では、認識した物体に対する媒質定数の割り当てについても技術者が手作業で行わなければならず、電波伝搬シミュレーションモデルの作成を自動化することが難しい。
【0052】
図9は、
図8で説明した比較例の電波伝搬シミュレーションモデルの作成システム900の処理例を示す。なお、
図9の各処理は、
図8に示したレーザースキャン部901、緯度経度取得部902、出射角度取得部903、画像取得部904および面素処理部905により実行される。
【0053】
ステップS901において、レーザースキャン部901は通信エリア内の測定点(対象物)までの相対距離を計測する。また、緯度経度取得部902はGPSによりレーザースキャン部901の絶対座標を取得し、出射角度取得部903はジャイロセンサやオドメータによりレーザーの出射角度を取得する。そして、画像取得部904は、レーザースキャン部901によりスキャンされる通信エリアをカメラで撮影して2次元画像データを取得する。
【0054】
ステップS902において、面素処理部905は、レーザースキャン部901により計測された対象物の測定点までの相対距離と、緯度経度取得部902により取得されたレーザースキャン部901の絶対座標と、出射角度取得部903により取得されたレーザーの出射角度と、の情報に基づいて、測定点の絶対座標を算出する。
【0055】
ステップS903において、面素処理部905は、面素処理部205と同様に、ドロネー三角形分割法などにより、面素を生成して点群データファイル906を作成する。
【0056】
このように、比較例の電波伝搬シミュレーションモデルの作成システム900は、点群データファイル906の作成までを自動化できるが、物体の認識や媒質定数の割り当てなどを自動的に行うことは難しい。このため、比較例の作成システム900では、技術者が点群データを参照して物体の認識を行い、通信エリアの電波伝搬シミュレーションモデルを作成する必要がある。特に、比較例の作成システム900では、認識した物体に対する媒質定数の割り当てについても技術者が手作業で行わなければならず、電波伝搬シミュレーションモデルの作成を自動化することが難しい。
【0057】
これに対して、
図1および
図6で説明した本実施形態に係る電波伝搬シミュレーションモデルの作成システム100は、3次元レーザースキャナーにより得られる点群データと点群データに対応する画像データだけでなく、インターネット401などのネットワーク上から得られる屋内・屋外の大量の2次元画像データをCNNなどによる機械学習にて最適化した学習済みデータを分類用データとして物体の認識を行うので、精度の高い物体認識を自動的に行うことができる。さらに、本実施形態に係る電波伝搬シミュレーションモデルの作成システム100では、媒質定数データベースを参照して、認識した物体に対応する媒質定数を自動的に割り当てるので、電波伝搬シミュレーションモデルの作成を自動化することができる。
【0058】
以上、説明したように、本発明に係る電波伝搬シミュレーションモデルの作成方法、作成システム、作成装置および作成プログラムは、3次元レーザースキャナーにより得られた点群データと屋内・屋外における大量の2次元画像データを機械学習にて最適化した学習済みデータを利用することにより、画像データによる物体の判別性能を大幅に向上し、判別した物体の媒質定数を自動的に割り当てることができる。これにより、精度の高い電波伝搬シミュレーションモデルの作成を自動化することが可能となる。