IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ブレインズの特許一覧

特許7492756電波源端末位置検出システム及び電波源端末位置検出方法
<>
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図1
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図2
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図3
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図4
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図5
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図6
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図7
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図8
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図9
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図10
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図11
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図12
  • 特許-電波源端末位置検出システム及び電波源端末位置検出方法 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-22
(45)【発行日】2024-05-30
(54)【発明の名称】電波源端末位置検出システム及び電波源端末位置検出方法
(51)【国際特許分類】
   G01S 5/02 20100101AFI20240523BHJP
   G09B 29/00 20060101ALI20240523BHJP
   G01S 17/89 20200101ALI20240523BHJP
【FI】
G01S5/02 Z
G09B29/00 Z
G01S17/89
【請求項の数】 6
(21)【出願番号】P 2022044212
(22)【出願日】2022-03-18
(65)【公開番号】P2023137825
(43)【公開日】2023-09-29
【審査請求日】2023-12-05
【新規性喪失の例外の表示】特許法第30条第2項適用 令和4年3月1日 令和4年電気学会全国大会講演論文集で発表
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和3年度、総務省、「アクティブ空間無線リソース制御技術に関する研究開発委託契約」に基づく産業技術力強化法第17条の適用を受ける特許出願
【早期審査対象出願】
(73)【特許権者】
【識別番号】500327636
【氏名又は名称】株式会社ブレインズ
(74)【代理人】
【識別番号】100098729
【弁理士】
【氏名又は名称】重信 和男
(74)【代理人】
【識別番号】100204467
【弁理士】
【氏名又は名称】石川 好文
(74)【代理人】
【識別番号】100148161
【弁理士】
【氏名又は名称】秋庭 英樹
(74)【代理人】
【識別番号】100195833
【弁理士】
【氏名又は名称】林 道広
(74)【代理人】
【識別番号】100206656
【弁理士】
【氏名又は名称】林 修身
(72)【発明者】
【氏名】堀内 岳人
(72)【発明者】
【氏名】井深 真治
(72)【発明者】
【氏名】肥後 明豪
(72)【発明者】
【氏名】奥村 篤
(72)【発明者】
【氏名】冨永 真司
【審査官】東 治企
(56)【参考文献】
【文献】特開2021-090088(JP,A)
【文献】国際公開第2019/093136(WO,A1)
【文献】特開2016-045825(JP,A)
【文献】特開2021-034917(JP,A)
【文献】特開2019-174164(JP,A)
【文献】国際公開第2022/038787(WO,A1)
【文献】国際公開第2022/269840(WO,A1)
【文献】井深 真治 ほか,"電波発信源特定のためのLiDARとRGB-Dセンサデータに対する物体検知手法の開発”,令和4年 電気学会全国大会講演論文集 一般講演3 [DVD-ROM] ,一般社団法人電気学会,2023年03月01日,pp.96-97
(58)【調査した分野】(Int.Cl.,DB名)
G01S 5/00-5/14
G01S 7/48-7/51
G01S 17/00-17/95
H04B 7/24-7/26
H04W 4/00-99/00
H04B 17/27
(57)【特許請求の範囲】
【請求項1】
通信用電波を発信する電波源端末の特定空間における位置を検出する電波源端末位置検出システムであって、
運用時に前記特定空間の画像を撮像する撮像手段と、
前記特定空間の全体の3次元地図を、運用開始前に事前に生成する3次元地図生成手段と、
前記3次元地図生成手段にて生成した前記3次元地図を記憶可能な3次元地図記憶手段と、
前記3次元地図記憶手段に記憶されている前記3次元地図と前記撮像手段にて撮像された画像とから前記特定空間における前記電波源端末の3次元位置を特定する3次元位置特定手段と、
前記3次元位置特定手段にて特定された3次元位置を、前記特定空間における電波伝搬を制御可能な電波伝搬制御手段に対して出力する3次元位置出力手段と、
を備える、
ことを特徴とする電波源端末位置検出システム。
【請求項2】
前記3次元地図生成手段は、レーザースキャナを使用したLiDAR-SLAMを含む、
ことを特徴とする請求項1に記載の電波源端末位置検出システム。
【請求項3】
前記3次元位置特定手段は、学習データを与えることによって前記撮像手段にて撮像された画像から前記電波源端末を高精度で検出可能となった深層学習機機能を含む、
ことを特徴とする請求項1または2に記載の電波源端末位置検出システム。
【請求項4】
通信用電波を発信する電波源端末の特定空間における位置を検出する電波源端末位置検出方法であって、
運用時に前記特定空間の画像を撮像する撮像段階と、
前記特定空間の全体の3次元地図を、運用開始前に事前に生成する3次元地図生成段階と、
前記3次元地図生成段階にて生成した前記3次元地図を記憶する3次元地図記憶段階と、
前記3次元地図記憶段階にて記憶された前記3次元地図と前記撮像段階にて撮像された画像とから前記特定空間における少なくとも前記電波源端末の3次元位置を特定する3次元位置特定段階と、
前記3次元位置特定段階にて特定された3次元位置を、前記特定空間における電波伝搬を制御可能な電波伝搬制御手段に対して出力する3次元位置出力段階と、
を含む、
ことを特徴とする電波源端末位置検出方法。
【請求項5】
前記3次元地図生成段階においては、レーザースキャナを使用したLiDAR-SLAMにより前記3次元地図を生成する、
ことを特徴とする請求項4に記載の電波源端末位置検出方法。
【請求項6】
前記3次元位置特定段階は、学習データを与えることによって機械学習された深層学習機機能により前記撮像段階にて撮像された画像から前記電波源端末を検出する段階を含む、
ことを特徴とする請求項4または請求項5に記載の電波源端末位置検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特定空間において通信を行うために電波を発信する電波源端末の位置を検出する電波源端末位置検出システム及び電波源端末位置検出方法に関する。
【背景技術】
【0002】
従来、電波を送受信する電波源端末が在局する特定空間の無線通信状態を制御する技術として、例えば、移動体の現在位置および地形情報に基づいて、移動体が備える指向性可変アンテナのアンテナ指向性を制御することにより、移動体の受信環境が変動する場合でも受信性能を向上させる技術(例えば、特許文献1参照)や、基地局が移動局からの電波の到来方向を推定して、その方向にアレーアンテナの指向性のピークを向けることにより、通信状態を向上させる技術(例えば、特許文献2参照)が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2005-295365号公報
【文献】特開平11-215049号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
これら特定空間の無線通信状態を制御する技術においては、特定空間の電波伝搬を能動的(アクティブ)に制御するために、特定空間内を移動可能な無線局の特定空間内における位置等と特定する必要があることから、これら無線局の位置特定のために電波源の方向をセンシングする電波センサが使用されているが、これら電波センサを使用した場合、無線局の特定空間における2次元的な位置を大まかに特定することしかできず、特定空間の電波伝搬を能動的(アクティブ)に制御するには、位置精度が不十分であるという問題がある。
【0005】
本発明は、このような問題点に着目してなされたもので、位置精度の高い電波源端末位置検出システム及び電波源端末位置検出方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1の電波源端末位置検出システムは、
通信用電波を発信する電波源端末(例えば、無線LAN端末であるデスクトップパソコン1やラップトップパソコン2や携帯端末3)の特定空間(例えば、部屋R)における位置を検出する電波源端末位置検出システムであって、
運用時に前記特定空間の画像を撮像する撮像手段(例えば、RGB-D1カメラ15、RGB-D2カメラ16、RGB-D3カメラ21)と、
前記特定空間の全体の3次元地図を、運用開始前に事前に生成する3次元地図生成手段(例えば、処理装置(A)が、運用前において地図生成モジュールプログラムにて3D地図を生成する部分)と、
前記3次元地図生成手段にて生成した前記3次元地図を記憶可能な3次元地図記憶手段と、
前記3次元地図記憶手段に記憶されている前記3次元地図と前記撮像手段にて撮像された画像とから前記特定空間における前記電波源端末の3次元位置を特定する3次元位置特定手段(例えば、図10に示すように、運用中において処理装置(A)25や処理装置(B)30が端末位置検出モジュールプログラムを用いて端末位置を検出する部分)と、
前記3次元位置特定手段にて特定された3次元位置を、前記特定空間における電波伝搬を制御可能な電波伝搬制御手段(例えば、処理装置(C))に対して出力する3次元位置出力手段(例えば、図12に示す端末DB更新処理におけるステップS8やステップS13において端末情報を送信する部分)と、
を備える、
ことを特徴としている。
この特徴によれば、3次元地図と画像とを用いることによって、電波源端末の3次元位置を高精度に特定することができる。
【0007】
請求項2の電波源端末位置検出システムは、請求項1に記載の電波源端末位置検出システムであって、
前記3次元地図生成手段は、レーザースキャナ(例えば、LiDAR24)を使用したLiDAR-SLAMを含む、
ことを特徴としている。
この特徴によれば、3次元地図の精度を向上できる。
【0008】
請求項3の電波源端末位置検出システムは、請求項1または請求項2に記載の電波源端末位置検出システムであって、
前記3次元位置特定手段は、学習データを与えることによって前記撮像手段にて撮像された画像から前記電波源端末を高精度で検出可能となった深層学習機機能(例えば、処理装置(A)25や処理装置(B)30に記憶されたDNNモジュールプログラムによる機能)を含む、
ことを特徴としている。
この特徴によれば、電波源端末を高精度で検出することができる。
【0009】
請求項4の電波源端末位置検出方法は、
通信用電波を発信する電波源端末(例えば、無線LAN端末であるデスクトップパソコン1やラップトップパソコン2や携帯端末3)の特定空間(例えば、部屋R)における位置を検出する電波源端末位置検出方法であって、
運用時に前記特定空間の画像を撮像する撮像段階(例えば、RGB-D1カメラ15、RGB-D2カメラ16、RGB-D3カメラ21が運用中において秒5回の頻度で撮像する段階)と、
前記特定空間の全体の3次元地図を、運用開始前に事前に生成する3次元地図生成段階(例えば、処理装置(A)が、運用前において地図生成モジュールプログラムにて3D地図を生成する段階)と、
前記3次元地図生成段階にて生成した前記3次元地図を記憶する3次元地図記憶段階と、
前記3次元地図記憶段階にて記憶された前記3次元地図と前記撮像段階にて撮像された画像とから前記特定空間における少なくとも前記電波源端末の3次元位置を特定する3次元位置特定段階(例えば、図10に示すように、運用中において処理装置(A)25や処理装置(B)30が端末位置検出モジュールプログラムを用いて端末位置を検出する段階)と、
前記3次元位置特定段階にて特定された3次元位置を、前記特定空間における電波伝搬を制御可能な電波伝搬制御手段(例えば、処理装置(C))に対して出力する3次元位置出力段階(例えば、図12に示す端末DB更新処理におけるステップS8やステップS13において端末情報を送信する段階)と、
を含む、
ことを特徴としている。
この特徴によれば、3次元地図と画像とを用いることによって、電波源端末の3次元位置を高精度に特定することができる。
【0010】
請求項5の電波源端末位置検出方法は、請求項4に記載の電波源端末位置検出方法であって、
前記3次元地図生成段階においては、レーザースキャナ(例えば、LiDAR24)を使用したLiDAR-SLAMにより前記3次元地図を生成する、
ことを特徴としている。
この特徴によれば、3次元地図の精度を向上できる。
【0011】
請求項6の電波源端末位置検出方法は、請求項4または請求項5に記載の電波源端末位置検出方法であって、
前記3次元位置特定段階は、学習データを与えることによって機械学習された深層学習機機能(例えば、処理装置(A)25や処理装置(B)30に記憶されたDNNモジュールプログラムによる機能)により前記撮像段階にて撮像された画像から前記電波源端末を検出する段階(例えば、図10においてDNNモジュールプログラムが端末相対位置を検出して出力する段階)を含む、
ことを特徴としている。
この特徴によれば、電波源端末を高精度で検出することができる。
【0012】
尚、本発明は、本発明の請求項に記載された発明特定事項のみを有するものであって良いし、本発明の請求項に記載された発明特定事項とともに該発明特定事項以外の構成を有するものであっても良い。
【図面の簡単な説明】
【0013】
図1】本発明の電波源端末位置検出システムを含む電波伝搬制御システムが適用された特定空間としての一例である部屋を示す図である。
図2図1に示す部屋において携帯端末を所持する人の移動後の状況を示す図である。
図3】本発明の電波源端末位置検出システムを含む電波伝搬制御システムの構成を示すブロック図である。
図4】本発明の電波源端末位置検出システムを含む電波伝搬制御システムを含む電波伝搬制御システムを構成する移動ロボットに搭載された電波センサを示す外観斜視図である。
図5図4に示す電波センサの構成を示すブロック図である。
図6】本発明に用いたIRS(Intelligent Reflecting Surface)を示す外観斜視図である。
図7図6に示すIRSの構成を示すブロック図である。
図8】処理装置Aの運用前における3次元地図作成の処理動作を示す説明図である。
図9】処理装置(B)における運用前の初期設定時におけるRGB-Dカメラの位置、姿勢データ作成の処理動作を示す説明図である。
図10】処理装置(A)並びに処理装置(B)において、端末データベース(DB)に記憶される各データが生成される流れを示す説明図である。
図11】処理装置(A)並びに処理装置(C)における端末DBの一例を示す図である。
図12】処理装置(A)における端末DB更新処理を示すフロー図である。
図13】処理装置(C)における伝搬経路制御処理を示すフロー図である。
【発明を実施するための形態】
【0014】
本発明の電波源端末位置検出システムを含む電波伝搬制御システムを実施するための形態を実施例にもとづいて以下に説明する。
【実施例
【0015】
図1は、本発明の電波源端末位置検出システムを含む電波伝搬制御システムが適用された特定空間である部屋Rを示す図であり、図3は、本発明の電波源端末位置検出システムを含む電波伝搬制御システムの構成を示すブロック図である。
【0016】
図1に示すように、本実施例の特定空間である部屋Rは方形状とされているとともに、部屋R内に入室するためのドアが設けられている。また、部屋Rは、ドアが設けられている壁面と対向する壁面から導出されている上面視L字状のパーティションPTにより、電波の発信源となる無線LAN(Wi-Fi)端末であるデスクトップパソコン(DesktopPC)1やラップトップパソコン(LaptopPC)2が載置されている机D1が配置された大空間と、机D2が配置された小空間とに分けられており、小空間は、例えば、会議等に使用できるようになっている。
【0017】
部屋Rには、図1に示すように、ドアを挟む各壁面に無線LAN(Wi-Fi)のアクセスポイント端末(AP)11、12が配置されているとともに、会議室となる小空間への入り口に臨む壁には、無線LAN(Wi-Fi)に使用される周波数帯の電波を高効率にて異なる角度にて反射可能なIRS(Intelligent Reflecting Surface)13が配置されている。
【0018】
これらアクセスポイント端末(AP)11、12は、図1に示すように、スイッチングHUB2を介してインターネット等の外部ネットワークと接続されており、机D1に配置されているデスクトップパソコン1やラップトップパソコン2、更には、部屋Rに入室した利用者が所持しているモバイルフォン等の携帯端末3が、アクセスポイント端末(AP)11、12を介してインターネット等の外部ネットワークとデータ通信することができるようになっている。尚、図1については、外部ネットワークと接続するためのルータ等の機器については省略しているが、外部ネットワークと接続するためのルータ等を設けるようにしてもよいことは言うまでもない。
【0019】
これらアクセスポイント端末(AP)11、12は、公知の無線LAN(Wi-Fi)のアクセスポイント端末と同様に、2.4GHz帯や5GHz帯の電波を使用して、無線LAN端末と双方向の無線通信を行うことができるものであって、特には、無線LAN端末とのセッション状況(通信状況)のデータを後述する管理装置Cに送信する機能や、該管理装置Cからの指示によって指定された3次元位置に向けて指定された周波数(チャンネル)の電波を集中させる3次元ビームフォーミングの機能を有している。
【0020】
尚、これら3次元ビームフォーミングとしては、公知の方法、例えば、5Gの携帯電話にて使用が検討されている平面アンテナアレイによる3次元ビームフォーミングの技術を使用することができる。
【0021】
また、部屋Rの2つの角部の天井には、カラー画像を撮像可能であるとともに被写体までの距離を計測可能なRGB-D1カメラ15とRGB-D2カメラ16とが、図1に示すように、部屋Rの略対角方向を向けて配置されることで、RGB-D1カメラ15は、部屋Rの小空間におけるRGB-D1カメラ15に近い領域を除いたほぼ全領域を撮像可能とされているとともに、RGB-D2カメラ16は、部屋の大空間におけるRGB-D2カメラ16に近い領域とパーティションPTによって隠される領域を除いた領域を撮像および計測可能とされている。
【0022】
これらRGB-D1カメラ15とRGB-D2カメラ16、並びに後述する移動ロボットに搭載されているRGB-D3カメラ21は、いずれも、可視光のカラーイメージセンサを有するRGBカメラと、被写体までの距離(被写体深度)を計測可能な深度カメラとが組み合わされたものとされている。これらRGBカメラは、部屋R内の無線LAN端末、特には、被写体としては小型となる携帯端末を画像により検出可能とするための十分な解像度を有するものであって、画像処理が可能な時間間隔にて画像を撮像可能なものであれば、公知のRGBカメラを使用することができる。尚、本実施例では、これらRGBカメラとしては、後述する処理装置(A)25や処理装置(B)30との接続等を考慮して、LANケーブルにて有線LAN接続可能なものを使用しているが、本発明はこれに限定されるものではなく、これらRGBカメラの画像データを送信する通信インターフェイス(I/F)は、受信側が有する通信インターフェイス(I/F)等の状況を考慮して適宜に選択すればよい。
【0023】
また、深度カメラとしては、本実施例では、装置の大きさが比較的小さいとともに、計測精度が比較的高く、計測に要する時間も短いことから赤外線ToFカメラを使用しているが、本発明は、これに限定されるものではなく、これら深度カメラとしては、使用するRGBカメラの画像との相性等の関係性や、撮像する空間の光の状況(明暗)や、必要な計測精度や計測時間等の観点から、公知のものから適宜に選択すればよい。具体的には、ToFカメラではなく、ToF以外の方式、例えば、複数のカメラ画像の視差から被写体深度を計測するカメラや、放射パターンの大きさや形状で被写体深度を計測するカメラ等の他の方式の深度カメラを使用してもよい。尚、本実施例では、これら深度カメラとしては、処理装置(A)25や処理装置(B)30との接続等を考慮して、LANケーブルにて有線LAN接続可能なものを使用しているが、本発明はこれに限定されるものではなく、深度カメラのデータを送信する通信I/Fは、受信側が有する通信I/F等の状況を考慮して適宜に選択すればよい。
【0024】
また、本実施例では、RGBカメラと深度カメラとを個別に有線LAN接続するようにしているが、本発明はこれに限定されるものではなく、例えば、RGBカメラと深度カメラとが一体化された形態のカメラである場合には、単一の通信I/Fから画像データと深度のデータとを送信するようにしてもよいことは言うまでもない。
【0025】
これらRGB-D1カメラ15とRGB-D2カメラ16は、図1に示すように、LANケーブルとスイッチングHUB1を介して、部屋Rの角部に配置されている処理装置(B)30に有線LAN接続されており、RGB-D1カメラ15とRGB-D2カメラ16にて撮像された画像データや被写体のまでの距離データ(被写体深度データ)が該処理装置(B)30に入力されるようになっている。尚、RGB-D1カメラ15とRGB-D2カメラ16は、1秒間に5回、撮像及び計測とを行って画像データと距離データとを処理装置(B)30に送信するが、これら撮像回数等は、使用するカメラの能力や処理装置(B)30の処理能力や通信I/Fの通信速度等を考慮して適宜に決定すればよい。
【0026】
処理装置(B)30は、ハードウエアとしては、比較的処理能力に優れているとともに故障等が発生し難い高信頼度のものであって、LANの通信IF等を有する公知のパーソナルコンピュータ(PC)を好適に使用することができ、これらパーソナルコンピュータ(PC)に、当該処理装置(B)30に必要とされる機能を付与するための各種プログラムをインストールしたものを使用しているが、本発明はこれに限定されるものではなく、これら処理装置(B)30としては、後述する処理装置(B)30の各機能を提供できるものであれば、どのようなコンピュータであってもよい。
【0027】
処理装置(B)30には、図3に示すような各種の機能を付与するためのモジュールプログラム、並びにこれらのモジュールプログラムが使用する各種データが記憶されている。尚、図3中で、方形状の太い破線がモジュールプログラムを示しており、円柱状の細い破線がデータを示している。
【0028】
処理装置(B)30のオペレーションシステム(OS)にて動作可能なモジュールプログラムとしては、RGB-D1カメラ15やRGB-D2カメラ16の位置や姿勢を、図9に示すように、運用前の初期化時において推定するためのRGB-D1とRGB-D2の位置・姿勢推定モジュールプログラムと、RGB-D1カメラ15やRGB-D2カメラ16から送信されてくる画像データや深度データを、行列式等からなる映像処理データを用いた計算により補正等を行うための映像処理モジュールプログラムと、学習データを与えることによって撮像画像から端末の特定や端末の種類特定を行うことが可能とされた深層学習(Deep Neural Network;DNN)モジュールプログラムと、深層学習モジュールプログラムからのデータや映像処理モジュールプログラムからの映像データとから無線LAN端末の位置検出を行う端末位置検出モジュールプログラムが記憶されている。尚、端末位置検出モジュールプログラムは、RGB-D1カメラ15やRGB-D2カメラ16のそれぞれに対応するように個別に記憶されている。
【0029】
尚、本実施例では、処理装置(B)30においては、後述するように、RGB-D1カメラ15やRGB-D2カメラ16の位置や姿勢推定において処理装置(A)25にて生成された3D地図を使用することから、3D地図を利用する際の利便性等を考慮して、これら3D地図を作成する処理装置(A)25のSLAM用プログラムと同一のSLAM用プログラムを処理装置(B)30にも導入し、該SLAM用プログラムの自己位置推定の機能を利用してRGB-D1カメラ15やRGB-D2カメラ16の位置や姿勢推定を実行するようにしているが、本発明はこれに限定されるものではなく、これらRGB-D1カメラ15やRGB-D2カメラ16の位置や姿勢推定のモジュールプログラムを、処理装置(A)25のSLAM用プログラムとは無関係のものを使用してもよい。
【0030】
また、データとしては、運用前の初期化時において位置・姿勢推定モジュールプログラムにより推定されたRGB-D1カメラ15やRGB-D2カメラ16の位置と姿勢のデータが記憶されているともに、映像処理モジュールプログラムが使用する行列式等を含む映像処理データや、後述するように、運用前の初期化時において処理装置(A)25にて生成される3D地図データが記憶されている。
【0031】
また、処理装置(B)30の近傍位置には、該処理装置(B)30とLANケーブル及びスイッチングHUB2を介して接続されている処理装置(C)40が配置されている。処理装置(C)40にはIRS13がローカル接続されているとともに、アクセスポイント端末(AP)15、16もLANケーブル及びスイッチングHUB2を介して接続されており、ローカル接続されているIRS13の電波反射方向制御を実行可能であるとともに、アクセスポイント端末(AP)15、16の3次元ビームフォーミング制御等を実行可能とされていて、処理装置(C)40が、特定空間である部屋Rの電波伝搬をアクティブコントロールする。
【0032】
尚、処理装置(C)40も、処理装置(B)30と同様に、ハードウエアとしては、比較的処理能力に優れているとともに故障等が発生し難い高信頼度のものであって、LANの通信IFやIRS13をローカル接続するためのI/Fを有する公知のパーソナルコンピュータ(PC)を好適に使用することができ、これらパーソナルコンピュータ(PC)に、当該処理装置(C)40に必要とされる機能を付与するための各種プログラムをインストールしたものを使用しているが、本発明はこれに限定されるものではなく、これら処理装置(C)40としては、後述する処理装置(C)40の各機能を提供できるものであれば、どのようなコンピュータであってもよい。
【0033】
処理装置(C)40には、図3に示すような各種の機能を付与するためのモジュールプログラム、並びにこれらのモジュールプログラムが使用する各種データが記憶されている。具体的には、処理装置(C)40のオペレーションシステム(OS)にて動作可能なモジュールプログラムとして、各アクセスポイント端末(AP)11、12と部屋R内の無線LAN端末との伝搬経路を計算する伝搬経路計算モジュールプログラムと、伝搬経路計算モジュールプログラムにて計算された伝搬経路に対して最適化された3次元ビームフォーミングの方向制御や最適化されたIRS13の反射角度制御を行うためのAP/IRS制御モジュールプログラムとが記憶されている。
【0034】
また、これらのモジュールプログラムが使用するデータとしては、運用前の初期化時において処理装置(A)25にて生成される3D地図データ、各アクセスポイント端末(AP)11、12の部屋R内おける3次元位置座標、各アクセスポイント端末(AP)11、12が通信している部屋R内の無線LAN端末のローカルIPアドレス、MACアドレス、送受信に使用される各電波周波数(チェンネル)、通信レベル等の情報を含むセッション情報が記憶されている通信状況データベース(DB)、処理装置(A)において位置推定された部屋R内の無線LAN端末の3次元位置や該無線LAN端末から発信される電波周波数の情報が逐次更新される端末データベース(DB)(図11参照)、端末DBにおいて使用される端末IDと通信状況データベースにおける端末識別情報となるMACアドレスとの対応関係が記憶される端末対応付テーブルデータ等が記憶されている。
【0035】
尚、本実施例では、各アクセスポイント端末(AP)11、12の3次元位置座標については、3D地図データが記憶される運用前の段階において、処理装置(C)40に直接入力して設定するようにしているが、本発明はこれに限定されるものではなく、これら各アクセスポイント端末(AP)11、12の3次元位置についても、RGB-D1カメラ15やRGB-D2カメラ16の位置検出と同様に、処理装置(B)30或いは処理装置(A)25によって検出して、処理装置(C)40に記憶するようにしてもよい。
【0036】
ここで、処理装置(C)40にローカル接続されているIRS13について、図6図7を用いて簡潔に説明する。IRS13は、図6に示すように、壁に取付けられる方形箱状の本体132と、該本体132から壁面の前方方向に突出するように設けられた電波反射板131と、電波反射板131の背面に設けられて電波反射板131の上下方向の角度を変化可能な垂直駆動部133とから主に構成されている。
【0037】
電波反射板131は、無線LANに使用される2.4GHz帯や5GHz帯の電波を高効率にて反射可能なものであって、例えば、特開2021-141359号に開示されているもの等が例示される。
【0038】
また、垂直駆動部133と本体132とを連結する連結軸は、本体132内部に内蔵されている水平駆動部134によって水平方向に揺動可能とされており、このように水平駆動部134によって連結軸が水平方向に揺動可能とされていることと、垂直駆動部133によって垂直方向の角度が変化可能とされていることによって、電波反射板131の角度を上下左右に変化させることが可能となっており、これら電波反射板131の角度が、本体132内部に内蔵されている駆動制御部135によって、図7に示すように、処理装置(C)40から送信される情報である、垂直角度や水平角度の情報を含む駆動情報の受信に応じて制御されることで、例えば、アクセスポイント端末(AP12からの電波を、小空間内部に向けて反射させることが可能とされている(図2参照)。
【0039】
また、部屋R内には、部屋R内を移動可能とされた移動ロボット20が配置されている。移動ロボット20は、移動を可能とするための無人搬送車(AGV)23上に、電波センサ22を格納可能であるとともに電波センサ22が検出する電波を高効率で透過可能な材質で形成され、その上部にRGB-D1カメラ15やRGB-D2カメラ16と同様の機能を有する比較的小型のRGB-D3カメラ21やLiDAR-SLAM(Simultaneous Localization and Mapping)を行うためのレーザースキャナ(以下、LiDARと表記)24とが配置されているハウジングが搭載されているともに、これらRGB-D3カメラ21、電波センサ22、無人搬送車(AGV)23、LiDAR24に接続されて、部屋Rの3次元地図(以下、3D地図とし略記する)の作成並びに電波センサ22並びにRGB-D3カメラ21からのデータにもとづいて無線LAN端末の検出並びに位置推定を行う処理装置(A)25が搭載されている。
【0040】
ここで、本実施例の移動ロボット20に用いた電波センサ22について、図4図5を用いて簡潔に説明すると、電波センサ22は、図4に示すような外観とされており、無線LANで使用される周波数帯である2.4GHz帯や5GHz帯の電波を受信するための四角板状の平面アンテナアレイ221と、該平面アンテナアレイ221が連結されている連結軸を回転させることで平面アンテナアレイ221を水平方向に回転可能な水平駆動部222と、連結軸と平面アンテナアレイ221との背面との間に設けられ、平面アンテナアレイ221を図示しない回動軸を中心として垂直方向に回動させることが可能な垂直駆動部223とを有している。
【0041】
そして、電波センサ22の筐体内部には、平面アンテナアレイ221に形成されている個々のアンテナからのRF信号が入力される信号処理部224が設けられていて、該信号処理部224が、平面アンテナアレイ221を構成する個々のアンテナからの複数のRF信号にもとづいて、電波源の方向となる電波到来方向や、該到来電波の周波数(計測周波数)、該到来電波の強度(電界強度)を特定し、計測時刻のデータとともに出力する。
【0042】
尚、信号処理部224は、外部からの計測開始指示の入力に応じて電波計測(スキャン)を開始する。この電波計測(スキャン)は、平面アンテナアレイ221が向いている水平方向を所定角度(例えば、10度)ずつ順次回転移動させ、10度毎のそれぞれの回転位置において2.4GHz帯や5GHz帯の電波チャンネルを走査していき、1周の回転が完了したら、平面アンテナアレイ221が検出可能な検出可能垂直角度範囲(例えば、角度範囲10度)の分だけ垂直角度(俯角または仰角)を変更し、該変更後の垂直角度において、また、水平方向を所定角度ずつ順次回転移動させつつ、電波チャンネルを走査して1周し、その後、更に検出可能垂直角度範囲の分だけ垂直角度の変更することを繰り返し行う。つまり、1周の回転計測→垂直角度変更→1周の回転計測→垂直角度変更…を繰り返し行い、垂直角度が仰角90度に対応する角度での1周の回転計測が終了したときに電波計測(スキャン)を終了する。
【0043】
よって、電波チャンネルを走査する水平方向角度を細かく(例えば、360の180分割である2度)とすると、方向精度(分解能)が高くなるものの、電波計測(スキャン)に要する時間が非常に長くなってしまい、無線LAN端末の移動に対応することが難しくなってしまうので、使用する平面アンテナアレイ221の特性を踏まえて、必要最小限の方向精度(分解能)とすることで、電波計測(スキャン)に要する時間を可能な限り短くすることが好ましい。具体的には、本実施例では、水平方向の所定角度を、360の36分割である10度とし、検出可能垂直角度範囲も約10度とすることで、電波計測(スキャン)に要する時間としては60秒程度である。
【0044】
尚、これら電波計測(スキャン)における水平方向の回転制御や垂直方向の角度制御は、信号処理部224が水平駆動部222や垂直駆動部223に指示を出力することで実現されている。また、これら電波計測(スキャン)は、移動ロボット20が移動していないときに行う必要があるため、移動ロボット20が停止したときに、LAN接続されている処理装置(A)25から送信される計測開始指示の受信によって電波計測(スキャン)を開始し、電波計測(スキャン)が終了したときに処理装置(A)25に計測終了通知を送信する。
【0045】
次に、移動ロボット20を構成する無人搬送車(AGV)23について説明する。無人搬送車(AGV)23は、複数の駆動車輪を有していることで、前後左右に移動並びに方向を変更可能なものであれば、公知のものを好適に使用することができる。尚、無人搬送車(AGV)23は、モータや減速機等の駆動機構ととともに、これら駆動機構を動作させるためのバッテリー等の電源を有している。
【0046】
また、無人搬送車(AGV)23は、所定のインターフェイス(I/F)であるUSBにて、処理装置(A)25に接続されており、該処理装置(A)25からの指示に応じて移動する。
【0047】
尚、本実施例では、搭載するものの大きさや重量を考慮して無人搬送車(AGV)23を使用した形態を例示しているが、本発明はこれに限定されるものではなく、部屋R内を移動可能なものであれば、例えば、自動掃除ロボット等のものであってもよい。
【0048】
次に、移動ロボット20に搭載されているLiDAR24について説明する。LiDAR24としては、SLAMに使用可能な公知のレーザースキャナを好適に使用することができるが、該LiDAR24が大きいと移動ロボット20の大きさも大きくなってしまい、移動ロボット20が侵入できない領域が拡大してしまうことから、小型であって電力消費の少ないものが好ましい。
【0049】
LiDAR24は、図3に示すように、処理装置(A)25にLAN接続されており、レーザーでスキャンした各方向にある対象物までの距離データ等の情報を処理装置(A)25に出力する。これらの情報(スキャンデータ)は、処理装置(A)25において3D地図の作成に利用される。
【0050】
移動ロボット20に搭載されているRGB-D3カメラ21は、上記したように、RGB-D1カメラ15やRGB-D2カメラ16と同じく、RGBカメラと深度カメラとが組み合わされたものとされており、これら深度カメラとしては、赤外線ToFカメラを使用していて、RGBカメラと深度カメラとが、図3に示すように、LANケーブル及び
スイッチングHUB3を介して処理装置(A)に接続されている。
【0051】
また、移動ロボット20に搭載されている処理装置(A)25は、処理装置(B)30や処理装置(C)40と同様に、ハードウエアとしては、比較的処理能力に優れているとともに振動等によって故障等が発生し難い高信頼度のものであって、LANの通信I/FやUSB-I/F等を有する公知のパーソナルコンピュータ(PC)を好適に使用することができ、これらパーソナルコンピュータ(PC)に、当該処理装置(A)25に必要とされる機能を付与するための各種プログラムをインストールしたものを使用しているが、本発明はこれに限定されるものではなく、これら処理装置(A)25としては、後述する処理装置(A)25の各機能を提供できるものであれば、どのようなコンピュータであってもよい。
【0052】
処理装置(A)25には、図3に示すような各種の機能を付与するためのモジュールプログラム、並びにこれらのモジュールプログラムが使用する各種データが記憶されている。
【0053】
処理装置(A)25のオペレーションシステム(OS)にて動作可能なモジュールプログラムとしては、無人搬送車(AGV)23の移動を制御するナビゲーション機能を有するAGV誘導制御モジュールプログラムと、端末データベース(以下、端末DBと略記)に記憶されているデータを検索するためのDB検索エンジンモジュールプログラムと、RGB-D3カメラ21から送信されてくる画像データや深度データを、行列式等からなる映像処理データを用いた計算により補正等を行うための映像処理モジュールプログラムと、学習データを与えることによって撮像画像から端末の特定や端末の種類特定を行うことが可能とされた深層学習(Deep Neural Network;DNN)モジュールプログラムと、SLAM用プログラムとが記憶されている。尚、SLAM用プログラムには、3D地図を生成するための地図生成モジュールプログラム、移動ロボット20の位置を推定するための自己位置推定モジュールプログラム、並びに深層学習モジュールプログラムからのデータや映像処理モジュールプログラムからの映像データとから無線LAN端末の位置検出を行う端末位置検出モジュールプログラムが含まれている。
【0054】
また、これらのモジュールプログラムが使用するデータとしては、運用前の初期化時において地図生成モジュールプログラムによって生成される部屋Rの3D地図データや、映像処理モジュールプログラムが使用する行列式等を含む映像処理データや、図11に示す端末DBが記憶されている。
【0055】
ここで、本実施例の端末DBについて、図11を用いて簡単に説明する。本実施例の端末DBでは、図11に示すように、部屋R内に存在する無線LAN端末に対して固有に付与された端末IDに対応付けて、画像による検出時刻、端末位置(3次元)、端末種類、電波センサによる計測時刻、計測周波数、電波強度、同時検出数、到来方向からの距離、の各データが対応付けて記憶されている。
【0056】
尚、前述したように、電波センサ22による計測周期と、画像による端末位置の検出周期とは不一致であって、電波センサ22による計測周期が画像による端末位置の検出周期よりも長いことから、図11に示すように、画像による端末位置の検出によるデータには、計測時刻、計測周波数、電波強度、同時検出数、到来方向からの距離のデータが格納されていない一方、電波センサ22による計測によるデータには、計測時刻、計測周波数、電波強度、同時検出数、到来方向からの距離のデータが格納されているが、その他のデータである画像による検出時刻、端末位置(3次元)、端末種類のデータは格納されていない。
【0057】
尚、図11に示す例では、端末種類として、デスクトップPC、ラップトップPC、モバイルフォンの3種類とした形態を例示しているが、本発明はこれに限定されるものではなく、これらの種別は、DNNモジュールプログラムの学習内容等に応じて適宜に設定すればよい。
【0058】
また、計測周波数については、無線LANのチャンネル番号等を用いるようにしてもよい。尚、本実施例では、前述したように、3次元のビームフォーミングを使用した無線LAN通信を行うため、異なる無線LAN端末において同一のチャンネル(周波数)が使用される場合がある。
【0059】
尚、処理装置(A)25は、図1図3に示すように、無線LANに使用される2.4GHz帯や5GHz帯の電波とは周波数の異なる周波数であって、これら無線LANに使用される周波数よりも低周波数であることによって、障害物に対する回り込み性が高い920MHz帯を使用した特定小電力データ通信モデムを介して処理装置(B)30並びに処理装置(C)40とデータ通信可能に接続されている。
【0060】
このように、処理装置(B)30並びに処理装置(C)40とのデータ通信として、920MHz帯の無線通信を使用する理由としては、処理装置(B)30並びに処理装置(C)40と通信ケーブルにて有線で接続してしまうと移動ロボット20の移動によって通信ケーブルが絡まる等により移動ロボット20の移動に障害が生じてしまう畏れがあるとともに、通信ケーブルが人の移動の邪魔となるとともに足を引っかけることによる転倒の危険性があるため無線のデータ通信であることが好ましいとともに、移動ロボット20には、無線LANに使用される電波を高感度で検出する電波センサ22が搭載されているので、これら無線LANに使用される電波に近い周波数の電波を使用すると、電波センサ22の性能が低下してしまうことから、電波センサ22が検出する無線LANに使用される電波とは異なる周波数の電波であって、障害物に対する回り込み性が高い920MHz帯の周波数を使用したデータ通信(50Kbps)を行う。
【0061】
尚、本実施例では、処理装置(A)25と処理装置(B)30並びに処理装置(C)40との間のデータ通信手段として、920MHz帯を使用した特定小電力データ通信モデムを使用した形態を例示しているが、本発明はこれに限定されるものではなく、これらのデータ通信手段としては、上記したように、移動ロボット20の移動の障害等とならないこと、移動ロボット20に搭載される電波センサ22の電波検出に悪影響を与えないこと、並びに必要なデータ通信速度が得られること、障害物に対する回り込み性が高いこと等の条件を満たすものであることが好ましく、このような条件を満たすものであれば、上記した920MHz帯以外の周波数を使用した無線データ通信であってもよい。また、無線通信としては、電波に限らず、可視光や赤外線等の光を使用した光データ通信を使用してもよい。尚、赤外線通信を使用する場合には、RGB-D1カメラ15、RGB-D2カメラ16、RGB-D3カメラ21が有する深度カメラとして使用されている赤外線ToFカメラの計測に悪影響を及ぼす可能性があるので、赤外線ToFカメラに悪影響が生じない種類の赤外線を使用することが好ましい。また、赤外線通信側ではなく、RGB-D1カメラ15、RGB-D2カメラ16、RGB-D3カメラ21が有する深度カメラとして、赤外線を使用しない深度カメラを使用するようにしてもよい。
【0062】
また、処理装置(A)25と処理装置(B)30並びに処理装置(C)40との間のデータ通信手段は、常に同一のものではなく、運用前と運用後とで異なる通信手段を使用するようにしてもよい。つまり、後述するように、運用前においては、処理装置(A)25で生成されるデータ容量が大きな3D地図のデータが、処理装置(B)30並びに処理装置(C)40に送信されるので、このような通信データ量が大きい運用前においては有線LANにて処理装置(B)30並びに処理装置(C)40とデータ通信接続しておき、実際の運用時においては、上記した920MHz帯の無線や光通信等によるデータ通信とするようにしてもよい。
【0063】
上記のように、本発明の電波伝搬制御システムは、特定空間である部屋R内にある無線LAN端末の3次元位置を、電波と画像とから特定して出力するシステムであって、RGB-D1カメラ15、RGB-D2カメラ16、処理装置(B)30、移動ロボット20から構成される電波源端末位置検出システムと、該電波源端末位置検出システムから出力された無線LAN端末の部屋R内の3次元位置にもとづいて、部屋R内に設けられている各アクセスポイント端末(AP)15,16やIRS13を制御して部屋Rにおける電波の伝搬をアクティブ制御する電波伝搬制御手段となる処理装置(C)40とから構成されている。
【0064】
次に、本実施例の電波伝搬制御システムの処理動作について図8図13を用いて説明する。電波伝搬制御システムの処理動作としては、主に、運用前の初期化時において行う処理動作と、運用後において行う処理動作とに大別される。
【0065】
運用前の初期化時において行う処理動作としては、具体的には、図8に示す処理装置(A)25が行う処理動作である、3D地図を生成して記憶するとともに該生成した3D地図を処理装置(B)30及び処理装置(C)40に送信する処理動作と、図9に示す処理装置(B)30が行う処理動作である、RGB-D1カメラ15並びにRGB-D2カメラ16のカメラ位置と姿勢とを推定して推定したカメラ位置と姿勢とをデータとして記憶する処理動作とがある。
【0066】
処理装置(A)25が行う図8の処理動作について説明すると、処理装置(A)25には、前述したように、移動ロボット20に搭載されているRGB-D3カメラ21が接続されており、該RGB-D3カメラ21が有するRGBカメラによって撮像された画像データ並びに深度カメラによる深度データがRGB-D3カメラ21から出力(送信)され、これら画像データ並びに深度データが、処理装置(A)25に記憶されている映像処理モジュールプログラムにて、映像処理データを用いて処理される。これら映像処理モジュールプログラムによる映像処理の処理内容としては、カメラレンズの歪み補正等の非線形の画像変換処理や画像データと深度データにおける位置補正や統合処理等が含まれ、これら映像処理された処理済みデータが、SLAM用プログラムに含まれる地図生成モジュールプログラムに対して出力される。尚、処理済みデータには、例えば、図10に示すように、撮影時刻、補正済みRGB画像+対応付け積み深度画像、または3次元点群データが含まれる。
【0067】
また、SLAM用プログラムに含まれる地図生成モジュールプログラムには、処理装置(A)25に接続されている無人搬送車(AGV)23から出力(送信)される移動データやLiDAR24から出力(送信)されるスキャンデータも、移動ロボット20の移動に応じて逐次入力される。
【0068】
そして、地図生成モジュールプログラムは、これら入力された各種のデータを使用して部屋Rの3D地図を生成する。尚、3D地図の生成に際しては、AGV誘導制御モジュールプログラムが、無人搬送車(AGV)23に指示を出力することで移動方向や移動距離を制御して部屋Rの障害物を回避しつつ部屋R内部を順次移動することによって、部屋Rの3D地図が順次作成されていく。そして、3D地図が完成して記憶された場合にAGV誘導制御モジュールプログラムは、移動ロボット20の移動を終了する。
【0069】
そして、該完成されて記憶された3D地図のデータは、処理装置(B)30並びに処理装置(C)40に送信されて、各処理装置において記憶されて、処理装置(B)30におけるカメラ位置・姿勢推定の処理や処理装置(C)40における伝搬経路計算等に使用される。
【0070】
尚、本実施例では、3D地図のデータは、運用前においてのみ生成し、運用中は更新しない形態を例示しているが、本発明はこれに限定されるものではなく、運用中においても予め設定した期間毎等の適宜なタイミングで、3D地図のデータの一部または全部を更新するようにしてもよい。
【0071】
次に、処理装置(B)30が行う図9の処理動作について説明する。尚、処理装置(B)30には、前述した処理装置(A)25から送信された3D地図データが既に記憶されているものとする。よって、図9の処理動作は、図8の処理動作が完了した後において実行される処理動作である。
【0072】
処理装置(B)30には、前述したように、RGB-D1カメラ15とRGB-D2カメラ16とが有線LAN接続されており、これら個々のカメラの各々について個別に動作処理が実行される。尚、RGB-D1カメラ15に関する動作処理は、RGB-D2カメラ16の処理動作と同一であるので、RGB-D1カメラ15に関する動作処理に関してのみ説明し、RGB-D2カメラ16の処理動作については省略する。尚、図9において括弧内の符号は、RGB-D2カメラ16も同様であることを示すものである。
【0073】
RGB-D1カメラ15が有するRGBカメラによって撮像された画像データ並びに深度カメラによる深度データは、HUB1を介して処理装置(B)30に送信される。そして、これら画像データ並びに深度データは、処理装置(B)30に記憶されている映像処理モジュールプログラムにて、映像処理データを用いて処理される。これら映像処理モジュールプログラムによる映像処理の処理内容としては、前述したRGB-D3カメラ21の場合と同じであるので、ここでの説明は省略する。該映像処理モジュールプログラムにて処理されたデータが、RGB-D1の位置・姿勢推定モジュールプログラムに対して出力される。
【0074】
RGB-D1の位置・姿勢推定モジュールプログラムは、記憶されている3D地図と映像処理モジュールプログラムから出力される処理済みデータとを使用して、RGB-D1カメラ15の3次元位置とRGB-D1カメラ15の向き(方向)等の姿勢を推定し、該推定した3次元位置のデータと姿勢のデータとを記憶する。これら推定した3次元位置のデータと姿勢のデータは、図10に示すように、運用中における無線LAN端末の位置検出に使用される。
【0075】
次に、図10を用いて、システムの運用中において、画像による端末位置検出によって図11に示す端末DBが更新される流れについて説明する。尚、システムの運用中における端末DBの更新については、図12に示すように、電波センサ22からのデータ入力によって更新される場合もある。
【0076】
撮像された画像等を使用した無線LAN端末の検出によって端末DBが更新される場合としては、図10に示すように、大きく分けて、処理装置(A)25による無線LAN端末の検出によって端末DBが更新される場合と、処理装置(B)30による無線LAN端末の検出によって端末DBが更新される場合と、の2つの場合がある。
【0077】
まず、処理装置(A)25による無線LAN端末の検出によって端末DBが更新される場合の流れについて説明すると、まず、処理装置(A)25においては、図9において説明した場合と同様に、RGB-D3カメラ21から出力(送信)される画像データ並びに深度データが、映像処理モジュールプログラムにより映像処理データを用いて処理され、該処理された処理済みデータが自己位置推定モジュールプログラム並びにDNNモジュールプログラムに対して出力される。尚、これら処理済みデータとしては、図10に示すように、例えば、撮影時刻、補正済みRGB画像+対応付け積み深度画像、または3次元点群データが含まれる。
【0078】
これらの処理済みデータが出力される自己位置推定モジュールプログラムは、該処理済みデータに加えて、運用前において生成、記憶されている3D地図のデータ、無人搬送車(AGV)23から出力(送信)される移動データ、並びにLiDAR24から出力(送信)されるスキャンデータを使用して、移動ロボット20の部屋R内の位置(自己位置座標、姿勢)を推定する。
【0079】
そして、推定した自己位置座標、姿勢、推定時刻のデータは、端末位置検出モジュールプログラムを構成する端末装置検出モジュールプログラムに対して出力される。
【0080】
一方、DNNモジュールプログラムは、入力された上記の処理済みデータから各種の無線LAN端末を抽出するとともに該端末の種別を特定し、抽出した無線LAN端末の相対位置を端末装置検出モジュールプログラムに対して出力する。尚、DNNモジュールプログラムは、特定した端末種類のデータと、検出時刻のデータを、後述する端末位置(3次元)のデータとともに端末DBに出力する。
【0081】
ここで、本実施例のDNNモジュールプログラムについて説明すると、DNNモジュールプログラムとしては、例えば、技術論文であるZhao Qijie et al., "M2det: A single-shot object detector based on multi-level feature pyramid network", Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, 2019において示されているような物体検出モデルであるM2Det等の画像から特定の形状の物体を抽出する機能を有する公知の深層学習モデルのモジュールプログラムを好適に使用することができる。
【0082】
そして、これら公知の深層学習モデルに対して、種類を特定可能とする各無線LAN端末の各々について、利用状態に応じた様々なシーンについて多方向から、実際に運用において使用するRGB-Dカメラによって撮像して、これらRGB-Dカメラにて撮像された画像並びに深度データ(映像処理済み)と画像および深度データ上の特定したい無線LAN端末の位置と種類とを ラベリングしたデータを学習データとして与えることによって機械学習を行う。
【0083】
このように機械学習を行うことによって、RGB-Dカメラによって撮像した画像並びに深度データ(映像処理済み)を機械学習済みのDNNモジュールプログラムに対して入力することで、該入力された画像および深度データ(映像処理済み)に含まれる無線LAN端末の画像上の位置と種類とが推定されて出力される。
【0084】
尚、本実施例では、上記のように画像並びに深度データを使用するDNNモジュールプログラムを例示しているが、本発明はこれに限定されるものではなく、これらDNNモジュールプログラムは、上記した画像並びに深度データではなく、これら画像並びに深度データから作成された三次元点群データを使用するDNNモジュールプログラムとしてもよい。
【0085】
また、端末装置検出モジュールプログラムに対しては、端末位置検出モジュールプログラムを構成する検出領域設定モジュールプログラムによって、RGB-D3カメラ21の座標系について端末の検出領域を設定された映像処理モジュールプログラムからの処理済みデータも入力される。
【0086】
そして、端末装置検出モジュールプログラムは、上記のようにして入力された自己位置座標並びに姿勢、検出領域設定された処理済みデータ、無線LAN端末の相対位置のデータにもとづいて、例えば、RGB-D3の原点座標から3D地図の座標に座標変換すること等により、端末位置(3次元)を出力する。尚、本実施例では、端末検出領域のデータを端末DBに記憶していないので、端末検出領域のデータを出力しない構成としているが、本発明はこれに限定されるものではなく、端末装置検出モジュールプログラムが端末検出領域のデータを出力して端末DBに記憶(格納)するようにしてもよい。
【0087】
そして、上記のようにして端末装置検出モジュールプログラム並びにDNNモジュールプログラムから出力された端末位置(3次元)、端末種類、検出時刻の各データが端末IDに対応付けて記憶される。尚、端末IDとの対応付けについては、図12を用いて後述する。
【0088】
次に、処理装置(B)30による無線LAN端末の検出によって端末DBが更新される場合の流れについて説明する。図10に示すように、基本の流れと処理動作については、処理装置(A)25と同様であるが、異なる点は、処理装置(A)25は、移動ロボット20として移動するRGB-D3カメラ21の画像を使用することから、逐次、自己位置推定を実行する必要があるのに対し、処理装置(B)30では、RGB-D1カメラ15やRGB-D2カメラ16は、固定されていて、位置や姿勢が変化することがないため、運用前において推定して記憶しておいた、RGB-D1カメラ15の位置、姿勢のデータと、RGB-D2カメラ16の位置、姿勢のデータとを、自己位置座標、姿勢のデータに代えて端末装置検出モジュールプログラムに対して入力するようにしている点だけであるので、処理装置(A)25と同様である処理動作についての説明は省略するが、処理装置(B)30の端末装置検出モジュールプログラム並びにDNNモジュールプログラムから出力された端末位置(3次元)、端末種類、検出時刻の各データが、端末IDに対応付けて記憶される。
【0089】
ここで、処理装置(A)25において、これら端末DBが更新される具体的な処理内容、特には、端末DBに記憶(格納)される更新データが、どの端末IDの更新データとして記憶(格納)されるのかについて、図12に示す端末DB更新処理の処理フロー図を用いて説明する。
【0090】
処理装置(A)25において実行される端末DB更新処理では、まず、電波センサ22からのデータ入力の有無が判定される(ステップS1)。電波センサ22からのデータ入力が無い場合(ステップS1でNo)には、端末DBの更新データの入力、つまり、処理装置(A)25や処理装置(B)30の端末装置検出モジュールプログラムやDNNモジュールプログラムから出力された端末位置(3次元)、端末種類、検出時刻の各データの入力(受信)があるか否かを判定する(ステップS2)。
【0091】
端末DBの更新データの入力が無い場合(ステップS2でNo)には、ステップS1に戻る一方、端末DBの更新データの入力が有る場合(ステップS2でYes)には、DB検索エンジンを利用して、最新の無線LAN端末の端末位置が更新データの端末位置と最も近い無線LAN端末の端末IDを特定する(ステップS3)。
【0092】
そして、特定した無線LAN端末の端末IDの最新の端末位置と更新データの端末位置とを比較し(ステップS4)、その後、端末位置の違い(変化)が予め設定された閾値以下であるか否かを判定する(ステップS5)。尚、これら閾値は、無線LAN端末に応じて異なる値が設定されており、デスクトップPCでは最も少ない値が設定され、ラップトップPCではデスクトップPCよりも大きい値が設定され、モバイルフォンでは、最も大きな値が設定されている。尚、これら閾値は、端末DBの更新周期等に応じて適宜な値を設定すればよい。
【0093】
端末位置の違い(変化)が閾値以下である場合(ステップS5でYes)の場合には、ステップS3にて特定した無線LAN端末の端末IDの最新データとして、該端末IDに対応付けて更新データを記憶(格納)した後(ステップS6)、ステップS8に進む。
【0094】
一方、端末位置の違い(変化)が閾値以下ではない場合(ステップS5でNo)には、新規に検出された無線LAN端末であると認定して端末DBに未記憶の端末IDから当該無線LAN端末に割り当てる端末IDを特定し、該端末IDを端末DBに記憶(格納)するとともに該端末IDの最新データとして更新データを端末DBに記憶(格納)する(ステップS7)。
【0095】
その後、ステップS8に進んで、端末IDと更新データとを含む端末情報を処理装置(C)40へ送信した後、ステップS1に戻る。このように、ステップS8において端末IDと更新データとを含む端末情報が処理装置(C)40に送信されて当該端末IDと更新データとが処理装置(C)40に記憶されている端末DBに更新記憶されることで、処理装置(C)40の端末DBと処理装置(A)25の端末DBとに同一のデータが記憶されるようになっている。
【0096】
一方、ステップS1でYes、つまり、電波センサ22からのデータ入力が有る場合には、DB検索エンジンを用いて端末DBを検索し(ステップS10)、電波センサ22からの入力データに含まれる電波到来方向に該当する無線LAN端末が存在するか否かを判定する(ステップS11)。
【0097】
そして、電波センサ22からの入力データに含まれる電波到来方向に該当する無線LAN端末が存在しない場合(ステップS11でNo)は、ステップS1に戻る一方、電波センサ22からの入力データに含まれる電波到来方向に該当する無線LAN端末が存在する場合(ステップS11でYes)は、該当した無線LAN端末の端末IDの最新データとして電波センサからのデータである計測時刻、計測周波数、電波強度、同時検出数、到来方向からの距離を記憶(格納)する(ステップS12)。
【0098】
そして、該当した無線LAN端末の端末IDと端末DBに記憶した計測時刻、計測周波数、電波強度、同時検出数、到来方向からの距離のデータとを端末情報として処理装置(C)40へ送信した後(ステップS13)、ステップS1に戻る。このように、ステップS13において端末IDと計測時刻、計測周波数、電波強度、同時検出数、到来方向からの距離のデータとが端末情報として処理装置(C)40に送信されて当該端末IDと各データとが処理装置(C)40に記憶されている端末DBに更新記憶されることで、処理装置(C)40の端末DBと処理装置(A)25の端末DBとに同一のデータが記憶されるようになっている。
【0099】
次に、処理装置(C)40において運用中において伝搬経路をアクティブ制御するために実行される伝搬経路制御処理、特には、電波源端末位置検出システムにおいて使用される無線LAN端末の端末識別情報である装置IDと、電波伝搬制御システムを構成する各アクセスポイント端末(AP)15,16にて使用される端末特定情報であるMACアドレスとが対応付けされる流れについて、図13を用いて説明する。
【0100】
伝搬経路制御処理においては、まず、通信状況DBの更新処理を行う(ステップS101)。この更新処理では、各アクセスポイント端末(AP)11、12からのセッション情報の受信があったか否かを判定し、セッション情報の受信があった場合には、各アクセスポイント端末(AP)11、12が通信している部屋R内の無線LAN端末のローカルIPアドレス、MACアドレス、送受信に使用される各電波周波数(チェンネル)、通信レベル等の情報を通信状況DBに更新記憶する。
【0101】
次に、処理装置(A)25からの端末情報の受信が有るか否かを判定する(ステップS102)。処理装置(A)25からの端末情報の受信が有る場合(ステップS102でYes)は、受信した端末情報に含まれる端末ID等の各データを端末DBに記憶(格納)する(ステップS103)。
【0102】
そして、記憶されている端末対応付テーブルデータに、受信した端末情報に含まれる端末IDの登録が有るか否か、つまり、既に、端末IDとMACアドレスとの対応付けが済んでいる無線LAN端末の端末情報であるか否かを判定する(ステップS104)。
【0103】
端末対応付テーブルデータに端末IDの登録が既に有る場合には(ステップS104でYes)、更に、受信した端末情報が端末位置の情報を含むか否か、つまり、前述したステップS8の処理によって送信された端末情報であるか否かを判定する(ステップS105)。
【0104】
受信した端末情報が端末位置の情報を含まない場合(ステップS105でNo)には、ステップS101に戻る一方、受信した端末情報が端末位置の情報を含む場合(ステップS105でYes)には、端末対応付テーブルデータに該端末IDに対応して登録されているMACアドレスと通信しているアクセスポイント端末が、アクセスポイント端末(AP)11とアクセスポイント端末(AP)12のいずれであるのかを、通信状況DBのデータを用いて特定する(ステップS106)。
【0105】
次に、該特定したアクセスポイント端末と、受信した端末情報に含まれる端末位置(端末DBに記憶した最新の端末位置)との伝搬経路を、伝搬経路計算モジュールプログラムを使用して計算した後(ステップS107)、計算した伝搬経路に対応したアクセスポイント(AP)制御とIRS13のIRS制御の内容を特定する(ステップS108)。具体的には、アクセスポイント(AP)制御内容としては、計算した伝搬経路上に、パーティションPT等の障害物が介在しない場合には、受信した端末情報に含まれる端末位置(3次元)へ向けて電波強度を高めることができる3次元ビームフォーミングを行う制御内容が特定される。また、計算した伝搬経路上に、パーティションPT等の障害物が介在する場合には、IRS13の反射を利用した反射経路を用いる制御内容とともに、IRS13に向けて3次元ビームフォーミングを行う制御内容が特定される。
【0106】
そして、ステップS108にて特定されたアクセスポイント(AP)制御内容とIRS制御内をAP/IRS制御モジュールプログラムに出力することにより、これら特定された制御内容に対応した制御情報、例えば、3次元ビームフォーミングの電波を放射する水平角度及び垂直角度の情報や、IRS13が電波を反射する水平角度及び垂直角度の情報が、アクセスポイント端末(AP)11またはアクセスポイント端末(AP)12、IRS13に対して出力(送信)され(ステップS109)、その後、ステップS101に戻る。
【0107】
また、ステップS104においてNo、つまり、端末対応付テーブルデータに端末IDの登録が未だ無い場合には、更に、受信した端末情報が周波数の情報を含むか否か、つまり、前述したステップS13の処理によって送信された端末情報であるか否かを判定する(ステップS111)。
【0108】
受信した端末情報が周波数の情報を含まない場合(ステップS111でNo)には、ステップS101に戻る一方、受信した端末情報が周波数の情報を含む場合(ステップS111でYes)には、受信した端末情報に含まれる周波数を使用しているアクセスポイント端末の有無を、通信状況DBを検索して判定する(ステップS113)。
【0109】
そして、受信した端末情報に含まれる周波数を使用しているアクセスポイント端末が無い場合(ステップS113でNo)には、ステップS101に戻る。一方、受信した端末情報に含まれる周波数を使用しているアクセスポイント端末が存在する場合(ステップS113でYes)には、当該アクセスポイント端末が該周波数にて通信している無線LAN端末のMACアドレスを通信状況DBから特定し、該特定したMACアドレスを受信した端末情報に含まれる端末IDに対応付けて端末対応付テーブルデータに記憶し(ステップS114)、その後、ステップS101に戻る。
【0110】
このように、電波源端末位置検出システムにおいて3D地図を用いたSLAMや画像によるDNN抽出等が行われることによって検出された無線LAN端末の部屋R内における正確な3次元位置にもとづいて、処理装置(C)40において、図13に示す伝搬経路制御処理が実行されることによって、例えば、図1に示すように、アクセスポイント端末(AP)11とラップトップパソコン(LaptopPC)2とが通信している場合に、上記したステップS109にて送信される制御情報にもとづいてラップトップパソコン(LaptopPC)2の3次元位置に向けた3次元ビームフォーミングが行われることで、アクセスポイント端末(AP)11とラップトップパソコン(LaptopPC)2との間の伝搬経路上の電波強度を集中して高めるとともに該伝搬経路以外の空間の電波強度を大幅に低減できるようになる。
【0111】
同様に、アクセスポイント端末(AP)12とデスクトップパソコン(DesktopPC)1とが通信している場合に、上記したステップS109にて送信される制御情報にもとづいてデスクトップパソコン(DesktopPC)1の3次元位置に向けた3次元ビームフォーミングが行われることで、アクセスポイント端末(AP)12とデスクトップパソコン(DesktopPC)1との間の伝搬経路上の電波強度を集中して高めるとともに該伝搬経路以外の空間の電波強度を大幅に低減できるようになるので、図1に示すように、これら、アクセスポイント端末(AP)11とアクセスポイント端末(AP)12とで同一周波数(チェンネル)の電波を使用することが可能となり、特定空間である部屋Rにおける電波資源を有効に活用できるようになる。
【0112】
また、図1に示す携帯端末3が、携行する人の移動に伴って移動しても、移動後の3次元位置が特定されて、該特定された移動後の3次元位置に向けた適切な3次元ビームフォーミングを行うことが可能となるので、これらの移動によって無線通信の通信速度が低下してしまう等の通信品質の低下を防ぐこともできる。
【0113】
更には、これら携帯端末3が図2に示すように、パーティションPTに囲まれた小空間に移動することによって、アクセスポイント端末(AP)12と携帯端末3との通信が、伝搬経路上にパーティションPTが存在することによって困難となる場合であっても、処理装置(C)40によってアクセスポイント端末(AP)12の3次元ビームフォーミングとIRS13による電波反射角度とが制御されることによって、アクセスポイント端末(AP)12と携帯端末3との無線LAN通信が可能となる。よって、特定空間である部屋Rにおける通信不能空間を低減することができる。
【0114】
以上、本発明の実施例を図面により説明してきたが、具体的な構成はこれら実施例に限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【0115】
例えば、上記実施例では、特定空間として屋内空間である部屋Rを例示しているが、本発明はこれに限定されるものではなく、これら特定空間は、屋外の空間であってもよい。また、部屋Rの形状や大きさは、言うまでもなく、上記実施例に限定されるものではなく、部屋の形状が円形や5角形等の形状であっても良いし、複数の階(フロア)に跨がる空間であってもよい。つまり、特定空間は、部屋Rのように、境界が明確に定められた空間ではなく、境界が不明確な空間である場合も有り得る。
【0116】
また、上記実施例では、アクセスポイント端末(AP)と2つとした形態を例示しているが、本発明はこれに限定されるものではなく、これらアクセスポイント端末(AP)を単数、或いは、3つ以上としてもよく、これらアクセスポイント端末(AP)の数は、特定空間の広さや利用者の数等に応じて、適宜に選択すればよい。
【0117】
同様に、上記実施例では、IRS13を1つのみとした形態を例示しているが、本発明はこれに限定されるものではなく、これらIRS13を複数とした形態としてもよい。
【0118】
また、上記実施例では、移動ロボット20に電波センサ22を設けることで、電波センサ22の数を最小限に抑えつつ、電波センサ22にて検知できない空間領域も低減できるようにしているが、本発明はこれに限定されるものではなく、電波センサを、例えば、RGB-D1カメラ15やRGB-D2カメラ16とともに固定して設けるようにしてもよく、このように、電波センサを特定空間内に固定して設ける場合には、予め、特定空間の3D地図を作成しておき、運用中においては、移動ロボット20を使用しないようにしてもよい。
【0119】
また、前記実施例では、処理装置(A)25と処理装置(B)30とを個別とした形態を例示したが、本発明はこれに限定されるものではなく、例えば、移動ロボット20と処理装置(B)30とを高速データ通信にて接続することで、電波センサデータ、レーザースキャンデータ、画像データや深度データを送信可能な十分な通信容量を確保できる場合には、移動ロボット20に処理装置(A)25を設けずに、処理装置(B)30に処理装置(A)25の機能を統合するようにしてもよい。
【0120】
また、前記実施例では、特定空間である部屋RにRGB-D1カメラ15とRGB-D2カメラ16との2つのカメラを配置した形態を例示しているが、本発明はこれに限定されるものではなく、これらRGB-Dカメラの数や配置位置等は、特定空間の形状や大きさや配置物のレイアウト等に応じて適宜に決定すればよい。
【0121】
また、前記実施例では、特定空間における通信に使用される電波として、無線LAN(Wi-Fi)通信の電波である2.4GHz帯や5GHz帯の電波を使用した形態を例示しているが、本発明はこれに限定されるものではなく、これら電波としては、無線LAN(Wi-Fi)の次期規格として利用が想定されている60GHz帯の電波であってもよいし、これら無線LAN(Wi-Fi)通信以外の電波、例えば、従来PHS端末の通信に使用されていた1.9GHz帯の電波であってもよいし、携帯電話通信の5G通信に使用される周波数帯の電波等であってもよい。
【0122】
また、前記実施例では、処理装置(C)40を、アクセスポイント端末(AP)11、12とは個別に設けた形態を例示しているが、本発明はこれに限定されるものではなく、該処理装置(C)40の機能を、いずれかのアクセスポイント端末(AP)11、12に組み込んだ形態としてもよいし、処理装置(B)に処理装置(C)40の機能を組み込んだ形態としてもよい。
【0123】
また、前記実施例では、SLAMとてしてLiDAR24を使用したLiDAR-SLAMを用いた形態を例示しているが、本発明はこれに限定されるものではなく、これらSLAMとてして、LiDAR24を使用せずに、RGB-Dカメラを使用したSLAMとしてもよい。
【0124】
また、前記実施例では、処理装置(B)30において、図3に示すように、RGB-D1カメラ15用の端末位置検出モジュールプログラムと、RGB-D2カメラ16用の端末位置検出モジュールプログラムとを個別に設けることで、RGB-D1カメラ15とRGB-D2カメラ16との撮像タイミング等の同期させる必要等がなく、システムの構成を簡素化しつつ、不具合時の冗長性も確保できるようにしているが、本発明はこれに限定されるものではなく、RGB-D1カメラ15用の端末位置検出モジュールプログラム及びRGB-D2カメラ16用の端末位置検出モジュールプログラムを1つの端末位置検出モジュールプログラムとしてもよい。
【0125】
また、前記実施例では、移動ロボット20が、特定空間である部屋R内を、障害物等を回避しつつ、任意に移動する形態を例示しているが、本発明はこれに限定されるものではなく、これら移動ロボット20の移動制御を、電波センサ22により検出される電波の到来方向等、或いは端末位置検出モジュールプログラムによって検出された端末位置等の情報にもとづいて、移動方向や向き等を制御するようにしてもよい。
【0126】
また、前記実施例では、図12に示すように、端末の位置変化の大きさが所定の閾値以下であるか否かで無線LAN端末の同一、非同一を判定するようにしているが、本発明はこれに限定されるものではなく、これらに加えて、これら同一、非同一の判定が正しいか否かを確認するための処理を追加的に実行するようにしてもよい。
【0127】
また、前記実施例では、特定空間である部屋Rの電波伝搬の制御を、上位局となるアクセスポイント端末(AP)11、12並びにIRS13を制御するようにしているが、本発明はこれに限定されるものではなく、例えば、無線LAN端末(電波源端末)となるデスクトップパソコン1やラップトップパソコン2や携帯端末3においても、ビームフォーミング等の電波伝搬の制御機能を有するものであれば、アクセスポイント端末(AP)11、12を介してビームフォーミングの方向(座標)等の情報を無線LAN端末に送信することで、上位局となるアクセスポイント端末(AP)11、12と無線LAN端末の双方において特定空間である部屋Rの電波伝搬の制御を行うようにしてもよい。
【符号の説明】
【0128】
1 デスクトップパソコン(DesktopPC)
2 ラップトップパソコン(LaptopPC)
3 携帯端末(モバイルフォン)
11,12 アクセスポイント端末(AP)
13 IRS
15 RGB-D1カメラ
16 RGB-D2カメラ
20 移動ロボット
21 RGB-D3カメラ
22 電波センサ
23 無人搬送車(AGV)
24 レーザースキャナ(LiDAR)
25 処理装置(A)
30 処理装置(B)
40 処理装置(C)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13