IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 南京郵電大学の特許一覧

特開2023-906103重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法
<>
  • 特開-3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法 図1
  • 特開-3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法 図2
  • 特開-3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023090610
(43)【公開日】2023-06-29
(54)【発明の名称】3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法
(51)【国際特許分類】
   G01S 5/02 20100101AFI20230622BHJP
   G01C 21/28 20060101ALI20230622BHJP
【FI】
G01S5/02 Z
G01C21/28
【審査請求】有
【請求項の数】10
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022077904
(22)【出願日】2022-05-11
(31)【優先権主張番号】202111550033.X
(32)【優先日】2021-12-17
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】518371489
【氏名又は名称】南京郵電大学
【氏名又は名称原語表記】NANJING UNIVERSITY OF POSTS AND TELECOMMUNICATIONS
【住所又は居所原語表記】No.66 Xin Mofan Road, Gulou Nanjing, Jiangsu 210003 China
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】張 暉
(72)【発明者】
【氏名】王 志坤
【テーマコード(参考)】
2F129
5J062
【Fターム(参考)】
2F129AA02
2F129BB08
2F129BB11
2F129BB33
2F129BB63
2F129BB66
2F129FF11
2F129FF17
2F129GG17
2F129HH24
5J062AA09
5J062BB05
5J062CC18
5J062DD23
5J062FF01
5J062FF02
(57)【要約】      (修正有)
【課題】3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法を提供する。
【解決手段】5G基地局が屋内の異なる基準ポイントの多角度画像、RSSおよび位置情報を収集し、収集した画像と基準ポイントの位置データをクラウドにアップロードし、次に、RSSデータ処理後、各5G基地局がローカルサーバーでRSS-距離の回帰モデルを学習し、クラウドで多角度画像および基準ポイント位置を利用して画像-位置指紋ライブラリを構築し、最後に、3重視覚照合モデルとマルチ5G基地局回帰モデルによる測位融合を行い、最終的な測位結果を得る。
【効果】マルチ5G基地局RSS-距離モデル及び多角度視覚収集データを採用して屋内環境をより良く特徴づけ、マルチ5G基地局RSS-距離回帰モデル及び3重視覚照合モデルを採用して融合測位を実現し、単一測位方法による単一指紋照合の精度が不足する問題を改良し、非常に広い応用シーンがある。
【選択図】図1
【特許請求の範囲】
【請求項1】
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、以下のステップを含むことを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
(1)オフライン段階において、モバイル機器は、5G基地局と通信を行い、5G基地局は、受信信号強度RSSデータ、モバイル機器の位置およびモバイル機器が存在する位置の複数の方向に撮影された画像を取得し、ここで5G基地局は、RSSデータ、モバイル機器の位置および5G基地局の位置を利用してローカルサーバーにRSS-距離の指紋ライブラリを構築し、5G基地局は、撮影された画像およびモバイル機器の位置をクラウドにアップロードし、クラウドに画像-位置の指紋ライブラリを構築する。
(2)各ローカルサーバは、RSS-距離の指紋ライブラリを利用して、RSS-距離の回帰モデル学習を行う。
(3)クラウドは、画像-位置の指紋ライブラリに基づいて、3重視覚照合モデルを利用して指紋測位を行う。
(4)5G基地局がテストポイントのRSSベクトルを取得することにより、クラウドは、ステップ(2)におけるRSS-距離の回帰モデルと結合して多辺測位を行う。
(5)クラウドは、ステップ(4)における多辺測位結果とステップ(3)における指紋測位結果を加重融合し、テストポイントの融合測位結果を得る。
【請求項2】
請求項1に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
前記ステップ(1)において、5G基地局は、モバイル機器が存在する位置の東、西、南、北、南東、北東、南西、北西の8方向に撮影された画像を取得することを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
【請求項3】
請求項1に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
前記ステップ(1)において、5G基地局は、同一基準ポイントの複数回のRSSデータを取得することを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
【請求項4】
請求項3に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
前記ステップ(2)の実現過程は、以下のとおりであることを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
まず、RSS-距離の指紋ライブラリ中の各5G基地局に対応するRSSデータに対してガウスフィルタリング及び閾値フィルタリングを行う。
その後、フィルタリングされた指紋ライブラリに基づいて、ニューラルネットワークに対して学習を行い、RSS-距離回帰モデルが得られる。
前記ニューラルネットワークは、基準ポイントのRSSデータを入力とし、基準ポイントから5G基地局までの距離を出力とする。
【請求項5】
請求項4に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
m基地局がr基準点に対して収集したRSSベクトルは、以下であり、
【数1】
ここで、Nは、5G基地局がある基準ポイントに対して収集したRSSデータの個数を示し、
【数2】
は、RSSm,r中のn番目のデータを示し、
RSSm,rがガウスフィルタリングされた後、基地局の基準点に対するRSSベクトルは、次のように変化し、
【数3】
ここで、Nは、RSSm,rに対するガウスフィルタリングの後に残ったRSSデータの個数を示し、
【数4】
は、
【数5】
のn番目のデータを示し、
【数6】
が閾値フィルタリングされた後、m基地局のr基準点に対するRSSベクトルは、次のように変化し、
【数7】
ここで、Nは、
【数8】
に対する閾値フィルタリングの後に残ったRSSデータの個数を示し、
【数9】
は、
【数10】
のn番目のデータを示し、
ガウスフィルタリングおよび閾値フィルタリング後のRSSベクトルに基づいて、基地局は、ローカルサーバでニューラルネットワークを学習し、対応するRSS-距離回帰モデルを得て、以下のように示され、
【数11】
ここで、f(・)は、m基地局に対応するRSS-距離回帰モデルのマッピング関係を示す、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
【請求項6】
請求項1に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
前記ステップ(3)の実現過程は、以下のとおりであることを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
(3.1)tテストポイントで撮影された画像をYOLO目標検出システムで画像検出し、画像ごとの識別物情報および各識別物が存在する識別領域を取得し、ここで、tテスト点のθ方向に撮影された画像の識別物情報は、以下のように示される。
【数12】
ここで、cは、q識別物を示し、q=1,2,...,Q1、Q1は、識別物の数を示す。
(3.2)tテストポイントと異なる方向の基準ポイントの同じ識別物の類似度照合を行い、次のように示す。
【数13】
ここで、
【数14】
は、tテストポイントのθ方向に撮影された画像とr基準ポイントのθ1方向に撮影された画像の同じ識別物情報を示し、
【数15】
は、r基準ポイントのθ1方向に撮影された画像の識別物情報を示し、θ1∈{東、西、南、北、南東、北東、南西、北西}。
【数16】
であれば、ステップ(3.3)を実行し、|・|は、集合の要素数を示し、そうでなければ、r基準ポイントのθ1方向に撮影された画像は、tテストポイントの測位ができないと考え、θ1方向に撮影された画像を破棄する。
(3.3)tテストポイントと異なる方向のr基準ポイントの識別物情報の方向関係の類似度照合を行い、次のように示す。
【数17】
ここで、
【数18】
は、tテストポイントのθ方向に撮影された画像において、2つの識別物が存在する識別領域の中心の画素の相対方向を示し、
【数19】
は、r基準ポイントのθ1方向に撮像された画像において、2つの識別物が存在する識別領域の中心の画素の相対方向を示し、ccおよびctは、
【数20】
中の2つの識別物を示し、G(・)は、0-1変換関数である。
(3.4)tテストポイントと異なる方向のr基準ポイントの識別物情報の距離関係の類似度照合を行い、次のように示す。
【数21】
ここで、
【数22】
は、tテストポイントのθ方向に撮影された画像において、2つの識別物が存在する識別領域の中心の画素の相対距離を示し、
【数23】
は、r基準ポイントのθ1方向に撮像された画像において、2つの識別物が存在する識別領域の中心の画素の相対距離を示す。
(3.5)tテストポイントのθ方向に撮影された画像と異なる方向のr基準ポイントのθ1方向に撮影された画像の類似度を、以下に示す。
【数24】
(3.6)(3.5)で得られた類似度を大きい順にソートし、上位K個の類似度に対応する基準ポイントを選択して重み付けを行い、tテストポイントの3重視覚照合の指紋測位結果を取得する。
【数25】
ここで、(x,y)は、k基準ポイントの座標であり、Kは、上位K個の類似度に対応する基準ポイントの集合である。
【請求項7】
請求項1に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
【数26】
であることを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
【請求項8】
請求項1に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
前記ステップ(4)の実現過程は、以下のとおりであることを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
(4.1)tテストポイントのRSSベクトル
RSSm,t=[RSS1,t,...,RSSm,t,...RSSM,t]のうち閾値αより小さい要素を廃棄する。ここで、Mは、5G基地局数を示し、RSSm,tは、m基地局がtテストポイントに対して収集したRSS値を示す。
(4.2)(4.1)で得られた3つの最大RSS値に対応する5G基地局を選出し、m1、m2、m3とする。
(4.3)tテストポイントからm1、m2、m3基地局までの距離に基づいて、多辺測位を行う。多辺測位の具体式は、以下であり、
【数27】
ここで、d、d、dは、それぞれtチェックポイントからm1、m2、m3基地局までの距離を示し、xm1、xm2、xm3、xt1それぞれ5G基地局m1、m2、m3および多辺測位計算の横座標を示し、ym1、ym2、ym3、yt1は、それぞれ、5G基地局m1、m2、m3および多辺測位計算の縦座標を示し、(xt1,yt1)は、tテストポイントの多辺測位結果を示す。
【請求項9】
請求項8に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
=fm1(RSSm1,t)、d=fm2(RSSm2,t)、d=fm3(RSSm3,t)であり、
ここで、fm1(・)、fm2(・)、fm3(・)は、それぞれ、m1、m2、m3基地局に対応するRSS-距離回帰モデルのマッピング関係を示すことを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
【請求項10】
請求項7に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
多辺測位結果と3重視覚照合の指紋測位結果とを加重融合して、tテストポイントの最終測位結果を得ることを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
(x,y)=w*(xt1,yt1)+(1-w)*(xt2,yt2
ここで、
【数28】
であれば、多辺測位結果の重み
【数29】

【数30】
かつ0<|D|<3であれば、
【数31】

【数32】
かつ|D|=0であれば、
【数33】

|D|+|D|<3であれば、w=0、
【数34】

【数35】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、屋内測位分野と機器視覚分野に属し、具体的には3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法に関する。
【背景技術】
【0002】
近年、車列ナビゲーション、災害救援などの位置サービス産業の発展に伴い、高精度の測位は、無線測位技術の人気研究方向になっている。当初は、屋外シーンに重点を置き、グローバルナビゲーションサテライトシステム(Global Navigation Satellite System、GNSS)を主導とした屋外測位を実現していたが、建物の遮蔽により、GNSS信号は、屋内の正確な測位に応用できない。近年の調査統計によると、人々が80%-90%の時間に屋内にいることから、屋内測位の研究がますます注目されている。さらに工場の企業規模が拡大するにつれ、従業員の安全に対する予防が難しくなっているため、従業員を特定のエリア内で正確に屋内測位することが求められている。以上は、いずれも屋内環境の正確な定位が定位の研究焦点になっていることを示し、その研究成果は、極めて大きな経済効果をもたらすだけでなく、他の分野と結合して革新を行うことができる。
【0003】
現在の屋内測位方法には、近接探査法、質量心測位法、多辺測位法、三角測位法、極点法、指紋測位法、航位推算法などの技術があるが、これらの方法には、多かれ少なかれ欠点がある。例えば近接探査法は、簡単で実現しやすいが、大まかな測位情報しか提供できない。質量心測位法は、高精度測位を実現するには、密集した基地局の配置が必要で、莫大な経済的代償をもたらす。総合的に考えると、屋内測位は、一般的に多辺測位法と指紋測位法を採用し、この2つの測位方式は、いずれも良好な測位精度を得ることができる。そのうち、多辺測位法の原理は、受信した信号強度により、信号の減衰モデルを利用して距離を計算し、距離に基づいて線形連立方程式を立てて測位位置を求める。指紋測位法に基づく屋内測位は、オフライン指紋ライブラリの照合またはマッピング方法である。たとえば、RSSにより分類アルゴリズムを用いてオフライン指紋ライブラリ中の基準ポイントを照合し、基準ポイントの位置を重み付けして測位位置を求める。あるいは、RSSにより回帰アルゴリズムを用いてマッピング関係を構築して測位位置を取得する。多辺測位法は、複雑な屋内環境及び基地局の配置位置の影響を受け、1種類の減衰モデルを用いてRSS-距離関係を表現することは、測位精度を低下させる。また、RSSデータを用いた指紋測位も、RSS信号の変動により測位精度が悪くなる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、マルチ5G基地局モデル学習及び3重視覚照合の両方から出発し、3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法を提案し、マルチ5G基地局モデル学習を用いて各5G基地局のRSS-距離モデルおよび多角度視覚収集データを取得して屋内環境をより良く特徴付ける一方、マルチ5G基地局RSS-距離モデルと3重視覚照合技術を用いて、より高精度な屋内測位を実現する。
【課題を解決するための手段】
【0005】
本発明が提供する3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法において、まず5G基地局が屋内の異なる基準ポイントの多角度画像、RSSおよび位置情報を収集し、収集した画像と基準ポイントの位置データをクラウドにアップロードし、次に、RSSデータ処理後、各5G基地局がローカルサーバーでRSS-距離の回帰モデルを学習し、クラウドで多角度画像および基準ポイント位置を利用して画像-位置指紋ライブラリを構築し、最後に、3重視覚照合モデルとマルチ5G基地局回帰モデルによる測位融合を行い、より正確な位置予測をモバイル機器に送信する。
【0006】
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法は、以下のステップを含む。
(1)オフライン段階において、モバイル機器は、5G基地局と通信を行い、5G基地局は、受信信号強度(Received Signal Strength、RSS)データ(5G基地局は、同一基準ポイントの複数回のRSSデータを取得する)、モバイル機器の位置およびモバイル機器が存在する位置の8の方向(東、西、南、北、南東、北東、南西、北西)に撮影された画像を取得し、ここで5G基地局は、RSSデータ、モバイル機器の位置および5G基地局の位置を利用してローカルサーバーにRSS-距離の指紋ライブラリを構築し、5G基地局は、撮影された画像およびモバイル機器の位置をクラウドにアップロードし、クラウドに画像-位置の指紋ライブラリを構築する。
(2)各ローカルサーバは、RSS-距離の指紋ライブラリを利用して、RSS-距離の回帰モデル学習を行う。
(3)クラウドは、画像-位置の指紋ライブラリに基づいて、3重視覚照合モデルを利用して指紋測位を行う。
(4)5G基地局がテストポイントのRSSベクトルを取得することにより、クラウドは、ステップ(2)におけるRSS-距離の回帰モデルと結合して多辺測位を行う。
(5)クラウドは、ステップ(4)における多辺測位結果とステップ(3)における指紋測位結果を加重融合し、テストポイントの融合測位結果を得る。
【0007】
さらに、前記ステップ(2)の実現過程は、以下のとおりである。
まず、RSS-距離の指紋ライブラリ中の各5G基地局に対応するRSSデータに対してガウスフィルタリング及び閾値フィルタリングを行う。
その後、フィルタリングされた指紋ライブラリに基づいて、ニューラルネットワークに対して学習を行い、RSS-距離回帰モデルが得られる。
前記ニューラルネットワークは、基準ポイントのRSSデータを入力とし、基準ポイントから5G基地局までの距離を出力とする。
【0008】
m基地局がr基準点に対して収集したRSSベクトルは、以下であり、
【数1】
ここで、Nは、5G基地局がある基準ポイントに対して収集したRSSデータの個数を示し、
【数2】
は、RSSm,r中のn番目のデータを示す。
RSSm,rがガウスフィルタリングされた後、m基地局のr基準点に対するRSSベクトルは、次のように変化し、
【数3】
ここで、Nは、RSSm,rに対するガウスフィルタリングの後に残ったRSSデータの個数を示し、
【数4】
は、
【数5】
のn番目のデータを示す。
【数6】
が閾値フィルタリングされた後、m基地局のr基準点に対するRSSベクトルは、次のように変化し、
【数7】
ここで、Nは、
【数8】
に対する閾値フィルタリングの後に残ったRSSデータの個数を示し、
【数9】
は、
【数10】
のn番目のデータを示す。
ガウスフィルタリングおよび閾値フィルタリング後のRSSベクトルに基づいて、m基地局は、ローカルサーバでニューラルネットワークを学習し、対応するRSS-距離回帰モデルを得て、以下のように示される。
【数11】
ここで、f(・)は、m基地局に対応するRSS-距離回帰モデルのマッピング関係を示す。
【0009】
さらに、前記ステップ(3)の実現過程は、以下のとおりである。
3重視覚照合モデルに対して、まず、tテストポイントで撮影された画像をYOLO目標検出システムで画像検出する。tテスト点のθ方向に撮影された画像の識別物情報は、以下のように示される。
【数12】
ここで、θは、tテストポイントにおける画像撮影の角度を示す。cは、q(q=1,2,...,Q1)識別物を示す。また、YOLO目標検出システムは、各識別物が存在する識別領域も取得することができる。
θと結合し、tテストポイントと異なる方向のr基準ポイントの同じ識別物の類似度照合(第1の視覚照合)を行い、次のように示す。
【数13】
ここで、
【数14】
は、tテストポイントのθ方向に撮影された画像とr基準ポイントのθ1方向に撮影された画像の同じ識別物情報を示し、
【数15】
は、r基準ポイントのθ1方向に撮影された画像の識別物情報を示し、θ1∈{東、西、南、北、南東、北東、南西、北西}。
【数16】
で、|・|は、集合の要素数を示し、のちのフローを行う。そうでなければ、r基準ポイントのθ1方向に撮影された画像は、tテストポイントの測位ができないと考え、θ1方向に撮影された画像を破棄する。
tテストポイントと異なる方向のr基準ポイントの識別物情報の方向関係の類似度照合(第2の視覚照合)を行い、次のように示す。
【数17】
ここで、
【数18】
は、tテストポイントのθ方向に撮影された画像において、2つの識別物が存在する識別領域の中心の画素の相対方向を示し、
【数19】
は、r基準ポイントのθ1方向に撮像された画像において、2つの識別物が存在する識別領域の中心の画素の相対方向を示し、ccおよびctは、
【数20】
中の2つの識別物を示し、G(・)は、0-1変換関数であり、以下のように示される。
【数21】
tテストポイントと異なる方向のr基準ポイントの識別物情報の距離関係の類似度照合(第3の視覚照合)を行い、次のように示す。
【数22】
ここで、
【数23】
は、tテストポイントのθ方向に撮影された画像において、2つの識別物が存在する識別領域の中心の画素の相対距離を示し、
【数24】
は、r基準ポイントのθ1方向に撮像された画像において、2つの識別物が存在する識別領域の中心の画素の相対距離を示す。
3重視覚照合のデータと結合して照合し、まずtテストポイントのθ方向に撮影された画像と異なる方向のr基準ポイントのθ1方向に撮影された画像の類似度を計算し、以下に示す。
【数25】
得られた類似度を大きい順にソートし、上位K個の類似度に対応する基準ポイントを選択して重み付けを行い、tテストポイントの3重視覚照合の指紋測位結果を取得する。
【数26】
ここで、(x,y)は、k基準ポイントの座標であり、Kは、上位K個の類似度に対応する基準ポイントの集合である。
【0010】
さらに、前記ステップ(4)の実現過程は、以下のとおりである。
tテストポイントのRSSベクトルRSSm,t=[RSS1,t,...,RSSm,t,...RSSM,t]の各要素を判断し、閾値αより小さい要素を廃棄し、tテストポイントの測位に用いない。
テストポイントのRSSベクトルの残った要素のうち、3つの最大RSS値に対応する5G基地局(それぞれm1、m2、m3とする)を選出する。tテストポイントからm1、m2、m3基地局までの距離に基づいて、多辺測位を行う。tテストポイントから3つの5G基地局までの距離は、それぞれ、d=fm1(RSSm1,t)、d=fm2(RSSm2,t)、d=fm3(RSSm3,t)である。ここで、fm1(・)、fm2(・)、fm3(・)は、それぞれ、m1、m2、m3の3つの5G基地局に対応するRSS-距離回帰モデルのマッピング関係を示す。
多辺測位の具体式は、以下であり、
【数27】
ここで、xm1、xm2、xm3、xt1は、それぞれ5G基地局m1、m2、m3および多辺測位計算の横座標を示し、ym1、ym2、ym3、yt1は、それぞれ、5G基地局m1、m2、m3および多辺測位計算の縦座標を示す。
その後、
【数28】

【数29】
に基づいて、多辺測位結果と3重視覚照合の指紋測位結果とを加重融合して、最終的な測位結果を得る。
【数30】
であれば、多辺測位結果の重みは、以下のように示される。
【数31】
【数32】
かつ0<|D|<3であれば、多辺測位結果の重みは、以下のように示される。
【数33】
【数34】
かつ
|D|=0であれば、多辺測位結果の重みは、以下のように示される。
【数35】
|D|+|D|<3であれば、多辺測位結果の重みは、以下のように示される。
w=0
最終的な測位位置は、以下である。
(x,y)=w*(xt1,yt1)+(1-w)*(xt2,yt2
ここで、α<α、αは、信号が悪い上限を示し、αは、信号の良好な下限を示す。2つの閾値は、機器によって異なる。本発明では、
【数36】

【数37】
【発明の効果】
【0011】
本発明は、マルチ5G基地局RSS-距離モデル及び多角度視覚収集データを採用して屋内環境をより良く特徴づけることができ、またマルチ5G基地局RSS-距離モデル及び3重視覚照合モデルを採用して融合測位を実現し、単一測位方法による単一指紋照合の精度が不足する問題を改良し、非常に広い応用シーンがある。
【図面の簡単な説明】
【0012】
図1】本発明のフローチャートである。
図2】マルチ5G基地局モデル学習の模式図である。
図3】3重視覚照合のフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明の技術手段について、図面を参照して詳細に説明する。
【0014】
本発明は、3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法を提供する。図1に示すように、本発明が提供する3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法において、まず5G基地局が屋内の異なる基準ポイントの多角度画像、RSSおよび位置情報を収集し、収集した画像と基準ポイントの位置データをクラウドにアップロードし、各5G基地局がローカルサーバーでRSS-距離の回帰モデルを学習し、クラウドで多角度画像および基準ポイント位置を利用して画像-位置指紋ライブラリを構築し、最後に、3重視覚照合モデルとマルチ5G基地局回帰モデルによる測位融合を行い、より正確な位置予測をモバイル機器に送信する。
【0015】
本発明は、主に3つの内容を含む。1つは、マルチ5G基地局の回帰モデル学習であり、RSSと基準ポイントの位置に基づいて、異なる5G基地局がそれぞれRSS-距離モデルを学習する。2つ目は、画像と基準ポイントの位置を用いて3重視覚照合測位アルゴリズムを提案する。3つ目は、クラウドが3重視覚照合モデルとマルチ5G基地局回帰モデルに基づいて融合測位を実現し、モバイル機器の位置を予測する。
【0016】
1.マルチ5G基地局の回帰モデル学習
屋内測位でよく使われるRSS-距離モデルは、対数減衰モデルであるが、屋内環境の複雑さ(壁の遮蔽など)や、5G基地局が置かれている位置の周囲環境が異なり、すべての5G測位基地局に対して1種類の対数減衰モデルを採用すると、測位精度が不足するため、各5G基地局に対してそれぞれニューラルネットワークを採用してRSS-距離モデルを学習する必要がある。
ガウスフィルタリングは、主に複雑な環境によるデータ異常の問題を解決するものである。データの正確性を保証するため、各5G基地局は、同じ基準ポイントの複数回のRSSデータを収集してガウスフィルタリングを行う。
m基地局がr基準点に対して収集したRSSベクトルは、以下であり、
【数38】
ここで、Nは、同一の基準ポイントに対して収集したRSSデータの個数を示す。収集したRSSm,rに基づいて、平均値μと分散σは、以下のように示される。
【数39】
【数40】
であれば、このデータは、フィルタリングされる。ガウスフィルタリング後、m基地局がr基準点に対するRSSベクトルは、次のように変化する。
【数41】
ここで、Nは、RSSm,rに対するガウスフィルタリングの後に、同一の基準ポイントに残ったRSSデータの個数を示す。
閾値フィルタリングは、主にRSS-距離モデルで実現される多辺測位法においてRSS値が小さいと測位精度が悪くなるからである。閾値フィルタリングを用いることでRSS-距離モデルのRSS範囲を減少するものの、RSS距離モデルは、小さなRSS値に影響されないため、モデルの精度が向上する。ガウスフィルタリングおよび閾値フィルタリング後(RSS値≧90dBm)、m基地局のr基準点に対するRSSベクトルは、次のように変化する。
【数42】
ここで、Nは、
【数43】
に対するガウスフィルタリングおよび閾値フィルタリングの後に、同一の基準ポイントに残ったRSSデータの個数を示す。データフィルタリング処理の後、ローカルサーバは、RSS-距離モデル学習を行う。それは、主にニューラルネットワークを通じて基準ポイントのRSSを入力とし、基準ポイントから5G基地局までの距離を出力として学習した回帰モデルであり、図2に示す。m基地局が学習したRSS-距離回帰モデルは、以下のように示される。
【数44】
ここで、f(・)は、m基地局学習モデルのマッピング関係を示す。
【0017】
2.3重視覚照合モデル:
指紋定位の前に、オフライン指紋ライブラリを構築し、RSSの変動による測位誤差問題を考慮する必要がある。本発明は、多角度画像と基準ポイント位置の指紋測位方法を考慮する。基準ポイントについては、8方位の画像情報と、基準ポイントの位置とが画像-位置指紋ライブラリを構築する(各角度で撮影された画像は、基準ポイントの位置と1組のサンプルを構成する)。指紋測位を行う際には、図3に示すように、3重視覚照合モデルを用いて指紋照合を行う。
第1の視覚照合:
tテストポイントで撮影された画像をYOLO目標検出システムで画像検出し、同一の識別物の数に基づいて画像の類似度を比較する。YOLO目標検出システムは、画像を検出してtテストポイント(テストポイントは、モバイル機器が存在する位置である)で撮影された画像の識別物情報を得ることができ、以下のように示される。
【数45】
ここで、θは、tテストポイントにおける画像撮影の角度を示す。cは、q(q=1,2,...,Q1)識別物を示す。また、YOLO目標検出システムは、各識別物が存在する識別領域も取得することができる。
θと結合し、tテストポイントと異なる方向のr基準ポイントの同じ識別物の類似度照合を行い、次のように示す。
【数46】
ここで、
【数47】
は、tテストポイントのθ方向に撮影された画像とr基準ポイントのθ1方向に撮影された画像の同じ識別物情報を示し、
【数48】
は、r基準ポイントのθ1方向に撮影された画像の識別物情報を示す。
【数49】
であれば、のちの照合を行う。
第2の視覚照合:
YOLO目標検出システムを利用して、識別物が存在する識別領域に対して、tテストポイントにおける撮影画像の識別物間の相対方位情報を得ることができる。画像中の識別物の向きの制約によって、識別物の相対的な方向情報を抽出して方向関係を確立する。テストポイントの撮影画像における識別物の方向関係を以下に示す。
【数50】
ここで、
【数51】
は、tテストポイントのθ方向に撮影された画像において、2つの識別物が存在する識別領域の中心の画素の相対方向を示す。
tテストポイントと異なる方向のr基準ポイントの識別物情報の方向関係の類似度照合を行い、次のように示す。
【数52】
ここで、
【数53】
は、r基準ポイントのθ1方向に撮影された画像において、2つの識別物が存在する識別領域の中心の画素の相対方向を示す。G(・)は、0-1変換関数であり、以下のように示される。
【数54】
第3の視覚照合:
YOLO目標検出システムと結合して、識別物が存在する識別領域に対して、tテストポイントの撮影画像の識別物間の相対距離情報を得ることができる。画像を画素解析することにより、tテストポイントの撮影画像における識別物の距離関係は、以下のように示される。
【数55】
ここで、
【数56】
は、tテストポイントのθ方向に撮影された画像において、2つの識別物が存在する識別領域の中心の画素の相対距離を示す。tテストポイントと異なる方向のr基準ポイントの識別物情報の距離関係の類似度照合は、次のように示す。
【数57】
ここで、
【数58】
は、r基準ポイントのθ1方向に撮像された画像において、2つの識別物が存在する識別領域の中心の画素の相対距離を示す。
3重視覚照合に基づいて、tテストポイントと異なる方向のr基準ポイントの画像の類似度を、以下に示す。
【数59】
得られた類似度を大きい順にソートし、上位K=10個の類似度に対応する基準ポイントを選択して重み付けを行い、tテストポイントの3重視覚照合の指紋測位結果を得る。
【数60】
【0018】
融合測位:
上述した内容は、多辺測位法と指紋測位法のそれぞれの優位性と不足を考慮し、それぞれに改良を行い、良好な測位結果を得るために融合測位の方式を採用し、両測位方法の優位性を十分に利用している。RSSが大きいほど信号が正確になるので、RSS値に基づいて、測位に使用可能な5G基地局が選択される。RSSの各要素を判断し、RSSm,t<-90dBmであれば、m基地局のRSSは、tテストポイントの測位に用いられない。RSSに残った要素の大きさの順番に基づいて、3つの最大RSS値に対応する5G基地局(それぞれm1、m2、m3とする)を選択して多辺測位を行う。
tテストポイントから3つの5G基地局までの距離は、それぞれ、d=fm1(RSSm1,t)、d=fm2(RSSm2,t)、d=fm3(RSSm3,t)である。ここで、fm1(・)、fm2(・)、fm3(・)は、それぞれ、m1、m2、m3の3つの5G基地局に対応するRSS-距離回帰モデルのマッピング関係を示す。
そして、多辺測位の具体式は、以下であり、
【数61】
ここで、xm1、xm2、xm3、xt1は、それぞれ5G基地局m1、m2、m3および多辺測位計算の横座標を示し、ym1、ym2、ym3、yt1は、それぞれ、5G基地局m1、m2、m3および多辺測位計算の縦座標を示す。
その後、多辺測位結果と3重視覚照合の指紋測位結果とを加重融合する。
【数62】

【数63】
に基づいて、以下の3種類に分けて加重融合測位を行う。
【数64】
であれば、多辺測位結果の重みは、以下のように示される。
【数65】
【数66】
かつ0<|D|<3であれば、多辺測位結果の重みは、以下のように示される。
【数67】
【数68】
かつ|D|=0であれば、多辺測位結果の重みは、以下のように示される。
【数69】
|D|+|D|<3であれば、多辺測位結果の重みは、以下のように示される。
w=0
得られた最終測位位置は、以下である。
(x,y)=w*(xt1,yt1)+(1-w)*(xt2,yt2
【0019】
以上、本発明の実施例が提供する3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法について詳しく紹介したが、当業者に対しては、本発明の実施例の思想に基づき、具体的な実施形態および応用において改良を行うことがある。以上をまとめると、本明細書の内容は、本発明を限定するものとして解釈されるべきではない。
【0020】
(付記)
(付記1)
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、以下のステップを含むことを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
(1)オフライン段階において、モバイル機器は、5G基地局と通信を行い、5G基地局は、受信信号強度RSSデータ、モバイル機器の位置およびモバイル機器が存在する位置の複数の方向に撮影された画像を取得し、ここで5G基地局は、RSSデータ、モバイル機器の位置および5G基地局の位置を利用してローカルサーバーにRSS-距離の指紋ライブラリを構築し、5G基地局は、撮影された画像およびモバイル機器の位置をクラウドにアップロードし、クラウドに画像-位置の指紋ライブラリを構築する。
(2)各ローカルサーバは、RSS-距離の指紋ライブラリを利用して、RSS-距離の回帰モデル学習を行う。
(3)クラウドは、画像-位置の指紋ライブラリに基づいて、3重視覚照合モデルを利用して指紋測位を行う。
(4)5G基地局がテストポイントのRSSベクトルを取得することにより、クラウドは、ステップ(2)におけるRSS-距離の回帰モデルと結合して多辺測位を行う。
(5)クラウドは、ステップ(4)における多辺測位結果とステップ(3)における指紋測位結果を加重融合し、テストポイントの融合測位結果を得る。
【0021】
(付記2)
付記1に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
前記ステップ(1)において、5G基地局は、モバイル機器が存在する位置の東、西、南、北、南東、北東、南西、北西の8方向に撮影された画像を取得することを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
【0022】
(付記3)
付記1に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
前記ステップ(1)において、5G基地局は、同一基準ポイントの複数回のRSSデータを取得することを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
【0023】
(付記4)
付記3に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
前記ステップ(2)の実現過程は、以下のとおりであることを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
まず、RSS-距離の指紋ライブラリ中の各5G基地局に対応するRSSデータに対してガウスフィルタリング及び閾値フィルタリングを行う。
その後、フィルタリングされた指紋ライブラリに基づいて、ニューラルネットワークに対して学習を行い、RSS-距離回帰モデルが得られる。
前記ニューラルネットワークは、基準ポイントのRSSデータを入力とし、基準ポイントから5G基地局までの距離を出力とする。
【0024】
(付記5)
付記4に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
m基地局がr基準点に対して収集したRSSベクトルは、以下であり、
【数70】
ここで、Nは、5G基地局がある基準ポイントに対して収集したRSSデータの個数を示し、
【数71】
は、RSSm,r中のn番目のデータを示し、
RSSm,rがガウスフィルタリングされた後、基地局の基準点に対するRSSベクトルは、次のように変化し、
【数72】
ここで、Nは、RSSm,rに対するガウスフィルタリングの後に残ったRSSデータの個数を示し、
【数73】
は、
【数74】
のn番目のデータを示し、
【数75】
が閾値フィルタリングされた後、m基地局のr基準点に対するRSSベクトルは、次のように変化し、
【数76】
ここで、Nは、
【数77】
に対する閾値フィルタリングの後に残ったRSSデータの個数を示し、
【数78】
は、
【数79】
のn番目のデータを示し、
ガウスフィルタリングおよび閾値フィルタリング後のRSSベクトルに基づいて、基地局は、ローカルサーバでニューラルネットワークを学習し、対応するRSS-距離回帰モデルを得て、以下のように示され、
【数80】
ここで、f(・)は、m基地局に対応するRSS-距離回帰モデルのマッピング関係を示す、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
【0025】
(付記6)
付記1に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
前記ステップ(3)の実現過程は、以下のとおりであることを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
(3.1)tテストポイントで撮影された画像をYOLO目標検出システムで画像検出し、画像ごとの識別物情報および各識別物が存在する識別領域を取得し、ここで、tテスト点のθ方向に撮影された画像の識別物情報は、以下のように示される。
【数81】
ここで、cは、q識別物を示し、q=1,2,...,Q1、Q1は、識別物の数を示す。
(3.2)tテストポイントと異なる方向の基準ポイントの同じ識別物の類似度照合を行い、次のように示す。
【数82】
ここで、
【数83】
は、tテストポイントのθ方向に撮影された画像とr基準ポイントのθ1方向に撮影された画像の同じ識別物情報を示し、
【数84】
は、r基準ポイントのθ1方向に撮影された画像の識別物情報を示し、θ1∈{東、西、南、北、南東、北東、南西、北西}。
【数85】
であれば、ステップ(3.3)を実行し、|・|は、集合の要素数を示し、そうでなければ、r基準ポイントのθ1方向に撮影された画像は、tテストポイントの測位ができないと考え、θ1方向に撮影された画像を破棄する。
(3.3)tテストポイントと異なる方向のr基準ポイントの識別物情報の方向関係の類似度照合を行い、次のように示す。
【数86】
ここで、
【数87】
は、tテストポイントのθ方向に撮影された画像において、2つの識別物が存在する識別領域の中心の画素の相対方向を示し、
【数88】
は、r基準ポイントのθ1方向に撮像された画像において、2つの識別物が存在する識別領域の中心の画素の相対方向を示し、ccおよびctは、
【数89】
中の2つの識別物を示し、G(・)は、0-1変換関数である。
(3.4)tテストポイントと異なる方向のr基準ポイントの識別物情報の距離関係の類似度照合を行い、次のように示す;
【数90】
ここで、
【数91】
は、tテストポイントのθ方向に撮影された画像において、2つの識別物が存在する識別領域の中心の画素の相対距離を示し、
【数92】
は、r基準ポイントのθ1方向に撮像された画像において、2つの識別物が存在する識別領域の中心の画素の相対距離を示す。
(3.5)tテストポイントのθ方向に撮影された画像と異なる方向のr基準ポイントのθ1方向に撮影された画像の類似度を、以下に示す。
【数93】
(3.6)(3.5)で得られた類似度を大きい順にソートし、上位K個の類似度に対応する基準ポイントを選択して重み付けを行い、tテストポイントの3重視覚照合の指紋測位結果を取得する。
【数94】
ここで、(x,y)は、k基準ポイントの座標であり、Kは、上位K個の類似度に対応する基準ポイントの集合である。
【0026】
(付記7)
付記1に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
【数95】
であることを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
【0027】
(付記8)
付記1に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
前記ステップ(4)の実現過程は、以下のとおりであることを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
(4.1)tテストポイントのRSSベクトル
RSSm,t=[RSS1,t,...,RSSm,t,...RSSM,t]のうち閾値αより小さい要素を廃棄する。ここで、Mは、5G基地局数を示し、RSSm,tは、m基地局がtテストポイントに対して収集したRSS値を示す。
(4.2)(4.1)で得られた3つの最大RSS値に対応する5G基地局を選出し、m1、m2、m3とする。
(4.3)tテストポイントからm1、m2、m3基地局までの距離に基づいて、多辺測位を行う。多辺測位の具体式は、以下であり、
【数96】
ここで、d、d、dは、それぞれtチェックポイントからm1、m2、m3基地局までの距離を示し、xm1、xm2、xm3、xt1それぞれ5G基地局m1、m2、m3および多辺測位計算の横座標を示し、ym1、ym2、ym3、yt1は、それぞれ、5G基地局m1、m2、m3および多辺測位計算の縦座標を示し、(xt1,yt1)は、tテストポイントの多辺測位結果を示す。
【0028】
(付記9)
付記8に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
=fm1(RSSm1,t)、d=fm2(RSSm2,t)、d=fm3(RSSm3,t)であり、
ここで、fm1(・)、fm2(・)、fm3(・)は、それぞれ、m1、m2、m3基地局に対応するRSS-距離回帰モデルのマッピング関係を示すことを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
【0029】
(付記10)
付記7に記載の3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法であって、
多辺測位結果と3重視覚照合の指紋測位結果とを加重融合して、tテストポイントの最終測位結果を得ることを特徴とする、
3重視覚照合とマルチ基地局回帰を融合した5G屋内スマート測位方法。
(x,y)=w*(xt1,yt1)+(1-w)*(xt2,yt2
ここで、
【数97】
であれば、多辺測位結果の重み
【数98】

【数99】
かつ0<|D|<3であれば、
【数100】

【数101】
かつ|D|=0であれば、
【数102】

|D|+|D|<3であれば、w=0、
【数103】

【数104】
図1
図2
図3
【外国語明細書】