特許 7466335 位置推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-04

(45)【発行日】2024-04-12

(54)【発明の名称】位置推定装置

(51)【国際特許分類】

   G01C 21/30 20060101AFI20240405BHJP

   G01S 5/02 20100101ALI20240405BHJP

   G06T 7/70 20170101ALI20240405BHJP

   G01C 21/26 20060101ALI20240405BHJP

   G08G 1/005 20060101ALI20240405BHJP

【ＦＩ】

G01C21/30

G01S5/02 A

G06T7/70 A

G01C21/26 P

G08G1/005

【請求項の数】 8

(21)【出願番号】P 2020036564

(22)【出願日】2020-03-04

(65)【公開番号】P2021139701

(43)【公開日】2021-09-16

【審査請求日】2022-09-28

(73)【特許権者】

【識別番号】000236056

【氏名又は名称】三菱電機ビルソリューションズ株式会社

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】妻鹿 利宏

(72)【発明者】

【氏名】成井 智祐

(72)【発明者】

【氏名】川浦 健央

(72)【発明者】

【氏名】中野 智晴

【審査官】佐々木 佳祐

(56)【参考文献】

【文献】特開２０１５－０５５５３４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／００－２５／００

Ｇ０８Ｇ １／００－９９／００

Ｇ０１Ｓ ５／０２

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

建物内に携行される、位置推定装置であって、
歩行者自律航法により前記建物内の位置座標推定を行うＰＤＲ位置推定部と、
前記建物内を撮像する撮像器と、
前記建物の構造データに基づいて前記建物内の設備から選択された測位オブジェクトの位置座標と、前記ＰＤＲ位置推定部により推定された現在位置座標との距離が所定の近接距離以下になった時に、前記撮像器による前記測位オブジェクトの撮像を携行者に促す動作を実行する判定部と、
前記撮像器により撮像された前記建物内の撮像画像に含まれる前記測位オブジェクトと、前記建物の構造データに含まれる前記測位オブジェクトとの画像マッチングを行って撮像位置座標を推定する画像マッチング位置推定部と、
前記測位オブジェクトを選択するオブジェクト選択部と、
を備え、
前記オブジェクト選択部は、所定の補正間隔で離間する、前記建物内に固定配置された複数種類の属性に亘る設備の中から、前記測位オブジェクトを選択する、
位置推定装置。

【請求項2】

請求項１に記載の位置推定装置であって、
前記オブジェクト選択部は、前記建物内に固定配置された複数種類の属性に亘る設備のうち、相対的に小型の設備を、前記測位オブジェクトとして選択する、位置推定装置。

【請求項3】

請求項２に記載の位置推定装置であって、
前記測位オブジェクトの位置座標と、前記ＰＤＲ位置推定部により推定された現在位置座標との距離が前記近接距離以下になった時に、前記測位オブジェクトの属性を表示する表示部を備える、位置推定装置。

【請求項4】

請求項３に記載の位置推定装置であって、
メッセージが入力される入力部と、
前記メッセージが入力された入力位置座標と現在位置座標とが一致するときに、前記表示部に対して、当該入力位置座標にて撮像された前記建物内の撮像画像に前記メッセージを重畳表示させる表示制御部と、
を備える、位置推定装置。

【請求項5】

請求項１～４の何れか一つに記載の位置推定装置であって、
前記建物の構造データとして、３Ｄ－ＣＡＤデータまたはＢＩＭデータが記憶される構造データ記憶部を備える、
位置推定装置。

【請求項6】

請求項１～４の何れか一つに記載の位置推定装置であって、
前記建物の構造データとして、２Ｄ－ＣＡＤデータが記憶される構造データ記憶部と、
前記測位オブジェクトの高度が入力される高度入力部を備える、
位置推定装置。

【請求項7】

請求項１～６の何れか一つに記載の位置推定装置であって、
前記判定部は、前記測位オブジェクトの位置座標と、前記ＰＤＲ位置推定部により推定された現在位置座標との距離が前記近接距離以下になった時に、前記ＰＤＲ位置推定部による位置推定を休止させるとともに、前記画像マッチング位置推定部による位置推定を実行させる、
位置推定装置。

【請求項8】

請求項１～７の何れか一つに記載の位置推定装置であって、
ＧＰＳ信号を受信する受信機と、
現在位置座標の高度が所定の閾値高度を超過するときに、前記ＧＰＳ信号による位置推定を休止するＧＰＳ信号判定部と、
を備える、位置推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、位置推定装置に関する。

【0002】

例えば建物内の保守作業を行う際に、当該建物内の作業員の位置座標を求めることで、保守作業の効率化が図られる。例えば、建物内の作業員の位置座標をもとに、遠隔から作業員に対して保守対象の設備までの経路を指示できる。

【0003】

作業員の位置座標を求めるデバイスとして、例えばスマートフォン等の携帯通信端末が用いられる。作業員に通信端末を携行させ、当該通信端末に搭載されたセンサ等により、作業員の位置座標が求められる。

【0004】

例えば通信端末を用いた位置座標の測位システムとして、ＧＰＳ（Global Positioning System）システムが知られている。しかしながら、作業員が建物内にいる場合、ＧＰＳ衛星からの信号（ＧＰＳ信号）を通信端末が受信し難くなる。

【0005】

ＧＰＳに代わる位置座標の測位手法として、例えば特許文献１～６に例示されるような、画像マッチングによる測位が知られている。例えば作業員が通信端末のカメラ機能を用いて周囲を撮像する。この撮像画像と、建物の３Ｄ－ＣＡＤデータやＢＩＭデータ等の建物構造データとを対比することで、撮像位置座標が求められる。

【0006】

また、他の位置座標の測位手法として、例えば特許文献７、８に例示されるような、歩行者自律航法（ＰＤＲ）が知られている。通信端末には加速度センサ、磁器センサ、ジャイロセンサが搭載され、これらのセンサによって、直前の位置から現在位置までの変位が求められる。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１８－１３２５２８号公報

【文献】特開２０１６－１６４５１８号公報

【文献】特開２０１１－０９４９９２号公報

【文献】特開２００９－１０９４１５号公報

【文献】国際公開第２０１７／１６８４７２号

【文献】特開２０１７－１６７０７７号公報

【文献】特開２０１７－１０６７８７号公報

【文献】特許第６４１５７９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、画像マッチングによる位置推定を行う場合、ニューラルネットワーク等の、人工知能（ＡＩ）を用いた演算が実行される。この演算は比較的負荷が大きく、画像マッチングによる位置推定を常時行う場合、通信端末の演算負荷が過大となる。一方、ＰＤＲによる位置推定は、画像マッチングよりも演算負荷が軽いというメリットがあるが、センサの誤差が積算されるため、ＰＤＲによる位置推定が行われる距離が長くなるほど、推定精度が低下するという特徴がある。

【0009】

そこで本発明は、位置推定の精度低下を抑制しつつ、通信端末の演算負荷の軽減を可能とする、位置推定装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明は、建物内に携行される、位置推定装置に関する。当該装置は、ＰＤＲ位置推定部、撮像器、判定部、及び画像マッチング位置推定部を備える。ＰＤＲ位置推定部は、歩行者自律航法により建物内の位置座標推定を行う。撮像器は、建物内を撮像する。判定部は、建物の構造データに基づいて建物内の設備から選択された測位オブジェクトの位置座標と、ＰＤＲ位置推定部により推定された現在位置座標との距離が所定の近接距離以下になった時に、撮像器による測位オブジェクトの撮像を携行者に促す動作を実行する。画像マッチング位置推定部は、撮像器により撮像された建物内の撮像画像に含まれる測位オブジェクトと、建物の構造データに含まれる測位オブジェクトとの画像マッチングを行って撮像位置座標を推定する。

【0011】

上記構成によれば、歩行者自律航法による位置座標推定と、測位オブジェクトとの画像マッチングによる位置座標推定とが併用して行われる。歩行者自律航法による位置座標推定による誤差は、画像マッチングによる位置座標推定により補正される。さらに、画像マッチングによる位置座標推定が間欠的に実行されるため、当該推定が常時実行される場合と比較して、位置推定装置の演算負荷は軽減される。

【0012】

また上記構成において、測位オブジェクトを選択するオブジェクト選択部が設けられてよい。この場合、オブジェクト選択部は、所定の補正間隔に応じて、複数の測位オブジェクトを選択する。

【0013】

補正間隔に応じて、均等に測位オブジェクトが選択されることで、歩行者自律航法による誤差の蓄積が均等化される。

【0014】

また上記構成において、測位オブジェクトの位置座標と、ＰＤＲ位置推定部により推定された現在位置座標との距離が近接距離以下になった時に、測位オブジェクトの属性を表示する表示部を備えてもよい。

【0015】

測位オブジェクトの属性が示されることで、撮像対象が携行者に知らされることになり、測位オブジェクトを確実に撮像可能となる。

【0016】

また上記構成において、入力部及び表示制御部が設けられてもよい。入力部にはメッセージが入力される。表示制御部は、メッセージが入力された入力位置座標と現在位置座標とが一致するときに、表示部に対して、当該入力位置座標にて撮像された建物内の撮像画像にメッセージを重畳表示させる。

【0017】

建物の保守点検を行う複数の作業員にそれぞれ位置推定装置を携行させたときに、上記のような重畳表示機能が各位置推定装置に設けられることで、入力位置座標における作業内容等のメッセージを作業員間で共有できる。

【0018】

また上記構成において、建物の構造データとして、３Ｄ－ＣＡＤデータまたはＢＩＭデータが記憶される構造データ記憶部が設けられてもよい。

【0019】

また上記構成において、建物の構造データとして、２Ｄ－ＣＡＤデータが記憶される構造データ記憶部と、測位オブジェクトの高度が入力される高度入力部が設けられてもよい。

【0020】

また上記構成において、判定部は、測位オブジェクトの位置座標と、ＰＤＲ位置推定部により推定された現在位置座標との距離が所定の近接距離以下になった時に、ＰＤＲ位置推定部による位置推定を休止させるとともに、画像マッチング位置推定部による位置推定を実行させてもよい。

【0021】

また上記構成において、ＧＰＳ信号を受信する受信機と、現在位置座標の高度が所定の閾値高度を超過するときに、ＧＰＳ信号による位置推定を休止するＧＰＳ信号判定部とが設けられてもよい。

【0022】

ＧＰＳによる測位では、ＧＰＳ信号の受信が不安定なとき、高度の精度が低くなることが知られている。このような、ＧＰＳ信号を受信したときの位置座標の高度に応じて、ＧＰＳ信号による位置推定の可否を判定することで、高度成分の推定精度の低下が抑制される。

【発明の効果】

【0023】

本発明によれば、位置推定の精度低下を抑制しつつ、通信端末の演算負荷が軽減可能となる。

【図面の簡単な説明】

【0024】

【図1】本実施形態に係る位置推定装置のハードウェア構成を例示する図である。

【図2】本実施形態に係る位置推定装置の測位の基準となる基準座標軸を例示する図である。

【図3】本実施形態に係る位置推定装置の機能ブロックを例示する図である。

【図4】建物の構造データとして、３次元データを例示する図である。

【図5】建物の構造データとして、２次元データを例示する図である。

【図6】本実施形態に係る位置測定プロセスを例示する図である。

【図7】測位オブジェクト選択フローを例示する図である。

【図8】本実施形態に係る位置推定フローを例示する図である。

【図9】携行者に撮像を促すための、撮像機能通知を例示する図である。

【図10】画像マッチングによる位置推定フローを例示する図である。

【図11】建物内の撮像画像を例示する図である。

【図12】ＰｎＰ問題に基づく位置推定プロセスを説明する図である。

【図13】２次元データを用いた画像マッチングによる位置推定フローを例示する図である。

【図14】歩行者自律航法に基づく位置推定フローを例示する図である。

【図15】撮像画像にメッセージが重畳表示されたときの例を示す図である。

【図16】本実施形態に係る位置測定プロセスの別例を示す図である。

【図17】ＧＰＳ信号に基づく位置推定の可否を判定するフローを例示する図である。

【発明を実施するための形態】

【0025】

図１には、本実施形態に係る位置推定装置１０のハードウェア構成が例示される。位置推定装置１０は、建物の保守点検を行う作業員が携行可能な通信端末であってよく、例えばスマートフォンやタブレット端末等の、携帯用の通信端末であってよい。例えば位置推定装置１０は、作業員に携行され、保守点検対象の建物内にて使用される。

【0026】

位置推定装置１０は、ＣＰＵ１２、加速度センサ１４、ジャイロセンサ１６、地磁気センサ１８、撮像器２０、ＧＰＳ受信機２２、振動器２４、入力部２６、システムメモリ２８、ストレージ３０、ＧＰＵ３２、フレームメモリ３４、ＲＡＭＤＡＣ３６、及び表示部３８を備える。

【0027】

ＣＰＵ１２（中央演算装置）は、本実施形態に係る位置推定プロセスを実行する中心的な演算素子である。システムメモリ２８は、ＣＰＵ１２によって実行されるオペレーションシステム（ＯＳ）が使用する記憶装置である。ストレージ３０は、外部記憶装置であって、例えば後述する、位置推定プロセスを実行するためのプログラムが記憶される。

【0028】

ＧＰＵ３２（Graphics Processing Unit）は、画像処理用の演算装置であって、後述する画像マッチングによる位置推定を行う際に主に稼働される。フレームメモリ３４は、撮像器２０により撮像されさらにＧＰＵ３２により演算処理された画像を記憶する記憶装置である。ＲＡＭＤＡＣ３６（Random Access Memory Digital-to-Analog Converter）は、フレームメモリ３４に記憶された画像データを、アナログディスプレイである表示部３８向けのアナログ信号に変換する。

【0029】

加速度センサ１４は、位置推定装置１０の加速度を測定する。加速度センサ１４は、図２に例示されるように、直交する３軸方向の加速度をそれぞれ計測可能となっている。すなわち、表示部３８の表示面に平行であって、軸同士が直交するＸ軸及びＹ軸、並びに、表示部３８の表示面に直交するＺ軸のそれぞれの軸方向の加速度が、加速度センサ１４によって測定される。加速度センサ１４、ジャイロセンサ１６、及び地磁気センサ１８は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）等のいわゆるマイクロマシンから構成される。

【0030】

ジャイロセンサ１６は、位置推定装置１０の角速度を測定する。ジャイロセンサ１６は、図２に例示されるように、直交する３軸周りの回転を測定する。つまり、Ｘ軸周りの回転であるピッチ角、Ｙ軸周りの回転であるロール角、及び、Ｚ軸周りの回転であるアジマス角（ヨー角とも呼ばれる）が、ジャイロセンサ１６により測定される。また、地磁気センサ１８は、位置推定装置１０の磁北からの傾きを検出する。

【0031】

ＧＰＳ受信機２２は、ＧＰＳ衛星から測位信号であるＧＰＳ信号を受信する。ＧＰＳ信号には、緯度、経度、高度の位置座標情報が含まれる。後述するように、ＧＰＳ信号は屋内ではＧＰＳ衛星からのＧＰＳ信号の受信が困難となる。したがって、主に位置推定装置１０が屋外に携行されているときに、ＧＰＳ信号に基づく位置座標推定が行われる。

【0032】

撮像器２０は、例えばスマートフォンに搭載されたカメラデバイスであり、建物内の様子を静止画及び動画にて撮像可能となっている。撮像器２０は、例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含んで構成される。

【0033】

入力部２６は文字入力や後述する測位オブジェクトの高度を入力可能となっている。例えば入力部２６は、表示部３８と一体化されたタッチパネルであってよい。表示部３８は、撮像器２０の撮像画像、入力部２６により入力された文字メッセージ、及び後述する測位オブジェクトの属性等を表示可能となっている。

【0034】

振動器２４は例えばバイブレータであり、後述するように、測位オブジェクトの撮像地点において、測位演算切替判定部４４（図３参照）により振動駆動される。振動器２４は、例えば、リニア共振アクチュエータ、偏心回転質量型のモータ、またはピエゾアクチュエータから構成される。

【0035】

図３には、位置推定装置１０の機能ブロック図が例示される。この機能ブロック図は、例えばシステムメモリ２８やストレージ３０に記憶されるか、または、ＤＶＤやコンピュータのハードディスク等の、非一過性の記憶媒体に記憶された、位置推定プログラムをＣＰＵ１２やＧＰＵ３２が実行することで構成される。

【0036】

図３には、図１にも例示されたハードウェア構成の一部と機能ブロックとが混在した状態で示される。具体的に図３に例示されるように、位置推定装置１０は、ハードウェア構成として、加速度センサ１４、ジャイロセンサ１６、地磁気センサ１８、撮像器２０、ＧＰＳ受信機２２、入力部２６、振動器２４、表示部３８を備える。さらに位置推定装置１０は、機能ブロックとして、ＰＤＲ位置推定部４０、画像マッチング位置推定部４２、測位演算切替判定部４４、建物構造データ記憶部４６、測位オブジェクト選択部４８、位置座標記憶部５０、メッセージ表示制御部５２、及び、ＧＰＳ信号判定部５４を備える。これらの機能ブロックは、ＣＰＵ１２、システムメモリ２８、ストレージ３０、ＧＰＵ３２、及びフレームメモリ３４等から構成される。

【0037】

ＰＤＲ位置推定部４０は、歩行者自律航法（ＰＤＲ、Pedestrian Dead Reckoning）により、建物内の位置座標推定を行う。歩行者自律航法に基づく位置座標推定の詳細は後述される。

【0038】

画像マッチング位置推定部４２は、撮像器２０による建物内の撮像画像に含まれる測位オブジェクトと、建物構造データ記憶部４６に記憶された、建物の構造データ内の測位オブジェクトとの画像マッチングを行うことで、撮像位置座標を推定する。

【0039】

画像マッチング位置推定部４２には、例えば、外部のサーバ等によって学習済みの画像認識用のニューラルネットワークが記憶される。例えば建物内の画像データであって、画像内の各設備のセグメント済み及びアノテーション済みのデータが、訓練用データとして準備される。この訓練用データを用いて、教師有り学習により機械学習された多階層のニューラルネットワークが形成される。この学習済みの当該ニューラルネットワークが、画像マッチング位置推定部４２に記憶される。なお、画像マッチングによる位置座標推定の詳細は後述される。

【0040】

測位演算切替判定部４４は、位置推定装置１０の位置座標推定に当たり、ＰＤＲ位置推定部４０を用いるか、または画像マッチング位置推定部４２を用いるかを、後述する図８のフローチャートに則って判定する。

【0041】

建物構造データ記憶部４６には、作業員（位置推定装置１０の携行者）が保守点検作業を行う建物の構造データが記憶される。建物の構造データとして、例えば、建物構造データ記憶部４６には、図４に例示されるような３次元構造データが記憶される。

【0042】

この３次元記憶データは、例えば３Ｄ－ＣＡＤデータであってよい。３Ｄ－ＣＡＤデータには、壁設置型の誘導灯６０、ドア６２、柱６４等の、固定配置された設備に加えて、机６６や椅子６８等の、可動設備の３次元構造及び配置情報も含まれる。具体的には、これらの設備の、建物内に設置された３次元座標が世界座標系で記憶される。例えば誘導灯６０であれば、誘導灯６０の実寸法の３次元座標点群が世界座標系で記憶される。例えば世界座標系では、建物の任意の点が原点となり、この原点からの各設備の距離が３次元の直交座標系で表現される。

【0043】

また、建物構造データ記憶部４６には、３次元座標点群に加えて、各設備の属性が記憶される。例えば誘導灯やドアといった設備名等の属性が、３次元座標点群とともに建物構造データ記憶部４６に記憶される。なお、同一名称の設備が建物内に複数設置されている場合には、設備ごとにユニークな（重複のない）設備ＩＤが属性情報に含まれる。

【0044】

また、建物構造データ記憶部４６には、３Ｄ－ＣＡＤデータに代えて、ＢＩＭデータが記憶されてよい。ＢＩＭ（Building Information Modeling）データは、上記のような各設備の３次元座標点群及び属性に加えて、コスト、設置年月日、保守点検日等の管理情報も含まれる。

【0045】

また、建物構造データ記憶部４６には、図４のような３次元構造データに代えて、図５に例示されるような２Ｄ－ＣＡＤデータ等の２次元構造データが記憶されていてもよい。このような２次元構造データでは、フロア別に平面図データが構築される。また、各階で共通する２次元座標の原点からの、各設備の距離が、２次元座標点群にて表現される。例えば２次元構造データには、ドア６２、柱６４、床埋め込み式の誘導灯７０等の、固定配置される設備に加えて、机６６や椅子６８等の、可動設備の２次元構造及び配置情報も含まれる。

【0046】

測位オブジェクト選択部４８は、画像マッチング位置推定に必要な測位オブジェクトＯｂｊ＿ｋを選択する。後述されるように、測位オブジェクト選択部４８は、建物構造データ記憶部４６に記憶された建物の構造データに基づいて、当該建物内の設備から、複数の測位オブジェクトＯｂｊ＿ｋを選択する。

【0047】

＜位置推定フロー＞
図６には、本実施形態に係る位置推定装置１０を使用した、位置推定プロセスが例示される。位置推定装置１０は作業員８０に携行され、屋外から建物１００内に入る。屋外ではＧＰＳ衛星８２からＧＰＳ信号を受信することで、位置推定装置１０の位置座標が推定される。位置推定装置１０が建物１００内に入り、ＧＰＳ信号の受信が困難になると、図８に例示される位置推定フローが実行される。

【0048】

図６に例示されるように、本実施形態に係る位置推定プロセスでは、画像マッチングによる位置推定と歩行者自律航法（ＰＤＲ）に基づく位置推定とが交互に実行される。歩行者自律航法に基づく位置推定が途中で画像マッチングによる位置推定に置き換えられることで、歩行者自律航法に基づく誤差の蓄積が抑制される。また、画像マッチングによる位置推定が間欠的に実行されることで、常時画像マッチングによる位置推定を行う場合と比較して、演算負荷を軽減できる。演算負荷の軽減にともない、携帯型の位置推定装置１０の電力消費を抑制可能となる。

【0049】

本実施形態に係る位置推定フローの実行に際して、測位オブジェクトが選択される。測位オブジェクトとは、建物内の設備のうち、画像マッチングの対象（または基準）となる設備を指す。測位オブジェクトは建物内に固定配置された設備であればよく、例えば誘導灯６０，７０、ドア６２、柱６４等が測位オブジェクトの候補に選ばれる。

【0050】

なお、撮像器２０による撮像画像中に測位オブジェクトの全体像が含まれることが好適であることから、大型の設備よりも小型の設備の方が測位オブジェクトとしては好適である。例えば図６の例では、測位オブジェクトとして、壁設置型の誘導灯６０と空調設備の室内機７２が測位オブジェクトとして選択される。

【0051】

測位オブジェクトの選択は測位オブジェクト選択部４８（図３参照）により実行される。測位オブジェクト選択部４８には、画像マッチングによる位置推定を行う間隔である、補正間隔Ｌが記憶される。例えば補正間隔Ｌとして１０ｍが設定される。この場合、１０ｍごとに画像マッチングによる位置推定が実行され、その間は歩行者自律航法に基づく位置推定が実行される。

【0052】

図７には、測位オブジェクトの選択フローが例示される。測位オブジェクト選択部４８は、建物構造データ記憶部４６に記憶された、建物構造データを参照して、位置推定装置１０が建物に入った時に最初に画像マッチングを行う測位オブジェクトＯｂｊ＿１を選択する（Ｓ１０）。図６に例示されるように、ＧＰＳによる位置推定が困難となる建物１００の入口付近の設備が測位オブジェクトＯｂｊ＿１に選択される。図６の例では、建物１００の入口上方に設けられた誘導灯６０が測位オブジェクトＯｂｊ＿１に選択される。

【0053】

さらに測位オブジェクト選択部４８は、フロア面積及び補正間隔Ｌに基づいて、建物内の測位オブジェクトの最終値ｎを求める（Ｓ１２）。例えばフロア面積が１００ｍ^２であって、補正間隔Ｌ＝１０ｍであるときに、当該フロアにおける最終値ｎは１０となる。

【0054】

さらに測位オブジェクト選択部４８は、測位オブジェクトＯｂｊ＿ｋのカウントｋをインクリメントして（Ｓ１４）、選択済みの測位オブジェクトＯｂｊ＿ｋ－１から補正間隔Ｌ離れた測位オブジェクトＯｂｊ＿ｋを、建物構造データ内の設備から選択する（Ｓ１６）。例えばこの選択ステップでは、選択された設備（つまり測位オブジェクトＯｂｊ＿ｋ）の３次元座標点群と、当該設備の属性（誘導灯、ドア、柱等）とが関連付けられた状態で測位オブジェクト選択部４８に記憶される。

【0055】

なお、上述したように、建物構造データ内の各設備は３次元点群として管理される。補正間隔Ｌ離れているか否かを判定する際には、例えばこれらの設備の代表点が用いられる。例えばそれぞれの設備を示す３次元点群の重心点が代表点として抽出され、各設備の代表点同士の距離に基づいて、補正間隔Ｌとの対比が行われる。

【0056】

さらに測位オブジェクト選択部４８は、カウントｋが最終値ｎに到達したか否かを判定し（Ｓ１８）、未達である場合にはカウントｋをインクリメントして（Ｓ１７）、ステップＳ１６まで戻る。ステップＳ１８にてカウントｋが最終値ｎに到達している場合には、測位オブジェクトＯｂｊ＿ｋの選択は終了される。

【0057】

なお、上述の例では、位置推定装置１０の測位オブジェクト選択部４８が、測位オブジェクトＯｂｊ＿ｋを選択していたが、本発明はこの形態に限られない。例えば、位置推定装置１０とは異なるサーバ等により測位オブジェクトＯｂｊ＿ｋの選択が行われ、選択済みの測位オブジェクトＯｂｊ＿ｋが測位オブジェクト選択部４８に記憶されてもよい。

【0058】

図８には、本実施形態に係る位置推定フローが例示される。測位演算切替判定部４４（図３）には、位置推定装置１０の現在位置座標が、ＰＤＲ位置推定部４０、画像マッチング位置推定部４２、及び屋外に居る時にはＧＰＳ信号判定部５４から送信される。

【0059】

測位演算切替判定部４４は、位置推定装置１０の現在位置（Ｘ，Ｙ，Ｚ）と、進行方向直近の測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ０，Ｙ０，Ｚ０）との離間距離Ｄを求める（Ｓ２０，Ｓ２２）。なお、進行方向は現在位置とその直前の位置との差分から求めることが出来る。

【0060】

なお、位置推定装置１０の現在位置座標は、例えば位置推定装置１０の撮像器２０内の焦点座標であってよい。また上述したように、３次元点群であるところの測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ０，Ｙ０，Ｚ０）は、測位オブジェクトＯｂｊ＿ｋの代表点（例えば重心点）であってよい。

【0061】

位置推定装置１０の現在位置（Ｘ，Ｙ，Ｚ）と、進行方向直近の測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ０，Ｙ０，Ｚ０）との離間距離Ｄが所定の近接距離Ｄｔｈを超過する場合、測位演算切替判定部４４は、歩行者自律航法に基づく位置座標推定をＰＤＲ位置推定部に実行させる（Ｓ３０）。

【0062】

一方、離間距離Ｄが所定の近接距離Ｄｔｈ以下である場合、測位演算切替判定部４４は、撮像器２０による測位オブジェクトの撮像を作業員（携行者）に促す動作を実行する（Ｓ２４）。この動作は、図８において撮像機能通知と示される。撮像機能通知は、例えば図９に例示されるように、表示部３８（入力部２６も兼ねる）に撮像を促すメッセージ（撮像メッセージ）を表示する通知であってよい。また、撮像メッセージには、撮像すべき測位オブジェクトの属性（誘導灯等）が表示されてよい。

【0063】

加えて、撮像メッセージを作業員（携行者）に気付かせるために、アラーム機能が実行されてもよい。例えば、測位演算切替判定部４４は、振動器２４に対して振動指令を出力する。またこれに加えて、位置推定装置１０であるところのスマートフォンの内蔵スピーカ（図示せず）からアラーム音が出力されてもよい。さらに、測位演算切替判定部４４は、撮像メッセージの表示及びアラーム機能の実行と併せて、撮像器２０の撮像機能を起動させてもよい。このようにして、測位オブジェクトの撮像を作業員に確実に実行させることが出来る。

【0064】

図８に戻り、測位演算切替判定部４４は、撮像器２０による撮像が完了したか否かを判定する（Ｓ２６）。まだ撮像が行われていない場合には、撮像機能通知（撮像メッセージ表示及びアラーム出力）が継続される。

【0065】

一方、ステップＳ２６にて撮像が行われた場合には、その撮像画像に基づいて、画像マッチング位置推定が実行される（Ｓ２８）。測位演算切替判定部４４は、画像マッチング位置推定部４２に対して、位置推定の演算指令を出力する。

【0066】

なお、測位演算切替判定部４４は、ＰＤＲ位置推定部４０と画像マッチング位置推定部４２の一方に演算指令（位置推定指令）を出力するとともに、ＰＤＲ位置推定部４０と画像マッチング位置推定部４２の他方に、演算（位置推定）の休止指令を送ってもよい。

【0067】

このようにして、図８に例示される位置推定フローでは、位置推定装置１０と測位オブジェクトＯｂｊ＿ｋとの離間距離Ｄに応じて、ＰＤＲ位置推定部４０と画像マッチング位置推定部４２との位置推定が切り替えられる。したがって例えば、位置推定装置１０と測位オブジェクトＯｂｊ＿ｋとの離間距離Ｄが閾値である近接距離Ｄｔｈを超過するときには、上述のようにＰＤＲ位置推定部４０によって現在位置座標が求められる。さらに求められた現在位置座標と測位オブジェクトＯｂｊ＿ｋの位置座標との離間距離Ｄが近接距離Ｄｔｈ以下になると、測位演算切替判定部４４により、撮像機能通知が出力され、さらに画像マッチング位置推定部４２による現在位置座標（撮像位置座標）の推定が行われる。

【0068】

＜画像マッチングを用いた位置推定＞
図１０には、画像マッチングを利用した位置座標推定のフローが例示される。このフローでは位置や形状が既知の物体の画像と、それを撮影した撮像器２０の位置及び姿勢を求める、いわゆるＰｎＰ問題（Perspective n-Point）を解くことで、撮像器２０及びこれを含む位置推定装置１０の位置座標（撮像位置座標）が推定可能となる。

【0069】

画像マッチング位置推定部４２は、撮像器２０が撮像した、例えば図１１のような、建物内の撮像画像を取得する。さらに画像マッチング位置推定部４２は、撮像画像中の測位オブジェクトＯｂｊ＿ｋを抽出する。例えば画像マッチング位置推定部４２は、撮像画像に対して、学習済みニューラルネットワークを用いてセグメンテーション及びアノテーションを行い、当該撮像画像から、測位オブジェクトＯｂｊ＿ｋである誘導灯６０を特定する。つまり画像マッチング位置推定部４２は、撮像画像から誘導灯６０の画像領域を特定し、さらに特定された画像領域の物体が測位オブジェクトＯｂｊ＿ｋの誘導灯６０であると認識する。

【0070】

さらに画像マッチング位置推定部４２は、図１２に例示されるように、認識された撮像画像中の測位オブジェクトＯｂｊ＿ｋである誘導灯６０′の、投影面Ｐ１上の特定点における２次元座標（ｕ，ｖ）を求める（Ｓ４０）。特定点とは、測位オブジェクトＯｂｊ＿ｋ中の任意の点であってよく、例えば直方体の誘導灯６０の場合、図が描画された正面の矩形の４隅をそれぞれ特定点としてよい。

【0071】

次に、画像マッチング位置推定部４２は、建物構造データ記憶部４６から、建物構造データを呼び出し、当該建物構造データ空間における、撮像されたものと同一の、測位オブジェクトＯｂｊ＿ｋに選択された設備を抽出する（Ｓ４２）。例えば画像マッチング位置推定部４２は、測位オブジェクト選択部４８から、現在選択されている測位オブジェクトＯｂｊ＿ｋの属性情報を取得し、測位オブジェクトＯｂｊ＿ｋに選択された設備と同一の（例えば同一の設備ＩＤを持つ）設備を、建物構造データ内の測位オブジェクトＯｂｊ＿ｋとして抽出する。

【0072】

さらに画像マッチング位置推定部４２は、建物構造データから抽出された測位オブジェクトＯｂｊ＿ｋの特定点の３次元座標（Ｘ，Ｙ，Ｚ）を求める（Ｓ４４）。例えば測位オブジェクトＯｂｊ＿ｋの正面の矩形の４隅が特定点として選択される。

【0073】

画像マッチング位置推定部４２は、撮像器２０の撮像位置座標（絶対座標）を仮入力する（Ｓ４６）。撮像位置座標は、撮像器２０の世界座標系における３次元位置座標及び姿勢を指す。当該撮像位置座標を含んだ数式が下記数式（１）のように記載される。なお、ここで、撮像器２０の撮像位置座標とは、撮像器２０内の焦点座標であってよい。

【0074】

【数1】

【0075】

仮入力された撮像位置座標と測位オブジェクトＯｂｊ＿ｋの３次元座標（Ｘ，Ｙ，Ｚ）を数式（１）に代入することで、投影面上の座標（ｕ′，ｖ′）が得られる（Ｓ４８）。画像マッチング位置推定部４２は、求められた座標（ｕ′，ｖ′）と、測位オブジェクトＯｂｊ＿ｋの投影面における特定点座標（ｕ，ｖ）との差を求め、この差が所定の閾値以下になったか否かを判定する（Ｓ５０）。

【0076】

当該差分が閾値を超過する場合に、ステップＳ４６までフローが戻り、撮像位置座標の仮入力が再度行われる。一方、座標（ｕ′，ｖ′）と座標（ｕ，ｖ）との差が閾値以下になった場合、画像マッチング位置推定部４２は、座標（ｕ′，ｖ′）を求める際に用いられた撮像位置座標を撮像器２０及びこれを含む位置推定装置１０の撮像位置座標とする（Ｓ５２）。

【0077】

この画像マッチングによる絶対座標の推定は、一つの測位オブジェクトＯｂｊ＿ｋの複数の特定点に対して実行されてもよい。例えば一つの測位オブジェクトＯｂｊ＿ｋから４点の特定点を抽出して、それぞれについて位置座標を求める、Ｐ４Ｐ問題を解くことで、撮像器２０の撮像位置座標が求められてもよい。

【0078】

＜２次元データを用いた位置推定＞
図１０の例では、建物構造データとして３次元構造データが用いられたが、２Ｄ－ＣＡＤ等の２次元構造データが用いられてもよい。この場合、位置推定装置１０には、測位オブジェクトＯｂｊ＿ｋの高度を入力する高度入力部が設けられる。例えば入力部２６（図３参照）が当該高度入力部の機能を備えていてよい。

【0079】

例えば、図５のような平面図が建物構造データとして用いられる場合であって、測位オブジェクトＯｂｊ＿ｋとして床埋め込み型の誘導灯７０が選択された場合に、当該平面図に対応するフロアの床高さが入力部２６から入力される。

【0080】

図１３には、建物構造データとして２次元構造データが用いられるときの、画像マッチング位置推定フローが例示される。このフローでは、図１０の画像マッチング位置推定フローと比較して、３次元座標入力ステップ（Ｓ４４）が２次元座標入力ステップ（Ｓ４３）に置き換えられ、また、測位オブジェクトＯｂｊ＿ｋの特定点の高度（Ｚ）を入力するステップ（Ｓ４５）が追加されている。なお、図１０と同一番号のステップは処理内容が同一であるため、以下では適宜説明が省略される。

【0081】

図１３のフローにおいて、２次元構造データから測位オブジェクトＯｂｊ＿ｋの特定点の２次元座標（Ｘ，Ｙ）が求められた（Ｓ４３）後に、当該特定点の高度（Ｚ）が位置推定装置１０の携行者（作業員）により入力される（Ｓ４５）。これにより特定点の３次元座標が得られ、さらに撮像位置座標の仮入力（Ｓ４６）にフローが進められる。

【0082】

＜歩行者自律航法を用いた位置推定＞
図１４には、ＰＤＲ位置推定部４０（図３参照）による、歩行者自律航法を用いた位置推定フローが例示される。ＰＤＲ位置推定部４０は、加速度センサ１４の測定値から、重力加速度を測定する（Ｓ６０）。例えば重力加速度は、図２に例示されたＸ軸、Ｙ軸、Ｚ軸方向の加速度と、位置推定装置１０の初期姿勢に基づいて求められる。初期姿勢は、Ｘ軸周りのピッチ角、Ｙ軸周りのロール角、及びＺ軸周りのアジマス角を合成した向きを指しており、例えば地磁気センサ１８による磁北からの傾きを求めることで、初期姿勢が得られる。

【0083】

さらにＰＤＲ位置推定部４０は、下記数式（２）に示される回転行列Ｒを求める（Ｓ６２）。なお、下記数式（２）において、Ｒｘ（θ）はＸ軸中心の回転行列を示し、Ｒｙ（θ）はＹ軸中心の回転行列を示し、Ｒｚ（θ）はＺ軸中心の回転行列を示す。

【0084】

【数2】

【0085】

さらにＰＤＲ位置推定部４０は、下記数式（３）を用いて、加速度センサ１４が測定した加速度（rawAx, rawAy, rawAz）を世界座標系の加速度（Ax, Ay, Az）に変換する（Ｓ６４）。

【0086】

【数3】

【0087】

次にＰＤＲ位置推定部４０は、下記数式（４）を用いて、加速度（Ax, Ay, Az）から各軸方向の重力加速度（G0x, G0y, G0z）を除いた加速度（ax, ay, az）を求める（Ｓ６６）。

【0088】

【数4】

【0089】

さらにＰＤＲ位置推定部４０は、下記数式（５）を用いて、加速度（ax, ay, az）を２重積分する（Ｓ６８）。これにより、位置推定装置１０の相対位置（dx, dy, dz）が求められる（Ｓ７０）。

【0090】

【数5】

【0091】

相対位置（dx, dy, dz）は、加速度センサ１４による測定前の位置推定装置１０の位置座標からの変位を表す。そこでＰＤＲ位置推定部４０は、当該位置座標に求められた相対位置（dx, dy, dz）を加えることで現在位置座標Ｂ（Ｘ，Ｙ，Ｚ）を求める（Ｓ７２）。

【0092】

このように、歩行者自律航法を用いた位置推定は、加速度センサ１４及びジャイロセンサ１６から得た６点の測定値（Rx(-pitch), Ry(-roll), Rz(-azimuth), rawAx, rawAy, rawAz）を演算するのみで足りることから、撮像画像のセグメンテーションやアノテーションを要する画像マッチング位置推定よりも、演算負荷が軽いことが理解される。

【0093】

＜位置座標を利用した作業支援機能＞
上述のような位置推定を行うことで、種々の作業支援が実行可能となる。例えば、位置推定装置１０の位置座標が求められることで、建物内の作業員の所在が遠隔から把握可能となる。例えば位置推定装置１０であるところのスマートフォンに、遠隔の管理センターから通信し、当該スマートフォンの携行者である作業員に、保守点検対象の設備までの経路を指示することが出来る。

【0094】

また、図３に例示されるように、位置推定装置１０の入力部２６から保守点検メッセージを入力することで、複数の作業員に亘って保守作業の共有が可能となる。例えば作業員が位置推定装置１０の入力部から、保守点検対象の設備に関するメッセージを入力する。例えば図１５に例示されるように、室外機７４の画像が表示部３８に映るように位置推定装置１０の撮像器２０のアングルを定めた状態で、当該室外機７４に関する保守点検メッセージ「圧縮機不良のため配線取り外し中」が入力部２６より入力される。

【0095】

入力された保守点検メッセージは、入力位置座標及びその姿勢（アングル）と関連付けられてメッセージ表示制御部５２（図３参照）に記憶される。この保守点検メッセージ、入力位置座標及び姿勢が、他の位置推定装置１０にも共有される。当該他の位置推定装置１０の現在位置座標と入力位置座標とが一致し、図１５と同一の姿勢（アングル）にて撮像器２０により撮像が行われると、メッセージ表示制御部５２は、表示部３８に表示される撮像画像に保守点検メッセージを重畳表示させる。これにより、室外機７４に対する保守点検作業内容の共有化が図られる。

【0096】

＜ＧＰＳと本実施形態に係る位置推定を組み合わせた手法＞
上述の実施形態では、主に建物内における位置推定が行われた。一方、建物の保守点検では、図１６に例示されるように、建物１００の屋上に設置された室外機７４等の保守点検が行われる場合がある。このような場合を考慮して、歩行者自律航法及び画像マッチングに基づく位置推定に加えて、ＧＰＳ信号に基づく位置推定が行われてもよい。

【0097】

図１７には、歩行者自律航法及び画像マッチングに基づく位置推定に加えて、ＧＰＳ信号に基づく位置推定を行うときの、フローチャートが例示される。このフローチャートは、図８のフローチャートに、ステップＳ８０～Ｓ８６を加えたものである。図８と重複するステップについては、処理内容が同一であることから、適宜、説明が省略される。

【0098】

ＧＰＳ受信機２２（図３参照）がＧＰＳ衛星８２（図１６参照）からＧＰＳ信号を受信すると、ＧＰＳ信号判定部５４は、ＧＰＳ信号の強度が所定の強度閾値未満であるか否かを判定する（Ｓ８０）。

【0099】

ＧＰＳ信号の強度が所定の強度閾値未満である場合、歩行者自律航法による位置推定及び画像マッチングによる位置推定のどちらを実行するかを判定するために、フローはステップＳ２０に進む。

【0100】

一方、ステップＳ８０にて、ＧＰＳ信号の強度が所定の強度閾値以上である場合、ＧＰＳ信号判定部５４は、位置推定装置１０の現在の高度Ｚが、所定の閾値高度Ｚｔｈ以下であるか否かを判定する（Ｓ８２）。

【0101】

一般的に、ＧＰＳを用いた測位システムでは、ＧＰＳ信号の受信が不安定なとき、高度の精度が低くなることが知られている。そこで、受信したＧＰＳ信号に含まれる高度値が使用に耐え得る精度を有するか否かが、位置推定装置１０の高度Ｚに応じて定められる。

【0102】

位置推定装置１０の現在の高度Ｚが、所定の閾値高度Ｚｔｈを超過する場合、ＧＰＳ信号判定部５４は受信したＧＰＳ信号を破棄して、フローをステップＳ２０に進める（Ｓ８４）。つまり、当該ＧＰＳ信号による位置推定が休止される。

【0103】

一方、位置推定装置１０の現在の高度Ｚが、閾値高度Ｚｔｈ未満である場合に、ＧＰＳ信号判定部５４は、受信したＧＰＳ信号から得られた緯度、経度、高度情報を、位置座標記憶部５０に送る。これにより位置推定装置１０の現在位置座標が更新される（Ｓ８６）。

【0104】

またＧＰＳ信号判定部５４は、ＧＰＳ信号の受入可否を測位演算切替判定部４４に送る。ステップＳ８０，Ｓ８２にてＧＰＳ信号の受け入れが不可と判定された場合には、ＧＰＳ信号判定部５４から測位演算切替判定部４４に受入負荷通知が送信される。これを受けて測位演算切替判定部４４は、歩行者自律航法による位置推定及び画像マッチングによる位置推定のどちらを実行するかを判定する。

【0105】

一方、ステップＳ８０，Ｓ８２にてＧＰＳ信号の受け入れ可と判定された場合には、ＧＰＳ信号判定部５４から測位演算切替判定部４４に受入通知が送信される。これを受けて測位演算切替判定部４４は、位置推定の切替判定（歩行者自律航法／画像マッチング）を休止する。

【0106】

＜別の実施形態＞
上述の実施形態では、測位オブジェクトＯｂｊ＿ｋが複数選択されていたが、小規模の建物等においては、一つの測位オブジェクトＯｂｊのみが選択されてもよい。例えば建物入口に設けられた誘導灯６０が測位オブジェクトＯｂｊとして選択される。この誘導灯６０による画像マッチング位置推定により現在位置座標が推定された後は、歩行者自律航法による位置推定のみにて、位置推定装置１０の位置推定が行われてもよい。

【符号の説明】

【0107】

１０ 位置推定装置、１２ ＣＰＵ、１４ 加速度センサ、１６ ジャイロセンサ、１８ 地磁気センサ、２０ 撮像器、２２ ＧＰＳ受信機、２４ 振動器、２６ 入力部、２８ システムメモリ、３０ ストレージ、３４ フレームメモリ、３８ 表示部、４０ ＰＤＲ位置推定部、４２ 画像マッチング位置推定部、４４ 測位演算切替判定部、４６ 建物構造データ記憶部、４８ 測位オブジェクト選択部、５０ 位置座標記憶部、５２ メッセージ表示制御部、５４ ＧＰＳ信号判定部、６０ 誘導灯、１００ 建物。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】