特表2023-509099室内視覚ナビゲーション方法、装置、システム及び電子機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-06
(54)【発明の名称】室内視覚ナビゲーション方法、装置、システム及び電子機器
(51)【国際特許分類】
G01C 21/26 20060101AFI20230227BHJP
G08G 1/005 20060101ALI20230227BHJP
G08G 1/09 20060101ALI20230227BHJP
G01C 21/36 20060101ALI20230227BHJP
G09B 29/00 20060101ALI20230227BHJP
G09B 29/10 20060101ALI20230227BHJP
【ＦＩ】
G01C21/26 P
G08G1/005
G08G1/09 F
G01C21/36
G09B29/00 Z
G09B29/10 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022566506
(86)(22)【出願日】2020-09-30
(85)【翻訳文提出日】2022-07-06
(86)【国際出願番号】 CN2020119479
(87)【国際公開番号】W WO2021208372
(87)【国際公開日】2021-10-21
(31)【優先権主張番号】202010292954.X
(32)【優先日】2020-04-14
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＡＮＤＲＯＩＤ
(71)【出願人】
【識別番号】522271823
【氏名又は名称】北京邁格威科技有限公司
【氏名又は名称原語表記】ＭＥＧＶＩＩ （ＢＥＩＪＩＮＧ） ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】王 金戈
(72)【発明者】
【氏名】謝 航
(72)【発明者】
【氏名】▲トゥオ▼ 東成
(72)【発明者】
【氏名】陳 南
(72)【発明者】
【氏名】李 正權
(72)【発明者】
【氏名】劉 詩文
(72)【発明者】
【氏名】劉 驍
【テーマコード（参考）】
2C032
2F129
5H181
【Ｆターム（参考）】
2C032HC08
2C032HC14
2C032HC16
2C032HD07
2C032HD16
2F129AA02
2F129CC16
2F129DD62
2F129EE85
2F129FF12
2F129FF20
2F129FF73
2F129GG17
2F129HH02
2F129HH04
2F129HH12
5H181AA21
5H181BB04
5H181BB05
5H181CC04
5H181MC19
(57)【要約】
本開示は、収集した測位対象の室内画像を移動機器でサーバにアップロードし、移動機器が室内画像を収集するときのカメラポーズをサーバで決定し、室内画像に対応するカメラポーズが移動機器に送信された後、移動機器が室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成し、ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画し、最後に移動機器によって収集された現在のプレビュー画像を画面に表示し、ＡＲ座標系及び最短経路に基づいて経路進行方向を示す３次元マークを現在のプレビュー画像上に重ね合わせる室内視覚ナビゲーション方法、装置、システム及び電子機器を提供する。本開示は、室内ナビゲーションサービスをユーザに提供して、ユーザが目的地に便利に到達するように案内することができる。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
移動機器によって実行される室内視覚ナビゲーション方法であって、測位対象の室内画像を収集したら、前記移動機器が前記室内画像を収集するときのカメラポーズをサーバによって決定されるために前記室内画像を前記サーバにアップロードするステップと、
前記サーバから返信された前記室内画像に対応するカメラポーズを受信し、前記室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成するステップと、
ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画するステップと、
前記移動機器によって収集された現在のプレビュー画像を前記移動機器の画面に表示し、前記ＡＲ座標系及び前記最短経路に基づいて、経路進行方向を示す３次元マークを前記現在のプレビュー画像上に重ね合わせるステップと、を含む、室内視覚ナビゲーション方法。
【請求項2】
前記室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成するステップは、初期のＡＲ座標系を作成するステップと、
前記ＡＲ座標系が世界座標系に合わせるように、前記室内画像に対応するカメラポーズに基づいて前記初期のＡＲ座標系を調整するステップと、を含む、請求項１に記載の方法。
【請求項3】
ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画するステップは、ユーザによって設定された目的地情報に基づいて、経路計画アルゴリズムを利用して、予めインポートされた室内トポロジーマップにおいて最短経路を計画するステップを含む、請求項１又は２に記載の方法。
【請求項4】
経路進行方向を示す３次元マークを前記現在のプレビュー画像上に重ね合わせるステップは、前記現在のプレビュー画像における地平面を検出するステップと、
前記ＡＲ座標系での前記最短経路の３次元座標を決定し、決定した前記３次元座標に基づいて経路進行方向を示す３次元マークを生成するステップと、
前記現在のプレビュー画像における地平面に前記３次元マークを描画するステップと、を含む、請求項１～３のいずれか１項に記載の方法。
【請求項5】
ナビゲーションにおいて前記サーバによって送信された現在のカメラポーズを受信したら、補正後の前記ＡＲ座標系が前記世界座標系に合わせたままであるように前記現在のカメラポーズに基づいて前記ＡＲ座標系を補正するステップをさらに含む、請求項１～４のいずれか１項に記載の方法。
【請求項6】
サーバによって実行される室内視覚ナビゲーション方法であって、移動機器によってアップロードされた測位対象の室内画像を受信したら、前記移動機器が前記室内画像を収集するときのカメラポーズを決定するステップと、
前記移動機器が前記室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成し、前記ＡＲ座標系及び最短経路に基づいて経路進行方向を示す３次元マークを前記移動機器によって収集された現在のプレビュー画像上に重ね合わせるように、前記室内画像に対応するカメラポーズを前記移動機器に送信するステップであって、前記最短経路は前記移動機器がユーザによって設定された目的地情報に基づいて室内トポロジーマップにおいて計画したものであるステップと、を含む、室内視覚ナビゲーション方法。
【請求項7】
前記移動機器が前記室内画像を収集するときのカメラポーズを決定するステップは、前記室内画像と予め作成された視覚マップライブラリ内の視覚マップについて特徴マッチングを行い、前記移動機器が前記室内画像を収集するときのカメラポーズを得るステップであって、前記視覚マップは室内シーンのスパースポイントクラウドモデルによって表されるステップを含む、請求項６に記載の方法。
【請求項8】
前記室内画像と予め作成された視覚マップライブラリ内の視覚マップについて特徴マッチングを行い、前記移動機器が前記室内画像を収集するときのカメラポーズを得るステップは、ディープハッシュアルゴリズムを利用して前記室内画像のグローバル画像記述子を計算するステップと、
前記視覚マップライブラリにおいて前記グローバル画像記述子に類似している複数のキーフレーム画像を検索するステップと、
前記キーフレーム画像のそれぞれのキーフレーム情報を取得するステップと、
前記キーフレーム情報に従って前記複数のキーフレーム画像を複数のクラスタに分けるステップと、
前記クラスタのそれぞれをトラバースして、前記室内画像のローカル特徴点を取得するステップと、
ローカル記述子を計算して、前記クラスタ内のローカル特徴点とマッチングさせるステップと、
マッチングに成功するローカル特徴点に対応する３Ｄマップポイントを得るステップと、
前記３Ｄマップポイントの個数が予め設定された個数よりも大きいと、前記室内画像に対応するカメラポーズを得るステップとを含む、請求項７に記載の方法。
【請求項9】
前記視覚マップライブラリの作成は、移動機器が室内シーンにおいて収集した複数枚のシーン画像を取得するステップと、
ＳＦＭアルゴリズムに基づいて前記複数枚のシーン画像に対して３次元再構成を行い、前記複数枚のシーン画像に対応するスパースポイントクラウドモデルを含む視覚マップライブラリを得るステップと、を含む、請求項７又は８に記載の方法。
【請求項10】
予めインポートされた室内間取り図に前記視覚マップを合わせるステップをさらに含む、請求項７～９のいずれか１項に記載の方法。
【請求項11】
前記視覚マップライブラリ内の視覚マップを圧縮させるステップをさらに含む、請求項７～１０のいずれか１項に記載の方法。
【請求項12】
前記視覚マップライブラリ内の視覚マップを圧縮させるステップは、前記視覚マップ内の原特徴を符号化するステップと、
符号化した原特徴を保存して、符号化する前の原特徴を除去するステップと、を含む、請求項１１に記載の方法。
【請求項13】
前記移動機器がナビゲーションにおいて収集した現在のプレビュー画像を定時的に取得し、前記移動機器が前記現在のプレビュー画像を収集するときの現在のカメラポーズを決定するステップと、前記移動機器が前記現在のカメラポーズに基づいて前記ＡＲ座標系を補正するように、前記現在のカメラポーズを前記移動機器に送信するステップと、をさらに含む、請求項６～１２のいずれか１項に記載の方法。
【請求項14】
移動機器側に配置される室内視覚ナビゲーション装置であって、測位対象の室内画像を収集したら、前記移動機器が前記室内画像を収集するときのカメラポーズをサーバによって決定されるために前記室内画像を前記サーバにアップロードするように構成される画像アップロードモジュールと、
前記サーバから返信された前記室内画像に対応するカメラポーズを受信し、前記室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成するように構成される座標系作成モジュールと、
ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画するように構成される経路計画モジュールと、
前記移動機器によって収集された現在のプレビュー画像を前記移動機器の画面に表示し、前記ＡＲ座標系及び前記最短経路に基づいて、経路進行方向を示す３次元マークを前記現在のプレビュー画像上に重ね合わせるように構成されるナビゲーション表示モジュールと、を含む、室内視覚ナビゲーション装置。
【請求項15】
サーバ側に配置される室内視覚ナビゲーション装置であって、移動機器によってアップロードされた測位対象の室内画像を受信したら、前記移動機器が前記室内画像を収集するときのカメラポーズを決定するように構成されるポーズ決定モジュールと、
前記移動機器が前記室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成し、前記ＡＲ座標系及び最短経路に基づいて経路進行方向を示す３次元マークを前記移動機器によって収集された現在のプレビュー画像上に重ね合わせるように、前記室内画像に対応するカメラポーズを前記移動機器に送信するように構成される機器ナビゲーションモジュールであって、前記最短経路は前記移動機器がユーザによって設定された目的地情報に基づいて室内トポロジーマップにおいて計画したものである機器ナビゲーションモジュールと、を含む、室内視覚ナビゲーション装置。
【請求項16】
通信可能に接続された移動機器とサーバを含む室内視覚ナビゲーションシステムであって、前記移動機器は、請求項１～５のいずれか１項に記載の方法を実行するように構成され、前記サーバは、請求項６～１３のいずれか１項に記載の方法を実行するように構成される室内視覚ナビゲーションシステム。
【請求項17】
プロセッサと記憶装置を含み、前記記憶装置には、前記プロセッサによって運行されると請求項１～５のいずれか１項に記載の方法、又は請求項６～１３のいずれか１項に記載の方法を実行するコンピュータプログラムが記憶されている、電子機器。
【請求項18】
プロセッサによって運行されると、上記請求項１～５のいずれか１項に記載の方法のステップ又は上記請求項６～１３のいずれか１項に記載の方法のステップを実行するコンピュータプログラムが記憶されている、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は画像処理の技術分野に関し、特に室内視覚ナビゲーション方法、装置、システム及び電子機器に関する。
【0002】
＜関連出願の相互参照＞
本開示は、２０２０年０４月１４日に中国特許庁に提出された、出願番号が２０２０１０２９２９５４Ｘ、名称が「室内視覚ナビゲーション方法、装置、システム及び電子機器」である中国特許出願の優先権を主張しており、その全内容は引用によって本開示に組み込まれている。
本開示は、２０２０年０４月１４日に中国特許庁に提出された、出願番号が２０２０１０２９２９５４Ｘ、名称が「室内視覚ナビゲーション方法、装置、システム及び電子機器」である中国特許出願の優先権を主張しており、その全内容は引用によって本開示に組み込まれている。
【背景技術】
【0003】
電子マップによるナビゲーションは、人々が外出時に主に頼りにする経路探索方法になっており、しかし、従来のナビゲーション技術は主として、ＧＰＳ技術を組み合わせた室外ナビゲーションであり、ユーザがショッピングモールなどの室内にいる場合、目的の店舗（目的地）の位置を知るには、ショッピングモールの入り口にあるに係る間取り図を頼りにするしかないが、目的地に向かう過程で、自分の位置が変化すると、現在位置から目的地に至るまでの案内経路を明確に知ることができないことが多く、このため、目的地に至るまでには、経路探索に多くの時間と労力を要することが多い。
【発明の概要】
【発明が解決しようとする課題】
【0004】
以上に鑑み、本開示の目的は、室内ナビゲーションサービスをユーザに提供して、ユーザが目的地に便利に到達するように案内することができる室内視覚ナビゲーション方法、装置、システム及び電子機器を提供することである。
【課題を解決するための手段】
【0005】
上記目的を達成させるために、本開示の実施例に使用される技術的解決手段は以下のとおりである。
【0006】
第１態様では、本開示の実施例は、移動機器によって実行される室内視覚ナビゲーション方法であって、測位対象の室内画像を収集したら、前記移動機器が前記室内画像を収集するときのカメラポーズをサーバによって決定されるために前記室内画像を前記サーバにアップロードするステップと、前記サーバから返信された前記室内画像に対応するカメラポーズを受信し、前記室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成するステップと、ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画するステップと、前記移動機器によって収集された現在のプレビュー画像を前記移動機器の画面に表示し、前記ＡＲ座標系及び前記最短経路に基づいて、経路進行方向を示す３次元マークを前記現在のプレビュー画像上に重ね合わせるステップとを含む、室内視覚ナビゲーション方法を提供する。
【0007】
１つの可能な実施形態では、前記室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成するステップは、初期のＡＲ座標系を作成するステップと、前記ＡＲ座標系が世界座標系に合わせるように、前記室内画像に対応するカメラポーズに基づいて前記初期のＡＲ座標系を調整するステップとを含む。
【0008】
１つの可能な実施形態では、ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画するステップは、ユーザによって設定された目的地情報に基づいて、経路計画アルゴリズムを利用して、予めインポートされた室内トポロジーマップにおいて最短経路を計画するステップを含む。
【0009】
１つの可能な実施形態では、経路進行方向を示す３次元マークを前記現在のプレビュー画像上に重ね合わせるステップは、前記現在のプレビュー画像における地平面を検出するステップと、前記ＡＲ座標系での前記最短経路の３次元座標を決定し、決定した前記３次元座標に基づいて経路進行方向を示す３次元マークを生成するステップと、前記現在のプレビュー画像における地平面に前記３次元マークを描画するステップとを含む。
【0010】
１つの可能な実施形態では、前記方法は、ナビゲーションにおいて前記サーバによって送信された現在のカメラポーズを受信したら、補正した前記ＡＲ座標系が前記世界座標系に合わせたままであるように前記現在のカメラポーズに基づいて前記ＡＲ座標系を補正するステップをさらに含む。
【0011】
第２態様では、本開示の実施例は、サーバによって実行される室内視覚ナビゲーション方法であって、移動機器によってアップロードされた測位対象の室内画像を受信したら、前記移動機器が前記室内画像を収集するときのカメラポーズを決定するステップと、前記移動機器が前記室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成し、前記ＡＲ座標系及び最短経路に基づいて経路進行方向を示す３次元マークを前記移動機器によって収集された現在のプレビュー画像上に重ね合わせるように、前記室内画像に対応するカメラポーズを前記移動機器に送信するステップであって、前記最短経路は前記移動機器がユーザによって設定された目的地情報に基づいて室内トポロジーマップにおいて計画したものであるステップとを含む、室内視覚ナビゲーション方法を提供する。
【0012】
１つの可能な実施形態では、前記移動機器が前記室内画像を収集するときのカメラポーズを決定するステップは、前記室内画像と予め作成された視覚マップライブラリ内の視覚マップについて特徴マッチングを行い、前記移動機器が前記室内画像を収集するときのカメラポーズを得るステップであって、前記視覚マップは室内シーンのスパースポイントクラウドモデルによって表されるステップを含む。
【0013】
１つの可能な実施形態では、前記室内画像と予め作成された視覚マップライブラリ内の視覚マップについて特徴マッチングを行い、前記移動機器が前記室内画像を収集するときのカメラポーズを得るステップは、ディープハッシュアルゴリズムを利用して前記室内画像のグローバル画像記述子を計算するステップと、前記視覚マップライブラリにおいて前記グローバル画像記述子に類似している複数のキーフレーム画像を検索するステップと、前記キーフレーム画像のそれぞれのキーフレーム情報を取得するステップと、前記キーフレーム情報に従って前記複数のキーフレーム画像を複数のクラスタに分けるステップと、前記クラスタのそれぞれをトラバースして、前記室内画像のローカル特徴点を取得するステップと、ローカル記述子を計算して、前記クラスタ内のローカル特徴点とマッチングさせるステップと、マッチングに成功するローカル特徴点に対応する３Ｄマップポイントを得るステップと、前記３Ｄマップポイントの個数が予め設定された個数よりも大きいと、前記室内画像に対応するカメラポーズを得るステップとを含む。
【0014】
１つの可能な実施形態では、前記視覚マップライブラリの作成は、移動機器が室内シーンにおいて収集した複数枚のシーン画像を取得するステップと、ＳＦＭアルゴリズムに基づいて前記複数枚のシーン画像に対して３次元再構成を行い、前記複数枚のシーン画像に対応するスパースポイントクラウドモデルを含む視覚マップライブラリを得るステップとを含む。
【0015】
１つの可能な実施形態では、前記方法は、予めインポートされた室内間取り図に前記視覚マップを合わせるステップをさらに含む。
【0016】
１つの可能な実施形態では、前記方法は、前記視覚マップライブラリ内の視覚マップを圧縮させるステップをさらに含む。
【0017】
１つの可能な実施形態では、前記視覚マップライブラリ内の視覚マップを圧縮させるステップは、前記視覚マップ内の原特徴を符号化するステップと、符号化した原特徴を保存して、符号化する前の原特徴を除去するステップとを含む。
【0018】
１つの可能な実施形態では、前記方法は、前記移動機器がナビゲーションにおいて収集した現在のプレビュー画像を定時的に取得し、前記移動機器が前記現在のプレビュー画像を収集するときの現在のカメラポーズを決定するステップと、前記移動機器が前記現在のカメラポーズに基づいて前記ＡＲ座標系を補正するように前記現在のカメラポーズを前記移動機器に送信するステップとをさらに含む。
【0019】
第３態様では、本開示の実施例は、移動機器側に配置される室内視覚ナビゲーション装置であって、測位対象の室内画像を収集したら、前記移動機器が前記室内画像を収集するときのカメラポーズをサーバによって決定されるために前記室内画像を前記サーバにアップロードするように構成される画像アップロードモジュールと、前記サーバから返信された前記室内画像に対応するカメラポーズを受信し、前記室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成するように構成される座標系作成モジュールと、ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画するように構成される経路計画モジュールと、前記移動機器によって収集された現在のプレビュー画像を前記移動機器の画面（ｉｎｔｅｒｆａｃｅ）に表示し、前記ＡＲ座標系及び前記最短経路に基づいて、経路進行方向を示す３次元マークを前記現在のプレビュー画像上に重ね合わせるように構成されるナビゲーション表示モジュールとを含む、室内視覚ナビゲーション装置を提供する。
【0020】
第４態様では、本開示の実施例は、サーバ側に配置される室内視覚ナビゲーション装置であって、移動機器によってアップロードされた測位対象の室内画像を受信したら、前記移動機器が前記室内画像を収集するときのカメラポーズを決定するように構成されるポーズ決定モジュールと、前記移動機器が前記室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成し、前記ＡＲ座標系及び最短経路に基づいて経路進行方向を示す３次元マークを前記移動機器によって収集された現在のプレビュー画像上に重ね合わせるように、前記室内画像に対応するカメラポーズを前記移動機器に送信するように構成される機器ナビゲーションモジュールであって、前記最短経路は前記移動機器がユーザによって設定された目的地情報に基づいて室内トポロジーマップにおいて計画したものである機器ナビゲーションモジュールとを含む、室内視覚ナビゲーション装置を提供する。
【0021】
第５態様では、本開示の実施例は、通信可能に接続された移動機器とサーバを含み、前記移動機器は、第１態様のいずれか１項に記載の方法を実行するように構成され、前記サーバは、第２態様のいずれか１項に記載の方法を実行するように構成される、室内視覚ナビゲーションシステムを提供する。
【0022】
第６態様では、本開示の実施例は、プロセッサと記憶装置を含み、前記記憶装置には、前記プロセッサによって運行されると第１態様のいずれか１項に記載の方法、又は第２態様のいずれか１項に記載の方法を実行するコンピュータプログラムが記憶されている電子機器を提供する。
【0023】
第７態様では、本開示の実施例は、プロセッサによって運行されると上記第１態様のいずれか１項に記載の方法のステップ又は上記第２態様のいずれか１項に記載の方法のステップを実行するコンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供する。
【発明の効果】
【0024】
本開示の実施例は、室内視覚ナビゲーション方法、装置、システム及び電子機器を提供し、収集した測位対象の室内画像を移動機器でサーバにアップロードし、移動機器が室内画像を収集するときのカメラポーズをサーバで決定し、室内画像に対応するカメラポーズが移動機器に送信された後、移動機器が室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成し、ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画し、最後に移動機器によって収集された現在のプレビュー画像を画面に表示し、ＡＲ座標系及び最短経路に基づいて経路進行方向を示す３次元マークを現在のプレビュー画像上に重ね合わせることによって、室内視覚ナビゲーションを実現する。本実施例に係る上記形態は、室内でＡＲの方式によって、最短経路に従って目的地に行くようにユーザを案内し、ユーザエクスペリエンスをより向上させることができる。
【0025】
本開示の実施例の他の特徴及び利点は、後の明細書で説明され、又は、特徴及び利点の一部は、明細書から推定されるか又は疑いなく決定され、又は、本開示の実施例の上記の技術を実施することによって把握できる。
【0026】
本開示の上記目的、特徴及び利点をより理解しやすくするために、以下、好適な実施例を挙げて、添付の図面と組み合わせて、以下のように詳細に説明する。
【図面の簡単な説明】
【0027】
本開示の特定の実施形態又は従来技術の技術的解決手段をより明確に説明するために、以下、特定の実施形態又は従来技術の説明に必要な図面を簡単に説明するが、明らかに、以下の説明における図面は本開示のいくつかの実施形態であり、当業者であれば、創造的な努力を必要とせずにこれらの図面に基づいて他の図面を取得することができる。
【図1】本開示の実施例に係る電子機器の構造概略図を示す。
【図2】本開示の実施例に係る室内視覚ナビゲーション方法の一例のフローチャートを示す。
【図3】本開示の実施例に係る別の室内視覚ナビゲーション方法のフローチャートを示す。
【図4】本開示の実施例に係る別の室内視覚ナビゲーション方法のフローチャートを示す。
【図5】本開示の実施例に係る室内視覚ナビゲーション装置の構造ブロック図を示す。
【図6】本開示の実施例に係る別の室内視覚ナビゲーション装置の構造ブロック図を示す。
【発明を実施するための形態】
【0028】
本開示の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、図面を参照しながら本開示の技術的解決手段を説明するが、明らかに、説明する本実施例に記載の各実施形態は可能な実施形態の一部に過ぎず、全ての実施形態ではない。
【0029】
ユーザが例えば携帯電話などの移動端末を利用して室内ナビゲーションを行うことができないという問題に対して、本開示の実施例は室内視覚ナビゲーション方法、装置、システム及び電子機器を提供し、この技術は室内ナビゲーションを必要とする任意の場合に適用でき、以下、本開示の実施例を詳細に説明する。
【0030】
まず、図１を参照して本開示の実施例の室内視覚ナビゲーション方法、装置、システム及び電子機器を実現する電子機器１００の一例を示す。
【0031】
図１に示す電子機器の構造概略図のように、電子機器１００は１つ又は複数のプロセッサ１０２、１つ又は複数の記憶装置１０４、入力装置１０６、出力装置１０８及び画像収集装置１１０を含み、これらの構成要素はバスシステム１１２及び／又は他の形態の接続機構（未図示）を介して相互接続される。なお、図１に示す電子機器１００の構成要素及び構造は例示的なものであり、限定的なものではなく、必要に応じて、前記電子機器は他の構成要素及び構造を有してもよい。
【0032】
前記プロセッサ１０２は、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）のうちの少なくとも１種のハードウェアの形態によって実装されてもよく、前記プロセッサ１０２は、中央処理ユニット（ＣＰＵ）、フィギュアプロセッシングユニット（ＧＰＵ）又はデータ処理能力及び／又は命令実行能力を有するほかの形態の処理ユニットのうちの１種又は複数種の組み合わせであってもよく、所望の機能を実行するように前記電子機器１００の他の構成要素を制御することができる。
【0033】
前記記憶装置１０４は、１つ又は複数のコンピュータプログラム製品を含んでもよく、前記コンピュータプログラム製品は、各種の形態のコンピュータ読み取り可能な記憶媒体、例えば揮発性メモリ及び／又は不揮発性メモリを含んでもよい。前記揮発性メモリは例えばランダムアクセスメモリ（ＲＡＭ）及び／又はキャッシュメモリ（ｃａｃｈｅ）などを含んでもよい。前記不揮発性メモリは例えば読み取り専用メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含んでもよい。前記コンピュータ読み取り可能な記憶媒体には１つ又は複数のコンピュータプログラム命令が記憶されてもよく、プロセッサ１０２は、前記プログラム命令を運行することで、下記した本開示の実施例（プロセッサによって実現される）におけるクライアント機能及び／又は他の所望の機能を実現することができる。前記コンピュータ読み取り可能な記憶媒体において、各種のアプリケーションプログラムやデータ、例えば前記アプリケーションプログラムが使用する及び／又は生成する各種データなどが記憶されていてもよい。
【0034】
前記入力装置１０６は、ユーザが命令を入力するための装置であってもよく、キーボード、マウス、マイクロフォンやタッチスクリーンなどの１つ又は複数を含む。
【0035】
前記出力装置１０８は、外部（例えば、ユーザ）に各種情報（例えば、画像又は音声）を出力してもよく、かつモニター、スピーカーなどのうちの１つ又は複数を含んでもよい。
【0036】
前記画像収集装置１１０は、ユーザが所望する画像（例えば写真、ビデオなど）を撮影し、他の構成要素で使用するために、撮影した画像を前記記憶装置１０４に記憶してもよい。
【0037】
例示的には、本開示の実施例を実現するための室内視覚ナビゲーション方法、装置、システム及び電子機器の例示的な電子機器は、例えばスマートフォン、タブレット、ウェアラブル電子機器、コンピュータ、サーバなどのスマート端末として実装されてもよい。
【0038】
本開示の実施例は、移動機器側による室内視覚ナビゲーション方法を提供してもよく、該方法は、例えばスマートフォン、タブレット、ウェアラブル電子機器などの移動機器によって実行されてもよく、図２に示す室内視覚ナビゲーション方法フローチャートを参照すると、該方法は主として、以下のステップＳ２０２～ステップＳ２０８を含む。
【0039】
ステップＳ２０２、測位対象の室内画像を収集したら、移動機器が室内画像を収集するときのカメラポーズをサーバによって決定されるために室内画像をサーバにアップロードする。
【0040】
以下、携帯電話として移動機器を例示して説明し、ユーザは、室内シーンにいるときに、自分の現在の位置を知らず、さらに現在の位置から目的地までの行き方を知らないことがあるので、まず携帯電話で現在のシーンの室内画像を先に撮影し、その後、室内画像をサーバにアップロードし、サーバによって室内画像に基づいて視覚測位を行うことができる。
【0041】
ステップＳ２０４、サーバによって返信された室内画像に対応するカメラポーズを受信し、室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成する。
【0042】
ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実）技術は、仮想情報と実世界とを融合する技術であり、仮想情報を実世界に適用し、仮想情報（例えば仮想図形）とリアルシーンとを重ね合わせることで、仮想図形及びリアルシーン画像が同一画面又は同一空間にあるような効果を表示し、ユーザが仮想と現実を組み合わせたシーンを体験するようにすることができる。１つの可能な実施形態では、ＡＲナビゲーション方式によって実現され、仮想図形をリアルシーンに表示する必要があるため、ＡＲ座標系を作成し、ＡＲ座標系が世界座標系に合わせるように室内画像に対応するカメラポーズに基づいてＡＲ座標系を調整する必要がある。ここで、ＡＲ座標系の作成は、従来のＳＬＡＭアルゴリズム（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ、自己位置推定と環境マップ作成の同時実行）を利用して実現することができ、ここでは詳しく説明しない。
【0043】
ステップＳ２０６、ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画する。
【0044】
ユーザは、携帯電話ＡＰＰに目的地の名称を入力したり、携帯電話ＡＰＰに表示される室内間取り図上で目的地をクリックする操作を実行したりすることができ、ここでは限定しない。携帯電話はユーザによって設定された目的地情報を取得すると、予めインポートされた室内トポロジーマップにおいて経路計画を行うことができる。室内トポロジーマップにおいて、各店舗がマップ内のノード、室内経路がマップ内のエッジとされてもよい。１つの可能な実施形態では、例えばショッピングモール、図書館、美術館など室内ナビゲーションサービスを提供する必要がある区域の場合、サーバに室内トポロジーマップを予め提供してもよいし、サーバが室内間取り図に基づいて直接転換してもよい。
【0045】
ステップＳ２０８、移動機器によって収集された現在のプレビュー画像を移動機器の画面に表示し、ＡＲ座標系及び最短経路に基づいて、経路進行方向を示す３次元マークを現在のプレビュー画像上に重ね合わせる。
【0046】
移動機器のカメラは、最初に、撮影状態であり、画像を持続的に収集し、収集した画像を移動端末の画面上に表示し、これは、該移動機器のカメラが画像プレビューモードであると考えられてもよい。ユーザが携帯電話を持ってナビゲーションを行う際に、携帯電話のカメラがプレビューモードであり、ユーザは、携帯電話画面を介して、現在、経路進行方向を示す３次元マークが室内シーン内（例えば地面に矢印がマーキングされている）に重ね合わせてマーキングされていることを視認できる。
【0047】
本実施例に係る上記室内視覚ナビゲーション方法によれば、移動機器は室内でＡＲの方式によって、最短経路に従って目的地に行くようにユーザを案内し、ユーザエクスペリエンスをより向上させることができる。
【0048】
室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成する際には、まず、初期のＡＲ座標系を作成し、次に、ＡＲ座標系が世界座標系に合わせるように、室内画像に対応するカメラポーズに基づいて初期のＡＲ座標系を調整してもよい。
【0049】
携帯電話にはＡＲシステムが設けられてもよく、ＡＲシステムは通常ループバック検出機能を有する視覚－慣性オドメトリー（Ｖｉｓｕａｌ－Ｉｎｅｒｔｉａｌ Ｏｄｏｍｅｔｒｙ、ＶＩＯ）であってもよく、ここで、ＡＲ座標系はＶＩＯ座標系と呼ばれてもよい。ＡＲシステムはｉＯＳシステムに付属のＡＲ Ｋｉｔ、又はＡｎｄｒｏｉｄに付属のＡＲ Ｃｏｒｅであってもよいし、移動機器ナビゲーション機能を実現し得る任意のサードパーティシステムであってもよく、ここでは制限しない。
【0050】
初期に作成されたＡＲ座標系は通常、収集した１フレーム目の画像を座標原点とする。ＡＲ座標系に基づいて描画された仮想画像を世界座標系でのリアルシーン画像とよく融合できるようにするために、室内画像に対応するカメラポーズを利用して初期のＡＲ座標系を調整する必要がある。これにより、携帯電話は計画した経路を世界座標系にスムーズに変換し、仮想図形とリアルシーン画像とをよく結合させることができる。
【0051】
１つの可能な実施形態では、本開示の実施例において、ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画する特定の実施形態が提供されている。すなわち、ユーザによって設定された目的地情報に基づいて、経路計画アルゴリズムを利用して、予めインポートされた室内トポロジーマップにおいて最短経路を計画する。経路計画アルゴリズムは、Ａ＊アルゴリズムであってもよいが、もちろん、他の経路計画アルゴリズムであってもよく、ここでは限定しない。
【0052】
ユーザにナビゲーション方向を明確に提供するために、本実施例では、上記ステップＳ２０８を実行する際には、以下のステップを参照して実現してもよい。（１）現在のプレビュー画像における地平面を検出する。（２）ＡＲ座標系での最短経路の３次元座標を決定し、決定した３次元座標に基づいて経路進行方向を示す３次元マークを生成する。（３）現在のプレビュー画像における地平面に３次元マークを描画する。例えば、３次元マークは仮想矢印、点線経路マークなどとしてもよい。ユーザは３次元マークによって示される方向に従って行くと、最終に最短経路で目的地に到達することができる。
【0053】
ＡＲナビゲーションにおいて、初期の視覚測位ポーズの誤差やＡＲシステム自体のドリフトなどの原因を考慮して、例えばナビゲーション経路が建物と交差したりするなど、ナビゲーション経路の正確性は経時的に低下する可能性がある。このため、全行程にわたって正確なナビゲーションを確保するために、本実施例における移動機器は、ナビゲーションにおいてサーバによって送信された現在のカメラポーズを受信したら、補正したＡＲ座標系が世界座標系に合わせたままであるように、現在のカメラポーズに基づいてＡＲ座標系を補正する。つまり、サーバは、ナビゲーションにおいて移動機器が収集した現在のプレビュー画像を定時的に取得し、移動機器が現在のプレビュー画像を収集するときの現在のカメラポーズを決定し、現在のカメラポーズを移動機器に送信し、次に、移動機器は、現在のカメラポーズに基づいてＡＲ座標系を補正し、これにより、ナビゲーションの正確性が向上する。
【0054】
本実施例では、また、サーバ側による室内視覚ナビゲーション方法が提供されており、該方法は例えばクラウドサーバによって実行されてもよく、図３に示す室内視覚ナビゲーション方法のフローチャートを参照すると、該方法は主として、以下のステップＳ３０２～ステップＳ３０４を含む。
【0055】
ステップＳ３０２、移動機器によってアップロードされた測位対象の室内画像を受信したら、移動機器が室内画像を収集するときのカメラポーズを決定する。ここで、カメラポーズは、ＸＹ座標とカメラの向きを含んでもよい。
【0056】
ステップＳ３０４、移動機器が室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成し、ＡＲ座標系及び最短経路に基づいて経路進行方向を示す３次元マークを移動機器によって収集された現在のプレビュー画像上に重ね合わせるように、室内画像に対応するカメラポーズを移動機器に送信し、ここで、最短経路は移動機器がユーザによって設定された目的地情報に基づいて室内トポロジーマップにおいて計画したものである。
【0057】
本実施例に係る上記室内視覚ナビゲーション方法によれば、サーバは、ナビゲーション中に必要な、例えばカメラポーズの計算など計算量が大きいステップを担当し、次に、移動機器は室内でＡＲの方式によって、最短経路に従って目的地に行くようにユーザを簡便且つ効率よく案内し、ユーザエクスペリエンスをより向上させることができる。
【0058】
本実施例では、時間や空間がかかる計算は全てサーバ側で実行され、例えば、移動機器が室内画像を収集するときのカメラポーズはサーバによって決定され、１つの可能な実施形態では、サーバは、室内画像と予め作成された視覚マップライブラリ内の視覚マップについて特徴マッチングを行い、移動機器が室内画像を収集するときのカメラポーズを得るようにしてもよく、ここで、視覚マップは室内シーンのスパースポイントクラウドモデルによって表されるものであり、シーンの大量の視覚特徴として理解されてもよい。１つの可能な実施形態では、３Ｄ－２Ｄマッチング関係に従ってＰＮＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）問題を解き、すなわち、３Ｄから２Ｄへの点ペアの動き方法を解き、これにより、特徴点ペアの動きに基づいてカメラポーズを解くことができる。
【0059】
本実施例では、室内画像と予め作成された視覚マップライブラリ内の視覚マップについて特徴マッチングを行い、移動機器が室内画像を収集するときのカメラポーズを得る１つの可能な実施形態が提供されており、主に粗測位と精測位の２つの段階を含み、それぞれについて以下のように説明する。
【0060】
粗測位段階においては、ディープハッシュアルゴリズムを利用して室内画像のグローバル画像記述子を計算し、視覚マップライブラリにおいてグローバル画像記述子に最も類似しているｋ個のキーフレーム画像を検索し、キーフレームＩＤを得て、次に、キーフレームＩＤに基づき、キーフレームのポーズ、ローカル特徴点、ローカル記述子及び対応するマップポイントの世界座標系での座標を含む記憶されたキーフレーム情報を検索する。キーフレームのポーズに応じて、このｋ個のキーフレームをクラスタし、位置が似ているキーフレームを同一クラスタにする。クラスタごとに、クラスタの中心は後続の精測位のために初期の粗測位結果を提供する。
【0061】
精測位段階においては、まず、クラスタのそれぞれをトラバースし、室内画像からローカル特徴点を抽出し、ローカル記述子を計算してクラスタ内の全てのキーフレームのローカル特徴とマッチングさせ、次に、マッチングに成功する特徴点に対応する３Ｄマップポイントを取り出し、マッチングに成功する３Ｄ－２Ｄ点ペアの数が予め設定された個数よりも大きい（例えば５よりも大きい）と、ＰＮＰの問題を解いて、室内画像に対応するカメラポーズを得ることができる。ＰＮＰにより求められるポーズを初期値として、さらにＢｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔグラフ最適化の問題を構築することができ、これにより、室内画像に対応するポーズを最適化させ、再投影誤差を最小にすることができる。ポーズが最適化された後に、再投影誤差がまだ大きなエッジを削除し、残りのエッジを用いてＢｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔグラフ最適化の問題を再び構築し、最後に、室内画像に対応する正確なポーズを得る。このプロセスにおいて３Ｄ－２Ｄ点ペアの数が少なすぎたり、最適化後に再投影誤差が大きすぎたりするような現象が生じた場合、現在のクラスタ内のキーフレームがエラーマッチングであると考えられ、このクラスタが放棄される。最適化後に再投影誤差が少ない場合、ポーズの解が正しいと考えられ、結果を直接出力し、次のクラスタのサイクルに入らないようにする。
【0062】
サーバは、上記の粗測位と精測位の２つの段階をこの順で行うことで、室内画像に対応する正確なカメラポーズを得ることができる。もちろん、以上は本実施例に係るポーズ決定方法の１つに過ぎず、カメラポーズを決定するための任意の他の方式で実現されてもよく、ここでは制限しない。
【0063】
１つの可能な実施形態では、サーバはまた、室内ナビゲーション用の移動機器が計画した経路を世界座標系に順調に変換できるように、視覚マップと予めインポートされた室内間取り図とを合わせる。ここで、室内間取り図は建築物構造図として理解してもよく、例えば室内間取り図はショッピングモール等によりサーバに予めアップロードされてもよい。
【0064】
サーバは、視覚マップライブラリを予め構築してもよく、視覚マップライブラリの作成は、下記のステップを含む。（１）移動機器が室内シーンにおいて収集した複数枚のシーン画像を取得する。１つの可能な実施形態では、正確なスパースポイントクラウドモデルを構築するために、室内の各シーンでの大量の画像は予め収集されておいてもよい。（２）ＳＦＭ（Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ）アルゴリズムに基づいて複数枚のシーン画像に対して３次元再構成を行い、複数枚のシーン画像に対応するスパースポイントクラウドモデルを含む視覚マップライブラリを得る。ＳＦＭマッピングは例えばＣＯＬＭＡＰ、Ｔｈｅｉａ、ＶｉｓｕａｌＳｆＭ、ＯｐｅｎＭＶＧなどのオープンソースアルゴリズムによって実現されてもよく、ここでは制限しない。
【0065】
１つの可能な実施形態では、サーバの磁気ディスクの記憶空間を節約するために、視覚マップライブラリ内の視覚マップを圧縮してもよく、例えば、直積量子化などの方法で視覚マップ内の原特徴を符号化し、視覚マップにおいて符号化した結果だけを保存し、原特徴を保存しないことで、マップのサイズを大幅に圧縮させることができる。サーバは、視覚データベースを用いて視覚測位を行う際に、符号化した視覚特徴を復号し、復号した特徴を用いてマッチング及びポーズ推定を行ってもよい。
【0066】
上記方式によって、サーバは計算量の大きな視覚マップライブラリ構築及びカメラポーズ決定を担当することができ、これにより、移動機器のハードウェアへの要件が低下し、また、移動機器がサーバの計算結果に基づいてユーザにナビゲーションサービスをより効率よく提供することが可能になる。
【0067】
１つの可能な実施形態では、ＡＲナビゲーションにおいて、初期の視覚測位ポーズの誤差やＡＲシステム自体のドラフトなどの原因を考慮して、ナビゲーション経路の正確性は経時的に低下する可能性があり、サーバはまた、移動機器がナビゲーションにおいて収集した現在のプレビュー画像を定時的に取得し、移動機器が現在のプレビュー画像を収集するときの現在のカメラポーズを決定し、移動機器が現在のカメラポーズに基づいてＡＲ座標系を補正できるように現在のカメラポーズを移動機器に送信してもよい。
【0068】
本開示の実施例では、また、移動機器側及びサーバ側による室内視覚ナビゲーション方法の１つの可能な実施形態が提供されており、具体的には、図４に示す室内視覚ナビゲーション方法のフローチャートを参照すればよく、以下のステップを含む。
ステップＳ４１０：複数枚の室内画像を収集する。
ステップＳ４１２：室内画像に基づいてＳＦＭマッピングを行い、視覚マップデータベースを生成する。
ステップＳ４１４：視覚マップデータベースにおける視覚マップと室内間取り図とを合わせる。ここでは、室内間取り図は構築物構造図と呼ばれてもよい。
ステップＳ４２０：携帯電話がアップロードした測位対象の室内画像を受信する。
ステップＳ４２２：測位対象の室内画像の画像特徴を抽出して、抽出した画像特徴を視覚マップとマッチングさせ、携帯電話が室内画像を収集するときのカメラポーズを推定する。
ステップＳ４２４：推定したカメラポーズを携帯電話に返す。
ステップＳ４３０：ＡＲ座標系を作成する。
ステップＳ４３２：ＡＲ座標系と携帯電話が室内画像を収集するときのカメラポーズとを合わせる。
ステップＳ４３４：ユーザによって設定された目的地情報を受信し、室内トポロジーマップにおいて最短経路を計画する。
ステップＳ４３６：地平面を検出する。
ステップＳ４３８：最短経路をＡＲ座標系内の３次元座標に変換し、経路を矢印で地平面に描画する。
ステップＳ４１０：複数枚の室内画像を収集する。
ステップＳ４１２：室内画像に基づいてＳＦＭマッピングを行い、視覚マップデータベースを生成する。
ステップＳ４１４：視覚マップデータベースにおける視覚マップと室内間取り図とを合わせる。ここでは、室内間取り図は構築物構造図と呼ばれてもよい。
ステップＳ４２０：携帯電話がアップロードした測位対象の室内画像を受信する。
ステップＳ４２２：測位対象の室内画像の画像特徴を抽出して、抽出した画像特徴を視覚マップとマッチングさせ、携帯電話が室内画像を収集するときのカメラポーズを推定する。
ステップＳ４２４：推定したカメラポーズを携帯電話に返す。
ステップＳ４３０：ＡＲ座標系を作成する。
ステップＳ４３２：ＡＲ座標系と携帯電話が室内画像を収集するときのカメラポーズとを合わせる。
ステップＳ４３４：ユーザによって設定された目的地情報を受信し、室内トポロジーマップにおいて最短経路を計画する。
ステップＳ４３６：地平面を検出する。
ステップＳ４３８：最短経路をＡＲ座標系内の３次元座標に変換し、経路を矢印で地平面に描画する。
【0069】
上記ステップの具体的な実施の操作は、移動機器側による室内視覚ナビゲーション方法及びサーバ側による室内視覚ナビゲーション方法の内容を参照すればよく、ここでは詳しく説明しない。
【0070】
ここで、ステップＳ４１０～ステップＳ４１４は、視覚マップ構築操作として総称してもよく、ステップＳ４２０～ステップＳ４２４は、クラウド側視覚測位操作として総称してもよく、視覚マップ構築操作及びクラウド側視覚測位操作は全てサーバで実行されてもよく、ステップＳ４３０～ステップＳ４３８は移動側ＡＲナビゲーション操作として総称してもよく、携帯電話などの移動機器で実行されてもよい。
【0071】
本実施例に係る上記室内視覚ナビゲーション方法によって、ユーザがいつでもどこでも携帯電話を使用して周囲の環境を撮影することにより自分の位置を特定することができ、目的地を選択した後、携帯電話が経路選択アルゴリズムにより計画した最適な経路を携帯電話の画面から確認し、その経路に沿って行くと目的地に到達することができる。また、上記室内視覚ナビゲーション方法では、時間や空間がかかる計算はサーバ側で行われ、これにより、移動機器でのリアルタイムな測位及びナビゲーションが可能になる。
【0072】
本開示の実施例は、移動機器側に配置された室内視覚ナビゲーション装置を更に提供し、図５に示す室内視覚ナビゲーション装置の構造ブロック図に示すように、この室内視覚ナビゲーション装置は、
測位対象の室内画像を収集したら、移動機器が室内画像を収集するときのカメラポーズをサーバによって決定されるために室内画像をサーバにアップロードするように構成される画像アップロードモジュール５０２と、
サーバによって返信された室内画像に対応するカメラポーズを受信し、室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成するように構成される座標系作成モジュール５０４と、
ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画するように構成される経路計画モジュール５０６と、
移動機器によって収集された現在のプレビュー画像を移動機器の画面に表示し、ＡＲ座標系及び最短経路に基づいて、経路進行方向を示す３次元マークを現在のプレビュー画像上に重ね合わせるように構成されるナビゲーション表示モジュール５０８とを含む。
測位対象の室内画像を収集したら、移動機器が室内画像を収集するときのカメラポーズをサーバによって決定されるために室内画像をサーバにアップロードするように構成される画像アップロードモジュール５０２と、
サーバによって返信された室内画像に対応するカメラポーズを受信し、室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成するように構成される座標系作成モジュール５０４と、
ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画するように構成される経路計画モジュール５０６と、
移動機器によって収集された現在のプレビュー画像を移動機器の画面に表示し、ＡＲ座標系及び最短経路に基づいて、経路進行方向を示す３次元マークを現在のプレビュー画像上に重ね合わせるように構成されるナビゲーション表示モジュール５０８とを含む。
【0073】
本実施例に係る上記室内視覚ナビゲーション装置によれば、移動機器は、室内でＡＲの方式によって、最短経路に従って目的地に行くようにユーザを簡便且つ効率よく案内し、ユーザエクスペリエンスをより向上させることができる。
【0074】
１つの可能な実施形態では、座標系作成モジュール５０４は、初期のＡＲ座標系を作成し、ＡＲ座標系が世界座標系に合わせるように、室内画像に対応するカメラポーズに基づいて初期のＡＲ座標系を調整するように構成される。
【0075】
１つの可能な実施形態では、経路計画モジュール５０６は、目的地情報に基づいて、経路計画アルゴリズムを利用して、予めインポートされた室内トポロジーマップにおいて最短経路を計画するように構成される。
【0076】
１つの可能な実施形態では、ナビゲーション表示モジュール５０８は、現在のプレビュー画像における地平面を検出し、ＡＲ座標系での最短経路の３次元座標を決定し、決定した３次元座標に基づいて経路進行方向を示す３次元マークを生成し、現在のプレビュー画像における地平面に３次元マークを描画するように構成される。
【0077】
１つの可能な実施形態では、上記装置は、ナビゲーションにおいてサーバによって送信された現在のカメラポーズを受信したら、補正したＡＲ座標系が世界座標系に合わせたままであるように、現在のカメラポーズに基づいてＡＲ座標系を補正するように構成される座標系補正モジュールをさらに含む。
【0078】
本実施例に係る装置、その実現原理及び発生させた技術的効果は、前述実施例と同様であり、説明を簡素化するために、装置の実施例の部分に記載されていないものに関しては、前述方法の実施例における対応する内容を参照すればよい。
【0079】
本開示の実施例は、サーバ側に配置された室内視覚ナビゲーション装置を更に提供し、図６に示す室内視覚ナビゲーション装置の構造ブロック図に示すように、室内視覚ナビゲーション装置は、
移動機器によってアップロードされた測位対象の室内画像を受信したら、移動機器が室内画像を収集するときのカメラポーズを決定するように構成されるポーズ決定モジュール６０２と、
移動機器が室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成し、ＡＲ座標系及び最短経路に基づいて経路進行方向を示す３次元マークを、移動機器によって収集された現在のプレビュー画像上に重ね合わせるように、室内画像に対応するカメラポーズを移動機器に送信するように構成される機器ナビゲーションモジュール６０４であって、最短経路は移動機器がユーザによって設定された目的地情報に基づいて室内トポロジーマップにおいて計画したものである機器ナビゲーションモジュール６０４とを含む。
移動機器によってアップロードされた測位対象の室内画像を受信したら、移動機器が室内画像を収集するときのカメラポーズを決定するように構成されるポーズ決定モジュール６０２と、
移動機器が室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成し、ＡＲ座標系及び最短経路に基づいて経路進行方向を示す３次元マークを、移動機器によって収集された現在のプレビュー画像上に重ね合わせるように、室内画像に対応するカメラポーズを移動機器に送信するように構成される機器ナビゲーションモジュール６０４であって、最短経路は移動機器がユーザによって設定された目的地情報に基づいて室内トポロジーマップにおいて計画したものである機器ナビゲーションモジュール６０４とを含む。
【0080】
本実施例に係る上記室内視覚ナビゲーション装置では、サーバはナビゲーションに必要な例えばカメラポーズ計算など計算量が大きなステップを担当し、次に、移動機器は、室内でＡＲの方式によって、最短経路に従って目的地に行くようにユーザを簡便且つ効率よく案内し、ユーザエクスペリエンスをより向上させることができる。
【0081】
１つの実施形態では、ポーズ決定モジュール６０２は、室内画像と予め作成された視覚マップライブラリ内の視覚マップについて特徴マッチングを行い、移動機器が室内画像を収集するときのカメラポーズを得るように構成され、視覚マップは室内シーンのスパースポイントクラウドモデルによって表される。
【0082】
１つの実施形態では、上記装置は、移動機器が室内シーンにおいて収集した複数枚のシーン画像を取得し、ＳＦＭアルゴリズムに基づいて複数枚のシーン画像に対して３次元再構成を行い、複数枚のシーン画像に対応するスパースポイントクラウドモデルを含む視覚マップライブラリを得るように構成されるマップ作成モジュールをさらに含む。
【0083】
１つの実施形態では、上記装置は、視覚マップと予めインポートされた室内間取り図とを合わせるように構成される合わせモジュールをさらに含む。
【0084】
１つの実施形態では、上記装置は、移動機器がナビゲーションにおいて収集した現在のプレビュー画像を定時的に取得し、移動機器が現在のプレビュー画像を収集するときの現在のカメラポーズを決定するように構成される現在ポーズ決定モジュールと、移動機器が現在のカメラポーズに基づいてＡＲ座標系を補正するように現在のカメラポーズを移動機器に送信するように構成される補正モジュールとをさらに含む。
【0085】
本開示の実施例に係る装置、その実現原理及び発生させる技術効果は前述実施例と同様であり、説明を簡素化するために、装置の実施例の部分に記載されていないものに関しては、移動機器側による室内視覚ナビゲーション方法の実施例における対応する内容を参照すればよい。
【0086】
本開示の実施例は、移動機器とサーバを含む室内視覚ナビゲーションシステムを更に提供する。
【0087】
本開示の実施例は、プロセッサと記憶装置を含み、記憶装置には、プロセッサによって運行されると移動機器側による室内視覚ナビゲーション方法又はサーバ側による室内視覚ナビゲーション方法を実行するコンピュータプログラムが記憶されている電子機器を更に提供する。
【0088】
本開示の実施例は、プロセッサによって運行されると移動機器側による室内視覚ナビゲーション方法又はサーバ側による室内視覚ナビゲーション方法を実行するコンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を更に提供する。
【0089】
当業者にとって自明なように、説明の簡便さや簡素さのために、上記で説明したシステムの作動過程については、具体的には、前述実施例における対応する過程を参照すればよく、ここでは詳しく説明しない。
【0090】
本開示の実施例に係る室内視覚ナビゲーション方法、装置、システム及び電子機器のコンピュータプログラム製品は、プログラムコードが記憶されているコンピュータ読み取り可能な記憶媒体を含み、前記プログラムコードに含まれる命令は前記方法の実施例に記載の方法を実行することに用いられてもよく、具体的な実現は、本開示の実施例の前述内容を参照すればよく、ここでは詳しく説明しない。
【0091】
また、本開示の実施例の説明において、特に明確な規定や限定がない限り、「取り付ける」、「連結」、「接続」という用語は広義に理解すべきであり、例えば、固定接続、取り外し可能な接続、又は一体接続であってもよいし、機械的接続、電気的接続であってもよいし、直接連結、中間部材を介した間接連結、２つの素子の内部の連通であってもよい。当業者であれば、具体的な状況に応じて上記用語の本開示での具体的な意味を理解することができる。
【0092】
前記機能は、ソフトウェア機能ユニットの形態として実装され、独立した製品として販売又は使用される場合、コンピュータ読み取り可能な記憶媒体に記憶され得る。このような知見に基づいて、本開示の技術的解決手段の主旨又は従来技術に貢献する部分又は該技術的解決手段の一部はソフトウェア製品の形態として具現化してもよく、該コンピュータソフトウェア製品は記憶媒体に記憶されており、一台のコンピュータ機器（パソコン、サーバ、又はネットワーク機器などであってもよい）に本開示の各実施形態に記載の方法の全部又は一部のステップを実行させ得る若干の命令を含む。前述の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクやコンパクトディスクなど、プログラムコードを記憶し得る各種の媒体であってもよい。
【0093】
なお、本開示の説明において、「中心」、「上」、「下」、「左」、「右」、「垂直」、「水平」、「内」、「外」などの用語により示される方位又は位置関係は図面に示される方位又は位置関係に基づくものであり、本開示の説明を簡単かつ簡略にするためのものに過ぎず、かかる装置又は素子が必ずしも特定の方位を有したり、特定の方位で構成、操作されたりすることを指示又は示唆するものではなく、このため、本開示を制限するものとして理解すべきではない。さらに、「第１」、「第２」、「第３」という用語は説明するためのものに過ぎず、相対重要性を指示又は示唆するものとして理解すべきではない。
【0094】
なお、以上の実施例は、本開示の好適な実施形態に過ぎず、本開示の技術的解決手段を説明するものであり、限定することを意図しておらず、本開示の特許範囲はこれらに限定されるものではなく、本開示は前述実施例を参照して詳細に説明されたが、当業者が理解できるように、当業者であれば、本開示で開示された技術的範囲を逸脱することなく、前述実施例に記載の技術的解決手段を修正したり、変化を容易に想到したり、その技術的特徴の一部に同等置換を行ったりすることができ、これらの修正、変化又は置換により、対応する技術的解決手段の主旨は本開示の実施例の技術的解決手段の精神や範囲を逸脱することはなく、これらは全て本開示の保護範囲に含まれるものとする。このため、本開示の保護範囲は特許請求の範囲の保護範囲に準じるべきである。
【0095】
＜産業上の利用可能性＞
本開示の実施例は、収集した測位対象の室内画像を移動機器でサーバにアップロードし、移動機器が室内画像を収集するときのカメラポーズをサーバで決定し、室内画像に対応するカメラポーズが移動機器に送信された後、移動機器が室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成し、ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画し、最後に移動機器によって収集された現在のプレビュー画像を画面に表示し、ＡＲ座標系及び最短経路に基づいて経路進行方向を示す３次元マークを現在のプレビュー画像上に重ね合わせることによって、室内視覚ナビゲーションを実現する室内視覚ナビゲーション方法、装置、システム及び電子機器を提供する。このようにして、室内でＡＲの方式によって、最短経路に従って目的地に行くようにユーザを案内し、ユーザエクスペリエンスをより向上させることができる。
本開示の実施例は、収集した測位対象の室内画像を移動機器でサーバにアップロードし、移動機器が室内画像を収集するときのカメラポーズをサーバで決定し、室内画像に対応するカメラポーズが移動機器に送信された後、移動機器が室内画像に対応するカメラポーズに基づいて、世界座標系に合わせたＡＲ座標系を作成し、ユーザによって設定された目的地情報に基づいて、予めインポートされた室内トポロジーマップにおいて最短経路を計画し、最後に移動機器によって収集された現在のプレビュー画像を画面に表示し、ＡＲ座標系及び最短経路に基づいて経路進行方向を示す３次元マークを現在のプレビュー画像上に重ね合わせることによって、室内視覚ナビゲーションを実現する室内視覚ナビゲーション方法、装置、システム及び電子機器を提供する。このようにして、室内でＡＲの方式によって、最短経路に従って目的地に行くようにユーザを案内し、ユーザエクスペリエンスをより向上させることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】