知財求人 - 知財ポータルサイト「IP Force」
特表2022-531186情報処理方法、装置、電子機器、記憶媒体およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-07-06
(54)【発明の名称】情報処理方法、装置、電子機器、記憶媒体およびプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20220629BHJP
【ＦＩ】
G06T7/70 Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021564293
(86)(22)【出願日】2020-07-23
(85)【翻訳文提出日】2021-10-28
(86)【国際出願番号】 CN2020103890
(87)【国際公開番号】W WO2021031790
(87)【国際公開日】2021-02-25
(31)【優先権主張番号】201910775636.6
(32)【優先日】2019-08-21
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】519454800
【氏名又は名称】浙江商▲湯▼科技▲開▼▲発▼有限公司
【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２８８－８， Ｎｏ． ８５７， Ｓｈｉｘｉｎｂｅｉ Ｒｏａｄ， Ｎｉｎｇｗｅｉ Ｓｔｒｅｅｔ， Ｘｉａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｈａｎｇｚｈｏｕ， Ｚｈｅｊｉａｎｇ ３１１２１５ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】▲陳▼丹▲鵬▼
(72)【発明者】
【氏名】王楠
(72)【発明者】
【氏名】▲楊▼▲ばん▼▲ばん▼
(72)【発明者】
【氏名】章国▲鋒▼
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096EA39
5L096FA67
5L096FA69
(57)【要約】
本願は、情報処理方法、装置、電子機器および記憶媒体に関し、前記方法は、現在の処理される第１画像フレームの収集時間を取得することと、前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することと、前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することと、を含む。本願実施例は、第１画像フレームの収集時間を補正して、位置決め結果の精度を向上させることができる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
情報処理方法であって、現在の処理される第１画像フレームの収集時間を取得することと、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することと、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することと、を含む、前記情報処理方法。
【請求項2】
前記第１画像フレームが、収集された最初の画像フレームまたは２番目の画像フレームである場合、現在較正されている時間オフセット情報は時間オフセット初期値である、請求項１に記載の情報処理方法。
【請求項3】
前記第１画像フレームが、収集されたＮ番目の画像フレームであり、且つ、Ｎが２より大きい正の整数である場合、前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することをさらに含む、
請求項１または２に記載の情報処理方法。
【請求項4】
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得することと、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
請求項３に記載の情報処理方法。
【請求項5】
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定することであって、各グループのマッチング特徴点は複数のマッチング特徴点を含むことと、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
請求項４に記載の情報処理方法。
【請求項6】
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定することと、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得することと、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
請求項５に記載の情報処理方法。
【請求項7】
前記情報処理方法は、各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定することと、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定することと、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定することであって、前記画像収集装置は、前記第２画像フレームを収集するために使用されることと、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定することと、をさらに含む、
請求項５に記載の情報処理方法。
【請求項8】
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得することと、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定することと、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
請求項３に記載の情報処理方法。
【請求項9】
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定することは、前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定することと、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定することと、を含む、
請求項８に記載の情報処理方法。
【請求項10】
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することは、前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定することと、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定することと、
前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行することと、を含む、
請求項１ないし９のいずれか１項に記載の情報処理方法。
【請求項11】
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することは、前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することを含む、
請求項１ないし１０のいずれか１項に記載の情報処理方法。
【請求項12】
情報処理装置であって、現在の処理される第１画像フレームの収集時間を取得するように構成される、取得モジュールと、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される、補正モジュールと、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行するように構成される、位置決めモジュールと、を備える、前記情報処理装置。
【請求項13】
前記第１画像フレームが、収集された最初の画像フレームまたは２番目の画像フレームである場合、現在較正されている時間オフセット情報は時間オフセット初期値である、請求項１２に記載の情報処理装置。
【請求項14】
前記第１画像フレームが、収集されたＮ番目の画像フレームであり、且つ、Ｎが２より大きい正の整数である場合、前記情報処理装置は、さらに、前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、決定モジュールを備える、
請求項１２または１３に記載の情報処理装置。
【請求項15】
前記決定モジュールは、具体的に、前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得し、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得し、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、
請求項１４に記載の情報処理装置。
【請求項16】
前記決定モジュールは、具体的に、少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定し、ここで、各グループのマッチング特徴点は複数のマッチング特徴点を含み、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、
請求項１５に記載の情報処理装置。
【請求項17】
前記決定モジュールは、具体的に、各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定し、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得し、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、
請求項１６に記載の情報処理装置。
【請求項18】
前記決定モジュールは、さらに、各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定し、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定し、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定し、ここで、前記画像収集装置は、前記第２画像フレームを収集するために使用され、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定するように構成される、
請求項１６に記載の情報処理装置。
【請求項19】
前記決定モジュールは、具体的に、前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得し、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定し、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、
請求項１４に記載の情報処理装置。
【請求項20】
前記決定モジュールは、具体的に、前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定し、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定するように構成される、
請求項１９に記載の情報処理装置。
【請求項21】
前記位置決めモジュールは、具体的に、前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定し、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定し、
前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行するように構成される、
請求項１２ないし２０のいずれか１項に記載の情報処理装置。
【請求項22】
前記補正モジュールは、具体的に、前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される、
請求項１２ないし２１のいずれか１項に記載の情報処理装置。
【請求項23】
電子機器であって、プロセッサと、
プロセッサの実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、請求項１ないし１１のいずれか１項に記載の情報処理方法を実行するように構成される、前記電子機器。
【請求項24】
コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されるときに、請求項１ないし１１のいずれか１項に記載の情報処理方法を実現する、前記コンピュータ可読記憶媒体。
【請求項25】
コンピュータ可読コードを含む、コンピュータプログラムであって、前記コンピュータ可読コードが電子機器で実行されるとき、前記電子機器内のプロセッサは、請求項１ないし１１のいずれか１項に記載の情報処理方法を実現するために実行される、前記コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０１９年８月２１日に中国特許局に提出された、出願番号が２０１９１０７７５６３６．６である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
【0002】
本願は、視覚の慣性航法の技術分野に関し、情報処理方法、装置、電子機器、コンピュータ記憶媒体およびコンピュータプログラムに関するが、これに限定されない。
【背景技術】
【0003】
カメラの６自由度の空間位置をリアルタイムで取得することは、拡張現実、仮想現実、ロボットおよび自律運転の分野における中心的な基本問題である。マルチセンサ融合は、空間位置決めの精度およびアルゴリズムロバスト性を向上させる効果的な仕方である。センサ間の時間オフセット補正は、マルチセンサ融合を実現する基礎である。
【0004】
ほとんどのモバイル機器（例えば携帯電話、メガネ、タブレットなど）は、安いカメラおよびセンサを備え、カメラとセンサとの間の時間にはオフセットが存在し、且つ、カメラとセンサとの間の時間オフセットは、動的に変化し（例えばカメラまたはセンサを再開するたびに、または使用時間に伴って動的に変化する）、したがって、これは、カメラとセンサとの組み合わせを使用してリアルタイムの位置決めに大きな課題を提出する。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願実施例は、情報処理方法、装置、電子機器、コンピュータ記憶媒体およびコンピュータプログラムを提供する。
【課題を解決するための手段】
【0006】
本願実施例は、情報処理方法を提供し、前記方法は、
現在の処理される第１画像フレームの収集時間を取得することと、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することと、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することと、を含む。
現在の処理される第１画像フレームの収集時間を取得することと、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することと、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することと、を含む。
【0007】
本願のいくつかの実施例において、前記第１画像フレームが、収集された最初の画像フレームまたは２番目の画像フレームである場合、現在較正されている時間オフセット情報は時間オフセット初期値である。このようにして、時間オフセット初期値を事前に設置することに従って現在較正されている時間オフセット情報を決定することができる。
【0008】
本願のいくつかの実施例において、前記第１画像フレームが、収集されたＮ番目の画像フレームであり、且つ、Ｎが２より大きい正の整数である場合、前記方法は、
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することをさらに含む。このようにして、現在の処理される第１画像フレームが、画像収集装置で収集されたＮ番目の画像フレームである場合、第１画像フレームに対して現在較正されている時間オフセット情報は、第１画像フレーム収集時間の前に画像収集装置で収集された第２画像フレームに従って決定することであり得る。
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することをさらに含む。このようにして、現在の処理される第１画像フレームが、画像収集装置で収集されたＮ番目の画像フレームである場合、第１画像フレームに対して現在較正されている時間オフセット情報は、第１画像フレーム収集時間の前に画像収集装置で収集された第２画像フレームに従って決定することであり得る。
【0009】
本願のいくつかの実施例において、前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、
前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得することと、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む。
前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得することと、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む。
【0010】
このようにして、より正しい時間オフセット情報を取得し得る。
【0011】
本願のいくつかの実施例において、前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、
少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定することであって、ここで、各グループのマッチング特徴点は複数のマッチング特徴点を含むことと、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む。
少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定することであって、ここで、各グループのマッチング特徴点は複数のマッチング特徴点を含むことと、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む。
【0012】
このようにして、画像収集装置と慣性検知装置との間の時間オフセット情報、および対応するより正確な、時間オフセットを補償した後の第２画像フレームに対応する慣性状態を取得し得る。
【0013】
本願のいくつかの実施例において、各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、
各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定することと、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得することと、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む。
各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定することと、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得することと、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む。
【0014】
このようにして、少なくとも２つの第２画像フレームによって観察されたマッチング特徴点の情報を使用して、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することができる。
【0015】
本願のいくつかの実施例において、前記方法は、
各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定することと、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定することと、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定することであって、ここで、前記画像収集装置は、前記第２画像フレームを収集するために使用されることと、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定することと、をさらに含む。
各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定することと、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定することと、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定することであって、ここで、前記画像収集装置は、前記第２画像フレームを収集するために使用されることと、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定することと、をさらに含む。
【0016】
このようにして、当該時間差の値を第２画像フレームの慣性検知情報と組み合わせて、画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態におけるポーズ情報を決定することができる。
【0017】
本願のいくつかの実施例において、前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、
前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得することと、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定することと、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む。
前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得することと、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定することと、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む。
【0018】
このようにして、現在較正されている時間オフセット情報を変数に表示し、限界値を現在較正されている時間オフセット情報の制約条件として使用することができる。
【0019】
本願のいくつかの実施例において、前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定することは、
前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定することと、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定することと、を含む。
前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定することと、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定することと、を含む。
【0020】
このようにして、時間オフセット情報の変化範囲を制限して、時間オフセット情報による推定の精度を保証することができる。
【0021】
本願のいくつかの実施例において、前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することは、
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定することと、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定することと、
前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行することと、を含む。
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定することと、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定することと、
前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行することと、を含む。
【0022】
このようにして、第１相対位置情報と第２相対位置情報との間の差に従って、第１画像フレームに対応する慣性状態（補正値）を取得し得、当該第１画像フレームに対応する慣性状態（補正値）に従って、現在の位置を決定し得る。
【0023】
本願のいくつかの実施例において、前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することは、
前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することを含む。
前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することを含む。
【0024】
このようにして、現在の処理される第１画像フレームの時間オフセット情報は、前に収集された第２画像フレームによって決定されることができ、時間オフセット情報は、収集された画像フレームの変化に伴って継続的に正しく調整され、それにより、時間オフセット情報の精度を保証し得る。
【0025】
本願実施例は、さらに、情報処理装置を提供し、前記装置は、
現在の処理される第１画像フレームの収集時間を取得するように構成される、取得モジュールと、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される、補正モジュールと、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行するように構成される、位置決めモジュールと、を備える。
現在の処理される第１画像フレームの収集時間を取得するように構成される、取得モジュールと、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される、補正モジュールと、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行するように構成される、位置決めモジュールと、を備える。
【0026】
本願のいくつかの実施例において、前記第１画像フレームが、収集された最初の画像フレームまたは２番目の画像フレームである場合、現在較正されている時間オフセット情報は時間オフセット初期値である。
【0027】
本願のいくつかの実施例において、前記第１画像フレームが、収集されたＮ番目の画像フレームであり、且つ、Ｎが２より大きい正の整数である場合、前記装置は、さらに、
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、決定モジュールを備える。
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、決定モジュールを備える。
【0028】
本願のいくつかの実施例において、前記決定モジュールは、具体的に、
前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得し、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得し、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得し、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得し、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
【0029】
本願のいくつかの実施例において、前記決定モジュールは、具体的に、
少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定し、ここで、各グループのマッチング特徴点は複数のマッチング特徴点を含み、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定し、ここで、各グループのマッチング特徴点は複数のマッチング特徴点を含み、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
【0030】
本願のいくつかの実施例において、前記決定モジュールは、具体的に、
各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定し、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得し、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定し、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得し、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
【0031】
本願のいくつかの実施例において、前記決定モジュールは、さらに、
各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定し、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定し、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定し、ここで、前記画像収集装置は、前記第２画像フレームを収集するために使用され、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定するように構成される。
各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定し、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定し、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定し、ここで、前記画像収集装置は、前記第２画像フレームを収集するために使用され、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定するように構成される。
【0032】
本願のいくつかの実施例において、前記決定モジュールは、具体的に、
前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得し、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定し、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得し、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定し、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
【0033】
本願のいくつかの実施例において、前記決定モジュールは、具体的に、
前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定し、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定するように構成される。
前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定し、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定するように構成される。
【0034】
本願のいくつかの実施例において、前記位置決めモジュールは、具体的に、
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定し、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定し、
前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行するように構成される。
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定し、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定し、
前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行するように構成される。
【0035】
本願のいくつかの実施例において、前記補正モジュールは、具体的に、
前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される。
前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される。
【0036】
本願実施例は電子機器を提供し、前記電子機器は、
プロセッサと、
プロセッサの実行可能命令を記憶するように構成されるメモリと、を備え、
ここで、前記プロセッサは、上記の情報処理方法を実行するように構成される。
プロセッサと、
プロセッサの実行可能命令を記憶するように構成されるメモリと、を備え、
ここで、前記プロセッサは、上記の情報処理方法を実行するように構成される。
【0037】
本願実施例は、コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令は、プロセッサによって実行されるとき、上記の情報処理方法を実行する。
【0038】
本願実施例は、さらに、コンピュータ可読コードを含む、コンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器内のプロセッサは、上記の任意の情報処理方法を実現するために実行される。
【発明の効果】
【0039】
本願実施例において、現在の処理される第１画像フレームの収集時間を取得し、その後、第１画像フレームに対して現在較正されている時間オフセット情報に従って、第１画像フレームの収集時間を補正して、第１画像フレームの較正時間を取得することができ、第１画像フレームの収集時間が誤差などの原因の影響のため、特定の時間オフセットが存在し得ることを考慮して、第１画像フレームの収集時間を補正して、より正しい較正時間を取得することができる。その後、較正時間で取得された慣性検知情報およに第１画像フレームを使用して、リアルタイムで現在の位置に対して位置決めを実行して、位置決めの精度を向上させることができる。
【0040】
上記の一般的な説明および後述する詳細な説明は、単なる例示および説明に過ぎず、本願を限定するものではないことを理解されたい。
【0041】
以下、図面を参照した例示的な実施例に対する詳細な説明によれば、本願の他の特徴および態様は明らかになる。
【図面の簡単な説明】
【0042】
ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本願と一致する実施例を示すものであり、明細書とともに本願の技術的解決策を説明するために使用される。
【図1】本願実施例の情報処理方法のフローチャートである。
【図2】本願実施例の第１画像フレームの時間オフセット情報を決定するプロセスのフローチャートである。
【図3】本願実施例の第２画像フレームを取得するブロック図である。
【図4】本願実施例の第２画像フレームおよび慣性検知情報に基づいて時間オフセット情報を決定するフローチャートである。
【図5】本願実施例の各第２画像フレームに対応する慣性状態を決定するフローチャートである。
【図6】本願実施例の画像収集装置および慣性検知装置の時間オフセットのブロック図である。
【図7】本願実施例の位置情報および慣性状態に基づいて時間オフセット情報を決定するフローチャートである。
【図8】本願実施例の時間オフセット情報を決定するフローチャートである。
【図9】本願実施例の情報処理装置のブロック図である。
【図10】本願実施例の電子機器の例示的なブロック図である。
【発明を実施するための形態】
【0043】
以下、本願の様々な例示的な実施例、特徴および態様を、図面を参照して詳細に説明する。図面における同じ参照番号は、同じまたは類似の機能の要素を表示する。実施例の様々な態様を図面に示したが、特に明記しない限り、縮尺通りに図面を描く必要がない。
【0044】
ここで専用の用語「例示的」とは、「例、実施例または説明用として使用される」ことを意味する。ここで、「例示的」として使用されるいずれかの実施例は、他の実施例より優れるまたはより好ましいと解釈する必要はない。
【0045】
本明細書における「および／または」という用語は、関連付けられたオブジェクトを説明する単なる関連付けであり、３種類の関係が存在することができることを示し、例えば、Ｇおよび／またはＨは、Ｇが独立で存在する場合、ＧとＨが同時に存在する場合、Ｈが独立で存在する場合など３つの場合を表す。さらに、本明細書における「少なくとも１つ」という用語は、複数のうちの１つまたは複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ｇ、Ｈ、Ｒのうちの少なくとも１つを含むことは、Ｇ、ＨおよびＲで構成されるセットから選択された任意の１つまたは複数の要素を含むことを示す。
【0046】
さらに、本願をよりよく説明するために、以下の具体的な実施形態において多くの特定の詳細が与えられる。当業者は、特定のいくつかの詳細なしに、本願を同様に実施できることを理解するはずである。いくつかの例において、当業者に周知の方法、手段、要素および回路は、本願の要旨を強調するために、詳細に説明しない。
【0047】
本願実施例で提供される情報処理方法は、現在の処理される第１画像フレームの収集時間を取得し得、第１画像フレームは、画像収集装置によって収集されることであり得、収集時間は、画像収集装置が第１画像フレームを収集して露光する前の時間、露光間の時間または露光終了の時間であり得る。第１画像フレームの収集時間は、画像収集装置と慣性検知装置の２つのタイムクロックのずれにより、画像フレームの収集時間および慣性検知情報の収集時間に特定の時間オフセットを存在させ、それにより、両方の収集時間がマッチングせず、収集時間で取得された慣性検知情報および第１画像フレームを使用して位置決めを実行するとき、取得された位置決め情報は十分に正しくない。それにより、第１画像フレームに対して現在較正されている時間オフセット情報に従って、第１画像フレームの収集時間を補正して、第１画像フレームの較正時間を取得し、次に、第１画像フレームの較正時間で取得された慣性検知情報、第１画像フレーム、前に収集された複数の第２画像フレームおよび対応する慣性検知情報に基づいて、現在の第１画像フレームに対応する慣性状態および較正時間をさらに補正して、現在のより正しい位置情報を取得することができる。即ち、位置決めプロセスと時間オフセットの補正プロセスは、同時に実行され得、現在の位置情報は、累積して収集された補正を介した画像フレームおよび慣性検知情報に従って決定され、各画像フレームの時間オフセット情報および対応する慣性状態は、当該画像フレームが前に補正を介した画像フレームおよび慣性検知情報によって決定されることができ、このように繰り返して、より正しい時間オフセット情報を取得し得る。
【0048】
関連技術において、通常、オフライン補正の方式を使用して画像収集装置と慣性センサとの間の時間オフセットを補正するが、このような方式は、時間オフセットをリアルタイムで補正できない。いくつかの関連技術において、時間オフセットをリアルタイムで補正し得るが、いくつかの制限条件があり、例えば、非線形に最適化するシナリオに適しないか、または、画像特徴点に対して継続的に追跡する必要がある。本願実施例で提供される情報処理の技術案は、時間オフセットをリアルタイムで補正できるだけでなく、非線形に最適化するシナリオにも適用され得る。加えて、任意のシャッタの画像収集装置にも適し、例えば、ローリングカメラに適し、且つ、画像特徴点を追跡する方式および処理された２つの画像フレーム間の時間間隔に対して何の要求もない。以下、本願実施例で提供される情報処理技術案を説明する。
【0049】
図１は、本願実施例に係る情報処理方法のフローチャートを示す。当該情報処理方法は、端末機器、サーバまたは他の情報処理機器によって実行されることができ、ここで、端末機器は、ユーザ機器（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、モバイル機器、ユーザ端末、端末、携帯電話、コードレス電話、パーソナルデジタル処理（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであり得る。いくつかの可能な実施形態において、当該情報処理方法は、プロセッサがメモリに記憶されるコンピュータ可読命令を呼び出す方式を介して実現されることができる。以下、情報処理機器を例として本願実施例の情報処理方法を説明する。
【0050】
図１に示されるように、前記方法は、以下のステップを含む。
【0051】
ステップＳ１１において、現在の処理される第１画像フレームの収集時間を取得する。
【0052】
本願実施例において、情報処理機器は、画像収集装置で収集される第１画像フレームおよび第１画像フレームの収集時間を取得し得る。第１画像フレームは、待機時間オフセットが補正した現在の処理される画像フレームであり得る。第１画像フレームの収集時間は、画像収集装置が第１画像フレームを収集する時間であり得、例を挙げると、第１画像フレームの収集時間は、画像収集装置が第１画像フレームを収集するときの露光前の時間、露光間の時間または露光終了の時間であり得る。
【0053】
ここで、画像収集装置は、情報処理機器に実装され得、画像収集装置は、ウェブカメラ、カメラ等の撮影機能を有する装置であり得る。画像収集装置は、風景に対してリアルタイムで画像収集を実行し、情報処理機器に収集された画像フレームを伝送することができる。画像収集装置は、さらに、情報処理装置と離れて設置されて、無線通信の方式を介して情報処理機器に収集された画像フレームを伝送することができる。情報処理機器は、位置決め機能を有する機器であり得、位置決めの方式は複数であり得る。例を挙げると、情報処理装置は、画像収集装置で収集された画像フレームを処理し、画像フレームに従って現在の位置に対して位置決めを実行することができる。情報処理装置は、さらに、慣性検知機器で検出された慣性検知情報を取得し、慣性検知情報に従って現在の位置に対して位置決めを実行することができる。情報処理装置は、さらに、画像フレームを慣性検知情報と組み合わせて、画像フレームおよび慣性検知情報に従って現在の位置に対して位置決めを実行することができる。
【0054】
ステップＳ１２において、前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得する。
【0055】
本願実施例において、情報処理機器は、記憶装置で最新の時間オフセット情報を取得し、最新の時間オフセット情報を第１画像フレームに対して現在較正されている時間オフセット情報として使用して、第１画像フレームの収集時間を補正することができる。時間オフセット情報は、画像収集装置と慣性検知装置との間に存在する時間オフセットであり得る。
【0056】
本願のいくつかの実施例において、ステップＳ１２は、前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することを含み得る。第１画像フレームが収集されるとき、第１画像フレームの露光持続時間を考慮していない可能性があるため、第１画像フレームの収集時間を補正するとき、補正の時間がより正しくするために、第１画像フレームの露光持続時間を取得して、第１画像フレームに対して取得された現在較正されている時間オフセット情報を露光持続時間と組み合わせ、第１画像フレームの収集時間を補正して、より正しい第１画像フレームの較正時間を取得することもできる。ここで、慣性検知装置で検出された慣性検知情報の時間を基準とすることができ、第１画像フレームの収集時間を補正するとき、第１画像フレームの収集時間を第１画像フレームが露光する中間モーメントに変換することができ、時間オフセット情報と組み合わせて、第１画像フレームの較正時間は以下の式（１）を介して表示することができる。
【0057】
【数1】
【0058】
ここで、Ｔｃは、第１画像フレームの較正時間を表示し、Ｔｃは、第１画像フレームの露光前の収集時間を表示し、ｔｅは、第１画像フレームの露光持続時間を表示し、ｔｄは、第１画像フレームに対して取得される現在較正されている時間オフセット情報を表示する。露光持続時間は、画像収集装置によって取得され得、例えば、画像収集装置がグローバルシャッタを使用する場合、または露光持続時間の影響を含むことを考慮していない場合、露光持続時間は０であり得、画像収集装置がローリングシャッタである場合、露光持続時間は画像フレームのピクセル高さおよび行露光周期に従って決定されることができる。ローリングシャッタが毎回１行のピクセルを読み取ると、行露光周期は、ローリングシャッタが毎回１行のピクセルを読み取る時間である。
【0059】
ステップＳ１３において、前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行する。
【0060】
本願実施例において、情報処理機器は、慣性検知装置が第１画像フレームの較正時間で検出した慣性検知情報を取得し得、その後、取得された慣性検知情報を収集された第１画像フレームと組み合わせて、現在の位置の位置情報を取得し得る。ここでの慣性検知装置は、慣性センサ、角速度ジャイロスコープ、加速度計などの、物体の運動状態を検出する装置であり得る。慣性検知装置は、運動物体の三軸加速度、三軸角速度などの慣性検知情報を検出し得る。慣性検知装置は、情報処理機器に設置し、情報処理機器と有線の方式を介して接続し、情報処理機器にリアルタイムで検出された慣性検知情報を伝送することができる。または、慣性検知装置は、情報処理機器と離れて設置し、無線通信の方式を介して情報処理機器にリアルタイムで検出された慣性検知情報を伝送することができる。
【0061】
本願のいくつかの実施例において、慣性検知情報および第１画像フレームに基づいて現在の位置に対して位置決めを実行するとき、前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定することと、前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定することと、前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行することと、を含み得る。
【0062】
いくつかの実施例において、空間点が第１画像フレームでおよび第２画像フレームで投影したマッチング特徴点の位置情報を決定し得、マッチング特徴点が第１画像フレームにおける位置情報に従って、画像収集装置が第１画像フレームおよび第２画像フレームを収集するプロセスにおける画像収集装置の位置変化関係を決定し得、当該位置変換関係は、第１相対位置情報を使用して表すことができる。ここで、慣性状態は、物体の運動状態を表すパラメータであり得、慣性状態は、位置、姿勢、速度、加速度偏差、角速度偏差などのパラメータを含み得、第２画像フレームに対応する慣性状態は、時間オフセット補償を介した後に取得された慣性状態（補正値）である得る。
【0063】
第２画像フレームに対応する慣性状態を積分初期値として使用し、第１画像フレームの較正時間で取得された慣性検知情報に対して積分操作を実行して、推定された第１画像フレームに対応する慣性状態（推定値）を取得し得る。第１画像フレームに対応する慣性状態（推定値）および第２画像フレームに対応する慣性状態（補正値）によって、画像収集装置が第１画像フレームおよび第２画像フレームを収集するプロセスにおける画像収集装置の位置変化関係を決定し得、当該位置変換関係は、第２相対位置情報を使用して表すことができる。第１相対位置情報と第２相対位置情報との間の差に従って、第１画像フレームに対応する慣性状態（補正値）を取得し得、当該第１画像フレームに対応する慣性状態（補正値）に従って、現在の位置を決定し得る。
【0064】
いくつかの実施例において、画像収集装置で収集された第１画像フレームおよび第２画像フレームに対してデータ事前処理を実行して、第１画像フレームでおよび第２画像フレームで投影されたマッチング特徴点を取得し得、１つの実施形態において、各画像フレームから特徴点および／または記述子をすばやく抽出することができ、例えば、特徴点は加速セクションテストの特徴（ＦＡＳＴ：Ｆｅａｔｕｒｅｓ Ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）コーナーであり得、記述子はＢＲＩＥＦ記述子であり得、特徴点および／または記述子を抽出した後、スパースオプティカルフロー法を使用して第２フレーム画像の特徴点を第１フレーム画像に追跡し、および第１フレーム画像の特徴および記述子を使用してスライディングウィンドウのフレームの特徴を追跡することができ、最後に、エピポーラ幾何学的制約を使用して間違うマッチング特徴点を削除することもできる。
【0065】
通常のモバイル機器の処理リソースに限界があることを考慮して、各時間間隔で各第１画像フレームを処理しなく位置情報を取得することができ、このようにして、情報処理機器の電力消費を削減することができることに留意されたい。例を挙げると、第１画像フレームの処理周波数を１０Ｈｚに設置し、１０Ｈｚの周波数で処理される第１画像フレームを取得し、第１画像フレームおよび慣性検知情報に基づいて位置決めを実行することができる。第１画像フレームを処理しない場合、慣性検知情報を使用して現在の位置を推定することができる。
【0066】
本願実施例で提供される情報処理方法は、現在の処理される第１画像フレームの収集時間を補正し、補正の後の較正時間を使用して取得する慣性検知情報を第１画像フレームと組み合わせて、慣性検知情報によって最初に推定される位置を補正し、現在の位置のより正しい位置情報を決定することを介して、位置決めの精度を向上させることができる。
【0067】
本願実施例において、第１画像フレームの収集時間を補正するとき、まず、第１画像フレームに対する時間オフセット情報を取得し得る。ここでの時間オフセット情報は、画像フレームおよび慣性検知情報の変化に伴って変更されることができ、即ち、時間オフセット情報は変更しないことではなく、時間オフセット情報は、特定の時間間隔ごとに更新することができ、時間オフセット情報は、情報処理機器の運動に伴って継続的に調整され、それにより、時間オフセット情報によって補正された較正時間の精度を保証し得る。以下、第１画像フレームに対して現在較正されている時間オフセット情報を決定するプロセスを説明する。
【0068】
本願のいくつかの実施例において、第１画像フレームが、収集された最初の画像フレームまたは２番目の画像フレームである場合、現在較正されている時間オフセット情報は時間オフセット初期値である。ここで、時間オフセット初期値は、事前に設置されることであり得、例えば、オフライン補正の結果に従って設置し、または前に使用されたオンライン補正結果に従って設置することができ、例えば、時間オフセット初期値を０．０５ｓ、０．１ｓに設置することができる。事前に設置された時間オフセット初期値が存在しないと、時間オフセット初期値は０ｓであり得る。ここでのオフライン補正は、非リアルタイムの時間オフセット補正方式であり得、オンラインはリアルタイムの時間オフセット補正方式であり得る。
【0069】
在本願のいくつかの実施例において、前記第１画像フレームが、収集されたＮ番目の画像フレームであり、且つ、Ｎが２より大きい正の整数である場合、前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得する前に、前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することもできる。
【0070】
ここで、現在の処理される第１画像フレームが、画像収集装置で収集されたＮ番目の画像フレームである場合、第１画像フレームに対して現在較正されている時間オフセット情報は、第１画像フレーム収集時間の前に画像収集装置で収集された第２画像フレームに従って決定することであり得る。例を挙げると、現在の処理される第１画像フレームが、収集された第３の画像フレームであると、当該第１画像フレームの時間オフセット情報は収集された最初の画像フレームおよび第２个画像フレームに従って決定されることであり得る。このようにして、現在の処理される第１画像フレームの時間オフセット情報は、前に収集された第２画像フレームによって決定されることができ、時間オフセット情報は、収集された画像フレームの変化に伴って継続的に正しく調整され、それにより、時間オフセット情報の精度を保証し得る。
【0071】
図２は、本願実施例に係る第１画像フレームの時間オフセット情報を決定するプロセスのフローチャートを示す。
【0072】
ステップＳ２１において、前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得する。
【0073】
ここで、第２画像フレームは、画像収集装置が第１画像フレームの収集時間の前に収集された画像フレームであり得る。情報処理機器は、プリセットの期間における少なくとも２つの第２画像フレームを取得し得る。取得された少なくとも２つの第２画像フレームには、それぞれ、画像特徴マッチングのマッチング特徴点を有し得る。時間オフセット情報の精度を保証するために、取得された少なくとも２つの第２画像フレームは、第１画像フレームと近い収集時間で収集された画像フレームであり得、例を挙げると、固定の時間間隔を時間オフセット情報の決定周期として使用することができ、現在の処理される第１画像フレームの時間オフセット情報を決定するとき、第１画像フレームの収集時間と最も近い決定周期で収集された少なくとも２つの第２画像フレームを取得し得る。
【0074】
図３は、本願実施例に係る第２画像フレームを取得するブロック図を示す。図３に示されるように、特定の時間間隔ごとに少なくとも２つの第２画像フレームを取得することができ、第１画像フレームの収集時間がＡ点にいると、第２画像フレームは、最初の決定周期で収集された画像フレームである得、第１画像フレームの収集時間がＢ点にいると、第２画像フレームは、２番目の決定周期で収集された画像フレームであり得る。ここで、アルゴリズム処理の速度を保証するために、各時間間隔で取得された第２画像フレームの数は固定であり得、第２画像フレームの数が数閾値を超えた後、最初に収集された第２画像フレームを削除するか、または最新に収集された第２画像フレームを削除することができる。第２画像フレームの情報が損失しないことをできるだけ保証するために、削除された第２画像フレームに対応する慣性状態および特徴点に対してエッジ化処理を実行することができ、即ち削除された第２画像フレームに対応する慣性状態に基づいてアプリオリ情報を形成し、位置決めプロセスに使用される計算パラメータの最適化に関与するができる。
【0075】
いくつかの実施例において、位置決めプロセスに使用される計算パラメータの最適化方法は、非線形最適化方法であり得、非線形最適化方法の主なプロセスは、慣性測定エネルギ、視覚測定エネルギ、時間オフセットエネルギ、前にエッジ化して生成されたアプリオリエネルギ（最初の最適化であると、アプリオリエネルギは、実際の状況に従ってアプリオリを設置することができる）を計算し、その後、すべての最適化する必要がある状態変数を反復に解けて、最新の状態変数を取得し、ここで、視覚測定エネルギ項目は、補正する必要がある時間パラメータを含み、スライディングウィンドウにおける非線形最適化の合計状態変数は
【0076】
【化1】
【0077】
であり、ｉが１ないしｎを取る場合、慣性検知機器の状態変数は
【0078】
【化2】
【0079】
であり、ここでｎは１より大きい整数であり、Ｐは慣性検知機器の位置であり、ｑは慣性検知機器の姿勢であり、Ｖは慣性検知機器の速度であり、Ｂａは慣性検知機器の加速度偏差であり、Ｂｇは慣性検知機器のジャイロスコープ偏差であり、ｊが０ないしｋを取る場合、Ｐｊは視覚特徴であり、グローバル座標系における３Ｄ位置または初期観察視覚フレームの逆の深さにパラメータ化でき、ｋは１より大きいか等しい整数であり、ｔｄは画像収集装置と慣性検知機器との間の時間オフセットであり、ｔｒはローリングカメラの行露光時間を表示する。ここで、画像収集装置がグローバルシャッタであると、ｔｒは０と等しい。ローリングカメラの行露光時間が直接に読み取れると、ｔｒは読み取られた行露光時間であり得る。そうでない場合、ｔｒは式内の変数として使用し得る。
【0080】
ステップＳ２２において、各前記第２画像フレームの較正時間で収集された慣性検知情報を取得する。
【0081】
慣性検知情報は、慣性検知装置によって情報処理機器の運動に従って測定して取得されることができる。時間オフセット情報の精度および可観察性を保証するために、複数の第２画像フレームおよび第２画像フレームに対応する慣性検知情報を使用し得、即ち、第１画像フレームの前に収集された第２画像フレームを考慮するだけでなく、第１画像フレームの前に取得された慣性検知情報も考慮し得る。慣性検知情報は、慣性検知装置が各第２画像フレームの較正時間で取得された慣性検知情報であり得、第２画像フレームの較正時間は、第２画像フレームに対する時間オフセット情報（または露光持続時間と組み合わせる）に従って、第２画像フレームの収集時間を補正して取得することであり得る。第２画像フレームの較正時間の決定プロセスは、第１画像フレーム較正時間の決定プロセスと同じであり、ここでは再び説明しない。
【0082】
ここで、慣性検知装置は、加速度計およびジャイロスコープを備えることができ、慣性検知情報は、三軸加速度および三軸角速度を含み得る。加速度および角速度に対して積分処理を実行することを介して、現在の運動状態の速度、回転角度などの情報を取得し得る。
【0083】
ステップＳ２３において、前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定する。
【0084】
ここで、少なくとも２つの第２画像フレームおよび慣性検知情報を取得した後、第２画像フレームを慣性検知情報と組み合わせて、第１画像フレームに対する時間オフセット情報を決定することができる。例を挙げると、少なくとも２つの第２画像フレームに従って１つの画像収集プロセスにおける位置変化関係を表す相対位置情報を決定し、取得された慣性検知情報に従って１つの画像収集プロセスにおける位置変化関係を表す相対位置情報を決定することができ、その後、２つの相対位置情報間の差に従って、画像収集装置と慣性検知装置との間の時間オフセット情報を取得し得、且つ、時間オフセットを補償した後の各第２画像フレームを収集することに対応する慣性状態を取得し得、時間オフセットを補償した後の各第２画像フレームに対応する慣性状態によって、各第２画像フレームを収集するとき情報処理機器が配置されている位置を決定し得る。
【0085】
【0086】
ステップＳ２３１において、少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定し、ここで、各グループのマッチング特徴点は複数のマッチング特徴点を含む。
【0087】
ここで、情報処理機器は、各第２画像フレームで特徴点を抽出し、各第２画像フレームに対して、当該第２画像フレームにおける特徴点の画像特徴を他の第２画像フレームにおける特徴点の画像特徴とマッチングして、複数の第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定することができる。各グループのマッチング特徴点は、それぞれ複数の第２画像フレームからの複数のマッチング特徴点を含み得る。同じ画像特徴にマッチングするマッチング特徴点は複数のグループであり得る。
【0088】
例を挙げると、取得された第２画像フレームが２つで、それぞれ、画像フレームＡおよび画像フレームＢであると、画像フレームＡで抽出された特徴点はａ、ｂおよびｃであり、画像フレームＢで抽出された特徴点はｄ、ｅおよびｆであり、それにより、特徴点ａ、ｂ、ｃの画像特徴を特徴点ｄ、ｅおよびｆの画像特徴とマッチングすることができ、特徴点ａと特徴点ｅの画像特徴がマッチングすると、特徴点ａと特徴点ｅは、１グループのマッチング特徴点を生成し得、特徴点ａと特徴点ｅはそれぞれマッチング特徴点である。
【0089】
ステップＳ２３２において、各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定する。
【0090】
ここで、マッチング特徴点の位置情報は、第２画像フレームにおけるマッチング特徴点の画像位置であり得、各グループのマッチング特徴点に対して、各第２画像フレームにおけるマッチング特徴点の位置情報を決定し得る。例えば、位置情報は、マッチング特徴点が配置されているピクセル点に対応する行と列であり得、例えば上記の例において、画像フレームＡにおける特徴点ａが配置されている行と列、および画像フレームＢにおける特徴点ｅが配置されている行と列であり得る。
【0091】
ステップＳ２３３において、各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定する。
【0092】
ここで、第２画像フレームは、第１画像フレームと近い収集時間で収集された画像フレームであり得、第２画像フレームの較正時間で取得された慣性検知情報に従って、最初に推定された第２画像フレームに対応する慣性状態を決定し得、決定した最初に推定された第２画像フレームに対応する慣性状態を第２画像フレームにおけるマッチング特徴点の位置情報と組み合わせて、第１画像フレームに対して現在較正されている時間オフセット情報を決定し得る。第２画像フレームに対応する慣性状態は、情報処理機器が第２画像フレームの較正時間における慣性状態として理解されることができる。慣性状態は、位置、姿勢、速度などのパラメータを含み得る。最初に推定された第２画像フレームに対応する慣性状態を決定するとき、第２画像フレームが配置されている固定期間の前の固定期間で、時間オフセット補償の後決定された情報処理機器の慣性状態を取得し得る。補償の後の慣性状態を初期値として、第２画像フレームの較正時間で取得さらた慣性検知情報に対して積分処理を実行して、慣性検知情報によって最初に推定された第２画像フレームに対応する慣性状態を取得し得る。ここで、慣性状態は、物体の運動状態を表すパラメータであり得、慣性状態は、位置、姿勢、速度、加速度偏差、角速度偏差などのパラメータを含み得る。
【0093】
第１画像フレームに対する補正の時間オフセット情報を決定するとき、２つの第２画像フレームを例として、第２画像フレームにおけるマッチング特徴点の位置情報に従って、１つの情報処理機器が当該時間間隔における相対位置の変化を決定し得、当該時間間隔における最初に推定された慣性状態に従って、１つの情報処理機器が当該時間間隔における相対位置の変化を決定し得、その後、２つの相対位置の変化間の差に従って、画像収集装置と慣性検知装置との間の時間オフセット情報および対応するより正確な時間オフセット補償後の第２画像フレームに対応する慣性状態を取得し得る。
【0094】
図５は、本願実施例に係る較正時間の近くにおける各第２画像フレームに対応する慣性状態を決定するフローチャートを示す。図５に示されるように、可能な実施形態において、上記のステップＳ２３３は以下のステップを含み得る。
【0095】
ステップＳ２３３１において、各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定する。
【0096】
ステップＳ２３３２において、現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定する。
【0097】
ステップＳ２３３３において、前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定し、ここで、前記画像収集装置は、前記第２画像フレームを収集するために使用される。
【0098】
ステップＳ２３３４において、前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定する。
【0099】
当該可能な実施形態において、第２画像フレームの較正時間には特定の時間オフセットが存在し、第２画像フレームの実際の収集時間と時間差の値が存在し、それにより、慣性検知情報の時間を基準として、第２画像フレームの較正時間と実際の収集時間との時間差の値を決定することができる。その後、当該時間差の値を第２画像フレームの慣性検知情報と組み合わせて、画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態におけるポーズ情報を決定することができる。
【0100】
図６は、本願実施例に係る画像収集装置および慣性検知装置の時間オフセットのブロック図を示す。以下、図６を参照して上記のステップＳ２３３１ないしステップＳ２３３４を説明する。画像収集装置がローリングカメラであることを例として、画像収集装置の露光時間および較正時間に誤差が存在するため、第２画像フレームの実際の収集時間と第２画像フレームの較正時間には時間差の値が存在する。慣性検知装置の時間を基準として、第２画像フレームの較正時間と実際の収集時間との時間差の値は式（２）として表示し得る。
【0101】
【数2】
【0102】
ここで、ｄｔは時間差の値を表示し、
【0103】
【化3】
【0104】
は現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を表示し、
【0105】
【化4】
【0106】
は現在較正されている時間オフセット情報を表示し、
【0107】
【化5】
【0108】
は前の補正された時間オフセット情報を表示し、前の補正された時間オフセット情報は、現在の較正時間の決定周期の前の決定周期で取得された時間オフセット情報であり得、
【0109】
【化6】
【0110】
は第２画像フレームにおけるマッチング特徴点の露光時間誤差を表示し、ｒはマッチング特徴点が配置されている第２画像フレームにおけるピクセル点の行番号を表示し、ｈは第２画像フレームのピクセルの高さ、即ち合計の行数を表示する。露光時間誤差は、第２画像フレームにおける各行ピクセル点の露光時間によって引き起こす時間誤差を補正するためであり、当業者は、画像収集装置のタイプまたは補正のニーズに従って、露光時間誤差の計算方式を柔軟に設置することができる。
【0111】
均一速度モデルを使用して、即ち画像収集装置が時間差の値で均一速度の運動をすると、第２画像フレームにおけるあるマッチング特徴点ｉによって取得された画像収集装置の位置は、式（３）として表示する。
【0112】
【数3】
【0113】
ここで、
【0114】
【化7】
【0115】
は、ｔ＋ｄｔモーメントで推定される画像収集装置の位置を表示し、
【0116】
【化8】
【0117】
は、ｔモーメントにおける画像収集装置の位置を表示し、ここでのｔモーメントは、補正された較正時間であり得、
【0118】
【化9】
【0119】
は推定された慣性状態における速度であり、ｉは第ｉ個のマッチング特徴点を表示し、正の整数である。
【0120】
第２画像フレームにおけるあるマッチング特徴点ｉによって取得された画像収集装置の姿勢は、式（４）として表示する。
【0121】
【数4】
【0122】
ここで、
【0123】
【化10】
【0124】
は、ｔ＋ｄｔモーメントにおける推定された画像収集装置の姿勢を表示し、
【0125】
【化11】
【0126】
は、実際の収集時間ｔモーメントにおける画像収集装置の姿勢を表示し、
【0127】
【化12】
【0128】
は、ｄｔ間における、画像収集装置の姿勢の変化を表示し、
【0129】
【化13】
【0130】
は、４つの要素であり得、
【0131】
【化14】
【0132】
は角速度（直接にジャイロスコープから較正時間と最も近い測定値を読み取る）を表示する。
【0133】
このような方式を介して時間差の値および慣性検知情報に従って、画像収集装置のポーズ情報を推定し、各第２画像フレームがｄｔの時間オフセットを通った後ｔ＋ｄｔモーメントで対応する慣性状態におけるポーズ情報を決定することができる。
【0134】
図７は、本願実施例に係る位置情報および慣性状態に基づいて時間オフセット情報を決定するフローチャートを示す。図７に示されるように、可能な実施形態において、上記のステップＳ２３４は以下のステップを含み得る。
【0135】
ステップＳ２３４１において、マッチング特徴点に対応する３次元空間での空間点の位置を決定する。
【0136】
ステップＳ２３４２において、各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定する。
【0137】
ステップＳ２３４３において、前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得する。
【0138】
ステップＳ２３４４において、前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定する。
【0139】
当該可能な実施形態において、取得された少なくとも２つの第２画像フレームには、同じ画像特徴にマッチングするマッチング特徴点を有し得る。取得された少なくとも２つの第２画像フレームにおけるマッチング特徴点に対して、当該第２画像フレームにおけるマッチング特徴点の位置情報は空間点の観察値であり得る。少なくとも２つの第２画像フレームによって観察されたマッチング特徴点情報を使用して以下の投影エネルギ方程式（５）を確立することができる。マッチング特徴点に３次元空間の位置が存在すると、投影エネルギ方程式に直接に代入することができ、マッチング特徴点に３次元空間の位置が存在しないと、観察された当該マッチング特徴点が第２画像フレームにおける位置を使用して推定された３次元空間の位置を取得し、その後投影エネルギ方程式に代入することができる。マッチング特徴点に対応する３次元空間の位置は、世界座標系における３次元位置に基づいて、または観察された第２画像フレームにおけるマッチング特徴点の位置に基づいて、逆の深さを増やすことを介して３次元位置を表示することができる。各第２画像フレームの較正時間で収集された慣性検知情報は、最初に推定された第２画像フレームの慣性状態を取得し、最初に推定された第２画像フレームの慣性状態によって補償後の第２画像フレームに対応する慣性状態を決定し得、ここで、補償後の第２画像フレームに対応する慣性状態は、変数として以下の投影エネルギ方程式（５）に代入することができる。投影エネルギ方程式（５）は以下のようである。
【0140】
【数5】
【0141】
ここで、
【0142】
【化15】
【0143】
は、第ｋ個のマッチング特徴点が、第ｉ個の第２画像フレームおよび第ｊ個の第２画像フレームで観察した位置情報を表示し、
【0144】
【化16】
【0145】
は第ｉ個の第２画像フレームに対応する慣性状態を表示し、当該慣性状態における姿勢情報に基づいて第ｉ個の第２画像フレームが配置されている投影平面を決定することができ、
【0146】
【化17】
【0147】
は第ｊ個の第２画像フレームに対応する慣性状態を表示し、当該慣性状態における姿勢情報に基づいて第ｊ個の第２画像フレームが配置されている投影平面を決定することができる。慣性状態Ｘは、位置、姿勢、速度、加速度偏差、角速度偏差などの変数を含み得る。
【0148】
【化18】
【0149】
は、マッチング特徴点に対応する３次元空間点の位置を表示する。
【0150】
【化19】
【0151】
は、画像収集装置と慣性検知装置との間の時間オフセット情報を表示し、
【0152】
【化20】
【0153】
は、画像収集装置の行露光周期を表示し、Pjは、第ｊ個のマッチング特徴の画像ノイズを表示し、
【0154】
【化21】
【0155】
は、エネルギを取る操作即ち投影エネルギを表示し、エネルギを取る操作において、関連技術に基づいて、上記の空間点の位置および投影平面を決定し得、マッチング特徴点が第２画像フレームにおける位置情報と空間点が少なくとも２つの投影平面に投影する投影情報との間の差を取得することができ、当該差に基づいてエネルギ値を決定し得、Ｃは、ｉ、ｊ、ｋで生成されたエネルギ空間を表示し、ｉ、ｊおよびｋは正の整数であり得る。上記の式（５）は、１つの３次元空間での空間点を表示し、画像収集装置が異なる位置で空間点を撮影して取得する画像フレームにおいて、当該空間点に対応する特徴点が画像フレームにおける位置、および当該空間点に対応する位置に投影する画像収集装置が配置されている投影平面における投影位置の両方の位置は、論理的に同じであるはず、即ち両方の位置の差を最も小さくすることができる。言い換えると、式（５）を介して、
【0156】
【化22】
【0157】
を最も小さくする最適化変数
【0158】
【化23】
【0159】
を取得する。ここで、各第２画像フレームにおけるマッチング特徴点は複数であり得る。
【0160】
画像収集装置の行露光周期が直接に読み取れると、読み取られた値を行露光周期とすることができることに留意されたい。行露光周期が取得されないと、変数として上記の式（５）によって決定されることができる。
【0161】
【0162】
Ｓ２３ａにおいて、前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得する。
【0163】
Ｓ２３ｂにおいて、前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定する。
【0164】
Ｓ２３ｃにおいて、現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定する。
【0165】
当該実施形態において、少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得し得る。前の時間オフセット情報の補正方式は現在較正されている時間オフセット情報のプロセスと同じであり、ここで再び説明しない。前の時間オフセット情報は、前の時間オフセット情報の決定周期で補正されており、直接に読み取れることができる。前の同じ決定周期で収集された少なくとも２つの第２画像フレームに対して、対応する前の時間オフセット情報は同じである。その後、現在較正されている時間オフセット情報と前の時間オフセット情報との差を較正時間誤差として、較正時間誤差によって現在較正されている時間オフセット情報の限界値を決定することができる。ここで、限界値は、現在較正されている時間オフセット情報のサイズを制限し得、現在較正されている時間オフセット情報は知られていないため、現在較正されている時間オフセット情報を変数として表示し、限界値を現在較正されている時間オフセット情報の制約条件として使用することができる。現在較正されている時間オフセット情報の限界値に従って、上記の式（５）を参照して、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定し得る。
【0166】
可能な実施形態において、前記第１画像フレームに対して現在較正されている時間オフセット情報と前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定するプロセスにおいて、較正時間誤差をプリセットの時間誤差と比較して、前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定し、前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定することができる。ここで、プリセットの時間誤差は、具体的な適用シナリオに従って設定することができ、例えば、プリセットの時間誤差を慣性検知データで収集された時間間隔として設置することができ、それにより、時間オフセット情報の変化範囲を制限し、時間オフセット情報推定の精度を保証することができる。現在較正されている時間オフセット情報の限界値の式（６）は以下のようである。
【0167】
【数6】
【0168】
ここで、
【0169】
【化24】
【0170】
は現在較正されている時間オフセット情報の限界値を表示し、
【0171】
【化25】
【0172】
は現在較正されている時間オフセットの情報を表示し、
【0173】
【化26】
【0174】
は前の時間オフセット情報を表示し、
【0175】
【化27】
【0176】
はプリセットの時間誤差を表示し、ｗｅｉｇｈｔは時間オフセット重みを表示する。最終的に取得された現在較正されている時間オフセット情報
【0177】
【化28】
【0178】
は、限界値
【0179】
【化29】
【0180】
がプリセットの条件を満たすようにするべきであり、例えば限界値を最も小さくし、例えば０にする。
【0181】
１つの実施形態において、時間オフセット重みは、較正時間誤差と正に相関することができ、即ち、較正時間誤差が大きいほど、時間オフセット重みは大きい。このようにして、時間オフセット情報の変化範囲を合理的な範囲に制限し得、上記の均一速度モデルを使用して引き起こす誤差およびシステムの不安定を低減し得る。上記の式（６）は、上記の式（５）と組み合わせて使用し得、式（６）を式（５）と組み合わせて取得する値が最も小さい場合、合理的な時間オフセット情報を取得し得る。
【0182】
本願実施例で提供される情報処理の技術案は、非線形フレームワークでリアルタイムにオンラインで画像収集装置および慣性検知装置の時間オフセット情報を補正することができ、特徴点の追跡方法と２つの画像フレーム間の時間間隔に対して何の要求もなく、且つ、任意のシャッタの画像収集装置に適しており、画像収集装置がローリングカメラである場合、ローリングカメラの行露光周期を正しく補正することができる。
【0183】
本願実施例で提供される情報処理の技術案が適用され得るシナリオは、拡張現実、仮想現実、ロボット、自律運転、ゲーム、映画とテレビ、教育、電子商取引、観光、スマート医療、室内装飾デザイン、スマートホーム、スマート製造、保守および組み立てなどのシナリオを含むが、これらに限定されない。
【0184】
本願で述べた上述の各方法の実施例は、原理および論理に違反することなく、互いに組み合わせて、組み合わせされた実施例を生成することができ、スペースの制限により、本願には繰り返さないことを理解されたい。
【0185】
なお、本願は、さらに、情報処理装置、電子機器、コンピュータ可読記憶媒体、プログラムを提供し、上記は、すべて本願で提供された任意の情報処理方法を実現することができ、対応する技術的解決策と説明および方法部分を参照した対応する記載は、繰り返しない。
【0186】
当業者は、具体的な実施形態の上記方法において、ステップの書き込み順序は、厳密な実行順序で、実装プロセスの制限となることではなく、各ステップの特定の実行順序は、その機能と可能性に基づくべきであることを理解することができる。
【0187】
図９は、本願実施例に係る情報処理装置のブロック図を示し、図９に示されるように、前記情報処理装置は、
現在の処理される第１画像フレームの収集時間を取得するように構成される、取得モジュール３１と、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される、補正モジュール３２と、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行するように構成される、位置決めモジュール３３と、を備える。
現在の処理される第１画像フレームの収集時間を取得するように構成される、取得モジュール３１と、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される、補正モジュール３２と、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行するように構成される、位置決めモジュール３３と、を備える。
【0188】
本願のいくつかの実施例において、前記第１画像フレームが、収集された最初の画像フレームまたは２番目の画像フレームである場合、現在較正されている時間オフセット情報は時間オフセット初期値である。
【0189】
本願のいくつかの実施例において、前記第１画像フレームが、収集されたＮ番目の画像フレームであり、且つ、Ｎが２より大きい正の整数である場合、前記装置は、さらに、
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、決定モジュールを備える。
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、決定モジュールを備える。
【0190】
１つの可能な実施形態において、前記決定モジュールは、具体的に、
前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得し、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得し、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得し、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得し、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
【0191】
本願のいくつかの実施例において、前記決定モジュールは、具体的に、
少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定し、ここで、各グループのマッチング特徴点は複数のマッチング特徴点を含み、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定し、ここで、各グループのマッチング特徴点は複数のマッチング特徴点を含み、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
【0192】
本願のいくつかの実施例において、前記決定モジュールは、具体的に、
各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定し、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得し、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定し、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得し、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
【0193】
本願のいくつかの実施例において、前記決定モジュールは、さらに、
各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定し、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定し、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定し、ここで、前記画像収集装置は、前記第２画像フレームを収集するために使用され、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定するように構成される。
各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定し、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定し、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定し、ここで、前記画像収集装置は、前記第２画像フレームを収集するために使用され、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定するように構成される。
【0194】
本願のいくつかの実施例において、前記決定モジュールは、具体的に、
前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得し、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定し、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得し、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定し、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される。
【0195】
１つの可能な実施形態において、前記決定モジュールは、具体的に、
前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定し、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定するように構成される。
前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定し、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定するように構成される。
【0196】
本願のいくつかの実施例において、前記位置決めモジュール３３は、具体的に、
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定し、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定し、
前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行するように構成される。
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定し、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定し、
前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行するように構成される。
【0197】
本願のいくつかの実施例において、前記補正モジュール３２は、具体的に、
前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される。
前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される。
【0198】
いくつかの実施例において、本願実施例によって提供される装置が備える機能またはモジュールは、上記の方法の実施例で説明される方法を実行するように構成され得、特定の実現は、上記の方法の実施例における説明を参照することができ、簡潔にするために、繰り返さない。
【0199】
本願実施例は、さらに、コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体を提出し、前記コンピュータプログラム命令は、プロセッサによって実行されるとき、上記の方法を実現する。コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体であり得る。
【0200】
対応的に、本願実施例は、さらに、コンピュータ可読コードを含む、コンピュータプログラムを提出し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器内のプロセッサは、上記の任意の情報処理方法を実現するために実行される。
【0201】
本願実施例は、さらに、電子機器を提出し、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、ここで、前記プロセッサは上記の方法で構成される。
【0202】
電子機器は、端末、サーバまたはその他の形態の機器として提供できる。
【0203】
図１０は、一例示的な実施例によって示された電子機器８００のブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であり得る。
【0204】
図１０を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電力コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの１つまたは複数のコンポーネットを含み得る。
【0205】
処理コンポーネント８０２は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作および記録操作に関する操作などの、電子機器８００の全般的な操作を制御する。処理コンポーネント８０２は、前記方法のステップのすべてまたは一部を完成するために、１つまたは複数のプロセッサ８２０を含んで命令を実行することができる。加えて、処理コンポーネント８０２は、１つまたは複数のモジュールを含んで、処理コンポーネント８０２と他のコンポーネントとの相互作用を容易にすることができる。例えば、処理コンポーネント８０２は、マルチメディアモジュールを含んで、マルチメディアコンポーネント８０８と、処理コンポーネント８０２との相互作用を容易にすることができる。
【0206】
メモリ８０４は、機器８００における操作をサポートするために、様々なタイプのデータを記憶するように構成される。これらのデータの例には、電子機器８００で動作する、任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。メモリ８０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイス、またはそれらの組み合わせで実装することができる。
【0207】
電力コンポーネント８０６は、電子機器８００の様々なコンポーネントに電力を提供する。電力コンポーネント８０６は、電力管理システム、１つまたは複数の電源、および電子機器８００のために、電力を生成、管理および割り当てに関連付けられる、他のコンポーネントを含み得る。
【0208】
マルチメディアコンポーネント８０８は、前記電子機器８００とユーザとの間に、出力インターフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）およびタッチパネル（ＴＰ：Ｔｏｕｃｈ Ｐａｄ）を含み得る。スクリーンにタッチパネルが含まれる場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実現されることができる。タッチパネルは、タッチ、スワイプおよびタッチパネルにおけるジェスチャを検知するための１つまたは複数のタッチセンサを含む。前記タッチセンサは、タッチまたはスワイプの操作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関する、持続時間および圧力も検出することができる。いくつかの実施例において、マルチメディアコンポーネント８０８は、１つのフロントカメラおよび／またはリアカメラを備える。電子機器８００が、撮影モードまたはビデオモードなどの動作モードにいるとき、フロントカメラおよび／またはリアカメラは、外部のマルチメディアデータを受信し得る。各フロントカメラおよびリアカメラは、固定光学レンズシステムであり得、または焦点距離と光学ズーム機能を有することがあり得る。
【0209】
オーディオコンポーネント８１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、１つのマイク（ＭＩＣ）を備え、電子機器８００が、通話モード、録音モードおよび音声認識モードなどの動作モードにいる場合、マイクは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ８０４に記憶されることができ、または通信コンポーネント８１６を介して、送信されることができる。いくつかの実施例において、オーディオコンポーネント８１０は、さらに、スピーカを備え、オーディオ信号を出力するために使用される。
【0210】
Ｉ／Ｏインターフェース８１２は、処理コンポーネント８０２と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを含み得るが、これらに限定されない。
【0211】
センサコンポーネント８１４は、電子機器８００に各態様の状態評価を提供するための１つまたは複数のセンサを備える。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、電子機器８００のディスプレイとキーパッドなどのコンポーネントの、相対的な位置を検出することができ、センサコンポーネント８１４は、電子機器８００または電子機器８００の１つのコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加速／減速、および電子機器８００の温度の変化も検出することができる。センサコンポーネット８１４は、近接センサを備えることができる、物理的接触なしに近くの物体の存在を検出するように構成される。センサコンポーネント８１４は、さらに、相補型金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）または電荷結合デバイス（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）画像センサなどの、光センサを備えることができ、撮像適用のために使用される。いくつかの実施例において、当該センサコンポーネント８１４は、さらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを備えることができる。
【0212】
通信コンポーネント８１６は、電子機器８００と他の機器の間の有線、または無線方式の通信を容易にするように構成される。電子機器８００は、ＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、通信コンポーネント８１６は、放送チャンネルを介して、外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント８１６は、さらに、短距離通信を促進するために、近距離通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔｈ（登録商標））技術および他の技術に基づいて実現されることができる。
【0213】
例示的な実施例において、電子機器８００は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理装置（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子素子によって実現されて、上記の方法を実行するために使用されることができる。
【0214】
例示的な実施例において、さらに、コンピュータプログラム命令を含むメモリ８０４などの、不揮発性コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されて、上記の方法を完成することができる。
【0215】
本願は、システム、方法および／またはコンピュータプログラム製品であり得る。コンピュータプログラム製品は、プロセッサに本願の様々な態様を実現させるために使用されるコンピュータ可読プログラム命令がロードされる、コンピュータ可読記憶媒体を含み得る。
【0216】
コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保持および記憶することができる、有形の機器であり得る。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体貯蔵機器、または前記任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的リスト）には、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、メモリスティック、フロッピー（登録商標）ディスク、機械的エンコーディング機器、例えば命令が記憶されるパンチカードまたは溝の突出構造、および、前記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、無線電波または他の自由に伝播する電磁波、導波管または他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを介する光パルス）、またはワイヤーを介して伝送される電気信号などの、過渡信号自体として解釈されない。
【0217】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から様々なコンピューティング／処理機器にダウンロードするか、またはインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および／またはワイヤレスネットワークなどのネットワークを介して、外部コンピュータまたは外部記憶機器にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光ファイバ伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバーを含み得る。各コンピューティング／処理機器における、ネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、前記コンピュータ可読プログラム命令を転送して、各コンピューティング／処理機器におけるコンピュータ可読記憶媒体に記憶される。
【0218】
本願の操作を実行するために使用されるコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、ステータス設定データ、または１つまたは複数のプログラミング言語の任意の組み合わせで記述される、ソースコードまたはオブジェクトコードであり得、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋など、対象指向のプログラミング言語、および「Ｃ」言語または同様のプログラミング言語など、従来の手続き型プログラミング言語とを含む。コンピュータ可読プログラム命令は、完全にユーザのコンピュータで実行でき、部分的にユーザのコンピュータで実行でき、スタンドアロンパッケージとして実行でき、ユーザのコンピュータで一部、リモートコンピュータで一部実行でき、または、完全にリモートコンピュータまたはサーバーで実行できる。リモートコンピュータに関するシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはワイドエリアネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む、任意の種類のネットワークを介して、ユーザのコンピュータにアクセスでき、または、リモートコンピュータにアクセスできる（例えば、インターネットサービスプロバイダーを使用してインターネットを介してアクセスする）。いくつかの実施例において、コンピュータ可読プログラム命令のステータス情報を使用することを介して、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）などの電子回路を、パーソナライズにスタマイズし、前記電子回路は、コンピュータ可読プログラム命令を実行して、本願の様々な態様を実現することができる。
【0219】
本明細書では、本願の実施例による方法、装置（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して、本願の様々な態様を説明する。フローチャートおよび／またはブロック図の各ブロック、およびフローチャートおよび／またはブロック図内の各ブロックの組み合わせは、コンピュータ可読プログラム命令によって実現されることを理解されたい。
【0220】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、固有コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供することができ、それにより、デバイスが作成され、これらの命令が、コンピュータ、または他のプログラマブルデータ処理装置のプロセッサによって実行されるとき、フローチャートおよび／またはブロック図内の１つまたは複数のブロックの指定される機能／アクションを実現させる。これらのコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体に記憶することもあり得、これらの命令は、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で作業するようにし、従って、命令が記憶されるコンピュータ可読媒体は、フローチャートおよび／またはブロック図内の１つまたは複数のブロックの指定される機能／アクションを実現する様々な態様の命令を含む製造品を含む。
【0221】
コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることもでき、コンピュータ、他のプログラマブルデータ処理装置、または他の機器で一連の操作ステップを実行して、コンピュータ実現のプロセスを生成させ、これにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器で実行する命令を、フローチャートおよび／またはブロック図内の１つまたは複数のブロックの指定される機能／アクションを実現させる。
【0222】
図面におけるフローチャートおよびブロック図は、本願の複数の実施例によるシステム、方法およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能、および操作を示す。この点について、フローチャートまたはブロック図内の各ブロックは、１つのモジュール、プログラムセグメント、または命令の一部を表すことができ、前記モジュール、プログラムセグメント、または命令の一部は、１つまたは複数の指定される論理機能を実現するために使用される実行可能な命令を含む。いくつかの代替実現において、ブロックのマークされる機能は、図面でマークされる順序とは異なる順序で発生することもできる。例えば、関する機能によって、２つの連続するブロックは、実際に基本的に並行して実行でき、時には逆の順序で実行できる。ブロック図および／またはフローチャート中の各ブロック、およびブロック図および／またはフローチャートのブロックの組み合わせは、指定される機能またはアクションを実行する、専用のハードウェアベースのシステムによって実現されるか、または、ハードウェアとコンピュータ命令の組み合わせを使用して、実現されることもできることを留意する必要がある。
【0223】
以上、本願の各実施例を説明したが、以上の説明は、例示的なものに過ぎず、網羅的ではなく、開示される各実施例に限定されない。説明される各実施例の範囲および思想から逸脱してない場合は、当業者にとって、多くの修正および変更は明らかである。本明細書で使用される用語の選択は、各実施例の原理、実際の応用、または市場における技術の改善を最もよく説明するか、または、当業者が、本明細書で開示される各実施例を理解することができるようにすることを意図する。
【産業上の利用可能性】
【0224】
本願実施例は、情報処理方法、装置、電子機器、コンピュータ記憶媒体およびコンピュータプログラムを提出し、前記方法は、現在の処理される第１画像フレームの収集時間を取得することと、前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することと、前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することと、を含む。本願実施例において、現在の処理される第１画像フレームの収集時間を取得し、その後、第１画像フレームに対して現在較正されている時間オフセット情報に従って、第１画像フレームの収集時間を補正して、第１画像フレームの較正時間を取得することができ、第１画像フレームの収集時間が誤差等の原因の影響のため、特定の時間オフセットが存在する可能性があることを考慮して、第１画像フレームの収集時間を補正して、より正しい較正時間を取得することができる。その後、較正時間で取得された慣性検知情報およに第１画像フレームを使用して、リアルタイムで現在の位置に対して位置決めを実行して、位置決めの精度を向上させることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2021-10-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報処理方法であって、現在の処理される第１画像フレームの収集時間を取得することと、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することと、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することと、を含む、前記情報処理方法。
【請求項2】
前記第１画像フレームが、収集された最初の画像フレームまたは２番目の画像フレームである場合、現在較正されている時間オフセット情報は時間オフセット初期値である、請求項１に記載の情報処理方法。
【請求項3】
前記第１画像フレームが、収集されたＮ番目の画像フレームであり、且つ、Ｎが２より大きい正の整数である場合、前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することをさらに含む、
請求項１または２に記載の情報処理方法。
【請求項4】
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得することと、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
請求項３に記載の情報処理方法。
【請求項5】
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定することであって、各グループのマッチング特徴点は複数のマッチング特徴点を含むことと、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
請求項４に記載の情報処理方法。
【請求項6】
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定することと、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得することと、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
請求項５に記載の情報処理方法。
【請求項7】
前記情報処理方法は、各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定することと、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定することと、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定することであって、前記画像収集装置は、前記第２画像フレームを収集するために使用されることと、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定することと、をさらに含む、
請求項５に記載の情報処理方法。
【請求項8】
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得することと、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定することと、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
請求項３に記載の情報処理方法。
【請求項9】
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定することは、前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定することと、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定することと、を含む、
請求項８に記載の情報処理方法。
【請求項10】
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することは、前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定することと、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定することと、
前記第１相対位置情報および第２相対位置情報に従って、現在の位置に対して位置決めを実行することと、を含む、
請求項１ないし９のいずれか１項に記載の情報処理方法。
【請求項11】
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することは、前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することを含む、
請求項１ないし１０のいずれか１項に記載の情報処理方法。
【請求項12】
情報処理装置であって、現在の処理される第１画像フレームの収集時間を取得するように構成される、取得モジュールと、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される、補正モジュールと、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行するように構成される、位置決めモジュールと、を備える、前記情報処理装置。
【請求項13】
電子機器であって、プロセッサと、
プロセッサの実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、請求項１ないし１１のいずれか１項に記載の情報処理方法を実行するように構成される、前記電子機器。
【請求項14】
コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されるときに、請求項１ないし１１のいずれか１項に記載の情報処理方法を実現する、前記コンピュータ可読記憶媒体。
【請求項15】
コンピュータ可読コードを含む、コンピュータプログラムであって、前記コンピュータ可読コードが電子機器で実行されるとき、前記電子機器内のプロセッサは、請求項１ないし１１のいずれか１項に記載の情報処理方法を実現するために実行される、前記コンピュータプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【0038】
本願実施例は、さらに、コンピュータ可読コードを含む、コンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器内のプロセッサは、上記の任意の情報処理方法を実現するために実行される。
例えば、本願は以下の項目を提供する。
（項目１）
情報処理方法であって、
現在の処理される第１画像フレームの収集時間を取得することと、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することと、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することと、を含む、前記情報処理方法。
（項目２）
前記第１画像フレームが、収集された最初の画像フレームまたは２番目の画像フレームである場合、現在較正されている時間オフセット情報は時間オフセット初期値である、
項目１に記載の情報処理方法。
（項目３）
前記第１画像フレームが、収集されたＮ番目の画像フレームであり、且つ、Ｎが２より大きい正の整数である場合、
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することをさらに含む、
項目１または２に記載の情報処理方法。
（項目４）
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、
前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得することと、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
項目３に記載の情報処理方法。
（項目５）
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、
少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定することであって、各グループのマッチング特徴点は複数のマッチング特徴点を含むことと、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
項目４に記載の情報処理方法。
（項目６）
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、
各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定することと、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得することと、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
項目５に記載の情報処理方法。
（項目７）
前記情報処理方法は、
各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定することと、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定することと、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定することであって、前記画像収集装置は、前記第２画像フレームを収集するために使用されることと、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定することと、をさらに含む、
項目５に記載の情報処理方法。
（項目８）
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、
前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得することと、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定することと、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
項目３に記載の情報処理方法。
（項目９）
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定することは、
前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定することと、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定することと、を含む、
項目８に記載の情報処理方法。
（項目１０）
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することは、
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定することと、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定することと、
前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行することと、を含む、
項目１ないし９のいずれか１項に記載の情報処理方法。
（項目１１）
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することは、
前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することを含む、
項目１ないし１０のいずれか１項に記載の情報処理方法。
（項目１２）
情報処理装置であって、
現在の処理される第１画像フレームの収集時間を取得するように構成される、取得モジュールと、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される、補正モジュールと、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行するように構成される、位置決めモジュールと、を備える、前記情報処理装置。
（項目１３）
前記第１画像フレームが、収集された最初の画像フレームまたは２番目の画像フレームである場合、現在較正されている時間オフセット情報は時間オフセット初期値である、
項目１２に記載の情報処理装置。
（項目１４）
前記第１画像フレームが、収集されたＮ番目の画像フレームであり、且つ、Ｎが２より大きい正の整数である場合、前記情報処理装置は、さらに、
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、決定モジュールを備える、
項目１２または１３に記載の情報処理装置。
（項目１５）
前記決定モジュールは、具体的に、
前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得し、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得し、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、
項目１４に記載の情報処理装置。
（項目１６）
前記決定モジュールは、具体的に、
少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定し、ここで、各グループのマッチング特徴点は複数のマッチング特徴点を含み、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、
項目１５に記載の情報処理装置。
（項目１７）
前記決定モジュールは、具体的に、
各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定し、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得し、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、
項目１６に記載の情報処理装置。
（項目１８）
前記決定モジュールは、さらに、
各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定し、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定し、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定し、ここで、前記画像収集装置は、前記第２画像フレームを収集するために使用され、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定するように構成される、
項目１６に記載の情報処理装置。
（項目１９）
前記決定モジュールは、具体的に、
前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得し、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定し、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、
項目１４に記載の情報処理装置。
（項目２０）
前記決定モジュールは、具体的に、
前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定し、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定するように構成される、
項目１９に記載の情報処理装置。
（項目２１）
前記位置決めモジュールは、具体的に、
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定し、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定し、
前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行するように構成される、
項目１２ないし２０のいずれか１項に記載の情報処理装置。
（項目２２）
前記補正モジュールは、具体的に、
前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される、
項目１２ないし２１のいずれか１項に記載の情報処理装置。
（項目２３）
電子機器であって、
プロセッサと、
プロセッサの実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、項目１ないし１１のいずれか１項に記載の情報処理方法を実行するように構成される、前記電子機器。
（項目２４）
コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されるときに、項目１ないし１１のいずれか１項に記載の情報処理方法を実現する、前記コンピュータ可読記憶媒体。
（項目２５）
コンピュータ可読コードを含む、コンピュータプログラムであって、
前記コンピュータ可読コードが電子機器で実行されるとき、前記電子機器内のプロセッサは、項目１ないし１１のいずれか１項に記載の情報処理方法を実現するために実行される、前記コンピュータプログラム。
例えば、本願は以下の項目を提供する。
（項目１）
情報処理方法であって、
現在の処理される第１画像フレームの収集時間を取得することと、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することと、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することと、を含む、前記情報処理方法。
（項目２）
前記第１画像フレームが、収集された最初の画像フレームまたは２番目の画像フレームである場合、現在較正されている時間オフセット情報は時間オフセット初期値である、
項目１に記載の情報処理方法。
（項目３）
前記第１画像フレームが、収集されたＮ番目の画像フレームであり、且つ、Ｎが２より大きい正の整数である場合、
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することをさらに含む、
項目１または２に記載の情報処理方法。
（項目４）
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、
前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得することと、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
項目３に記載の情報処理方法。
（項目５）
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、
少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定することであって、各グループのマッチング特徴点は複数のマッチング特徴点を含むことと、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
項目４に記載の情報処理方法。
（項目６）
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、
各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定することと、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定することと、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得することと、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
項目５に記載の情報処理方法。
（項目７）
前記情報処理方法は、
各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定することと、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定することと、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定することであって、前記画像収集装置は、前記第２画像フレームを収集するために使用されることと、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定することと、をさらに含む、
項目５に記載の情報処理方法。
（項目８）
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することは、
前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得することと、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定することと、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定することと、を含む、
項目３に記載の情報処理方法。
（項目９）
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定することは、
前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定することと、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定することと、を含む、
項目８に記載の情報処理方法。
（項目１０）
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することは、
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定することと、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定することと、
前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行することと、を含む、
項目１ないし９のいずれか１項に記載の情報処理方法。
（項目１１）
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することは、
前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得することを含む、
項目１ないし１０のいずれか１項に記載の情報処理方法。
（項目１２）
情報処理装置であって、
現在の処理される第１画像フレームの収集時間を取得するように構成される、取得モジュールと、
前記第１画像フレームに対して現在較正されている時間オフセット情報に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される、補正モジュールと、
前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行するように構成される、位置決めモジュールと、を備える、前記情報処理装置。
（項目１３）
前記第１画像フレームが、収集された最初の画像フレームまたは２番目の画像フレームである場合、現在較正されている時間オフセット情報は時間オフセット初期値である、
項目１２に記載の情報処理装置。
（項目１４）
前記第１画像フレームが、収集されたＮ番目の画像フレームであり、且つ、Ｎが２より大きい正の整数である場合、前記情報処理装置は、さらに、
前記収集時間の前に収集された少なくとも２つの第２画像フレームに従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、決定モジュールを備える、
項目１２または１３に記載の情報処理装置。
（項目１５）
前記決定モジュールは、具体的に、
前記収集時間の前に収集された少なくとも２つの第２画像フレームを取得し、
各前記第２画像フレームの較正時間で収集された慣性検知情報を取得し、
前記少なくとも２つの第２画像フレームおよび各前記第２画像フレームに対応する慣性検知情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、
項目１４に記載の情報処理装置。
（項目１６）
前記決定モジュールは、具体的に、
少なくとも２つの第２画像フレームにおける、同じ画像特徴にマッチングする各グループのマッチング特徴点を決定し、ここで、各グループのマッチング特徴点は複数のマッチング特徴点を含み、
各前記第２画像フレームにおけるマッチング特徴点の位置情報を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報および前記マッチング特徴点の位置情報に基づいて、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、
項目１５に記載の情報処理装置。
（項目１７）
前記決定モジュールは、具体的に、
各第２画像フレームにおけるマッチング特徴点に対応する３次元空間での空間点の位置を決定し、
各前記第２画像フレームの較正時間で収集された慣性検知情報に従って、各前記第２画像フレームが配置されている投影平面を決定し、
前記空間点の位置および前記第２画像フレームが配置されている投影平面に従って、前記空間点の投影情報を取得し、
前記マッチング特徴点の位置情報および前記投影情報に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、
項目１６に記載の情報処理装置。
（項目１８）
前記決定モジュールは、さらに、
各前記第２画像フレームにおけるマッチング特徴点の位置情報および画像収集装置の行露光周期に従って、各前記第２画像フレームにおけるマッチング特徴点の露光時間誤差を決定し、
現在較正されている時間オフセット情報と前の補正された時間オフセット情報との較正時間誤差を決定し、
前記露光時間誤差および前記較正時間誤差に従って、各前記第２画像フレームの較正時間と実際の収集時間との時間差の値を決定し、ここで、前記画像収集装置は、前記第２画像フレームを収集するために使用され、
前記時間差の値および前記慣性検知情報に従って、前記画像収集装置のポーズ情報を推定し、各前記第２画像フレームに対応する慣性状態を決定するように構成される、
項目１６に記載の情報処理装置。
（項目１９）
前記決定モジュールは、具体的に、
前記少なくとも２つの第２画像フレームに対して較正された前の時間オフセット情報を取得し、
前記第１画像フレームに対して現在較正されている時間オフセット情報と前記前の時間オフセット情報との較正時間誤差に従って、現在較正されている時間オフセット情報の限界値を決定し、
現在較正されている時間オフセット情報の限界値に従って、前記第１画像フレームに対して現在較正されている時間オフセット情報を決定するように構成される、
項目１４に記載の情報処理装置。
（項目２０）
前記決定モジュールは、具体的に、
前記較正時間誤差がプリセットの時間誤差より小さいか等しい場合、前記時間オフセット情報の限界値は０であると決定し、
前記較正時間誤差がプリセットの時間誤差より大きい場合、前記較正時間誤差およびプリセットの時間オフセット重みに従って、前記時間オフセット情報の限界値を決定するように構成される、
項目１９に記載の情報処理装置。
（項目２１）
前記位置決めモジュールは、具体的に、
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定し、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定し、
前記第１相対位置関係および第２相対位置関係に従って、現在の位置に対して位置決めを実行するように構成される、
項目１２ないし２０のいずれか１項に記載の情報処理装置。
（項目２２）
前記補正モジュールは、具体的に、
前記第１画像フレームに対して現在較正されている時間オフセット情報および前記第１画像フレームの露光持続時間に従って、前記第１画像フレームの収集時間を補正して、前記第１画像フレームの較正時間を取得するように構成される、
項目１２ないし２１のいずれか１項に記載の情報処理装置。
（項目２３）
電子機器であって、
プロセッサと、
プロセッサの実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、項目１ないし１１のいずれか１項に記載の情報処理方法を実行するように構成される、前記電子機器。
（項目２４）
コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されるときに、項目１ないし１１のいずれか１項に記載の情報処理方法を実現する、前記コンピュータ可読記憶媒体。
（項目２５）
コンピュータ可読コードを含む、コンピュータプログラムであって、
前記コンピュータ可読コードが電子機器で実行されるとき、前記電子機器内のプロセッサは、項目１ないし１１のいずれか１項に記載の情報処理方法を実現するために実行される、前記コンピュータプログラム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【0021】
本願のいくつかの実施例において、前記較正時間で取得された慣性検知情報および前記第１画像フレームに基づいて、現在の位置に対して位置決めを実行することは、
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定することと、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定することと、
前記第１相対位置情報および第２相対位置情報に従って、現在の位置に対して位置決めを実行することと、を含む。
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定することと、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定することと、
前記第１相対位置情報および第２相対位置情報に従って、現在の位置に対して位置決めを実行することと、を含む。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【0034】
本願のいくつかの実施例において、前記位置決めモジュールは、具体的に、
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定し、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定し、
前記第１相対位置情報および第２相対位置情報に従って、現在の位置に対して位置決めを実行するように構成される。
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定し、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定し、
前記第１相対位置情報および第２相対位置情報に従って、現在の位置に対して位置決めを実行するように構成される。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【0061】
本願のいくつかの実施例において、慣性検知情報および第１画像フレームに基づいて現在の位置に対して位置決めを実行するとき、前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定することと、前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定することと、前記第１相対位置情報および第２相対位置情報に従って、現在の位置に対して位置決めを実行することと、を含み得る。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】０１９６
【補正方法】変更
【補正の内容】
【0196】
本願のいくつかの実施例において、前記位置決めモジュール３３は、具体的に、
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定し、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定し、
前記第１相対位置情報および第２相対位置情報に従って、現在の位置に対して位置決めを実行するように構成される。
前記第１画像フレームおよび前記収集時間の前に収集された第２画像フレームに基づいて、画像収集装置の位置変化関係を表す第１相対位置情報を決定し、
前記第１画像フレームの較正時間で取得された慣性検知情報および前記第２画像フレームに対応する慣性状態に基づいて、画像収集装置の位置変化関係を表す第２相対位置情報を決定し、
前記第１相対位置情報および第２相対位置情報に従って、現在の位置に対して位置決めを実行するように構成される。
【国際調査報告】