特表2023-502635 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ シャンハイ　センスタイム　インテリジェント　テクノロジー　カンパニー　リミテッドの特許一覧

特表2023-502635較正方法および装置、プロセッサ、電子機器、記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-25

(54)【発明の名称】較正方法および装置、プロセッサ、電子機器、記憶媒体

(51)【国際特許分類】

G06T 7/70 20170101AFI20230118BHJP

【ＦＩ】

G06T7/70 B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022528154

(86)(22)【出願日】2020-04-02

(85)【翻訳文提出日】2022-05-13

(86)【国際出願番号】 CN2020083047

(87)【国際公開番号】W WO2021134960

(87)【国際公開日】2021-07-08

(31)【優先権主張番号】201911420020.3

(32)【優先日】2019-12-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519290264

【氏名又は名称】シャンハイセンスタイムインテリジェントテクノロジーカンパニーリミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】ムーシアン

(72)【発明者】

【氏名】チェンダンポン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096CA27

5L096DA02

5L096EA26

5L096FA09

5L096FA67

(57)【要約】

本願実施例は、較正方法および装置、プロセッサ、電子機器、記憶媒体を開示する。当該方法は、イメージング機器の少なくとも２つのポーズおよび慣性センサの少なくとも２つの第１サンプリングデータを取得することと、前記少なくとも２つのポーズに対してスプラインフィッティング処理を実行して、第１スプライン曲線を取得し、前記少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して、第２スプライン曲線を取得することと、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得することと、を含み、前記時空間偏差は、ポーズ変換関係、サンプリング時間オフセットのうちの少なくとも１つを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

較正方法であって、
イメージング機器の少なくとも２つのポーズを取得し、および慣性センサの少なくとも２つの第１サンプリングデータを取得することと、
前記少なくとも２つのポーズに対してスプラインフィッティング処理を実行して第１スプライン曲線を取得し、前記少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して第２スプライン曲線を取得することと、
前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得することと、を含み、前記時空間偏差は、ポーズ変換関係、サンプリング時間オフセットのうちの少なくとも１つを含む、前記較正方法。

【請求項2】

前記時空間偏差は、ポーズ変換関係を含み、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得する前に、前記較正方法は、
プリセットの参照ポーズ変換関係を取得することと、
前記参照ポーズ変換関係に従って、前記第２スプライン曲線を変換して、第３スプライン曲線を取得することと、をさらに含み、
前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得することは、
前記第１スプライン曲線および前記第３スプライン曲線に従って、第１差を取得することと、
前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定することと、を含む、
請求項１に記載の較正方法。

【請求項3】

前記時空間偏差は、さらに、サンプリング時間オフセットを含み、前記第１スプライン曲線における点は、すべてタイムスタンプ情報を搬送し、前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定する前に、前記較正方法は、
プリセットの第１時間オフセットを取得することと、
前記第３スプライン曲線における点のタイムスタンプと前記第１時間オフセットを加算して、第４スプライン曲線を取得することと、をさらに含み、
前記第１スプライン曲線および前記第３スプライン曲線に従って、第１差を取得することは、前記第４スプライン曲線および前記第１スプライン曲線に従って、前記第１差を取得することを含み、
前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定することは、
前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定することを含む、
請求項２に記載の較正方法。

【請求項4】

前記慣性センサは、慣性測定ユニットを含み、前記少なくとも２つのポーズは、少なくとも２つの姿勢を含み、前記少なくとも２つの第１サンプリングデータは、少なくとも２つの第１角速度を含み、
前記少なくとも２つのポーズに対してスプラインフィッティング処理を実行して第１スプライン曲線を取得することは、
前記少なくとも２つの姿勢に従って、前記イメージング機器の少なくとも２つの第２角速度を取得することと、
前記少なくとも２つの第２角速度に対してスプラインフィッティング処理を実行して、前記第１スプライン曲線を取得することと、を含み、
前記少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して、第２スプライン曲線を取得することは、前記少なくとも２つの第１角速度に対してスプラインフィッティング処理を実行して、前記第２スプライン曲線を取得することを含む、
請求項３に記載の較正方法。

【請求項5】

前記少なくとも２つのポーズは、さらに、少なくとも２つの第１位置を含み、前記少なくとも２つの第１サンプリングデータは、さらに、少なくとも２つの第１加速度を含み、
前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する前に、前記較正方法は、
前記少なくとも２つの第１位置に従って、前記イメージング機器の少なくとも２つの第２加速度を取得することと、
前記少なくとも２つの第２加速度に対してスプラインフィッティング処理を実行して、第５スプライン曲線を取得し、前記少なくとも２つの第１加速度に対してスプラインフィッティング処理を実行して、第６スプライン曲線を取得することと、
前記第５スプライン曲線および前記第６スプライン曲線に従って、第２差を取得することと、をさらに含み、
前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定することは、
前記第１差が、前記第１閾値より小さいか等しく、且つ、前記第２差が、第２閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定することを含む、
請求項４に記載の較正方法。

【請求項6】

前記慣性センサは、慣性測定ユニットを含み、前記少なくとも２つのポーズは、少なくとも２つの第２位置を含み、前記少なくとも２つの第１サンプリングデータは、少なくとも２つの第３加速度を含み、
前記少なくとも２つのポーズに対してスプラインフィッティング処理を実行して第１スプライン曲線を取得することは、
前記少なくとも２つの第２位置に従って、前記イメージング機器の少なくとも２つの第４加速度を取得することと、
前記少なくとも２つの第４加速度に対してスプラインフィッティング処理を実行して、前記第１スプライン曲線を取得することと、を含み、
前記少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して、第２スプライン曲線を取得することは、
前記少なくとも２つの第３加速度に対してスプラインフィッティング処理を実行して、前記第２スプライン曲線を取得することと、を含む、
請求項３に記載の較正方法。

【請求項7】

前記少なくとも２つのポーズは、さらに、少なくとも２つの第２姿勢を含み、前記少なくとも２つの第１サンプリングデータは、さらに、少なくとも２つの第３角速度を含み、
前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する前に、前記較正方法は、
前記少なくとも２つの第２姿勢に従って、前記イメージング機器の少なくとも２つの第４角速度を取得することと、
前記少なくとも２つの第４角速度に対してスプラインフィッティング処理を実行して、第７スプライン曲線を取得し、前記少なくとも２つの第３角速度に対してスプラインフィッティング処理を実行して、第８スプライン曲線を取得することと、
前記第７スプライン曲線および前記第８スプライン曲線に従って、第３差を取得することと、をさらに含み、
前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定することは、
前記第１差が、前記第１閾値より小さいか等しく、且つ、前記第３差が、第３閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定することを含む、
請求項６に記載の較正方法。

【請求項8】

前記時空間偏差は、サンプリング時間オフセットを含み、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得する前に、前記較正方法は、プリセットの第２時間オフセットを取得することと、
前記第１スプライン曲線における点のタイムスタンプと前記第２時間オフセットを加算して、第９スプライン曲線を取得することと、
前記第９スプライン曲線および前記第２スプライン曲線に従って、第４差を取得することと、をさらに含み
前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得することは、
前記第４差が、第４閾値より小さいか等しい場合、前記第２時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定することを含む、
請求項１ないし７のいずれか一項に記載の較正方法。

【請求項9】

前記イメージング機器および前記慣性センサは、電子機器に属し、前記較正方法は、
前記イメージング機器を使用して、少なくとも２枚の画像を収集することと、
前記イメージング機器が、前記少なくとも２枚の画像を収集する過程で、前記慣性センサの少なくとも２つの第２サンプリングデータを取得することと、
前記少なくとも２枚の画像、前記少なくとも２つの第２サンプリングデータおよび前記時空間偏差に従って、前記電子機器のイメージング機器が、前記画像を収集するときのポーズを取得することと、をさらに含む、
請求項１ないし８のいずれか一項に記載の較正方法。

【請求項10】

較正装置であって、
イメージング機器の少なくとも２つのポーズを取得し、および慣性センサの少なくとも２つの第１サンプリングデータを取得するように構成される、取得ユニットと、
前記少なくとも２つのポーズに対してスプラインフィッティング処理を実行して第１スプライン曲線を取得し、前記少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して第２スプライン曲線を取得するように構成される、第１処理ユニットと、
前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得するように構成される、第２処理ユニットと、を備え、前記時空間偏差は、ポーズ変換関係、サンプリング時間オフセットのうちの少なくとも１つを含む、前記較正装置。

【請求項11】

前記時空間偏差は、ポーズ変換関係を含み、
前記取得ユニットは、さらに、前記第２処理ユニットが、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得する前に、プリセットの参照ポーズ変換関係を取得するように構成され、
前記第１処理ユニットは、さらに、前記参照ポーズ変換関係に従って、前記第２スプライン曲線を変換して、第３スプライン曲線を取得するように構成され、
前記第２処理ユニットは、前記第１スプライン曲線および前記第３スプライン曲線に従って、第１差を取得し、前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定するように構成される、
請求項１０に記載の較正装置。

【請求項12】

前記時空間偏差は、さらに、サンプリング時間オフセットを含み、前記第１スプライン曲線における点は、すべて、タイムスタンプ情報を搬送し、
前記取得ユニットは、さらに、前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定する前に、プリセットの第１時間オフセットを取得するように構成され、
前記第１処理ユニットは、さらに、前記第３スプライン曲線における点のタイムスタンプと前記第１時間オフセットを加算して、第４スプライン曲線を取得するように構成され、
前記第２処理ユニットは、前記第４スプライン曲線および前記第１スプライン曲線に従って、前記第１差を取得し、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定するように構成される、
請求項１１に記載の較正装置。

【請求項13】

前記慣性センサは、慣性測定ユニットを含み、前記少なくとも２つのポーズは、少なくとも２つの姿勢を含み、前記少なくとも２つの第１サンプリングデータは、少なくとも２つの第１角速度を含み、
前記第１処理ユニットは、前記少なくとも２つの姿勢に従って、前記イメージング機器の少なくとも２つの第２角速度を取得し、前記少なくとも２つの第２角速度に対してスプラインフィッティング処理を実行して、前記第１スプライン曲線を取得し、前記少なくとも２つの第１角速度に対してスプラインフィッティング処理を実行して、前記第２スプライン曲線を取得するように構成される、
請求項１２に記載の較正装置。

【請求項14】

前記少なくとも２つのポーズは、さらに、少なくとも２つの第１位置を含み、前記少なくとも２つの第１サンプリングデータは、さらに、少なくとも２つの第１加速度を含み、
前記第１処理ユニットは、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する前に、前記少なくとも２つの第１位置に従って、前記イメージング機器の少なくとも２つの第２加速度を取得し、前記少なくとも２つの第２加速度に対してスプラインフィッティング処理を実行して、第５スプライン曲線を取得し、前記少なくとも２つの第１加速度に対してスプラインフィッティング処理を実行して、第６スプライン曲線を取得するように構成され、
前記第２処理ユニットは、前記第５スプライン曲線および前記第６スプライン曲線に従って、第２差を取得し、前記第１差が、前記第１閾値より小さいか等しく、且つ、前記第２差が、第２閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定するように構成される、
請求項１３に記載の較正装置。

【請求項15】

前記慣性センサは、慣性測定ユニットを含み、前記少なくとも２つのポーズは、少なくとも２つの第２位置を含み、前記少なくとも２つの第１サンプリングデータは、少なくとも２つの第３加速度を含み、
前記第１処理ユニットは、前記少なくとも２つの第２位置に従って、前記イメージング機器の少なくとも２つの第４加速度を取得し、前記少なくとも２つの第４加速度に対してスプラインフィッティング処理を実行して、前記第１スプライン曲線を取得し、前記少なくとも２つの第３加速度に対してスプラインフィッティング処理を実行して、前記第２スプライン曲線を取得するように構成される、
請求項１２に記載の較正装置。

【請求項16】

前記少なくとも２つのポーズは、さらに、少なくとも２つの第２姿勢を含み、前記少なくとも２つの第１サンプリングデータは、さらに、少なくとも２つの第３角速度を含み、
前記第１処理ユニットは、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する前に、前記少なくとも２つの第２姿勢に従って、前記イメージング機器の少なくとも２つの第４角速度を取得するように構成され、
前記第２処理ユニットは、前記少なくとも２つの第４角速度に対してスプラインフィッティング処理を実行して、第７スプライン曲線を取得し、前記少なくとも２つの第３角速度に対してスプラインフィッティング処理を実行して、第８スプライン曲線を取得し、前記第７スプライン曲線および前記第８スプライン曲線に従って、第３差を取得し、前記第１差が、前記第１閾値より小さいか等しく、且つ、前記第３差が、第３閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定するように構成される、
請求項１５に記載の較正装置。

【請求項17】

前記時空間偏差は、サンプリング時間オフセットを含み、
前記取得ユニットは、さらに、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得する前に、プリセットの第２時間オフセットを取得するように構成され、
前記第１処理ユニットは、さらに、前記第１スプライン曲線における点のタイムスタンプと前記第２時間オフセットを加算して、第９スプライン曲線を取得するように構成され、
前記第２処理ユニットは、前記第９スプライン曲線および前記第２スプライン曲線に従って、第４差を取得し、前記第４差が、第４閾値より小さいか等しい場合、前記第２時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定するように構成される、
請求項１０ないし１６のいずれか一項に記載の較正装置。

【請求項18】

前記イメージング機器および前記慣性センサは、較正装置に属し、
前記イメージング機器は、少なくとも２枚の画像を収集するように構成され、
前記慣性センサは、前記イメージング機器が、前記少なくとも２枚の画像を収集する過程で、少なくとも２つの第２サンプリングデータを取得するように構成され、
前記取得ユニットは、前記少なくとも２枚の画像、前記少なくとも２つの第２サンプリングデータおよび前記時空間偏差に従って、前記イメージング機器が画像を収集するときのポーズを取得するように構成される、
請求項１０ないし１７のいずれか一項に記載の較正装置。

【請求項19】

プロセッサとメモリとを備える、電子機器であって、前記メモリは、コンピュータプログラムコードを記憶するように構成され、前記コンピュータプログラムコードは、コンピュータ命令を含み、前記プロセッサが、前記コンピュータ命令を実行するとき、請求項１ないし９のいずれか一項に記載の較正方法を実行する、前記電子機器。

【請求項20】

コンピュータプログラムを記憶する、コンピュータ可読記憶媒体であって、前記コンピュータプログラムは、プログラム命令を含み、前記プログラム命令は、電子機器のプロセッサによって実行されるとき、前記プロセッサに請求項１ないし９のいずれか一項に記載の較正方法を実行させる、前記コンピュータ可読記憶媒体。

【請求項21】

請求項１ないし９のいずれか一項に記載の較正方法を実行するように構成される、プロセッサ。

【請求項22】

コンピュータプログラム製品であって、コンピュータで実行されるとき、前記コンピュータに請求項１ないし９のいずれか一項に記載の較正方法を実行させる、前記コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１９年１２月３１日に中国特許局に提出された、出願番号が２０１９１１４２００２０．３である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容は、全文を参照する方式で本願に組み込まれる。

【0002】

本願は、コンピュータ技術分野に関し、特に、較正方法および装置、プロセッサ、電子機器、記憶媒体に関する。

【背景技術】

【0003】

イメージング機器に基づいて収集されたデータと、慣性センサが収集したデータは、複数の特定の機能を実現することができる。イメージング機器と慣性センサ間にポーズ偏差があり、またはイメージング機器と慣性センサ間にあるサンプリング時間偏差のため、イメージング機器と慣性センサに基づいて実現される特定の機能の効果はよくなくなる。そのため、イメージング機器と慣性センサとの時空間偏差（ポーズ偏差、サンプリング時間偏差のうちの少なくとも１つを含む）を決定することは、非常に重要な意味がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願実施例は、較正方法および装置、プロセッサ、電子機器、記憶媒体を提供する。

【課題を解決するための手段】

【0005】

第１態様において、本願実施例は、較正方法を提供し、前記方法は、イメージング機器の少なくとも２つのポーズを取得し、慣性センサの少なくとも２つの第１サンプリングデータを取得することと、前記少なくとも２つのポーズに対してスプラインフィッティング処理を実行して、第１スプライン曲線を取得し、前記少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して、第２スプライン曲線を取得することと、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得することと、を含み、前記時空間偏差は、ポーズ変換関係、サンプリング時間オフセットのうちの少なくとも１つを含む。

【0006】

本願実施例において、イメージング機器の少なくとも２つのポーズに対してスプラインフィッティング処理を実行して、第１スプライン曲線を取得し、慣性センサの第１サンプリングデータに対してスプラインフィッティング処理を実行して、第２スプライン曲線を取得し、第１スプライン曲線と第２スプライン曲線に従って、イメージング機器と慣性センサとのポーズ変換関係および／またはサンプリング時間オフセットを決定することにより、取得されたイメージング機器と慣性センサとのポーズ変換関係および／またはサンプリング時間オフセットの精度を向上させることができる。

【0007】

本願任意の実施形態を参照して、前記時空間偏差は、ポーズ変換関係を含み、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得する前に、前記方法は、プリセットの参照ポーズ変換関係を取得することと、前記参照ポーズ変換関係に従って、前記第２スプライン曲線を変換して、第３スプライン曲線を取得することと、を含み、
前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得することは、前記第１スプライン曲線および前記第３スプライン曲線に従って、第１差を取得することと、前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定することと、を含む。

【0008】

本願実施例において、参照ポーズ変換関係に基づいて、第１スプライン曲線を変換して第３スプライン曲線を取得し、第１スプライン曲線および第３スプライン曲線が、すべて連続関数曲線であるため、第１スプライン曲線と第３スプライン曲線との差に従って、参照ポーズ変換関係が、イメージング機器と慣性センサとのポーズ変換関係であるか否かを決定し、取得されたイメージング機器と慣性センサとのポーズ変換関係の精度を向上させることができる。

【0009】

本願任意の実施形態を参照して、前記時空間偏差は、さらに、サンプリング時間オフセットを含み、前記第１スプライン曲線における点は、すべてタイムスタンプ情報を搬送し、前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定する前に、前記方法は、プリセットの第１時間オフセットを取得することと、前記第３スプライン曲線における点のタイムスタンプと前記第１時間オフセットを加算して、第４スプライン曲線を取得することと、をさらに含み、
前記第１スプライン曲線および前記第３スプライン曲線に従って、第１差を取得することは、前記第４スプライン曲線および前記第１スプライン曲線に従って、前記第１差を取得することを含み、
前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定することは、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定することを含む。

【0010】

本願実施例において、第３スプライン曲線における点のタイムスタンプと第１時間オフセットを加算して、第４スプライン曲線を取得し、第４スプライン曲線と第１スプライン曲線との差に従って、第１時間オフセットが、イメージング機器とジャイロスコープとの時間偏差であるか否かを決定し、第１ポーズ変換関係が、イメージング機器とジャイロスコープとのポーズ変換関係であるか否かを決定し、取得されたイメージング機器と慣性センサとのポーズ変換関係および時間偏差の精度を向上させることができる。

【0011】

本願任意の実施形態を参照して、前記慣性センサは、慣性測定ユニットを含み、前記少なくとも２つのポーズは、少なくとも２つの姿勢を含み、前記少なくとも２つの第１サンプリングデータは、少なくとも２つの第１角速度を含み、前記少なくとも２つのポーズに対してスプラインフィッティング処理を実行して、第１スプライン曲線を取得することは、前記少なくとも２つの姿勢に従って、前記イメージング機器の少なくとも２つの第２角速度を取得することと、前記少なくとも２つの第２角速度に対してスプラインフィッティング処理を実行して、前記第１スプライン曲線を取得することと、を含み、
前記少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して、第２スプライン曲線を取得することは、前記少なくとも２つの第１角速度に対してスプラインフィッティング処理を実行して、前記第２スプライン曲線を取得することを含む。

【0012】

本願実施例において、イメージング機器の少なくとも２つの姿勢に基づいて、イメージング機器の角速度と時間との関数曲線（即ち、第１スプライン曲線）を取得し、慣性測定ユニット内のジャイロスコープに基づいて、慣性測定ユニットの角速度と時間との関数曲線（即ち、第２スプライン曲線）を取得することができ、第１スプライン曲線および第２スプライン曲線に従って、イメージング機器と慣性測定ユニットとのポーズ変換関係および／またはサンプリング時間オフセットを決定することができる。

【0013】

本願任意の実施形態を参照して、前記少なくとも２つのポーズは、さらに、少なくとも２つの第１位置を含み、前記少なくとも２つの第１サンプリングデータは、さらに、少なくとも２つの第１加速度を含み、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する前に、前記方法は、前記少なくとも２つの第１位置に従って、前記イメージング機器の少なくとも２つの第２加速度を取得することと、前記少なくとも２つの第２加速度に対してスプラインフィッティング処理を実行して、第５スプライン曲線を取得し、前記少なくとも２つの第１加速度に対してスプラインフィッティング処理を実行して、第６スプライン曲線を取得することと、前記第５スプライン曲線および前記第６スプライン曲線に従って、第２差を取得することと、をさらに含み、
前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定することは、前記第１差が、前記第１閾値より小さいか等しく、且つ、前記第２差が、第２閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定することを含む。

【0014】

本願実施例において、慣性測定ユニットの加速度計がサンプリングして得たデータおよびイメージング機器の第１位置を使用して、第２差を取得し、第１差および第２差に従って、参照ポーズ変換関係が、イメージング機器と慣性測定ユニットとのポーズ変換関係であるか否かを決定し、第１時間オフセットが、イメージング機器と慣性測定ユニットとのサンプリング時間オフセットであると決定し、取得されたイメージング機器と慣性センサとのポーズ変換関係および時間偏差の精度を向上させることができる。

【0015】

本願任意の実施形態を参照して、前記慣性センサは、慣性測定ユニットを含み、前記少なくとも２つのポーズは、少なくとも２つの第２位置を含み、前記少なくとも２つの第１サンプリングデータは、少なくとも２つの第３加速度を含み、前記少なくとも２つのポーズに対してスプラインフィッティング処理を実行して、第１スプライン曲線を取得することは、前記少なくとも２つの第２位置に従って、前記イメージング機器の少なくとも２つの第４加速度を取得することと、前記少なくとも２つの第４加速度に対してスプラインフィッティング処理を実行して、前記第１スプライン曲線を取得することと、を含み、
前記少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して、第２スプライン曲線を取得することは、前記少なくとも２つの第３加速度に対してスプラインフィッティング処理を実行して、前記第２スプライン曲線を取得することを含む。

【0016】

本願実施例において、イメージング機器の少なくとも２つの第２位置に基づいて、イメージング機器の加速度と時間との関数曲線（即ち、第１スプライン曲線）を取得し、慣性測定ユニット内の加速度計に基づいて、慣性測定ユニットの加速度と時間との関数曲線（即ち、第２スプライン曲線）を取得することができる。第１スプライン曲線およひ第２スプライン曲線に従って、イメージング機器と慣性測定ユニットとのポーズ変換関係および／またはサンプリング時間オフセットを決定することができる。

【0017】

本願任意の実施形態を参照して、前記少なくとも２つのポーズは、さらに、少なくとも２つの第２姿勢を含み、前記少なくとも２つの第１サンプリングデータは、さらに、少なくとも２つの第３角速度を含み、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する前に、前記方法は、前記少なくとも２つの第２姿勢に従って、前記イメージング機器の少なくとも２つの第４角速度を取得することと、前記少なくとも２つの第４角速度に対してスプラインフィッティング処理を実行して、第７スプライン曲線を取得し、前記少なくとも２つの第３角速度に対してスプラインフィッティング処理を実行して、第８スプライン曲線を取得することと、前記第７スプライン曲線および前記第８スプライン曲線に従って、第３差を取得することと、をさらに含み、
前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定することは、前記第１差が、前記第１閾値より小さいか等しく、且つ、前記第３差が、第３閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定することを含む。

【0018】

本願実施例において、慣性測定ユニットのジャイロスコープがサンプリングして得たデータおよびイメージング機器の第２姿勢を使用して、第３差を取得し、第１差および第３差に従って、参照ポーズ変換関係が、イメージング機器と慣性測定ユニットとのポーズ変換関係であるか否かを決定し、第１時間オフセットが、イメージング機器と慣性測定ユニットとのサンプリング時間オフセットであると決定し、取得されたイメージング機器と慣性センサとのポーズ変換関係および時間偏差の精度を向上させることができる。

【0019】

本願任意の実施形態を参照して、前記時空間偏差は、サンプリング時間オフセットを含み、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得する前に、前記方法は、プリセットの第２時間オフセットを取得することと、前記第１スプライン曲線における点のタイムスタンプと前記第２時間オフセットを加算して、第９スプライン曲線を取得することと、前記第９スプライン曲線および前記第２スプライン曲線に従って、第４差を取得することと、をさらに含み、
前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得することは、前記第４差が、第４閾値より小さいか等しい場合、前記第２時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定することを含む。

【0020】

本願任意の実施形態を参照して、前記イメージング機器および前記慣性センサは、電子機器に属し、前記方法は、
前記イメージング機器を使用して、少なくとも２枚の画像を収集することと、
前記イメージング機器が、前記少なくとも２枚の画像を収集する過程で、前記慣性センサの少なくとも２つの第２サンプリングデータを取得することと、
前記少なくとも２枚の画像、前記少なくとも２つの第２サンプリングデータおよび前記時空間偏差に従って、前記電子機器のイメージング機器が、前記画像を収集するときのポーズを取得することと、をさらに含む。

【0021】

本願実施例において、較正して得たイメージング機器と慣性測定ユニットとのポーズ変換関係、およびイメージング機器と慣性測定ユニットとのサンプリング時間オフセットに基づいて、電子機器の位置づけを実現し、位置づけの精度を向上させることができる。

【0022】

第２態様において、本願実施例は、さらに、較正装置を提供し、前記装置は、
イメージング機器の少なくとも２つのポーズを取得し、および慣性センサの少なくとも２つの第１サンプリングデータを取得するように構成される、取得ユニットと、
前記少なくとも２つのポーズに対してスプラインフィッティング処理を実行して第１スプライン曲線を取得し、前記少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して第２スプライン曲線を取得するように構成される、第１処理ユニットと、
前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得するように構成される、第２処理ユニットと、を備え、前記時空間偏差は、ポーズ変換関係、サンプリング時間オフセットのうちの少なくとも１つを含む。

【0023】

本願任意の実施形態を参照して、前記時空間偏差は、ポーズ変換関係を含み、前記取得ユニットは、さらに、前記第２処理ユニットが、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得する前に、プリセットの参照ポーズ変換関係を取得するように構成され、
前記第１処理ユニットは、さらに、前記参照ポーズ変換関係に従って、前記第２スプライン曲線を変換して、第３スプライン曲線を取得するように構成され、
前記第２処理ユニットは、前記第１スプライン曲線および前記第３スプライン曲線に従って、第１差を取得し、前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定するように構成される。

【0024】

本願任意の実施形態を参照して、前記時空間偏差は、さらに、サンプリング時間オフセットを含み、前記第１スプライン曲線における点は、すべて、タイムスタンプ情報を搬送し、
前記取得ユニットは、さらに、前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定する前に、プリセットの第１時間オフセットを取得するように構成され、
前記第１処理ユニットは、前記第３スプライン曲線における点のタイムスタンプと前記第１時間オフセットを加算して、第４スプライン曲線を取得するように構成され、
前記第２処理ユニットは、前記第４スプライン曲線および前記第１スプライン曲線に従って、前記第１差を取得し、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定するように構成される。

【0025】

本願任意の実施形態を参照して、前記慣性センサは、慣性測定ユニットを含み、前記少なくとも２つのポーズは、少なくとも２つの姿勢を含み、前記少なくとも２つの第１サンプリングデータは、少なくとも２つの第１角速度を含み、前記第１処理ユニットは、前記少なくとも２つの姿勢に従って、前記イメージング機器の少なくとも２つの第２角速度を取得し、前記少なくとも２つの第２角速度に対してスプラインフィッティング処理を実行して、前記第１スプライン曲線を取得し、前記少なくとも２つの第１角速度に対してスプラインフィッティング処理を実行して、前記第２スプライン曲線を取得するように構成される。

【0026】

本願任意の実施形態を参照して、前記少なくとも２つのポーズは、さらに、少なくとも２つの第１位置を含み、前記少なくとも２つの第１サンプリングデータは、さらに、少なくとも２つの第１加速度を含み前記第１処理ユニットは、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する前に、前記少なくとも２つの第１位置に従って、前記イメージング機器の少なくとも２つの第２加速度を取得し、前記少なくとも２つの第２加速度に対してスプラインフィッティング処理を実行して、第５スプライン曲線を取得し、前記少なくとも２つの第１加速度に対してスプラインフィッティング処理を実行して、第６スプライン曲線を取得するように構成され、
前記第２処理ユニットは、前記第５スプライン曲線および前記第６スプライン曲線に従って、第２差を取得し、前記第１差が、前記第１閾値より小さいか等しく、且つ、前記第２差が、第２閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定するように構成される。

【0027】

本願任意の実施形態を参照して、前記慣性センサは、慣性測定ユニットを含み、前記少なくとも２つのポーズは、少なくとも２つの第２位置を含み、前記少なくとも２つの第１サンプリングデータは、少なくとも２つの第３加速度を含み、前記第１処理ユニットは、前記少なくとも２つの第２位置に従って、前記イメージング機器の少なくとも２つの第４加速度を取得し、前記少なくとも２つの第４加速度に対してスプラインフィッティング処理を実行して、前記第１スプライン曲線を取得し、前記少なくとも２つの第３加速度に対してスプラインフィッティング処理を実行して、前記第２スプライン曲線を取得するように構成される。

【0028】

本願任意の実施形態を参照して、前記少なくとも２つのポーズは、さらに、少なくとも２つの第２姿勢を含み、前記少なくとも２つの第１サンプリングデータは、さらに、少なくとも２つの第３角速度を含み、
前記第１処理ユニットは、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する前に、前記少なくとも２つの第２姿勢に従って、前記イメージング機器の少なくとも２つの第４角速度を取得するように構成され、
前記第２処理ユニットは、前記少なくとも２つの第４角速度に対してスプラインフィッティング処理を実行して、第７スプライン曲線を取得し、前記少なくとも２つの第３角速度に対してスプラインフィッティング処理を実行して、第８スプライン曲線を取得し、前記第７スプライン曲線および前記第８スプライン曲線に従って、第３差を取得し、前記第１差が、前記第１閾値より小さいか等しく、且つ、前記第３差が、第３閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定するように構成される。

【0029】

本願任意の実施形態を参照して、前記時空間偏差は、サンプリング時間オフセットを含み、前記取得ユニットは、さらに、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得する前に、プリセットの第２時間オフセットを取得するように構成され、
前記第１処理ユニットは、前記第１スプライン曲線における点のタイムスタンプと前記第２時間オフセットを加算して、第９スプライン曲線を取得するように構成され、
前記第２処理ユニットは、前記第９スプライン曲線および前記第２スプライン曲線に従って、第４差を取得し、前記第４差が、第４閾値より小さいか等しい場合、前記第２時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定するように構成される。

【0030】

本願任意の実施形態を参照して、前記イメージング機器および前記慣性センサは、前記較正装置に属し、
前記イメージング機器は、少なくとも２枚の画像を収集するように構成され、
前記慣性センサは、前記イメージング機器が、前記少なくとも２枚の画像を収集する過程で、少なくとも２つの第２サンプリングデータを取得するように構成され、
前記取得ユニットは、前記少なくとも２枚の画像、前記少なくとも２つの第２サンプリングデータおよび前記時空間偏差に従って、前記イメージング機器が前記画像を収集するときのポーズを取得するように構成される。

【0031】

第３態様において、本願実施例は、さらに、プロセッサを提供し、前記プロセッサは、上記の第１態様およびその任意の１つの実現可能な方式の方法を実行するように構成される。

【0032】

第４態様において、本願実施例は、さらに、電子機器を提供し、前記電子機器は、プロセッサとメモリとを備え、前記メモリは、コンピュータプログラムコードを記憶するように構成され、前記コンピュータプログラムコードは、コンピュータ命令を含み、前記プロセッサが、前記コンピュータ命令を実行するとき、前記電子機器は、上記の第１態様およびその任意の１つの実現可能な方式の方法を実行する。

【0033】

第５態様において、本願実施例は、さらに、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムは、プログラム命令を含み、前記プログラム命令は、電子機器のプロセッサによって実行されるとき、前記プロセッサに上記の第１態様およびその任意の１つの実現可能な方式の方法を実行させる。

【0034】

第６態様において、本願実施例は、さらに、命令を含むコンピュータプログラム製品を提供し、前記コンピュータプログラム製品が、コンピュータで実行されるとき、前記コンピュータに上記の第１態様およびその任意の１つの実現可能な方式の方法を実行させる。

【0035】

上記した一般的な説明及び後述する詳細な説明は、単なる例示及び説明に過ぎず、本発明を限定するものではないことを理解されたい。

【図面の簡単な説明】

【0036】

本願実施例または背景技術における技術的解決策をより明確に説明するために、以下は、本願実施例または背景技術に必要な図面を説明する。

【0037】

ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明と一致する実施例を示すものであり、明細書とともに本発明の実施例の技術的解決策を説明するために使用される。

【図1】本願実施例による較正方法の例示的なフローチャート１である。

【図2】本願実施例による慣性センサの角速度に対してスプラインフィッティング処理を実行する前およびその後の概略図である。

【図3】本願実施例による較正方法の例示的なフローチャート２である。

【図4】本願実施例による較正方法の例示的なフローチャート３である。

【図5】本願実施例による較正方法の例示的なフローチャート４である。

【図6】本願実施例による較正方法の例示的なフローチャート５である。

【図7】本願実施例による較正方法の例示的なフローチャート６である。

【図8】本願実施例による較正方法の例示的なフローチャート７である。

【図9】本願実施例による同名ポイントの概略図である。

【図10】本願実施例による較正装置の例示的な構造図である。

【図11】本願実施例による電子機器のハードウェアの例示的な構造図である。

【発明を実施するための形態】

【0038】

当業者が本願の技術案を一層簡単に理解できるようにするために、以下、本願実施例中の図面を結合して、本願実施例の技術案を明確且つ完全に説明し、明らかに、説明される実施例は、単に本願実施例の一部であり、実施例の全てではない。本願実施例に基づいて、創造的な努力なしに当業者によって取得される他のすべての実施例は、本願の保護範囲に含まれるものとする。

【0039】

本願実施例の明細書および特許請求の範囲および上記の添付図面における「第１」、「第２」および「第３」等の用語は、特定の順番を限定するものではなく、異なる対象を区別するものである。また、「含む」、「有する」およびこれらの任意の変形は、非排他的包含を網羅することを意図する。例えば、一連のステップまたはユニットを含む過程、方法、システム、製品または機器は、列挙されたステップまたはユニットに限定されなく、さらに、列挙されていないステップまたはユニットを例示的に含み、または、これらの過程、方法、製品または機器に固有の他のステップまたはユニットも例示的に含む。

【0040】

本明細書で述べた「実施例」は、実施例を参照して説明された特定の特徴、構造または特性は、本願の少なくとも１つの実施例に含まれてもよいことを意味する。明細書の各位置における当該フレーズは、必ずしもすべて同じ実施例を指すことではなく、他の実施例と相互に排他的な独立したまたは代替の実施例ではない。当業者は、本願で説明される実施例は、他の実施例相と組み合わせることができることを明示的におよび暗黙的に理解できる。

【0041】

本実施例において、慣性センサは、角速度、加速度などの物理量を測定するために使用できる。イメージング機器に基づいて収集された画像は、イメージング機器のポーズなどの情報を取得できるため、慣性センサをイメージング機器と組み合わせて、いくつかの特定の機能を実現することができる。例えば、加速度計とジャイロスコープを含む慣性測定ユニット（ＩＭＵ：ＩｎｅｒｔｉａｌＭｅａｓｕｒｅｍｅｎｔＵｎｉｔ）およびイメージング機器をドローンに積み込み、ＩＭＵが収集した加速度情報と角速度情報およびイメージング機器が収集した画像を使用して、ドローンの位置づけを実現する。例えば、イメージング機器で実装されるジャイロスコープが収集したジャイロスコープの角速度を使用して、イメージング機器の防振機能を実現する。

【0042】

上記の慣性センサとイメージング機器を組み合わせる過程では、プロセッサを介して、慣性センサによって取得されたデータおよびイメージング機器によって取得されたデータを処理する。プロセッサは、受信した慣性センサによって取得されたデータおよびイメージング機器によって取得されたデータを処理して、上記の特定の機能を実現することができる。

【0043】

一方、イメージング機器のポーズと慣性センサのポーズが異なるため、即ち、イメージング機器と慣性センサ間にポーズ偏差があるため、プロセッサが、慣性センサによって取得されたデータおよびイメージング機器によって取得されたデータを処理するとき、イメージング機器と慣性センサとのポーズ偏差を考慮しないと、またはプロセッサが、慣性センサによって取得されたデータおよびイメージング機器によって取得されたデータを処理するときに取得したイメージング機器と慣性センサとのポーズ偏差の精度が低いと、実現された位置づけなどの特定の機能の効果がよくなくなる（例えば、位置づけの精度が低い）。

【0044】

もう一方、同じモーメントでの慣性センサによって取得されるデータ（角速度、加速度など）およびイメージング機器によって取得されるデータ（収集された画像を介して取得されたイメージング機器のポーズなど）を使用して、位置づけなどの機能を実現することができる。例を挙げると、ドローンにカメラ、慣性センサおよび中央プロセッサ（ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を積み込み、ＣＰＵは、タイムスタンプａでイメージング機器の第１データ（画像など）および慣性センサの第２データ（角速度など）を取得し、ＣＰＵは、さらに、第１データおよび第２データに従って、ａモーメントにおけるドローンのポーズを取得することができる。

【0045】

つまり、イメージング機器によって取得されるデータおよび慣性センサによって取得されるデータに基づいて実現される位置づけなどの機能は、ＣＰＵを介して、同じタイムスタンプで取得される慣性センサのデータおよびイメージング機器のデータを処理して、当該タイムスタンプにおけるポーズを取得する必要がある。しかし、イメージング機器のサンプリング時間と慣性センサのサンプリング時間に偏差（以下は、時間偏差と要する）があると、ＣＰＵが取得したイメージング機器のデータのタイムスタンプが不正確になりまたはＣＰＵが取得する慣性センサのタイムスタンプが不正確になる。例を挙げると（例１）、イメージング機器が、時間ａでサンプリングして得たデータが、第１データであり、慣性センサが、時間ａでサンプリングして得たデータが、第２データであり、慣性センサが、時間ｂでサンプリングして得たデータが、第３データであると仮定する。イメージング機器は、第１データをＣＰＵに送信し、慣性センサは、第２データおよび第３データをＣＰＵに送信するが、イメージング機器がデータを送信する速度は、慣性センサがデータを送信する速度と異なるため、ＣＰＵは、時間ｃで第２データを受信し、第２データに追加するタイムスタンプは、ｃであり、時間ｄで第１データおよび第３データを受信し、第１データおよび第３データに追加するタイムスタンプは、すべてｄであり、ここで、タイムスタンプｂとタイムスタンプｃは、異なる。

【0046】

明らかに、タイムスタンプの不正確は、位置づけなどの機能の精度を低下させる。例１を例として続けると、第１データのタイムスタンプと第３データのタイムスタンプは、同じであり、ＣＰＵは、第１データおよび第３データを処理して、時間ｄときのポーズを取得する。第１データのサンプリング時間（ａ）と第３時間とのサンプリング時間（ｂ）が異なるため、時間ｄのときのポーズの精度は、低い。

【0047】

上記の２つの態様によれば、イメージング機器と慣性センサとのポーズ変換関係（即ち、前記ポーズ偏差）および／またはサンプリング時間オフセットを決定することは、非常に重要な意味がある。ポーズ変換関係および／またはサンプリング時間オフセットは、ポーズ変換関係を含み得、ポーズ変換関係および／またはサンプリング時間オフセットも、サンプリング時間オフセットを含み得、ポーズ変換関係および／またはサンプリング時間オフセットは、さらに、ポーズ変換関係とサンプリング時間オフセットとを含み得る。

【0048】

本願実施例による較正方法に基づいて、イメージング機器によって収集された画像および慣性センサによって収集されたデータに従って、イメージング機器と慣性センサとの時空間偏差を決定することができる。

【0049】

図１を参照すると、図１は、本願実施例による較正方法の例示的なフローチャート１であり、図１に示されたように、上記の方法は、以下のステップを含む。

【0050】

１０１において、イメージング機器の少なくとも２つのポーズを取得し、および慣性センサの少なくとも２つの第１サンプリングデータを取得する。

【0051】

本願実施例における実行主体は、第１端末であり、当該第１端末は、携帯電話、コンピュータ、タブレット、サーバなどであり得る。

【0052】

本願実施例において、イメージング機器は、カメラ、ウェブカメラのうちの少なくとも１つを含み得る。慣性センサは、ジャイロスコープ、加速度、ＩＭＵのうちの少なくとも１つを含み得る。

【0053】

本願実施例において、ポーズは、位置、姿勢のうちの少なくとも１つを含み得る。ここで、姿勢は、ピッチ角、ロール角、ヨー角のうちの少なくとも１つを含む。例えば、イメージング機器の少なくとも２つのポーズは、イメージング機器の少なくとも２つの位置であり得、および／または、イメージング機器の少なくとも２つのポーズは、イメージング機器の少なくとも２つの姿勢でもあり得る。

【0054】

本願実施例において、第１サンプリングデータは、慣性センサのサンプリングデータである。例えば、慣性センサが、ジャイロスコープである場合、第１サンプリングデータは、角速度を含む。例えば、在慣性センサが、加速度計である場合、第１サンプリングデータは、加速度を含む。

【0055】

第１端末は、少なくとも２つのポーズを取得し、少なくとも２つの第１サンプリングデータを取得する方式は、ユーザが、入力コンポーネントを介して入力した少なくとも２つのポーズおよび少なくとも２つの第１サンプリングデータを受信することを含み得、ここで、入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパネルおよびオーディオ入力などを含み得る。第２端末が送信する少なくとも２つのポーズおよび少なくとも２つの第１サンプリングデータを受信することでもあり得、ここで、第２端末は、携帯電話、コンピュータ、タブレットまたはサーバなどを含み、第１端末は、有線接続または無線通信の方式を介して、第２端末と通信接続を確立し、第２端末が送信する少なくとも２つのポーズおよび少なくとも２つの第１サンプリングデータを受信する。

【0056】

１０２において、前記少なくとも２つのポーズに対してスプラインフィッティング処理を実行して、第１スプライン曲線を取得し、前記少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して、第２スプライン曲線を取得する。

【0057】

本願実施例において、前記少なくとも２つのポーズのうちの各ポーズは、すべて、タイムスタンプを搬送し、前記少なくとも２つの第１サンプリングデータのうちの各第１サンプリングデータは、すべて、タイムスタンプ情報を搬送する。例えば、慣性センサＡの第１サンプリングデータａのタイムスタンプ情報が表すタイムスタンプが、２０１９年１２月６日１４時４６分３０秒である場合、第１サンプリングデータａは、慣性センサＡが、２０１９年１２月６日１４時４６分３０秒で収集した角速度である。

【0058】

ここで、少なくとも２つのポーズのうちの任意の２つのポーズのタイムスタンプは、すべて異なり、少なくとも２つの第１サンプリングデータのうちの任意の２つの第１サンプリングデータのタイムスタンプは、すべて異なる。

【0059】

選択的に、タイムスタンプの降順で少なくとも２つのポーズをソートして、ポーズシーケンスを取得することができる。ポーズシーケンスは、少なくとも２つの離散点であり、後続の処理を容易にするために、イメージング機器のポーズと時間との連続関数を取得する必要があり、即ち、任意のモーメントにおけるイメージング機器のポーズを取得する必要がある。

【0060】

一実現可能な方式では、ポーズシーケンスに対してスプラインフィッティング処理を実行することにより、イメージング機器のポーズと時間との関数曲線、即ち、第１スプライン曲線を取得することができる。図２は、本願実施例による慣性センサの角速度に対してスプラインフィッティング処理を実行する前およびその後の概略図であり、ここで、図２内の図（ａ）は、慣性センサの角速度に対してスプラインフィッティング処理を実行する前の概略図であり、図２内の図（ｂ）は、慣性センサの角速度に対してスプラインフィッティング処理した後の概略図である。図２内の図（ａ）に示されたように、ｘ軸で時間を表示し、ｙ軸でイメージング機器のポーズを表示して座標系ｘｏｙを確立すると、各ポーズのタイムスタンプおよび各ポーズのサイズに従って、座標系ｘｏｙで唯一の１つの点を決定することができる。図２内の図（ａ）から分かるように、ポーズシーケンスは、座標系ｘｏｙでは離散点であり、つまり、任意の２つのポーズのタイムスタンプ間の期間におけるイメージング機器のポーズは、未知である。ポーズシーケンスに対してスプラインフィッティング処理を実行することにより、図２内の図（ｂ）に示されたスプライン曲線、即ち、イメージング機器のポーズと時間との関数曲線を取得することができる。

【0061】

同様に、少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して、慣性センサのサンプリングデータと時間との連続関数曲線、即ち、第２スプライン曲線を取得することができる。

【0062】

当該の実現可能な方式では、少なくとも２つのポーズに対してスプライン曲線フィッティング処理を実行して、イメージング機器のポーズと時間との関数曲線を取得でき、さらに、任意のモーメントにおけるイメージング機器のポーズを取得する。少なくとも２つの第１サンプリングデータに対してスプライン曲線フィッティング処理を実行することにより、慣性センサのサンプリングデータと時間との関数曲線を取得でき、さらに、任意のモーメントにおける慣性センサのサンプリングデータを取得する。

【0063】

選択的に、上記のスプラインフィッティング処理は、Ｂスプラインフィッティング（Ｂ－ｓｐｌｉｎｅ）、三次スプライン補間（ＣｕｂｉｃＳｐｌｉｎｅＩｎｔｅｒｐｏｌａｔｉｏｎ）などのスプラインフィッティングアルゴリズムを介して実現でき、本願実施例は、これに対して限定しない。

【0064】

１０３において、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得する。

【0065】

本願実施例において、時空間偏差は、ポーズ変換関係を含み得、時空間偏差も、サンプリング時間オフセットを含み得、時空間偏差は、さらに、ポーズ変換関係とサンプリング時間オフセットとを含み得る。

【0066】

本願実施例において、ポーズが位置を含む場合、第１サンプリングデータは、加速度を含む。ポーズが姿勢を含む場合、第１サンプリングデータは、角速度を含む。即ち、第１スプライン曲線が、イメージング機器の位置と時間との連続関数曲線である場合、第２スプライン曲線は、慣性センサの加速度と時間との連続関数曲線である。第１スプライン曲線が、イメージング機器の姿勢と時間との連続関数曲線である場合、第２スプライン曲線は、慣性センサの角速度と時間との連続関数曲線である。

【0067】

第１スプライン曲線が、イメージング機器の位置と時間との連続関数曲線である場合、第１スプライン曲線を二回微分して、イメージング機器の加速度と時間との連続関数曲線（以下は、加速度スプライン曲線と称する）を取得することができる。第１スプライン曲線が、イメージング機器の姿勢と時間との連続関数曲線である場合、第１スプライン曲線を一回微分して、イメージング機器の角速度と時間との連続関数曲線（以下は、角速度スプライン曲線と称する）を取得することができる。

【0068】

イメージング機器と慣性センサ間にポーズ偏差またはサンプリング時間偏差がなく、且つ、第１スプライン曲線が、イメージング機器の位置と時間との連続関数曲線である場合、加速度スプライン曲線と第２スプライン曲線は、同じである。そのため、加速度スプライン曲線および第２スプライン曲線に従って、イメージング機器と慣性センサとの時空間偏差を決定することができる。

【0069】

イメージング機器と慣性センサ間にポーズ偏差またはサンプリング時間偏差がなく、且つ、第１スプライン曲線が、イメージング機器の姿勢と時間との連続関数曲線である場合、角速度スプライン曲線と第２スプライン曲線は、同じである。そのため、角速度スプライン曲線および第２スプライン曲線に従って、イメージング機器と慣性センサとの時空間偏差を決定することができる。

【0070】

一実現可能な方式では、まず、イメージング機器と慣性センサとのポーズ偏差が、決定されるポーズ変換関係であると仮定し、および／または、イメージング機器と慣性センサとのサンプリング時間オフセットが、決定される時間オフセットであると仮定する。決定されるポーズ変換関係および／または決定される時間オフセットに従って、加速度スプライン曲線を変換して、変換された加速度スプライン曲線を取得する。変換された加速度スプライン曲線と第２スプライン曲線との差が、第１期待値より小さいか等しい場合、変換された加速度スプライン曲線と第２スプライン曲線は、同じであることを表し、さらに、決定されるポーズ変換関係および／または決定される時間オフセットが、イメージング機器と慣性センサとのポーズ偏差および／またはサンプリング時間オフセットであると決定できる。

【0071】

別の一実現可能な方式では、まず、イメージング機器と慣性センサとのポーズ偏差が、決定されるポーズ変換関係であると仮定し、および／または、イメージング機器と慣性センサとのサンプリング時間オフセットが、決定される時間オフセットであると仮定する。決定されるポーズ変換関係および／または決定される時間オフセットに従って、角速度スプライン曲線を変換して、変換された角速度スプライン曲線を取得する。変換された角速度スプライン曲線と第２スプライン曲線との差が、第２期待値より小さいか等しい場合、変換された角速度スプライン曲線と第２スプライン曲線は、同じであることを表し、さらに、決定されるポーズ変換関係および／または決定される時間オフセットが、イメージング機器と慣性センサとのポーズ偏差および／またはサンプリング時間オフセットであると決定できる。

【0072】

また別の実現可能な方式では、まず、２つの曲線間の差が、第３期待値より小さいか等しい場合、２つの曲線は同じであると決定すると仮定する。加速度スプライン曲線と第３期待値を加算することにより、加算した後の加速度スプライン曲線を取得する。加算した後の加速度スプライン曲線および第２スプライン曲線に従って、加算した後の加速度スプライン曲線と第２スプライン曲線とのポーズ変換関係を取得して、イメージング機器と慣性センサとのポーズ偏差とし、および／または、加算した後の加速度スプライン曲線および第２スプライン曲線に従って、加算した後の加速度スプライン曲線と第２スプライン曲線との時間偏差を取得して、イメージング機器と慣性センサとの時間オフセットとする。

【0073】

また別の実現可能な方式では、まず、２つの曲線間の差が、第４期待値より小さいか等しい場合、２つの曲線は同じであると決定すると仮定する。角速度スプライン曲線と第４期待値を加算することにより、加算した後の角速度スプライン曲線を取得する。加算した後の角速度スプライン曲線および第２スプライン曲線に従って、加算した後の角速度スプライン曲線と第２スプライン曲線との変換関係を取得して、イメージング機器と慣性センサとのポーズ偏差とし、および／または、加算した後の加速度スプライン曲線および第２スプライン曲線に従って、加算した後の加速度スプライン曲線と第２スプライン曲線との時間偏差を取得して、イメージング機器と慣性センサとの時間オフセットとする。

【0074】

本実施例は、イメージング機器の少なくとも２つのポーズに対してスプラインフィッティング処理を実行することにより、第１スプライン曲線を取得し、および慣性センサの第１サンプリングデータに対してスプラインフィッティング処理を実行して第２スプライン曲線を取得する。第１スプライン曲線と第２スプライン曲線に従って、イメージング機器と慣性センサとのポーズ変換関係および／またはサンプリング時間オフセットを決定することにより、取得されたイメージング機器と慣性センサとのポーズ変換関係および／またはサンプリング時間オフセットの精度を向上させることができる。

【0075】

以下は、イメージング機器と慣性センサとのサンプリング時間オフセットを決定する方法を詳細に説明する。図３を参照して、図３は、本願実施例による較正方法の例示的なフローチャート２であり、図３に示されたように、上記の方法は、以下のステップを含む。

【0076】

３０１において、プリセットの参照ポーズ変換関係、イメージング機器の少なくとも２つのポーズおよび慣性センサの少なくとも２つの第１サンプリングデータを取得する。

【0077】

本願実施例において、プリセットの参照ポーズ変換関係は、ポーズ変換行列とオフセットとを含む。

【0078】

第１端末が、参照ポーズ変換関係を取得する方式は、ユーザが、入力コンポーネントを介して入力した参照ポーズ変換関係を受信することであり得る。ここで、入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパネルおよびオーディオ入力などのコンポーネントのうちの任意の１つを含み得る。第１端末が、参照ポーズ変換関係を取得する方式も、第３端末が送信する参照ポーズ変換関係を受信することであり得る。ここで、第３端末は、携帯電話、コンピュータ、タブレット、サーバなどの機器のうちの任意の１つを含み得る。第１端末は、有線接続または無線接続の方式を介して、第３端末が送信する参照ポーズ変換関係を受信することができる。

【0079】

３０２において、前記少なくとも２つのポーズに対してスプラインフィッティング処理を実行して、第１スプライン曲線を取得し、前記少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して、第２スプライン曲線を取得する。

【0080】

本ステップは、ステップ１０２を参照でき、ここでは繰り返して説明しない。

【0081】

３０３において、前記参照ポーズ変換関係に従って、前記第２スプライン曲線を変換して、第３スプライン曲線を取得する。

【0082】

本願実施例において、各ポーズは、すべて、タイムスタンプ情報を搬送する。前記少なくとも２つのポーズは、イメージング機器が、異なるモーメントにおけるポーズであり、即ち、少なくとも２つのポーズのうちの任意の２つのポーズのタイムスタンプは、すべて異なる。例えば、ポーズが姿勢を含む場合、イメージング機器Ａの少なくとも２つの姿勢は、姿勢Ｂと姿勢Ｃを含み、ここで、姿勢Ｂは、ピッチ角ａ、ロール角ｂおよびヨー角ｃを含み、姿勢Ｂのタイムスタンプは、タイムスタンプＤであり、姿勢Ｃは、ピッチ角ｄ、ロール角ｅおよびヨー角ｆを含み、姿勢Ｃのタイムスタンプは、タイムスタンプＥである。そうすると、姿勢Ｂおよび姿勢Ｃから、タイムスタンプＤにおけるイメージング機器Ａのピッチ角がａであり、ロール角がｂであり、ヨー角がｃであり、タイムスタンプＥにおけるイメージング機器Ａのピッチ角がｄである、ロール角がｅであり、ヨー角がｆであることを知ることができる。

【0083】

イメージング機器と慣性センサ間にポーズ偏差があることにより、イメージング機器に基づいて取得されるポーズと、慣性センサに基づいて取得されるポーズ間に偏差があるようにする。イメージング機器と慣性センサとの実のポーズ変換関係を決定できると、当該実のポーズ変換関係に基づいて、イメージング機器が取得するポーズまたは慣性センサが取得するポーズを変換して、イメージング機器と慣性センサとのポーズ偏差を減らすことができる。例を挙げると、イメージング機器と慣性センサとのポーズ偏差がＣであると仮定し、ポーズ偏差Ｃに対応するポーズ変換関係が、Ｄであると、イメージング機器に基づいて取得されるポーズは、Ａであり、慣性センサに基づいて取得されるポーズは、Ｂであり、即ち、ポーズＡとポーズＢとのポーズ偏差は、Ｃである。ポーズＡとポーズ変換関係Ｄを乗算して、ポーズＥを取得すると（即ち、ポーズ変換関係に基づいて姿勢Ａを変換する）、ポーズＥとポーズＢは、同じであり、または、ポーズＢとポーズ変換関係Ｄを乗算して、ポーズＦを取得すると（即ち、ポーズ変換関係に基づいて姿勢Ｂを変換する）、ポーズＦとポーズＡは、同じである。

【0084】

言い換えると、イメージング機器と慣性センサとのポーズ偏差を決定しない場合には、イメージング機器と慣性センサとの実のポーズ変換関係を取得できない。イメージング機器と慣性センサとの変換関係（即ち、前記参照ポーズ変換関係）を仮定することにより、イメージング機器に従って取得されるポーズと、慣性センサに基づいて取得されるポーズとの誤差は、参照ポーズ変換関係と実のポーズ変換関係との偏差を決定できる。一実現可能な方式では、第２スプライン曲線と参照ポーズ変換関係を乗算して、第３スプライン曲線を取得する。

【0085】

３０４において、前記第１スプライン曲線および前記第３スプライン曲線に従って、第１差を取得する。

【0086】

一実現可能な方式では、第１スプライン曲線と第３スプライン曲線のうちのタイムスタンプが同じである点間の差を、第１差とする。例えば、第１スプライン曲線に、点ａと点ｂが含まれ、第３スプライン曲線に点ｃと点ｄが含まれる。点ａと点ｃのタイムスタンプは、すべてＡであり、点ｂと点ｄのタイムスタンプは、すべてＢである。点ａと点ｃの差を第１差とすることができる。点ｂと点ｄの差を第１差とすることもできる。さらに、点ａと点ｃの差および点ｂと点ｄの差の平均値を第１差とすることもできる。

【0087】

別の実現可能な方式では、第１スプライン曲線と第３スプライン曲線のうちのタイムスタンプが同じである点間の差を決定して、第１差を取得し、第１差と第１参照値の合計を第１差とし、ここで、第１参照値は、実数であり、選択的に、第１参照値は、０．０００１メータであり得る。例を挙げると、第１スプライン曲線に、点ａと点ｂが含まれ、第３スプライン曲線に点ｃと点ｄが含まれる。点ａと点ｃのタイムスタンプは、すべてＡであり、点ｂと点ｄのタイムスタンプは、すべてＢである。点ａと点ｃの差は、Ｃであり、点ｂと点ｄの差は、Ｄである。第１参照値がＥであると仮定する。Ｃ＋Ｅを第１差とすることができる。Ｄ＋Ｅを第１差とすることもできる。（Ｃ＋Ｅ＋Ｄ＋Ｅ）／２を第１差とすることもできる。

【0088】

別の一実現可能な方式では、第１スプライン曲線と第３スプライン曲線のうちのタイムスタンプが同じである点間の差を決定して、第２差を取得する。第２差の２乗を第１差とする。例を挙げると、第１スプライン曲線に、点ａと点ｂが含まれ、第３スプライン曲線に点ｃと点ｄが含まれる。点ａと点ｃのタイムスタンプは、すべてＡであり、点ｂと点ｄのタイムスタンプは、すべてＢである。点ａと点ｃの差は、Ｃであり、点ｂと点ｄの差は、Ｄである。Ｃ^２を第１差とすることができ、Ｄ^２を第１差とすることもでき、（Ｃ^２＋Ｄ^２）／２を第１差とすることもできる。

【0089】

３０５において、前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定する。

【0090】

第３スプライン曲線と第１スプライン曲線との差（即ち、第１差）が、参照ポーズ変換関係と実のポーズ変換関係との偏差を表すために使用できるため、第１差が、期待値（即ち、前記第１閾値）より小さいか等しいことを参照ポーズ変換関係を解く制約条件とすることができる。例示的に、前記第１閾値の単位は、メータであり、第１閾値の範囲は、正数である。選択的に、第１閾値は、１ミリであり得る。

【0091】

例を挙げると、第１スプライン曲線が、

を満たし、ここで、

は、ジャイロスコープの角速度と時間との関数曲線であり、

は、ジャイロスコープの角速度であり、

は、時間であり、第２スプライン曲線が、

を満たし、ここで、

は、ジャイロスコープの角速度と時間との関数曲線であり、

は、ジャイロスコープの角速度であり、

は、時間であり、参照ポーズ変換関係は、

であり、第３スプライン曲線は、

を満たし、ここで、

は、イメージング機器の角速度と時間との関数曲線であり、

は、イメージング機器の角速度であり、

は、時間であると仮定する。第１閾値が、１ミリであると、

、即ち、

（本式を式（１）と表記する）である。式（１）内の

および

は、すべて知られているため、当該不等式を解くことにより、参照ポーズ変換関係

を決定することができる。

【0092】

選択的に、レーベンバーグ・マルカートアルゴリズム（ｌｅｖｅｎｂｅｒｇ－ｍａｒｑｕａｒｄａｌｇｏｒｉｔｈｍ）、ガウス・ニュートンの反復法（ｇａｕｓｓ－ｎｅｗｔｏｎｉｔｅｒａｔｉｏｎｍｅｔｈｏｄ）のうちの任意の１つを介して、式（１）を解くことができる。

【0093】

本実施例は、イメージング機器のポーズに対してスプラインフィッティング処理を実行して、第１スプライン曲線を取得し、慣性センサの第１サンプリングデータに対してスプラインフィッティング処理を実行して、第２スプライン曲線を取得する。参照ポーズ変換関係に基づいて、第１スプライン曲線を変換して第３スプライン曲線を取得する。第１スプライン曲線および第３スプライン曲線は、すべて連続関数曲線であるため、第１スプライン曲線と第３スプライン曲線との差に従って、参照ポーズ変換関係が、イメージング機器と慣性センサとのポーズ変換関係であるか否かを決定し、取得されるイメージング機器と慣性センサとのポーズ変換関係の精度を向上させることができる。

【0094】

上記の実施例によれば、本願実施例は、さらに、慣性センサとイメージング機器との時間偏差を決定する方法を提供する。

【0095】

図４は、本願実施例による較正方法の例示的なフローチャート３である。図４に示されたように、方法は、以下のステップを含み得る。

【0096】

４０１において、プリセットの第１時間オフセットを取得する。

【0097】

本実施例は、イメージング機器と慣性センサとの時間偏差を決定するアイデアと、上記の実施例のイメージング機器と慣性センサとのポーズ変換関係を決定することは、同じである。即ち、イメージング機器と慣性センサ間に時間偏差がない場合、同じモーメントにおけるイメージング機器の角速度と慣性センサの角速度との偏差は、小さい。

【0098】

このアイデアに基づいて、本実施例では、まず、イメージング機器と慣性センサとの時間偏差が、第１時間オフセットであると仮定し、後続処理では、イメージング機器のポーズと時間との関数曲線に当該第１時間オフセットを加算して、慣性センサの角速度と時間との関数曲線を取得できる。

【0099】

一代替実施形態において、第１端末が、第１時間オフセットを取得する方式は、第１端末が、ユーザが、入力コンポーネントを介して入力した第１時間オフセットを受信することを含み得、ここで、入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパネルおよびオーディオ入力などのコンポーネントのうちの任意の１つを含み得る。別の一代替実施形態において、第１端末が、第１時間オフセットを取得する方式は、第１端末が、第３端末によって送信される第１時間オフセットを受信することをさらに含み得、ここで、第３端末は、携帯電話、コンピュータ、タブレット、サーバなどの機器のうちの任意の１つを含み得る。第３端末と第２端末は、同じ端末であってもよいし、異なる端末であってもよい。

【0100】

４０２において、前記第３スプライン曲線における点のタイムスタンプと前記第１時間オフセットを加算して、第４スプライン曲線を取得する。

【0101】

４０３において、前記第４スプライン曲線および前記第１スプライン曲線に従って、前記第１差を取得する。

【0102】

上記の実施例の第１スプライン曲線および第３スプライン曲線に従って、第１差を取得する実施形態と異なり、本実施例では、第１スプライン曲線および第４スプライン曲線に従って第１差を取得する。

【0103】

一実現可能な方式では、第４スプライン曲線と第１スプライン曲線のうちのタイムスタンプが同じである点間の差を、第１差とする。例えば、第４スプライン曲線に、点ａと点ｂが含まれ、第１スプライン曲線に点ｃと点ｄが含まれる。点ａと点ｃのタイムスタンプは、すべてＡであり、点ｂと点ｄのタイムスタンプは、すべてＢである。点ａと点ｃとの差を第１差とすることができ、点ｂと点ｄとの差を第１差とすることもでき、さらに、点ａと点ｃの差および点ｂと点ｄの差の平均値を第１差とすることもできる。

【0104】

別の実現可能な方式では、第４スプライン曲線と第１スプライン曲線のうちのタイムスタンプが同じである点間の差を決定して、第３差を取得し、第３差と第２参照値の合計を第１差とし、ここで、第２参照値は、実数であり、選択的に、第２参照値は、０．０００１メータであり得る。例を挙げると、第４スプライン曲線に、点ａと点ｂが含まれ、第１スプライン曲線に点ｃと点ｄが含まれる。点ａと点ｃのタイムスタンプは、すべてＡであり、点ｂと点ｄのタイムスタンプは、すべてＢである。点ａと点ｃの差は、Ｃであり、点ｂと点ｄの差は、Ｄである。第２参照値がＥであると仮定する。Ｃ＋Ｅを第１差とすることができ、Ｄ＋Ｅを第１差とすることもでき、（Ｃ＋Ｅ＋Ｄ＋Ｅ）／２を第１差とすることもできる。

【0105】

また別の実現可能な方式において、第４スプライン曲線と第１スプライン曲線のうちのタイムスタンプが同じである点間の差を決定して第４差を取得し、第４差の２乗を第１差とする。例を挙げると、第４スプライン曲線に、点ａと点ｂが含まれ、第１スプライン曲線に点ｃと点ｄが含まれる。点ａと点ｃのタイムスタンプは、すべてＡであり、点ｂと点ｄのタイムスタンプは、すべてＢである。点ａと点ｃの差は、Ｃであり、点ｂと点ｄの差は、Ｄである。Ｃ^２を第１差とすることができ、Ｄ^２を第１差とすることもでき、（Ｃ^２＋Ｄ^２）／２を第１差とすることもできる。

【0106】

４０４において、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する。

【0107】

第１時間オフセットが、仮想のイメージング機器と慣性センサとの時間偏差であるため、ステップ２０２で取得された第４スプライン曲線の形状は、第３スプライン曲線の形状と同じであるべきである。しかし、実際の適用では、第４スプライン曲線と第３スプライン曲線間に誤差がある可能性がある。そのため、本願実施例において、第４スプライン曲線と第３スプライン曲線との差が、前記第１閾値より小さいか等しい場合を、第４スプライン曲線と第３スプライン曲線が同じであると見なす。第４スプライン曲線と第３スプライン曲線が同じである場合、第１時間オフセットが、イメージング機器と慣性センサとの時間偏差を決定でき、上記の実施例を参照して、参照ポーズ変換関係が、イメージング機器と慣性センサとのポーズ変換関係であることを知ることができる。

【0108】

本実施例は、第３スプライン曲線における点のタイムスタンプと第１時間オフセットを加算して、第４スプライン曲線を取得し、第４スプライン曲線と第１スプライン曲線との差に従って、第１時間オフセットが、イメージング機器とジャイロスコープとの時間偏差であるか否かを決定し、参照ポーズ変換関係が、イメージング機器とジャイロスコープとのポーズ変換関係であるか否かを決定し、取得されたイメージング機器と慣性センサとのポーズ変換関係および時間偏差の精度を向上させることができる。

【0109】

本実施例による技術的解決策は、上記の実施例の基で実現されることを理解されたい。実際の処理では、イメージング機器と慣性センサとのポーズ変換関係を決定しない場合に、イメージング機器と慣性センサとのサンプリング時間偏差を決定することもできる。

【0110】

一実現可能な方式では、前記時空間偏差は、サンプリング時間オフセットを含み、そうすると、較正方法は、プリセットの第２時間オフセット、イメージング機器の少なくとも２つのポーズと、慣性センサの少なくとも２つの第１サンプリングデータを取得することと、少なくとも２つのポーズに対してスプラインフィッティング処理を実行して、第１スプライン曲線を取得し、少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して、第２スプライン曲線を取得することと、第１スプライン曲線における点のタイムスタンプと第２時間オフセットを加算して、第９スプライン曲線を取得することと、第９スプライン曲線および第２スプライン曲線に従って、第４差を取得することと、をさらに含み得る。第４差が、第４閾値より小さいか等しい場合、第２時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する。

【0111】

本実施形態の詳細な説明と上記の図３および図４に示された実施例の組み合わせは類似しており、具体的には、以上の実施例の記載を参照でき、ここでは繰り返して説明しない。

【0112】

前記慣性センサがＩＭＵである場合、本願実施例は、さらに、イメージング機器とＩＭＵ較正する方法を提供する。

【0113】

図５は、本願実施例による較正方法の例示的なフローチャート４であり、本実施例は、ステップ１０２の一可能な実施形態を具体的に説明する。図５に示されたように、方法は、以下のステップをを含み得る。

【0114】

５０１において、前記少なくとも２つの姿勢に従って、前記イメージング機器の少なくとも２つの第２角速度を取得する。

【0115】

本実施例において、前記少なくとも２つのポーズは、少なくとも２つの姿勢を含み得、少なくとも２つの第１サンプリングデータは、少なくとも２つの第１角速度を含み得る。ここで、少なくとも２つの第１角速度は、ＩＭＵ内のジャイロスコープを介してサンプリングして得られる。

【0116】

いくつかの代替実施形態において、イメージング機器の少なくとも２つの姿勢を微分することにより、イメージング機器の少なくとも２つの第２角速度を取得することができる。

【0117】

５０２において、前記少なくとも２つの第２角速度に対してスプラインフィッティング処理を実行して、前記第１スプライン曲線を取得し、前記少なくとも２つの第１角速度に対してスプラインフィッティング処理を実行して、前記第２スプライン曲線を取得する。

【0118】

本ステップの実現過程は、ステップ１０２を参照でき、ここで、少なくとも２つの第２角速度は、ステップ１０２における少なくとも２つのポーズに対応し、少なくとも２つの第１角速度は、ステップ１０２における少なくとも２つの第１サンプリングデータに対応する。

【0119】

本実施例による技術的解決策によれば、イメージング機器の少なくとも２つの姿勢に基づいて、イメージング機器の角速度と時間との関数曲線（即ち、第１スプライン曲線）を取得でき、ＩＭＵ内のジャイロスコープに基づいて、ＩＭＵの角速度と時間との関数曲線（即ち、第２スプライン曲線）を取得できる。第１スプライン曲線および第２スプライン曲線に従って、イメージング機器とＩＭＵとのポーズ変換関係および／またはサンプリング時間オフセットを決定でき、例えば、上記の実施例による技術的解決策を使用して、イメージング機器とＩＭＵとのポーズ変換関係および／またはサンプリング時間オフセットを決定することができる。

【0120】

ＩＭＵには、ジャイロスコープ以外に、さらに、加速度計を備えるため、本実施例の基でＩＭＵ内の加速度計を使用して、サンプリングしてデータを取得でき、取得されたイメージング機器とＩＭＵとのポーズ変換関係および／またはサンプリング時間オフセットの精度を向上させることができる。

【0121】

図６は、本願実施例による較正方法の例示的なフローチャート５であり、本実施例では、前記少なくとも２つのポーズは、さらに、少なくとも２つの第１位置を含み、前記少なくとも２つの第１サンプリングデータは、さらに、少なくとも２つの第１加速度を含む。ここで、少なくとも２つの第１加速度は、ＩＭＵ内の加速度計を介してサンプリングして得られる。図５に示されたように、方法は、以下のステップをを含み得る。

【0122】

６０１において、前記少なくとも２つの第１位置に従って、前記イメージング機器の少なくとも２つの第２加速度を取得する。

【0123】

６０２において、前記少なくとも２つの第２加速度に対してスプラインフィッティング処理を実行して、第５スプライン曲線を取得し、前記少なくとも２つの第１加速度に対してスプラインフィッティング処理を実行して、第６スプライン曲線を取得する。

【0124】

本ステップの実現過程は、ステップ１０２を参照でき、ここで、少なくとも２つの第２加速度は、ステップ１０２における少なくとも２つのポーズに対応し、第５スプライン曲線は、ステップ１０２における第１スプライン曲線に対応し、少なくとも２つの第１加速度は、ステップ１０２における少なくとも２つの第１サンプリングデータに対応し、第６スプライン曲線は、ステップ１０２における第２スプライン曲線に対応する。

【0125】

６０３において、前記第５スプライン曲線および前記第６スプライン曲線に従って、第２差を取得する。

【0126】

本ステップは、ステップ４０３を参照でき、ここで、第５スプライン曲線は、ステップ４０３における第１スプライン曲線に対応し、第６スプライン曲線は、ステップ４０３における第４スプライン曲線に対応し、第２差は、ステップ４０３における第１差に対応する。

【0127】

６０４において、前記第１差が、前記第１閾値より小さいか等しく、且つ、前記第２差が、第２閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する。

【0128】

イメージング機器とＩＭＵ間にポーズ偏差および／またはサンプリング時間オフセットがない場合、イメージング機器の角速度とＩＭＵの角速度との差は、比較的に小さく、且ち、イメージング機器の加速度とＩＭＵの加速度との差も、比較的に小さいはずである。そのため、本実施例では、第１差が、第１閾値より小さいか等しき、且つ、第２差が、第２閾値より小さいか等しい場合、参照ポーズ変換関係が、イメージング機器と慣性測定ユニットとのポーズ変換関係であると決定し、第１時間オフセットが、イメージング機器と慣性センサとのサンプリング時間オフセットであると決定する。

【0129】

本実施例は、上記の実施例の基で、ＩＭＵの加速度計がサンプリングして得たデータおよびイメージング機器の第１位置を使用して、第２差を取得する。第１差および第２差に従って、参照ポーズ変換関係が、イメージング機器とＩＭＵとのポーズ変換関係であるか否かを決定し、第１時間オフセットが、イメージング機器とＩＭＵとのサンプリング時間オフセットであると決定し、取得されたイメージング機器と慣性センサとのポーズ変換関係および時間偏差の精度を向上させることができる。

【0130】

なお、ＩＭＵ内の加速度計が収集したデータおよびイメージング機器の位置に基づいて、イメージング機器およびＩＭＵの較正を実現することができる。

【0131】

図７は、本願実施例による較正方法の例示的なフローチャート６であり、本実施形態は、ステップ１０２の別の可能な実施形態を具体的に説明する。本実施例では、前記少なくとも２つのポーズは、少なくとも２つの第２位置を含み、少なくとも２つの第１サンプリングデータは、少なくとも２つの第３加速度を含む。ここで、少なくとも２つの第３加速度は、ＩＭＵ内の加速度計を介してサンプリングして得られる。図７に示されたように、方法は、以下のステップをを含み得る。

【0132】

７０１において、前記少なくとも２つの第２位置に従って、前記イメージング機器の少なくとも２つの第４加速度を取得する。

【0133】

本実施例では、イメージング機器の少なくとも２つの第２位置を二回微分することにより、イメージング機器の少なくとも２つの第４加速度を取得できる。

【0134】

７０２において、前記少なくとも２つの第４加速度に対してスプラインフィッティング処理を実行して、前記第１スプライン曲線を取得し、前記少なくとも２つの第３加速度に対してスプラインフィッティング処理を実行して、前記第２スプライン曲線を取得する。

【0135】

本ステップの実現過程は、ステップ１０２を参照でき、ここで、少なくとも２つの第４加速度は、ステップ１０２における少なくとも２つのポーズに対応し、少なくとも２つの第３加速度は、ステップ１０２における少なくとも２つの第１サンプリングデータに対応する。

【0136】

本実施例による技術的解決策によれば、イメージング機器の少なくとも２つの第２位置に基づいて、イメージング機器の加速度と時間との関数曲線（即ち、第１スプライン曲線）を取得でき、ＩＭＵ内の加速度計に基づいて、ＩＭＵの加速度と時間との関数曲線（即ち、第２スプライン曲線）を取得できる。第１スプライン曲線および第２スプライン曲線に従って、イメージング機器とＩＭＵとのポーズ変換関係および／またはサンプリング時間オフセットを決定でき、例えば、上記の実施例による技術的解決策を使用して、イメージング機器とＩＭＵとのポーズ変換関係および／またはサンプリング時間オフセットを決定することができる。

【0137】

ＩＭＵには、加速度計以外に、さらに、ジャイロスコープを備えるため、本実施例の基でＩＭＵ内のジャイロスコープを使用して、サンプリングしてデータを取得でき、取得されたイメージング機器とＩＭＵとのポーズ変換関係および／またはサンプリング時間オフセットの精度を向上させることができる。

【0138】

図８は、本願実施例による較正方法の例示的なフローチャート７である。本実施例では、前記少なくとも２つのポーズは、さらに、少なくとも２つの第２姿勢を含み、前記少なくとも２つの第１サンプリングデータは、さらに、少なくとも２つの第３角速度を含む。ここで、少なくとも２つの第３角速度は、ＩＭＵ内のジャイロスコープを介してサンプリングして得られる。図８に示されたように、方法は、以下のステップをを含み得る。

【0139】

８０１において、前記少なくとも２つの第２姿勢に従って、前記イメージング機器の少なくとも２つの第４角速度を取得する。

【0140】

８０２において、前記少なくとも２つの第４角速度に対してスプラインフィッティング処理を実行して、第７スプライン曲線を取得し、前記少なくとも２つの第３角速度に対してスプラインフィッティング処理を実行して、第８スプライン曲線を取得する。

【0141】

本ステップの実現過程は、ステップ１０２を参照でき、ここで、少なくとも２つの第４角速度は、ステップ１０２における少なくとも２つのポーズに対応し、第７スプライン曲線は、ステップ１０２における第１スプライン曲線に対応し、少なくとも２つの第３角速度は、ステップ１０２における少なくとも２つの第１サンプリングデータに対応し、第８スプライン曲線は、ステップ１０２における第２スプライン曲線に対応する。

【0142】

８０３において、前記第７スプライン曲線および前記第８スプライン曲線に従って、第３差を取得する。

【0143】

本ステップは、ステップ４０３を参照でき、ここで、第７スプライン曲線は、ステップ４０３における第１スプライン曲線に対応し、第８スプライン曲線は、ステップ４０３における第４スプライン曲線に対応し、第３差は、ステップ４０３における第１差に対応する。

【0144】

８０４において、前記第１差が、前記第１閾値より小さいか等しく、且つ、前記第３差が、第３閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する。

【0145】

イメージング機器とＩＭＵ間にポーズ偏差および／またはサンプリング時間オフセットがない場合、イメージング機器の角速度とＩＭＵの角速度との差は、比較的に小さく、且ち、イメージング機器の加速度とＩＭＵの加速度との差も、比較的に小さいはずである。そのため、本実施例では、第１差が、第１閾値より小さいか等しき、且つ、第３差が、第３閾値より小さいか等しい場合、参照ポーズ変換関係が、イメージング機器と慣性測定ユニットとのポーズ変換関係であると決定し、第１時間オフセットが、イメージング機器と慣性センサとのサンプリング時間オフセットであると決定する。

【0146】

本実施例は、上記の実施例の基で、ＩＭＵのジャイロスコープがサンプリングして得たデータおよびイメージング機器の第２姿勢を使用して、第３差を取得する。第１差および第３差に従って、参照ポーズ変換関係が、イメージング機器とＩＭＵとのポーズ変換関係であるか否かを決定し、第１時間オフセットが、イメージング機器とＩＭＵとのサンプリング時間オフセットであると決定し、取得されたイメージング機器と慣性センサとのポーズ変換関係および時間偏差の精度を向上させることができる。

【0147】

本願実施例による技術的解決策によれば、本願実施例は、さらに、いくつかの適用シナリオを提供する。

【0148】

シナリオＡ：イメージング機器およびＩＭＵは、電子機器に属し、イメージング機器およびＩＭＵに基づいて、電子機器の位置づけを実現できる。実現過程は、以下の通りである。

【0149】

イメージング機器を使用して少なくとも２枚の画像を収集し、イメージング機器が少なくとも２枚の画像を収集する過程で、ＩＭＵが収集した少なくとも２つの第２サンプリングデータを取得する。ここで、イメージング機器が収集する画像の数は、１より大きいか等しく、第２サンプリングデータは、角速度および／または加速度を含む。例を挙げると、電子機器は、参照期間内でイメージング機器を使用して少なくとも２枚の画像を収集し、電子機器は、参照期間内でＩＭＵを使用して、角速度および／または加速度の少なくとも２つを含む第２サンプリングデータを収集する。

【0150】

少なくとも２枚の画像に対して特徴点マッチング処理を実行することにより、少なくとも２枚の画像内の同名点を決定できる。少なくとも２枚の画像における同名点の座標に従って、画像座標系における同名点の運動トラック、即ち、画像座標系における電子機器の運動トラック（以下は、第１運動トラックと称する）を取得できる。少なくとも２つの第２サンプリングデータに従って、世界座標系における電子機器の運動トラック（以下は、第２運動トラックと称する）を取得できる。

【0151】

本願実施例において、２枚の異なる画像における同じ物理点のピクセルが、互いの同名点である。図９に示された２枚の画像において、ピクセルＡとピクセルＣは、互いの同名点であり、ピクセルＢとピクセルＤは、互いの同名点である。

【0152】

本願実施例による技術的解決策に基づいて、電子機器内のイメージング機器およびＩＭＵを較正して、イメージング機器とＩＭＵとのポーズ変換関係が、第１ポーズ変換関係であると決定し、イメージング機器とＩＭＵとのサンプリング時間オフセットが、第１サンプリング時間オフセットであると決定する。

【0153】

第１運動トラックのタイムスタンプと第１サンプリング時間オフセットを加算して、第３運動トラックを取得する。第１ポーズ変換関係に従って第３運動トラックを変換して、第４運動トラックを取得する。第２運動トラックおよび第４運動トラックに従って、第２運動トラックと第４運動トラックとのポーズ変換関係、即ち、画像座標系における電子機器の運動トラックと世界座標系における電子機器のポーズ変換関係（以下は、第２ポーズ変換関係と称する）を取得する。

【0154】

第２ポーズ変換関係および第１運動トラックに従って、第５運動トラック、即ち、世界座標系における電子機器の運動トラックを取得する。

【0155】

収集された少なくとも２枚の画像は、すべて、タイムスタンプを含み、少なくとも２枚の画像のタイムスタンプのうちの最も小さいタイムスタンプを参照タイムスタンプとする。参照タイムスタンプにおける電子機器のポーズ（以下は、初期ポーズと称する）を取得する。

【0156】

初期ポーズおよび第５運動トラックに従って、ターゲット期間内の任意のモーメントのける電子機器のポーズを決定でき、ここで、ターゲット期間は、少なくとも２枚の画像を収集する期間である。

【0157】

シナリオＢ：増強現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）技術は、仮想情報と実の世界を巧みに統合する技術であり、当該技術は、仮想情報と実の環境をリアルタイムで１つの画面に重ね合わせることができる。スマート端末は、ＩＭＵとカメラに基づいてＡＲ技術を実現でき、ここで、スマート端末は、携帯電話、コンピュータ、タブレットを含む。例えば、携帯電話は、ＩＭＵおよびカメラに基づいてＡＲ技術を実現できる。

【0158】

スマート端末が実現するＡＲ技術の効果を向上させるために、本願実施例による技術的解決策を使用して、スマート端末のＩＭＵおよびカメラを較正することができる。

【0159】

スマート端末のＩＭＵおよびカメラを較正する実現可能な方式において、モバイルスマート端末を介して較正パネルを撮影して、少なくとも六枚の画像および少なくとも６つのＩＭＵデータ（角速度と加速度を含む）を取得する。本願実施例による技術的解決策に基づいて、少なくとも六枚の画像および少なくとも６つのＩＭＵデータを利用して、スマート端末のカメラとスマート端末のＩＭＵとのポーズ変換関係を取得でき、本願実施例による技術的解決策に基づいて、少なくとも六枚の画像および少なくとも６つのＩＭＵデータを使用して、スマート端末のカメラとスマート端末のＩＭＵとのポーズ変換関係および時間偏差を取得できる。

【0160】

当業者は、具体的な実施形態の上記方法において、ステップの書き込み順序は、厳密な実行順序で、実装過程の制限となることではなく、各ステップの特定の実行順序は、その機能と可能性に基づくべきであることを理解することができる。

【0161】

以上は、本願実施例の方法を詳細に説明しており、以下は、本願実施例の装置を提供する。

【0162】

図１０を参照すると、図１０は、本願実施例による較正装置の例示的な構造図であり、当該較正装置１は、取得ユニット１１、第１処理ユニット１２と第２処理ユニット１３を備え、ここで、
取得ユニット１１は、イメージング機器の少なくとも２つのポーズを取得し、および慣性センサの少なくとも２つの第１サンプリングデータを取得するように構成され、
第１処理ユニット１２は、前記少なくとも２つのポーズに対してスプラインフィッティング処理を実行して第１スプライン曲線を取得し、前記少なくとも２つの第１サンプリングデータに対してスプラインフィッティング処理を実行して第２スプライン曲線を取得するように構成され、
第２処理ユニット１３は、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得するように構成され、前記時空間偏差は、ポーズ変換関係、サンプリング時間オフセットのうちの少なくとも１つを含む。

【0163】

本願任意の実施形態を参照して、前記時空間偏差は、ポーズ変換関係を含み、
前記取得ユニット１１は、さらに、前記第２処理ユニットが、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得する前に、プリセットの参照ポーズ変換関係を取得するように構成され、
前記第１処理ユニット１２は、さらに、前記参照ポーズ変換関係に従って、前記第２スプライン曲線を変換して、第３スプライン曲線を取得するように構成され、
前記第２処理ユニット１３は、前記第１スプライン曲線および前記第３スプライン曲線に従って、第１差を取得し、前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定するように構成される。

【0164】

本願任意の実施形態を参照して、前記時空間偏差は、さらに、サンプリング時間オフセットを含み、前記第１スプライン曲線における点は、すべて、タイムスタンプ情報を搬送し、
前記取得ユニット１１は、さらに、前記第１差が、第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定する前に、プリセットの第１時間オフセットを取得するように構成され、
前記第１処理ユニット１２は、前記第３スプライン曲線における点のタイムスタンプと前記第１時間オフセットを加算して、第４スプライン曲線を取得するように構成され、
前記第２処理ユニット１３は、前記第４スプライン曲線および前記第１スプライン曲線に従って、前記第１差を取得し、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定するように構成される。

【0165】

本願任意の実施形態を参照して、前記慣性センサは、慣性測定ユニットを含み、前記少なくとも２つのポーズは、少なくとも２つの姿勢を含み、前記少なくとも２つの第１サンプリングデータは、少なくとも２つの第１角速度を含み、
前記第１処理ユニット１２は、前記少なくとも２つの姿勢に従って、前記イメージング機器の少なくとも２つの第２角速度を取得し、前記少なくとも２つの第２角速度に対してスプラインフィッティング処理を実行して、前記第１スプライン曲線を取得し、前記少なくとも２つの第１角速度に対してスプラインフィッティング処理を実行して、前記第２スプライン曲線を取得するように構成される。

【0166】

本願任意の実施形態を参照して、前記少なくとも２つのポーズは、さらに、少なくとも２つの第１位置を含み、前記少なくとも２つの第１サンプリングデータは、さらに、少なくとも２つの第１加速度を含み、
前記第１処理ユニット１２は、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する前に、前記少なくとも２つの第１位置に従って、前記イメージング機器の少なくとも２つの第２加速度を取得し、前記少なくとも２つの第２加速度に対してスプラインフィッティング処理を実行して、第５スプライン曲線を取得し、前記少なくとも２つの第１加速度に対してスプラインフィッティング処理を実行して、第６スプライン曲線を取得するように構成され、
前記第２処理ユニット１３は、前記第５スプライン曲線および前記第６スプライン曲線に従って、第２差を取得し、前記第１差が、前記第１閾値より小さいか等しく、且つ、前記第２差が、第２閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定するように構成される。

【0167】

本願任意の実施形態を参照して、前記慣性センサは、慣性測定ユニットを含み、前記少なくとも２つのポーズは、少なくとも２つの第２位置を含み、前記少なくとも２つの第１サンプリングデータは、少なくとも２つの第３加速度を含み、
前記第１処理ユニット１２は、前記少なくとも２つの第２位置に従って、前記イメージング機器の少なくとも２つの第４加速度を取得し、前記少なくとも２つの第４加速度に対してスプラインフィッティング処理を実行して、前記第１スプライン曲線を取得し、前記少なくとも２つの第３加速度に対してスプラインフィッティング処理を実行して、前記第２スプライン曲線を取得するように構成される。

【0168】

本願任意の実施形態を参照して、前記少なくとも２つのポーズは、さらに、少なくとも２つの第２姿勢を含み、前記少なくとも２つの第１サンプリングデータは、さらに、少なくとも２つの第３角速度を含み、
前記第１処理ユニット１２は、前記第１差が、前記第１閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定する前に、前記少なくとも２つの第２姿勢に従って、前記イメージング機器の少なくとも２つの第４角速度を取得するように構成され、
前記第２処理ユニット１３は、前記少なくとも２つの第４角速度に対してスプラインフィッティング処理を実行して、第７スプライン曲線を取得し、前記少なくとも２つの第３角速度に対してスプラインフィッティング処理を実行して、第８スプライン曲線を取得し、前記第７スプライン曲線および前記第８スプライン曲線に従って、第３差を取得し、前記第１差が、前記第１閾値より小さいか等しく、且つ、前記第３差が、第３閾値より小さいか等しい場合、前記参照ポーズ変換関係が、前記イメージング機器と前記慣性センサとのポーズ変換関係であると決定し、前記第１時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定するように構成される。

【0169】

本願任意の実施形態を参照して、前記時空間偏差は、サンプリング時間オフセットを含み、
前記取得ユニット１１は、さらに、前記第１スプライン曲線および前記第２スプライン曲線に従って、前記イメージング機器と前記慣性センサとの時空間偏差を取得する前に、プリセットの第２時間オフセットを取得するように構成され、
前記第１処理ユニット１２は、さらに、前記第１スプライン曲線における点のタイムスタンプと前記第２時間オフセットを加算して、第９スプライン曲線を取得するように構成され、
前記第２処理ユニット１３は、前記第９スプライン曲線および前記第２スプライン曲線に従って、第４差を取得し、前記第４差が、第４閾値より小さいか等しい場合、前記第２時間オフセットが、前記イメージング機器と前記慣性センサとのサンプリング時間オフセットであると決定するように構成される。

【0170】

本願任意の実施形態を参照して、前記イメージング機器および前記慣性センサは、前記較正装置１に属し、
前記イメージング機器は、少なくとも２枚の画像を収集するように構成され、
前記慣性センサは、前記イメージング機器が、前記少なくとも２枚の画像を収集する過程で、少なくとも２つの第２サンプリングデータを取得するように構成され、
前記取得ユニット１１は、前記少なくとも２枚の画像、前記少なくとも２つの第２サンプリングデータおよび前記時空間偏差に従って、前記イメージング機器が画像を収集するときのポーズを取得するように構成される。

【0171】

【0172】

いくつかの実施例において、本発明の実施例による装置が備える機能またはモジュールは、上記の方法の実施例で説明される方法を実行するために使用され得、特定の実現は、上記の方法の実施例における説明を参照することができ、簡潔にするために、ここで再び説明しない。

【0173】

図１１は、本願実施例による電子機器のハードウェアの例示的な構造図である。図１１に示されたように、当該電子機器２は、プロセッサ２１とメモリ２２とを備え、前記メモリ２２は、コンピュータプログラムコードを記憶するように構成され、前記コンピュータプログラムコードは、コンピュータ命令を含み、前記プロセッサ２１が、前記コンピュータ命令を実行するとき、前記電子機器は、本願上記の任意の実施例に記載の較正方法を実行する。

【0174】

例示的に、電子機器２は、さらに、入力装置２３と出力装置２４とを備えることができる。当該電子機器２内の各コンポーネントは、コネクタを介して結合され、当該コネクタは、各タイプのインターフェース、伝送線またはバスなどを含み、本願実施例は、これに対して限定しない。本願の各実施例において、結合は、直接接続または他の機器を介した間接接続を含む、特定の方式による相互連絡を指し、例えば、各タイプのインターフェース、伝送線、バスなどを介して接続できることを指すことを理解されたい。

【0175】

プロセッサ２１は、１つまたは複数のプロセッサを含み得、例えば、１つまたは複数の中央プロセッサ（ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を含み、プロセッサが１つのＣＰＵである場合、当該ＣＰＵは、シングルコアＣＰＵであってもよいし、マルチコアＣＰＵであってもよい。選択的に、プロセッサ２１は、複数のＧＰＵによって構成されるプロセッサグループであり得、複数のプロセッサ間は、１つまたは複数のバスを介して結合される。選択的に、当該プロセッサは、さらに、他のタイプのプロセッサなどであり得、本願実施例は限定しない。

【0176】

メモリ２２は、コンピュータプログラム命令を記憶するように構成でき、および本願技術案のプログラムコードを含む各タイプのコンピュータプログラムコードを実行するように構成される。例示的に、メモリは、ランダムアクセスメモリ（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、またはコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：ＣｏｍｐａｃｔＤｉｓｃＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）を含むが、これらに限定されなく、前記メモリは、関連する命令およびデータのために使用される。

【0177】

入力装置２３は、データおよび／または信号を入力するように構成され、および、出力装置２４は、データおよび／または信号を出力するように構成される。入力装置２３および出力装置２４は、独立したデバイスであってもいし、１つの体のデバイスであってもよい。

【0178】

理解され得るように、本願実施例において、メモリ２２は、関連する命令を記憶するように構成されるだけでなく、関連するデータを記憶するようにも構成でき、例えば、当該メモリ２２は、入力装置２３によって取得される第１サンプリングデータを記憶するように構成でき、または当該メモリ２２は、プロセッサ２１によって取得される時空間偏差などを記憶するように構成でき、本願実施例は、当該メモリで具体的に記憶されるデータに対して限定しない。

【0179】

図１１は、電子機器の簡潔の設計のみを示したことを理解されたい。実際の適用において、電子機器は、それぞれ、必要な他の素子を含み得、任意の数の入力／出力装置、プロセッサ、メモリなどを含むが、これらに限定されなく、本願実施例を実現できる電子機器は、すべて本願実施例の保護範囲に含まれる。

【0180】

本願実施例は、さらに、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムは、プログラム命令を含み、前記プログラム命令は、電子機器のプロセッサによって実行されるとき、前記プロセッサに本願上記の実施例のいずれか一項に記載の較正方法を実行させる。

【0181】

本願実施例は、さらに、プロセッサを提供し、前記プロセッサは、本願上記の実施例のいずれか一項に記載の較正方法を実行するように構成される。

【0182】

本願実施例は、さらに、命令を含むコンピュータプログラム製品を提供し、前記コンピュータプログラム製品がコンピュータで実行されるとき、前記コンピュータに本願上記の実施例のいずれか一項に記載の較正方法を実行させる。

【0183】

当業者なら自明であるが、本明細書で開示される実施例を参照して説明された各例のユニットおよびアルゴリズムステップは、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアの組み合わせによって実現できる。これらの機能がハードウェアの形で実行されるか、ソフトウェアの形で実行されるかは、技術的解決策の特定の用途および設計上の制約条件によって決定される。専門技術者は、各特定の用途に応じて異なる方法を使用して、説明された機能を実現してもよいが、このような実現は、本願の保護範囲を超えると見なされるべきではない。

【0184】

当業者なら理解できるが、説明の便宜および簡潔のために、上記に説明されるシステム、装置およびユニットの具体的な作業過程は、上記の方法の実施例における対応する過程を参照することができ、ここでは繰り返して説明しない。当業者は、本願各実施例の説明は、それぞれの重み付けがあり、説明の便宜上および簡潔さのために、同じまたは類似する部分は、異なる実施例では詳細に説明されていない可能性があり、そのため、ある実施例で説明されていないまたは詳細に説明されていない部分は、他の実施例の記載を参照できることを明確に理解することができ
本願によるいくつかの実施例において、開示されたシステム、装置および方法は、他の方法で実現できることを理解されたい。例えば、上記で説明された装置の実施例は、例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際の実現時には別の分割方法があり、例えば、複数のユニットまたはコンポーネントを別のシステムに統合または集積してもよく、一部の特徴を無視するか実行しなくてもよい。さらに、表示または議論される相互結合、または直接結合、または通信接続は、いくつかのインターフェースを使用して実現することができ、装置またはユニット間の間接結合または通信接続は、電気的または機械的な形であってもよく、他の形であってもよい。

【0185】

前記分離部品として説明されるユニットは、物理的に分離されいてもされなくてもよく、ユニットとして表示される部品は、物理的ユニットであってもなくてもよい。つまり、１箇所に配置されてもよく、複数のネットワークユニットに分散されてもよい。実際のニーズに従って、その中の一部またはすべてのユニットを選択して、本実施例の技術案の目的を実現することができる。

【0186】

さらに、本願の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、または各ユニットが、物理的に別々に存在してもよく、または２つまたは２つ以上のユニットが１つのユニットに統合されてもよい。

【0187】

前記実施例において、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組み合わせによって全体的または部分的に実現することができる。ソフトウェアを使用して実現する場合、コンピュータプログラム製品の形態で全体的または部分的に実現することができる。前記コンピュータプログラム製品は、１つまたは複数のコンピュータ命令を含む。コンピュータに前記コンピュータプログラム命令をロードして実行する場合、本願実施例に記載の過程または機能を全体的または部分的に生成する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラマブル装置であり得る。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されることができ、または前記コンピュータ可読記憶媒体を介して伝送されることができる。前記コンピュータ命令は、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（ＤＳＬ：ＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ））または無線（例えば、赤外線、無線、マイクロ波等）を介して、１つのＷｅｂサイト、コンピュータ、サーバまたはデータセンタから別のＷｅｂサイト、コンピュータ、サーバまたはデータセンタに伝送することができる。前記コンピュータ読み取り可能な記憶媒体は、コンピュータがアクセス可能ないずれの利用可能な媒体であり、または１つ以上の利用可能な媒体によって統合されたサーバ、データセンタなどのデータ記憶装置であることができる。前記利用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光学媒体（例えば、デジタル多用途ディスク（ＤＶＤ：ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ））、または半導体媒体（例えば、ソリッドステートハードディスク（ＳＳＤ：ＳｏｌｉｄＳｔａｔｅＤｉｓｋ））などであり得る。

【0188】

当業者なら自明であるか、前記実施例の方法の全部または一部の過程を実現し、当該過程は、コンピュータプログラムが関連するハードウェアを命令することにより完了でき、当該プログラムは、コンピュータ可読取記憶媒体に記憶でき、当該プログラムが実行されるとき、上記の各方法の実施例の過程を含み得る。前記記憶媒体は、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）またはランダムアクセスメモリ（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、磁気ディスクまたは光ディスク等のプログラムコードを記憶することができる様々な媒体を含む。

【図1】