特許 7210429 視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器、コンピュータ記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-13

(45)【発行日】2023-01-23

(54)【発明の名称】視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器、コンピュータ記憶媒体

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230116BHJP

   G05D 1/00 20060101ALI20230116BHJP

【ＦＩ】

G06T7/20 100

G05D1/00 Z

【請求項の数】 11

(21)【出願番号】P 2019229698

(22)【出願日】2019-12-19

(65)【公開番号】P2020107336

(43)【公開日】2020-07-09

【審査請求日】2019-12-19

【審判番号】

【審判請求日】2022-02-02

(31)【優先権主張番号】201811603305.6

(32)【優先日】2018-12-26

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】519197930

【氏名又は名称】達闥科技（北京）有限公司

【氏名又は名称原語表記】ＣＬＯＵＤＭＩＮＤＳ （ＢＥＩＪＩＮＧ） ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ４４９， ４ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｎｏ． ８５， Ｈｏｎｇ’ａｎ Ｒｏａｄ， Ｆａｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】崔華坤

(72)【発明者】

【氏名】王▲カイ▼

(72)【発明者】

【氏名】廉士国

【合議体】

【審判長】千葉 輝久

【審判官】木方 庸輔

【審判官】田中 啓介

(56)【参考文献】

【文献】米国特許第１０，１６２，３６２（ＵＳ，Ｂ２）

【文献】中国特許出願公開第１０８５９２９１９（ＣＮ，Ａ）

【文献】特開２０２０－０５７２６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 7/20 - 7/292,

G05D 1/00 - 1/12

(57)【特許請求の範囲】

【請求項1】

視覚的慣性オドメトリシステムのスライディングウインドウ内において、参照画像フレームを確定することと、
前記参照画像フレームの速度及び回転を修正することと、
最初画像フレームと修正後の参照画像フレームに基づいて、前記スライディングウインドウ内における前記参照画像フレームと前記最初画像フレーム以外の画像フレームに対して非線形最適化を行うことと、
を含み、
前記参照画像フレームは、前記スライディングウインドウ内の同じ画像フレームにおけるスライディングウインドウ内に入った時間が最も早い画像フレームであり、前記同じ画像フレームは、画像の内容が同じ画像フレームである、
ことを特徴とする視覚的慣性オドメトリシステムのロバストネスを向上させる方法。

【請求項2】

参照画像フレームを確定することは、
現画像フレームと前画像フレームの画像内容が同じであるか否かを判定し、前記現画像フレームと前記前画像フレームの画像内容が同じであれば、前記前画像フレームを前記参照画像フレームとして確定し、前記最初画像フレームを、周辺化を必要とする画像フレームとして確定することを含み、
前記現画像フレームは、前記スライディングウインドウ内の全ての画像フレームのうち前記スライディングウインドウに入った時間が最も遅い画像フレームであり、前記前画像フレームは、前記スライディングウインドウの全ての画像フレームのうち前記スライディングウインドウに入った時間が２番目に遅い画像フレームである、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記現画像フレームと前記前画像フレームが同じではなければ、前記前画像フレームを、周辺化を必要とする画像フレームとして確定し、その後、前記参照画像フレームを修正しないことを特徴とする請求項２に記載の方法。

【請求項4】

前記現画像フレームと前記前画像フレームの画像内容が同じであるか否かを判定することは、具体的には、
前記現画像フレームと前記前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さいか否かを判定し、前記現画像フレームと前記前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さくなければ、前記現画像フレームと前記前画像フレームが同じであると考えられ、前記現画像フレームと前記前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さければ、前記現画像フレームと前記前画像フレームが同じではないと考えられることであることを特徴とする請求項２または請求項３に記載の方法。

【請求項5】

前記参照画像フレームの速度及び回転を修正することは、具体的には、
参照画像フレームの速度を

に設定し、
参照画像フレームの回転を

に設定することであり、
ｂ_ｋは、ｋ番目の画像フレームの時刻におけるＩＭＵ局所座標系であり、ｗは、ワールド座標系であり、ｇ^ｗは、ワールド座標系における重力加速度であり、Δｔ_ｋは、ｋ番目の画像フレームからｋ＋１番目の画像フレームの時間間隔であり、

は、ＩＭＵ事前積分によるｋ番目の画像フレームからｋ＋１番目の画像フレームの速度変化量であることを特徴とする請求項１に記載の方法。

【請求項6】

前記スライディングウインドウ内における前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
前記周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、前記周辺化を必要とする画像フレームが前記最初画像フレームであれば、前記スライディングウインドウ内における前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、前記最初画像フレームを周辺化し、前記スライディングウインドウ内において前記参照画像フレームを前記最初画像フレームの参照画像フレームのフラグＮｕｍＮｅｅｄＦｉｘをＮｕｍＮｅｅｄＦｉｘ－１に修正することを含むことを特徴とする請求項２又は３に記載の方法。

【請求項7】

前記スライディングウインドウ内における前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
前記周辺化を必要とする画像フレームが前記最初画像フレームであるか否かを判定し、前記周辺化を必要とする画像フレームが前記最初画像フレームでなければ、前記スライディングウインドウ内において前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、前記前画像フレームを周辺化することを含むことを特徴とする請求項２又は３に記載の方法。

【請求項8】

前記スライディングウインドウにおける前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行う前に、さらに、
前記参照画像フレームが前記スライディングウインドウ内にあるか否かを判定し、前記参照画像フレームが前記スライディングウインドウ内になければ、前記スライディングウインドウにおけるすべての画像フレームに対して非線形最適化を行うことを含むことを特徴とする請求項１に記載の方法。

【請求項9】

視覚的慣性オドメトリシステムのスライディングウインドウ内において、参照画像フレームを確定するための参照画像フレーム確定モジュールと、
参照画像フレームの速度及び回転を修正するための参照画像フレーム修正モジュールと、
最初画像フレームと修正後の参照画像フレームに基づいて、前記スライディングウインドウ内における前記参照画像フレームと前記最初画像フレーム以外の画像フレームに対して非線形最適化を行うための非線形最適化モジュールと、
を含み、
前記参照画像フレームは、前記スライディングウインドウ内の同じ画像フレームにおけるスライディングウインドウ内に入った時間が最も早い画像フレームであり、前記同じ画像フレームは、画像の内容が同じ画像フレームであることを特徴とする視覚的慣性オドメトリシステムのロバストネスを向上させる装置。

【請求項10】

プロセッサ、メモリ、通信インタフェース及び通信バスを含み、前記プロセッサ、前記メモリ及び前記通信インタフェースは、前記通信バスにより、相互の通信を完了し、
前記メモリは少なくとも１つの実行可能なコマンドを記憶するために用いられ、前記実行可能なコマンドは前記プロセッサに請求項１から請求項８のいずれか一項に記載の視覚的慣性オドメトリシステムのロバストネスを向上させる方法に対応する操作を実行させることを特徴とするロボット。

【請求項11】

コンピュータ記憶媒体であって、前記コンピュータ記憶媒体には少なくとも１つの実行可能なコマンドが記憶されており、前記実行可能なコマンドはプロセッサに請求項１から請求項８のいずれか一項に記載の視覚的慣性オドメトリシステムのロバストネスを向上させる方法に対応する操作を実行させることを特徴とするコンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は視覚と慣性航法を融合させる位置推定とマッピングの同時実行の分野に関し、特に、視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器に関する。

【背景技術】

【0002】

位置推定とマッピングの同時実行システム（ＳＬＡＭ、Ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ、以下はＳＬＡＭと略称する）とは、ロボット、無人機、ＡＲ機器など、特定のセンサーが搭載される本体は、環境の先験的情報がない場合、移動中に環境のモデルを作成すると同時に、自己移動のプロセスを推定するものである。ＳＬＡＭにおけるセンサーは、視覚カメラ、ＩＭＵ、ＧＰＳ、レーザレーダなどであってもよいが、本明細書に説明されるセンサーは主に、視覚カメラ及びＩＭＵとされ、常に、このような視覚と慣性計測ユニットＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）との融合に基づくＳＬＡＭシステムは、ＶＩＮＳ（ｖｉｓｕａｌ－ｉｎｅｒｔｉａｌ ｓｙｓｔｅｍ）またはＶＩＯ（ｖｉｓｕａｌ－ｉｎｅｒｔｉａｌ ｏｄｏｍｅｔｒｙ）、即ち、視覚的慣性オドメトリシステムと呼ばれる。

【0003】

ＶＩＯは、視覚とＩＭＵの状態ベクトルを一体にして最適化するか否かによって、疎結合と密結合に分けられる。密結合の視覚的慣性オドメトリシステムでは、視覚が提供する再投影誤差である視覚的制約と、ＩＭＵが提供するフレーム間制約とを、１つの目的関数全体において最適化する。しかしながら、高速回転、高速移動、カメラが遮られたり、テクスチャがなかったりするなどの場合には、視覚的制約がなくなり、このような状況は、ＡＲ、ロボットなどにおいて、よく現れる。携帯電話などのＡＲ機器を例として、高速移動する場合は、移動ぼけなどの原因で、画像の品質上のぼけが生じ、この場合、このような画像上に視覚的特徴点の検出と追跡を行うことは現実に実施できなくなる。

【0004】

視覚的制約がなくなる場合、視覚的慣性オドメトリシステムの目的関数全体において、ＩＭＵ制約のみが機能し、また、ＩＭＵの累積誤差で、算出する状態ベクトルが誤ることになり、視覚的制約がなくなってから動かない場合でも、カメラ軌跡は依然としてある方向に沿って速くドリフトをする。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施例は、上記の課題に鑑みてなされたもので、上記の課題を解決する方法、装置、ロボット機器及びコンピュータ記憶媒体を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決すべく本発明の実施例が用いる１つの技術的解決手段として、視覚的慣性オドメトリシステムのロバストネスを向上させる方法が提供され、前記方法は、
参照画像フレームを確定することと、
前記参照画像フレームを修正することと、
最初画像フレームと修正後の参照画像フレームに基づいて、前記参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行うことと、を含む。

【0007】

前記参照画像フレームは同じフレームの前画像フレームである。

【0008】

参照画像フレームを確定することは、さらに、周辺化を必要とする画像フレームを確定することを含み、
現画像フレームに基づいて、最初画像フレームが周辺化を必要とする画像フレームであるか否かを判定することと、
イエスならば、最初画像フレームを、周辺化を必要とする画像フレームとして確定することと、
ノーならば、さらに現画像フレームと前画像フレームが同じであるか否かを判定し、同じであれば、前画像フレームを参照画像フレームとして確定し、最初画像フレームを、周辺化を必要とする画像フレームとして確定することと、
現画像フレームと前画像フレームが同じではなければ、前画像フレームを、周辺化を必要とする画像フレームとして確定し、その後、参照画像フレームを修正しないことと、を含む。

【0009】

現画像フレームと前画像フレームが同じであるか否かを判定こすることは、具体的には、
現画像フレームと前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さいか否かを判定し、小さくなければ、現画像フレームと前画像フレームが同じであると考えられ、小さければ、現画像フレームと前画像フレームが同じではないと考えられることである。

【0010】

参照画像フレームを修正することは、具体的には、参照画像フレームの速度及び回転を修正することである。

【0011】

【0012】

最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、最初画像フレームを周辺化し、参照画像フレームを最初画像フレームの方向へ１フレーム平行移動させることを含む。

【0013】

最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、ノーならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、前画像フレームを周辺化することを含む。

【0014】

参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行う前に、さらに、
前記参照画像フレームがスライディングウインドウ内にあるか否かW判定し、なければ、すべてのフレームに対して非線形最適化を行うこと含む。

【0015】

本発明の実施例はさらに、視覚的慣性オドメトリシステムのロバストネスを向上させる装置を提供し、前記装置は、
現在のスライディングウインドウ内の参照画像フレームを確定するための参照画像フレーム確定モジュールと、
参照画像フレームを修正するための参照画像フレーム修正モジュールと、
最初画像フレームと修正後の参照画像フレームに基づいて、前記参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行うための非線形最適化モジュールと、を含む。

【0016】

本発明の実施例はさらに、ロボットを提供し、前記ロボットは、プロセッサ、メモリ、通信インタフェース及び通信バスを含み、前記プロセッサ、前記メモリ及び前記通信インタフェースは、前記通信バスにより、相互の通信を完了する。

【0017】

前記メモリは少なくとも１つの実行可能なコマンドを記憶するために用いらえ、前記実行可能なコマンドは前記プロセッサに上記の実施例に記載の視覚的慣性オドメトリシステムのロバストネスを向上させる方法に対応する操作を実行させる。

【0018】

本発明の実施例はさらに、コンピュータ記憶媒体を提供し、前記記憶媒体には少なくとも１つの実行可能なコマンドが記憶されており、前記実行可能なコマンドはプロセッサに上記の方法の実施例に記載の視覚的慣性オドメトリシステムのロバストネスを向上させる方法に対応する操作を実行させる。

【発明の効果】

【0019】

以上から分かるように、本発明の実施例は、参照画像フレームを修正し、続いて参照画像フレームと最初画像フレームを固定し、新しい視覚的制約をシステムに導入し、従来の視覚的制約と慣性制約メカニズムを最適化することで、軌跡ドリフト問題をよく解決し、システムのロバストネスを顕著に向上させる。

【0020】

以上の説明は、本発明の技術的解決手段の概要に過ぎず、本発明の技術的解決手段をより明らかに理解するために、明細書の内容に従って実施してもよく、また、本発明の上記及び他の目的、特徴及び利点をより分かりやすくするために、以下は、特に本発明の具体的な実施例を挙げる。

【図面の簡単な説明】

【0021】

好適な実施例につていの詳細な説明により、他の利点及び有益な効果は当業者にとって明らかになる。図面は、好適な実施例を示すことを目的とするもので、本発明を限定するものではない。また、全体の図面において、同一の参照符号は同一の部材を示している。図面において、

【図1】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態１である。

【図2】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態２である。

【図3】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態３である。

【図4】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態４である。

【図5】本発明の実施例にて提供される視覚的慣性オドメトリシステムのロバストネスを向上させるフローチャート１である。

【図6】本発明の実施例にて提供される視覚的慣性オドメトリシステムのロバストネスを向上させるフローチャート２である。

【図7-1】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態５である。

【図7-2】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態６である。

【図7-3】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態７である。

【図7-4】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態８である。

【図8-1】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態９である。

【図8-2】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態１０である。

【図8-3】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態１１である。

【図9-1】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態１２である。

【図9-2】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態１３である。

【図9-3】本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態１４である。

【図10】本発明の実施例にて提供される視覚的慣性オドメトリシステムのロバストネスを向上させる装置である

【図11】本発明の実施例にて提供されるロボットの構造図である。

【発明を実施するための形態】

【0022】

以下、図面を参照して本開示の実施例についてより詳細に説明する。図面には、本開示の実施例が表示されているが、本開示は各種の形態で実現でき、ここで説明されている実施例に限定されるものではないことが理解されたい。逆に、本開示を深く理解し、本開示の範囲を当業者に完全に伝えることができるために、これらの実施例が提供される。

【0023】

本発明の実施例にて提供される技術的解決手段は、画像収集機器は、視覚的制約がなくなった後、動かない場合、新しい視覚的制約を追加し、静止画像フレームの回転行列を修正することにより、軌跡のドリフトを阻止することである。画像収集機器が高速移動した後に静止すると仮定し、且つ当該仮定が合理的であると考えられると、例えば、ＡＲにおいて、携帯電話を持って、急に別の方向に向かい、動かず観察することがあり、動いていない場合で操作を行う。

【0024】

【0025】

収集ポイントは高速回転中に、視覚的制約がなくなる場合があり、図２に示すように、Ｐ５は高速回転中に収集する画像であり、移動ぼけなどの問題で、視覚追跡が失敗して、視覚的制約がなくなる（図中の破線枠）。このとき、すべての状態ベクトルは、ＩＭＵ制約のみにより最適化され、アクティブウィンドウ内の画像フレーム数を一定に維持するために、最初画像フレームＰ０を周辺化する。

【0026】

収集ポイントが高速回転後に、急に静止する場合、画質が明瞭であるが、静止後の１番目の画像フレームＰ６は相変わらず回転中のぼけ画像Ｐ５の追跡に成功できないため、図３に示すように、視覚的制約を導入できないことになる。このとき、相変わらず最初画像フレームＰ１を周辺化する。このとき、回転中の計算のエラー状態が依然として修正できないため、Ｐ６は相変わらず問題がある。

【0027】

静止後の２番目の画像フレームＰ７がスライディングウインドウに入る場合、図４に示すように、Ｐ６の画像に類似して、視差量が小さすぎ、三角化を行うことができないため、相変わらず視覚的制約を導入できない。このとき、Ｐ６がＰ７の画像に似ているため、Ｐ６を周辺化することになる。このとき、そのまま静止していくと、軌跡の直線ドリフトが発生することになる。

【0028】

本発明の実施例は、静止後の画像の鮮明さを考慮し、且つオプティカルフローによる追跡の結果に基づいて、２つの画像フレームの間（Ｐ６とＰ７）の追跡マッチング関係を明らかに知ることができ、本発明の実施例は、この制約を目的関数全体に加えることで、回転中の純粋なＩＭＵ計算ミスに基づくプロセス量を修正し、位置姿勢のドリフト問題を解決することを提示する。

【0029】

図５に示すように、本発明の実施例にて提供される視覚的慣性オドメトリシステムのロバストネスを向上させる方法は、５０１～５０３を含む。

【0030】

５０１、参照画像フレームを確定する。

【0031】

本発明の実施例は相変わらずスライディングウインドウ内に最適化を行う方式を用い、新しい画像フレームがスライディングウインドウ内に入る場合、システムは現画像フレームと前画像フレームを比べ、参照画像フレームと周辺化を必要とする画像フレームを確定する。

【0032】

図４に示すように、０番目の画像フレームはＰ２であり、４番目の画像フレームＰ５はぼける動的フレームであり、５目の画像フレームＰ６は１番目の静止画像フレームである。Ｐ７がスライディングウインドウに入る場合、Ｐ７も静止画像フレームである。

【0033】

常に、Ｐ７がスライディングウインドウに入る場合、システムは、現画像フレームの追跡ポイントの数及び隣接する画像フレームの視差量に基づいて、周辺化を必要とする画像フレームを決定し、例えば、Ｐ７がスライディングウインドウに入る場合、Ｐ６とＰ７の視差量が小さければ、前画像フレームＰ６を周辺化する必要があり、前画像フレームが周辺化を必要とする画像フレームであると確定する。Ｐ６とＰ７の視差量が大きければ、Ｐ７が多くの代表的情報を有すると考えられ、最初画像フレームを選択して周辺化を行い、最初画像フレームが周辺化を必要とする画像フレームであると確定する。

【0034】

周辺化を必要とする画像フレームが前画像フレームであると仮定すると、システムはさらに、Ｐ７がＰ６と同じであるか否か、即ちＰ６のような静止画像フレームであるか否かを判定し、常に、現画像フレームと前画像フレームの追跡に成功するポイントの数がある閾値より大きいか否かに基づいて、判定する。予め設定された閾値より大きい場合は、現画像フレームと前画像フレームが同じであり、即ちカメラが静止状態にあると考えられる。

【0035】

現画像フレームと前画像フレームが同じである場合、システムは最初画像フレームを、周辺化を必要とする画像フレームとして確定する。現画像フレームと前画像フレームが同じではない場合、システムは前画像フレームを、周辺化を必要とする画像フレームとして確定する。

【0036】

既定では、システムは初期的参照画像フレームを設定することなく、即ちシステムに静止画像フレームがない場合、システムには参照画像フレームがなく、静止画像フレームが２つ以上ある場合だけで、システムは参照画像フレームを設定する。

【0037】

５０２、確定した参照画像フレームを修正する。

【0038】

現画像フレームと前画像フレームがすべて静止状態にあると判定する場合、静止後の画像の鮮明さを考慮し、オプティカルフローによる追跡の結果に基づいて、２つの画像フレームの間（Ｐ６とＰ７）の追跡マッチング関係を明らかに知ることができるが、従来のＶＩＯフレームワークはこのような制約を考慮しないに対して、このような制約を目的関数全体に加えることで、回転中の単純なＩＭＵ計算ミスに基づくプロセス量を修正し、位置姿勢のドリフト問題を解決するように、参照画像フレームの速度及び回転を修正してもよい。

【0039】

５０３、最初画像フレームと修正後の参照画像フレームに基づいて、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行う。

【0040】

システムは、修正後の参照画像フレームと最初画像フレームを固定するとともに、非線形最適化問題の解決のプロセスにおいて、この２つのフレームを最適化せず、修正後の参照画像フレームと最初画像フレームに基づいて、この２つのフレーム以外の他の画像フレームのみに対して非線形最適化問題を解決する。

【0041】

参照画像フレームを確定した後、システムは参照画像フレームがスライディングウインドウ内にあるかを判定し、なければ、通常の方式で非線形最適化問題を解決し、フレームごとに非線形最適化を行う。参照画像フレームがスライディングウインドウ内にある場合、システムは最初画像フレームＰ２と参照画像フレームＰ６を固定し、それらに対して非線形最適化を行わず、最初画像フレームＰ２と参照画像フレームＰ６以外の他の画像フレームのみに対して非線形最適化問題を解決する。

【0042】

さらに、周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、参照画像フレームを最初画像フレームの方向へ１フレーム平行移動させ、現在の参照画像フレームを、次の画像が来る時に、そのまま参照画像フレームとして保持する。周辺化を必要とする画像フレームが最初画像フレームではなく、前画像フレームであれば、非線形最適化を直接行い、即ち現在の静止画像フレームを、次の画像が来る時に、参照画像フレームとする。

【0043】

本発明の実施例は上記の方法により、参照画像フレームを修正し、続いて参照画像フレームと最初画像フレームを固定し、新しい視覚的制約をシステムに導入することで、従来の視覚的制約と慣性制約メカニズムを最適化し、軌跡のドリフト問題をよく解決し、システムのロバストネスを顕著に向上させる。

【0044】

本発明の別の実施例は、図６に示すように、詳細なフローチャートを提示する。図７－１のフレームモードに基づいて、詳細に説明すると仮定すると、図３中のＰ５フレームは動的フレームであり、Ｐ６は１番目の静止画像フレームである。スライディングウインドウの長さをＮ＝５、システムにおける最初画像フレームを０番目のフレームと仮定し、ＭａｒｇＦｌａｇが周辺化を必要とする画像フレームのフラグであり、ＯＬＤが最初画像フレームを代表し、ＳＥＣＯＮＤ＿ＮＥＷが前画像フレームを代表し、ＮｕｍＮｅｅｄＦｉｘが参照画像フレームのフラグであり、ＮｕｍＮｅｅｄＦｉｘの初期値が－１であるように設定する。

【0045】

６０１、スライディングウインドウに入る現画像フレームに対して、最初画像フレームを周辺化する必要があるか否かを判定する。

【0046】

常に、システムは、現画像フレームの追跡ポイントの数及び隣接するフレームの視差量に基づいて、周辺化を必要とする画像フレームを判定し、ここで、最初画像フレームを０目のフレーム、スライディングウインドウのフレームの総数をＮ＋１とすると、現画像フレームはＮ目のフレームであり、前画像フレームはＮ－１番目のフレームである。

【0047】

現画像フレームと前画像フレームの視差量が大きければ、現画像フレームが重要なフレームであると考えられ、最初画像フレームを周辺化する。

【0048】

現画像フレームと前画像フレームの視差量が小さければ、現画像フレームが前画像フレームに類似すると考えられ、前画像フレームを周辺化する。

【0049】

図３において、Ｐ５は動的フレームであり、Ｐ６は１番目の静止画像フレームであるため、Ｐ５とＰ６の視差量が大きく、周辺化を必要とする画像フレームは最初画像フレームＰ１である。

【0050】

図６に基づいて、ステップ６０５に進む。

【0051】

６０５、周辺化を必要とする画像フレームを最初画像フレームに設定する。

【0052】

ＭａｒｇＦｌａｇ＝ＯＬＤと設定し、ステップ６０７に進む。

【0053】

６０７、ＮｕｍＮｅｅｄＦｉｘが０より大きいか否かを判定する。

【0054】

システムの予め設定に基づいて、ＮｕｍＮｅｅｄＦｉｘの初期値は－１であり、したがって、ＮｕｍＮｅｅｄＦｉｘ＜０、ステップ６１１に進む。

【0055】

６１１、非線形最適化問題を解決する。

【0056】

修正後の参照画像フレームと最初画像フレームに基づいて、スライディングウインドウ内のすべてのフレームに対して非線形最適化を行う。

【0057】

６１２、ＭａｒｇＦｌａｇの値を判定する。

【0058】

ＭａｒｇＦｌａｇ＝＝ＯＬＤならば、最初画像フレームＰ１を周辺化する。

【0059】

ＭａｒｇＦｌａｇ＝＝ＳＥＣＯＮＤ＿ＮＥＷならば、前画像フレームを周辺化する。

【0060】

図３から分かるように、システムは最初画像フレームＰ１を周辺化する。続いて、システムは次のフレームの到来を継続的に監視する。

【0061】

図７－１に示すように、Ｐ７がスライディングウインドウに入ると仮定し、Ｐ７は静止画像フレームであり、Ｐ６とＰ７は同一の画像であると仮定する。システムは以下のフローを行う。

【0062】

６０１、最初画像フレームを周辺化するか否かを判定する。

【0063】

Ｐ６とＰ７は同様に静止画像フレームであり、両者の視差量が小さく、したがって、システムは、図７－１に示すように、前画像フレームを周辺化し、最初画像フレームを保存する必要があり、そして、ステップ６０２に進む。

【0064】

６０２、現画像フレームと前画像フレームの追跡に成功するポイントの数がある閾値より大きいか否かを判定する。

【0065】

現画像フレームと前画像フレームの追跡に成功するポイントの数に基づいて、Ｐ６とＰ７のフレームの違いを比較し、常に、９７％を閾値として設定し、２つのフレームの追跡に成功するポイントの数の割合が９７％より大きければ、２つの画像が同一の画像であると考えられ、ステップ６０４に進む。９７％より小さければ、２つの画像が完全に同じではないと考えられ、ステップ６０３に進む。

【0066】

６０４、ＭａｒｇＦｌａｇ＝ＯＬＤと設定する。

【0067】

Ｐ７とＰ６が２つの同一の画像である場合は、図７－２に示すように、周辺化を必要とする画像フレームを最初画像フレームに設定し、ＭａｒｇＦｌａｇ＝ＯＬＤと設定する。そして、ステップ６０６に進む。

【0068】

６０６、前画像フレームの速度及び回転を修正し、ＮｕｍＮｅｅｄＦｉｘをＮ－１に設定する。

【0069】

現画像フレームと前画像フレームがすべて静止状態にあると判定する場合、静止後の画像の鮮明さを考慮し、オプティカルフローによる追跡の結果に基づいて、２つのフレームの間（Ｐ６とＰ７）の追跡マッチング関係を明らかに知ることができるが、従来のＶＩＯフレームワークはこのような制約を考慮しないに対して、このような制約を目的関数全体に加えることで、回転中の純粋なＩＭＵ計算ミスに基づくプロセス量を修正し、これにより、位置姿勢のドリフト問題を解決する。

【0070】

画像が静止している場合、即ち２つの隣接するフレームの追跡ポイントの数がある閾値より大きいと、この２つのフレームの速度差がゼロになる。

【0071】

【0072】

【0073】

【0074】

【0075】

【0076】

【0077】

【0078】

【0079】

【0080】

６０７、参照画像フレームのフラグＮｕｍＮｅｅｄＦｉｘが０より大きいか否かを判定し、イエスならば、ステップ６０８に進み、ノーならば、６１１に進む。

【0081】

前のステップ６０７から分かるように、ＮｕｍＮｅｅｄＦｉｘ＝Ｎ－１、Ｎは５であり、こうすると、ＮｕｍＮｅｅｄＦｉｘ＝４、したがって、ＮｕｍＮｅｅｄＦｉｘ＞０、ステップ６０８に進む。

【0082】

６０８、最初画像フレームとＮｕｍＮｅｅｄＦｉｘ番目のフレームを固定する。

【0083】

即ち、最初画像フレームＰ２と参照画像フレームＰ６を固定し、前記固定とは、非線形最適化問題を解決する過程において、最初画像フレームと参照画像フレームに対して非線形最適化問題を解決せず、他の画像フレームのみに対して非線形最適化問題を解決することである。

【0084】

６０９、周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定する。

【0085】

即ち、ＭａｒｇＦｌａｇがＯＬＤに等しいか否かを判定し、等しければ、ステップ６１０に進み、等しくなければ、ステップ６１１に進む。

【0086】

ステップ６０４から分かるように、ＭａｒｇＦｌａｇ＝＝ＯＬＤ。

【0087】

６１０、参照画像フレームを最初画像フレームの方向へ１フレーム平行移動させる。

【0088】

即ち、参照画像フレームのフラグＮｕｍＮｅｅｄＦｉｘをＮｕｍＮｅｅｄＦｉｘ－１に修正し、即ち、ＮｕｍＮｅｅｄＦｉｘ＝３。

【0089】

６１１、非線形最適化問題を解決する。

【0090】

ステップ６０８において、最初画像フレームＰ２と参照画像フレームＰ６を固定し、即ち、非線形最適化問題の解決に参加させないため、システムは、修正後の参照画像フレームと最初画像フレームに基づいて、最初画像フレームＰ２と参照画像フレームＰ６以外のすべてのフレームのみに対して、非線形最適化問題を解決する。非線形最適化問題の解決の方式は従来の非線形最適化問題の解決の方式と同じであるため、ここでは説明を省略する。

【0091】

６１２、周辺化を必要とする画像フレームを判定し、最初画像フレームならば、ステップ６１４に進み、前画像フレームならば、６１３に進む。

【0092】

システムは、ＭａｒｇＦｌａｇの値を判定し、周辺化を必要とする画像フレームのフラグに基づいて、対応するフレームを周辺化する。

【0093】

６１３、ＭａｒｇＦｌａｇ＝＝ＳＥＣＯＮＤ＿ＮＥＷならば、前画像フレームを周辺化する。

【0094】

６１４、ＭａｒｇＦｌａｇ＝＝ＯＬＤならば、最初画像フレームＰ２を周辺化する。

【0095】

ステップ６０４から分かるように、システムはＭａｒｇＦｌａｇをＳＥＣＯＮＤ＿ＮＥＷからＯＬＤに修正し、したがって、ＭａｒｇＦｌａｇ＝ＯＬＤ、最初画像フレームＰ２を周辺化する。最終的に、最適化後のフレームの構造は図７－３に示すとおりであり、周辺化されるフレームはＰ２であり、最初画像フレームはＰ３であり、参照画像フレームはＰ６になり、また、Ｐ６は修正後のフレームであり、Ｐ６とＰ７との間の新しい制約の導入に成功する。

【0096】

システムはスライディングウインドウ内に入る新しいフレームを継続的に監視する。スライディングウインドウに入る後続フレームはすべてＰ７のような静止画像フレームであると仮定する場合、システムは最初画像フレームを絶えず周辺化し、前画像フレームを参照画像フレームとして継続的に修正し、最初画像フレームと前画像フレームを固定して、非線形最適化問題を解決し、最終的に、スライディングウインドウ内のすべてのフレームは、画像収集機器が再移動するか、または画像が変化するまで、修正後の静止画像フレームになる。

【0097】

画像収集機器が速い移動から遅い移動へ変化することで、画像が不鮮明になると仮定する場合、システムにとっては、前画像フレームを周辺化する必要があるが、実際に、２つのフレームは異なり、例えば、新しいフレームＰ１１がスライディングウインドウに入り、Ｐ１１の画像に微小な変化が生じると、システムは以下の操作を実行する。

【0098】

６０１、最初画像フレームを周辺化するか否かを判定する。

【0099】

Ｐ１１とＰ１０の２つのフレームの画像は微小な変化が生じるため、両者の視差量が小さく、したがって、システムは、図８－１に示すように、前画像フレームを周辺化し、最初画像フレームを保存し、ステップ６０２に進む。

【0100】

６０２、現画像フレームと前画像フレームの追跡に成功するポイントの数がある閾値より大きいか否かを判定する。

【0101】

Ｐ１１とＰ１０の違いを比較し、同様に、閾値を９７％とし、２つのフレームは微小な変化が生じるため、２つのフレームの追跡に成功するポイントの数が９７％より小さく、したがって、システムはＰ１０とＰ１１が異なると考えるため、カメラが完全に静止している状態にあると考えず、ステップ６０３に進む。

【0102】

６０３、周辺化を必要とする画像フレームを前画像フレームに設定する。

【0103】

図８－２に示すように、ＭａｒｇＦｌａｇをＳＥＣＯＮＤ＿ＮＥＷに設定し、ステップ６０７に進む。

【0104】

６０７、参照画像フレームのフラグＮｕｍＮｅｅｄＦｉｘが０より大きいか否かを判定し、イエスならば、ステップ６０８に進み、ノーならば、６１１に進む。

【0105】

以上から分かるように、前述した各画像フレームはいずれも静止画像フレームであるため、参照画像フレームをずっと前画像フレームにし、即ち、ＮｕｍＮｅｅｄＦｉｘ＝４、したがって、０より大きく、ステップ６０８に進む。

【0106】

６０８、最初画像フレーム０とＮｕｍＮｅｅｄＦｉｘ番目のフレームを固定する。

【0107】

即ち、最初画像フレームＰ６と参照画像フレームＰ９を固定し、前記固定とは、非線形最適化問題を解決する過程において、最初画像フレームと参照画像フレームに対して非線形最適化問題を解決せず、他の画像フレームのみに対して非線形最適化問題を解決することである。

【0108】

６０９、周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定する。

【0109】

ステップ６０３から分かるように、ＭａｒｇＦｌａｇ＝ＳＥＣＯＮＤ＿ＮＥＷ、最初画像フレームではなくステップ６１１に進む。

【0110】

６１１、非線形最適化問題を解決する。

【0111】

ステップ６０８において、最初画像フレームＰ６と参照画像フレームＰ９を固定し、即ち、非線形最適化問題の解決に参加させないため、システムは最初画像フレームＰ６と参照画像フレームＰ９以外のすべてのフレームのみに対して、非線形最適化問題を解決する。非線形最適化問題の解決の方式は従来の非線形最適化問題の解決の方式と同じであるため、ここでは説明を省略する。

【0112】

６１２、周辺化を必要とする画像フレームを判定し、最初画像フレームならば、ステップ６１４に進み、前画像フレームならば、６１３に進む。

【0113】

以上から、ＭａｒｇＦｌａｇ＝ＳＥＣＯＮＤ＿ＮＥＷが分かり、したがって、ステップ６１３に進む。

【0114】

６１３、ＭａｒｇＦｌａｇ＝＝ＳＥＣＯＮＤ＿ＮＥＷならば、前画像フレームを周辺化する。

【0115】

したがって、新しいフレームと前画像フレームは微小な違いがある場合、システムは、図８－３に示すように、最初画像フレームＰ６と参照画像フレームＰ９をそのまま維持し、前画像フレームＰ１０を周辺化する。システムはスライディングウインドウ内に入る他の画像フレームを継続的に監視し、微小な違いがあるフレームが継続的に入る場合、システムは、最初画像フレームＰ６と参照画像フレームＰ９をそのまま維持し、最も正確フレームを基にして最適化を行うように保持する。

【0116】

画像収集機器が移動し始めた後、スライディングウインドウに入る新しいフレームＰ１２が収集されると仮定すると、システムは以下の操作を行い、図９－１に示すように、Ｐ１２は正常な移動状態の移動フレームであり、具体的な実行プロセスは以下のとおりである。

【0117】

６０１、最初画像フレームを周辺化するか否かを判定する。

【0118】

Ｐ１２フレームは画像収集機器の移動状態で収集されるフレームであるため、それとＰ１１の視差量及び現画像フレームの追跡ポイントの数の差が大きく、システムは最初画像フレームＰ６を周辺化すると判定する。ステップ６０５に進む。

【0119】

６０５、ＭａｒｇＦｌａｇ＝ＯＬＤと設定する。

【0120】

周辺化を必要とする画像フレームを最初画像フレームに設定し、ＭａｒｇＦｌａｇ＝ＯＬＤと設定する。ステップ６０７に進む。

【0121】

６０７、参照画像フレームのフラグＮｕｍＮｅｅｄＦｉｘが０より大きいか否かを判定し、イエスならば、ステップ６０８に進み、ノーならば、６１１に進む。

【0122】

図８－３から分かるように、参照画像フレームはＰ９であり、即ち、ＮｕｍＮｅｅｄＦｉｘ＝４、したがって、ＮｕｍＮｅｅｄＦｉｘ＞０、６０８に進む。

【0123】

６０８、最初画像フレームとＮｕｍＮｅｅｄＦｉｘ番目のフレームを固定する。

【0124】

即ち、最初画像フレームＰ６とＰ９を固定し、その後、他の画像フレームのみに対して非線形最適化問題を解決する。

【0125】

６０９、ＭａｒｇＦｌａｇがＯＬＤに等しいか否かを判定する。

【0126】

図９－１から分かるように、周辺化を必要とする画像フレームは最初画像フレームであるため、ＭａｒｇＦｌａｇ＝＝ＯＬＤ、ステップ６１０に進む。

【0127】

６１０、参照画像フレームを最初画像フレームの方向へ１フレーム平行移動させる。

【0128】

即ち、参照画像フレームのフラグＮｕｍＮｅｅｄＦｉｘをＮｕｍＮｅｅｄＦｉｘ－１に修正し、即ち、ＮｕｍＮｅｅｄＦｉｘ＝３。

【0129】

６１１、非線形最適化問題を解決する。

【0130】

Ｐ６とＰ９以外の他の画像フレームに対して非線形最適化問題を解決する。

【0131】

６１２、周辺化を必要とする画像フレームを判定し、最初画像フレームならば、ステップ６１４に進み、前画像フレームならば、６１３に進む。

【0132】

以上から分かるように、ＭａｒｇＦｌａｇ＝ＯＬＤ、したがって、ステップ６１４に進む。

【0133】

６１４、ＭａｒｇＦｌａｇ＝＝ＯＬＤならば、最初画像フレームＰ６を周辺化する。

【0134】

図９－２に示すように、新しい移動フレームＰ１２がスライディングウインドウに入る場合、前画像フレームとの違いが大きいため、システムは最初画像フレームと参照画像フレームを固定し、そして、参照画像フレームは修正後の参照画像フレームであり、他の画像フレームのみに対して非線形最適化問題を解決すると同時に、最初画像フレームを周辺化する。即ち、Ｐ６フレームは周辺化され、最初画像フレームはＰ７になり、参照画像フレームは相変わらずＰ９であり、Ｐ１１とＰ１２の間の新しい制約の導入に成功する。

【0135】

システムはスライディングウインドウ内に入る新しいフレームを継続的に監視し、スライディングウインドウに入る後続のフレームは、Ｐ１２と同様に、異なる移動フレームであると仮定すると、システムは始終に参照画像フレームをＰ９に固定し、Ｐ９は修正後のフレームであり、そして、参照画像フレームがスライディングウインドウから出るまで、参照画像フレームを最初画像フレームの方向へ移動させるため、システムは正常な移動状態での視覚的制約に回復する。

【0136】

【0137】

上記の実施例により、静止画像フレーム間の追跡マッチング関係を利用し、新しい制約を導入し、参照画像フレームを修正し、そして、修正後の参照画像フレームに基づいて、回転中の純粋なＩＭＵ計算ミスに基づくプロセス量を修正することで、位置姿勢のドリフト問題を解決する。

【0138】

上記の実施例にて提供される視覚的慣性オドメトリシステムのロバストネスを向上させる方法を実行するために、本発明の実施例はさらに、視覚的慣性オドメトリシステムのロバストネスを向上させる装置１０を提供し、装置１０は、具体的に図１０に示すように、
現在のスライディングウインドウ内の参照画像フレームを確定するための参照画像フレーム確定モジュール１００２と、
参照画像フレームを修正するための参照画像フレーム修正モジュール１００３と、
最初画像フレームと修正後の参照画像フレームに基づいて、参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行うための非線形最適化モジュール１００４と、を含む。

【0139】

前記参照画像フレーム確定モジュールはさらに、同じフレームの前画像フレームを参照画像フレームとして確定するために用いられる。

【0140】

さらに、該装置はさらに、現画像フレームに基づいて、最初画像フレームが周辺化を必要とする画像フレームであるか否かを判定し、イエスならば、最初画像フレームを、周辺化を必要とする画像フレームとして確定し、ノーならば、さらに現画像フレームと前画像フレームが同じであるか否かを判定し、同じであれば、最初画像フレームを、周辺化を必要とする画像フレームとして確定し、同じではなければ、参照画像フレーム確定モジュールに前記前画像フレームを参照画像フレームとして確定すると通知するための周辺化を必要とする画像フレーム確定モジュール１００１を含む。周辺化を必要とする画像フレーム確定モジュールは現画像フレームと前画像フレームが同じであるか否かを判定することは、さらに、現画像フレームと前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さいか否かを判定し、小さくなければ、現画像フレームと前画像フレームが同じであると考えられ、小さければ、現画像フレームと前画像フレームが同じではないと考えられる。具体的な実行プロセスは上記の方法の実施例にて提供される方法と同じであるため、ここでは説明を省略する。

【0141】

【0142】

該装置はさらに、周辺化を必要とする画像フレームを周辺化するための周辺化モジュールを含む。

【0143】

前記周辺化を必要とする画像フレーム確定モジュールはさらに、周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、最初画像フレームを周辺化し、参照画像フレームを最初画像フレームの方向へ１フレーム平行移動させるために用いられる。

【0144】

前記非線形最適化モジュールはさらに、参照画像フレームがスライディングウインドウ内にあるか否かを判定し、あれば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うと同時に、周辺化モジュールに前画像フレームを周辺化する通知し、なければ、すべてのフレームに対して非線形最適化を行うために用いられる。

【0145】

前記周辺化モジュールは、ＭａｒｇＦｌａｇのフラグに基づいて、対応するフレームに対して周辺化処理を行う。

【0146】

本発明の実施例にて提供される視覚的慣性オドメトリシステムのロバストネスを向上させる装置により、静止画像フレーム間の追跡マッチング関係を利用し、新しい制約を導入し、参照画像フレームを修正しそして、修正後の参照画像フレームに基づいて、回転中の純粋なＩＭＵ計算ミスに基づくプロセス量を修正することで、位置姿勢のドリフト問題を解決する。

【0147】

本願の実施例は不揮発性コンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体には少なくとも１つの実行可能なコマンドが記憶されており、当該コンピュータ実行可能なコマンドは上記の任意の方法の実施例における視覚的慣性オドメトリシステムのロバストネスを向上させる方法を実行できる。

【0148】

図１１は本発明の実施例にて提供されるロボットの構造模式図であり、本発明の具体的な実施例はロボットの具体的な実施を限定しない。

【0149】

図１１に示すように、当該ロボット機器は、プロセッサ（ｐｒｏｃｅｓｓｏｒ）５０１、通信インタフェース（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｉｎｔｅｒｆａｃｅ）５０２、メモリ（ｍｅｍｏｒｙ）５０４及び通信バス５０３を含んでもよい。

【0150】

そのうち、
プロセッサ、通信インタフェース及びメモリは通信バスにより、相互の通信を完了する。
通信インタフェースは、クライアントまたは他のサーバなど、他の機器のネットワークエレメントと通信するために用いられる。

【0151】

プロセッサは、プログラム５０５を実行し、具体的には、上記の視覚的慣性オドメトリシステムのロバストネスを向上させる方法の実施例における関連するステップを実行するために用いられる。

【0152】

具体的には、プログラムは、プログラムコードを含んでもよく、当該プログラムコードはコンピュータ操作コマンドを含む。

【0153】

プロセッサは、中央処理装置ＣＰＵ、特定用途向け集積回路ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、または、１つ若しくは複数の本発明の実施例を実施する集積回路のように配置されるものを含んでもよい。ロボットは１つまたは複数のプロセッサを含み、同一のタイプのプロセッサとしてもよく、例えば、１つまたは複数のＣＰＵが挙げられ、異なるタイプのプロセッサとしてもよく、例えば、１つまたは複数のＣＰＵ及び１つまたは複数のＡＳＩＣが挙げられる。

【0154】

メモリはプログラム４１０を記憶するために用いられる。メモリは、高速のＲＡＭメモリを含む可能性があり、また、例えば、少なくとも１つの磁気ディスクメモリのような不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）を含む可能性がある。

【0155】

プログラムは、具体的には、プロセッサに以下の操作を実行させるために用いられる。
参照画像フレームを確定し、
前記参照画像フレームを修正し、
参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行う。

【0156】

さらに、前記プログラムはさらに、プロセッサが以下の操作を実行するように制御してもよい。
同じフレームの前画像フレームを参照画像フレームとして確定する。

【0157】

さらに、周辺化を必要とする画像フレームを確定することは、
現画像フレームに基づいて、最初画像フレームが周辺化を必要とする画像フレームであるか否かを判定することと、
イエスならば、最初画像フレームを、周辺化を必要とする画像フレームとして確定することと、
ノーならば、さらに現画像フレームと前画像フレームが同じであるか否かを判定し、同じであれば、前画像フレームを参照画像フレームとして確定し、最初画像フレームを、周辺化を必要とする画像フレームとして確定し、現画像フレームと前画像フレームが同じではなければ、前画像フレームを、周辺化を必要とする画像フレームとして確定し、その後、参照画像フレームを修正しないことと、を含む。

【0158】

現画像フレームと前画像フレームが同じであるか否かを判定することは、具体的に、
現画像フレームと前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さいか否かを判定し、小さくなければ、現画像フレームと前画像フレームが同じであると考えられ、小さければ、現画像フレームと前画像フレームが同じではないと考えられることである。

【0159】

【0160】

最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、最初画像フレームを周辺化し、参照画像フレームを最初画像フレームの方向へ１フレーム平行移動させることを含む。

【0161】

最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、前画像フレームを周辺化することを含む。

【0162】

最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行う前に、さらに、
前記参照画像フレームがスライディングウインドウ内にあるか否かを判定し、なければ、すべてのフレームに対して非線形最適化を行うことを含む。

【0163】

ここにて提供されるアルゴリズム及び表示は、いかなる特定のコンピュータ、仮想システムまたは他の機器と本質的に関係がない。各種の汎用システムもここに基づく教示とともに用いてもよい。以上の説明に基づいて、このようなシステムに要求される構造の構築が明らかである。また、本発明はいかなる特定のブログラミング言語に対するものではない。各種のブログラミング言語を用いて、ここで説明されている本発明の内容を実現することができ、また、以上の特定の言語に対する説明は本発明を開示するための最適な実施例であることが理解されたい。

【0164】

ここにて提供される明細書は、大量の詳細を説明するが、本発明の実施例は、これらの詳細がなくても実施できることが理解されたい。いくつかの実施例では、本明細書を鮮明に理解するために、公知の方法、構造及び技術が詳細に示されない。

【0165】

同様に、本開示を簡素化し、発明態様の１つまたは複数を分かりやすくするために、以上の本発明の実施例についての説明において、本発明の各特徴は、単一の実施例、図面、またはその説明にグループ化されることがあるが、当該開示の方法については、保護を請求する本発明は各請求項に明確に記載の特徴よりも多くの特徴を請求すると意図するように解釈すべきではない。具体的には、特許請求の範囲に示されるように、発明の態様は、前に開示された単一の実施例のすべての特徴より少ない。したがって、具体的な実施例に従う特許請求の範囲は、これにより、当該具体的な実施例に明らかに組み込まれ、各請求項は本発明の単独な実施例とする。

【0166】

当業者ならば理解できるように、実施例に係る機器におけるモジュールを自己適応的に変更して、当該実施例と異なる１つまたは複数の機器に設置してもよい。実施例におけるモジュール、ユニットまたはアセンブリを１つのモジュール、ユニットまたはアセンブリに組み合わせてもよいし、複数のサブモジュール、サブユニットまたはサブアセンブリに分割してもよい。特徴及び／又はプロセス、またはユニットにおける少なくとも一部が相互に排他的である以外、あらゆる組み合わせで、本明細書（添付する特許請求の範囲、要約及び図面を含む）にて開示されているすべての特徴及、及びこのように開示されるあらゆる方法または機器のすべてのプロセス若しくはユニットを組み合わせてもよい。明確に説明しない限り、本明細書（添付する特許請求の範囲、要約及び図面を含む）にて開示されている各特徴は、同じ、同等または類似の目的を提供する置換特徴で置換してもよい。

【0167】

また、当業者ならば理解できるように、ここに記載のいくつかの実施例は、他の特徴ではなく、他の実施例に含まれるいくつかの特徴を含むが、異なる実施例の特徴の組み合わせは、本発明の範囲にあるとともに、異なる実施例を形成すると意味している。例えば、特許請求の範囲において、保護を請求する実施例のいずれか１つは、あらゆる組み合わせ方式により用いてもよい。

【0168】

本発明の各部材の実施例は、ハードウェア、１つ若しくは複数のプロセッサで動作するソフトウェアモジュール、またはそれらの組み合わせにより実現できる。当業者ならば、実施中にマイクロプロセッサまたはデジタルシグナルプロセッサ（ＤＳＰ）を用いて、本発明の実施例によるメッセージポップアップウィンドウの表示装置における一部または全部の部材の一部または全部の機能を実現できることを理解すべきである。本発明はさらに、ここで説明されている方法の一部または全部を実行するための機器または装置プログラム（例えば、コンピュータプログラム及びコンピュータプログラム製品）として実現できる。このように本発明を実現するプログラムは、コンピュータ可読媒体に記憶されてもよいし、１つまたは複数の信号の態様を有してもよい。このような信号はインターネットウェッブからダウンロードして得てもよいし、キャリア信号上で、または任意の他の態様で提供してもよい。

【0169】

ただし、上記の実施例は本発明を説明するもので、本発明を限定するものではなく、当業者は添付する特許請求の範囲から逸脱せず、変形例を設計することができる。特許請求の範囲では、括弧にあるあらゆる参照符号は特許請求の範囲を限定するものではない。単語の「含む」は特許請求の範囲に挙げられない素子またはステップの存在を排除しない。素子の前の単語の「１」または「１つ」はこのような複数の素子の存在を排除しない。本発明は異なる複数の素子を含むハードウェア及び適当にプログラミングするコンピュータにより実現できる。複数の装置のユニットが挙げられる特許請求の範囲では、これらの装置のうち複数は同一のハードウェアにより具体的に実現してもよい。単語の「第１」、「第２」及び「第３」などは順序を表すものではない。これらの単語を名称として解釈してもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7-1】

【図7-2】

【図7-3】

【図7-4】

【図8-1】

【図8-2】

【図8-3】

【図9-1】

【図9-2】

【図9-3】

【図10】

【図11】