特許 7026819 カメラの位置決め方法および装置、端末並びにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-17

(45)【発行日】2022-02-28

(54)【発明の名称】カメラの位置決め方法および装置、端末並びにコンピュータプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220218BHJP

【ＦＩ】

G06T7/70 A

【請求項の数】 16

(21)【出願番号】P 2020552267

(86)(22)【出願日】2019-05-07

(65)【公表番号】

(43)【公表日】2021-08-19

(86)【国際出願番号】 CN2019085746

(87)【国際公開番号】W WO2019242418

(87)【国際公開日】2019-12-26

【審査請求日】2020-11-05

(31)【優先権主張番号】201810630115.7

(32)【優先日】2018-06-19

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】チェン，チャオ

(72)【発明者】

【氏名】ウ，ウエイ

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１６－１６７６８８（ＪＰ，Ａ）

【文献】中国特許出願公開第１０５４６９４０５（ＣＮ，Ａ）

【文献】中国特許出願公開第１０３６４６３９１（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１６／０１２５８８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

端末が実行するカメラの位置決め方法であって、
前記端末が、目標環境の環境マップを取得するステップであって、前記環境マップは、前記目標環境における複数の特徴点の位置情報および前記複数の特徴点の視角領域情報を含み、前記特徴点の視角領域情報は、前記目標環境内で前記特徴点を観察できる視角領域を示す、ステップと、
前記端末が、カメラが目標画像を撮影する前に履歴画像を撮影した時の前記カメラの位置情報に基づき、前記カメラが前記目標画像を撮影する時の位置を予測して、前記カメラの予測位置情報を取得するステップと、
前記端末が、前記カメラの予測位置情報、前記環境マップにおける各特徴点の位置情報および各特徴点の視角領域情報に基づき、前記環境マップにおける、前記カメラが現在観察できない特徴点をフィルタリングアウトするステップと、
前記端末が、前記目標画像における特徴点と前記環境マップにおけるフィルタリングアウト後の残りの特徴点とのマッチングを実行して、特徴点対応関係を取得し、該特徴点対応関係に基づき、前記カメラの位置情報を決定するステップであって、該特徴点対応関係は、前記目標画像における特徴点と、マッチングした特徴点との間の対応関係を含む、ステップとを含むことを特徴とする、カメラの位置決め方法。

【請求項2】

前記端末が、前記カメラが目標画像を撮影する前に履歴画像を撮影した時の前記カメラの位置情報に基づき、前記カメラが前記目標画像を撮影する時の位置を予測して、前記カメラの予測位置情報を取得する前記ステップは、
前記端末が、前記カメラが前の１枚の画像を撮影する時の位置情報および前記カメラが時間的に隣接する任意の２枚の画像を撮影する時間間隔に基づき、等速モデルを使用して、前記カメラの予測位置情報を取得するステップ、または、
前記端末が、前記カメラが前記前の１枚の画像を撮影する時の位置情報、前記カメラが時間的に隣接する任意の２枚の画像を撮影する時間間隔およびセンサを介して検出した加速度に基づき、変速モデルを使用して、前記カメラの予測位置情報を取得するステップ、または、
前記端末が、前記カメラが前記前の１枚の画像を撮影する時から前記目標画像を撮影する時までのプロセスにおいて、前記前の１枚の画像における特徴点を追跡することにより、前記前の１枚の画像に対する前記目標画像の位置変化情報を取得し、前記カメラが前記前の１枚の画像を撮影する時の位置情報および前記前の１枚の画像に対する前記目標画像の位置変化情報に基づき、前記カメラの予測位置情報を取得するステップを含むことを特徴とする、
請求項１に記載のカメラの位置決め方法。

【請求項3】

前記方法は、
前記カメラを起動した場合に、または前記カメラが前記履歴画像を撮影した時の位置情報に基づき、前記カメラの予測位置情報を取得することができない場合に、前記端末が、前記目標画像の特徴点と前記環境マップにおける複数の特徴点とのマッチングを実行して、前記カメラの予測位置情報を取得するステップをさらに含むことを特徴とする、
請求項１または２に記載のカメラの位置決め方法。

【請求項4】

前記端末が、前記カメラの予測位置情報、前記環境マップにおける各特徴点の位置情報および各特徴点の視角領域情報に基づき、前記環境マップにおける、前記カメラが現在観察できない特徴点をフィルタリングアウトする前記ステップは、
前記環境マップにおける各特徴点に対して、前記カメラの予測位置情報に基づき前記カメラが前記特徴点の視角領域内に位置しないと決定する場合、前記端末が、前記特徴点をフィルタリングアウトするステップを含むことを特徴とする、
請求項１に記載のカメラの位置決め方法。

【請求項5】

前記端末が、前記目標環境の環境マップを取得する前記ステップは、
前記端末が、前記カメラが前記目標環境を撮影して取得した複数枚の原画像を取得し、前記複数枚の原画像に基づき標準画像を決定し、前記カメラが前記標準画像を撮影する時の位置情報を決定するステップと、
前記端末が、前記標準画像以外の任意の１枚の原画像に対して、該原画像における特徴点と前記標準画像における特徴点とのマッチングを実行して、特徴点対応関係を取得し、該特徴点対応関係および前記カメラが前記標準画像を撮影する時の位置情報に基づき、前記カメラが該原画像を撮影する時の位置情報を取得するステップであって、該特徴点対応関係は、該原画像における特徴点と、前記標準画像における一致する特徴点との間の対応関係を含む、ステップと、
前記端末が、前記カメラが前記原画像を撮影する時の前記位置情報に基づき、前記原画像における各特徴点の位置情報および各特徴点の視角領域情報を取得するステップと、
前記端末が、前記複数枚の原画像における各特徴点の位置情報および各特徴点の視角領域情報に基づき、前記環境マップを構築するステップとを含むことを特徴とする、
請求項１に記載のカメラの位置決め方法。

【請求項6】

前記端末が、前記カメラが前記原画像を撮影する時の前記位置情報に基づき、前記原画像における各特徴点の位置情報および各特徴点の視角領域情報を取得する前記ステップは、
前記端末が、前記原画像における任意の１つの指定された特徴点に対して、前記カメラが前記原画像を撮影する時の前記位置情報および前記原画像における前記指定された特徴点の深度に基づき、前記指定された特徴点の位置情報を取得するステップと、
前記端末が、前記指定された特徴点の位置情報および前記原画像における他の点の位置情報に基づき、前記指定された特徴点のプリセットの範囲内で平面推定を実行して、前記指定された特徴点を通過する少なくとも１つの平面を決定するステップと、
前記端末が、前記少なくとも１つの平面を介して、前記目標環境を分割して取得した第１連通領域および第２連通領域を決定し、前記第１連通領域および前記第２連通領域における前記カメラが位置する領域を、前記指定された特徴点を観察できる視角領域として決定し、前記視角領域情報を取得するステップとを含むことを特徴とする、
請求項５に記載のカメラの位置決め方法。

【請求項7】

前記端末が、前記指定された特徴点の位置情報および前記原画像における他の点の位置情報に基づき、前記指定された特徴点のプリセットの範囲内で平面推定を実行して、前記指定された特徴点を通過する少なくとも１つの平面を決定する前記ステップは、
前記端末が、前記指定された特徴点のプリセットの範囲内で少なくとも３つの特徴点を選択するステップであって、前記指定された特徴点は、前記少なくとも３つの特徴点で構成される多角形の内側に位置し、前記少なくとも３つの特徴点は、前記環境マップ内で同じ平面上に位置するが同じ直線上に位置しない、ステップと、
前記指定された特徴点と、前記少なくとも３つの特徴点が位置する前記平面との間の距離がプリセットの距離より小さい場合に、前記端末が、前記指定された特徴点が、前記少なくとも３つの特徴点が位置する前記平面上に位置すると決定するステップとを含むことを特徴とする、
請求項６に記載のカメラの位置決め方法。

【請求項8】

前記端末が、前記指定された特徴点の位置情報および前記原画像における他の点の位置情報に基づき、前記指定された特徴点のプリセットの範囲内で平面推定を実行し、前記指定された特徴点を通過する少なくとも１つの平面を決定する前記ステップは、
前記指定された特徴点と、前記少なくとも３つの特徴点が位置する前記平面との間の距離が前記プリセットの距離より小さくない場合に、前記端末が、前記プリセットの範囲内でエッジ検出を実行して、前記指定された特徴点を頂点とする少なくとも１つのエッジ線を取得し、前記プリセットの範囲内の少なくとも４つの特徴点を取得するステップと、
前記端末が、前記指定された特徴点を少なくとも２つの平面の交点として使用し、前記少なくとも１つのエッジ線を任意の２つの平面の交線として使用し、前記少なくとも４つの特徴点を前記少なくとも２つの平面上の点として使用して、前記少なくとも２つの平面を取得するステップとをさらに含むことを特徴とする、
請求項７に記載のカメラの位置決め方法。

【請求項9】

前記カメラは深度カメラであり、前記端末が、前記指定された特徴点の位置情報および前記原画像における他の点の位置情報に基づき、前記指定された特徴点のプリセットの範囲内で平面推定を実行して、前記指定された特徴点を通過する少なくとも１つの平面を決定する前記ステップは、
前記原画像における、前記指定された特徴点のプリセットの範囲内の複数の点の深度を取得し、前記原画像における各点の深度に基づき、少なくとも１つの平面を決定するステップであって、前記指定された特徴点は前記少なくとも１つの平面の各々上に位置し、前記指定された特徴点のプリセットの範囲内の点は、前記少なくとも１つの平面のうちの任意の１つまたは２つの平面上に位置する、ステップを含むことを特徴とする、
請求項６または７に記載のカメラの位置決め方法。

【請求項10】

カメラの位置決め装置であって、
目標環境の環境マップを取得するように構成されるマップ取得モジュールであって、前記環境マップは、前記目標環境における複数の特徴点の位置情報および前記複数の特徴点の視角領域情報を含み、前記特徴点の視角領域情報は、前記目標環境内で前記特徴点を観察できる視角領域を示す、マップ取得モジュールと、
カメラが目標画像を撮影する前に履歴画像を撮影した時の前記カメラの位置情報に基づき、前記カメラが前記目標画像を撮影する時の位置を予測して、前記カメラの予測位置情報を取得するように構成される位置予測モジュールと、
前記カメラの予測位置情報、前記環境マップにおける各特徴点の位置情報および各特徴点の視角領域情報に基づき、前記環境マップにおける、前記カメラが現在観察できない特徴点をフィルタリングアウトするように構成されるフィルタリングモジュールと、
前記目標画像における特徴点と前記環境マップにおけるフィルタリングアウト後の残りの特徴点とのマッチングを実行して、特徴点対応関係を取得し、該特徴点対応関係に基づき前記カメラの位置情報を決定するように構成される位置決めモジュールであって、該特徴点対応関係は、前記目標画像における特徴点と、マッチングした特徴点との間の対応関係を含む、位置決めモジュールとを備えることを特徴とする、カメラの位置決め装置。

【請求項11】

前記装置は、
前記カメラを起動した場合に、または前記カメラが前記履歴画像を撮影した時の位置情報に基づき前記カメラの予測位置情報を取得することができない場合に、前記目標画像の特徴点と前記環境マップにおける複数の特徴点とのマッチングを実行して、前記カメラの予測位置情報を取得するように構成される再位置決めモジュールをさらに備えることを特徴とする、
請求項１０に記載のカメラの位置決め装置。

【請求項12】

前記マップ取得モジュールは、
前記カメラが前記目標環境を撮影して取得した複数枚の原画像を取得し、前記複数枚の原画像に基づき標準画像を決定し、前記カメラが前記標準画像を撮影する時の位置情報を決定するように構成される標準決定ユニットと、
前記標準画像以外の任意の１枚の原画像に対して、該原画像における特徴点と前記標準画像における特徴点とのマッチングを実行して、特徴点対応関係を取得し、該特徴点対応関係および前記カメラが前記標準画像を撮影する時の位置情報に基づき、前記カメラが該原画像を撮影する時の位置情報を取得するように構成される位置取得ユニットであって、該特徴点対応関係は、該原画像における特徴点と、前記標準画像における一致する特徴点との間の対応関係を含む、位置取得ユニットと、
前記カメラが前記原画像を撮影する時の前記位置情報に基づき、前記原画像における各特徴点の位置情報および各特徴点の視角領域情報を取得するように構成される情報取得ユニットと、
前記複数枚の原画像における各特徴点の位置情報および各特徴点の視角領域情報に基づき、前記環境マップを構築するように構成されるマップ構築ユニットとを備えることを特徴とする、
請求項１０に記載のカメラの位置決め装置。

【請求項13】

前記情報取得ユニットは、さらに、
前記原画像における任意の１つの指定された特徴点に対して、前記カメラが前記原画像を撮影する時の前記位置情報および前記原画像における前記指定された特徴点の深度に基づき、前記指定された特徴点の位置情報を取得し、
前記指定された特徴点の位置情報および前記原画像における他の点の位置情報に基づき、前記指定された特徴点のプリセットの範囲内で平面推定を実行して、前記指定された特徴点を通過する少なくとも１つの平面を決定し、
前記少なくとも１つの平面を介して、前記目標環境を分割して取得した第１連通領域および第２連通領域を決定し、前記第１連通領域および前記第２連通領域における前記カメラが位置する領域を、前記指定された特徴点を観察できる視角領域として決定し、前記視角領域情報を取得するように構成されることを特徴とする、
請求項１２に記載のカメラの位置決め装置。

【請求項14】

前記カメラは深度カメラであり、前記情報取得ユニットは、さらに、前記原画像における、前記指定された特徴点のプリセットの範囲内の複数の点の深度を取得し、前記原画像における各点の深度に基づき、少なくとも１つの平面を決定するように構成され、前記指定された特徴点は前記少なくとも１つの平面の各々上に位置し、前記指定された特徴点のプリセットの範囲内の点は、前記少なくとも１つの平面のうちの任意の１つまたは２つの平面上に位置する、
請求項１３に記載のカメラの位置決め装置。

【請求項15】

端末であって、
前記端末は、プロセッサおよびメモリを備え、前記メモリは、コンピュータ読み取り可能な命令を記憶し、前記コンピュータ読み取り可能な命令が前記プロセッサによって実行されると、前記プロセッサが、請求項１ないし９のいずれか一項に記載のカメラの位置決め方法を実行する、端末。

【請求項16】

コンピュータプログラムであって、
コンピュータに、請求項１ないし９のいずれか一項に記載のカメラの位置決め方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１８年０６月１９日に中国特許局に提出された、出願番号が２０１８１０６３０１１５．７であり、発明の名称が「カメラの位置決め方法およびその、装置、端末並びに記憶媒体」である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれている。

【0002】

本発明の実施例は、コンピュータ技術分野、具体的に、カメラの位置決め方法および装置、端末並びに記憶媒体に関するものである。

【背景技術】

【0003】

視覚的の同時ローカリゼーションおよびマッピング（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ、ＳＬＡＭと略称）技術は、カメラを介して目標環境を観察して、環境マップの構築とカメラの位置決めを実現する技術であり、現在、コンピュータビジョン分野では、次第に人気のある研究の方向になっている。

【0004】

視覚的のＳＬＡＭ技術は、マップ構築段階および位置決め段階を含む。マップ構築段階では、カメラは、まず、目標環境の複数枚の画像を撮影し、各画像に対して特徴抽出を実行して各画像の特徴点を取得し、各画像における特徴点をマッチングして、相互に一致する特徴点間の位置変化に従って、各画像の位置情報および各画像における各特徴点の位置情報を決定し、それにより、環境マップを構築する。当該環境マップは、各特徴点の位置情報を含む。その後の位置決め段階では、カメラが目標環境における特定の位置に位置すると、目標環境を撮影して、目標画像を取得することができる。目標画像に対して特徴抽出を実行して目標画像における特徴点を取得し、目標画像における特徴点と環境マップにおける特徴点とのマッチングを実行して、一致する特徴点の位置情報に従ってカメラの位置情報を取得し、カメラの位置決めを実現する。

【0005】

ここで、マップ構築段階では、完全且つ包括的な環境マップを構築するために、目標環境の複数枚の画像を撮影する時に、目標環境における各位置に対して複数の異なる角度から撮影して、複数の視角からの複数枚の画像を取得することができ、それにより、複数の視角の特徴点を含む環境マップを構築する。それで、位置決め段階では、カメラの位置情報を取得するために、目標画像における特徴点と環境マップにおける複数の視角の特徴点の全てとのマッチングを実行する。

【0006】

しかしながら、実際には、カメラは１つの視角からのみ目標環境を撮影し、他の視角で観察できるが現在の視角で観察できない特徴点は、カメラにとって無効なものである。したがって、目標画像における特徴点と環境マップにおける複数の視角の特徴点の全てとのマッチングを実行する方式は、カメラの実際の撮影状況に適合せず、無効な計算が多数生成され、不正確なマッチングの可能性が高まる。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本願実施例は、カメラの位置決め方法および装置、端末並びに記憶媒体を開示する。

【課題を解決するための手段】

【0008】

端末が実行するカメラの位置決め方法を開示し、当該方法は、
目標環境の環境マップを取得するステップであって、前記環境マップは、前記目標環境における複数の特徴点の位置情報および前記複数の特徴点の視角領域情報を含み、前記特徴点の視角領域情報は、前記目標環境内で前記特徴点を観察できる視角領域を示す、ステップと、
カメラが目標画像を撮影する前に履歴画像を撮影した時の前記カメラの位置情報に従って、前記カメラが前記目標画像を撮影する時の位置を予測して、前記カメラの予測位置情報を取得するステップと、
前記カメラの予測位置情報、前記環境マップにおける各特徴点の位置情報および各特徴点の視角領域情報に従って、前記環境マップにおける、前記カメラが現在観察できない特徴点をフィルタリングアウトするステップと、
前記目標画像における特徴点と前記環境マップにおけるフィルタリングアウト後の残りの特徴点とのマッチングを実行して、特徴点対応関係を取得し、前記特徴点対応関係に従って前記カメラの位置情報を決定するステップであって、前記特徴点対応関係は、前記目標画像における特徴点と、マッチングした特徴点との間の対応関係を含む、ステップとを含む。

【0009】

カメラの位置決め装置を開示し、当該装置は、
目標環境の環境マップを取得するように構成されるマップ取得モジュールであって、前記環境マップは、前記目標環境における複数の特徴点の位置情報および前記複数の特徴点の視角領域情報を含み、前記特徴点の視角領域情報は、前記目標環境内で前記特徴点を観察できる視角領域を示す、マップ取得モジュールと、
カメラが目標画像を撮影する前に履歴画像を撮影した時の前記カメラの位置情報に従って、前記カメラが前記目標画像を撮影する時の位置を予測して、前記カメラの予測位置情報を取得するように構成される位置予測モジュールと、
前記カメラの予測位置情報、前記環境マップにおける各特徴点の位置情報および各特徴点の視角領域情報に従って、前記環境マップにおける、前記カメラが現在観察できない特徴点をフィルタリングアウトするように構成されるフィルタリングモジュールと、
前記目標画像における特徴点と前記環境マップにおけるフィルタリングアウト後の残りの特徴点とのマッチングを実行して、特徴点対応関係を取得し、前記特徴点対応関係に従って前記カメラの位置情報を決定するように構成される位置決めモジュールであって、前記特徴点対応関係は、前記目標画像における特徴点と、マッチングした特徴点との間の対応関係を含む、位置決めモジュールとを備える。

【0010】

端末を開示し、前記端末は、プロセッサおよびメモリを備え、前記メモリは、コンピュータ読み取り可能な命令を記憶し、前記コンピュータ読み取り可能な命令が前記プロセッサによって実行されると、前記プロセッサが、
目標環境の環境マップを取得するステップであって、前記環境マップは、前記目標環境における複数の特徴点の位置情報および前記複数の特徴点の視角領域情報を含み、前記特徴点の視角領域情報は、前記目標環境内で前記特徴点を観察できる視角領域を示す、ステップと、
カメラが目標画像を撮影する前に履歴画像を撮影した時の前記カメラの位置情報に従って、前記カメラが前記目標画像を撮影する時の位置を予測して、前記カメラの予測位置情報を取得するステップと、
前記カメラの予測位置情報、前記環境マップにおける各特徴点の位置情報および各特徴点の視角領域情報に従って、前記環境マップにおける、前記カメラが現在観察できない特徴点をフィルタリングアウトするステップと、
前記目標画像における特徴点と前記環境マップにおけるフィルタリングアウト後の残りの特徴点とのマッチングを実行して、特徴点対応関係を取得し、前記特徴点対応関係に従って前記カメラの位置情報を決定するステップであって、前記特徴点対応関係は、前記目標画像における特徴点と、マッチングした特徴点との間の対応関係を含む、ステップとを実行するようにすることを特徴とする。

【0011】

不揮発性コンピュータ読み取り可能な記憶媒体を開示し、当該不揮発性コンピュータ読み取り可能な記憶媒体は、コンピュータ読み取り可能な命令を記憶し、前記コンピュータ読み取り可能な命令が１つまたは複数のプロセッサによって実行される時に、前記１つまたは複数のプロセッサが、
目標環境の環境マップを取得するステップであって、前記環境マップは、前記目標環境における複数の特徴点の位置情報および前記複数の特徴点の視角領域情報を含み、前記特徴点の視角領域情報は、前記目標環境内で前記特徴点を観察できる視角領域を示す、ステップと、
カメラが目標画像を撮影する前に履歴画像を撮影した時の前記カメラの位置情報に従って、前記カメラが前記目標画像を撮影する時の位置を予測して、前記カメラの予測位置情報を取得するステップと、
前記カメラの予測位置情報、前記環境マップにおける各特徴点の位置情報および各特徴点の視角領域情報に従って、前記環境マップにおける、前記カメラが現在観察できない特徴点をフィルタリングアウトするステップと、
前記目標画像における特徴点と前記環境マップにおけるフィルタリングアウト後の残りの特徴点とのマッチングを実行して、特徴点対応関係を取得し、前記特徴点対応関係に従って前記カメラの位置情報を決定するステップであって、前記特徴点対応関係は、前記目標画像における特徴点と、マッチングした特徴点との間の対応関係を含む、ステップとを実行するようにする。

【0012】

本願の１つまたは複数の実施例の詳細は、以下の図面および説明で提案される。本願の他の特徴、目的および利点は、明細書、図面および特許請求の範囲から明らかになる。

【図面の簡単な説明】

【0013】

本願実施例の技術的解決策をより明確に説明するために、以下は、実施例の説明で使用される図面について簡単に紹介する。以下に説明される図面は、本開示のいくつかの実施例に過ぎず、当業者にとっては、創造的な作業なしに、これらの図面にしたがって他の図面を得ることもできることは自明である。

【図1】本願実施例で開示された特徴点の概略図である。

【図2】本願実施例で開示された別の特徴点の概略図である。

【図3A】本願実施例で開示された環境マップを構築する方法のフローチャートである。

【図3B】本願実施例で開示された原画像における任意の１つの指定された特徴点において、当該指定された特徴点の位置情報および視角領域情報を取得するプロセスのステップのフローチャートである。

【図4】本願実施例で開示された環境マップを構築する操作のフローチャートである。

【図5】本願実施例で開示された目標環境の平面図である。

【図6】本願実施例で開示された目標環境の側面図である。

【図7】本願実施例で開示された目標環境の平面図である。

【図8】本願実施例で開示された目標環境の側面図である。

【図9】本願実施例で開示されたカメラの位置決め方法のフローチャートである。

【図10】本願実施例で開示されたカメラの位置決め装置の概略的な構造図である。

【図11】本願実施例で開示された端末の概略的な構造図である。

【発明を実施するための形態】

【0014】

以下、本願実施例における図面を参照して、本願実施例における技術的解決策を明確且つ完全に説明するが、説明された実施例は、本願実施例の一部に過ぎず、実施例の全部ではないことは明らかであろう。本願実施例に基づき、創造的な努力なしに当業者が取得した他のすべての実施例は、本出願の保護範囲に含まれる。

【0015】

従来の技術案では、特徴に基づくマップの構築およびカメラの位置決め方法が提案され、マップ構築段階では、画像間の特徴点をマッチングして環境マップを構築する。位置決め段階では、カメラを介して現在の画像を撮影し、現在の画像における特徴点と環境マップにおける特徴点とのマッチングを実行して、カメラの位置決めを実現する。

【0016】

実際の応用では、同じ物体または同じシナリオを、異なる視角から観察すると異なる画面が見えるため、異なる特徴点を抽出する。したがって、環境マップの利用可能性を保証するために、同じ目標環境に対して、通常、複数の視角を含む環境マップを構築する必要がある。例えば、１つの廊下の環境マップを構築する時には、カメラを２つの反対する方向からそれぞれ１回ずつ回す必要がある。即ち、２つの異なる視角から当該廊下を観察し、それにより、構築した環境マップに、２つの異なる視角から観察した廊下の特徴点が含まれるように保証することができる。１つの方向からのみ廊下を観察すると、後続でカメラの位置決めを実行する時に、カメラが別の方向から通過する場合、観察される特徴点は異なり、以前に構築された環境マップに依存してカメラの位置決めを実行することは非常に難しく、最終的には位置決めの失敗につながる。

【0017】

図１に示されたように、カメラが左側から三角形の物体を観察する時、特徴点１、特徴点２、特徴点３などのＡ領域を見ることができ、カメラが右側から当該三角形の物体を観察する時には、特徴点３、特徴点４、特徴点５などのＣ領域、および特徴点５、特徴点６などのＢ領域を見ることができる。左側で観察した三角形物体のみに従って環境マップを構築すると、環境マップが特徴点１、特徴点２および特徴点３のみを含み、特徴点４、特徴点５および特徴点６を含まないことになり、カメラが三角形物体の右側に位置する場合、位置決めを実現することができない。

【0018】

環境マップの全体的な利用可能性を保証するために、カメラを介して異なる位置で目標環境を撮影すると、複数の視角の環境マップを構築することができるが、同時に、次の問題を引きおこす。カメラの位置決めを実行する時に、カメラは、実際に、１つの視角からのみ目標環境を撮影し、撮影する位置の多くの特徴点は現在の視角から撮影することができず、これらの特徴点はカメラにとって無効である。この場合、カメラで撮影された目標画像における特徴点と環境マップにおける全ての特徴点とのマッチングを実行すると、多数の無効な計算が生成し、不正確にマッチングする確率も増加させる。

【0019】

図２に示されたように、カメラが三角形物体の右側に移動する場合、特徴点３、特徴点４および特徴点５のみが観察され、特徴点１、特徴点２および特徴点６もカメラの近くにあるため、当該６つの特徴点の全てがマッチング計算に参加し、計算量を増やす。さらに、カメラが実際に撮影した目標画像は特徴点１、特徴点２および特徴点６を含まないため、目標画像を三角形物体近くの環境マップとマッチングする場合、マッチング結果が、目標画像と三角形物体が一致しないというものである可能性が大きいため、カメラの位置決めにエラーが発生する。

【0020】

従来の技術案で存在する技術的課題を解決するために、本願実施例は、カメラの位置決め方法を開示し、当該方法は、マップ構築段階で環境マップにおける各特徴点の位置情報および各特徴点の視角領域情報を決定することができ、視角領域情報で特徴点を観察できる領域を示す。位置決め段階では、先ず、カメラの大体位置を予測し、各特徴点の視角領域情報に従って、カメラが現在観察できない特徴点をフィルタリングアウト（除外）し、次にカメラで撮影された目標画像における特徴点と環境マップにおける残りの特徴点とのマッチングを実行し、それにより、カメラの位置を決定するため、計算量を減少させ、且つマッチングするための特徴点がカメラの実際の撮影状況に適合すると、不正確にマッチングする可能性を低下させ、位置決めの精度を向上させるのに相当する。

【0021】

本願で提案される「カメラ」は、画像収集機能を有する装置または機器を指し、画像を撮影するために使用されることができることを理解されたい。当該「カメラ」は、具体的に、画像を収集するために使用される専門的な画像収集機器であってもよく、端末によって構成された画像収集装置であってもよく、当該画像収集装置は、具体的に、カメラであってもよい。

【0022】

本願実施例は、カメラを備える端末が位置決めを実行する様々なシナリオに適用されることができる。例えば、物品を配達するシナリオでは、ユーザが、クライアントおよびサーバを介して配達ロボットに物品の配達タスクを配信し、当該物品の配達タスクには、物品の積み込み場所及び配達場所が含まれる。配達ロボットは、物品の配達タスクを受信した後に、先ず、本願実施例で開示された方法を使用して位置決めを実行し、次に現在の位置に従って、物品の積み込み場所および配達場所に対して経路企画を実行することができる。先ず、現在の位置から積み込み場所までのルートを計画し、次に、積み込み場所から配達場所までのルートを計画した後、計画したルートに従って移動する。移動中に配達ロボットはリアルタイムの位置決めも実行し、計画したルートの通りに進むことを保証し、ルートから逸脱しないようにするために、移動速度や移動方向を制御する。

【0023】

さらに例えば、仮想現実ゲームのシナリオでは、環境マップを構築することができ、当該環境マップは、実際のシーンのマップを含むだけでなく、仮想ペット、仮想クーポンなど、実際のシーンの特定の位置に追加された仮想要素をさらに含む。端末は、移動中に本願実施例で開示された方法を使用して位置決めを実行して、端末が現在位置する位置および端末の近くに設定された仮想要素を決定し、端末の表示インターフェースで現在撮影した実際のシーンの画像および近くに設定した仮想要素を表示し、仮想と現実を組み合わせた表示インターフェースを構成することができる。

【0024】

もちろん、本願実施例は、他のシナリオに適用することもでき、ここでは繰り返して説明しない。

【0025】

図３Ａは、本願実施例で開示された環境マップを構築する方法のフローチャートであり、図４は、本願実施例で開示された環境マップを構築する操作のフローチャートである。当該環境マップを構築する方法の実行主体を端末として、環境マップを構築するプロセスについて例を挙げて説明する。図３Ａおよび図４を参照すると、当該方法は、次のステップを含む。

【0026】

ステップＳ３０１において、端末は、カメラが目標環境を撮影して取得した複数枚の原画像を取得する。

【0027】

ここで、当該端末は、携帯電話、タブレットコンピュータ、ロボットおよびスマートカメラなどであってもよく、当該端末にはカメラが構成されて、カメラを介して現在位置する環境を撮影することができる。当該目標環境は、公園、建物、物品を格納する倉庫などの様々な環境であってもよい。目標環境の環境マップを構築する必要がある場合、端末は、目標環境内で移動し、カメラを介して目標環境を撮影することにより複数枚の原画像を取得することができる。

【0028】

当該複数枚の原画像の数は、環境マップの精度要求に従って決定することができる。且つ、目標環境における同じ位置に対して、複数の異なる視角から当該位置を撮影して、複数の視角の原画像を取得することができる。

【0029】

ステップＳ３０２において、端末は、複数枚の原画像に従って標準画像を決定し、カメラが標準画像を撮影する時のカメラの位置情報を決定する。

【0030】

端末は、標準画像およびカメラが標準画像を撮影する時の位置情報を決定し、後続のプロセスでは、端末は、標準画像を基準として、他の原画像と標準画像との間の位置差に従ってカメラが他の原画像を撮影する時の位置情報を決定することができる。

【0031】

一可能な実現形態において、当該端末は、カメラで撮影した最初の原画像を標準画像として決定し、カメラが標準画像を撮影する時のカメラの位置を原点位置として使用するなど、カメラが標準画像を撮影する時のカメラの位置情報を初期化して、環境座標系を作成することができ、即ち、標準画像の位置情報は

である。その後に撮影した各原画像のすべては、標準画像との間の位置差に従って位置決め情報を決定することができる。さらに、カメラが移動し続けることに伴い、撮影された原画像と標準画像の類似点はますます少なくなることを考慮すれば、１枚の原画像を再選択して更新後の標準画像として使用して、カメラが当該更新後の標準画像を撮影する時の位置情報を決定することができ、その後に撮影された各原画像の全ては、更新後の標準画像との位置差に従って位置決め情報を決定することができる。

【0032】

ステップＳ３０３において、標準画像以外の任意の１枚の原画像に対して、端末は、原画像における特徴点と標準画像における特徴点とのマッチングを実行して、特徴点対応関係を取得し、特徴点対応関係およびカメラが標準画像を撮影する時の位置情報に従って、カメラが原画像を撮影する時の位置情報を取得する。

【0033】

端末は、複数枚の原画像を取得した後に、各原画像に対して特徴抽出を実行して、原画像内の各原画像における特徴点の位置情報を決定し、各特徴点の記述子を決定し、記述子を使用して特徴点について説明することができる。例えば、端末は、加速分割テストの特徴（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ、ＦＡＳＴと略称）、コーナー検出アルゴリズム（Ｈａｒｒｉｓと略称）、加速ロバスト特徴（Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ、ＳＵＲＦと略称）、バイナリのロバスト不変性スケーラブルなキーポイント（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｖａｒｉａｎｔ Ｓｃａｌａｂｌｅ Ｋｅｙｐｏｉｎｔｓ、ＢＲＩＳＫと略称）、特徴点検出アルゴリズム（ＯＲＢと略称）などのアルゴリズムを使用して特徴点を抽出することができる。

【0034】

そして、標準画像を基準として、標準画像以外の任意の１枚の原画像のすべてに対して、原画像における特徴点と標準画像における特徴点とのマッチングを実行し、原画像における各特徴点および各特徴点が標準画像内で一致する特徴点に従って、特徴点対応関係を確立することができる。即ち、特徴点対応関係は、原画像における特徴点と標準画像における一致する特徴点との間の対応関係を含み、原画像と標準画像との間にペアで一致する特徴点ペアを生成することに相当する。

【0035】

ここで、特徴点のマッチングを実行する時に、距離測定基準に従って、原画像における各特徴点を標準画像における各特徴点とそれぞれペアで組み合わせて、各ペアにおける２つの特徴点の記述子間の距離を計算することができ、原画像における各特徴点に対して、標準画像における当該特徴点距離と最も近い特徴点を、当該特徴点の一致する特徴点として選択する。または、標準画像内で、当該特徴点との距離が最も短く且つプリセットの距離より小さい特徴点を、当該特徴点のマッチングする特徴点として選択し、それにより、原画像における特徴点と標準画像におけるマッチングする特徴点との間の対応関係を確立する。

【0036】

その後、当該特徴点対応関係および各特徴点の位置情報に従って、標準画像に対する原画像の位置変化情報を決定することができ、標準画像の位置情報および標準画像に対する原画像の位置変化情報に従って反復計算を実行すると、カメラが原画像を撮影する時のカメラの位置情報を取得することができる。

【0037】

例えば、画像１を標準画像として決定し、位置情報は

であり、その後、画像１との特徴点対応関係に従って、画像１に対する画像２の位置変化情報が

であり、画像１に対する画像３の位置変化情報が

であると決定した場合、画像２の位置情報

が

であることと、画像３の位置情報

が

であると決定することができる。この場合、画像３を２番目の標準画像に更新することができ、その後、画像３との特徴点対応関係に従って、画像３に対する画像４の位置変化情報が

であると決定した場合、画像４の位置情報は

である。

【0038】

一可能な実現形態において、回転と平行移動（並進）行列の形でカメラが任意の１つの画像を撮影する時のカメラの位置情報を示すことができ、端末は、標準画像の回転と平行移動行列を取得し、当該特徴点対応関係および各特徴点の位置情報に従って、標準画像に対する原画像の回転と平行移動行列を決定することができる。ここで、当該回転と平行移動行列は、標準画像に対する原画像の回転パラメータおよび変位パラメータを含み、標準画像の回転と平行移動行列および標準画像に対する原画像の回転と平行移動行列に対して反復計算を実行して、原画像の回転と平行移動行列を取得することができ、当該回転と平行移動行列における変位パラメータは、即ちカメラが原画像を撮影する時のカメラの位置情報である。

【0039】

別の可能な実施形態において、端末は、カメラが原画像を撮影する時のカメラの位置情報を取得した後に、原画像に存在する動的物体の特徴点またはマッチングできない特徴点など、原画像におけるノイズ特徴点を除去することもできる。

【0040】

例えば、カメラは、原画像を撮影する時に、目標環境を撮影するだけでなく、目標環境における動的物体を撮影することもできる。したがって、目標環境の環境マップを正確に構築するために、端末は、撮影した複数枚の原画像を分析して、任意の２つの原画像間の位置変化情報を取得し、当該任意の２つの原画像における特定の特徴点の実際の位置変化情報と当該任意の２つの原画像の位置変化情報が一致しない場合、カメラが当該任意の２つの原画像を撮影するプロセスにおいて、特徴点が位置する物体は、目標環境内で移動したため、当該特徴点が、目標環境自体の特徴点ではなく、動的物体の特徴点であると決定することができ、この場合、当該特徴点をフィルタリングアウトする。

【0041】

または、特定の特徴点が１枚の原画像で現れ、他の原画像では現れていない場合、当該特徴点に対してマッチングすることができないことを示し、１枚の原画像上の特徴点のみに従ってカメラの位置変化を予測することができず、カメラの位置決めを実現することもできないため、当該特徴点をフィルタリングアウトする。

【0042】

ステップＳ３０４において、端末は、カメラが原画像を撮影する時のカメラの位置情報に従って、原画像における各特徴点の位置情報および各特徴点の視角領域情報を取得する。

【0043】

図３Ｂを参照すると、原画像における任意の１つの指定された特徴点において、当該指定された特徴点の位置情報および視角領域情報を取得するプロセスは、次のステップＳ３０４１～Ｓ３０４２を含み得る。

【0044】

ステップＳ３０４１において、カメラが原画像を撮影する時のカメラの位置情報および原画像における指定された特徴点の深度に従って、指定された特徴点の位置情報を取得する。

【0045】

ここで、原画像における指定された特徴点の深度は、原画像を撮影する時のカメラと、指定された特徴点との間の距離を示すために使用され、当該指定された特徴点とカメラとの間の相対位置関係を示し、カメラが原画像を撮影する時の位置情報を決定した後に、カメラの位置情報および原画像における指定された特徴点の深度に従って、指定された特徴点の位置情報を取得することができる。

【0046】

ステップＳ３０４２において、指定された特徴点の位置情報および原画像における他の点の位置情報に従って、指定された特徴点のプリセットの範囲内で平面推定を実行して、指定された特徴点を通過する少なくとも１つの平面を決定する。

【0047】

実際の環境でのことを考慮すれば、１つまたは複数の表面で完全な物体を構成し、各表面が配置されている位置は、物体表面上の各特徴点の観察可能な領域に影響を与える。したがって、端末は、指定された特徴点に対して観察可能な領域の分析を実行する場合、指定された特徴点の位置情報および原画像における他の位置情報をまとめて考慮して、指定された特徴点のプリセットの範囲内で平面推定を実行して、指定された特徴点を通過する少なくとも１つの平面を決定し、このとき、当該少なくとも１つの平面が、特徴点が位置する物体の少なくとも１つの表面であると見なすことができ、少なくとも１つの平面の位置に従って、指定された特徴点を観察できる視角領域を決定する。

【0048】

ここで、当該プリセットの範囲を原画像において指定された特徴点が位置する位置に従って決定することができる。例えば、当該プリセットの範囲は、指定された特徴点を中心とし、且つ一定の距離を半径とする円形範囲であってもよく、または指定された特徴点を頂点として選択した複数の扇形領域で構成される範囲などであってもよい。

【0049】

ここで、平面推定を実行する時に、グレースケールのエッジ線分割アルゴリズムまたは深度マップのエッジ線分割アルゴリズムなどを採用して、少なくとも１つの平面の平面パラメータを予測することができる。

【0050】

一可能な実現形態において、端末は、指定された特徴点のプリセットの範囲内で少なくとも３つの特徴点を選択することができ、原画像において、指定された特徴点は、少なくとも３つの特徴点で構成された多角形の内側に位置し、当該少なくとも３つの特徴点は、環境マップ内で同じ平面上に位置するが同じ直線上に位置せず、指定された特徴点と、当該少なくとも３つの特徴点が位置する平面との間の距離を計算して、当該距離がプリセットの距離より小さいかどうかを判断する。指定された特徴点と当該平面との間の距離がプリセットの距離より小さい場合、指定された特徴点が当該少なくとも３つの特徴点が配置されている平面上に位置すると決定し、即ち、１つの平面のみが、指定された特徴点を通過する。

【0051】

ここで、プリセットの範囲内で特徴点を選択する時に、指定された特徴点を頂点とする少なくとも３つの扇形領域を決定し、各扇形領域から１つの指定された特徴点と最も近い特徴点を選択し、それにより、少なくとも３つの特徴点を選択することができる。

【0052】

図５は、本願実施例で開示された目標環境の平面図であり、図６は、本願実施例で開示された目標環境の側面図であり、図５および図６を参照すると、特徴点１は、視角分析を実行する特徴点であり、特徴点１の近くで特徴点２、特徴点３および特徴点４の３つの特徴点を選択し、当該３つの特徴点は、同じ直線上に位置せず、当該３つの特徴点に従って、１つの平面で、特徴点１と当該平面との間の距離が小さいことを予測することができ、したがって、特徴点１も当該平面上に位置すると決定することができる。

【0053】

指定された特徴点と当該平面との間の距離がプリセットの距離より小さくない場合、指定された特徴点が当該少なくとも３つの特徴点が位置する平面上に位置しないと決定し、プリセットの範囲内でエッジ検出を実行して、指定された特徴点を頂点とする少なくとも１つのエッジ線を取得し、プリセットの範囲内の少なくとも４つの特徴点を取得し、指定された特徴点を少なくとも２つの平面の交点として使用し、少なくとも１つのエッジ線を任意の２つの平面の交線として使用し、少なくとも４つの特徴点を少なくとも２つの平面上の点として使用することにより、当該少なくとも２つの平面を取得する。

【0054】

ここで、当該少なくとも４つの特徴点は、前に選択した少なくとも３つの特徴点を含むことができ、選択された他の少なくとも１つの特徴点を含むこともでき、当該少なくとも４つの特徴点が同じ直線上に位置せず且つ当該少なくとも４つの特徴点のいずれも当該少なくとも１つのエッジ線上に位置しないことを保証するのみで、当該指定された特徴点、当該少なくとも４つの特徴点および当該少なくとも１つのエッジ線に従って少なくとも２つの平面を決定することができる。

【0055】

図７は、本願実施例で開示された目標環境の平面図であり、図８は、本願実施例で開示された目標環境の側面図であり、図７および図８を参照すると、特徴点２、特徴点３および特徴点４は同じ平面上に位置し、特徴点１と当該平面との間の距離は大きいため、特徴点１が当該平面上に位置しないことを決定することができ、この場合、特徴点１の近くで特徴点５をさらに選択し、エッジ検出を実行して、特徴点１を通過する１つのエッジ線を取得し、５つの特徴点の位置および検出して取得したエッジ線に従って、２つの平面を決定することができ、ここで、特徴点１、特徴点２および特徴点３は１つの平面上に位置し、特徴点１、特徴点４および特徴点５は別の平面上に位置する。

【0056】

別の可能な実施形態において、端末に構成されたカメラが深度カメラである場合、当該深度カメラは、画像を撮影する時に、画像における各点の深度を取得することができ、指定された特徴点に対して、原画像における、指定された特徴点のプリセットの範囲内の複数の点の深度を取得し、取得した各点の原画像における深度に従って、目標環境における複数の特徴点の正確な位置を決定することができ、当該複数の特徴点の正確な位置に従って少なくとも１つの平面を構築して、指定された特徴点が少なくとも１つの平面の各々上に位置し、指定された特徴点のプリセットの範囲内の点が少なくとも１つの平面のうちの任意の１つまたは任意の２つの平面上に位置するようにする。ここで、プリセットの範囲内の複数の点は、原画像から抽出された特徴点を含むことができ、特徴点以外の他の点を含むこともできる。

【0057】

ステップＳ３０４３において、少なくとも１つの平面を介して、目標環境を分割して取得した第１連通領域および第２連通領域を決定し、第１連通領域および第２連通領域における前記カメラが位置する領域を、指定された特徴点を観察できる視角領域として決定し、視角領域情報を取得する。

【0058】

当該少なくとも１つの平面のうちの２つまたは複数の平面が交差する場合、例えば、１つの平面が、目標環境を上側と下側の２つの連通領域に分割し、２つの平面が、目標環境に対して二面角の内側および二面角の外側の２つの連通領域に分割するなど、目標環境を、第１連通領域および第２連通領域と称する２つの連通領域に分割することができる。３つの平面が目標環境を２つの連通領域に分割してもよい。

【0059】

第１連通領域および第２連通領域を決定した後に、カメラが原画像を撮影する時の位置情報に従って、カメラが第１連通領域に位置するか第２連通領域に位置するかを判断し、それにより、カメラが位置する領域を、指定された特徴点を観察できる視角領域として決定し、カメラが位置する領域情報を、指定された特徴点の視角領域情報として使用することができる。

【0060】

例えば、図６を参照すると、特徴点１は平面上に位置し、観察できる角度は１８０度であり、カメラが平面の上側領域に位置する場合、特徴点１を観察することができるが、平面の下側領域に位置する場合、特徴点１を観察することができない。さらに例えば、図８を参照すると、特徴点１は、２つの平面の交線上に位置し、点線で２つの平面の法線ベクトルの中心ベクトルを示すと、特徴点１の観察できる領域は、中心ベクトルを中心とし且つ角度がｗである領域であり、カメラが当該領域に位置する場合、特徴点１を観察することができ、当該領域に位置しない場合、特徴点１を観察することができない。

【0061】

ステップＳ３０５において、端末は、複数枚の原画像における各特徴点の位置情報および各特徴点の視角領域情報に従って、環境マップを構築し、環境マップは、複数の特徴点の位置情報および当該複数の特徴点の視角領域情報を含む。

【0062】

端末は、後続で、カメラが現在撮影した目標画像における特徴点と環境マップにおける特徴点とのマッチングを実行して、一致結果に従って、カメラの位置を決定し、カメラの位置決めを実現することができる。

【0063】

一可能な実現形態において、端末が各原画像の分析を完了して、特徴点の位置情報および視角領域情報を取得する場合、異なる画像におけるマッチングする特徴点の位置情報および視角領域情報を最適化して、全般的に一致する環境マップを取得することもできる。例えば、特定の画像における特徴点の位置情報と、他の複数枚の画像における一致する特徴点の位置情報に偏差がある場合、異なる画像間の位置変化情報と、異なる画像における一致する特徴点間の位置変化情報が一致することを保証するために、当該画像における特徴点の位置情報を補正することできる。

【0064】

本願実施例で開示された方法は、カメラが目標環境を撮影して取得した複数枚の原画像に従って、各原画像の位置情報を取得し、各原画像の位置情報に従って、各特徴点の位置情報および各特徴点の視角領域情報を取得することにより、複数の視角の環境マップを構築するだけでなく、視角領域情報で特徴点を観察できる領域を示すことができ、後続では、カメラの予測位置情報および特徴点の視角領域情報に従って、カメラが観察できない特徴点をフィルタリングアウトすることにより、計算量が減少され、位置決めの精度が向上される。

【0065】

図９は、本願実施例で開示されたカメラの位置決め方法のフローチャートであり、当該カメラの位置決め方法の実行主体を端末として、カメラが目標環境内で移動する時に位置決めを実行するプロセスについて例を挙げて説明する。図９を参照すると、当該方法は、次のステップを含む。

【0066】

ステップＳ９０１において、端末が、目標環境の環境マップを取得する。

【0067】

ここで、当該環境マップは、目標環境における複数の特徴点の位置情報および当該複数の特徴点の視角領域情報を含み、当該特徴点の視角領域情報は、当該目標環境内で当該特徴点を観察できる視角領域を示す。

【0068】

環境マップを構築する具体的なプロセスは、上述の図３Ａに示された実施例を参照することができ、本願実施例は、ここで繰り返して説明しない。

【0069】

ステップＳ９０２において、端末が、カメラが目標画像を撮影する前に履歴画像を撮影した時の前記カメラの位置情報に従って、カメラが目標画像を撮影する時の位置を予測して、カメラの予測位置情報を取得する。

【0070】

本願実施例では、当該端末にはカメラが構成され、端末は、目標環境内で移動するプロセスにおいて、カメラを介して現在位置する目標環境を撮影し、１枚または複数枚の画像を取得することができる。

【0071】

ここで、履歴画像は、撮影時間が当該目標画像の撮影時間より前の撮影時間の画像である。本願実施例において、カメラが履歴画像を撮影する時の位置情報は、具体的に、カメラが特定の１枚の履歴画像を撮影する時の位置情報（カメラが目標画像を撮影する前に撮影した前の１枚の画像など）であってもよく、カメラが撮影した複数枚の履歴画像の位置情報に従って決定した総合的な位置情報であってもよい。本願実施例で開示された技術案において、カメラが履歴画像を撮影する時の位置情報に従って、カメラが目標画像を撮影する位置を予測する必要があるため、カメラが前の１枚の画像を撮影する時の位置情報または前のいくつかの履歴画像を撮影する時の位置情報に従って予測し、予測の精度が高いことを理解することができる。

【0072】

一実施例において、端末は、現在位置決めを実行する時に、カメラで現在撮影した画像を目標画像と称し、端末は、まず、カメラで目標画像の前に撮影した前の１枚の画像の位置情報に従って、カメラ（端末）の現在の位置を予測し、カメラの予測位置情報を取得し、この場合、端末は、しばらく、目標画像の特徴点を、環境マップにおける特徴点とマッチングしない。一実施例において、当該ステップＳ９０２は、ステップＡ、ステップＢおよびステップＣの任意の１つを含み得る。

【0073】

ステップＡにおいて、カメラが目標画像前の１枚の画像を撮影する時の位置情報およびカメラが時間的に隣接する任意の２枚の画像を撮影する時間間隔に従って、等速モデルを使用して、カメラの予測位置情報を取得する。

【0074】

具体的に、カメラは、固定した時間間隔を設定し、当該時間間隔ごとに１枚の画像を撮影し、それにより、複数枚の画像を撮影して取得することができる。ここで、時間的に隣接する任意の２枚の画像は、カメラで撮影された複数枚の画像のうち、時間的に隣接するいずれか２枚の画像を指し、当該２枚の画像の時間間隔は、カメラが設定した撮影の時間間隔と等しい。カメラが一定の速度で移動すると仮定する場合、等速モデルを取得することができ、当該等速モデルは、カメラが固定速度で移動するように設定し、当該固定速度は、端末によってデフォルトで設定するか、一般の人の歩行速度に従って設定することができる。そうすると、端末は、カメラで前の１枚の画像を撮影する時の位置情報を取得した後に、当該時間間隔に従って、等速モデルを使用して、当該時間間隔内のカメラの変位量を取得し、前の１枚の画像を撮影する時の位置情報および当該変位量に従って、カメラの予測位置情報を取得する。

【0075】

ステップＢにおいて、カメラが目標画像の前の１枚の画像を撮影する時の位置情報、カメラが時間的に隣接する任意の２枚の画像を撮影する時間間隔およびセンサを介して検出した加速度に従って、変速モデルを使用して、カメラの予測位置情報を取得する。

【0076】

カメラは、固定の時間間隔を設定して、当該時間間隔ごとに１枚の画像を撮影することにより、複数枚の画像を撮影して取得することができる。ここで、時間的に隣接する任意の２枚の画像は、カメラで撮影された複数枚の画像のうち、時間的に隣接する任意の２枚の画像を指し、当該２枚の画像の時間間隔は、カメラが設定した撮影の時間間隔と等しい。カメラが変速で移動すると仮定する場合、変速モデルを取得することができ、当該変速モデルは、カメラが一定の加速度に応じて移動するように設定して、入力された初期速度、加速度および時間間隔に応じて、当該時間間隔内のカメラの変位量を計算することができる。そうすると、カメラの移動に伴い、端末は、カメラで前の１枚の画像を撮影する時の位置情報および初期速度を取得した後に、構成されたセンサを介して加速度を検出し、カメラが前の１枚の画像を撮影する時の初期速度および加速度に従って、変速モデルを使用して、当該時間間隔内のカメラの変位量を取得し、カメラが前の１枚の画像を撮影する時の位置情報および当該変位量に従って、カメラの予測位置情報を取得する。

【0077】

ステップＣにおいて、カメラが前の１枚の画像を撮影する時から目標画像を撮影する時までのプロセスにおいて、端末は、前の１枚の画像における特徴点を追跡することにより、前の１枚の画像に対する目標画像の位置変化情報を取得し、カメラが前の１枚の画像を撮影する時の位置情報および前の１枚の画像に対する目標画像の位置変化情報に従って、カメラの予測位置情報を取得する。

【0078】

カメラが前の１枚の画像を撮影する時に、カメラが前の１枚の画像を撮影する時の位置情報を取得し、且つカメラが前の１枚の画像を撮影する時から目標画像を撮影する時までのプロセスにおいて、端末は、前の１枚の画像における特徴点を追跡し、特徴点の移動情報に従って、前の１枚の画像における目標画像の位置変化情報を取得することができ、カメラが前の１枚の画像を撮影する時の位置情報および前の１枚の画像に対する目標画像の位置変化情報に対して反復計算して、カメラの予測位置情報を取得する。

【0079】

ここで、追跡プロセスにおいて、端末は、オプティカルフローマッチングアルゴリズムを使用して特徴点の移動情報を取得し、当該移動情報に従って、前の１枚の画像に対する目標画像の位置情報を取得することができる。例えば、端末は、オプティカルフローマッチングアルゴリズムを使用して、複数の特徴点の移動情報を取得し、移動情報に従って、前の１枚の画像における当該複数の特徴点の位置情報および目標画像における当該複数の特徴点の位置情報を決定し、それにより、前の１枚の画像に対する目標画像の回転と平行移動行列を決定することができ、当該回転と平行移動行列における変位パラメータは、即ち、前の１枚の画像に対する目標画像の位置変化情報である。または端末は、他の追跡アルゴリズムを使用して、特徴点を追跡することもできる。

【0080】

さらに、カメラを起動した時に、端末は、カメラがその前に前の１枚の画像を撮影する時の位置情報を取得せず、または端末の位置変化が大きすぎると、目標画像と、その前に撮影した前の１枚の画像との差が大きすぎるようになるため、両者には、一致する特徴点がない。当該２つの状況では、目標画像の前に撮影した前の１枚の画像におけるカメラの位置情報に従って目標画像の予測位置情報を取得することができなくなり、この場合は再位置決めを実行し、目標画像の特徴点を環境マップにおける複数の特徴点とそれぞれマッチングし、目標画像の特徴点と最も一致する特徴点を選択し、選択された一致する特徴点が位置する位置に従って、目標画像の予測位置情報を最初に決定することができる。

【0081】

特徴点のマッチングを実行する時に、距離測定基準に従って、目標画像における各特徴点を環境マップにおける各特徴点とそれぞれペアで組み合わせて、各ペアにおける２つの特徴点の記述子間の距離を計算することができ、距離が小さいほど、２つの特徴点の記述子の差も小さく、同じ特徴点を有する可能性が高まる。目標画像における各特徴点において、環境マップ内で当該特徴点と距離が最も近い特徴点を、当該特徴点の一致する特徴点として選択する。または、環境マップにおける当該特徴点との距離が最も短く且つプリセットの距離より小さい特徴点を、当該特徴点の一致する特徴点として選択し、目標画像における複数の特徴点に対応する一致する特徴点の位置情報に従って、カメラの現在の予測位置情報を取得することができる。

【0082】

一可能な実現形態において、端末は、外部センサによって検出された地理情報を通じて、カメラが配置されている地理的領域を決定し、特徴のマッチングを１つの比較的小さな地理的領域に限定してから、カメラが配置されている地理的領域で特徴点のマッチングを実行することにより、カメラの当前の予測位置情報を取得することができる。ここで、当該外部センサは、端末に接続するワイヤレス・フィディリティ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、ＷＩＦＩと略称）機器、超広帯域（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ、ＵＷＢと略称）機器などであってもよく、外部センサが、その自体が位置する位置に従って地理位置情報を構成し、端末の移動に伴い、端末が外部センサの近くに位置する場合、外部センサに接続し、外部センサによって送信された地理位置情報を受信し、地理位置情報に従って、現在位置する地理的領域を決定することができる。

【0083】

一実施例において、端末が、他の履歴画像を撮影する時の位置情報（撮影目標画像の前にカメラで撮影した最後の２番目の画像など）に従って、カメラが目標画像を撮影する時の位置を予測して、カメラの予測位置情報を取得する具体的な実現形態は、前述した端末が、前の１枚の画像の位置情報に従って、カメラが目標画像を撮影する時の位置を予測して、カメラの予測位置情報を取得するステップの具体的な説明を参照することができ、ここでは繰り返して説明しない。ステップＳ９０３において、端末は、カメラの予測位置情報および環境マップにおける各特徴点の位置情報および各特徴点の視角領域情報に従って、カメラが現在観察できない特徴点をフィルタリングアウトする。

【0084】

特徴点の視角領域情報は、当該特徴点を観察できる視角領域を示し、カメラが特定の特徴点の視角領域内に位置する場合、当該特徴点を観察することができ、撮影した目標画像には、当該特徴点が含まれる可能性があり、カメラが特定の特徴点の視角領域に位置しない場合、当該特徴点とカメラの位置が遠く離れていなくても、カメラは、当該特徴点を観察することができず、撮影された目標画像にも当該特徴点が含まれない。

【0085】

したがって、計算量を減少させるために、環境マップにおける各特徴点に対して、端末は、カメラの予測位置情報および当該特徴点の視角領域情報に従って、カメラが特徴点の視角領域内に位置するかどうかを判断して、カメラが特徴点の視角領域内に位置すると決定した場合、当該特徴点を保留し、カメラが特徴点の視角領域内に位置しない場合、当該特徴点をフィルタリングアウトする。

【0086】

上述の方式を使用して、環境マップにおけるカメラが現在観察できない特徴点をフィルタリングアウトし、カメラが現在観察できる特徴点のみを保留することができる。

【0087】

ステップＳ９０４において、端末は、目標画像における特徴点と環境マップにおけるフィルタリングアウト後の残りの特徴点とのマッチングを実行して、特徴点対応関係を取得し、特徴点対応関係に従って、カメラの位置情報を取得し、特徴点対応関係は、目標画像における特徴点と、一致した特徴点との間の対応関係を含む。

【0088】

端末は、目標画像における各特徴点の記述子、および環境マップのフィルタリングアウト後の残りの各特徴点の記述子を取得し、目標画像における各特徴点を、環境マップのフィルタリングアウト後の残りの特徴点とそれぞれペアで組み合わせて、各ペアにおける２つの特徴点の記述子間の距離を計算することができ、距離が小さいほど、２つの特徴点の記述子の差も小さく、同じ特徴点を有する可能性が高まる。目標画像における各特徴点において、環境マップ内で当該特徴点と距離が最も近い特徴点を、マッチングする特徴点として選択する。または、環境マップ内で、当該特徴点との距離が最も短く且つプリセットの距離より小さい特徴点を、マッチングする特徴点として選択し、それにより、特徴点対応関係を確立する。

【0089】

その後、当該特徴点対応関係および環境マップの残りの各特徴点の位置情報に従って、カメラの位置情報を取得することができ、当該位置情報は、目標環境におけるカメラの現在の位置情報を示す。ここで、ｎ個の特徴点の透視（ＰｎＰと略称）アルゴリズムまたは他のアルゴリズムを使用してカメラの位置情報を取得することができる。

【0090】

カメラの位置情報を取得した後に、環境マップにおける位置を決定し、それにより、当該位置に基づいて対応する操作を実行することができる。例えば、物品を配達するシナリオでは、配達ロボットの現在の位置に従って、計画したルートから逸脱しているかどうかを判断し、配達ロボットが計画したルートから逸脱すると、配達ロボットの現在の位置および配達場に従って、ルートを再計画することができる。または、仮想現実ゲームのシナリオでは、端末の位置を決定した後に、ユーザと仮想要素とのインタラクションのために、端末の表示インターフェースで当該位置に設定された仮想要素を表示することができる。

【0091】

本願実施例で開示された方法は、目標環境の環境マップを取得することにより、当該環境マップには、複数の特徴点の位置情報および当該複数の特徴点の視角領域情報が含まれ、視角領域情報は、特徴点を観察できる視角領域を示す。まず、カメラが目標画像を撮影する前に前の１枚の画像を撮影する時の位置情報に従って、カメラが目標画像を撮影する時の位置を予測して、カメラの予測位置情報を取得し、カメラの予測位置情報、環境マップにおける各特徴点の位置情報および各特徴点の視角領域情報に従って、カメラが現在観察できない特徴点をフィルタリングアウトし、目標画像における特徴点を環境マップのフィルタリングアウト後の残りの特徴点とマッチングして、特徴点対応関係を取得し、それにより、カメラの位置情報を決定し、カメラの位置決めを実現して、計算量を減少させ、計算速度も速くなり、マッチングに使用される特徴点がカメラの実際の撮影状況に適合すると、マッチングが間違う可能性を低下させ、位置決めの精度およびマップ追跡のロバスト性を向上させるのに相当する。

【0092】

本願実施例は、ビジョン特徴視角領域に基づくＳＬＡＭ方法を開示し、位置決めとマッピングのロバスト性を大幅に向上させ、カメラの位置決めに確実な情報を提供し、ロボットナビゲーション、ゲームキャラクターの位置決め、ドローンの位置決め、水中ロボットの位置決めなどの様々なシナリオで幅広く適用され、システム全体の安定性が高まり、計算量が減少され、ハードウェア構成の要件が減らされて、コストが削減される。

【0093】

図１０は、本願実施例で開示されたカメラの位置決め装置の概略的な構造図である。図１０を参照すると、当該装置は、
目標環境の環境マップを取得するように構成されるマップ取得モジュール１００１であって、環境マップは、目標環境における複数の特徴点の位置情報および複数の特徴点の視角領域情報を含み、特徴点の視角領域情報は、目標環境内で特徴点を観察できる視角領域を示す、マップ取得モジュール１００１と、
カメラが目標画像を撮影する前に履歴画像を撮影した時の前記カメラの位置情報に従って、カメラが目標画像を撮影する時の位置を予測して、カメラの予測位置情報を取得するように構成される位置予測モジュール１００２と、カメラの予測位置情報、環境マップにおける各特徴点の位置情報および各特徴点の視角領域情報に従って、環境マップにおける、カメラが現在観察できない特徴点をフィルタリングアウトするように構成されるフィルタリングモジュール１００３と、目標画像における特徴点と環境マップにおけるフィルタリングアウト後の残りの特徴点とのマッチングを実行して、特徴点対応関係を取得し、特徴点対応関係に従ってカメラの位置情報を決定するように構成される位置決めモジュール１００４であって、特徴点対応関係は、目標画像における特徴点と、マッチングした特徴点との間の対応関係を含む、位置決めモジュールとを備える。

【0094】

一実施例において、位置予測モジュール１００２は、
カメラが前の１枚の画像を撮影する時の位置情報およびカメラが時間的に隣接する任意の２枚の画像を撮影する時間間隔に従って、等速モデルを使用して、カメラの予測位置情報を取得するように構成される第１予測ユニット、または、
カメラが前の１枚の画像を撮影する時の位置情報、カメラが時間的に隣接する任意の２枚の画像を撮影する時間間隔およびセンサを介して検出した加速度に従って、変速モデルを使用して、カメラの予測位置情報を取得するように構成される第２予測ユニット、または、
カメラが前の１枚の画像を撮影する時から目標画像を撮影する時までのプロセスにおいて、前の１枚の画像における特徴点を追跡することにより、前の１枚の画像に対する目標画像の位置変化情報を取得し、カメラが前の１枚の画像を撮影する時の位置情報および前の１枚の画像に対する目標画像の位置変化情報に従って、カメラの予測位置情報を取得するように構成される第３予測ユニットを備える。

【0095】

一実施例において、当該カメラの位置決め装置は、
カメラを起動した場合に、またはカメラが前の１枚の画像を撮影した時の位置情報に従ってカメラの予測位置情報を取得することができない場合に、目標画像の特徴点と環境マップにおける複数の特徴点とのマッチングを実行して、カメラの予測位置情報を取得するように構成される再位置決めモジュールをさらに備える。

【0096】

一実施例において、フィルタリングモジュール１００３は、さらに、環境マップにおける各特徴点に対して、カメラの予測位置情報に従ってカメラが特徴点の視角領域内に位置しないと決定する場合に、特徴点をフィルタリングアウトするように構成される。

【0097】

一実施例において、マップ取得モジュールは、
カメラが目標環境を撮影して取得した複数枚の原画像を取得し、複数枚の原画像に従って標準画像を決定し、カメラが前記標準画像を撮影する時の位置情報を決定するように構成される標準決定ユニットと、
標準画像以外の任意の１枚の原画像に対して、原画像における特徴点と標準画像における特徴点とのマッチングを実行して、特徴点対応関係を取得し、特徴点対応関係およびカメラが前記標準画像を撮影する時の位置情報に従って、カメラが原画像を撮影する時の位置情報を取得するように構成される位置取得ユニットであって、特徴点対応関係は、原画像における特徴点と、標準画像においてマッチングする特徴点との間の対応関係を含む、位置取得ユニットと、
カメラが原画像を撮影する時の位置情報に従って、原画像における各特徴点の位置情報および各特徴点の視角領域情報を取得するように構成される情報取得ユニットと、
複数枚の原画像における各特徴点の位置情報および各特徴点の視角領域情報に従って、環境マップを構築するように構成されるマップ構築ユニットとを備える。

【0098】

一実施例において、情報取得ユニットは、さらに、原画像における任意の１つの指定された特徴点に対して、カメラが原画像を撮影する時の位置情報および原画像における指定された特徴点の深度に従って、指定された特徴点の位置情報を取得し、指定された特徴点の位置情報および原画像における他の点の位置情報に従って、指定された特徴点のプリセットの範囲内で平面推定を実行して、指定された特徴点を通過する少なくとも１つの平面を決定し、少なくとも１つの平面を介して、目標環境を分割して取得した第１連通領域および第２連通領域を決定し、第１連通領域および第２連通領域における前記カメラが位置する領域を、指定された特徴点を観察できる視角領域として決定し、視角領域情報を取得するように構成される。

【0099】

一実施例において、情報取得ユニットは、さらに、
指定された特徴点のプリセットの範囲内で少なくとも３つの特徴点を選択し、指定された特徴点は、少なくとも３つの特徴点で構成される多角形の内側に位置し、少なくとも３つの特徴点は、環境マップ内で同じ平面上に位置するが同じ直線上に位置せず、指定された特徴点と、少なくとも３つの特徴点が位置する平面との間の距離がプリセットの距離より小さい場合、指定された特徴点が、少なくとも３つの特徴点が配置されている平面上に位置すると決定するように構成される。

【0100】

一実施例において、情報取得ユニットは、さらに、指定された特徴点と、少なくとも３つの特徴点が位置する平面との間の距離がプリセットの距離より小さくない場合に、プリセットの範囲内でエッジ検出を実行して、指定された特徴点を頂点とする少なくとも１つのエッジ線を取得し、プリセットの範囲内の少なくとも４つの特徴点を取得し、指定された特徴点を少なくとも２つの平面の交点として使用し、少なくとも１つのエッジ線を任意の２つの平面の交線として使用し、少なくとも４つの特徴点を少なくとも２つの平面上の点として使用して、少なくとも２つの平面を取得するように構成される。

【0101】

例示的に、カメラは深度カメラであり、情報取得ユニットは、さらに、原画像における、指定された特徴点のプリセットの範囲内の複数の点の深度を取得し、原画像における各点の深度に従って、少なくとも１つの平面を決定し、指定された特徴点は少なくとも１つの平面の各々上に位置し、指定された特徴点のプリセットの範囲内の点は、少なくとも１つの平面のうちの任意の１つまたは２つの平面上に位置するように構成される。

【0102】

上述の実施例で開示されたカメラの位置決め装置がカメラの位置決めを実行する場合、上記の各機能モジュールの分割のみを例に挙げて説明したが、実際の応用では、必要に応じて上述の機能を異なる機能モジュールにより割り当てられて完了してもよく、即ち、端末の内部構造を異なる機能モジュールに分割して、上述の機能のすべてまたは一部を完了することができることに留意されたい。なお、上述の実施例で開示されたカメラの位置決め装置は、カメラの位置決め方法の実施例と同じ構想に属し、その具体的な実現プロセスについては方法の実施例を参照し、ここでは繰り返して説明しない。

【0103】

図１１は、本願の一例示的な実施例で開示された端末１１００の構造のブロック図を示す。当該端末１１００は、携帯式移動端末、例えば、スマトフォン、タブレットコンピュータ、動画エキスパートグループオーディオレイヤー３（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、ＭＰ３と略称）プレーヤー、動画エキスパートグループオーディオレイヤー４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、ＭＰ４と略称）プレーヤー、ラップトップコンピュータ、デスクトップコンピュータ、ヘッドマウント機器、または他の任意のスマート端末などであってもよい。端末１１００は、ユーザ機器、携帯式端末、ラップトップ端末、デスクトップ端末などの他の名称で称されることもできる。

【0104】

通常、端末１１００は、プロセッサ１１０１およびメモリ１１０２を備える。

【0105】

プロセッサ１１０１は、４コアプロセッサ、５コアプロセッサなどの１つまたは複数の処理コアを備えることができる。プロセッサ１１０１は、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰと略称）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡと略称）、プログラマブルロジックアレイ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ、ＰＬＡと略称）のうちの少なくとも１つのハードウェアの形式を使用して実現することができる。プロセッサ１１０１は、メインプロセッサおよびセカンダリプロセッサを備えることもでき、メインプロセッサは、アウェイク状態でデータを処理するために使用されるプロセッサであり、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵと略称）とも称し、セカンダリプロセッサは、スタンバイ状態でデータを処理するために使用される低電力プロセッサである。いくつかの実施例において、プロセッサ１１０１は、グラフィックスプロセッサ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵと略称）と統合されてもよく、ＧＰＵは、ディスプレイ画面に表示される必要があるコンテンツをレンダリングおよび描画するために使用される。いくつかの実施例において、プロセッサ１１０１は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩと略称）プロセッサをさらに備えることができ、当該ＡＩプロセッサは、機械学習に関する計算操作を処理するために使用される。

【0106】

メモリ１１０２は、１つまたは複数のコンピュータ読み取り可能な記憶媒体を含み得、当該コンピュータ読み取り可能な記憶媒体は非一時的である。メモリ１１０２は、１つまたは複数の磁気ディスクメモリ、フラッシュメモリなどの、高速ランダムアクセスメモリ、および不揮発性メモリを備えることもできる。いくつかの実施例において、本願の方法実施例で開示されたカメラの位置決め方法を実現するために、メモリ１１０２の非一時的なコンピュータ読み取り可能な記憶媒体は、少なくとも１つの命令を記憶するために使用され、当該少なくとも１つの命令は、プロセッサ１１０１によって実行される。

【0107】

いくつかの実施例において、端末１１００は、例示的に周辺機器インターフェース１１０３および少なくとも１つの周辺機器を備えることもできる。プロセッサ１１０１、メモリ１１０２および周辺機器インターフェース１１０３間は、バスまたは信号線を介して接続することができる。各周辺機器は、バス、信号線または回路基板および周辺機器インターフェース１１０３を介して接続されることができる。具体的に、周辺機器は、無線周波数回路１１０４、タッチスクリーン１１０５、カメラコンポーネント１１０６、オーディオ回路１１０７、測位コンポーネント１１０８および電源１１０９のうちの少なくとも１つを含む。

【0108】

周辺機器インターフェース１１０３は、入力／出力（Ｉｎｐｕｔ ／Ｏｕｔｐｕｔ、Ｉ／Ｏと略称）に関する少なくとも１つの周辺機器と、プロセッサ１１０１およびメモリ１１０２との接続を実行するように構成されることができる。いくつかの実施例において、プロセッサ１１０１、メモリ１１０２および周辺機器インターフェース１１０３は、同じチップまたは回路基板に統合され、いくつかの他の実施例において、プロセッサ１１０１、メモリ１１０２および周辺機器インターフェース１１０３における任意の１つまたは２つは、独立したチップまたは回路基板で実現し、本実施例は、これらに対して限定しない。

【0109】

無線周波数回路１１０４は、電磁信号とも称される無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦと略称）信号を送信および受信するために使用される。無線周波数回路１１０４は、電磁信号を介して通信ネットワークおよび他の通信機器と通信する。無線周波数回路１１０４は、電気信号を送信用の電磁信号に変換し、または、受信した電磁信号を電気信号に変換する。例示的に、無線周波数回路１１０４は、アンテナシステム、ＲＦトランシーバ、１つまたは複数の増幅器、チューナ、発振器、デジタルシグナルプロセッサ、コーデックチップセット、ユーザＩＤモジュールカードなどを備える無線周波数回路１１０４は、少なくとも１つの無線通信プロトコルを介して他の端末と通信することができる。当該無線通信プロトコルは、メトロポリタンエリアネットワーク、各世代の移動通信ネットワーク（２Ｇ、３Ｇ、４Ｇおよび５Ｇ）、ワイヤレスメトロポリタンエリアネットワークおよび／またはＷｉＦｉ（登録商標）ネットワークを含むが、これらに限定されない。いくつかの実施例において、無線周波数回路１１０４は、近距離無線通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣと略称）に関する回路をさらに備えるが、本願は、これらに対して限定しない。

【0110】

ディスプレイスクリーン１１０５は、ユーザインターフェイス（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＵＩと略称）を表示するように構成される。当該ＵＩは、グラフィック、テキスト、アイコン、ビデオ、およびそれらの任意の組み合わせを含むことができる。ディスプレイスクリーン１１０５がタッチスクリーンである場合、ディスプレイスクリーン１１０５は、ディスプレイスクリーン１１０５の表面または表面の上側のタッチ信号を取得する機能を備える。当該タッチ信号は、処理のための制御信号としてプロセッサ１１０１に入力されてもよい。このとき、ディスプレイスクリーン１１０５は、ソフトボタンおよび／またはソフトキーボードとも称する、仮想ボタンおよび／または仮想キーボードを提供するように構成される。いくつかの実施例において、ディスプレイスクリーン１１０５は端末１１００のフロントパネルに配置された１つのディスプレイスクリーン１１０５であってもよく、別のいくつかの実施例において、ディスプレイスクリーン１１０５は、端末１１００の異なる表面にそれぞれ配置された、または折り畳み可能な形状に設計された少なくとも２つのディスプレイスクリーン１１０５であってもよく、さらにいくつかの実施例において、ディスプレイスクリーン１１０５は、端末１１００の曲面または折り畳み面に配置されたフレキシブルディスプレイスクリーン（Ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ ｓｃｒｅｅｎ）であってもよい。さらに、ディスプレイスクリーン１１０５は、長方形以外の不規則な形、即ち、特徴な形状のスクリーンに設定されてもよい。ディスプレイスクリーン１１０５は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤと略称）、有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＯＬＥＤと略称）などの素材で作られることができる。

【0111】

カメラコンポーネント１１０６は、画像またはビデオを撮影するように構成される。例示的に、カメラコンポーネント１１０６は、フロントカメラおよびリアカメラを備える。通常、フロントカメラは、端末のフロントパネルに配置され、リアカメラは、端末の背面に配置される。いくつかの実施例において、リアカメラは少なくとも２つであり、それぞれ、メインカメラ、被写界深度カメラ、広角カメラ、望遠カメラのうちの任意の１つであり、メインカメラと被写界深度カメラの融合で背景ぼかし機能を実現し、メインカメラおよび望遠カメラの融合でパノラマ撮影および仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲと略称）撮影機能または他の融合撮影機能を実現する。いくつかの実施例において、カメラコンポーネント１１０６は、フラッシュをさらに備える。フラッシュは、単色温度フラッシュであってもよく、二色温度フラッシュであってもよい。二色温度フラッシュは、ウォームフラッシュとコールドフラッシュの組み合わせを指し、異なる色温度での光線の補正に使用されることができる。

【0112】

オーディオ回路１１０７は、マイクロフォンおよびスピーカを含み得る。マイクロフォンは、ユーザと環境の音波を取得し、音声通信を実現するために、音波を電気信号に変換してプロセッサ１１０１に入力して処理し、または無線周波数回路１１０４に入力するように構成される。ステレオ取得またはノイズ低減を目的とし、マイクロフォンは複数であってもよく、それぞれ、端末１１００の異なる部位に配置されることができる。マイクロフォンは、マイクロフォンアレイまたは全方位型マイクロフォンであってもよい。スピーカは、プロセッサ１１０１または無線周波数回路１１０４からの電気信号を音波に変換するように構成される。スピーカは、従来のフィルムスピーカであってもよく、圧電セラミックスピーカであってもよい。スピーカが圧電セラミックスピーカである場合、電気信号を人間の可聴音波に変換してもよく、距離測定などの目的で電気信号を人間の不可聴音波に変換してもよい。いくつかの実施例において、オーディオ回路１１０７は、ヘッドフォンジャックをさらに含み得る。

【0113】

測位コンポーネント１１０８は、ナビゲーションまたは位置ベースのサービス（Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ、ＬＢＳと略称）を実現するために、端末１１００の現在の地理的位置を位置決めするように構成される。測位コンポーネント１１０８は、アメリカの全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、ＧＰＳと略称）であってもよく、中国の北斗衛星測位システム、ロシアのグロナスシステムまたは欧州連合のガリレオシステムに基づく測位コンポーネントであってもよい。

【0114】

電源１１０９は、端末１１００における各コンポーネントに電力を供給するように構成される。電源１１０９は、交流、直流、使い捨て電池、または充電式電池であり得る。電源１１０９が充電式電池を備える場合、当該充電式電池は、有線充電または無線充電をサポートすることができる。当該充電式電池は、高速充電技術をサポートするように構成されることできある。

【0115】

いくつかの実施例において、端末１１００は、１つまたは複数のセンサ１１１０をさらに備える。当該１つまたは複数のセンサ１１１０は、加速度センサ１１１１、ジャイロセンサ１１１２、圧力センサ１１１３、指紋センサ１１１４、光学センサ１１１５および近接センサ１１１６を含むが、これらに限定されない。

【0116】

加速度センサ１１１１は、端末１１００によって確立された座標系の３つの座標軸上の加速度の大きさを検出することができる。例えば、加速度センサ１１１１は、３つの座標軸上の重力加速度の成分を検出するために使用されることができる。プロセッサ１１０１は、加速度センサ１１１１で取得された重力加速度信号に従って、ランドスケープビューまたはポートレートビューをユーザインターフェイスで表示するために、タッチスクリーン１１０５を制御することができる。加速度センサ１１１１は、ゲームまたはユーザの運動データの取得に使用されることもできる。

【0117】

ジャイロセンサ１１１２は、端末１１００の本体方向および回転角度を検出することができ、ジャイロセンサ１１１２は、加速度センサ１１１１と協働して、端末１１００に対するユーザの３Ｄ動作を取得することができる。プロセッサ１１０１は、ジャイロセンサ１１１２で取得されたデータに従って、モーションセンシング（ユーザの傾斜操作に応じてＵＩを変換させるなど）、撮影中の画像の手振れ補正、ゲーム制御および慣性航法などの機能を実現することができる。

【0118】

圧力センサ１１１３は、端末１１００のサイドフレームおよび／またはタッチスクリーン１１０５の下層に配置されることができる。圧力センサ１１１３が端末１１００のサイドフレームに配置される場合、端末１１００に対するユーザのホールディング信号を検出し、プロセッサ１１０１によって、圧力センサ１１１３によって取得されたホールディング信号に従って、右手と左手の識別またはクイック操作を実行することができる。圧力センサ１１１３がタッチスクリーン１１０５の下層に配置される場合、プロセッサ１１０１によって、ユーザがタッチスクリーン１１０５に対する圧力操作に従って、ＵＩインターフェイス上の可操作性制御部に対する制御を実現する。可操作性制御部は、ボタン制御部、スクロールバー制御部、アイコン制御部、メニュー制御部のうちの１つを備える。

【0119】

指紋センサ１１１４は、ユーザの指紋を取得するように構成され、プロセッサ１１０１によって、指紋センサ１１１４で取得された指紋に従ってユーザの身元を識別し、または、指紋センサ１１１４によって、取得した指紋に従ってユーザの身元を識別する。ユーザの身元が信頼できる身元であると識別した場合、プロセッサ１１０１は、画面のロックの解除、暗号化された情報の閲覧、ソフトウェアのダウンロード、支払い、設定の変更など、関連する敏感な操作をユーザに認可する。指紋センサ１１１４は、端末１１００の正面、背面または側面に配置されることができる。端末１１００に、物理的ボタンまたは製造業者のロゴ（Ｌｏｇｏ）に配置される場合、指紋センサ１１１４は、物理的ボタンまたはメーカーのロゴと統合されてもよい。

【0120】

光学センサ１１１５は、環境光の強度を取得するように構成される。一実施例において、プロセッサ１１０１は、光学センサ１１１５によって取得された環境光の強度に従って、タッチスクリーン１１０５のディスプレイ輝度を制御することができる。具体的に、環境光の強度が高い場合、タッチスクリーン１１０５のディスプレイ輝度を上げ、環境光の強度が低い場合、タッチスクリーン１１０５のディスプレイ輝度を下げる。別の実施例において、プロセッサ１１０１は、光学センサ１１１５によって取得された環境光の強度に従って、カメラコンポーネント１１０６の撮影パラメータを動的に調整することもできる。

【0121】

近接センサ１１１６は、距離センサとも称され、通常、端末１１００のフロントパネルに配置される。近接センサ１１１６は、ユーザと端末１１００の正面との間の距離を取得するように構成される。一実施例において、近接センサ１１１６がユーザと端末１１００の正面との間の距離がますます小さくなることを検出した場合、プロセッサ１１０１が、タッチスクリーン１１０５がオンスクリーン状態からオフスクリーン状態に切り替えるように制御し、近接センサ１１１６がユーザと端末１１００の正面との間の距離がますます大きくなることを検出した場合、プロセッサ１１０１が、タッチスクリーン１１０５がオフスクリーン状態からオンスクリーン状態に切り替えるように制御する。

【0122】

当業者は、図１１で示された構造は、端末１１００に対して限定するものではなく、図に示されたものより多くまたはより少ないコンポーネントを備え、またはいくつかのコンポーネントを組み合わせ、または異なるコンポーネント配置を使用することができることを理解できるだろう。

【0123】

本願実施例は、カメラの位置決めのための装置をさらに開示し、当該端末は、プロセッサおよびメモリを備え、メモリは、コンピュータ読み取り可能な命令を記憶し、コンピュータ読み取り可能な命令が前記プロセッサによって実行される時に、プロセッサが、上述のカメラの位置決め方法のステップを実行するようにする。ここで、カメラの位置決め方法のステップは、上述の各実施例のカメラの位置決め方法におけるステップであってもよい。

【0124】

本願実施例は、コンピュータ読み取り可能な命令が記憶されたコンピュータ読み取り可能な記憶媒体をさらに開示し、コンピュータ読み取り可能な命令がプロセッサによって実行される時に、プロセッサが、上述のカメラの位置決め方法のステップを実行するようにする。ここで、カメラの位置決め方法のステップは、上述の各実施例のカメラの位置決め方法におけるステップであってもよい。

【0125】

ここで、当該コンピュータ読み取り可能な命令は、プログラム、コードセットなどを含み得る。

【0126】

上述の実施例の全てまたは一部のステップは、ハードウェアを介して完了してもよく、プログラムによって、関連するハードウェアに命令することにより完了してもよいことを当業者なら自明である。前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、上記で言及された記憶媒体は、読み取り専用メモリ、磁気ディスク、または光ディスクであり得る。

【0127】

上記は本願の好ましい実施例に過ぎず、本願を限定することを意図するものではなく、本願の精神および原則内で行われるあらゆる修正、均等の置換、改善などは、すべて本願の保護範囲に含まれるべきである。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】