知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-11
(54)【発明の名称】カメラの状態を決定する方法およびシステム
(51)【国際特許分類】
G06T 7/70 20170101AFI20231228BHJP
G06T 7/277 20170101ALI20231228BHJP
G01C 21/28 20060101ALI20231228BHJP
【ＦＩ】
G06T7/70 Z
G06T7/277
G01C21/28
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023535396
(86)(22)【出願日】2021-12-13
(85)【翻訳文提出日】2023-07-12
(86)【国際出願番号】 IB2021061637
(87)【国際公開番号】W WO2022144653
(87)【国際公開日】2022-07-07
(31)【優先権主張番号】63/132,142
(32)【優先日】2020-12-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/132,176
(32)【優先日】2020-12-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】517311080
【氏名又は名称】ベリティ アーゲー
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ヘーン， マルクス
(72)【発明者】
【氏名】ロッセット， ファビオ
【テーマコード（参考）】
2F129
5L096
【Ｆターム（参考）】
2F129AA11
2F129BB08
2F129BB15
2F129BB33
2F129BB66
2F129EE78
2F129GG17
5L096CA02
5L096FA66
5L096FA67
5L096FA69
(57)【要約】
本発明は、時間ｔｋにおけるカメラの状態ｘｋを決定する方法に関し、状態ｘｋは、状態ランダム変数Ｘｋの実現値である。方法は、ａ）時間ｔｋにおいて、カメラによって捕捉された屋内環境における着目場面の画像を受信することと、ｂ）時間ｔｋにおいて、カメラの状態推定を受信することと、ｃ）画像におけるＭ個の特徴の位置を決定することと、ｄ）Ｍ個の特徴と対応するＭ個の目印との間の距離を示す距離データを受信することと、ｅ）少なくとも、（ｉ）画像におけるＭ個の特徴の位置と、（ｉｉ）状態推定とを使用して、Ｍ個の特徴から、Ｎ個の目印の組への単射マッピング推定を決定することと、ｆ）決定された単射マッピング推定を使用して、状態－空間モデルにおける観察モデルを設定することと、ｇ）（ｉ）状態推定と、（ｉｉ）観察モデルと、（ｉｉｉ）観察ｚｋとを使用して、時間ｔｋにおけるカメラの状態ｘｋを決定することとを含む。
【特許請求の範囲】
【請求項1】
時間ｔｋにおけるカメラ（１１）の状態ｘｋ（８）を決定する方法であって、前記状態ｘｋ（８）は、状態ランダム変数Ｘｋの実現値であり、前記状態は、前記カメラ（１１）の移動の状態－空間モデルに関係付けられており、前記方法は、ａ）前記時間ｔｋにおいて前記カメラ（１１）によって捕捉された屋内環境（１５）における着目場面（１５）の画像（１）を受信することであって、前記屋内環境（１５）は、世界座標系（１２）における既知の位置を有するＮ個の目印（９）を備え、Ｎは、自然数である、ことと、
ｂ）前記時間ｔｋにおける前記カメラ（１１）の状態推定
【数20】
ｃ）前記画像（１）におけるＭ個の特徴の位置を決定する（３）ことであって、Ｍは、Ｎ以下の自然数であり、前記Ｍ個の特徴と前記Ｎ個の目印との間の単射マッピングが存在する、ことと、
ｄ）前記Ｍ個の特徴と前記対応するＭ個の目印（９）との間の距離を示す距離データを受信する（４）ことと、
ｅ）少なくとも、（ｉ）前記画像における前記Ｍ個の特徴の前記位置と、（ｉｉ）前記状態推定（２）とを使用して、前記Ｍ個の特徴から、前記Ｎ個の目印（９）の組への単射マッピング推定を決定する（５）ことと、
ｆ）前記決定された単射マッピング推定（５）を使用して、前記状態－空間モデルにおける観察モデルを設定する（６）ことであって、前記観察モデルは、前記カメラの前記状態ランダム変数Ｘｋを連結観察ランダム変数Ｚｋの上にマッピングするために構成され、前記時間ｔｋにおいて、観察ｚｋは、前記連結観察ランダム変数Ｚｋの実現値であり、前記観察ｚｋは、（ｉ）前記画像における前記Ｍ個の特徴のうちの少なくとも１つの前記位置と、（ｉｉ）距離を示す前記距離データとを備えている、ことと、
ｇ）（ｉ）前記状態推定と、（ｉｉ）前記観察モデルと、（ｉｉｉ）前記観察ｚｋとを使用して、前記時間ｔｋにおける前記カメラの前記状態ｘｋ（８）を決定する（７）ことと
を含む、方法。
【請求項2】
前記連結観察ランダム変数Ｚｋは、Ｍ個の観察ランダム変数Ｚｋ，ｉ，ｉ＝１，・・・，Ｍを備え、前記Ｍ個の観察ランダム変数Ｚｋ，ｉの各々は、距離データランダム変数Ｄｋ，ｉを備え、前記観察ｚｋは、観察ｚｋ，ｉ，ｉ＝１，・・・，Ｍを備えている、請求項１に記載の方法。
【請求項3】
前記観察モデルは、前記Ｍ個の特徴に対応する前記Ｍ個の目印（９）の各々の前記それぞれの対応する特徴への３Ｄから２Ｄへの投影をモデル化するように構成され、以降、ＩＭＥと称される前記単射マッピング推定は、前記Ｍ個の特徴を前記Ｍ個の目印（９）とリンクし、前記Ｍ個の特徴のうちの特徴ｉに関して、前記対応する目印は、目印ＩＭＥ（ｉ）であり、特徴－目印対（ｉ，ＩＭＥ（ｉ））に関して、前記観察モデルは、前記観察ランダム変数Ｚｋ，ｉを前記状態ランダム変数Ｘｋにリンクし、Ｚｋ，ｉ＝ｈＩＭＥ（ｉ）（Ｘｋ）であり、観察モデル関数ｈＩＭＥ（ｉ）（・）は、目印ＩＭＥ（ｉ）に依存し、前記観察モデルは、前記観察モデル関数ｈＩＭＥ（ｉ）（・），ｉ＝１，・・・，Ｍを備えている、請求項２に記載の方法。
【請求項4】
前記観察モデル関数ｈＩＭＥ（ｉ）（・）は、前記状態ランダム変数Ｘｋを前記距離データランダム変数Ｄｋ，ｉの上にマッピングするように構成され、距離ｄｋ，ｉを示す前記距離データは、特徴ｉと目印ＩＭＥ（ｉ）との間の距離に関連し、ｄｋ，ｉは、前記距離データランダム変数Ｄｋ，ｉの実現値である、請求項３に記載の方法。
【請求項5】
（ｉ）前記状態推定【数21】
【数22】
【請求項6】
別個のヤコビ行列が、各観察モデル関数ｈＩＭＥ（ｉ）（・），ｉ＝１，・・・，Ｍに関して使用され、前記更新式は、前記それぞれの別個のヤコビ行列を使用して、全てのＭ個の特徴に関して、連続的かつ独立して呼び出される、請求項５に記載の方法。
【請求項7】
距離を示す前記距離データは、距離として具現化され、それらの距離は、それぞれ、ＴＯＦカメラと前記Ｍ個の特徴に対応する前記Ｍ個の目印（９）との間の距離として、前記飛行時間（ＴＯＦ）カメラ（１１）によって提供される、請求項１－６のうちの１項に記載の方法。
【請求項8】
前記画像（１）は、光源（１０）が着目場面（１５）を照明する光を放出するように動作させられると、前記カメラ（１１）によって捕捉される、請求項１－７のいずれか１項に記載の方法。
【請求項9】
距離を示す前記距離データは、前記Ｍ個の特の各々に関して、強度情報として具現化される請求項８に記載の方法。
【請求項10】
前記Ｍ個の観察モデル関数ｈＩＭＥ（ｉ）（・），ｉ＝１，・・・，Ｍの各々は、前記状態ランダム変数Ｘｋを前記それぞれの距離データランダム変数Ｄｋ，ｉ，ｉ＝１，・・・，Ｍの上にマッピングするように構成されたそれぞれの照明モデルを備え、前記距離データランダム変数は、強度情報を統計的にモデル化し、前記照明モデルｉ，ｉ＝１，・・・，Ｍは、前記状態ランダム変数Ｘｋを前記距離データランダム変数Ｄｋ，ｉ，ｉ＝１，・・・，Ｍの上にマッピングするために、少なくとも、（ｉ）前記光源によって放出される光のパワーおよび推定される光源位置と、（ｉｉ）前記光源による光放出の指向性と、（ｉｉｉ）目印ＩＭＥ（ｉ）の反射率と、（ｉｖ）前記世界座標系における目印ＩＭＥ（ｉ）の前記既知の位置とを使用する、請求項９に記載の方法。
【請求項11】
前記Ｍ個の観察モデル関数の各々は、前記カメラ（１１）のカメラモデルを備えている、請求項１－１０のいずれか１項に記載の方法。
【請求項12】
前記カメラモデルは、ピンホールカメラモデルとして具現化される、請求項１１に記載の方法。
【請求項13】
命令を備えているコンピュータプログラム製品であって、前記命令は、コンピュータによって実行されると、請求項１－１２のいずれか１項に記載の方法を前記コンピュータに遂行させる、コンピュータプログラム製品。
【請求項14】
アセンブリであって、前記アセンブリは、（ａ）カメラ（１１）と、（ｂ）複数の目印（９）と、（ｃ）コントローラとを備え、前記コントローラは、請求項１－１２の１項に記載の方法を遂行するように構成されている、アセンブリ。
【請求項15】
飛行時間（ＴＯＦ）カメラおよび／または光源（１０）をさらに備えている、請求項１４に記載のアセンブリ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、時間ｔｋにおけるカメラの状態ｘｋを決定する方法およびコンピュータプログラム製品およびアセンブリに関する。
【背景技術】
【0002】
ロボット（例えば、ドローン）の屋内ナビゲーションは、例えば、自動式倉庫の分野において重要な問題である。屋内ナビゲーションを促進するために、ロボット（例えば、ドローン）は、その環境に対するその現在の位置を把握する必要がある。高い位置特定の正確さを提供するＧＮＳＳ（全地球航法衛星システム）が採用され得る屋外環境とは対照的に、屋内環境におけるＧＮＳＳは、多くの場合、信号減衰およびマルチパス効果に起因して信頼性がない。屋内および屋外空間のための既存のＲＦ位置特定技術も、複雑な環境において（例えば、かなりの量の金属の存在下）、有用性を限定する信号減衰およびマルチパス効果に悩まされる。
【0003】
従来技術では、屋内の位置特定のための光学的位置特定システムが、公知である。そのような光学的位置特定システムは、カメラによって捕捉される画像から、情報を抽出する。その姿勢が決定されるべき物体の場所は、次いで、２次元カメラ画像における特徴の座標を該特徴に対応する３次元光線に関連付けた後、三角測量技法を使用して計算されることができる。画像座標と３次元光線との間の関連性は、典型的に、第一原理カメラモデル（ピンホールまたは魚眼カメラモデル等）と、較正歪みモデル（典型的に、レンズ特性、搭載許容誤差、および第一原理モデルからの他の偏差を捕捉する）とを組み合わせて捕捉される。
【0004】
従来技術において公知である物体の場所を決定するための光学的位置特定システムでは、カメラは、物体の外側にしっかりと搭載され、物体の運動を観察すること（「アウトサイドイン追跡」）ができるか、または、カメラは、物体自体上に搭載され、環境の見掛け運動を観察すること（「インサイドアウト追跡」）ができる。アウトサイドイン追跡位置特定システムが、典型的に、カメラの既知の場所に対する物体の場所を決定する一方、ＳＬＡＭ（同時位置特定およびマッピング）のようなインサイドアウト追跡システムは、典型的に、物体が移動する環境のマップを生成する。マップは、未知の座標系において表されるが、環境の少なくとも一部の場所が既知である場合、または、カメラの初期姿勢がすでに既知である場合、既知の座標系に関係付けられ得る。両方の場合、マップがカメラの初期視野から離れて拡大されると、または、既知の場所を伴う環境の一部から離れて拡大されると、誤差が、累積されるであろう。誤差を伝搬する潜在性は、場所情報が外部情報を参照させられなければならない用途（例えば、所定のマップ内に物体の場所を表示するために、または、物体の場所を別のそのような物体の場所に関係付けるために、または、場所が外部座標系において既知である場所に物体を誘導するために使用されるとき）に関して問題である。
【0005】
アウトサイドイン光学的位置特定システムは、典型的に、より大きな位置特定システムに対して非常に不十分にスケーリングされる。何故なら、全ての点において、物体が、物体の３Ｄ位置を三角測量するために複数のカメラによって見られなければならないからである。特に、少数の物体しか追跡されないより大きな空間に関して、これは、経済的に実行可能ではない。
【0006】
例えば、ドローン上に搭載されるカメラの位置および向きは、ある状態において集約され得、その状態は、経時的に追跡され得る。しかしながら、カメラの状態を決定するための既存の方法は、適正なレベルの正確さを提供せず、したがって、多くの用途における使用に関して、それらを不十分なものにする。
【0007】
本発明の目的は、最新技術から公知であるカメラの状態ｘｋを決定する方法に関連付けられた不利点のうちの少なくともいくつかを軽減することである。
【発明の概要】
【課題を解決するための手段】
【0008】
本発明の第１の側面によると、カメラの状態ｘｋを決定する方法が、提供され、請求項１に規定されるステップを伴う。本発明の方法のさらなる随意の特徴および実施形態が、従属特許請求項において説明される。
【0009】
本発明は、時間ｔｋにおけるカメラの状態ｘｋを決定する方法に関し、本状態ｘｋは、状態ランダム変数Ｘｋの実現値であり、本状態は、カメラの移動の状態－空間モデルに関連する。方法は、以下のステップ、すなわち、ａ）時間ｔｋにおいて、カメラによって捕捉された屋内環境における着目場面の画像を受信するステップであって、屋内環境は、世界座標系において既知の位置を有するＮ個の目印を備え、Ｎは、自然数である、ステップと、ｂ）時間ｔｋにおいて、カメラの状態推定
を受信するステップと、ｃ）画像におけるＭ個の特徴の位置を決定するステップであって、Ｍは、Ｎ以下の自然数であり、Ｍ個の特徴とＮ個の目印との間の単射マッピングが存在する、ステップと、ｄ）Ｍ個の特徴と対応するＭ個の目印との間の距離を示す距離データを受信するステップと、ｅ）少なくとも、（ｉ）画像におけるＭ個の特徴の位置と、（ｉｉ）状態推定とを使用して、Ｍ個の特徴から、Ｎ個の目印の組への単射マッピング推定を決定するステップと、ｆ）決定された単射マッピング推定を使用して、状態－空間モデルにおける観察モデルを設定するステップであって、観察モデルは、カメラの状態ランダム変数Ｘｋを連結観察ランダム変数Ｚｋの上にマッピングするために構成され、時間ｔｋにおいて、観察ｚｋは、連結観察ランダム変数Ｚｋの実現値であり、観察ｚｋは、（ｉ）画像におけるＭ個の特徴のうちの少なくとも１つの位置と、（ｉｉ）距離を示す距離データとを備えている、ステップと、ｇ）（ｉ）状態推定と、（ｉｉ）観察モデルと、（ｉｉｉ）観察ｚｋとを使用して、時間ｔｋにおけるカメラの状態ｘｋを決定するステップとを含む。
【数1】
【0010】
世界座標系におけるＮ個の目印の向きも、既知であり得る。代替として、距離を示す距離データは、カメラのカメラ中心とＭ個の特徴に対応するＭ個の目印との間の距離に関連し得る。
【0011】
原則として、特徴の数は、外れ値が特徴として検出される場合、Ｎより大きくあり得る。この場合、Ｍは、Ｎより大きいであろう。そのような外れ値は、異なる処理ステップ中に除去され得、それらは、単射マッピング推定の決定中に除去され得、例えば、外れ値は、例えば、もっともらしい目印が距離を示すそれぞれの距離データに対して識別されないこともある特徴を除外することによって、（ｉ）距離を示す受信された距離データと、（ｉｉ）状態推定と、（ｉｉｉ）世界座標系におけるＮ個の目印の既知の位置とに基づいて、単射マッピング推定の決定の前に除去され得る。故に、そのような外れ値が除去されていることこと（外れ値が存在する場合）が仮定され得、Ｍ個の特徴が実際の目印に対応する特徴であることが仮定され得る。
【0012】
本発明による方法の実施形態では、連結観察ランダム変数Ｚｋは、Ｍ個の観察ランダム変数Ｚｋ，ｉ，ｉ＝１，・・・Ｍを備え、Ｍ個の観察ランダム変数Ｚｋ，ｉの各々は、距離データランダム変数Ｄｋ，ｉを備え、観察ｚｋは、観察ｚｋ，ｉ，ｉ＝１，・・・Ｍを備えている。
【0013】
本発明による方法のさらなる実施形態では、観察モデルは、それぞれ、対応する特徴に対するＭ個の特徴に対応するＭ個の目印のそれぞれの３Ｄから２Ｄへの投影をモデル化するように構成される。以降、ＩＭＥと称される単射マッピング推定は、Ｍ個の特徴をＭ個の目印とリンクし、Ｍ個の特徴のうちの特徴ｉに関して、対応する目印は、目印ＩＭＥ（ｉ）であり、特徴－目印対（ｉ，ＩＭＥ（ｉ））に関して、観察モデルは、観察ランダム変数Ｚｋ，ｉを状態ランダム変数Ｘｋにリンクし、Ｚｋ，ｉ＝ｈＩＭＥ（ｊ）（Ｘｋ）であり、観察モデル関数ｈＩＭＥ（ｉ）（・）は、目印ＩＭＥ（ｉ）に依存し、観察モデルは、観察モデル関数ｈＩＭＥ（ｉ）（・），ｉ＝１，・・・，Ｍを備えている。
【0014】
本発明による方法のさらなる実施形態では、観察モデル関数ｈＩＭＥ（ｉ）（・）は、状態ランダム変数Ｘｋを距離データランダム変数Ｄｋ，ｉの上にマッピングするように構成され、距離ｄｋ，ｉを示す距離データは、特徴ｉと目印ＩＭＥ（ｉ）との間の距離に関連し、ｄｋ，ｉは、距離データランダム変数Ｄｋ，ｉの実現値である。
【0015】
代替として、距離ｄｋ，ｉを示す距離データと距離データランダム変数Ｄｋ，ｉとは、カメラのカメラ中心と目印ＩＭＥ（ｉ）との間の距離に関連し得る。
【0016】
本発明による方法のさらなる実施形態では、（ｉ）状態推定
と、（ｉｉ）観察モデルと、（ｉｉｉ）観察ｚｋとを使用して、状態ｘｋを決定するステップは、状態－空間モデルに拡張カルマンフィルタを適用することによって提供される更新式を使用することによって行われ、更新式は、観察モデルのヤコビ行列を備え、ヤコビ行列は、状態推定
において評価される。
【数2】
【数3】
【0017】
本発明による方法のさらなる実施形態では、別個のヤコビ行列が、各観察モデル関数ｈＩＭＥ（ｉ）（・），ｉ＝１，・・・，Ｍに関して使用され、更新式は、それぞれの別個のヤコビ行列を使用して、全てのＭ個の特徴に関して、連続的かつ独立して呼び出される。
【0018】
本発明による方法のさらなる実施形態では、距離を示す距離データは、距離として具現化され、それらの距離は、それぞれ、ＴＯＦカメラとＭ個の特徴に対応するＭ個の目印との間の距離として、飛行時間（ＴＯＦ）カメラによって提供される。
【0019】
ＴＯＦカメラは、カメラ中心を有し、そのカメラ中心とＭ個の特徴に対応するＭ個の目印との間の距離を決定し得る。
【0020】
ＴＯＦカメラ機能性は、カメラの一部として提供され得る。代替として、ＴＯＦカメラは、別個のデバイスであり得る。ＴＯＦカメラが、別個のデバイスである場合、ＴＯＦカメラとカメラとの間の座標変換は、既知であると仮定され得る。ＴＯＦカメラによって遂行される測定は、次いで、カメラのローカル座標系の中に転送され、それによって、カメラによって捕捉された画像と比較され得る。
【0021】
本発明による方法のさらなる実施形態では、画像は、光源が着目場面を照明する光を放出するように動作させられると、カメラによって捕捉される。
【0022】
本発明による方法のさらなる実施形態では、距離を示す距離データは、Ｍ個の特徴の各々に関して、強度情報として具現化される。
【0023】
用語「強度情報」は、例えば、特徴の平均強度または特徴の最大強度を指し得る。特徴の平均強度および最大強度は、ピクセルから決定され得、該ピクセルは、画像を捕捉し、これは、画像を捕捉する画像センサの一部である。
【0024】
本発明による方法のさらなる実施形態では、Ｍ個の観察モデル関数ｈＩＭＥ（ｉ）（・），ｉ＝１，・・・，Ｍの各々は、状態ランダム変数Ｘｋをそれぞれの距離データランダム変数Ｄｋ，ｉ，ｉ＝１，・・・，Ｍの上にマッピングするように構成されている、それぞれの照明モデルを備え、距離データランダム変数は、強度情報を統計的にモデル化し、照明モデルｉ，ｉ＝１，・・・，Ｍは、状態ランダム変数Ｘｋを距離データランダム変数Ｄｋ，ｉ，ｉ＝１，・・・，Ｍの上にマッピングするために、少なくとも、（ｉ）光源によって放出される光のパワーおよび推定される光源位置と、（ｉｉ）光源による光放出の指向性と、（ｉｉｉ）目印ＩＭＥ（ｉ）の反射率と、（ｉｖ）世界座標系における目印ＩＭＥ（ｉ）の既知の位置とを使用する。
【0025】
推定される光源位置は、カメラに対する光源の幾何学的関係が既知である場合、状態推定
から推定され得る。
【数4】
【0026】
本発明による方法のさらなる実施形態では、Ｍ個の観察モデル関数の各々は、カメラのカメラモデルを備えている。
【0027】
本発明による方法のさらなる実施形態では、カメラモデルは、ピンホールカメラモデルとして具現化される。
【0028】
本発明のさらなる側面によると、命令を備えているコンピュータプログラム製品が、提供され、命令は、コンピュータによって実行されると、本発明による方法をコンピュータに遂行させる。
【0029】
本発明のさらなる側面によると、アセンブリが、提供され、アセンブリは、（ａ）カメラと、（ｂ）複数の目印と、（ｃ）コントローラとを備え、コントローラは、本発明による方法を遂行するように構成される。
【0030】
本発明によるアセンブリの実施形態では、アセンブリは、飛行時間（ＴＯＦ）カメラおよび／または光源をさらに備えている。
【0031】
アセンブリは、カメラと、別個のＴＯＦカメラとを備え得る。カメラと別個のＴＯＦカメラとの間の既知の座標変換は、既知であると仮定され、いずれかのカメラによって取得される測定結果が、２つのカメラのそれぞれのローカル座標系間で変換され得ることを含意し得る。
【図面の簡単な説明】
【0032】
本発明の例示的実施形態は、本説明において開示され、以下の図面によって図示される。
【0033】
【発明を実施するための形態】
【0034】
図１は、時間ｔｋにおけるカメラの状態ｘｋを決定するための本発明による方法の概略描写を示す。状態ｘｋは、時間ｔｋにおけるカメラの３Ｄ位置および３Ｄ向きを備え得る。３Ｄ位置および３Ｄ向きは、所定の参照フレームである世界座標系に対して表され得る。状態ｘｋは、時間ｔｋにおけるカメラの３Ｄ速度情報を加えて備え得、該３Ｄ速度情報も、例えば、世界座標系に対して表され得る。カメラが経時的に屋内環境を通して移動し得るので、その状態は、カメラの現在の位置および向きを決定するために、追跡される必要があり得る。
【0035】
時間ｔｋにおいて、カメラは、Ｎ個の目印を備えている屋内環境における着目場面の画像１を捕捉し得る。屋内環境におけるＮ個の目印の位置（および可能性として、向き）は、世界座標系において既知である。時間ｔｋにおいて、カメラは、特定の位置および向きを有するので、Ｎ個の目印の全てが、カメラに対して可視ではないこともある。例えば、Ｊ（≦Ｎ）個の目印が、時間ｔｋにおいて、カメラに対して可視であり得、Ｊ個の目印が、着目場面の画像１の上に、カメラによって投影される。画像の中への目印の投影は、「特徴」と称される。画像１の上に投影されるＪ個の目印から、Ｍ≦Ｊ個の特徴が、識別され得、画像におけるそれらの２Ｄ位置が、決定される（３）。特徴の２Ｄ位置は、例えば、該特徴の重心の２Ｄ位置に関係付けられ得る。Ｊ個の目印のうちのいくつかは、画像の上へのそれらの投影が、非常に小さい／不鮮明である／粗悪に検出可能であるような方法で時間ｔｋにおいて、カメラに対して位置付けられ、向けられ得る。この場合、Ｍは、厳密に言えば、Ｊより小さく、すなわち、Ｍ＜Ｊであり得、カメラによって画像１の上に投影されている残りのＪ－Ｍ個の目印は、無視されること／検出されないこともある。特徴は、例えば、スケール不変特徴変換を使用して、または、高速化された堅牢な特徴検出器を使用して、または、勾配場所および向きヒストグラム検出器を使用して、または、従来技術から公知である任意の他の特徴検出器を使用して、または、屋内環境における目印の可能な形状に合わせて作製されるカスタムされた特徴検出器を使用して決定され得る。Ｍ個の特徴が画像の上への目印の投影に対応する特徴であることも（すなわち、目印ではない他の物体の画像上へ投影である外れ値が画像から除去されていることも）仮定される。
【0036】
画像１は、カメラの画像センサによって捕捉される。画像センサは、世界座標系における位置および向きを有し、時間ｔｋにおける画像センサの該位置および向きは、カメラの状態ｘｋにおいて暗示的にエンコードされ得る。画像における特定の２Ｄ位置を伴う特徴はまた、それによって、空間内の３Ｄ位置も有し、３Ｄ位置は、特徴の特定の２Ｄ位置に対応する画像センサ上の点の３Ｄ位置に対応する。
【0037】
次のステップでは、Ｍ個の特徴から、Ｎ個の目印への単射マッピング推定が、決定される（５）。典型的に、それがＭ＜Ｎを維持するので、単射マッピング推定は、典型的に、単射的にすぎず、同様に、全射的ではない。単射マッピング推定は、Ｎ個の目印のうちのどの目印が、画像におけるＭ個の特徴のうちのどの特徴を誘発したかを説明する。そのような単射マッピング推定を決定する（５）ために、時間ｔｋにおけるカメラの位置／向きが、既知である必要があり得る。しかしながら、現在の状態ｘｋの代わりに、状態推定
（２）のみが、利用可能である。状態推定
（２）から開始して、単射マッピング推定が、決定され得、単射マッピング推定中、状態ｘｋに対する近似値が、構築され得る。単射マッピング推定が１つの組から別の組への単射関数であるので、それは、ＩＭＥ（・）として関数表記で表され得、単射マッピング推定が動作するように構成されるドメインは、Ｍ個の特徴の組であり、その範囲は、Ｎ個の目印の組であり、特徴ｉは、単射マッピング推定を通して、目印ＩＭＥ（ｉ）にリンクされる。
【数5】
【数6】
【0038】
決定された特徴から目印への割り当てＩＭＥ（・）を使用して、次のステップでは、観察モデルが、設定される（６）。観察モデルは、連結観察ランダム変数Ｚｋの上に、状態ランダム変数Ｘｋ（状態ｘｋは、状態ランダム変数の実現値である）をマッピングするように構成され、連結観察ランダム変数は、それがＭ個の特徴に関係付けられた観察を確率的に説明するので、連結と称される。観察ｚｋは、連結観察ランダム変数Ｚｋの実現値であり、該観察は、実際の測定プロセスを通して、または実際の測定プロセスによって提供されるデータ上で遂行される計算を通して取得される。連結観察ランダム変数Ｚｋは、Ｍ個の観察ランダム変数Ｚｋ，ｉ，ｉ＝１，・・・、Ｍを備え得、Ｍ個の観察ランダム変数の各々は、それぞれの特徴に関係付けられた観察を統計的に説明し得る。Ｍ個の観察ランダム変数は、統計的に相互から独立し得る、または連結観察ランダム変数は、Ｍ個の観察ランダム変数の確率分布の積に因数分解されない確率分布を備え得る。
【0039】
観察モデルは、Ｍ個の観察モデル関数ｈＩＭＥ（ｉ）（・），ｉ＝１，・・・、Ｍを備え得、Ｍ個の観察モデル関数の各々は、状態ランダム変数Ｘｋをそれぞれの観察ランダム変数Ｚｋ，ｉ，ｉ＝１，・・・、Ｍの上にマッピングするように構成され得る。各観察ランダム変数Ｚｋ，ｉ，ｉ＝１，・・・、Ｍは、それぞれ、距離データランダム変数Ｄｋ，ｉ，ｉ＝１，・・・、Ｍと、特徴ｉ、ｉ＝１，・・・、Ｍの２Ｄ位置に関連するランダム変数とを備え得る。距離ｄｋ，ｉ，ｉ＝１，・・・、Ｍを示す距離データは、距離データランダム変数の実現値であり得る。観察ランダム変数内の距離データランダム変数の存在は、特徴ｉとその対応する目印との間の距離に関係づけられた数量が測定されることを含意する。対応する目印は、（カメラによる投影を通して）特徴ｉと特徴ｉに関連付けられた観察とを実際に生じさせた目印であり得る。対応する目印は、決定された（５）単射マッピング推定が、正しい方法で、目印に特徴を割り当てる場合、目印ＩＭＥ（ｉ）に等しくあり得る。用語「特徴ｉとその対応する目印との間の距離」は、該特徴ｉの３Ｄ位置と該対応する目印の既知の３Ｄ位置との間の世界座標系における距離に関連し得る。特徴の３Ｄ位置とその対応する目印との間の距離の代わりに、カメラのカメラ中心と対応する目印との間の距離が、使用され得る。
【0040】
距離データランダム変数Ｄｋ，ｉ，ｉ＝１，・・・，Ｍは、特徴の強度および／または特徴とその対応する目印との間の実際の距離を統計的にモデル化し得る。特徴の強度は、特徴の強度が、典型的に、特徴とその対応する目印との間の距離が増加するにつれて、減少するので、例えば、特徴とその対応する目印との間の距離についての情報を備えている。距離を示す距離データは、観察ｚｋの一部として、本発明による方法によって受信される（４）。
【0041】
観察モデルは、したがって、画像センサが状態ランダム変数Ｘｋに従って位置する画像平面の上へのＭ個の目印のマッピングをモデル化する（それらのＭ個の目印は、決定された単射マッピング推定としてのＭ個の特徴に対応する）。観察モデルはまた、例えば、投影された目印、すなわち、ある特徴の２Ｄ位置を抽出するための処理ステップを含み得、２Ｄ位置は、例えば、画像における特徴の重心である。観察モデルは、例えば、ピンホールカメラモデルとして具現化される数学的カメラモデルを備え得、それは、カメラの画像センサが存在する、画像平面の上への３次元空間内の点の投影を数学的に説明する。状態ランダム変数Ｘｋを距離ランダム変数Ｄｋ，ｉ，ｉ＝１，・・・，Ｍにマッピングするために、観察モデルは、距離ランダム変数が、特徴の強度に関連する場合、照明モデルを備え得るか、または、それは、特徴ｉと目印ＩＭＥ（ｉ）との間の距離を決定するための距離推定モデルを備え得る。
【0042】
照明モデルは、光源による放出とカメラによる受光との間における光源によって放出される光のパワー損失をモデル化し得る。目印は、再帰反射体特有の反射率を有する再帰反射体として具現化され得、光源は、再帰反射体を照明するために使用され得る。再帰反射体によって反射される光は、次いで、カメラによって捕捉される画像１において明るく現れ得る。照明モデルは、放出された光が反射される目印ＩＭＥ（ｉ）の反射率を備え得る。照明モデルは、（潜在的に統計的不確実性を伴う）特徴ｉと、その目印ＩＭＥ（ｉ）との間の距離も備え得、距離は、状態推定
と、世界座標系における目印ＩＭＥ（ｉ）の既知の位置とに基づいて取得され得る。照明モデルは、光源によって放出される光のパワーと、光源の指向性と、推定される光源位置とをさらに備え得る。光源に対するカメラの相対的な位置および向きが既知である場合、推定された光源位置は、状態推定
を使用して決定され得る。照明モデルは、観察モデルの一部であり得る。
【数7】
【数8】
【0043】
距離ランダム変数Ｄｋ，ｉ，ｉ＝１，・・・，Ｍが、特徴ｉ，ｉ＝１，・・・，Ｍと目印ＩＭＥ（ｉ），ｉ＝１，・・・，Ｍとの間の実際の距離を統計的にモデル化する場合、距離は、飛行時間（ＴＯＦ）カメラを使用して測定され得る。ＴＯＦカメラは、位相ベースのＴＯＦカメラまたはパルスベースのＴＯＦカメラであり得る。ＴＯＦカメラは、特徴とその対応する目印との間の距離を提供し得る。ＴＯＦカメラの機能性は、カメラの一部であり得るか、または、ＴＯＦカメラは、別個のデバイスであり得る。ＴＯＦカメラとカメラとが、別個のデバイスである場合、ＴＯＦカメラとカメラとの間の幾何学的変換は、既知であり、ＴＯＦカメラを使用して遂行される測定が、カメラによって遂行される測定に関係付けられ得ることを含意し得る。
【0044】
観察モデルは、空間を通したカメラの移動を追跡するために使用される状態－空間モデルの一部である。観察モデルに加えて、状態－空間モデルは、典型的に、状態－遷移モデルを備え得る。状態－遷移モデルは、状態自体が経時的に進化する方法を説明する。カメラがドローン上に搭載されている場合、例えば、状態－遷移モデルは、ドローン飛行をモデル化する式を備え得、この式は、可能性として、ドローン飛行を制御するために使用される制御入力を備えている。状態－遷移モデルは、典型的に、状態伝搬における統計的不確実性をモデル化するさらなる項も備えている。観察モデルおよび／または状態－遷移モデルは、それらの入力において線形または非線形であり得、その入力は、カメラの状態である。状態－遷移モデルは、入力として制御入力も有し得る。
【0045】
観察モデルおよび状態－遷移モデルの両方が線形である場合、カルマンフィルタが、少なくとも状態推定
と、観察モデルと、観察ｚｋとを使用して時間ｔｋにおける状態ｘｋ（８）を決定する（７）ために使用され得、その観察は、連結観察ランダム変数Ｚｋの実現値である。観察は、（ｉ）画像におけるＭ個の特徴の２Ｄ位置と、（ｉｉ）例えば、特徴の強度として、または特徴とそれらのそれぞれの対応する目印との間の測定された距離として具現化される距離を示す距離データとを備えている。状態ｘｋの決定（７）中、状態推定
は、観察モデルへの入力として使用される（代替として、単射マッピング推定の決定中に決定される状態に対する近似値が、観察モデルへの入力として使用され得る）。観察モデルおよび／または状態－遷移モデルが非線形である場合、拡張カルマンフィルタが、使用され得、拡張カルマンフィルタは、非線形式を線形化する。カルマンフィルタおよび拡張カルマンフィルタの両方は、観察モデルと、測定された観察とを使用して、状態推定
を更新するための更新式を提供する。状態ｘｋ（８）が、決定される（７）と、状態ｘｋは、時間内（例えば、時間ｔｋから時間ｔｋ＋１まで）、状態－遷移モデルを使用して伝搬され、時間内の伝搬は、時間ｔｋ＋１におけるカメラの状態に関する状態推定
を提供し得る。カルマンフィルタの代わりに、粒子フィルタが、使用され得るか、または、ルンベルガオブザーバ等の状態オブザーバが、使用され得るか、または、最新技術から公知である任意の他の公知のフィルタリング技法が、使用され得る。状態推定
は、時間ｔｋ＋１における状態ｘｋ＋１を決定するための新しい状態推定として採用され得る。
【数9】
【数10】
【数11】
【数12】
【数13】
【0046】
カルマンフィルタまたは拡張カルマンフィルタの更新式は、全てのＭ個の特徴に関して、同時に、またはＭ個の特徴の各特徴に関して別個に呼び出され得る。拡張カルマンフィルタが使用される場合、観察モデルのヤコビ行列が、状態に対して計算される必要があり、ヤコビ行列は、状態推定
において（または代替として、単射マッピング推定の決定中に決定される状態に対する近似値において）評価される。拡張カルマンフィルタがＭ個の特徴の各々に関して別個に呼び出される場合、別個のヤコビ行列が、Ｍ個の観察モデル関数ｈＩＭＥ（ｉ）（・），ｉ＝１，・・・，Ｍの各々に関して決定され得る。カメラによる連続画像の捕捉中の時間ｔｋ＋１－ｔｋが全てのＭ個の特徴を処理するために十分に長くない場合、Ｍ個の特徴の全てが、状態の更新中に検討されないこともある。
【数14】
【0047】
図２は、光源１０と、カメラ１１とを備えているドローンの概略描写を示し、ドローンは、屋内環境１５において飛行している。この特定の例では再帰反射体として具現化される目印９は、屋内環境１５における複数の位置に配置される。目印９は、屋内環境１５の天井上に搭載され得る。ドローンの任意の所与の（位置および向きを備えている）姿勢において、いくつかの目印９が、カメラ１１に対して可視であり得、図２では、目印９とカメラ１１との間の線によって示されるが、他の目印９は、カメラ１１に対して可視ではないこともある。目印９の位置は、所定の参照フレーム１２である世界座標系１２において既知であり得、ドローンの現在の場所は、第２の参照フレーム１３であるドローン座標系１３として表され得、座標変換１４が、世界座標系１２とドローン座標系１３との間で既知であり得る。カメラ１１および光源１０が、ドローンにしっかりと搭載され、ドローンに対するそれらの姿勢が既知である場合、カメラ１１および光源１０の姿勢は、ドローン座標系１３を使用して、世界座標系１２に関係付けられ得る。ドローンの現在の位置は、屋内環境１５における着目場面１５、具体的に、既知の位置を有する目印９の画像を使用して決定されることができる。代替として、または加えて、ドローンは、慣性測定ユニットを装備し得、その慣性測定ユニットも、姿勢決定のために使用され得る。光源１０は、等方的に放出する光源であり得るか、または、それは、非等方的様式で放出する指向性光源であり得る。光源１０およびカメラ１１は、具体的に、目印９が再帰反射体として具現化される場合、理想的に、互いに近接している。カメラ１１はまた、ドローンの正常移動条件中、ドローンの上部に、すなわち、光源１０に隣接して搭載され得る。用語「正常移動条件」は、着目場面の地面に対するドローンの通常の移動を指し得る。ドローンは、加えて、目印９までの距離を直接測定するための飛行時間（ＴＯＦ）カメラを備え得る。ＴＯＦカメラの機能性は、別個のＴＯＦカメラによって提供され得るか、または、ＴＯＦカメラの機能性は、カメラ１１に含まれ得る。
【図1】
【図2】
【国際調査報告】