特表 2024-501368 ３次元位置を決定するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-11

(54)【発明の名称】３次元位置を決定するための方法およびシステム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20231228BHJP

   G01B 11/00 20060101ALI20231228BHJP

   G01B 11/02 20060101ALI20231228BHJP

   G01B 11/22 20060101ALI20231228BHJP

   G06T 7/70 20170101ALI20231228BHJP

【ＦＩ】

G06T7/246

G01B11/00 H

G01B11/02 H

G01B11/22 H

G06T7/70 A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023561431

(86)(22)【出願日】2021-12-17

(85)【翻訳文提出日】2023-08-07

(86)【国際出願番号】 EP2021086377

(87)【国際公開番号】W WO2022129457

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】20215720.2

(32)【優先日】2020-12-18

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】523231130

【氏名又は名称】オーグメンテッド・ロボティクス・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＡＵＧＭＥＮＴＥＤ ＲＯＢＯＴＩＣＳ ＧＭＢＨ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ニシュケ，トニー

(72)【発明者】

【氏名】メラン，エフゲニ

(72)【発明者】

【氏名】ベスキ，パトリック・フィン・アルブレヒト

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA03

2F065AA04

2F065AA22

2F065AA24

2F065AA25

2F065FF04

5L096AA02

5L096AA06

5L096AA09

5L096CA02

5L096DA02

5L096FA66

5L096FA67

5L096FA69

5L096HA11

(57)【要約】

物体の３次元（３Ｄ）位置を決定するための方法であって、物体は、光センサの視野内に配置され、物体は、平面上もしくは平面の上方、または好ましくは仮想平面上に位置する。本方法は、ａ）光センサから物体を含む画像を取得するステップと、ｂ）光センサの視野の少なくとも一部を含む３Ｄマップ内の光センサの３Ｄ位置を取得するステップと、ｃ）画像内の物体を認識するステップと、ｄ）画像内の物体の２Ｄ位置を決定するステップと、ｅ）３Ｄマップ内の平面を決定するステップと、ｆ）３Ｄマップにおいて、３Ｄマップ内の物体の２Ｄ位置の投影に基づいて、光センサの３Ｄ位置から物体までの少なくとも１つの視線ベクトルを決定するステップと、ｇ）少なくとも１つの視線ベクトルと平面との交差に基づいて物体の３Ｄ位置を決定するステップと、を含む。

【特許請求の範囲】

【請求項1】

物体の３次元（３Ｄ）位置を決定するための方法であって、
前記物体は、光センサの視野内に配置され、
前記物体は、平面上もしくは平面の上方に、または好ましくは仮想平面上に位置し、
前記方法は、
ａ）前記光センサから前記物体を含む画像を取得するステップと、
ｂ）前記光センサの前記視野の少なくとも一部を含む３Ｄマップ内の前記光センサの前記３Ｄ位置を取得するステップと、
ｃ）前記画像内の前記物体を認識するステップと、
ｄ）前記画像内の前記物体の２Ｄ位置を決定するステップと、
ｅ）前記３Ｄマップ内の前記平面を決定するステップと、
ｆ）前記３Ｄマップにおいて、前記３Ｄマップ内の前記物体の前記２Ｄ位置の投影に基づいて、前記光センサの前記３Ｄ位置から前記物体までの少なくとも１つの視線ベクトルを決定するステップと、
ｇ）前記少なくとも１つの視線ベクトルと前記平面との交差に基づいて前記物体の前記３Ｄ位置を決定するステップと、を含む、方法。

【請求項2】

物体が認識された後、物体を識別するためにデータベース検索が実行され、物体の３Ｄ形態に関する情報が前記データベースから取得され、
前記物体の前記３Ｄ位置は、前記取得された情報に基づいてさらに決定され、
前記取得された情報は、前記物体の高さ、幅、深さ、および形状情報のうちの少なくとも１つを含む、
請求項１に記載の方法。

【請求項3】

前記ステップｃ）およびｄ）のうちの少なくとも１つは、コンピュータビジョンアルゴリズムに基づき、および／または
前記ステップｂ）およびｅ）～ｇ）のうちの少なくとも１つは、拡張現実（ＡＲ）アルゴリズムに基づく、
請求項１または２に記載の方法。

【請求項4】

前記３Ｄマップは、ＡＲアルゴリズムに基づいて、および前記画像に基づいて生成され、および／または
前記３Ｄマップは、前記画像に基づいて事前計算され、データベースからダウンロードされる、
請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記平面は、前記画像内の現実世界の平面に対応し、好ましくは前記３Ｄマップ内の表面によって表される、および／または
前記仮想平面は、前記物体に関する少なくとも１つのさらなる位置情報、好ましくは前記物体の高さセンサによって取得された高さ情報によって決定される、
請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記ステップａ）～ｇ）はサイクルで繰り返され、
前記物体が初めて認識された後に、前記画像内で前記物体の２Ｄ追跡が実行され、
前記物体が前記画像内で追跡されている限り、前記ステップｃ）およびｄ）はスキップされ、
前記２Ｄ位置は、前記２Ｄ追跡から取得される、
請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記光センサは、スマートデバイスの光センサであり、
前記方法の前記ステップは、前記スマートデバイスの処理手段で実行され、および／または
前記スマートデバイスの前記処理手段は、クラウド環境と通信して、前記方法の前記ステップを実行するように構成されている、
請求項１～６のいずれか１項に記載の方法。

【請求項8】

前記光センサの前記位置および向きは、前記スマートデバイスの位置決めユニットに基づいて決定される、請求項７に記載の方法。

【請求項9】

前記コンピュータビジョンアルゴリズムは、ＹＯＬＯ、ＲｅｔｉｎａＮｅｔ、ＳＳＤ、およびそれらの派生物のうちの１つであり、および／または
前記拡張現実アルゴリズムは、位置推定およびマッピングの同時実行（ＳＬＡＭ）である、
請求項１から８のいずれか１項に記載の方法。

【請求項10】

物体の３次元（３Ｄ）位置を決定するためのシステムであって、
前記システムは光センサを備え、前記物体は前記光センサの視野内に位置し、
前記システムは、請求項１～９のいずれか１項に記載の方法を実行するように構成されたデータ処理手段を備える、システム。

【請求項11】

命令を含むコンピュータプログラムであって、前記命令は、光センサに接続されたコンピューティングデバイスによって前記プログラムが実行されると、前記コンピューティングデバイスに請求項１～９のいずれか１項に記載の方法を実行させる、コンピュータプログラム。

【請求項12】

命令を含むコンピュータ可読媒体であって、前記命令は、光センサに接続されたコンピューティングデバイスによって実行されると、前記コンピューティングデバイスに請求項１～９のいずれか１項に記載の方法を実行させる、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元位置を決定するための方法およびシステムに関する。特に、本発明は、光センサを用いて取り込まれた画像に基づいて、光センサに対する空間内の物体の３次元（３Ｄ）位置を決定するための方法およびシステムに関する。

【背景技術】

【0002】

空間内の物体の３Ｄ位置の決定は、様々な技術分野において頻繁に発生する問題である。異なる解決策が見出されている。解決策は、異なるセンサ技術および物理的効果に基づく。いくつかの解決策は、異なるセンサと物理的効果を組み合わせることさえある。技術的問題に応じて、位置決めの異なるパラメータが関連する。典型的な関連パラメータは、精度、正確さ、速度、およびコストである。

【0003】

干渉計システムは、光学測定方式に基づく。反射体は、物体上にマーカーとして配置される。レーザベースの干渉測定システムは、物体の位置および角度を提供する。半径２０ｍの半球測定体積では、約５マイクロメートルの精度が可能である。しかしながら、そのようなシステムは非常に高価である。

【0004】

カメラベースのシステムは、典型的には、位置を決定するために立体画像に依存する。しかしながら、市販のカメラベースのシステムは、精度が低く、および／または測定速度が低い。

【0005】

赤外線システムは、モーションキャプチャ用途で使用される。典型的には、１つまたは複数の赤外線反射器が使用される。このようなシステムの精度は、典型的には数ミリメートルの範囲である。

【0006】

磁気システムは、磁場の測定に基づいている。磁場は、永久磁石または磁気コイルによって生成され得る。磁場の既知の位置および／または構造、適切なセンサによる磁束密度の測定値に基づいて、物体の位置および角度を決定することができる。典型的なシステムは、３メートルの距離で１．３センチメートルの分解能を有する。しかしながら、これは、１つまたは複数のコイルまたは１つまたは複数のセンサのいずれかが物体に配置されることを必要とする。

【0007】

音波または超音波ベースのシステムはまた、物体に配置される適切な受信機および／または反射器を必要とする。さらに、受信機はカバーされてはならず、検出範囲はかなり低い。したがって、そのような位置特定はほとんどの用途に適していない。

【発明の概要】

【発明が解決しようとする課題】

【0008】

したがって、本発明の目的は、３次元位置を決定するための改善された方法およびシステムを提供することである。この目的は、独立請求項の主題によって達成され、従属請求項は本発明のさらなる態様に関する。

【課題を解決するための手段】

【0009】

本発明の一態様では、物体の３次元（３Ｄ）位置を決定するための方法が提供され、物体は、光センサの視野内に配置され、物体は、平面上もしくは平面の上方に、または好ましくは仮想平面上に位置し、方法は、
ａ）光センサから物体を含む画像を取得するステップと、
ｂ）光センサの視野の少なくとも一部を含む３Ｄマップ内の光センサの３Ｄ位置を取得するステップと、
ｃ）画像内の物体を認識するステップと、
ｄ）画像内の物体の２Ｄ位置を決定するステップと、
ｅ）３Ｄマップ内の平面を決定するステップと、
ｆ）３Ｄマップにおいて、３Ｄマップ内の物体の２Ｄ位置の投影に基づいて、光センサの３Ｄ位置から物体までの少なくとも１つの視線ベクトルを決定するステップと、
ｇ）少なくとも１つの視線ベクトルと平面との交差に基づいて物体の３Ｄ位置を決定するステップと、を含む。

【0010】

本発明の一実施形態によれば、物体が認識された後、物体を識別するためにデータベース検索が実行され、物体の３Ｄ形態に関する情報がデータベースから取得され、物体の３Ｄ位置は、取得された情報に基づいてさらに決定され、取得された情報は、物体の高さ、幅、深さ、および形状情報のうちの少なくとも１つを含む。

【0011】

本発明の一実施形態によれば、ステップｃ）およびｄ）のうちの少なくとも１つは、コンピュータビジョンアルゴリズムに基づき、かつ／またはステップｂ）およびｅ）～ｇ）のうちの少なくとも１つは、拡張現実（ＡＲ）アルゴリズムに基づく。

【0012】

本発明の一実施形態によれば、３Ｄマップは、ＡＲアルゴリズムに基づいて、および画像に基づいて生成され、および／または３Ｄマップは、画像に基づいて事前計算され、データベースからダウンロードされる。

【0013】

本発明の一実施形態によれば、平面は、画像内の現実世界の平面に対応し、好ましくは３Ｄマップ内の表面によって表され、および／または仮想平面は、物体に関する少なくとも１つのさらなる位置情報、好ましくは物体の高さセンサによって取得された高さ情報によって決定される。

【0014】

本発明の一実施形態によれば、ステップａ）～ｇ）はサイクルで繰り返され、物体が初めて認識された後に、画像内で物体の２Ｄ追跡が実行され、物体が画像内で追跡されている限り、ステップｃ）およびｄ）はスキップされ、２Ｄ位置は、２Ｄ追跡から取得される。

【0015】

本発明の一実施形態によれば、光センサは、スマートデバイスの光センサであり、方法のステップは、スマートデバイスの処理手段で実行され、および／またはスマートデバイスの処理手段は、クラウド環境と通信して、方法のステップを実行するように構成されている。

【0016】

本発明の一実施形態によれば、光センサの位置および向きは、スマートデバイスの位置決めユニットに基づいて決定される。

【0017】

本発明の一実施形態によれば、コンピュータビジョンアルゴリズムは、ＹＯＬＯ、ＲｅｔｉｎａＮｅｔ、ＳＳＤ、およびそれらの派生物のうちの１つであり、および／または拡張現実アルゴリズムは、位置推定およびマッピングの同時実行（ＳＬＡＭ）である。

【0018】

本発明の一態様では、物体の３次元（３Ｄ）位置を決定するためのシステムが提供され、システムは光センサを備え、物体は光センサの視野内に位置し、システムは、前述の態様および実施形態のいずれか１つによる方法を実行するように構成されたデータ処理手段を備える。

【0019】

本発明の一態様では、命令を含むコンピュータプログラムが提供され、命令は、光センサに接続されたコンピューティングデバイスによってプログラムが実行されると、コンピューティングデバイスに前述の態様および実施形態のいずれか１つによる方法を実行させる。

【0020】

本発明の一態様では、命令を含むコンピュータ可読媒体が提供され、命令は、光センサに接続されたコンピューティングデバイスによって実行されると、コンピューティングデバイスに前述の態様および実施形態のいずれか１つによる方法を実行させる。

【0021】

本発明の一般的な態様は、スマートデバイスの１つの光センサを使用して、光センサの視野内の物体の３Ｄ位置を決定することである。これは、典型的には１つの光センサのみを有するスマートフォンなどの典型的なスマートデバイスを使用することができるという利点を有する。

【0022】

以下、物体の３Ｄ位置決めは、空間内の物体の３次元位置を記述する座標のセットを決定するプロセスとして定義される。以下、物体の追跡は、経時的な反復３Ｄ位置決めおよび空間内の軌道の決定として定義される。両方の問題は密接に関連している。以下の説明では、物体の３Ｄ位置決めに関連する実施形態の特徴はまた、特に指示がない限りまたは明らかでない限り、物体の３Ｄ追跡に関連する対応する実施形態の特徴であると見なされ、逆もまた同様である。

【0023】

この説明では、「平面」および「２Ｄ表面」という用語は等価なものとして使用される。単純な３Ｄモデルでは、すべての表面を平面として抽象化することができる。しかしながら、実際には、３Ｄモデルの表面はより複雑であり得る。本発明のより良好な了解度のために、適切な場合には、平面とのみ呼ばれる。これは常に、より複雑な２Ｄ表面を含む。

【0024】

また、仮想平面という用語が使用される。平面および２Ｄ表面と同様に、仮想平面という用語は、仮想表面、さらには複雑な仮想表面、すなわち複数の隣接する厳密に平面の表面も包含する。

【0025】

本発明の一般的な態様では、本方法は、スマートデバイスに基づいて、特に前記スマートデバイスの光センサ、処理能力、および／または接続機能に基づいて実行される。本発明の実施形態では、本方法は、スマートフォン、タブレットデバイス、またはスマートカメラのうちの１つまたは複数で実行される。

【0026】

本発明の別の一般的な態様は、システムが、光センサ、コンピューティングユニット、および好ましくは接続ユニットを備える分散システムであることである。後者の分散された構成要素はすべて、無線および／または有線接続を介して適切に動作可能に接続される。

【0027】

言い換えると、システムは、スマートフォンまたはタブレットデバイス、ＰＣのような別個のコンピューティングデバイスを備えたウェブカメラまたは、何らかの形式の電気通信を介してコンピューティングデバイスに画像データを提供する何らかの遠隔画像センサのような統合されたカメラおよびコンピューティングデバイスを備えることができる。

【0028】

本発明の一般的な態様は、画像センサから得られた１つの画像から２段階の位置決めプロセスを実行することである。まず、画像に基づいて、画像センサの視野内の空間の３Ｄモデルが取得され、これはレンダリングとも呼ばれる。レンダリングには、１つまたは複数の方法、好ましくは同時位置特定およびマッピング（ＳＬＡＭ）として知られる方法を使用することができる。

【0029】

３Ｄモデルでは、１つまたは複数の平面が識別される。第２に、画像に基づいて、物体は３Ｄモデルの１つの平面上に位置特定される。次いで、３Ｄ位置を、カメラの位置およびビュー方向ならびに平面の位置に基づいて計算することができる。

【0030】

３Ｄモデルは、光センサから画像が取得されている間、連続的に計算することができる。追加的または代替的に、方法およびシステムは、好ましくは接続機能を介してデータベースからアクセスおよび／またはダウンロードされる、予め計算された３Ｄモデルに基づいてもよい。

【0031】

３Ｄモデルは、３Ｄマップと呼ばれることもある。３Ｄマップは、好ましくは、既知の拡張現実（ＡＲ）アルゴリズムに基づいて計算される。追加的または代替的に、既存の３Ｄマップが使用されてもよい。例えば、３Ｄマップは、建物もしくは部屋または前記モデルの一部のデジタルモデルとして取得することができる。前記モデルの一部は、光センサの画像に基づいて決定されてもよい。

【0032】

本発明の一般的な態様は、光センサから取得された画像において、物体が認識され、認識された物体の２Ｄ位置が、好ましくはコンピュータビジョンアルゴリズムに基づいて決定されることである。

【0033】

１つまたは複数のＡＲアルゴリズムに基づいて、空間の３Ｄマップが生成される。さらに、３Ｄマップと光センサとの間の関係が決定される。

【0034】

言い換えると、３Ｄマップ内のセンサの位置および視野方向は常に既知であるか、または直接計算することができる。好ましくは、センサの位置を決定するために位置決めユニットが使用される。より好ましくは、位置決めユニットは、光センサと共に１つのデバイスに一体化される。好ましくは、スマートフォンの光センサおよび位置決めユニットが使用される。

【0035】

画像センサの位置および向きに基づいて、３Ｄマップ内の視線ベクトルＬが決定される。最後に、第１の計算において、空間内の物体の３Ｄ位置が計算される。第１の計算は、視線ベクトルＬと空間の３Ｄマップに定義された２Ｄ表面との交点Ｐ１の計算に基づく。

【0036】

任意選択的に、第１の計算の結果は、物体の既知の３Ｄジオメトリから計算された補正パラメータに基づいて精緻化される。認識された物体がコンピュータビジョンアルゴリズムに基づいて識別された場合、補正パラメータを決定するために、物体の３Ｄジオメトリがスマートデバイスの接続機能を介してデータベースから取得される。

【0037】

図面の簡単な説明
本発明の上述の目的、利点および特徴、ならびに他のものは、添付の図面と併せて考慮すると、本発明の特定の好ましい実施形態の以下の詳細な説明からより容易に理解されるであろう。

【図面の簡単な説明】

【0038】

【図1】本発明の一実施形態による測位システムの概略図である。

【図2a】本発明の第１の実施形態による位置決め方法のフローチャートを示す。

【図2b】本発明の第２の実施形態による位置決め方法のフローチャートを示す。

【図2c】本発明の第３の実施形態による位置決め方法のフローチャートを示す。

【図2d】本発明の第４の実施形態による位置決め方法のフローチャートを示す。

【図3】本発明の一実施形態による３Ｄ位置決め方法の用途を示す。

【発明を実施するための形態】

【0039】

図面の詳細な説明
以下、本発明の実施形態について説明する。記載された実施形態のいずれか１つのいくつかの態様は、特に明記されない限りまたは明らかでない限り、いくつかの他の実施形態にも見られ得ることに留意されたい。しかしながら、了解度を高めるために、各態様は、最初に言及されたときにのみ詳細に説明され、同じ態様の繰り返しの説明は省略される。

【0040】

この説明を通して、光センサからの画像が処理される。処理ステップに使用されるすべての使用される用語は、それらの通常の意味に基づいて解釈されるべきであるが、以下の用語は、以下の定義に基づいて使用される。

【0041】

ｉ）１つまたは複数の物体が認識される。例えばスマートフォンのカメラなどの光センサからの画像は、単に画像データである。画像内の１つまたは複数の物体を認識するために、様々なコンピュータビジョンアルゴリズムを使用することができる。すなわち、画像内の物体の２Ｄ位置を決定するためである。好ましくは、前記物体の形状、サイズおよび色などのいくつかの基本パラメータも決定するためである。画像に加えて認識プロセスの結果として、画像内の物体の位置もわかる。

【0042】

ｉｉ）１つまたは複数の物体が識別される。物体が認識された後、物体を識別することができる。識別は、データベースに記憶されたデータに基づくことができる。識別は、好ましくは機械学習アルゴリズムに基づき、より好ましくはニューラルネットワークに基づく。識別後、画像および物体の位置に加えて、物体の種類もわかる。識別に基づいて、既知の３Ｄジオメトリなどの追加のデータを取得することができる。

【0043】

ｉｉｉ）１つまたは複数の物体が３Ｄマップ内に位置特定される、すなわち、３Ｄ位置が決定される。本発明の上述の態様に基づいて、３Ｄ位置は、３Ｄマップ内の平面上の物体の位置に基づいて決定される。すなわち、画像内の物体の２Ｄ位置に対応する平面上の位置が計算される。平面内の位置から、３Ｄ位置が決定される。

【0044】

３Ｄマップ内の平面は、好ましくは光センサから見た現実世界の平面、好ましくは部屋の床に対応する。この場合、物体の移動は、好ましくはその平面内の移動に制限される、すなわち、物体は飛行していないと考えられる。しかしながら、仮想平面、すなわち現実世界の平面に対応しない仮想平面も可能である。この場合、遠隔制御対象物体の移動は、好ましくは前記仮想平面に関連する、すなわち物体が飛行していない仮想平面に関連するが、現実世界の平面に関連して、物体は、例えば部屋の床に平行な平面内、例えば床から１メートル上の仮想平面内を飛行している可能性がある。

【0045】

図１は、本発明の一実施形態による測位システムの概略図である。本発明によれば、コンピュータビジョンおよびＡＲアルゴリズムの要素が組み合わされる。本発明による３Ｄ位置決めは、スマートデバイス１００のカメラ画像内の物体１０１の２Ｄ位置決め、好ましくはライブ２Ｄ位置決めに基づく。

【0046】

計算は、２つの前提条件に基づく。第１の前提条件は、物体１０１が空間内を飛行していないこと、すなわち空間の表面に存在することである。言い換えると、物体は、空間内に画定された平面Ｅ上に常に存在する。言い換えると、位置の１次元は固定されている。上記で詳述したように、仮想平面を使用して１つの座標を固定することができる。本発明の好ましい実施形態では、飛行ドローンの高さセンサを使用して高さを固定し、したがって仮想平面を作成する。その平面内の位置、したがって部屋内のドローンの３Ｄ位置は、本発明による方法およびシステムによって決定される。

【0047】

平面Ｅは、例えば、適切な数の座標またはベクトルによって画定されてもよい。第２の前提条件は、カメラの位置Ｈ、すなわちスマートデバイス１００の位置が既知であるか、または少なくとも直接決定できることである。

【0048】

好ましい実施形態では、スマートデバイスの位置は、ＡＲアルゴリズム方法、好ましくはＳＬＡＭに基づいて決定される。ＳＬＡＭにおける位置を決定するために、周囲のマップが生成され、スマートデバイスの位置、すなわち前記マップ内の光センサの位置を追跡するために使用される。

【0049】

位置Ｈは、適切な空間座標によって画定される。多くの座標系が知られている。説明のために、デカルト座標が仮定される。すなわち、Ｈは、Ｈｘ、Ｈｙ、Ｈｚで与えられる。同様に、平面Ｅは、空間の適切な座標系で定義される。

【0050】

第１のステップにおいて、カメラの視野内の空間の３Ｄモデルが取得される。
本発明の一実施形態では、３Ｄマップは、ＡＲアルゴリズムに基づいてカメラ画像から計算される。追加的または代替的に、３Ｄマップは、事前計算され、データベースに記憶されてもよい。この場合、３Ｄマップはデータベースからスマートデバイス１００にロードされる。

【0051】

本発明の好ましい実施形態では、ＳＬＡＭを使用して３Ｄマップを作成する。しかしながら、代替的なＡＲ方法が使用されてもよい。各ＡＲ方法、特にＳＬＡＭの場合、異なるセンサを使用することができる。光センサおよびＬＩＤＡＲが好ましいセンサである。

【0052】

センサに関係なく、周囲の雲図が生成される。前記雲図に基づいて、マップの平面および他の要素が再構成される。センサに関係なく、３ＤマップはＡＲに基づいてリアルタイムで生成され、前記３Ｄマップ内の位置はＡＲに基づいて決定されるか、または３Ｄマップがプリロードされ、３Ｄマップ内の位置のみがＡＲに基づいて決定される。

【0053】

物体の３Ｄ位置、すなわちＰ１（Ｐｘ、Ｐｙ、Ｐｚ）の第１の計算は、前記平面Ｅ上への２Ｄ位置の視線投影に基づく。すなわち、位置は、最初に、３Ｄマップにおいて、カメラからの視線、すなわち位置Ｈから画像内の物体の２Ｄ位置に対するベクトルＬを決定することによって計算される。

【0054】

第１の前提条件により、物体は空間の平面にあると仮定される。第２の前提条件により、位置Ｈがわかる。したがって、視線ベクトルＬと空間内の平面Ｅとの３Ｄマップにおける交点を計算することにより、物体の位置Ｐ１を求めることができる。

【0055】

好ましい実施形態では、平面は、現実世界の表面、例えば床または天板上でのみ識別される。すなわち、光センサと物体が存在する物体との間には１つの平面しかない。したがって、物体は、第１の平面上、例えば天板上にあると決定されたときに認識される、すなわち視認可能である。あるいは、物体は、例えばテーブルの下の床の上にあるために見えず、物体も２Ｄ画像内で認識できないため、３Ｄ位置を決定することができない。

【0056】

本発明の一実施形態では、視線ベクトルＬは、カメラ角度および画像内の物体の２Ｄ位置に基づいて計算される。

【0057】

位置Ｐ１は、物体の実際の寸法を考慮しない。本発明の一実施形態では、第２の位置Ｐ２は、カメラが２Ｄ画像、すなわち物体の２Ｄ投影のみを取り込むことを考慮して、物体の寸法に基づいて計算される。

【0058】

物体の幾何学的複雑さに応じて、第２の計算は高度な精巧さを有することができる。物体が識別され、物体の３Ｄジオメトリが三角法の原理に基づいてわかった後、物体の任意の特定の点の３Ｄ位置をＰ１から計算することができる。

【0059】

本発明の一実施形態では、物体は、好ましくは５０ｃｍである高さｈ、各々好ましくは１０ｃｍである幅ｗおよび深さｄを有するブロックであると見積もられる。光センサは、好ましくは１ｍである高さｈ１、好ましくは１ｍの距離である物体までの距離ｄ１に配置される。すなわち、光センサは、ある角度αで物体を見る。本発明の一実施形態による軌道、すなわち視線ベクトルは、画像内の物体の２Ｄ位置である物体の重心または重力に基づいて決定される。記載された好ましい例では、これは、視線ベクトルと物体の後方約３０ｃｍの平面との交差をもたらす。しかしながら、物体の幾何学的形状が既知である、すなわちｈ、ｗ、およびｄが既知であり、光センサの位置も既知であるため、物体の正しい位置、すなわち実際の中心は、三角法に基づいて決定することができる。

【0060】

言い換えると、第２の計算は、視線と前記平面との交差および光センサの位置に基づいて、物体の２Ｄ投影の中心と３Ｄ世界／３Ｄマップ内の物体の実際の中心との間の差を決定する。

【0061】

例示を目的として、補正は、オフセット角度αおよびオフセット高さｈ’によって定義され、これは、画角および３Ｄマップ内のカメラまでの物体の距離に応じた物体１０１の重心のオフセットを表す。

【0062】

本発明の一実施形態では、上述の３Ｄ測位アルゴリズムは、スマートフォン上でのリアルタイム測位を可能にするように最適化されたハードウェアとして実装される。これはまた、空間内の物体のリアルタイム追跡を可能にする。

【0063】

本発明の一実施形態では、本方法は物体識別ステップを含む。好ましくは、物体識別ステップは、スマートデバイス１００上で実行される。好ましくは、物体識別は、機械学習アルゴリズム、より好ましくはニューラルネットワークに基づく。そのようなニューラルネットワークの一例は、「見るのは一度きり」、ＹＯＬＯである。

【0064】

本発明の一実施形態では、スマートデバイス１００は接続機能を備え、それによってデータベースに接続される。物体識別は、前記データベースによって提供されるデータに基づく。本発明の好ましい実施形態では、物体識別は画像分類アルゴリズムに基づく。

【0065】

図２ａ）は本発明の第１の実施形態による位置決め方法のフローチャートを示し、図２ｂ）は本発明の第２の実施形態による位置決め方法のフローチャートを示し、図２ｃ）は本発明の第３の実施形態による位置決め方法のフローチャートを示し、図２ｄ）は、本発明の第４の実施形態による位置決め方法のフローチャートを示す。

【0066】

本発明の第１の実施形態では、図２ａに示すように、第１のステップＳ１においてスマートデバイスの光センサから画像が取得される。画像において、位置決めされる物体はセンサの視野内にある、すなわち、物体は画像上にある。本発明の第３のステップＳ３によれば、１つまたは複数の物体が画像内で認識される。本発明の実施形態では、画像内の物体の認識のために、既知のコンピュータビジョンアルゴリズムが使用される。そのようなアルゴリズムの例は、ＹＯＬＯ～ＹＯＬＯｖ３、またはＫＣＦである。

【0067】

ＹＯＬＯは、上述したように、アルゴリズムがただ１つのカメラフレームに基づいて物体を決定することを可能にすることを説明する「見るのは一度きり」を指す。ＫＣＦとは、物体を追跡するためのアルゴリズムであるカーネル化相関フィルタを指す。両方のアルゴリズムは、物体認識および追跡に好ましい。しかしながら、同様のアルゴリズムも機能する。追跡のためのさらに好ましいアルゴリズムは、ＫＣＦ、ＭｅｄｉａｎＦｌｏｗ、ＴＬＤ、ブースティング、ＭＩＬおよびそれらのそれぞれの派生物である。さらに好ましい検出アルゴリズムは、ＹＯＬＯ、ＲｅｔｉｎａＮｅｔ、ＳＳＤおよびそれらのそれぞれの派生物である。

【0068】

物体が認識できない場合、次の画像が取得される、すなわちステップＳ１が繰り返される。物体が認識された場合、ステップＳ４、すなわち画像内の物体の２Ｄ位置の決定に進む。好ましくは、ステップＳ４における２Ｄ位置の決定と同じコンピュータビジョンアルゴリズムがＳ３における画像認識に使用される。２Ｄ位置は、画像内の物体の２Ｄ座標である。

【0069】

ステップＳ７において、３Ｄマップが取得される。本発明の実施形態では、ステップＳ７における３Ｄマップの前述の取得は、１つまたは複数のＡＲアルゴリズムに基づいて実行される。そのようなアルゴリズムの例は、ＡＲＣｏｒｅ、ＡＲＫｉｔ、またはＶｕｆｏｒｉａである。追加的または代替的に、３Ｄマップが事前ロードされる。

【0070】

本発明のステップＳ６において、２Ｄ位置が処理される。本発明の一実施形態によれば、画像内の２Ｄ位置は、光センサの位置に固定され、かつ３Ｄマップ上に投影された画像内の物体の２Ｄ位置の方向を指す視線ベクトルＬを決定するために使用される。

【0071】

好ましい実施形態では、視線ベクトルＬは、光センサから物体の中心を指す。
重心などの中心の異なる定義がある。各定義は、本発明に等しく適している。しかしながら、使用されるコンピュータビジョンアルゴリズムに応じて、「中心」の概念はアルゴリズムによって決定される。好ましい実施形態では、アルゴリズムは、物体全体を含む最小の長方形である長方形を提供する。物体の「中心」は、長方形の中心であると考えられる。

【0072】

異なる数学的方法を使用して、３Ｄマップへの２Ｄ画像の投影を定義することができる。好ましい実施形態では、各画像について、光センサの位置および／または向きも既知であり、および／または決定され、３Ｄモデルにおける光センサの視野を決定することができる。視線ベクトルは、中心画素およびその３Ｄマップへの投影に基づいて決定される。

【0073】

本発明の好ましい実施形態では、物体の３Ｄ位置は、ベクトルＬと３Ｄマップの平面Ｅとの交点Ｐ１として計算される。

【0074】

図２ｂに示される本発明の第２の実施形態では、物体の２Ｄ位置が追跡される。第２の実施形態は、第１の実施形態に基づく。なお、第１の実施形態のステップと本質的に同一であるすべてのステップについては説明を省略する。

【0075】

本発明のステップＳ２によれば、物体の位置、すなわち画像内の２Ｄ位置が決定されたかどうかが決定される。２Ｄ位置が決定された場合、上記のように、ステップＳ６、すなわち３Ｄ位置の決定に進む。２Ｄ位置が決定されていない場合、ステップＳ３、すなわち画像内の１つまたは複数の物体の認識に進む。ステップＳ２のプロセスの最初の反復では、答えは通常「いいえ」であるため、常にステップＳ３に続く。

【0076】

物体の追跡の場合、物体の変化する２Ｄ位置は、ステップＳ５において別個のコンピュータビジョンアルゴリズムによって追跡されている。Ｓ５の二重フレームは、任意選択的に独立して実行されるコンピュータビジョンアルゴリズムを示す。ステップＳ５は、現在のフレームおよび決定された２Ｄ位置、ならびに光センサによって提供される次の画像フレームを使用して、物体の追跡を続ける。

【0077】

図２ｃに示す第３の実施形態では、取得された１つまたは複数の画像から３Ｄマップを生成するために、ステップＳ７ａにおいて別個のＡＲアルゴリズムが使用される。第３の実施形態は、第１の実施形態および／または第２の実施形態に基づく。第１および／または第２の実施形態のステップと基本的に同一であるすべてのステップについては説明を省略する。

【0078】

ステップＳ７ａにおいて、視野の３ＤマップがＡＲアルゴリズムに基づいて生成される。好ましい実施形態では、ＡＲアルゴリズムは、独立して実行されるアルゴリズムとして動作する。上述したように、既知のＡＲアルゴリズムを使用することができ、および／または事前に計算された３Ｄマップを使用することができる。

【0079】

図２ｄに示す第４の実施形態では、処理を改善するために、ステップＳ８においてデータベースマッチが検索される。第４の実施形態は、第１の実施形態、第２の実施形態、および／または第３の実施形態に基づく。第１、第２、および／または第４の実施形態のステップと基本的に同一であるすべてのステップについては説明を省略する。

【0080】

本発明の好ましい実施形態では、画像内に物体が認識された場合、ステップＳ８において、認識された物体のマッチがデータベース内で検索される。マッチが見つからない場合、認識された物体とデータベースエントリとのマッチが見つかるまで、次の画像が取得される。

【0081】

ほとんどの物体は２次元物体ではないため、ステップＳ８において、３次元物体ジオメトリがデータベースから計算に再導入され、物体の点の真の位置がより正確に計算される。以上、補正について説明した。

【0082】

上述した４つの実施形態のすべてに適合する好ましい実施形態では、上述したプロセスは、光センサによって提供される各画像フレームについて繰り返される。任意選択的に、物体が光センサ範囲内に残っている場合、すなわち物体が「フレーム内」に残っている場合、ステップＳ３およびＳ４はスキップされ、物体が前のフレームにおいて光センサの範囲内になかった場合、ステップＳ３およびＳ４がトリガされる。言い換えると、追跡により２Ｄ位置を追跡することができた場合、物体を再び認識する必要はない。物体が新しい場合、または視野に再び入る場合、物体は再び認識される必要がある。

【0083】

本発明によれば、実物体とＡＲコンテンツとの間の相互作用が可能である。この相互作用は、例えば人間または機械の追跡において、様々な産業における多くの用途にとって興味深いものである。

【0084】

本発明の一実施形態では、遠隔制御対象物体のための汎用遠隔制御方法と３Ｄ測位方法とが組み合わされる。遠隔制御対象物体のための汎用遠隔制御方法は、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｒｅｍｏｔｅ Ｃｏｎｔｒｏｌｌｅｄ Ｏｂｊｅｃｔｓ」と題する特許出願、すなわち、本出願と共に出願され、参照により本明細書に組み込まれる代理人文献ＡＤ２５６９ ＥＰに詳細に記載されている。

【0085】

システムは、カメラおよび第２のコントローラを有するスマートデバイスを備える。第２のコントローラは、標準化されたインターフェースを介してスマートデバイスに接続される。第２のコントローラは、遠隔制御信号を遠隔制御対象物体に送信するように構成される。好ましい実施形態では、第２のコントローラは、スマートデバイスのポートに取り付けられるように構成され、かつ遠隔制御信号を遠隔制御対象物体に送信するようにさらに構成されたドングル型デバイスに設けられる。

【0086】

初期化段階では、スマートデバイスのカメラは、コンピュータビジョンアルゴリズムを介して遠隔制御対象物体を識別するために使用される。好ましくは、スマートデバイスはデータベースに接続され、コンピュータビジョンアルゴリズムは、データベースからのデータを利用して遠隔制御対象物体を識別する機械学習アルゴリズムである。

【0087】

遠隔制御対象物体が識別された場合、対応する遠隔制御情報がデータベースから受信され、遠隔制御情報に含まれる遠隔制御コマンドが３Ｄ測位方法を介して検証される。

【0088】

すなわち、スマートデバイスから第２のコントローラに遠隔制御コマンドが送信される。第２のコントローラは、対応する遠隔制御信号を生成し、遠隔制御信号を遠隔制御対象物体に送信する。あるいは、遠隔制御信号はスマートデバイスにおいて既に生成されており、第２のコントローラは、標準化されたインターフェースを介してスマートデバイスから遠隔制御信号を受信し、信号を遠隔制御対象物体に送信するだけである。

【0089】

遠隔制御コマンドを検証するために、スマートデバイスのカメラを使用して、移動を検出する、すなわち遠隔制御対象物体の位置の変化を検出する。言い換えると、スマートデバイスのカメラを行動検証手段として用いる。

【0090】

続いて、カメラから複数の画像が取得される。画像に基づいて、および拡張現実アルゴリズムに基づいて、画像内の空間の３Ｄマップが計算され、１つまたは複数の平面が３Ｄマップ内で識別される。３Ｄマップ内のカメラの３Ｄ位置は、スマートデバイスの位置決めユニットに基づいて決定される。追加的または代替的に、データベースから事前に計算された３Ｄマップが使用されてもよい。追加的または代替的に、３Ｄマップ内のカメラの３Ｄ位置は、画像に基づいて計算される。

【0091】

さらに、画像およびコンピュータビジョンアルゴリズムに基づいて、画像内の遠隔制御対象物体の複数の２Ｄ位置が決定される。２Ｄ位置の各々に基づいて、対応する３Ｄ位置が計算される。

【0092】

それぞれの３Ｄ位置は以下のように決定される。カメラの位置を起点とし、３Ｄマップ内の平面への遠隔制御対象物体の投影の２Ｄ位置を指すベクトルが３Ｄマップ内で計算される。３Ｄ位置は、前記ベクトルと３Ｄマップ内の前記平面との交差を決定することから計算される。各２Ｄ位置について、３Ｄ位置が計算される。

【0093】

複数の３Ｄ位置は、遠隔制御対象物体の軌道を定義する。軌道は、遠隔制御対象物体の移動を示す。移動は、遠隔制御コマンドを検証するために使用される。

【0094】

遠隔制御対象物体を識別できない場合、遠隔制御コマンドのヒューリスティック探索が実行される。同じカメラベースの移動検証方法が、遠隔制御対象物体の移動を識別するために使用される。

【0095】

動作段階では、ユーザは、スマートデバイスに駆動コマンドを入力する。スマートデバイスは、好ましくは所定のフォーマットに基づいて、前記駆動コマンドを第２のコントローラに送信することが好ましい。第２のコントローラは、ユーザの駆動コマンドに基づいて対応する遠隔制御信号を生成する。

【0096】

図３は、本発明の一実施形態による方法およびシステムを示す。この実施形態では、統合カメラを備えたスマートデバイス１００が使用される。ＲＣＯ１０１は、カメラ入力に基づいて識別される。スマートデバイス１００には、動作確認手段を持たない第２のコントローラ４００が接続されている。好ましくは、第２のコントローラ４００は、物理インターフェース、すなわちプラグインまたは有線接続を介して、より好ましくはＵＳＢまたはＬｉｇｈｔｎｉｎｇインターフェースを介してスマートデバイス１００に接続される。

【0097】

上述したように、第２のコントローラ４００は、ＲＣＯ１０１に遠隔制御信号を送信するように構成されている。ＲＣＯは、スマートデバイス１００のカメラの視野内にある。スマートデバイス１００は、上述したように、３Ｄ測位方法に基づいてＲＣＯ１０１の移動２０８を検出するように構成されている。

【0098】

上述の実施形態のいずれかと組み合わせることができる本発明の一実施形態では、検出された物体の位置特定は、物体に関する少なくとも１つのさらなる位置情報、好ましくは物体の高さセンサによって取得された高さ情報の使用に基づくか、またはそれによって改善される。言い換えると、検出された物体の位置特定は、物体で取得されたセンサデータに基づくか、またはそれによって改善される。前記センサデータに基づいて、仮想平面が生成される。仮想平面の概念は、検出装置のセンサ、好ましくは画像センサによって検出される標準的な２Ｄ平面を単に使用するだけにとどまらない。代わりに、検出された物体のセンサデータが使用される。

【0099】

本発明の一実施形態では、高さ検出が使用される。高さは、検出された物体において対応するセンサによって検出される。次に、検出された高さは、上述したように位置特定プロセスで使用される仮想平面を計算するために使用される。

【0100】

飛行物体、例えばドローンの位置特定のために、仮想平面は、ドローンに含まれるそれぞれの高さセンサから取得された高さ情報によって定義される。前記センサは、ＧＰＳセンサ、圧力センサ、超音波センサ、ＬＩＤＡＲ／ＲＡＤＡＲセンサおよび／または同様のセンサシステムであってもよい。

【0101】

本発明のさらなる実施形態では、検出された物体は、車、ラジオ／遠隔制御車、および／または玩具などの現実の物体である。位置特定は、非平面上で行われる。

【0102】

仮想平面は、少なくとも１組のセンサデータ、好ましくは高さセンサデータおよび／またはＩＭＵセンサデータによって近似される。基本的に、ドローン実施形態で説明したのと同じセンサを使用することができる。

【0103】

山状の面は、２つのデータ点によって定義される仮想平面によって近似され、より複雑な仮想平面形状は、近似に追加される任意の数のさらなるデータ点によって得られる。これは、表面が静的であるが非平面である任意のシナリオに適用可能である。

【0104】

本発明の一実施形態では、検出された物体は、未知の表面、すなわち表面モデルが存在しない表面に位置特定される。上述したように、検出された物体は現実の物体であってもよく、表面は山腹であってもよい。本発明の一実施形態では、仮想平面は、３Ｄ Ｂスプラインの使用に基づいて決定される。

【0105】

本発明の一実施形態では、異なるセンサデータが組み合わされる。好ましくは、さらなるデータポイントは、検出された物体と検出物体との間の検出された距離である。これは、検出領域を部分的に閉塞された物体にも拡張するために使用することができる。

【0106】

本発明の一実施形態では、検出された物体はレール上を移動している。言い換えると、検出された物体は、さらなる位置特定制約を受ける。すなわち、物体は、一般的な２次元表面上を移動しているだけでなく、レールの位置にも拘束されている。本発明によれば、物体は、上述のように２Ｄ画像データに基づいて位置特定され、仮想平面は加速度データに基づいて決定される。例えば、ローラーコースターは、好ましくは１往復からの加速度データのみによって決定することができる特殊な仮想２Ｄ表面上を移動する。

【0107】

本発明の一実施形態では、検出された物体は、３次元曲線を定義するために、センサデータの２つ以上の点を追跡することができる。上述のような２Ｄ画像追跡と組み合わせて、３Ｄ位置が決定される。この例は、地面までの距離および建物までの距離を追跡するために複数の超音波センサを使用するドローン、ならびに／または圧力センサおよび／もしくは飛行時間センサを使用して検出物体までの高さおよび距離を追跡するドローンである。

【0108】

本発明の一実施形態では、検出された物体は軌道内を移動している。時空間測地線上を移動する物体は、例えばスターセンサ、太陽センサなどの宇宙産業標準センサを用いて少なくとも１つのさらなる位置情報を追跡することができる。このデータに基づいて、仮想平面は、物体が移動している軌道のグループとして決定される。この仮想平面は、上述したように位置特定方法で使用される。これは、飛行ドローンと基本的に同じ実施形態であり、単にはるかに長い距離、より特殊なセンサ機器および数学を使用するに過ぎないことに留意されたい。

【0109】

本明細書で説明および例示されたものは、いくつかの変形形態と共に本発明の実施形態である。本明細書で使用される用語、説明および図は、例示のみを目的として記載されており、限定を意味するものではない。当業者であれば、すべての用語が特に断りのない限り最も広義かつ合理的な意味で用いられる以下の特許請求の範囲およびその均等物によって定義されることが意図されている本発明の精神および範囲内で多くの変形が可能であることを認識するであろう。

【図1】

【図2a】

【図2b】

【図2c】

【図2d】

【図3】

【国際調査報告】