特許 6845895 画像に基づく位置検出方法、装置、機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6845895

(24)【登録日】2021年3月2日

(45)【発行日】2021年3月24日

(54)【発明の名称】画像に基づく位置検出方法、装置、機器及び記憶媒体

(51)【国際特許分類】

   G01B 11/00 20060101AFI20210315BHJP

   G06T 7/70 20170101ALI20210315BHJP

【ＦＩ】

   G01B11/00 H

   G06T7/70 A

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2019-123629(P2019-123629)

(22)【出願日】2019年7月2日

(65)【公開番号】特開2019-194616(P2019-194616A)

(43)【公開日】2019年11月7日

【審査請求日】2019年7月2日

(31)【優先権主張番号】201810717769.3

(32)【優先日】2018年7月3日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】513224353

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド

(74)【代理人】

【識別番号】100106297

【弁理士】

【氏名又は名称】伊藤 克博

(72)【発明者】

【氏名】リー、 シュビン

(72)【発明者】

【氏名】ワン、 ジエン

(72)【発明者】

【氏名】ウエン、 シレイ

(72)【発明者】

【氏名】ディン、 エルイ

(72)【発明者】

【氏名】サン、 ハオ

(72)【発明者】

【氏名】カン、 ラ

(72)【発明者】

【氏名】バオ、 インズ

(72)【発明者】

【氏名】チェン、 ミンギュ

(72)【発明者】

【氏名】チー、 ジージェン

(72)【発明者】

【氏名】リウ、 ズユ

(72)【発明者】

【氏名】ジャン、 チャンユエ

【審査官】 續山 浩二

(56)【参考文献】

【文献】 国際公開第２０１８／１０１０８０（ＷＯ，Ａ１）

【文献】 特開２０１６−００１１８１（ＪＰ，Ａ）

【文献】 特開２０１８−０７７１９６（ＪＰ，Ａ）

【文献】 特開２０１３−０８３５０５（ＪＰ，Ａ）

【文献】 米国特許第０９１０９８８６（ＵＳ，Ｂ１）

【文献】 特開２０１２−０６８９３７（ＪＰ，Ａ）

【文献】 特開２０１２−０５７９７４（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０８０５３４６９（ＣＮ，Ａ）

【文献】 米国特許出願公開第２０１３／０１６２６４３（ＵＳ，Ａ１）

【文献】 SUSANTO, Wandi, et al.，”3D Object Detection with Multiple Kinects”，Lecture Notes in Computer Science，[online]，ドイツ，Springer，２０１２年，Vol. 7584，p.93−102，[検索日 2020.08.13]，インターネット ＜URL：https://link.springer.com/chapter/10.1007/978-3-642-33868-7_10＞，＜DOI https://doi.org/10.1007/978-3-642-33868-7_10＞

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

画像に基づく位置検出方法であって、
異なる方位に配置され時間が同期化している複数の撮影機器が同一時刻に撮影して得られた、対象物体を含む第１の深度画像を取得するステップと、
前記複数の撮影機器が撮影して得られた実空間において対象物体がない場合の第２の深度画像を基準画像として取得するステップと、
各撮影機器ごとに、対応する第１の深度画像の深度情報と対応する基準画像の深度情報との間の差異に基づいて、前記対象物体の前記対応する第１の深度画像での２次元位置を決定するステップと、
前記対象物体の各第１の深度画像での２次元位置、及び前記複数の撮影機器における各撮影機器の内部パラメータと外部パラメータに基づいて、前記対象物体の前記実空間での３次元位置を決定するステップと、
幾何学理論を用いて、前記対象物体の前記実空間での３次元位置、及び前記各撮影機器の外部パラメータと内部パラメータに基づいて、前記対象物体の各撮影機器が撮影した各前記第１の深度画像での２次元位置を補正するステップと、を含むことを特徴とする画像に基づく位置検出方法。

【請求項2】

前記方法は、さらに、前記対象物体がほかの物体により遮断される場合、前記対象物体の前記実空間での３次元位置、及び前記各撮影機器の前記内部パラメータと前記外部パラメータに基づいて、前記対象物体の画像での前記２次元位置を決定することを含むことを特徴とする請求項１に記載の方法。

【請求項3】

各撮影機器の内部パラメータは、焦点距離、視野（ＦＯＶ）、及び解像度のうちの少なくとも１つを含み、各撮影機器の外部パラメータは、座標位置、向き及びピッチ角のうちの少なくとも１つを含むことを特徴とする請求項１又は２に記載の方法。

【請求項4】

画像に基づく位置検出装置であって、
異なる方位に配置され時間が同期化している複数の撮影機器が同一時刻に撮影して得られた、対象物体を含む第１の深度画像を取得するための第１の取得モジュールと、
前記複数の撮影機器が撮影して得られた実空間において対象物体がない場合の第２の深度画像を基準画像として取得するための第２の取得モジュールと、
各撮影機器ごとに、対応する第１の深度画像の深度情報と対応する基準画像の深度情報との間の差異に基づいて、前記対象物体の前記対応する第１の深度画像での２次元位置を決定するための第２の検出サブモジュールと、
前記対象物体の各第１の深度画像での２次元位置、及び前記複数の撮影機器における各撮影機器の内部パラメータと外部パラメータに基づいて、前記対象物体の前記実空間での３次元位置を決定するための決定モジュールと、
幾何学理論を用いて、前記対象物体の前記実空間での３次元位置、及び各撮影機器の外部パラメータと内部パラメータに基づいて、前記対象物体の各撮影機器が撮影した各前記第１の深度画像での２次元位置を補正するための補正モジュールと、を備えることを特徴とする画像に基づく位置検出装置。

【請求項5】

前記決定モジュールは、さらに、前記対象物体がほかの物体により遮断される場合、前記対象物体の前記実空間での３次元位置、及び前記各撮影機器の前記内部パラメータと前記外部パラメータに基づいて、前記対象物体の画像での前記２次元位置を決定することに用いられることを含むことを特徴とする請求項４に記載の装置。

【請求項6】

各撮影機器の内部パラメータは、焦点距離、視野（ＦＯＶ）、及び解像度のうちの少なくとも１つを含み、各撮影機器の外部パラメータは、座標位置、向き及びピッチ角のうちの少なくとも１つを含むことを特徴とする請求項４又は５に記載の装置。

【請求項7】

コンピュータ機器であって、
１つ又は複数のプロセッサと、
前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに請求項１〜３のいずれか１項に記載の方法を実現させる１つ又は複数のプログラムを記憶するための記憶装置とを含むことを特徴とするコンピュータ機器。

【請求項8】

コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、当該プログラムがプロセッサにより実行されると、請求項１〜３のいずれか１項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願の実施例は、人工知能の技術分野に関し、特に画像に基づく位置検出方法、装置、機器及び記憶媒体に関する。

【背景技術】

【0002】

社会が知能化へ進んでいるに伴い、無人スーパーマーケットが新しい小売手段として幅広く注目されてきた。現在、無人スーパーマーケットの関連技術はあまり成熟しておらず、特に、如何にマルチカメラで顧客の位置を判断し位置追跡を持続的に行うかは課題となっている。

【0003】

従来、画像に基づく測位方法は主に、単一カメラが撮影したピクチャーを基に、予め訓練した検出モデルにより画像から対象物体が位置する２次元位置を検出して取得し、当該２次元位置に基づいて物体の位置を測位する。しかしながら、対象物体が遮断されたり、対象物体のピクチャーにおける２次元位置の検出が不正確であったりする場合、測位不可又は不正確な測位の問題が生じやすい。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願の実施例は、マルチカメラに基づく３次元測位手法を実現して、物体測位の信頼性及び正確性を向上させるための画像に基づく位置検出方法、装置、機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本願の実施例の第１態様は、異なる方位に配置され時間が同期化している複数の撮影機器が同一時刻に撮影して得られた画像を取得するステップと、対象物体の各画像での２次元位置を検出するステップと、前記対象物体の各画像での２次元位置、及び前記複数の撮影機器の内部パラメータと外部パラメータに基づいて、前記対象物体の実空間での３次元位置を決定するステップとを含む画像に基づく位置検出方法を提供する。

【0006】

本願の実施例の第２態様は、異なる方位に配置され時間が同期化している複数の撮影機器が同一時刻に撮影して得られた画像を取得するための第１の取得モジュールと、対象物体の各画像での２次元位置を検出するための検出モジュールと、前記対象物体の各画像での２次元位置、及び前記複数の撮影機器の内部パラメータと外部パラメータに基づいて、前記対象物体の実空間での３次元位置を決定するための決定モジュールとを備える画像に基づく位置検出装置を提供する。

【0007】

本願の実施例の第３態様は、１つ又は複数のプロセッサと、前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに上記第１態様の前記方法を実現させる１つ又は複数のプログラムを記憶するための記憶装置とを備えるコンピュータ機器を提供する。

【0008】

本願の実施例の第４態様は、プロセッサにより実行されると上記第１態様の前記方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。

【発明の効果】

【0009】

以上の各態様によれば、本願の実施例は、異なる方位に配置された複数の撮影機器が同一時刻に撮影して得られた画像を取得し、対象物体の各画像での２次元位置を検出し、検出した対象物体の各画像での２次元位置及び複数の撮影機器の内部パラメータと外部パラメータに基づいて対象物体の実空間での３次元位置を決定する。これにより、本願の実施例は、対象物体の複数の画像における２次元位置を組み合わせることで、対象物体の実空間での３次元位置を決定するため、対象物体がある画像においてほかの物体により遮断された場合においても、当該対象物体のほかの画像での２次元位置に基づいて正確な３次元位置を取得することができる。また、複数の画像に基づいて３次元位置を決定する手段は、単一画像における２次元位置の認識の不正確さにより３次元位置の測位が不正確になるという問題をも回避し、物体測位の正確性及び信頼性を向上させることができる。

【0010】

なお、上記発明の概要において説明された内容は、本願の実施例のキーとなる特徴又は重要な特徴を限定することも、本願の範囲を制限することも意図しない。本願のほかの特徴は以下の説明により理解しやすくなる。

【図面の簡単な説明】

【0011】

【図1】本願の実施例による画像に基づく位置検出方法のフローチャートである。

【図2】本願の実施例による画像に基づく位置検出方法のフローチャートである。

【図3】本願の実施例による画像に基づく位置検出方法のフローチャートである。

【図4】本願の実施例による画像に基づく位置検出装置の構造概略図である。

【図5】本願の実施例による検出モジュール４２の構造概略図である。

【図6】本願の実施例による画像に基づく位置検出装置の構造概略図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら本願の実施例をさらに詳細に説明する。図面に本願のいくつかの実施例が示されているが、なお、本願は様々な形態で実現することができ、ここで説明する実施例に制限されるものではなく、むしろ、これらの実施例は本願のより徹底的且つ完全な理解のために提供されている。なお、本願の図面及び実施例は例示的なものに過ぎず、本願の保護範囲を制限するものではない。

【0013】

本願の実施例の明細書、特許請求の範囲及び上記図面における用語「第１」、「第２」、「第３」、「第４」など（存在する場合）は類似した対象を区別するためのものであり、必ずしも特定の順番又は優先順位を説明すると限らない。なお、ここで説明される本願の実施例が例えばここで図示又は説明される順番以外の順番に従って実施できるように、このように使用されるデータは適宜交換してもよい。また、用語「含む」、「有する」及びこれらの任意の変形は、非排他的な包含をカバーすることを意図し、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は必ずしも明確に挙げられたステップ又はユニットに制限されるものではなく、明確に挙げられていない又はこれらのプロセス、方法、製品又は機器に固有のほかのステップ又はユニットを含んでもよい。

【0014】

無人スーパーマーケットなどの新しい小売場面では、如何に複数のカメラによって顧客の位置を判断し持続的に追跡するかは技術的に困難である。ショッピングプロセスにわたって顧客と顧客が取る商品とを関連付けて、持続的に顧客の位置を取得することが必要とされる。現在、人体位置の判断方法としては、主に予め訓練されて得られた検出モデルに基づいて、画像から人体及び／又は四肢が位置する２次元位置を検出して取得し、当該２次元位置に基づいて測位を行う。しかしながら、上記２次元位置がモデルの正確性に非常に依存して決定されるため、誤検出又はほかの物体による対象物体の遮断の場合、２次元位置の検出が不正確になり、その結果、測位の失敗又は測位の不正確さの問題が生じやすい。

【0015】

従来技術に存在する上記問題に対して、本願の実施例は、画像に基づく位置検出方法を提供し、当該方法は、複数の撮影機器が同一時刻に異なる方位で撮影して得られた複数の画像での対象物体の２次元位置に基づいて、複数の撮影機器の内部パラメータと外部パラメータと組み合わせて、対象物体の３次元位置を決定する。したがって、ある画像において対象物体がほかの物体により遮断された場合においても、当該対象物体のほかの画像での２次元位置に基づいて正確な３次元位置を取得できる。また、複数の画像に基づいて３次元位置を決定する手段は、単一画像における２次元位置の認識の不正確さにより３次元位置の測位が不正確になるという問題をも回避し、物体測位の正確性及び信頼性を向上させることができる。

【0016】

以下、図面を参照しながら、本願の実施例の技術案を具体的に説明する。

【0017】

図１は本願の実施例による画像に基づく位置検出方法のフローチャートであり、当該方法は、画像に基づく位置検出装置（以下、位置検出装置と略称）によって実行できる。図１に示されるように、当該方法は、ステップＳ１１〜Ｓ１３を含む。

【0018】

Ｓ１１、異なる方位に配置され時間が同期化している複数の撮影機器が同一時刻に撮影して得られた画像を取得する。

【0019】

本実施例の前記複数の撮影機器は、同一の標定物に合わせてもよいし、それぞれ異なる標定物に合わせてもよく、各撮影機器の位置、向き及び撮影角度が必要に応じて設定できる。また、当該複数の撮影機器は、ネットワークタイムを読み取ることで時間を同期化させてもよいし、特定装置が送信した同期化信号を受信することで同期化させてもよいが、本実施例では、特に限定しない。

【0020】

本実施例に係る撮影機器が撮影した画像はＲＧＢ画像又は深度画像である。

【0021】

Ｓ１２、対象物体の各画像での２次元位置を検出する。

【0022】

本実施例における対象物体は、人体であってもよいし、ほかの生物体又は物体であってもよい。

【0023】

本実施例では、対象物体の各画像での２次元位置を検出する際、少なくとも下記方法のうちの１種を採用できる。

【0024】

利用可能な方法の１つとして、予め設定された重要点検出モデルに基づいて、各画像における対象物体の重要点を検出し、対象物体の重要点の各画像での分布領域を対象物体の各画像での２次元位置として決定する。好ましくは、上記重要点検出モデルは予め訓練して得られたニューラルネットワークモデルであってよい。本実施例の前記重要点は、対象物体上のいずれかの点であり得、例えば、対象物体が人間である場合、重要点は人体の手での点、腕での点、足での点などとしてもよいが、これらの位置での点に制限されない。

【0025】

別の利用可能な方法として、予め設定された四肢検出モデルに基づいて、対象物体での各部分（例えば、人体の胴体や頭部など）を検出してよい。対象物体の各部分の各画像での２次元位置を決定し、各画像において対象物体の各部分が位置する２次元位置に基づいて、各画像において対象物体全体が位置する２次元位置を決定する。

【0026】

さらなる利用可能な方法として、画像において重要点検出と対象物体での各部分の検出の両方を行う。例えば、利用可能な一形態では、まず、各画像において対象物体での各部分を検出して、対象物体の各部分の各画像での２次元位置を取得し、対象物体の各部分の各画像での２次元位置に基づいて、対象物体全体の各画像でのおおよその領域の位置を決定し、次に、上記おおよその領域の位置において重要点検出を行い、両方の検出結果に基づいて対象物体の各画像での正確な２次元位置を決定する。このような手段によれば、重要点の検出漏れ又は誤検出により測位が不正確になるという問題を回避するとともに、重要点検出の計算量を減少させて、検出効率を向上させることができる。別の利用可能な形態では、各画像において重要点検出及び対象物体の各部分の検出を同時に行い、各画像における対象物体での重要点の分布領域、及び対象物体の各部分が位置する領域の組み合わせに基づいて、対象物体の各画像での２次元位置を決定し、重要点の誤検出又は検出漏れによる第１の領域の位置決定への干渉を解消する。

【0027】

さらなる利用可能な方法として、予め設定されたエッジ検出方法によって、対象物体の各画像での２次元位置を検出できる。

【0028】

Ｓ１３、前記対象物体の各画像での２次元位置、及び前記複数の撮影機器の内部パラメータと外部パラメータに基づいて、前記対象物体の実空間での３次元位置を決定する。

【0029】

本実施例の前記撮影機器の内部パラメータには、焦点距離、視野（ＦＯＶ）、解像度が含まれるが、これらに制限されない。本実施例の前記撮影機器の外部パラメータには、座標位置、向き及びピッチ角が含まれるが、これらに制限されない。

【0030】

対象物体の各画像での２次元位置が既知である場合、各撮影機器の内部パラメータ及び外部パラメータに基づいて、従来の幾何学理論と組み合わせることで、対象物体の実空間での３次元位置を取得できる。

【0031】

同様に、対象物体の実空間での３次元位置を取得した後、上記撮影して得られた画像において対象物体がほかの物体により遮断されることによって、対象物体の当該画像での２次元位置を直接判断できない場合、対象物体の３次元位置、及び撮影機器が当該画像を撮影するときの内部パラメータと外部パラメータに基づいて、対象物体の当該画像での位置を逆方向に決定することができ、このようにして、対象物体が画像においてほかの物体により遮断された場合においても、対象物体の実際な３次元位置に基づいて、対象物体の画像での位置を推定することができ、それによって、対象物体が画像において遮断されることにより測位できないという問題を解決する。又は、対象物体の３次元位置を取得した後、各撮影機器の内部パラメータと外部パラメータに基づいて、幾何学的原理と組み合わせることで、対象物体の各画像での２次元位置を補正し、それによって、２次元位置測位の正確性を向上させてもよい。

【0032】

本実施例では、異なる方位に配置された複数の撮影機器が同一時刻に撮影して得られた画像を取得し、対象物体の各画像での２次元位置を検出し、検出して得られた対象物体の各画像での２次元位置及び複数の撮影機器の内部パラメータと外部パラメータに基づいて、対象物体の実空間での３次元位置を決定する。これにより、本実施例では、対象物体の複数の画像での２次元位置を組み合わせることで、対象物体の実空間での３次元位置を決定するため、対象物体がある画像においてほかの物体により遮断された場合においても、当該対象物体のほかの画像での２次元位置に基づいて正確な３次元位置を取得することができる。また、複数の画像に基づいて３次元位置を決定する手段は、単一画像における２次元位置の認識の不正確さにより３次元位置の測位が不正確になるという問題を回避し、物体測位の正確性及び信頼性を向上させることができる。

【0033】

以下、図面を参照しながら、上記実施例をさらに最適化させて拡張させる。

【0034】

図２は、本願の実施例による画像に基づく位置検出方法のフローチャートであり、図２に示されるように、図１の実施例を基に、当該方法はステップＳ２１〜Ｓ２３を含む。

【0035】

Ｓ２１、異なる方位に配置され時間が同期化している複数の撮影機器が同一時刻に撮影して得られた画像を取得する。

【0036】

Ｓ２２、予め設定された検出モデルに基づいて、対象物体の各画像での２次元位置を検出する。

【0037】

一例として、本実施例における検出モデルは、予め訓練して得られたニューラルネットワークモデルであってよく、当該ニューラルネットワークモデルは、対象物体での各部分の位置を検出し、対象物体の各部分の各画像での位置を取得した後、各画像において対象物体の各部分が位置する領域を直列接続して対象物体全体の各画像での２次元位置を取得することに用いられることができる。つまり、本実施例は、予め設定されたモデルに基づいて、対象物体の各部分の各画像での位置の領域を検出し、且つ各画像において対象物体の各部分が位置する２次元位置に基づいて、各画像において対象物体全体が位置する２次元位置を決定することができる。

【0038】

上記検出モデルの正確性を向上させるために、モデル訓練を行うときに、モデルでの異なるネットワーク層が対象物体での異なる部分を検出するように訓練できる。例えば、モデルでの比較的下層のネットワーク層が対象物体での小寸法の部分を検出し、モデルでの比較的上層のネットワーク層が対象物体での大寸法の部分を検出するように訓練することができる。

【0039】

上記例は、本実施例の技術案を明瞭に説明するために過ぎず、本願を一意に限定するものではない。

【0040】

Ｓ２３、前記対象物体の各画像での２次元位置、及び前記複数の撮影機器の内部パラメータと外部パラメータに基づいて、前記対象物体の実空間での３次元位置を決定する。

【0041】

本実施例では、予め設定された検出モデルによって対象物体の各画像での２次元位置を検出し、対象物体の各画像での２次元位置、及び各撮影機器の内部パラメータと外部パラメータに基づいて、対象物体の実空間での３次元位置を決定することによって、対象物体の２次元位置の認識効率及び正確性を向上させるとともに、本実施例では、対象物体の複数の画像での２次元位置に基づいて、対象物体の実空間での３次元位置を決定するという技術案は、単一画像に基づいて測位する場合、対象物体が画像において遮断されることによって、正確に測位できないという問題を解決できる。

【0042】

図３は、本願の実施例による画像に基づく位置検出方法のフローチャートであり、図３に示されるように、図１の実施例を基に、当該方法はステップＳ３１〜Ｓ３４を含む。

【0043】

Ｓ３１、異なる方位に配置され時間が同期化している複数の撮影機器が同一時刻に撮影して得られた深度画像を取得する。

【0044】

Ｓ３２、前記複数の撮影機器が撮影して得られた実空間において対象物体がない場合の深度画像を基準画像として取得する。

【0045】

Ｓ３３、各撮影機器ごとに、前記撮影機器が前記時刻に撮影した深度画像の深度情報と前記撮影機器が撮影した基準画像の深度情報との間の差異に基づいて、前記対象物体の各画像での２次元位置を決定する。

【0046】

Ｓ３４、前記対象物体の各画像での２次元位置、及び前記複数の撮影機器の内部パラメータと外部パラメータに基づいて、前記対象物体の実空間での３次元位置を決定する。

【0047】

本実施例における撮影機器が深度カメラであってもよく、当該撮影機器が撮影した画像が深度画像である。

【0048】

対象物体が人体である場合、まず、撮影機器が撮影した人体を含む深度画像、及び撮影機器が撮影した場面に人体がない画像を取得し、同一場面に人体を含むときの画像の深度情報と人体を含まないときの画像の深度情報とに差異があるため、両方の深度情報の間の差異に基づいて人体の画像での２次元領域を決定することができ、次に、人体の複数の画像での２次元領域、及び各撮影機器の内部パラメータと外部パラメータに基づいて、幾何学的方法により人体の実場面での３次元位置を取得することができる。

【0049】

勿論、上記例示は人間を例にして行われる例示的な説明に過ぎず、本願を一意に限定するものではなく、実際には、上記方法は人間を含める任意の物体に適用できる。

【0050】

本実施例は、異なる方位に位置する複数の撮影機器が同一時刻に撮影して得られた深度画像、及び当該複数の撮影機器が撮影して得られた基準画像を取得し、各深度画像の深度情報とそれに対応した基準画像の深度情報との間の差異に基づいて、対象物体の各深度画像での２次元位置を決定し、それによって、対象物体の２次元位置の測位の正確性を向上させ、対象物体の３次元位置の測位を確保することができる。

【0051】

図４は、本願の実施例による画像に基づく位置検出装置の構造概略図であり、図４に示されるように、当該装置４０は、
異なる方位に配置され時間が同期化している複数の撮影機器が同一時刻に撮影して得られた画像を取得するための第１の取得モジュール４１と、
対象物体の各画像での２次元位置を検出するための検出モジュール４２と、
前記対象物体の各画像での２次元位置、及び前記複数の撮影機器の内部パラメータと外部パラメータに基づいて、前記対象物体の実空間での３次元位置を決定するための決定モジュール４３とを備える。

【0052】

一つの利用可能な設計では、前記画像は深度画像を含む。

【0053】

別の利用可能な設計では、前記装置はさらに、
前記対象物体の実空間での３次元位置、及び各撮影機器の外部パラメータと内部パラメータに基づいて、前記対象物体の各撮影機器が撮影した画像での２次元位置を補正するための補正モジュールを備える。

【0054】

本実施例による装置は、図１の実施例の方法の実行に適用でき、その実行手段及び有益な効果が類似したため、ここで詳細な説明を省略する。

【0055】

図５は、本願の実施例による検出モジュール４２の構造概略図であり、図５に示されるように、図４の実施例を基に、検出モジュール４２は、
予め設定された検出モデルに基づいて、対象物体の各画像での２次元位置を検出するための第１の検出サブモジュール４２１を備える。

【0056】

一つの利用可能な設計では、前記第１の検出サブモジュール４２１は、具体的には、
予め設定された検出モデルに基づいて、各画像において前記対象物体の各部分が位置する２次元位置を検出し、
各画像において前記対象物体の各部分が位置する２次元位置に基づいて、各画像において前記対象物体全体が位置する２次元位置を決定することに用いられる。

【0057】

本実施例による装置は、図２の実施例の方法の実行に適用でき、その実行手段及び有益な効果が類似したため、ここで詳細な説明を省略する。

【0058】

図６は、本願の実施例による画像に基づく位置検出装置の構造概略図であり、図６に示されるように、図４の実施例を基に、前記装置４０はさらに、
前記複数の撮影機器が撮影して得られた実空間において対象物体がない場合の深度画像を基準画像として取得するための第２の取得モジュール４４を備え、
前記検出モジュール４２は、
各撮影機器ごとに、前記撮影機器が前記時刻に撮影した深度画像の深度情報と前記撮影機器が撮影した基準画像の深度情報との間の差異に基づいて、前記対象物体の各画像での２次元位置を決定するための第２の検出サブモジュール４２２を備える。

【0059】

本実施例による装置は、図３の実施例の方法の実行に適用でき、その実行手段及び有益な効果が類似したため、ここで詳細な説明を省略する。

【0060】

本願の実施例はさらに、１つ又は複数のプロセッサと、前記１つ又は複数のプロセッサにより実行されると前記１つ又は複数のプロセッサに上記いずれかの実施例の前記方法を実現させる１つ又は複数のプログラムを記憶するための記憶装置とを備えるコンピュータ機器を提供する。

【0061】

本願の実施例はさらに、プロセッサにより実行されると上記いずれかの実施例の前記方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。

【0062】

本明細書において、以上説明した機能は、少なくとも部分的に１つ又は複数のハードウェアロジックコンポーネントにより実行できる。例えば、使用可能な例示的なハードウェアロジックコンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジック機械（ＣＰＬＤ）などを含むが、それらに制限されない。

【0063】

本開示の方法を実施するためのプログラムコードは１つ又は複数のプログラミング言語の任意の組み合わせを用いてプログラミングできる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又はほかのプログラマブルデータ処理装置のプロセッサ又はコントローラに提供でき、プログラムコードがプロセッサ又はコントローラにより実行されると、フローチャート及び／又はブロック図に規定された機能／操作が実施される。プログラムコードは、完全に機械において実行されてもよく、部分的に機械において実行されてもよく、独立したソフトウェアパッケージとして部分的に機械において実行され且つ部分的にリモート機械において実行されてもよく、又は完全にリモート機械又はサーバーにおいて実行されてもよい。

【0064】

本明細書において、機械可読媒体は物理的な媒体であってよく、命令実行システム、装置又は機器が使用した又は命令実行システム、装置又は機器と組み合わせて使用するプログラムを含んだり記憶したりすることができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であり得る。機械可読媒体は、電子、磁性、光学、電磁気、赤外線、又は半導体のシステム、装置又は機器、又は上記内容の任意の適切な組み合わせを含むが、それらに制限されない。機械可読記憶媒体のさらなる具体例には、１つ又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光学式記憶機器、磁気記憶機器、又は上記内容の任意の適切な組み合わせが含まれる。

【0065】

また、特定の順番に従って各操作を説明したが、このような操作が示された特定の順序に従って又は順次実行されるか、又は所望の結果を達成させるために図示されたすべての操作が実行されることが要求されると理解すべきである。マルチタスク処理および並列処理は、特定の状況では有益な場合がある。同様に、上記の記述では複数の詳細が説明されたが、本開示の範囲を制限するものとして理解できない。別々の実施例の文脈で説明されているいくつかの特徴は、単一の実施形態において組み合わせて実施することもできる。逆に、単一の実施形態の文脈で説明されている様々な特徴は、個別にまたは任意の適切なサブ組み合わせの形で複数の実施形態において実施することもできる。

【0066】

本主旨は構造特徴及び／又は方法の理論的な動作に特有の言語で説明されているが、添付の特許請求の範囲により限定された主旨は必ずしも上記で説明された特定の特徴又は動作に限定されない。むしろ、上記で説明された特定の特徴及び動作は単に特許請求の範囲を実施するための例示的な形態に過ぎない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】