特許 7509897 深度画像生成方法及び装置、基準画像生成方法及び装置、電子機器、ならびにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-24

(45)【発行日】2024-07-02

(54)【発明の名称】深度画像生成方法及び装置、基準画像生成方法及び装置、電子機器、ならびにコンピュータプログラム

(51)【国際特許分類】

   G06T 7/521 20170101AFI20240625BHJP

   G06V 20/64 20220101ALI20240625BHJP

   G06V 10/145 20220101ALI20240625BHJP

【ＦＩ】

G06T7/521

G06V20/64

G06V10/145

【請求項の数】 19

(21)【出願番号】P 2022548830

(86)(22)【出願日】2021-06-16

(65)【公表番号】

(43)【公表日】2023-04-27

(86)【国際出願番号】 CN2021100350

(87)【国際公開番号】W WO2022022136

(87)【国際公開日】2022-02-03

【審査請求日】2022-09-13

(31)【優先権主張番号】202010739666.4

(32)【優先日】2020-07-28

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ホン，ジェミン

(72)【発明者】

【氏名】ワン，ジュン

(72)【発明者】

【氏名】ワン，シャオミン

(72)【発明者】

【氏名】グオ，ランジェン

【審査官】松浦 功

(56)【参考文献】

【文献】特開平０７－２６０４５１（ＪＰ，Ａ）

【文献】特開２０１３－０８８２６１（ＪＰ，Ａ）

【文献】国際公開第２０１７／１７５３４１（ＷＯ，Ａ１）

【文献】米国特許第０９３６１６９８（ＵＳ，Ｂ１）

【文献】中国特許出願公開第１０８７１１１６７（ＣＮ，Ａ）

【文献】中国特許出願公開第１０６８７５４３５（ＣＮ，Ａ）

【文献】中国特許出願公開第１０５３０６９２２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｔ １／００

Ｇ０１Ｂ １１／００ －１１／３０

(57)【特許請求の範囲】

【請求項1】

電子機器が実行する深度画像生成方法であって、
構造化光を基準平面に放射し、画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するステップと、
前記構造化光をターゲットオブジェクトに放射し、前記第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するステップと、
前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップとを含み、
前記第１の有効画素は前記画像センサーの指定された領域にある有効画素であり、前記第２の有効画素は前記指定された領域外にある有効画素である、
ことを特徴とする方法。

【請求項2】

前記指定された領域は前記画像センサーの画像ウィンドウ領域である、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることは、
前記画像センサーの前記第１の有効画素、及び全ての前記第２の有効画素を使用して前記基準平面に対してイメージングするステップを含む、
ことを特徴とする請求項１に記載の方法。

【請求項4】

前記画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることは、
前記画像センサーの前記第１の有効画素、及び異なる数の前記第２の有効画素を使用して前記基準平面に対してイメージングすることで、サイズが異なる少なくとも２つの基準画像を取得するステップを含み、
前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップは、
前記サイズが異なる少なくとも２つの基準画像から被選択基準画像を決定するステップと、前記ターゲット画像及び前記被選択基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップとを含む、
ことを特徴とする請求項１に記載の方法。

【請求項5】

前記サイズが異なる少なくとも２つの基準画像から被選択基準画像を決定するステップは、
前記ターゲットオブジェクトから前記基準平面までの距離を取得するステップと、
前記ターゲットオブジェクトから前記基準平面までの距離に基づいて、前記サイズが異なる少なくとも２つの基準画像から前記被選択基準画像を決定するステップとを含む、
ことを特徴とする請求項４に記載の方法。

【請求項6】

前記被選択基準画像の前記サイズは、前記ターゲットオブジェクトから前記基準平面までの距離と正の相関関係にある、
ことを特徴とする請求項５に記載の方法。

【請求項7】

前記サイズが異なる少なくとも２つの基準画像から前記被選択基準画像を決定するステップは、
前記ターゲット画像での前記ターゲットオブジェクトの位置を決定するステップと、
前記ターゲット画像での前記ターゲットオブジェクトの位置に基づいて、前記サイズが異なる少なくとも２つの基準画像から前記被選択基準画像を決定するステップとを含む、
ことを特徴とする請求項４に記載の方法。

【請求項8】

前記基準画像を指定された記憶位置に予め記憶するステップをさらに含み、
前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップは、
前記指定された記憶位置から前記基準画像を読み取るステップと、前記ターゲット画像、及び読み取られた前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップとを含む、
ことを特徴とする請求項１に記載の方法。

【請求項9】

前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップは、
前記ターゲット画像中のターゲット画素に対して、前記基準画像においてマッチングを行うステップと、
前記基準画像でのマッチングされた画素の位置に基づいて、前記ターゲット画素のオフセット量を決定するステップと、
前記ターゲット画素のオフセット量に基づいて、前記ターゲット画素に対応する深度情報を計算するステップと、
各前記ターゲット画素に対応する深度情報を使用して前記深度画像を生成するステップとを含む、
ことを特徴とする請求項１～７の何れか１項に記載の方法。

【請求項10】

前記ターゲット画像中のターゲット画素に対して、前記基準画像においてマッチングを行う前に、
前記基準画像及び前記ターゲット画像に対して２値化処理を行うステップをさらに含む、
ことを特徴とする請求項８に記載の方法。

【請求項11】

深度画像生成方法であって、
構造化光をターゲットオブジェクトに放射し、画像センサーの第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するステップと、
前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップとを含み、
前記基準画像は、前記構造化光を基準平面に放射し、前記画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで取得され、
前記第１の有効画素は前記画像センサーの指定された領域にある有効画素であり、前記第２の有効画素は前記指定された領域外にある有効画素である、
ことを特徴とする方法。

【請求項12】

基準画像生成方法であって、
構造化光を基準平面に放射し、画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面をイメージングすることで、基準画像を取得するステップを含み、
前記第１の有効画素は、前記構造化光をターゲットオブジェクトに対して放射し、前記ターゲットオブジェクトに対してイメージングすることでターゲット画像を取得し、前記ターゲット画像及び前記基準画像に基づいて前記ターゲットオブジェクトの深度画像を取得する際に使用される有効画素であり、
前記第１の有効画素は前記画像センサーの指定された領域にある有効画素であり、前記第２の有効画素は前記指定された領域外にある有効画素である、
ことを特徴とする方法。

【請求項13】

深度画像生成装置であって、
構造化光を基準平面に放射し、画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するための基準画像生成モジュールと、
前記構造化光をターゲットオブジェクトに放射し、前記第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するためのターゲット画像取得モジュールと、
前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するための深度画像生成モジュールとを含み、
前記第１の有効画素は前記画像センサーの指定された領域にある有効画素であり、前記第２の有効画素は前記指定された領域外にある有効画素である、
ことを特徴とする装置。

【請求項14】

前記基準画像生成モジュールは、前記画像センサーの前記第１の有効画素及び全ての前記第２の有効画素を使用して前記基準平面に対してイメージングする、
ことを特徴とする請求項１３に記載の装置。

【請求項15】

前記基準画像生成モジュールは、前記画像センサーの前記第１の有効画素及び異なる数の前記第２の有効画素を使用して前記基準平面に対してイメージングすることで、サイズが異なる少なくとも２つの基準画像を取得し、
前記深度画像生成モジュールは、前記サイズが異なる少なくとも２つの基準画像から被選択基準画像を決定し、及び、前記ターゲット画像及び前記被選択基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得する、
ことを特徴とする請求項１３に記載の装置。

【請求項16】

深度画像生成装置であって、
構造化光をターゲットオブジェクトに放射し、画像センサーの第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するためのターゲット画像取得モジュールと、
前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得ための深度画像生成モジュールとを含み、
前記基準画像は、前記構造化光を基準平面に放射し、前記画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで、取得され、
前記第１の有効画素は前記画像センサーの指定された領域にある有効画素であり、前記第２の有効画素は前記指定された領域外にある有効画素である、
ことを特徴とする装置。

【請求項17】

基準画像生成装置であって、
構造化光を基準平面に放射し、画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するための基準画像生成モジュールを含み、
前記第１の有効画素は、前記構造化光をターゲットオブジェクトに対して放射し、前記ターゲットオブジェクトに対してイメージングすることでターゲット画像を取得し、前記ターゲット画像及び前記基準画像に基づいて前記ターゲットオブジェクトの深度画像を取得する際に使用される有効画素であり、
前記第１の有効画素は前記画像センサーの指定された領域にある有効画素であり、前記第２の有効画素は前記指定された領域外にある有効画素である、
ことを特徴とする装置。

【請求項18】

プロセッサーにより実行される場合、請求項１～１２の何れか１項に記載の方法を実現させる、
ことを特徴とするコンピュータプログラム。

【請求項19】

プロセッサーと、
前記プロセッサーの実行可能な命令を記憶するためのメモリとを含む電子機器であって、
前記プロセッサーは、前記実行可能な命令を実行することで、請求項１～１２の何れか１項に記載の方法を実行させるように構成される、
ことを特徴とする電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は２０２０年０７月２８日にて中国特許庁に提出され、出願番号が２０２０１０７３９６６６４であり、出願名称が「深度画像生成方法及び装置、基準画像生成方法、電子機器」である中国特許出願の優先権を主張し、その全ての内容は本出願に援用される。

【0002】

本出願は、深度イメージングの技術分野に関し、具体的に、深度画像生成方法、深度画像生成装置、基準画像生成方法、基準画像生成装置、電子機器及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0003】

コンピュータビジョンの発展に連れて、２次元カラー画像処理による従来のコンピュータビジョン技術は、人々がコンピュータビジョンを３次元物理的世界に適用するという要求を満たすことができない。物体距離情報を直接反映できる画像として、深度画像はますます幅広く適用されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

ただし、従来技術では、深度画像の一部に黒エッジの現象が存在する恐れがあるため、いくつかの分野における適用に影響を与える。例えば、顔認証プロセスにおいて、顔深度画像を導入することで、認証結果の精度を向上させることができるが、ユーザーの顔の一部は、上記深度画像の黒エッジにあると、顔認証が失敗する可能性がある。

【0005】

上記背景部に開示された情報は、本出願の背景の理解を深めるためにのみ使用され、したがって、当業者に知られている従来技術を構成しない情報を含み得る。

【0006】

本出願で提供される様々な実施例によれば、深度画像生成方法、深度画像生成装置、基準画像生成方法、基準画像生成装置、電子機器及びコンピュータ読み取り可能な記憶媒体を提供する。

【課題を解決するための手段】

【0007】

本出願の１つの態様によれば、深度画像生成方法を提供し、構造化光を基準平面に放射し、画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するステップと、前記構造化光をターゲットオブジェクトに放射し、前記第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するステップと、前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップと、を含む。

【0008】

本出願の１つの態様によれば、深度画像生成方法を提供し、構造化光をターゲットオブジェクトに放射し、画像センサーの第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するステップと、前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップとを含み、前記基準画像は、前記画像センサーの第１の有効画素及び第２の有効画素を使用して基準平面に対してイメージングすることで、取得される。

【0009】

本出願の１つの態様によれば、基準画像生成方法を提供し、構造化光を基準平面に放射し、画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するステップを含み、前記第１の有効画素はターゲットオブジェクトに対して深度イメージングを行う際に使用される有効画素である。

【0010】

本出願の１つの態様によれば、深度画像生成装置を提供し、構造化光を基準平面に放射し、画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面をイメージングすることで、基準画像を取得するための基準画像生成モジュールと、前記構造化光をターゲットオブジェクトに放射し、前記第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するためのターゲット画像取得モジュールと、前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するための深度画像生成モジュールと、を含む。

【0011】

本出願の１つの態様によれば、深度画像生成装置を提供し、構造化光をターゲットオブジェクトに放射し、画像センサーの第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するためのターゲット画像取得モジュールと、前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得ための深度画像生成モジュールとを含み、前記基準画像は、前記画像センサーの第１の有効画素及び第２の有効画素を使用して基準平面に対してイメージングすることで取得される。

【0012】

本出願の１つの態様によれば、基準画像生成装置を提供し、構造化光を基準平面に放射し、画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するための基準画像生成モジュールを含み、前記第１の有効画素は、ターゲットオブジェクトに対して深度イメージングを行う際に使用される有効画素である。

【0013】

本出願の１つの態様によれば、電子機器を提供し、プロセッサーと、前記プロセッサーの実行可能な命令を記憶するためのメモリとを含み、前記プロセッサーは、前記実行可能な命令を実行することで、上記何れか１項に記載の方法を実行させるように構成される。

【0014】

本出願の１つの態様によれば、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータプログラムはプロセッサーにより実行される場合に、上記何れか１項に記載の方法を実現させる。

【0015】

本出願の１つの態様によれば、コンピュータプログラム製品又はコンピュータプログラムを提供し、当該コンピュータプログラム製品又はコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータ命令を含む。コンピュータ機器のプロセッサーはコンピュータ読み取り可能な記憶媒体から当該コンピュータ命令を読み取り、プロセッサーは当該コンピュータ命令を実行することで、上記様々な選択可能な実現形態で提供された方法を当該コンピュータ機器に実行させる。

【0016】

本出願の例示的な実施例は以下の一部又は全ての有益な効果を有することができる。
本出願の例示的な実施形態で提供された深度画像生成方法によれば、基準画像生成のプロセスにおいて、第１の有効画素を使用するとともに、従来技術で使用されない第２の有効画素を使用し、このようにすれば、生成された基準画像のサイズを大きくすることができる。基準画像においてターゲット画像エッジの画素に対応する画素が存在しないことは黒エッジ現象の発生の要因となり、本出願の例示的な実施形態で提供された深度画像生成方法では、基準画像のサイズを大きくするため、基準画像において、ターゲット画像エッジの一部又は全ての画素を対応する画素にマッチングさせることでき、深度画像での黒エッジ現象の発生をある程度で減少又は回避することができる。

【0017】

上記の一般的な記述及び後述する詳細な記述は単に例示および説明の目的のためであり、本出願を限定するものではないことを理解されたい。

【図面の簡単な説明】

【0018】

ここでの図面は、明細書に組み込まれて本明細書の一部を構成し、本出願に合う実施例を示し、且つ明細書と共に本出願の原理を解釈するために用いられる。以下の記述における図面は単に本出願の幾つかの実施例であり、当業者であれば、創造的労働をしないという前提で、これらの図面に基づいて他の図面を更に得ることができることは明らかであろう。

【図1】本出願の実施例を適用できる深度イメージングシステムの概略構造図を示す。

【図2】本出願の一実施例による深度画像生成方法の適用シナリオ図を概略的に示す。

【図3】本出願の一実施例による黒エッジ現象の発生の原理概略図を示す。

【図4】本出願の一実施例による深度画像生成方法のフローチャートを概略的に示す。

【図5】本出願の一実施例による画像センサーのブロック図を概略的に示す。

【図6】本出願の一実施例による画像センサーの構成図を概略的に示す。

【図7】本出願の一実施例による深度画像を取得するステップのフローチャートを概略的に示す。

【図8】本出願の一実施例によるブロックマッチング方法の原理図を概略的に示す。

【図9】本出願の一実施例によるターゲット画素に対応する深度情報を計算する原理図を概略的に示す。

【図10】本出願の一実施例による黒エッジ現象の発生の原理概略図を概略的に示す。

【図11】本出願の一実施例による深度画像生成方法のフローチャートを概略的に示す。

【図12】本出願の一実施例による深度画像生成装置のブロック図を概略的に示す。

【図13】本出願の実施例の電子機器を実現するためのコンピュータシステムの概略構造図を示す。

【発明を実施するための形態】

【0019】

これから図面を参照して、例示的な実施形態をより全面的に説明する。ただし、例示的な実施形態は様々な形態で実施され、本明細書に記載の実施例に限定されるものとして理解されるべきではなく、逆に、これらの実施形態を提供することで、本出願をより全面及び完全にし、例示的な実施形態のアイデアを全面的に当業者に伝える。説明された特徴、構成又は特性は、任意の適切な方式で１つ又は複数の実施形態に結合されてもよい。以下の説明において、本出願の実施形態を完全に理解するために、多くの具体的な細部を提供する。ただし、当業者は、本出願に係る技術案の実施中に前記特定の詳細のうちの一つ又は複数を省略してもよいし、或いは、他の方法、構成要素、装置、ステップなどを採用してもよいことを理解されたい。他の場合には、本出願の各形態をあいまいすることを避けるように、よく知られた技術案が詳細に示されていないか、または説明されていない。

【0020】

また、図面は、必ずしも一定の縮尺で描画されるわけではなく、本出願の概略的な図解のみである。図面の同じ記号は、同一又は類似の部分を示すため、その重複な説明を省略する。図面のいくつかのブロック図は、必ずしも物理的または論理的に独立したエンティティに対応しているわけではなく、機能エンティティである。これらの機能エンティティはソフトウェア形態で実現されてもよく、又は１つ或いは複数のハードウェアモジュール、若しくは集積回路において実現されてもよく、又は異なるネットワーク及び／又はプロセッサー装置、及び／又はマイクロコントローラ装置において実現されてもよい。

【0021】

図１を参照し、発明人によって提供された深度イメージングシステム１００の概略構造図である。図１に示される深度イメージングシステム１００は、主に、構造化光投影モジュール１０１、画像センサー１０２及び処理モジュール１０３を含み、深度イメージングシステムはターゲットオブジェクト１０４に対して深度イメージングを行うことで、対応する深度画像を取得するように構成されることができ、ターゲットオブジェクト１０４は顔又は他のイメージング対象であるオブジェクトである。

【0022】

構造化光投影モジュール１０１は光源及び光学部品を含むことができる。光源はレーザーダイオードや半導体レーザーなどであってもよく、エッジ発光レーザー、垂直キャビティ表面発光レーザー、又は対応するアレイレーザーなどであってもよく、光源の射出光の波長は赤外線や紫外線などであってもよい。光学部品は、光源から発光されたビームを変調した後、構造化光を外部に放射するために用いられ、光学部品は屈折光学素子、回折光学素子又は両者の組み合わせなどであってもよい。本例示的な実施形態において、構造化光ビームはスペックル、スポット、ストライプ、２次元パターンなどの符号化形態の構造化光ビームであってもよい。

【0023】

画像センサー１０２は電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、ＣＣＤ）画像センサーや相補型金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－０ｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ）画像センサーなどであってもよい。また、入射光の収集を容易にするために、画像センサー１０２の入射光の光路には、フィルタ、マイクロレンズアレイ（Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ、ＭＬＡ）などの光学部品が設けられてもよい。フィルタは、ベイヤーフィルタや赤外線フィルタなどであってもよい。また、構造化光投影モジュール１０１によって投射された構造化光の波長がλであると、上記フィルタは、波長がλであるビームのみをフィルタリングするように配置され得、それにより、後続の画像品質を向上させる。

【0024】

構造化光投影モジュール１０１と画像センサー１０２との間の接続線は基準線と呼ばれ、基準線の方向は、例えば図１に示されるｘ軸方向であってもよい。構造化光投影モジュール１０１と画像センサー１０２の光軸は平行であってもよいし、一定の夾角を形成してもよい。本例示的な実施形態において、構造化光投影モジュール１０１と画像センサー１０２の光軸は平行であるように配置され、このような配置によって、後続で深度画像生成の際の計算の複雑さを単純化することができる。

【0025】

処理モジュール１０３は、構造化光投影モジュール１０１及び画像センサー１０２を制御し、及び関連するデータを受信し処理するための１つ又は複数のプロセッサー、及び１つ又は複数のメモリを含むことができる。プロセッサーは、デジタルシグナルプロセッサー（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰ）、マルチメディアアプリケーションプロセッサー（Ｍｕｌｔｉｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ、ＭＡＰ）、フィールド・プログラマブル・ゲート・アレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）などのうちの１つ又は組み合わせを含んでもよく、メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、フラッシュ（Ｆｌａｓｈ）などのうちの１つ又は組み合わせを含んでもよい。処理モジュール１０３によって実行される制御、データ処理命令は、ソフトウェア、ファームウェアなどの形でメモリに保存され、必要に応じて、プロセッサーに呼び出されてもよく、命令を直接に回路に統合して専用回路（又は専用プロセッサー）を形成し、対応する命令を実行してもよく、ソフトウェアと専用回路との組み合わせで実現されてもよい。処理モジュール１０３は入力／出力インターフェース、及び／又はネットワーク通信をサポートするネットワークインターフェースを含んでもよい。本出願のいくつかの実施例において、処理されたデータは、インターフェースを介して他のデバイス、又はシステムにおける他のユニット、例えば表示ユニット或いは外部端末装置などに伝送してもよい。

【0026】

本例示的な実施形態において、上記構造化光投影モジュール１０１、画像センサー１０２及び処理モジュール１０３は独立して分散して配置されてもよいし、部分的または完全に１つの電子機器に統合されてもよい。例えば、構造化光投影モジュール１０１、画像センサー１０２及び処理モジュール１０３はいずれもスマートフォン、タブレットコンピューター、ノートパソコン又はカメラに統合されてもよく、図２を参照して、構造化光投影モジュール１０１、画像センサー１０２及び処理モジュール１０３はいずれもスマートフォン２０１に統合され、スマートフォン２０１により、ターゲットオブジェクト１０４に対して深度イメージングを行うことができる。また、例えば、構造化光投影モジュール１０１、画像センサー１０２は１つの電子機器に統合されてもよく、処理モジュール１０３はクラウドサーバー、又は他のサードパーティ電子機器などであってもよい。

【0027】

上記深度イメージングシステム１００によれば、端末装置の出荷前の較正階段で、構造化光投影モジュール１０１により構造化光を基準平面に放射し、画像センサー１０２により基準平面に対してイメージングすることで、基準画像を取得する。ユーザーの使用中、構造化光投影モジュール１０１はターゲットオブジェクトに前記構造化光を放射し、画像センサー１０２により前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得し、さらに、ターゲット画像中の各画素の、基準画像中の対応する画素に対するオフセット量を計算し、オフセット量に基づいて、前記各画素に対応する深度情報を計算することで、各画素に対応する深度情報に基づいて前記深度画像を生成する。

【0028】

ただし、上記深度画像生成方法に基づいて取得した深度画像の一部に黒エッジ現象が存在する恐れがあるため、深度画像の一部の領域が無効になり、いくつかの分野での深度画像の適用に影響を与える。図３を参照し、黒エッジ現象の発生の原理概略図である。

【0029】

構造化光投影モジュール１０１の射出光範囲は領域３０１であり、画像センサー１０２の入射光範囲は領域３０２であり、ターゲットオブジェクトは領域３０１と領域３０２とが重なり合う範囲内にあると、理論的には、深度画像を生成することができる。ただし、構造化光投影モジュール１０１と画像センサー１０２との間に一定の距離があり、基準画像３０３のサイズは固定であるため、ターゲットオブジェクトが所在する平面と基準平面との距離が遠い場合、ターゲット画像３０４の一部の画素は基準画像３０３中の対応する画素とマッチングできない可能性があり、対応する深度情報を決定できず、深度画像において、対応する深度情報を決定できない画素について、補足として０を使用し、つまり、対応する深度情報を決定できない画素値を０に設定し、黒エッジ現象が発生してしまう。

【0030】

例えば、図３のターゲット画像３０４のＡ領域、及びターゲット画像３０５のＡ領域における画素はいずれも基準画像３０３中の対応する画素にマッチングでき、つまり、いずれも対応する深度情報を決定できるが、基準画像３０３にターゲット画像３０４のＢ領域及びターゲット画像３０５のＢ領域における画素が存在しなく、つまり、対応する深度情報を決定できないため、最終的に生成された深度画像において、ターゲット画像３０４のＢ領域及びターゲット画像３０５のＢ領域に対応する位置はいずれも黒エッジである。一般的に、ターゲットオブジェクトが所在する平面と基準平面との距離が近いほど、黒エッジ範囲が小さくなり、ターゲットオブジェクトが所在する平面と基準平面との距離が遠いほど、黒エッジ範囲が大きくなる。

【0031】

顔認証を例として、黒エッジ現象は、顔認証の際の視野角（ＦＯＶ、Ｆｉｅｌｄ ａｎｇｌｅ ｏｆ Ｖｉｅｗ）に影響を与え、また、深度画像における黒エッジのサイズは距離に応じて変化する可能性があるため、認証中の不確実性がさらに高まる。具体的に、異なる距離で顔認証を行い、深度画像における黒エッジ領域が異なるため、顔認証の有効領域が異なり、そして、ユーザーの顔が深度画像の黒エッジ領域にあると、今回の顔認証の結果に影響を与え、ユーザーエクスペリエンスを低減させる。また、深度画像における黒エッジ領域の範囲は距離に応じて変化し、実際の応用においても、回避するための効果的な戦略を設計することも困難である。

【0032】

上記１つ又は複数の問題に基づいて、本出願の例示的な実施形態は新たな深度画像生成方法を提供し、当該方法を電子機器に適用することを例として説明する。図４を参照して、当該深度画像生成方法は以下のステップＳ４１０～ステップＳ４３０を含むことができる。
ステップＳ４１０において、構造化光を基準平面に放射し、画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得する。

【0033】

本例示的な実施形態において、電子機器における構造化光投影モジュール１０１により例えばスペックル、スポット、ストライプ又は２次元パターンなどの符号化形態の構造化光ビームを基準平面に放射し、構造化光は既知の空間方向の投影光の集合である。基準平面、例えばイメージングシステムから所定距離（例えば０.５メートル、０.６メートルなど）にあるパネルであってもよい。そして、電子機器は画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得することができ、第２の有効画素の数は少なくとも１つであり、例えば、一部の第２の有効画素を使用して基準画像を取得してもよいし、全ての第２の有効画素を使用して基準画像を取得してもよい。本例示的な実施形態において、基準画像を取得した後、基準画像を指定された記憶位置、例えば端末装置のメモリ又はクラウドサーバーなどに予め記憶してもよい。ここで、一般的に、端末装置の出荷前の較正階段でステップＳ４１０を実行するが、端末装置の使用階段又は他の時間で実行してもよく、本出願はこれを限定しない。以下は、画像センサーの第１の有効画素及び第２の有効画素について詳しく説明する。

【0034】

一般的に、図５を参照して、画像センサー５００は、中心にある有効画素領域５０１、及び有効画素領域５０１の周辺にあるダミー画素領域５０２を含む。図６を参照して、通常の画像センサー６００の概略構造図である。画像センサー６００は、１３４４列、１１３６行の画素、即ち、合計で１５２６７８４（１３４４＊１１３６）個の画素を有する。前記１５２６７８４個の画素のうち、中心の１３２８列、１１２０行の画素は有効画素領域にあり、即ち、合計で１４８７３６０（１３２８＊１１２０）個の有効画素（Ａｃｔｉｖｅ Ｐｉｘｅｌ）であり、前記１５２６７８４個の画素のうち、上部８行、下部８行、左部８列及び右部８列は周辺のダミー画素領域にあり、即ち、合計で３９４２４個のダミー画素（Ｄｕｍｍｙ Ｐｉｘｅｌ）である。有効画素はいずれもイメージングに参加できる画素であり、ダミー画素はイメージングに参加できないが、ブラックスケール信号補正の実行、及び画像エッジの画素の補間の実行に使用できる。

【0035】

全ての有効画素はイメージングに参加できるが、実際の応用において、具体的な端末の画像解像度要求に合わせるために、一般的に、一部の有効画素（例えば、以下の画像ウィンドウ領域の画素）のみが実際のイメージングに参加し、他の有効画素が実際のイメージングに参加しないように配置される。具体的に、当該技術分野において、一般的に、画像センサーの画像ウィンドウ領域（Ｗｉｎｄｏｗｉｎｇ）の構成を実現するために、画像センサーに対して「ウィンドウイング」操作を行う必要があり、画像ウィンドウ領域は、一般的にＨＳ（Ｈｏｒｉｚｏｎｔａｌ Ｓｔａｒｔ、水平開始）、ＨＥ（Ｈｏｒｉｚｏｎｔａｌ Ｅｎｄ、水平終了）、ＶＳ（Ｖｅｒｔｉｃａｌ Ｓｔａｒｔ、垂直開始）及びＶＥ（Ｖｅｒｔｉｃａｌ Ｅｎｄ、垂直終了）の４つのパラメータによって定義され、無論、より少ないパラメータによって定義されてもよく、例えば、ＨＳ（Ｈｏｒｉｚｏｎｔａｌ Ｓｔａｒｔ、水平開始）及びＶＥ（Ｖｅｒｔｉｃａｌ Ｅｎｄ、垂直終了）のみによって定義される。

【0036】

引き続いて図６を参照して、画像センサー６００において、第１６９行～第９６８行、第３３列～第１３１２列の画素が所在する領域は画像ウィンドウ領域として設定され、画像センサーは、当該画像ウィンドウ領域を介して、解像度が１２８０＊８００である画像を出力することができる。本例示的な実施形態において、第１の有効画素は、ユーザーが端末装置を使用する際、実際のイメージングに使用される有効画素であり、第２の有効画素は、ユーザーが端末装置を使用する際、実際のイメージングに使用されない有効画素である。上記画像ウィンドウ領域に関して、第１の有効画素は画像センサーの指定された領域（画像ウィンドウ領域）にある有効画素であり、第２の有効画素は画像センサーの指定された領域外にある有効画素であり、１つの実施例において、第２の有効画素は画像センサーの指定された領域外にある有効画素の一部であってもよい。ただし、本出願の他の例示的な実施例において、実際のイメージング領域は他のルールに基づいて設定されると、第１の有効画素は実際のイメージング領域の画素でもあり、第２の有効画素は第１の有効画素以外の有効画素であり、１つの実施例において、第２の有効画素は第１の有効画素以外の有効画素の一部であってもよく、これも本出願の保護範囲に属する。

【0037】

当該技術分野では、基準画像を生成する場合、一般的に、画像センサーの第１の有効画素を使用し、これは当該技術分野の長年のデフォルトの慣行であり、当業者の普遍の操作習慣となった一方、このように形成された基準画像は、後続で形成されたターゲット画像のサイズと一致し、関連処理及び演算の際、より便利である。本出願では、発明者はこれらの技術的偏見を克服して、創造的に、第１の有効画素を使用するとともに第２の有効画素を使用して基準画像の生成に参加し、このようにすれば、コストを増やさないとともに、基準画像のサイズを効果的に増やし、深度画像での黒エッジ現象の発生を減少又は回避することができる。

【0038】

ステップＳ４２０において、前記構造化光をターゲットオブジェクトに放射し、前記第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得する。

【0039】

本例示的な実施形態において、上記ターゲットオブジェクトは、顔又は他のイメージング対象であるオブジェクトであってもよく、電子機器は、上記構造化光投影モジュール１０１により、スペックル、スポット、ストライプ又は２次元パターンなどの符号化形態の構造化光ビームをターゲットオブジェクトに放射し、ターゲットオブジェクトに放射線される構造化光ビームは、基準画像を生成する際に使用される構造化光ビームと一致しなければならない。そして、画像センサーの第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることができる。ここで、画像ウィンドウ領域は一般的に、端末装置の出荷前に、予め配置されるため、使用中に、端末装置は画像ウィンドウ領域の関連プロファイルを読み取ると、上記第１の有効画素を自動に決定できる。

【0040】

ステップＳ４３０において、前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得する。

【0041】

本例示的な実施形態において、電子機器は指定された記憶位置からステップＳ４１０で生成された基準画像を読み取ることができ、例えば、電子機器のメモリ、又はクラウドサーバーから基準画像を読み取る。電子機器は、基準画像を取得した後、図７のステップＳ７１０～ステップＳ７３０を参照して、前記ターゲットオブジェクトの深度画像を取得することができる。
ステップＳ７１０において、前記ターゲット画像中のターゲット画素に対して、前記基準画像においてマッチングを行う。

【0042】

本例示的な実施形態において、電子機器は、ブロックマッチング又は行列マッチングなどの方法で、基準画像でのターゲット画像中のターゲット画素に対応するマッチング画素を決定することができる。図８を参照し、ブロックマッチング方法を例として、ターゲット画像中のターゲット画素Ｐｉｊについて、ターゲット画素Ｐｉｊを中心とし、サイズがｍ＊ｎである画素ブロックＢｉｊを検索画素ブロックとして抽出し、次に、基準画像において、ターゲット画素Ｐｉｊに対応する位置を中心とし、サイズがＷ＊Ｈである検索ウィンドウＶｉｊに、事前設定された検索戦略及び類似度評価指標に従って、検索画素ブロックＢｉｊに対応するマッチング画素ブロックを検索してもよい。例えば、検索ウィンドウＶｉｊにおいて、画素ブロックＢ’ｋｌと検索画素ブロックＢｉｊとの類似度評価指標ｗ（Ｂｉｊ、Ｂ’ｋｌ）が、他の画素ブロックに対して最大であると、画素ブロックＢ’ｋｌを、検索画素ブロックＢｉｊにマッチングする画素ブロックとして決定し、さらに、基準画像でのターゲット画素Ｐｉｊに対応するマッチング画素をＰ’ｋｌとして決定できる。ｉ、ｋは正の整数であり、画素が所在する行を示し、ｊ、ｌは正の整数であり、画素が所在する列を示し、ｍ、ｎ、Ｗ、Ｈは正の整数であり、且つＷ＞ ｍ、Ｈ＞ ｎである。また、必要に応じて、セミグローバルブロックマッチング（Ｓｅｍｉ－Ｇｌｏｂａｌ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ、ＳＧＢＭ）などの他の方法で画素マッチングを実現してもよく、本例示的な実施例では特に限定されない。

【0043】

また、マッチング及び後続の演算を容易にするために、本例示的な実施形態において、さらに、まず、前記基準画像及び前記ターゲット画像に対して２値化処理を行うことができるが、当業者であれば、２値化処理は選択可能なステップのみであることを容易に理解することができる。例えば、本出願では、グローバル閾値法、ローカル閾値法、動的閾値法、Ｎｉｂｌａｃｋアルゴリズム、Ｐ－分位数法、反復法、エントロピー法、最大クラス間分散アルゴリズムなどの技術的手段を使用して、基準画像及びターゲット画像に対して２値化処理を行うことで、画像中の各画素の値を０又は１にすることができる。

【0044】

グローバル閾値法を例として、電子機器は画像全体領域中の各画素の輝度平均値を閾値とし、閾値よりも大きい画素の値を１、閾値よりも小さい画素の値を０とし、グローバル閾値方法は室内の深度画像生成に適用される場合、その効果がよい。ローカル閾値法を例とし、例えば、１２８０＊８００個の画素のターゲット画像について、まず（１、１、１００、１００）領域に対して輝度平均値を求めて、当該領域内の閾値よりも大きい画素の値を１、閾値よりも小さい画素の値を０とする。そして、（１、１０１、１００、２００）領域、（１、２０１、１００、３００）領域から（１２０１、７０１、１２８０、８００）領域までに対して順に同様に処理することで、画像全体の２値化を完成させ、ローカル閾値法は室外の深度画像生成に適用される場合、その効果がよい。

【0045】

ステップＳ７２０において、前記基準画像でのマッチングされた画素の位置に基づいて、前記ターゲット画素のオフセット量を決定し、前記ターゲット画素のオフセット量に基づいて、前記ターゲット画素に対応する深度情報を計算する。

【0046】

例えば、図９を参照して、基準画像でのターゲット画素Ｐｉｊに対応するマッチング画素はＰ’ｋｌである。マッチング画素Ｐ’ｋｌの位置、及び基準画像でのターゲット画素Ｐｉｊに対応する位置に基づいて、ターゲット画素のオフセット量（即ち、収差）ｘを計算し、そして、三角測量法を参照して、ターゲットオブジェクト上のイメージング点９０１の深度Ｈ、即ち、ターゲットオブジェクト上のイメージング点９０１と端末装置との間の距離を計算することができる。例えば、Ｈ＝Ｒ／（１－（Ｒ・ｘ）／（ｆ・ｄ））であり、ｄは基準線（即ち、構造化光投影モジュール１０１と画像センサー１０２との間の接続線９０３）の長さであり、Ｒは基準平面９０２と基準線との間の距離であり、ｆは画像センサー１０２の焦点距離であり、ｄ、Ｒ、ｆは固定定数であるため、ターゲット画素のオフセット量ｘを決定した後、電子機器はターゲット画素に対応する深度情報Ｈを計算して取得することができる。

【0047】

無論、本出願の他の例示的な実施例において、前記ターゲット画素に対応する深度情報を他の方式で計算してもよい。例えば、各画素のオフセット量と深度情報との間のマッピングテーブルを予め確立し、ターゲット画素のオフセット量ｘを決定した後、マッピングテーブルから検索してターゲット画素に対応する深度情報を取得することができ、これも本出願の保護範囲に属する。

【0048】

ステップＳ７３０において、各前記ターゲット画素に対応する深度情報を使用して前記深度画像を生成する。

【0049】

電子機器は、上記ステップＳ７２０にて各ターゲット画素に対応する深度情報を取得した後、深度情報を深度画像に変換し、例えば、深度画像は階調画像であってもよく、深度画像中の画素の階調値が大きいほど、深度値Ｈが小さくなり、階調値が小さいほど、深度値Ｈが大きくなり、また、深度画像中の画素の階調値が大きいほど、深度値Ｈが大きくなり、階調値が小さいほど、深度値Ｈが小さくなり、本例示的な実施例では特に限定されない。本出願の他の例示的な実施例において、前記深度画像は画像チャンネル又は他の形態で存在してもよく、これは同様に本出願の保護範囲に属する。

【0050】

深度カメラでより一般的に使用されるＯＶ９２８６型式の画像センサーを例として、その有効画素は合計で１３２８列、１１２０行である。業界内で、一般的に、解像度が６４０＊４００又は１２８０＊８００である深度画像を必要とするため、従来技術では、深度カメラの製造較正階段で、いずれも画像センサーにおける１２８０＊８００個の有効画素を採用して基準画像を生成し、実際の使用中に、構造化光投影モジュールは構造化光ビームをターゲットオブジェクトに放射した後に、画像センサーにおける１２８０＊８００個の有効画素ターゲットオブジェクトによってイメージングし、解像度が１２８０＊８００であるターゲット画像を取得し、そして、ターゲット画像（解像度が１２８０＊８００である）及び基準画像（解像度が１２８０＊８００である）に基づいて、深度画像を生成する。本例示的な実施形態では、電子機器は深度カメラの製造較正階段で、画像センサーにおける１３２８＊１１２０個の有効画素を採用して基準画像を生成し、実際の使用中に、電子機器の構造化光投影モジュールは構造化光ビームをターゲットオブジェクトに放射した後、画像センサーにおける１２８０＊８００個の有効画素ターゲットオブジェクトによってイメージングし、解像度が１２８０＊８００であるターゲット画像を取得し、ターゲット画像（解像度が１２８０＊８００である）及び基準画像（解像度が１３２８＊１１２０である）に基づいて、深度画像を生成し、黒エッジを減少又は除去する。

【0051】

図１０を参照して、本例示的な実施形態における深度画像生成方法の原理概略図であり、上記図３に類似し、構造化光投影モジュール１０１の射出光範囲は領域３０１であり、画像センサー１０２の入射光範囲は領域３０２である。ターゲット画像３０４のＡ’領域及びターゲット画像３０５のＡ’領域における画素は、基準画像１００３中の対応する画素にマッチングでき、即ち、対応する深度情報を決定でき、Ａ’領域は図３のＡ領域よりもはるかに大きく、基準画像１００３にターゲット画像３０４のＢ’領域、及びターゲット画像３０５のＢ’領域における画素が存在しなく、即ち、対応する深度情報を決定できないため、最終的に生成された深度画像において、ターゲット画像３０４のＢ’領域及びターゲット画像３０５のＢ’領域に対応する位置はいずれも黒エッジであり、Ｂ’領域は図３のＢ領域よりもはるかに小さい。また、一部の領域、例えば、図１０の点線枠１００４に対応する領域内で、ターゲット画像の全ての領域は、基準画像１００３中の対応する画素にマッチングでき、即ち、対応する深度情報を決定できるため、点線枠１００４に対応する領域内で、黒エッジ現象の発生を完全に回避する。

【0052】

以上から分かるように、本例示的な実施形態における深度画像生成方法は確かに、深度画像での黒エッジ現象の発生をある程度で減少又は回避することができる。さらに、いくつかの分野での深度画像の応用を最適化することができる。応用される深度カメラ又は深度撮影機能を有する他の端末装置を例として、本例示的な実施形態における深度画像生成方法によって、深度画像を収集する際の視野角をある程度で増やし、深度画像の品質を向上させることができ、上記深度カメラ又は深度撮影機能を有する端末装置を使用して顔認証を行うと、顔認証の際の視野角をある程度で増やし、深度画像の黒エッジによる認証失敗を減少させ、ユーザーエクスペリエンスを向上させることができる。

【0053】

また、本例示的な実施形態で提供された深度画像生成方法において、既存の第２の有効画素を使用するため、ハードウェアを変更する必要がなく、つまり、本出願の例示的な実施形態で提供された深度画像生成方法は、余計な最適化コストを発生させることなく、その同時、本例示的な実施形態で提供された深度画像生成方法の適用範囲を拡大する。

【0054】

本出願の別の例示的な実施例において、上記ステップＳ７１０でのマッチング計算量を減少するために、上記深度画像生成方法に基づいてさらなる改善が行われる。具体的に、電子機器は、上記ステップＳ４１０にて画像センサーの第１の有効画素、及び異なる数の前記第２の有効画素を使用して前記基準平面に対してイメージングすることで、サイズが異なる複数の基準画像を取得することができ、サイズが異なる複数の基準画像は、サイズが異なる少なくとも２つの基準画像を指す。

【0055】

例えば、図６の画像センサーを例とし、第３３列～第１３１２列、第１６９行～第９６８行の画素は第１の有効画素であり、第９列～第３２列、第１３１３列～第１３３６列、第９行～第１６８行、第９６９行～第１１２８行の画素は第２の有効画素である。本例示的な実施形態において、例えば、第９列～第１３３６列、第９行～第１１２８行の画素、即ち、全ての第１の有効画素及び第２の有効画素を使用して、第１の基準画像を生成し、第２１列～第１３２４列、第８９行～第１０４８行の画素、即ち、第１の有効画素の一部及び第２の有効画素を使用して、第２の基準画像を生成してもよい。

【0056】

複数の基準画像を生成した後、指定されたルールに従って、複数の基準画像から被選択基準画像を決定し、前記ターゲット画像及び前記被選択基準画像に基づいて前記ターゲットオブジェクトの深度画像を取得することができる。例えば、まず、前記ターゲットオブジェクトから前記基準平面までの距離を取得し、次に、前記ターゲットオブジェクトから前記基準平面までの距離に基づいて、複数の前記基準画像から被選択基準画像を決定する。例えば、本例示的な実施形態において、ターゲット画像に対して深度情報を収集する場合、端末装置に設けられたレーザー測距モジュール又は他の距離センサーを使用して、ターゲットオブジェクトと参照端末装置との間の距離を決定することができ、端末装置から基準平面までの距離は固定値であるため、ターゲットオブジェクトと参照端末装置との間の距離を決定した後、ターゲットオブジェクトから前記基準平面までの距離を大体決定できる。上記図３及び図１０を参照して分かるように、ターゲットオブジェクトが所在する平面と基準平面との距離が近いほど、黒エッジ範囲が小さくなり、ターゲットオブジェクトが所在する平面と基準平面との距離が遠いほど、黒エッジ範囲が大きくなる。従って、本例示的な実施形態において、決定された前記被選択基準画像のサイズは、前記ターゲットオブジェクトから前記基準平面までの距離と正の相関関係にあり、即ち、ターゲットオブジェクトから基準平面までの距離が大きいほど、それに対応して、被選択基準画像サイズが大きくなる。

【0057】

従って、ターゲットオブジェクトが所在する平面と基準平面との距離が大きい場合、例えば、上記第１の基準画像を被選択基準画像として決定し、ターゲットオブジェクトが所在する平面と基準平面との距離が小さい場合、例えば上記第２の基準画像を被選択基準画像として決定してもよい。このようにして、マッチングの際の計算量を効果的に低減させることができる。ブロックマッチング法を例として、そのアルゴリズムの複雑さはＯ（Ｎ、Ｍ、Ｗ、Ｈ、ｍ、ｎ）に正比例し、Ｎ及びＭはそれぞれ基準画像の画素行数及び列数（他のパラメータについて、以上と同様である）であるため、全部で第１の基準画像を使用することに対して、サイズが小さい第２の基準画像を使用する場合、マッチングの際のアルゴリズムの複雑さを効果的に低減させ、計算量を減少させることができる。

【0058】

本出願の他の例示的な実施例において、他の方式で複数の基準画像を生成してもよい。相変わらず図６の画像センサーを例とし、例えば、第９列～第１３１２列、第１６９行～第９６８行の画素を使用して第１の基準画像を生成し、第３３列～第１３３６列、第１６９行～第９６８行の画素を使用して第２の基準画像を生成し、第３３列～第１３１２列、第９行～第９６８行の画素を使用して第３の基準画像を生成し、及び第３３列～第１３１２列、第１６９行～第１１２８行の画素を使用して第４の基準画像を生成してもよい。

【0059】

また、他の方式で複数の基準画像から被選択基準画像を決定してもよい。例えば、まず、前記ターゲット画像での前記ターゲットオブジェクトの位置を決定し、例えば、前景画像抽出又は他の方法で、ターゲット画像でのターゲットオブジェクトの位置を決定する。次に、前記ターゲット画像での前記ターゲットオブジェクトの位置に基づいて、複数の前記基準画像から被選択基準画像を決定することができる。
例えば、本例示的な実施形態において、ターゲット画像を取得した後、ターゲット画像でのターゲットオブジェクトの位置は左であると、深度画像の左エッジに黒エッジ現象が発生した場合、より大きな影響を与え、他の位置に黒エッジが発生しても、その影響が小さい可能性があり、それに基づいて、上記第１の基準画像を被選択基準画像として決定できる。同様に、ターゲット画像でのターゲットオブジェクトの位置は右であると、上記第２の基準画像を被選択基準画像として決定でき、ターゲット画像でのターゲットオブジェクトの位置は上であると、上記第３の基準画像を被選択基準画像として決定でき、ターゲット画像でのターゲットオブジェクトの位置は下であると、上記第４の基準画像を被選択基準画像として決定できる。全部で最大サイズの基準画像を使用することに対して、サイズが小さい第１～第４の基準画像を使用すると、同様に、マッチングの際のアルゴリズムの複雑さを効果的に低減させ、計算量を減少させることができる。

【0060】

本出願は深度画像生成方法をさらに提供する。図１１を参照して、当該方法は以下のステップＳ１１１０及びステップＳ１１２０を含むことができる。
ステップＳ１１１０において、構造化光をターゲットオブジェクトに放射し、画像センサーの第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得する。
ステップＳ１１２０において、前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得し、前記基準画像は、前記画像センサーの第１の有効画素及び第２の有効画素を使用して基準平面に対してイメージングすることで、取得される。

【0061】

本出願は基準画像生成方法をさらに提供する。当該方法は、構造化光を基準平面に放射し、画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するステップを含むことができ、前記第１の有効画素は、ターゲットオブジェクトに対して深度イメージングを行う際に使用される有効画素である。

【0062】

以上の例示的な実施例において、上記深度画像生成方法及び基準画像生成方法の各ステップの具体的な細部について、詳しく説明したため、ここで再度重複されない。

【0063】

ここで、図面において、本出願における方法の各ステップを特定の順序で説明したが、当該特定の順序に従ってこれらのステップを実行しなければならなくて、又は示される全てのステップを実行しないと、所望の結果を実現できないことを要求又は暗示しない。附加的又は代替的に、あるステップを省略し、複数のステップを１つのステップに統合し実行し、及び／又は１つのステップを複数のステップに分解し実行してもよい。

【0064】

さらに、本例示的な実施形態において、深度画像生成装置をさらに提供する。図１２を参照して、当該深度画像生成装置１２００は、基準画像生成モジュール１２１０、ターゲット画像取得モジュール１２２０及び深度画像生成モジュール１２３０を含むことができる。
基準画像生成モジュール１２０１は、構造化光を基準平面に放射し、画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するために用いられ得る。ターゲット画像取得モジュール１２２０は、前記構造化光をターゲットオブジェクトに放射し、前記第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するために用いられ得る。深度画像生成モジュール１２３０は、前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するために用いられ得る。

【0065】

本出願の例示的な実施例において、前記第１の有効画素は、前記画像センサーの指定された領域にある有効画素であり、前記第２の有効画素は、前記画像センサーの指定された領域外部にある有効画素である。

【0066】

本出願の例示的な実施例において、前記基準画像生成モジュール１２１０は、画像センサーの第１の有効画素及び全ての第２の有効画素を使用して前記基準平面に対してイメージングする。

【0067】

本出願の例示的な実施例において、前記基準画像生成モジュール１２１０は画像センサーの第１の有効画素及び異なる数の前記第２の有効画素を使用して前記基準平面に対してイメージングすることで、サイズが異なる少なくとも２つの基準画像を取得する。前記深度画像生成モジュール１２３０は前記サイズが異なる少なくとも２つの基準画像から被選択基準画像を決定し、及び、前記ターゲット画像及び前記被選択基準画像に基づいて前記ターゲットオブジェクトの深度画像を取得する。

【0068】

本出願の例示的な実施例において、前記深度画像生成モジュール１２３０は、具体的に以下のように、前記サイズが異なる少なくとも２つの基準画像から被選択基準画像を決定し、即ち、前記ターゲットオブジェクトから前記基準平面までの距離を取得し、及び、前記ターゲットオブジェクトから前記基準平面までの距離に基づいて、前記サイズが異なる少なくとも２つの基準画像から被選択基準画像を決定する。

【0069】

本出願の例示的な実施例において、前記被選択基準画像のサイズは、前記ターゲットオブジェクトから前記基準平面までの距離と正の相関関係にある。

【0070】

本出願の例示的な実施例において、前記深度画像生成モジュール１２３０は、具体的に以下のステップにより前記サイズが異なる少なくとも２つの基準画像から被選択基準画像を決定し、即ち、前記ターゲット画像での前記ターゲットオブジェクトの位置を決定し、及び、前記ターゲット画像での前記ターゲットオブジェクトの位置に基づいて、前記サイズが異なる少なくとも２つの基準画像から被選択基準画像を決定する。

【0071】

本出願の例示的な実施例において、前記装置は、前記基準画像を指定された記憶位置に予め記憶するための画像記憶モジュールをさらに含む。前記深度画像生成モジュール１２３０は、前記指定された記憶位置から前記基準画像を読み取り、及び、前記ターゲット画像及び読み取られた前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得する。

【0072】

本出願の例示的な実施例において、前記深度画像生成モジュール１２３０は、具体的に以下のステップにより前記ターゲットオブジェクトの深度画像を取得し、即ち、前記ターゲット画像中のターゲット画素に対して、前記基準画像においてマッチングを行い、前記基準画像でのマッチングされた画素の位置に基づいて、前記ターゲット画素のオフセット量を決定し、前記ターゲット画素のオフセット量に基づいて、前記ターゲット画素に対応する深度情報を計算し、各前記ターゲット画素に対応する深度情報を使用して前記深度画像を生成する。

【0073】

本出願の例示的な実施例において、前記ターゲット画像中のターゲット画素に対して、前記基準画像においてマッチングを行う前に、前記深度画像生成モジュール１２３０はさらに前記基準画像及び前記ターゲット画像に対して２値化処理を行う。

【0074】

本出願の１つの態様によれば、深度画像生成装置を提供し、構造化光をターゲットオブジェクトに放射し、画像センサーの第１の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するためのターゲット画像取得モジュールと、前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得ための深度画像生成モジュールとを含み、前記基準画像は、前記画像センサーの第１の有効画素及び第２の有効画素を使用して基準平面に対してイメージングすることで取得される。

【0075】

本出願の１つの態様によれば、基準画像生成装置を提供し、構造化光を基準平面に放射し、画像センサーの第１の有効画素及び第２の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するための基準画像生成モジュールを含み、前記第１の有効画素は、ターゲットオブジェクトに対して深度イメージングを行う際に使用される有効画素である。

【0076】

上記深度画像生成装置及び基準画像生成装置における各モジュール又はユニットの具体的な細部は、対応する深度画像生成方法において詳しく説明されたため、ここで、再度重複されない。

【0077】

図１３は本出願の実施例の電子機器を実現するためのコンピュータシステムの概略構造図を示す。

【0078】

ここで、図１３に示す電子機器のコンピュータシステム１３００は単なる一例であり、本出願の実施例の機能及び使用範囲に対するいかなる制限も構成しない。

【0079】

図１３に示すように、コンピュータシステム１３００は中央処理ユニット（ＣＰＵ）１３０１を含み、読み取り専用メモリ（ＲＯＭ）１３０２に記憶されているプログラム、又は記憶部１３０８からランダムアクセスメモリ（ＲＡＭ）１３０３にロードされるプログラムに従って、各種の適切な動作及び処理を実行する。ＲＡＭ１３０３には、システム操作に必要な各種のプログラム及びデータがさらに記憶されている。ＣＰＵ１３０１、ＲＯＭ１３０２及びＲＡＭ１３０３はバス１３０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース１３０５もバス１３０４に接続される。

【0080】

キーボード、マウスなどを含む入力部１３０６、ブラウン管（ＣＲＴ）、液晶ディスプレー（ＬＣＤ）、及びスピーカーなどを含む出力部１３０７、ハードディスクなどを含む記憶部１３０８、及びＬＡＮカード、モデムなどのネットワークインターフェースカードを含む通信部１３０９は、Ｉ／Ｏインターフェース１３０５に接続される。通信部１３０９は、インターネットのようなネットワークを介して通信処理を実行する。ドライバ１３１０も必要に応じて、Ｉ／Ｏインターフェース１３０５に接続される。リムーバブルメディア１３１１、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどは、必要に応じて、ドライバ１３１０に装着されることで、読み出されたコンピュータプログラムは必要に応じて、記憶部１３０８にインストールされる。

【0081】

特に、本出願の実施例によれば、以下、フローチャートを参照して説明されるプロセスは、コンピュータソフトウェアプログラムとして実現され得る。例えば、本出願の実施例は、コンピュータ読み取り可能な媒体に搭載されるコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例において、当該コンピュータプログラムは通信部１３０９を介してネットワークからダウンロードされインストールされ、及び／またはリムーバブルメディア１３１１からインストールされる。当該コンピュータプログラムは中央処理ユニット（ＣＰＵ）１３０１により実行される場合、本出願の方法及び装置に限定される各種の機能を実行する。

【0082】

別の態様として、本出願はコンピュータ読み取り可能な媒体をさらに提供し、当該コンピュータ読み取り可能な媒体は上記実施例に説明された電子機器に含まれてもよいし、当該電子機器に組み立てられずに単独で存在していてもよい。上記コンピュータ読み取り可能な媒体は１つの当該電子機器により実行される場合、当該電子機器に、以下の実施例に記載の方法を実現させる１つ又は複数のプログラムを有している。例えば、前記電子機器は図４～図９に示す各ステップなどを実現することができる。

【0083】

ここで、本出願で示されるコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、またはコンピュータ読み取り可能な記憶媒体、或いは前記両者の任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、または半導体のシステム、装置、或いはデバイス、もしくは以上の任意の組み合わせであってもよいが、これらに限定されていない。コンピュータ読み取り可能な記憶媒体のより具体的な例は、１つまたは複数のワイヤを有する電気接続、携帯型コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能でプログラマブルな読み出し専用メモリ（ＥＰＲＯＭ或いはフラッシュメモリ）、光ファイバ、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または前記任意の適切な組み合わせを含むが、これらに限定されていない。本出願では、コンピュータ読み取り可能な記憶媒体は、プログラムを含むまたは記憶する任意の有形媒体であってもよく、当該プログラムは、命令実行システム、装置またはデバイスにより使用され得るか、またはそれらと組み合わせて使用され得る。本出願では、コンピュータ読み取り可能な信号媒体は、ベースバンドに含まれるか、またはキャリアの一部として伝搬されるデータ信号を含んでもよく、コンピュータ読み取り可能なプログラムコードを含む。このような伝搬されるデータ信号は様々な形式を採用でき、電磁信号、光信号または前記任意の適切な組み合わせを含むが、これらに限定されていない。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置或いはデバイスにより使用されるか、またはそれらと組み合わせて使用されるように使用されるためのプログラムを送信、伝搬、または伝送してもよい。コンピュータ読み取り可能な媒体に含まれたプログラムコードは、任意の適切な媒体によって伝送されることができ、無線、有線、光ケーブル、ＲＦなど、または前記任意の適切な組み合わせを含むが、これら限定されていない。

【0084】

図面のフローチャート及びブロック図は、本出願の各種の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能な体系アーキテクチャ、機能及び操作を示している。ここでは、フローチャート図及びブロック図における各ブロックは、１つのモジュール、プログラムセグメント又はコードの一部を表すことができ、上記モジュール、プログラムセグメント又はコードの一部は、定められたロジック機能を実現するための１つ又は複数の実行可能な命令を含む。幾つかの代替できる実現としては、ブロックの中に示されている機能は、図面に示されている順番と違う順番で行われても良いことに留意されたい。例えば、２つの連続して示されているブロックは、実際にほぼ並行して行われても良く、逆の順序で行われる場合もあり、これは、係る機能によって決められる。ブロック図及び/又はフローチャート図におけるそれぞれのブロック、及び、ブロック図及び/又はフローチャート図におけるブロックの組み合わせは、定めされた機能又は操作を実行するための専用のハードウェアを元にするシステムにより実行しても良く、又は、専用のハードウェアとコンピュータ命令の組み合わせにより実行しても良いことにも留意されたい。

【0085】

本出願は以上説明され図面で示された正確な構造に限定されず、本出願の範囲から逸脱することなく修正および変更を行うことができることを理解されたい。本出願の範囲は添付の特許請求の範囲によってのみ限定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】