特許 7096910 データ処理方法及び装置、電子機器並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-28

(45)【発行日】2022-07-06

(54)【発明の名称】データ処理方法及び装置、電子機器並びに記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220629BHJP

   G06T 7/11 20170101ALI20220629BHJP

【ＦＩ】

G06T7/00 250

G06T7/11

【請求項の数】 12

(21)【出願番号】P 2020560178

(86)(22)【出願日】2019-04-23

(65)【公表番号】

(43)【公表日】2021-08-12

(86)【国際出願番号】 CN2019083963

(87)【国際公開番号】W WO2020057122

(87)【国際公開日】2020-03-26

【審査請求日】2020-10-26

(31)【優先権主張番号】201811090338.5

(32)【優先日】2018-09-18

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321006888

【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】シエ フーバオ

(72)【発明者】

【氏名】ゾウ ジュアン

(72)【発明者】

【氏名】リウ ウェンタオ

(72)【発明者】

【氏名】チエン チェン

【審査官】松浦 功

(56)【参考文献】

【文献】中国特許出願公開第１０６８８６７４１（ＣＮ，Ａ）

【文献】特開２０１３－０８５１３３（ＪＰ，Ａ）

【文献】特開２０１２－２２１０８８（ＪＰ，Ａ）

【文献】特開平０７－３３３１６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｔ １／００

Ｇ０６Ｖ １０／００ －２０／９０

(57)【特許請求の範囲】

【請求項1】

データ処理方法であって、
２Ｄ画像に基づいて、ターゲットのサポートを取得することであって、前記ターゲットのサポートは前記ターゲットの骨格である、ことと、
前記２Ｄ画像における第ｘ画素と、前記サポート内の対応するサポート体が位置する線分との間の第ｘ距離を決定することであって、前記対応するサポート体は、前記サポート内の前記第ｘ画素に最も近いサポート体である、ことと、
前記第ｘ距離が距離閾値以上であるかどうかを決定することと、
前記第ｘ距離が前記距離閾値より大きい場合、前記第ｘ画素が前記ターゲットを構成する画素ではないと決定することと、を含み、
前記方法は、前記第ｘ画素に最も近い前記サポート体と候補閾値との対応関係に基づいて、前記距離閾値を決定することを更に含む、前記方法。

【請求項2】

前記第ｘ画素に最も近い前記サポート体と候補閾値との対応関係に基づいて、前記距離閾値を決定することは、
前記第ｘ画素に最も近い前記サポート体と候補閾値との対応関係に基づいて、基準閾値を得ることと、
前記２Ｄ画像に対応する深度画像に基づいて、前記ターゲットに対応する収集対象とカメラとの間の相対的距離を決定することと、
前記サポートの寸法及び相対的距離に基づいて、調整パラメータを得ることと、
前記基準閾値及び前記調整パラメータに基づいて、前記距離閾値を決定することと、を含むことを特徴とする
請求項１に記載の方法。

【請求項3】

前記方法は、前記２Ｄ画像に対応する深度画像に基づいて、前記第ｘ画素の第ｘ深度値を取得することを更に含み、
前記第ｘ距離に基づいて、前記第ｘ画素が前記ターゲットを構成する画素であるかどうかを決定することは、
前記第ｘ距離及び前記第ｘ深度値を参照して、前記第ｘ画素が前記ターゲットを構成する画素であるかどうかを決定することを含むことを特徴とする
請求項１又は２に記載の方法。

【請求項4】

前記第ｘ距離及び前記第ｘ深度値を参照して、前記第ｘ画素が前記ターゲットを構成する画素であるかどうかを決定することは、
前記第ｘ距離が第１条件を満たしており、且つ前記第ｘ深度値が第２条件を満たしている場合、前記第ｘ画素が前記ターゲットを構成する画素であると決定することを含むことを特徴とする
請求項３に記載の方法。

【請求項5】

前記第ｘ距離が第１条件を満たしていることは、
前記第ｘ距離が距離閾値以下であることを含むことを特徴とする
請求項４に記載の方法。

【請求項6】

前記第ｘ深度値が第２条件を満たしていることは、
前記第ｘ深度値と第ｙ深度値との差が深度値閾値以下である場合、前記第ｘ深度値が前記第２条件を満たしていると決定することであって、前記第ｙ深度値が第ｙ画素の深度値であり、前記第ｙ画素は、前記ターゲットを構成する画素であると決定されており、前記第ｙ画素は、前記第ｘ画素の隣接画素である、ことを含むことを特徴とする
請求項４又は５に記載の方法。

【請求項7】

前記２Ｄ画像に対応する深度画像に基づいて、前記第ｘ画素の第ｘ深度値を取得することは、
前記サポートにおける所定の画素を始点として幅優先探索を行う過程において、前記第ｘ画素の第ｘ深度値を得ることを含むことを特徴とする
請求項３から５のうちいずれか一項に記載の方法。

【請求項8】

前記サポートにＮ個のキーポイントが設けられ、前記所定の画素は、前記Ｎ個のキーポイントのうちの中心キーポイントが位置する画素であることを特徴とする
請求項７に記載の方法。

【請求項9】

データ処理装置であって、
２Ｄ画像に基づいて、ターゲットのサポートを取得するように構成される第１取得モジュールであって、前記ターゲットのサポートは前記ターゲットの骨格である、第１取得モジュールと、
前記２Ｄ画像における第ｘ画素と、前記サポート内の対応するサポート体が位置する線分との間の第ｘ距離を決定するように構成される第１決定モジュールであって、前記対応するサポート体は、前記サポート内の前記第ｘ画素に最も近いサポート体である、第１決定モジュールと、
前記第ｘ距離が距離閾値以上であるかどうかを決定し、前記第ｘ距離が前記距離閾値より大きい場合、前記第ｘ画素が前記ターゲットを構成する画素ではないと決定するように構成される第２決定モジュールと、を備え、
前記装置は、前記第ｘ画素に最も近い前記サポート体と候補閾値との対応関係に基づいて、前記距離閾値を決定するように構成される第３決定モジュールを更に備える、前記装置。

【請求項10】

請求項１から８のうちいずれか一項に記載の方法を実施するために実行される、コンピュータ実行可能なコードを記憶しているコンピュータ記憶媒体。

【請求項11】

電子機器であって、
情報を記憶するように構成されるメモリと、
前記メモリに接続され、前記メモリに記憶されたコンピュータ実行可能な命令を実行して、請求項１から８のうちいずれか一項に記載の方法を実施するように構成されるプロセッサと、を備える、前記電子機器。

【請求項12】

コンピュータに、請求項１から８のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連願の相互参照）
本願は、２０１８年０９月１８日に提出された願番号２０１８１１０９０３３８．５の中国特許願に基づく優先権を主張し、該中国特許願の全内容が参照として本願に組み込まれる。

【0002】

本願は、情報技術分野に関し、特にデータ処理方法及び装置、電子機器並びに記憶媒体に関する。

【背景技術】

【0003】

カメラにより撮影された画像を利用する場合、撮影された画像からターゲットを抽出することがある。関連技術において、画像におけるターゲットを抽出する方式は、多様である。

【0004】

方式１において、ターゲットの特徴に基づいて、ターゲット抽出を行う。

【0005】

方式２において、深層学習モデルに基づいて、ターゲット抽出を行う。深層学習モデルに基づいたターゲット抽出の場合、深層学習モデルの訓練の難度が大きく、訓練周期が長いなどの問題が存在する。また、深層学習モデルは、状態が異なったターゲットを抽出する場合、抽出精度が大きく異なる。

【発明の概要】

【発明が解決しようとする課題】

【0006】

これに鑑みて、本願の実施例は、データ処理方法及び装置、電子機器並びに記憶媒体を提供することが望ましい。

【課題を解決するための手段】

【0007】

データ処理方法であって、前記方法は、
２Ｄ画像に基づいて、ターゲットのサポートを取得することと、
前記２Ｄ画像における第ｘ画素から前記サポートまでの第ｘ距離を決定することと、
前記第ｘ距離に基づいて、前記第ｘ画素が前記ターゲットを構成する画素であるかどうかを決定することと、を含む。

【0008】

データ処理装置であって、前記装置は、
２Ｄ画像に基づいて、ターゲットのサポートを取得するように構成される第１取得モジュールと、
前記２Ｄ画像における第ｘ画素から前記サポートまでの第ｘ距離を決定するように構成される第１決定モジュールと、
前記第ｘ距離に基づいて、前記第ｘ画素が前記ターゲットを構成する画素であるかどうかを決定するように構成される第２決定モジュールと、を備える。

【0009】

コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能なコードが記憶されており、前記コンピュータによる実行可能なコードが実行された後、１つ又は複数の技術的解決手段で提供されるデータ処理方法を実現させることができる。

【0010】

電子機器であって、前記電子機器は、
情報を記憶するように構成されるメモリと、
前記メモリに接続され、前記メモリに記憶されたコンピュータによる実行可能な命令を実行し、１つ又は複数の技術的解決手段で提供されるデータ処理方法を実現させるように構成されるプロセッサと、を備える。

【発明の効果】

【0011】

本願の実施例で提供される技術的解決手段は、まず、２Ｄ画像に基づいてターゲットのサポートを抽出し、続いて２Ｄ画像における画素からサポートまでの距離に基づいて、対応する画素がターゲットの画素であるかどうかを判定することで、ターゲットと背景との分離を実現させる。このような方式でターゲットと背景との分離を行う場合、深層学習モジュールは、２Ｄ画像から、限られた特定の数のキーポイントを抽出し、前記ターゲットのサポートを形成することができる。深層学習モデルにより２Ｄ画像における各画素を処理するという方式に比べて、深層学習モデルを簡略化することができ、深層学習モデルの訓練を簡略化することができる。なお、抽出されたターゲットの姿勢に基づいてターゲットと背景との分離を行う。ターゲットのサポートがターゲットの姿勢を反映する。また、本実施例におけるターゲットのサポートの形態は、ターゲットの姿勢の変動に伴って変動するため、ターゲットがどのような姿勢であるかに関わらず、ターゲットの姿勢の抽出に成功しさえすれば、第ｘ距離に基づいてターゲットと背景を正確に分離させることができる。これにより、ターゲットの姿勢が異なることにより、ある姿勢に対する認識率の低い深層学習モデルを用いる場合の正確度が不十分であるという問題を低減させ、深層学習モデルの訓練を簡略化し、ターゲット抽出の正確度を向上させる。

【図面の簡単な説明】

【0012】

【図1】本願の実施例によるデータ処理方法を示すフローチャートである。

【図2】本願の実施例によるターゲットのサポートを示す概略図である。

【図3】本願の実施例によるもう１つのターゲットのサポートを示す概略図である。

【図4】本願の実施例による１つの画像から対応するサポート体までの距離の決定を示す概略図である。

【図5】本願の実施例によるもう１つのデータ処理方法を示すフローチャートである。

【図6】本願の実施例によるまた１つのデータ処理方法を示すフローチャートである。

【図7】本願の実施例によるデータ処理装置の構造を示す概略図である。

【図8】本願の実施例による電子機器の構造を示す概略図である。

【発明を実施するための形態】

【0013】

以下、明細書の図面及び具体的な実施例を参照しながら、本願の技術的解決手段を更に詳しく説明する。

【0014】

図１に示すように、本実施例は、データ処理方法を提供する。前記方法は、
２Ｄ画像に基づいて、ターゲットのサポートを取得するステップＳ１１０と、
前記２Ｄ画像における第ｘ画素から前記サポートまでの第ｘ距離を決定するステップＳ１２０と、
前記第ｘ距離に基づいて、前記第ｘ画素が前記ターゲットを構成する画素であるかどうかを決定するステップＳ１３０と、を含む。

【0015】

本実施例において、データ処理方法を提供する。該データ処理方法は、一台又は複数台の電子機器に適用される。前記電子機器は、プロセッサを備えてもよい。該プロセッサは、コンピュータプログラムなどの実行可能な命令を実行することで、データ処理方法における１つ又は複数の工程を実現させることができる。幾つかの実施例において、単一型電子機器により、集中型データ処理を行うことができる。また、複数台の電子機器により分散型データ処理を行うこともできる。

【0016】

本実施例において、前記２Ｄ画像は、３Ｄ画像の構成部分であってもよい。前記３Ｄ画像は、前記２Ｄ画像に対応する深度画像を更に含む。ここで、前記２Ｄ画像と前記深度画像は、同一のターゲットの収集画像であってもよい。

【0017】

前記２Ｄ画像は、ＲＧＢ画像又はＹＵＶ画像等であってもよい。前記深度画像は、深度収集モジュールにより収集された深度情報を含む。前記深度画像の画素値は深度値である。前記深度値は、画像収集モジュールとターゲットとの距離であってもよい。ここで、本願の実施例における前記実際の深度値は、深度画像からのものである。

【0018】

前記ターゲットが人間又は動物である場合、前記ターゲットサポートは、人間又は動物の骨格であってもよい。前記人間又は骨格におけるキーポイントは、前記ターゲットサポート全体を表す。従って、前記ターゲットサポートの３Ｄ特徴は、前記ターゲットサポートのキーポイントの３Ｄ特徴であってもよい。前記３Ｄ特徴は、カメラ座標系内のｘ方向及びｙ方向での座標値を含み、ターゲットとカメラとの深度値を更に含む。

【0019】

本実施例において、３Ｄ画像に基づいて出力された３Ｄ座標を処理し、３Ｄ姿勢を得る。本実施例において、前記３Ｄ姿勢は、三次元空間座標系内に位置する３Ｄ座標間の相対的位置で表される。

【0020】

前記ステップＳ１１０は、ニューラルネットワークなどの深層学習モジュールを利用して、前記２Ｄ画像を入力として、ターゲットのサポートを抽出することを含んでもよい。例えば、ターゲットが動物であることを例として、前記サポートは、動物の骨格であってもよい。ターゲットが人間であることを例として、前記サポートは、人体の骨格であってもよい。また、例えば、ターゲットが可動工具であることを例として、前記サポートは、可動工具のサポート体であってもよい。

【0021】

ステップＳ１１０において、２Ｄ画像に基づいて、ターゲットのサポートを得ることは、ニューラルネットワークなどの深層学習モデルを利用してターゲットのキーポイントを抽出し、これらのキーポイントを連結して前記サポートを得ることを含んでもよい。

【0022】

例えば、ステップＳ１１０において、ターゲットが人間であることを例として説明すると、人間の関節に対応する画素を抽出し、前記キーポイントを決定することができる。続いて、これらのキーポイントを連結して前記サポートを形成する。幾つかの実施例において、前記キーポイントは、頭、頸、肘、手首、寛骨、膝及び踝の位置を表す画素であってもよい。図２は、ターゲットが人間である場合のターゲットのサポートを示す概略図である。図２において、１４個のキーポイントが表示されており、それぞれキーポイント１からキーポイント１４と番号付けられる。図３は、ターゲットが人間である場合のターゲットのサポートを示す概略図である。図３において、１７個のキーポイントが表示されており、それぞれキーポイント０からキーポイント１６と番号付けられる。図２及び図３におけるキーポイントの番号は、例に過ぎず、具体的には、上記番号に限定されない。

【0023】

図３において、キーポイント０は、ルートノードであってもよい。カメラ座標系での、キーポイント０の２Ｄ座標は、（０，０）であってもよく、カメラ座標系での３Ｄ座標は、（０，０，０）であってもよい。

【0024】

本実施例において、２Ｄ画像により、ターゲットのサポートを得る。該ターゲットのサポートは、ターゲットの現在の姿勢を正確に反映することができる。

【0025】

ターゲットと背景を正確に分離させるために、本実施例のステップＳ１２０において、２Ｄ画像における各画素をトラバースすることで、前記２Ｄ画像における各画素からサポートまでの距離を決定する。本実施例において、前記第ｘ画素は、２Ｄ画像におけるいずれか１つの画素であってもよい。本実施例において、区別のために、第ｘ画素とサポートとの間の距離を第ｘ距離と呼ぶ。本実施例において、ｘの値は、前記２Ｄ画像に含まれる画素の数より小さくてもよい。

【0026】

本実施例において、第ｘ距離に基づいて、２Ｄ画像における第ｘ画素がターゲットを構成する画素であるかどうかを判定することができる。第ｘ画素が前記ターゲットを構成する画素ではないと、該第ｘ画素は、ターゲット以外の背景の画素であってもよい。

【0027】

従って、第ｘ距離がターゲットを構成する画素であるかどうかを判定することにより、２Ｄ画像におけるターゲットと背景を正確に分離させることができる。

【0028】

ニューラルネットワーク等の深層学習モデルにより、２Ｄ画像から、限られた特定の数（例えば、１４又は１７等の数値）のキーポイントを取り出し、前記ターゲットのサポートを形成する。深層学習モデルを、画素ごとにターゲットに属するかどうかを決定するように訓練することに相当する。データ処理の難度及び処理量を大幅に低減させ、更に、深層学習モデルの複雑さを大幅に低下させ、深層学習モデルの訓練を簡略化して訓練速度を向上させる。本実施例におけるターゲットのサポートの形態は、ターゲットの姿勢の変動に伴って変動するため、ターゲットがどのような姿勢であるかに関わらず、ターゲットの姿勢の抽出に成功しさえすれば、第ｘ距離に基づいてターゲットと背景を正確に分離させることができる。これにより、ターゲットの姿勢が異なることにより、ある姿勢に対する認識率の低い深層学習モデルを用いる場合の正確度が不十分であるという問題を低減させ、深層学習モデルの訓練を簡略化し、ターゲット抽出の正確度を向上させる。

【0029】

幾つかの実施例において、前記ステップＳ１２０は、
前記第ｘ画素と、前記サポート内の対応するサポート体が位置する線分との間の距離を決定することであって、前記対応するサポート体は、前記サポート内の前記第ｘ画素に最も近いサポート体である、ことを含んでもよい。

【0030】

図２及び図３に示すように、サポートは、各キーポイントにより複数のサポート体に分けられる。１つの前記サポート体は、１本の線分と見なされる。本実施例において、前記第ｘ距離を算出するために、まず、第ｘ画素の画素座標に基づいて、カメラ座標系での、ターゲットサポートの座標を参照して、第ｘ画素に最も近いサポート体を決定する。続いて、サポート体を線分と見なし、第ｘ画素から該線分までの距離を求める。第ｘ画素の、対応するサポート体が位置する直線への垂直投影が、前記サポート体に位置する場合、該第ｘ距離は、第ｘ画素と、対応するサポート体が位置する線分と、の垂直距離であってもよく、又は、第ｘ画素の、対応するサポート体が位置する直線への垂直投影が、前記サポート体に位置する場合、前記第ｘ距離は、第ｘ画素と、前記サポート体が位置する線分の最も近い端点と、の距離であってもよい。

【0031】

図４に示すように、画素１に最も近いサポート体と画素２に最も近いサポート体は同一のものであるが、画素１と該サポート体との距離は、画素１から該サポート体が位置する線分上に直接的に垂線を降ろすことで得られた距離であってよく、画素２と該サポート体との距離は、該サポートが位置する線分の最も近い端点との距離である。本実施例において、前記距離は、画素の数で表されてもよく、画像上での空間的距離で直接的に表されてもよい。例えば、ミリメートル又はセンチメートルなどで表される。

【0032】

幾つかの実施例において、図５に示すように、前記ステップＳ１３０は、
前記第ｘ距離が距離閾値以上であるかどうかを決定するステップＳ１３２と、
前記第ｘ距離が前記距離閾値より大きい場合、前記第ｘ画素が前記ターゲットを構成する画素ではないと決定するステップＳ１３３と、を含んでもよい。

【0033】

本実施例において、前記距離閾値は、事前決定された値であってもよく、経験値、統計値又はシミュレーション値であってもよい。例えば、幾つかの実施例において、腕の画素から腕に対応するサポート体の画素までの画素の数は、１０から２０個であるか又は６から１５個であってもよい。勿論、ここで例を挙げるに過ぎず、具体的に実現する場合、これに限定されない。

【0034】

幾つかの実施例において、図６に示すように、前記方法は、
前記第ｘ画素に最も近い前記サポート体と候補閾値との対応関係に基づいて、前記距離閾値を決定するステップＳ１３１を更に含む。

【0035】

異なるサポート体に対応する閾値は異なるものである。本実施例において、このような対応関係を体現するために、本実施例で、電子機器は、各サポート体と候補閾値との対応関係を予め記憶してもよいか又は他の機器から予め受信してもよい。例えば、第ｘの画素に最も近いサポート体がサポート体ｙであると決定した場合、サポート体ｙと候補閾値との対応関係に基づいて、前記距離閾値を決定することができる。

【0036】

幾つかの実施例において、前記サポート体ｙと対応関係にある候補閾値を直接的に前記距離閾値とすることができる。例えば、前記サポート体ｙと対応関係にある候補閾値が複数である場合、複数の候補閾値から１つを選択して前記距離閾値として出力することができる。

【0037】

別の幾つかの実施例において、前記方法は、電子機器が前記候補閾値を決定した後、修正パラメータ等により前記候補閾値を修正することで最終的な距離閾値を得ることを更に含む。

【0038】

幾つかの実施例において、前記ステップＳ１３１は、
前記第ｘ画素に最も近い前記サポート体と候補閾値との対応関係に基づいて、基準閾値を得ることと、
前記２Ｄ画像に対応する深度画像に基づいて、前記ターゲットに対応する収集対象とカメラとの間の相対的距離を決定することと、
前記サポートの寸法及び相対的距離に基づいて、調整パラメータを得ることと、
前記基準閾値及び前記調整パラメータに基づいて、前記距離閾値を決定することと、を含んでもよい。

【0039】

幾つかの実施例において、収集対象がカメラから離れた距離が異なるため、２Ｄ画像におけるターゲットの寸法に影響を与える。ターゲットの寸法が大きいほど、前記距離閾値は大きくなる。ターゲット寸法が小さいほど、前記距離閾値も小さくなる。要するに、前記ターゲットの寸法は前記距離閾値と正に相関する。従って、本実施例において、深度画像に基づいて、ターゲットに対応する収集対象とカメラとの間の相対的距離を考慮する。

【0040】

サポートの寸法は、ターゲットの寸法を反映する。一般的には、相対的距離が遠いほど、サポートの寸法が小さくなる。従って、本実施例において、サポートの寸法及び相対的距離に基づいて、調整パラメータを得る。

【0041】

前記調整パラメータの決定は以下を含んでもよい。ターゲットの寸法、相対的距離及び焦点距離などにより、収集対象の寸法とターゲットの寸法との寸法比を換算することができる。更に、該寸法比に基づいて、比例パラメータ又は重みパラメータを得ることができる。

【0042】

前記基準閾値及び前記比例パラメータに基づいて、距離閾値を決定する。

【0043】

例えば、第ｘ画素に最も近いサポート体に対応する候補閾値に基づいて、基準閾値を決定する。続いて、サポートの寸法（例えば、サポートの高さ及び／又はサポートの幅）に基づいて、調整パラメータを換算することができる。該調整パラメータは、比例パラメータ及び／又は重みパラメータであってもよい。前記調整パラメータが比例パラメータである場合、基準閾値と比例パラメータとの積を算出して、前記距離閾値を得ることができる。

【0044】

幾つかの実施例において、前記比例パラメータは、基準寸法と収集対象の実際の寸法との比であってもよい。取集対象の実際の寸法は、前記比例パラメータに反比例する場合、収集対象が人間であることを例として説明すると、人間の身長が長いほど、比例パラメータは、小さくなる。人間の身長が低いほど、比例パラメータは、大きくなることがある。従って、決定されたサポートの寸法を一致させ、寸法が一致したサポートを利用して３Ｄ姿勢を取得することができる。寸法の異なるサポートの３Ｄ姿勢の取得に比べて、正確度を向上させることができる。

【0045】

前記調整パラメータが前記重みパラメータである場合、前記基準閾値と前記重みパラメータを加算して、前記距離閾値を得ることができる。

【0046】

幾つかの実施例において、図６に示すように、前記方法は、
前記２Ｄ画像に対応する深度画像に基づいて、前記第ｘ画素の第ｘ深度値を取得するステップＳ１２１を更に含み、
前記ステップＳ１３０は、ステップＳ１３１を含んでもよく、前記ステップＳ１３１は、前記第ｘ距離及び前記第ｘ深度値を参照して、前記第ｘ画素が前記ターゲットを構成する画素であるかどうかを決定することであってもよい。

【0047】

本実施例において、ターゲットと背景の分割の正確度を更に向上させるために、画素からターゲットのサポートとの間の距離を参照して、対応する画素がターゲットに属するかどうかを判定するだけでなく、該画素の深度値とターゲットに属する隣接画素の深度値との関連関係を参照して、第ｘ画素がターゲットの画素であるかどうかを決定する。

【0048】

ターゲットが人間である場合、人体の表面の移行は、相対的に緩やかであるため、深度画像における深度値も穏やかに移行し、大きな変異が発生することがない。大きな変異が発生した場合、人体以外の他の物体に対応する可能性がある。

【0049】

幾つかの実施例において、前記ステップＳ１３０は、前記第ｘ距離が第１条件を満たしており、且つ前記第ｘ深度値が第２条件を満たしている場合、前記第ｘ画素が前記ターゲットを構成する画素であると決定することを含んでもよい。

【0050】

幾つかの実施例において、前記第ｘ距離が第１条件を満たしていることは、前記第ｘ距離が距離閾値以下であることを含む。

【0051】

ここの距離閾値の取得方式は、前記実施例を参照することができる。ここで、詳細な説明を所略する。

【0052】

幾つかの実施例において、前記第ｘ深度値が第２条件を満たしていることは、
前記第ｘ深度値と第ｙ深度値との差が深度値閾値以下である場合、前記第ｘ深度値が前記第２条件を満たしていると決定することであって、前記第ｙ深度値が第ｙ画素の深度値であり、前記第ｙ画素は、前記ターゲットを構成する画素であると決定された、ことを含む。

【0053】

幾つかの実施例において、前記第ｙ画素は、前記第ｘ画素の隣接画素である。又は、前記第ｙ画素は、前記第ｘ画素と特定の数の画素による間隔が取られた画素である。例えば、第ｙ画素と第ｘ画素との間に、１つ又は２つの画素による間隔が取られた。幾つかの実施例において、第ｘ画素がターゲットに属するかどうかに基づいて、第ｙ画素と第ｘ画素との間の画素がターゲットに属するかどうかを判定することができる。これにより演算量を低減し、ターゲットと背景の分離速度を向上させる。

【0054】

本実施例において、第ｙ画素がターゲットの画素であることを確保するために、１つ目の第ｙ画素を選択する場合、ターゲットのサポート上のいずれか１つの画素を始点として選択する。また、好ましくは、ターゲットのサポート上の中心点に対応する画素を始点として選択するか又は、中心キーポイントの画素を始点として選択することができる。本実施例において、人体骨格を例として、前記中心キーポイントは、前記ルートノードであってもよいが、前記ルートノードに限定されない。

【0055】

幾つかの実施例において、前記ステップＳ１２１は、前記サポートにおける所定の画素を始点として幅優先探索を行う過程において、前記第ｘ画素の第ｘ深度値を得ることを含んでもよい。

【0056】

前記幅優先探索により、深度画像における各画素の深度値をトラバースすることができる。従って、対応する画素の深度値を得ることができる。幅優先探索により、深度画像における各画素をトラバースすることで、漏れが避けられ、ターゲットと背景を正確に分離させることができる。

【0057】

幾つかの実施例において、前記サポートにＮ個のキーポイントが設けられ、前記所定の画素は、前記Ｎ個のキーポイントのうちの中心キーポイントが位置する画素である。

【0058】

例えば、幾つかの実施例において、幅優先探索に基づいて、基準点から画素トラバースを行い、トラバースされた１つ目のトラバース画素に対応する深度値と基準点に対応する深度値との差が、深度差閾値以下である場合、１つ目のトラバースされた画素は、前記ターゲットを構成する画素であると認め、１つ目のトラバースされた画素に対応する深度値と基準点に対応する深度値との差が、深度差閾値より大きい場合、１つ目のトラバースされた画素が前記ターゲットを構成する画素ではないと認める。従って、上記操作を繰り返して実行することで、画像の少なくとも１つの画素をトラバースし、画像全体における全ての画素を選択的にトラバースする。

【0059】

第ｍ個のトラバースされた画素と、ターゲットを構成する画素であると判定された第ｍ－１画素に対応する深度値と、の差は、深度閾値以下である場合、第ｍ画素が前記ターゲットを構成する画素であると認める。そうでなければ、第ｍ画素がターゲットを構成する画素ではないと認める。ここで、前記第ｍ画素は、前記第ｍ－１画素の隣接画素であってもよい。

【0060】

幾つかの実施例において、幅優先探索に基づいて、２Ｄ画像における各画素をトラバースし、画素漏れなしを確保し、ターゲットと背景の分離の正確度を確保する。

【0061】

別の幾つかの実施例において、幅優先探索に基づいた画素トラバース過程において、
第ｘ画素と第ｙ画素との深度値差に基づいて、トラバース中止条件を満たすかどうかを決定することと、
前記深度値差が前記トラバース中止条件を満たしている場合、前記幅優先探索に基づいた画素トラバースを中止することを更に含む。

【0062】

第ｘ画素と第ｙ画素との深度値差に基づいて、トラバース中止条件を満たすかどうかを決定することは、
前記第ｘ画素と第ｙ画素との深度値差が中止閾値より大きい場合、前記トラバース中止条件を満たしていると決定することと、
現在統計された所定の数の第ｙ画素と第ｘ画素との深度値差が中止閾値より大きい場合、前記トラバース中止条件を満たしていると決定することと、のうちの少なくとも１つを含む。前記Ｎは、前記１４又は１７であってもよい。幾つかの実施例において、前記Ｎは１５であってもよい。例えば、図３に示したキーポイント０からキーポイント１４であってもよい。従って、幅優先探索された１つ目の参照用第ｙ画素がターゲットに位置することを確保し、探索の正確度を更に向上させる。

【0063】

本実施例において、画像収集モジュールにより収集された、異なる収集対象のターゲットの寸法が異なる。例えば、２Ｄ画像において、太った人が占用した画素が多く、痩せた人が占用した画素が少ない。本実施例において、ターゲットと背景の分離の正確度を向上させるために、ターゲットの画素を背景と誤判定することを低減させるか又は背景をターゲットと誤判定することを低減させる。本実施例において、第１条件及び第２条件を組み合わせて、１つの画素がターゲットを構成する画素であるかどうかを総合的に判定する。例えば、太った人について、その体表に対応する画素と、サポートと、の距離が大きい。痩せた人について、その体表に対応する画素と、サポートと、の距離が小さい。この場合、一般的な距離閾値によれば、痩せた人の体表以外の画素を、ターゲットを構成する画素と判定する。このような誤判定を更に低減させるために、深度値を参照して、第２条件の判定を行う。痩せた人が空中で写真を撮る場合、その体表と背景壁との画素深度差を検出した場合に、その体表と背景壁との画素深度差は、必ずその体表の隣接する２つの画素の深度値の差より大きいため、第２条件を満たすかどうかを決定することで、距離閾値が大きいことによる誤差を少なくとも無くすことができ、更に、ターゲットと背景との分離の正確度を向上させる。

【0064】

図７に示すように、本実施例は、データ処理装置を提供する。前記装置は、
２Ｄ画像に基づいて、ターゲットのサポートを取得するように構成される第１取得モジュール１１０と、
前記２Ｄ画像における第ｘ画素から前記サポートまでの第ｘ距離を決定するように構成される第１決定モジュール１２０と、
前記第ｘ距離に基づいて、前記第ｘ画素が前記ターゲットを構成する画素であるかどうかを決定するように構成される第２決定モジュール１３０と、を備える。

【0065】

幾つかの実施例において、前記第１取得モジュール１１０、第１決定モジュール１２０及び第２決定モジュール１３０は、プログラムモジュールであってもよく、該プログラムモジュールは、プロセッサにより実行された後、上記機能を実行することができる。

【0066】

別のいくつかの実施例において、前記第１取得モジュール１１０、第１決定モジュール１２０及び第２決定モジュール１３０は、ハードウェアモジュールとプログラムモジュールとの組み合わせであってもよく、例えば、複雑なプログラマブルアレイ又はフィールドプログラマブルアレイであってもよい。

【0067】

幾つかの実施例において、前記第１決定モジュール１２０は、前記第ｘ画素と、前記サポート内の対応するサポート体が位置する線分との間の距離を決定するように構成され、前記対応するサポート体は、前記サポート体内の前記第ｘ画素に最も近いサポート体である。

【0068】

幾つかの実施例において、前記第２決定モジュール１３０は、前記第ｘ距離が距離閾値以上であるかどうかを決定し、前記第ｘ距離が前記距離閾値より大きい場合、前記第ｘ画素が前記ターゲットを構成する画素ではないと決定するように構成される。

【0069】

幾つかの実施例において、前記装置は、
前記第ｘ画素に最も近い前記サポート体と候補閾値との対応関係に基づいて、前記距離閾値を決定するように構成される第３決定モジュールを更に備える。

【0070】

幾つかの実施例において、前記第３決定モジュールは、前記第ｘ画素に最も近い前記サポート体と候補閾値との対応関係に基づいて、基準閾値を得て、
前記２Ｄ画像に対応する深度画像に基づいて、前記ターゲットに対応する収集対象とカメラとの間の相対的距離を決定し、
前記サポートの寸法及び相対的距離に基づいて、調整パラメータを得て、
前記基準閾値及び前記調整パラメータに基づいて、前記距離閾値を決定するように構成される。

【0071】

幾つかの実施例において、前記装置は、
前記２Ｄ画像に対応する深度画像に基づいて、前記第ｘ画素の第ｘ深度値を取得するように構成される第２取得モジュールを更に備え、
前記第２決定モジュール１３０は、前記第ｘ距離及び前記第ｘ深度値を参照して、前記第ｘ画素が前記ターゲットを構成する画素であるかどうかを決定するように構成される。

【0072】

幾つかの実施例において、前記第２決定モジュール１３０は、前記第ｘ距離と前記サポートとの間の距離が第１条件を満たしており、且つ前記第ｘ深度値が第２条件を満たしている場合、前記第ｘ画素が前記ターゲットを構成する画素であると決定するように構成される。

【0073】

幾つかの実施例において、前記第ｘ距離と前記サポートとの間の距離が第１条件を満たしていることは、前記第ｘ距離と前記サポートとの間の距離が距離閾値以下であることを含む。

【0074】

幾つかの実施例において、前記第ｘ深度値が第２条件を満たしていることは、前記第ｘ深度値と第ｙ画素の深度値との差が深度値閾値以下である場合、前記第ｘ深度値が前記第２条件を満たしていると決定することであって、前記第ｙ深度値が第ｙ画素の深度値であり、前記第ｙ画素は、前記ターゲットを構成する画素であると決定されており、且つ前記第ｙ画素は、前記第ｘ画素の隣接画素である、ことを含む。

【0075】

幾つかの実施例において、前記第２取得モジュールは、前記サポートにおける所定の画素を始点として幅優先探索を行う過程において、前記第ｘ画素の第ｘ深度値を得るように構成される。

【0076】

幾つかの実施例において、前記サポートにＮ個のキーポイントが設けられ、前記所定の画素は、前記Ｎ個のキーポイントのうちの中心キーポイントが位置する画素である。

【0077】

図８に示すように、本願の実施例は電子機器を提供する。該電子機器は、
情報を記憶するように構成されるメモリと、
前記メモリに接続され、前記メモリに記憶されているコンピュータによる実行可能な命令を実行することで、前記１つ又は複数の技術的解決手段で提供されるデータ処理方法を実現させ、例えば図１、図５及び図６に示した方法のうちの１つ又は複数を実現させるように構成されるプロセッサと、を備える。

【0078】

該メモリは、ランダムメモリ、読み出し専用メモリ、フラッシュメモリなどのような様々なメモリであってもよい。前記メモリは、情報記憶に用いられ、例えば、コンピュータによる実行可能な命令などの記憶に用いられる。前記コンピュータによる実行可能な命令は、ターゲットプログラム命令及び／又はソースプログラム命令などのような様々なプログラム命令であってもよい。

【0079】

前記プロセッサは、中央演算処理装置、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルアレイ、デジタル信号プロセッサ、特定用途向け集積回路又は画像処理装置などのような様々なプロセッサであってもよい。

【0080】

前記プロセッサは、バスを経由して前記メモリに接続される。前記バスは、集積回路バスなどであってもよい。

【0081】

幾つかの実施例において、前記端末装置は、通信インタフェースを更に備えてもよい。該通信インタフェースは、ローカルエリアネットワーク、送受信アンテナなどのようなネットワークインタフェースであってもよい。前記通信インタフェースも、前記プロセッサに接続され、情報送受信に用いられる。

【0082】

幾つかの実施例において、前記端末装置は、ヒューマンインタラクティブインタフェースを更に備える。例えば、前記ヒューマンインタラクティブインタフェースは、キーボード、タッチパネルなどのような様々な入力出力装置を含んでもよい。

【0083】

本願の実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体には、コンピュータによる実行可能なコードが記憶されており、前記コンピュータによる実行可能なコードが実行された後、前記１つ又は複数の技術的解決手段で提供されるデータ処理方法を実現させ、例えば図１、図５及び図６に示した方法のうちの１つ又は複数を実現させる。

【0084】

前記記憶媒体は、携帯型記憶装置、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ-ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。前記記憶媒体は、非一時的記憶媒体であってもよい。

【0085】

本願の実施例は、コンピュータプログラム製品を提供する。前記プログラム製品は、コンピュータによる実行可能な命令を含み、前記コンピュータによる実行可能な命令が実行された後、前記いずれかの実施例で提供されるデータ処理方法を実現させ、例えば図１、図５及び図６に示した方法のうちの１つ又は複数を実現させる。

【0086】

本願で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。

【0087】

分離部材として説明した上記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。

【0088】

また、本発明の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとを組み合わせて実現してもよい。

【0089】

上記各方法に係る実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現され、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶され、該プログラムが実行される時、上記方法の実施例におけるステップを実行し、前記記憶媒体は、携帯型記憶装置、読み出し専用メモリ（Ｒｅａｄ-ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含むことは、当業者であれば理解すべきである。

【0090】

以上は本発明の具体的な実施形態に過ぎず、本発明の保護の範囲はそれらに制限されるものではなく、当業者が本発明に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】