▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-10
(54)【発明の名称】高さ測定方法および装置、ならびに端末
(51)【国際特許分類】
G06T 7/60 20170101AFI20230803BHJP
【ＦＩ】
G06T7/60 150Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023501759
(86)(22)【出願日】2021-01-23
(85)【翻訳文提出日】2023-02-16
(86)【国際出願番号】 CN2021073455
(87)【国際公開番号】W WO2022012019
(87)【国際公開日】2022-01-20
(31)【優先権主張番号】202010679662.1
(32)【優先日】2020-07-15
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】ファン、ウェイ
(72)【発明者】
【氏名】ス、チ
(72)【発明者】
【氏名】ウ、ヤフェイ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096FA09
5L096FA64
5L096FA66
5L096FA69
(57)【要約】
高さ測定方法が提供され、画像処理技術分野に関する。方法は、被写体を含む画像と、画像を撮影する場合に用いられるカメラの姿勢を取得する段階（３０１）と、画像における被写体の少なくとも２つのキー骨格点の画素座標を取得する段階（３０２）と、カメラの姿勢およびキー骨格点の画素座標に基づいて、キー骨格点の３次元座標を取得する段階（３０３）と、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の高さデータを決定する段階（３０４）と、を含む。本方法では、測定対象の高さデータを迅速かつ正確に取得することができる。
【特許請求の範囲】
【請求項1】
高さ測定方法であって、被写体を含む画像と、前記画像を撮影する場合に用いられるカメラの姿勢とを取得する段階と、
前記画像における前記被写体の少なくとも２つのキー骨格点の画素座標を取得する段階であって、前記キー骨格点は、骨格関節を含み、前記画素座標は、前記画像における前記キー骨格点の２次元位置情報を示す、段階と、
前記カメラの前記姿勢および前記少なくとも２つのキー骨格点の前記画素座標に基づいて、前記少なくとも２つのキー骨格点の３次元座標を取得する段階であって、前記３次元座標は、座標系における前記キー骨格点の３次元位置情報を示し、前記少なくとも２つのキー骨格点の前記３次元座標は、前記少なくとも２つのキー骨格点の間の距離についての情報を示す、段階と、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定する段階と、
を備える方法。
【請求項2】
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定する前記段階は、具体的には、前記画像における前記被写体の少なくとも３つのキー骨格点の画素座標を取得する段階と、
前記カメラの前記姿勢および前記少なくとも３つのキー骨格点の前記画素座標に基づいて、前記少なくとも３つのキー骨格点の３次元座標を取得する段階であって、前記３次元座標は、座標系における前記キー骨格点の３次元位置情報を示し、前記少なくとも３つのキー骨格点の前記３次元座標は、前記少なくとも３つのキー骨格点の間の距離についての情報を示す、段階と、
前記少なくとも３つのキー骨格点の前記３次元座標に基づいて、少なくとも２つの骨格距離を決定し、前記少なくとも２つの骨格距離に基づいて、前記被写体の前記高さデータを決定する段階と、
を含む、請求項１に記載の方法。
【請求項3】
前記座標系は、ワールド座標系を含む請求項１または２に記載の方法。
【請求項4】
前記方法は、前記被写体の３次元点群情報を取得する段階
をさらに備え、
前記カメラの前記姿勢および前記キー骨格点の前記画素座標に基づいて、前記被写体の前記少なくとも２つのキー骨格点の３次元座標を取得する前記段階は、具体的には、
前記キー骨格点の前記画素座標、前記カメラの前記姿勢、および前記３次元点群情報に基づいて、衝撃検出アルゴリズムに従って、前記少なくとも２つのキー骨格点の前記３次元座標を取得する段階
を含む、請求項１または２に記載の方法。
【請求項5】
前記被写体の３次元点群情報を取得する前記段階は、具体的には、異なる向きから撮影された前記被写体の少なくとも２つの画像に基づいて、前記被写体の前記３次元点群情報を取得する段階
を含む、請求項４に記載の方法。
【請求項6】
前記被写体の３次元点群情報を取得する前記段階は、具体的には、深度センサによって収集された前記被写体の前記３次元点群情報を取得する段階であって、前記深度センサは、双眼カメラ、レーザレーダ、ミリ波レーダ、またはタイムオブフライトセンサを含む、段階
を含む、請求項４に記載の方法。
【請求項7】
被写体の画像と、前記画像が撮影される場合に用いられるカメラの姿勢とを取得する前記段階は、具体的には、異なる向きから撮影された前記被写体の前記少なくとも２つの画像を取得する段階であって、異なる向きから撮影された前記被写体の前記少なくとも２つの画像は、前記画像を含む、段階と、
異なる向きから撮影された前記被写体の前記少なくとも２つの画像に基づいて、前記カメラの前記姿勢を取得する段階と、
を含む、請求項１または２に記載の方法。
【請求項8】
被写体の画像と、前記画像が撮影される場合に用いられるカメラの姿勢とを取得する前記段階は、具体的には、異なる向きから撮影された前記被写体の前記少なくとも２つの画像を取得する段階であって、異なる向きから撮影された前記被写体の前記少なくとも２つの画像は、前記被写体の前記画像を含む、段階と、
異なる向きから撮影された前記被写体の前記少なくとも２つの画像に対応する、前記カメラの慣性測定ユニットデータを取得する段階と、
前記慣性測定ユニットデータと、異なる向きから撮影された前記被写体の前記少なくとも２つの画像とに基づいて、前記カメラの前記姿勢を決定する段階と、
を含む、請求項１または２に記載の方法。
【請求項9】
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定する前記段階は、具体的には、前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の骨格長さおよび前記被写体の姿勢情報を取得する段階と、
前記姿勢情報に基づいて、前記骨格長さの予め設定された重みパラメータを決定する段階と、
前記骨格長さおよび前記重みパラメータに基づいて、前記被写体の前記高さデータを決定する段階と、
を含む、請求項１または２に記載の方法。
【請求項10】
前記骨格長さは、頭の骨格長さおよび脚の骨格長さを含み、前記骨格長さおよび前記重みパラメータに基づいて、前記被写体の前記高さデータを決定する前記段階は、具体的には、
前記頭の前記骨格長さおよび予め設定された頭補償パラメータに基づいて、頭高さ補償値を決定する段階と、
前記脚の前記骨格長さおよび予め設定された足補償パラメータに基づいて、足高さ補償値を決定する段階と、
前記骨格長さ情報、前記重みパラメータ、前記頭高さ補償値、および前記足高さ補償値に基づいて、前記被写体の前記高さデータを決定する段階と、
を含む、請求項９に記載の方法。
【請求項11】
前記画像は、少なくとも２つの被写体を含み、前記方法は、
前記画像に対して顔検出を実行し、前記少なくとも２つの被写体の各々のキー骨格点の画素座標を、画像分割アルゴリズムに従って、前記キー骨格点の前記画素座標から決定する段階
をさらに備える、請求項１または２に記載の方法。
【請求項12】
前記キー骨格点は、重力方向に配置される、請求項１または２に記載の方法。
【請求項13】
前記被写体は、非直立姿勢である、請求項１または２に記載の方法。
【請求項14】
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定する前記段階は、具体的には、前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の骨格長さ情報を取得する段階と、
第１事前設定条件を満たす骨格長さ情報を削除する段階であって、前記第１事前設定条件は、骨格長さ情報における骨格長さが予め設定された範囲外にあること、または、対称部分間の骨格長さの差が予め設定された閾値範囲より大きいまたはこれに等しいことを含む、段階と、
削除後に取得された骨格長さ情報に基づいて、前記被写体の前記高さデータを決定する段階と、
を含む、請求項１または２に記載の方法。
【請求項15】
前記方法は、前記画像において、前記被写体近傍で前記被写体の前記高さデータをラベリングし、前記高さデータをユーザに表示する段階、または、
音声を通して、前記被写体の前記高さデータをブロードキャストする段階
をさらに備える、請求項１または２に記載の方法。
【請求項16】
前記方法は、前記被写体の前記キー骨格点が第２事前設定条件を満たさない場合、検出失敗情報をユーザに表示する、または、音声を通して前記検出失敗情報をユーザに提示する、または、振動を通して前記検出失敗情報をユーザに提示する段階
をさらに備える、請求項１または２に記載の方法。
【請求項17】
被写体を含む画像と、前記画像を撮影する場合に用いられるカメラの姿勢とを取得するように構成される取得モジュールであって、前記取得モジュールは、さらに、前記画像における前記被写体の少なくとも２つのキー骨格点の画素座標を取得するように構成され、前記キー骨格点は、骨格関節を含み、前記画素座標は、前記画像における前記キー骨格点の２次元位置情報を示し、
前記取得モジュールは、さらに、前記カメラの前記姿勢および前記キー骨格点の前記画素座標に基づいて、前記少なくとも２つのキー骨格点の３次元座標を取得するように構成され、前記３次元座標は、座標系における前記キー骨格点の３次元位置情報を示し、前記少なくとも２つのキー骨格点の前記３次元座標は、前記少なくとも２つのキー骨格点の間の距離についての情報を示す、
取得モジュールと、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定するように構成される決定モジュールと、
を備える高さ測定装置。
【請求項18】
１または複数のプロセッサおよびメモリを備える端末であって、前記メモリは、コンピュータ可読命令を格納し、
前記１または複数のプロセッサは、前記コンピュータ可読命令を読み出すように構成され、これにより、前記端末は、請求項１または２に記載の方法を実装する
端末。
【請求項19】
コンピュータに請求項１または２に記載の方法を実行させるコンピュータプログラム。
【請求項20】
コンピュータ可読命令を備えるコンピュータ可読記憶媒体であって、前記コンピュータ可読命令がコンピュータ上で実行された場合、前記コンピュータは、請求項１または２に記載の方法を実行可能にされる、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、画像処理技術分野に関し、特に、高さ測定方法および装置、ならびに端末に関する。
【背景技術】
【0002】
高さは、人体の基本データの重要な部分であり、常に多くの注目を集める。いかに測定対象の高さデータを迅速かつ正確に取得し、いかに複数の測定対象の高さデータを同時に取得するかは、常に、関連分野において、注目の研究テーマであった。
【0003】
従来の高さ測定方法では、測定対象は、直立姿勢であることが必要とされる。高さデータは、標準尺度または赤外線または超音波の反射を用いることによって取得され、高さデータは、１つずつ測定することのみが可能である。さらに、姿勢要件が厳格である。直立姿勢が標準ではない場合、高さデータは不正確となる。
【0004】
既存の高さ測定方法では、測定対象の高さは、参照対象を比例関係で拡大縮小することによって取得されてよい。例えば、図１に示すように、端末のプレビューインタフェースに仮想定規が表示され、端末デバイスと測定対象との間の距離が、端末の距離センサを用いることによって取得される。測定対象の高さは、距離値と定規との間の予め設定された対応関係に基づいて推定される。
【0005】
高さ測定方法の測定結果は、仮想定規を用いて端末と測定対象との間の距離を比例関係で拡大することによって取得されるので、端末デバイスの解像度および端末デバイスの距離センサの正確性の両方が測定の正確性に影響し、解像度が不十分な場合、または測定対象の周辺環境が不規則な場合には、高さ測定結果の正確性が低下する。
【発明の概要】
【0006】
本願の実施形態は、被写体の高さを測定するための高さ測定方法を提供し、これにより、測定結果の正確性を改善することができる。
【0007】
本願の実施形態の第１態様は、被写体を含む画像と、画像を撮影する場合に用いられるカメラの姿勢とを取得する段階と、画像における被写体の少なくとも２つのキー骨格点の画素座標を取得する段階であって、キー骨格点は、骨格関節を含み、画素座標は、画像におけるキー骨格点の２次元位置情報を示す、段階と、カメラの姿勢および少なくとも２つのキー骨格点の画素座標に基づいて、少なくとも２つのキー骨格点の３次元座標を取得する段階であって、３次元座標は、座標系におけるキー骨格点の３次元位置情報を示し、少なくとも２つのキー骨格点の３次元座標は、少なくとも２つのキー骨格点の間の距離についての情報を示す、段階と、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の高さデータを決定する段階と、を含む高さ測定方法を提供する。
【0008】
本願の本実施形態において提供される高さ測定方法によれば、被写体を撮影することによって取得される２次元画像は、骨格検出アルゴリズム等に従って検出されてよい。画像におけるキー骨格点の画素座標が、取得されてよい。キー骨格点の画素座標は、２次元画像に対応するカメラの姿勢に基づいて、３次元空間における３次元座標に変換されてよい。３次元座標は、現実世界におけるキー骨格点の位置情報に対応する。したがって、被写体の高さデータが、直接取得されてよい。本解決手段において提供される高さ測定方法によれば、被写体の高さデータは、撮影された被写体の２次元画像に基づいて、非接触方式で取得されてよい。さらに、撮影シナリオにおいて、高さの参照対象が必要とされない。これにより、誤差を低減し、測定の正確性を改善することができる。
【0009】
第１態様の可能な実装において、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の高さデータを決定する段階は、具体的には、画像における被写体の少なくとも３つのキー骨格点の画素座標を取得する段階と、カメラの姿勢および少なくとも３つのキー骨格点の画素座標に基づいて、少なくとも３つのキー骨格点の３次元座標を取得する段階であって、３次元座標は、座標系におけるキー骨格点の３次元位置情報を示し、少なくとも３つのキー骨格点の３次元座標は、少なくとも３つのキー骨格点の間の距離についての情報を示す、段階と、少なくとも３つのキー骨格点の３次元座標に基づいて、少なくとも２つの骨格距離を決定し、少なくとも２つの骨格距離に基づいて、被写体の高さデータを決定する段階と、を含む。
【0010】
第１態様の可能な実装において、座標系は、ワールド座標系を含む。
【0011】
第１態様の可能な実装において、方法は、被写体の３次元点群情報を取得する段階をさらに含み、カメラの姿勢およびキー骨格点の画素座標に基づいて、被写体の少なくとも２つのキー骨格点の３次元座標を取得する段階は、具体的には、キー骨格点の画素座標、カメラの姿勢、および３次元点群情報に基づいて、衝撃検出アルゴリズムに従って、少なくとも２つのキー骨格点の３次元座標を取得する段階を含む。
【0012】
本方法は、キー骨格点の画素座標をキー骨格点の３次元座標に、すなわち、２次元情報から３次元情報に変換するための具体的な解決手段を提供する。キー骨格点の３次元座標は、３次元点群情報および衝撃検出アルゴリズムに基づいて取得される。したがって、カメラの姿勢に基づいて実行される直接計算と比較して、本方法は、３次元座標の正確性を改善することができる。
【0013】
第１態様の可能な実装において、被写体の３次元点群情報を取得する段階は、具体的には、
異なる向きから撮影された被写体の少なくとも２つの画像に基づいて、被写体の３次元点群情報を取得する段階を含む。
異なる向きから撮影された被写体の少なくとも２つの画像に基づいて、被写体の３次元点群情報を取得する段階を含む。
【0014】
本方法は、３次元点群情報を取得するための具体的な方法を提供する。具体的には、被写体の３次元点群情報は、被写体の複数の画像を取得し、被写体の複数の画像の特徴点を検出およびマッチングすることによって取得されてよい。３次元点群情報は複数の画像についての情報に基づいて取得されるので、単一の画像と比較して、より豊富な情報が３次元点群情報に含まれる。これにより、３次元座標の正確性を改善することができる。
【0015】
第１態様の可能な実装において、被写体の３次元点群情報を取得する段階は、具体的には、深度センサによって収集された被写体の３次元点群情報を取得する段階を含む。深度センサは、双眼カメラ、レーザレーダ、ミリ波レーダ、またはタイムオブフライト（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ、ＴＯＦ）センサを含む。
【0016】
本方法は、３次元点群情報を取得するための別の具体的な方法を提供する。３次元点群情報は、深度センサを用いることによって収集される。深度センサを用いることによって取得された３次元点群は高密度点群であってよいので、より豊富な情報を含むことができる。高密度の３次元点群に基づいて、キー骨格点の取得された３次元座標は、より正確となる。
【0017】
第１態様の可能な実装において、被写体の画像と、画像が撮影される場合に用いられるカメラの姿勢とを取得する段階は、具体的には、異なる向きから撮影された被写体の少なくとも２つの画像を取得する段階であって、異なる向きから撮影された被写体の少なくとも２つの画像は、画像を含む、段階と、異なる向きから撮影された被写体の少なくとも２つの画像に基づいて、カメラの姿勢を取得する段階と、を含む。
【0018】
本方法は、カメラの姿勢を取得する具体的な方式を提供する。具体的には、画像が撮影される場合に用いられるカメラの姿勢は、異なる向きから撮影された被写体の少なくとも２つの画像を取得し、特徴点を検出およびマッチングすることによって推定されてよい。
【0019】
第１態様の可能な実装において、被写体の画像と、画像が撮影される場合に用いられるカメラの姿勢とを取得する段階は、具体的には、異なる向きから撮影された被写体の少なくとも２つの画像を取得する段階であって、異なる向きから撮影された被写体の少なくとも２つの画像は、被写体の画像を含む、段階と、異なる向きから撮影された被写体の少なくとも２つの画像に対応する、カメラの慣性測定ユニットデータを取得する段階と、慣性測定ユニットデータと、異なる向きから撮影された被写体の少なくとも２つの画像とに基づいて、カメラの姿勢を決定する段階と、を含む。
【0020】
本方法は、カメラの姿勢を取得する具体的な方式を提供する。異なる向きから撮影された被写体の少なくとも２つの画像を取得する段階に加えて、さらに、慣性測定ユニットデータが収集されてよい。これにより、カメラの姿勢の計算の正確性を改善することができる。
【0021】
第１態様の可能な実装において、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の高さデータを決定する段階は、具体的には、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の骨格長さおよび被写体の姿勢情報を取得する段階と、姿勢情報に基づいて、骨格長さの予め設定された重みパラメータを決定する段階と、骨格長さおよび重みパラメータに基づいて、被写体の高さデータを決定する段階と、を含む。
【0022】
本方法において提供される高さ測定方法によれば、キー骨格点の３次元座標が被写体の体表面から得られることを考慮すると、体の骨格に対応する実際の高さと、３次元座標に基づいて取得された骨格長さとの間に特定の誤差が存在する。したがって、計算された骨格長さを補正するために、重みパラメータが導入される。これにより、解決手段の精度を改善することができる。
【0023】
第１態様の可能な実装において、骨格長さは、頭の骨格長さおよび脚の骨格長さを含む。骨格長さおよび重みパラメータに基づいて、被写体の高さデータを決定する段階は、具体的には、頭の骨格長さおよび予め設定された頭補償パラメータに基づいて、頭高さ補償値を決定する段階と、脚の骨格長さおよび予め設定された足補償パラメータに基づいて、足高さ補償値を決定する段階と、骨格長さ情報、重みパラメータ、頭高さ補償値、および足高さ補償値に基づいて、被写体の高さデータを決定する段階と、を含む。
【0024】
本方法において提供される高さ測定方法によれば、頭および足の補償が導入される。これにより、高さ測定の正確性を、さらに改善することができる。
【0025】
第１態様の可能な実装において、方法は、画像に対して顔検出を実行し、被写体の頭高さデータを取得する段階をさらに含む。頭高さデータは、２次元キー骨格点情報において、頭に対応するキー骨格点の画素座標を補正するために用いられる。
【0026】
本方法において提供される高さ測定方法によれば、頭高さデータは、さらに、顔検出を通して取得されてよく、キー骨格点の画素座標が補正される。これにより、測定の正確性が改善される。
【0027】
第１態様の可能な実装において、画像は、少なくとも２つの被写体を含む。方法は、画像に対して顔検出を実行し、少なくとも２つの被写体の各々のキー骨格点の画素座標を、画像分割アルゴリズムに従って、キー骨格点の画素座標から決定する段階をさらに含む。
【0028】
本方法において提供される高さ測定方法によれば、画像における複数の被写体の高さを測定することができる。高さが１つずつ検出される従来技術と比較して、本方法では、オペレーションを簡略化することができる。これにより、測定の効率が改善される。
【0029】
第１態様の可能な実装において、方法は、少なくとも２つの被写体についての情報をユーザに表示する段階であって、少なくとも２つの被写体についての情報は、少なくとも２つの被写体の画像情報、少なくとも２つの被写体のキー骨格点の画素座標でマーキングされた画像情報、および少なくとも２つの被写体の顔検出結果情報のうちの少なくとも１つを含む、段階と、ユーザ命令を取得する段階と、
をさらに含む。ユーザ命令は、少なくとも２つの被写体のうちの１または複数に対して高さ測定を実行するよう命令する。
をさらに含む。ユーザ命令は、少なくとも２つの被写体のうちの１または複数に対して高さ測定を実行するよう命令する。
【0030】
本方法において提供される高さ測定方法によれば、さらに、ユーザとのインタラクションが実行されてよく、ユーザ命令に基づいて、画像に含まれる被写体から、ユーザが高さ検出を望む対象が選択される。これにより、ユーザエクスペリエンスが改善する。
【0031】
第１態様の可能な実装において、キー骨格点は、重力方向に配置される。重力方向に配置されたキー骨格点は、高さ測定の正確性を改善するのに役立つ。
【0032】
第１態様の可能な実装において、被写体は、非直立姿勢である。非直立姿勢は、座った姿勢、寝た姿勢、および膝立姿勢を含む。被写体が非直立姿勢の場合も、被写体の高さは、本願の本実装において測定することができる。
【0033】
第１態様の可能な実装において、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の高さデータを決定する段階は、具体的には、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の骨格長さ情報を取得する段階と、第１事前設定条件を満たす骨格長さ情報を削除する段階であって、第１事前設定条件は、骨格長さ情報における骨格長さが予め設定された範囲外にあること、または、対称部分間の骨格長さの差が予め設定された閾値範囲より大きいまたはこれに等しいことを含む、段階と、削除後に取得された骨格長さ情報に基づいて、被写体の高さデータを決定する段階と、を含む。
【0034】
本方法において提供される高さ測定方法によれば、異常データは、削除されてもよい。これにより、測定結果の正確性が改善される。任意選択的に、人体の対称性に基づいて、左右の対称部分の骨格が、検証されてよい。例えば、左脚および右脚に対応する骨格長さの間の差は、小さいはずである。差が閾値より大きい場合、異常データは、削除されてよい。
【0035】
第１態様の可能な実装において、方法は、画像において、被写体近傍で被写体の高さデータをラベリングし、高さデータをユーザに表示する段階、または、音声を通して、被写体の高さデータをブロードキャストする段階をさらに含む。
【0036】
本方法において提供される高さ測定方法によれば、被写体の高さがリアルタイムに表示される画像においてマーキングされてよく、フィードバックがリアルタイムに提供される。これにより、ユーザエクスペリエンスが改善する。
【0037】
第１態様の可能な実装において、方法は、被写体のキー骨格点が第２事前設定条件を満たさない場合、検出失敗情報をユーザに表示する、または、音声を通して検出失敗情報をユーザに提示する、または、振動を通して検出失敗情報をユーザに提示する段階をさらに含む。
【0038】
本方法において提供される高さ測定方法によれば、検出に失敗した場合、フィードバックがユーザに提供されてよい。これにより、ユーザエクスペリエンスが改善する。
【0039】
本願の実施形態の第２態様は、被写体を含む画像と、画像を撮影する場合に用いられるカメラの姿勢とを取得するように構成される取得モジュールであって、取得モジュールは、さらに、画像における被写体の少なくとも２つのキー骨格点の画素座標を取得するように構成され、キー骨格点は、骨格関節を含み、画素座標は、画像におけるキー骨格点の２次元位置情報を示し、取得モジュールは、さらに、カメラの姿勢およびキー骨格点の画素座標に基づいて、少なくとも２つのキー骨格点の３次元座標を取得するように構成され、３次元座標は、座標系におけるキー骨格点の３次元位置情報を示し、少なくとも２つのキー骨格点の３次元座標は、少なくとも２つのキー骨格点の間の距離についての情報を示す、取得モジュールと、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の高さデータを決定するように構成される決定モジュールと、を含む高さ測定装置を提供する。
【0040】
第２態様の可能な実装において、取得モジュールは、具体的には、画像における被写体の少なくとも３つのキー骨格点の画素座標を取得し、カメラの姿勢および少なくとも３つのキー骨格点の画素座標に基づいて、少なくとも３つのキー骨格点の３次元座標を取得するように構成される。３次元座標は、座標系におけるキー骨格点の３次元位置情報を示す。少なくとも３つのキー骨格点の３次元座標は、少なくとも３つのキー骨格点の間の距離についての情報を示す。
【0041】
決定モジュールは、具体的には、少なくとも３つのキー骨格点の３次元座標に基づいて、少なくとも２つの骨格距離を決定し、少なくとも２つの骨格距離に基づいて、被写体の高さデータを決定するように構成される。
【0042】
第２態様の可能な実装において、座標系は、ワールド座標系を含む。
【0043】
第２態様の可能な実装において、取得モジュールは、さらに、被写体の３次元点群情報を取得するように構成される。カメラの姿勢およびキー骨格点の画素座標に基づいて、被写体の少なくとも２つのキー骨格点の３次元座標を取得する段階は、具体的には、キー骨格点の画素座標、カメラの姿勢、および３次元点群情報に基づいて、衝撃検出アルゴリズムに従って、少なくとも２つのキー骨格点の３次元座標を取得する段階を含む。
【0044】
第２態様の可能な実装において、取得モジュールは、具体的には、異なる向きから撮影された被写体の少なくとも２つの画像に基づいて、被写体の３次元点群情報を取得するように構成される。
【0045】
第２態様の可能な実装において、取得モジュールは、具体的には、深度センサによって収集された被写体の３次元点群情報を取得するように構成される。深度センサは、双眼カメラ、レーザレーダ、ミリ波レーダ、またはタイムオブフライトセンサを含む。
【0046】
第２態様の可能な実装において、取得モジュールは、具体的には、異なる向きから撮影された被写体の少なくとも２つの画像を取得する手順で合って、異なる向きから撮影された被写体の少なくとも２つの画像は、画像を含む、手順と、異なる向きから撮影された被写体の少なくとも２つの画像に基づいて、カメラの姿勢を取得する手順とを実行するように構成される。
【0047】
第２態様の可能な実装において、取得モジュールは、具体的には、異なる向きから撮影された被写体の少なくとも２つの画像を取得する手順であって、異なる向きから撮影された被写体の少なくとも２つの画像は、被写体の画像を含む、手順と、異なる向きから撮影された被写体の少なくとも２つの画像に対応する、カメラの慣性測定ユニットデータを取得する手順と、慣性測定ユニットデータと、異なる向きから撮影された被写体の少なくとも２つの画像とに基づいて、カメラの姿勢を決定する手順と、を実行するように構成される。
【0048】
第２態様の可能な実装において、決定モジュールは、具体的には、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の骨格長さおよび被写体の姿勢情報を取得する手順と、姿勢情報に基づいて、骨格長さの予め設定された重みパラメータを決定する手順と、骨格長さおよび重みパラメータに基づいて、被写体の高さデータを決定する手順と、を実行するように構成される。
【0049】
第２態様の可能な実装において、骨格長さは、頭の骨格長さおよび脚の骨格長さを含む。決定モジュールは、具体的には、頭の骨格長さおよび予め設定された頭補償パラメータに基づいて、頭高さ補償値を決定する手順と、脚の骨格長さおよび予め設定された足補償パラメータに基づいて、足高さ補償値を決定する手順と、骨格長さ情報、重みパラメータ、頭高さ補償値、および足高さ補償値に基づいて、被写体の高さデータを決定する手順と、を実行するように構成される。
【0050】
第２態様の可能な実装において、画像は、少なくとも２つの被写体を含む。装置は、画像に対して顔検出を実行し、少なくとも２つの被写体の各々のキー骨格点の画素座標を、画像分割アルゴリズムに従って、キー骨格点の画素座標から決定するように構成される処理モジュールをさらに含む。
【0051】
第２態様の可能な実装において、装置は、少なくとも２つの被写体についての情報をユーザに表示するように構成される出力モジュールをさらに含む。少なくとも２つの被写体についての情報は、少なくとも２つの被写体の画像情報、少なくとも２つの被写体のキー骨格点の画素座標でマーキングされた画像情報、および少なくとも２つの被写体の顔検出結果情報のうちの少なくとも１つを含む。取得モジュールは、さらに、ユーザ命令を取得するように構成される。ユーザ命令は、少なくとも２つの被写体のうちの１または複数に対して高さ測定を実行するよう命令する。
【0052】
第２態様の可能な実装において、キー骨格点は、重力方向に配置される。重力方向に配置されたキー骨格点は、高さ測定の正確性を改善するのに役立つ。
【0053】
第２態様の可能な実装において、被写体は、非直立姿勢である。非直立姿勢は、座った姿勢、寝た姿勢、および膝立姿勢を含む。被写体が非直立姿勢の場合も、被写体の高さは、本願の本実装において測定することができる。
【0054】
第２態様の可能な実装において、決定モジュールは、具体的には、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の骨格長さ情報を取得する手順と、第１事前設定条件を満たす骨格長さ情報を削除する手順であって、第１事前設定条件は、骨格長さ情報における骨格長さが予め設定された範囲外にあること、または、対称部分間の骨格長さの差が予め設定された閾値範囲より大きいまたはこれに等しいことを含む、手順と、削除後に取得された骨格長さ情報に基づいて、被写体の高さデータを決定する手順と、を実行するように構成される。
【0055】
第２態様の可能な実装において、装置は、画像において、被写体近傍で被写体の高さデータをラベリングし、高さデータをユーザに表示する、または、音声を通して、被写体の高さデータをブロードキャストするように構成される出力モジュールをさらに含む。
【0056】
第２態様の可能な実装において、装置は、被写体のキー骨格点が第２事前設定条件を満たさない場合、検出失敗情報をユーザに表示する、または、音声を通して検出失敗情報をユーザに提示する、または、振動を通して検出失敗情報をユーザに提示するように構成される出力モジュールをさらに含む。
【0057】
本願の実施形態の第３態様は、１または複数のプロセッサと、メモリとを含む端末を提供する。メモリは、コンピュータ可読命令を格納する。１または複数のプロセッサは、メモリのコンピュータ可読命令を読み出し、これにより、端末は、第１態様および可能な実装のいずれか一項に記載の方法を実装する。
【0058】
本願の実施形態の第４態様は、命令を含むコンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で実行される場合、コンピュータは、第１態様および可能な実装のいずれか１つに記載の方法を実行可能にされる。
【0059】
本願の実施形態の第５態様は、命令を含むコンピュータ可読記憶媒体を提供する。命令がコンピュータ上で実行される場合、コンピュータは、第１態様および可能な実装のいずれか１つに記載の方法を実行可能にされる。
【0060】
本願の実施形態の第６態様は、プロセッサを含むチップを提供する。プロセッサは、メモリに格納されたコンピュータプログラムを読み出して実行するように構成され、前述の態様のいずれか１つの可能な実装に記載の方法を実行する。任意選択的に、チップは、メモリを含み、メモリおよびプロセッサは、回路または有線を用いることによって接続される。さらに、任意選択的に、チップは、通信インタフェースをさらに含み、プロセッサは、通信インタフェースに接続される。通信インタフェースは、処理される必要があるデータおよび／または情報を受信するように構成される。プロセッサは、通信インタフェースからデータおよび／または情報を取得し、データおよび／または情報を処理し、通信インタフェースを通して処理結果を出力する。通信インタフェースは、入力／出力インタフェースであってよい。
【0061】
第２態様から第６態様の実装のいずれか１つによってもたらされる技術的効果については、第１態様における対応する実装によってもたらされる技術的効果を参照されたい。本明細書では詳細について改めて説明しない。
【0062】
前述の技術的解決手段から、本願の実施形態が以下の利点を有することを認識することができる。
【0063】
本願の本実施形態において提供される高さ測定方法によれば、被写体の画像と、画像が撮影される場合に用いられるカメラの姿勢とが取得され、画像における被写体の少なくとも２つのキー骨格点の画素座標を取得するために、画像に対して骨格検出が実行されてよく、次に、キー骨格点の画素座標は、カメラの姿勢に基づいて３次元空間に変換されて、少なくとも２つのキー骨格点の３次元座標を取得し、最後に、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の高さデータが決定される。本方法において、キー骨格点の２次元画素座標が３次元座標に変換され、被写体の高さデータが、参照対象を変換することなく直接取得される。これにより、被写体周りのシナリオが複雑な場合に参照対象の変換によって生じる測定誤差を回避することができ、高さ測定結果の正確性を改善することができる。
【0064】
さらに、被写体の姿勢に関わらず、被写体のキー骨格点が示す骨格情報は変化しない。したがって、本願の本実施形態において提供される高さ測定方法は、様々な姿勢の被写体の高さ測定に適用されてよい。
【図面の簡単な説明】
【0065】
【図1】高さ測定の実施形態の概略図である。
【0066】
【図2a】本願の実施形態に係る高さ測定方法の適用シナリオの実施形態の概略図である。
【0067】
【図2b】本願の実施形態に係る高さ測定方法の適用シナリオの実施形態の概略図である。
【0068】
【図3】本願の実施形態に係る高さ測定方法の実施形態の概略図である。
【0069】
【図4】本願の実施形態に係る高さ測定方法の別の実施形態の概略図である。
【0070】
【図5】本願の実施形態に係る、２次元キー骨格点を３次元キー骨格点に変換する概略図である。
【0071】
【図6】本願の実施形態に係る直立姿勢における高さ測定方法の概略図である。
【0072】
【図7】本願の実施形態に係る座った姿勢における高さ測定方法の概略図である。
【0073】
【図8】本願の実施形態に係る高さ測定方法の適用シナリオの概略図である。
【0074】
【図9a】本願の実施形態に係るＳＬＡＭシステムの点群の概略図である。
【0075】
【図9b】本願の実施形態に係る２次元キー骨格点検出結果の概略図である。
【0076】
【図9c】本願の実施形態に係る、異なる角度で測定中の高さ検出の概略図である。
【0077】
【図10】本願の実施形態に係る高さ測定装置の実施形態の概略図である。
【0078】
【図11a】本願の実施形態に係る高さ測定装置の別の実施形態の概略図である。
【0079】
【図11b】本願の実施形態に係る高さ測定装置の別の実施形態の概略図である。
【0080】
【図12】本願の実施形態に係る端末の実施形態の概略図である。
【発明を実施するための形態】
【0081】
本願の実施形態は、複数の姿勢の被写体の高さを測定する高さ測定方法を提供し、これにより、高さデータの正確性を改善することができる。
【0082】
理解を容易ならしめるために、以下、本願の実施形態におけるいくつかの技術用語を簡潔に説明する。
【0083】
１．人のキー骨格点検出：すなわち、姿勢推定であり、主に、関節および顔の特徴のような人体のいくつかのキーポイントを検出し、キーポイントに基づいて骨格情報を提供する。キー骨格点は、骨格関節または関節とも称される。
【0084】
２．固有および外部カメラパラメータ
【0085】
固有カメラパラメータは、カメラ自体の特徴に関するパラメータであり、カメラの焦点距離、画素サイズ等を含む。カメラを備える電子デバイスの構成では、固有カメラパラメータは、通常、既知である。
【0086】
外部カメラパラメータは、ワールド座標系におけるパラメータであり、カメラの位置および回転方向を含む。
【0087】
固有カメラパラメータおよび外部カメラパラメータに基づいて、カメラによって撮影された画像における２次元画素が、ワールド座標系における３次元座標に対応すると決定されてよい。
【0088】
３．カメラの姿勢
【0089】
カメラが画像を撮影する場合のワールド座標系におけるカメラの位置および姿勢は、既知であり、外部カメラパラメータは、カメラの既知の姿勢に基づいて取得されてよい。カメラの姿勢は、６自由度（ｄｅｇｒｅｅ ｏｆ ｆｒｅｅｄｏｍ、ＤｏＦ）を含む。位置に関する３自由度は、３次元空間におけるカメラの位置を決定するために用いられる。回転角に関する３自由度は、３次元空間におけるカメラの姿勢を決定するために用いられる。カメラの姿勢は、画像が撮影される場合のワールド座標系におけるカメラの位置および姿勢に対応する。カメラの姿勢を計算するために用いられる、連続撮影を通して取得される画像シーケンスでは、相対的移動がカメラと撮影対象との間で必要とされ、相対的な位置および姿勢の変化を含む。具体的には、撮影対象は静止してよく、カメラは移動してよい。代替的に、撮影対象は移動してよく、カメラは静止してよい。代替的に、撮影対象およびカメラの両方が移動してよく、撮影対象とカメラとの間に相対的な姿勢の変化が存在する。
【0090】
以下では、添付図面を参照しながら本願の実施形態を説明する。説明される実施形態は、本願の実施形態の全部ではなく一部に過ぎないことが明らかである。当業者であれば、技術の発達および新たなシナリオの出現に伴い、本願の実施形態において提供される技術的解決手段が、同様の技術的課題にも適用可能であることを認識しよう。
【0091】
本願の本明細書、特許請求の範囲、および添付図面において、「第１」、「第２」等の用語は、同様の対象間を区別することを意図するものであり、必ずしも具体的な順序または順番を示すものではない。このような方法で記述されるデータは、適切な状況で交換可能であり、これにより、本明細書において説明される実施形態は、本明細書において示されるまたは説明される順序と異なる順序で実装可能であることが理解されるべきである。さらに、「含む」、「含有する」という用語および任意の他の派生語は、非排他的包含をカバーする、例えば、列挙される段階またはモジュールを含む処理、方法、システム、製品、またはデバイスが必ずしもこれらの段階またはモジュールに限定されるものではないが、明示的に列挙されない、またはこのような処理、方法、製品、またはデバイスに固有の他の段階またはモジュールを含んでよいことを意味するものである。本願における段階の名称または番号は、方法の手順における段階が、その名称または番号が示す時間的／論理的順序で実行されることを必要とすることを意味するものではない。名称または番号を付与された手順における段階の実行順序は、同じまたは同様の技術的効果を実現である限りにおいて、実現すべき技術的目標に基づいて変更可能である。
【0092】
本願の実施形態において提供される高さ測定方法によれば、測定される被写体は、脊椎動物であってよい。具体的には、人が、本願の実施形態における説明のための例として用いられる。
【0093】
本願の実施形態において提供される高さ測定方法は、複数の高さ測定シナリオに適用可能である。以下では、説明のために例を使用する。
【0094】
シナリオ１：拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）技術または仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、ＶＲ）技術の用途において、高さ測定は、インテリジェント端末デバイスを用いることによって実行されてよい。例えば、図２ａに示すように、スマートフォンが、測定対象（または被写体、測定対象等と称され、簡潔に対象と称されてよい）の周辺環境をスキャンするために用いられる。自己位置推定およびマッピングの同時実行（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ、ＳＬＡＭ）システムが、カメラの姿勢を推定し、測定対象の周辺環境の３次元（３Ｄ）点群データを取得するために用いられる。画像における２次元（２Ｄ）キー骨格点、すなわち、キー骨格点の画素座標が、骨格検出アルゴリズムおよび顔認識アルゴリズムに従って取得される。３次元空間における少なくとも２つのキー骨格点の３次元座標は、３Ｄ点群データに基づいて取得される。データ統合が、１または複数の測定対象の高さデータを出力するために、キー骨格点の３次元情報に対して実行され、複数の姿勢の複数のユーザの高さを測定する。高さデータは、画像における測定対象近傍で重畳され、スマートフォンのディスプレイに出力されてもよい。以下の実施形態において、高さ測定方法は、例としてシナリオ１を用いることによって説明される。
【0095】
シナリオ２：図２ｂに示すように、撮像デバイスが固定される。画像は、測定対象が予め定められた位置を歩く場合に撮像される。ワールド座標系におけるカメラの位置は既知であるので、２Ｄキー骨格点を取得するために、骨格検出が撮影された画像に対して実行され、２Ｄキー骨格点が３Ｄキー骨格点に変換された後、測定対象の高さデータをデータ統合および計算を通して出力することができる。
【0096】
以下、高さ測定方法を詳細に説明する。
図３は、本願の実施形態に係る高さ測定方法の実施形態の概略図である。
図３は、本願の実施形態に係る高さ測定方法の実施形態の概略図である。
【0097】
３０１：対象の画像および画像を撮影するカメラの姿勢を取得する。
【0098】
本願において、高さ測定装置は、端末であってよい。端末は、カメラのような撮像装置を用いることによって、対象の画像を取得してよい。カメラは、一般的な単眼カメラまたは双眼カメラを備えてよい。これは、本明細書では特に限定されるものではない。カメラは、端末内に構築されたコンポーネントであってよく、または、端末外のデバイスであってよい。画像データは、通信接続を通して端末に送信されてよい。固有カメラパラメータは既知であることに留意されたい。
【0099】
端末は、さらに、画像に対応するカメラの姿勢を取得する。任意選択的に、端末は、少なくとも２つの対象の画像を取得するために、単眼カメラを用いることによって異なる向きから対象を撮影し、画像において同種の特徴点のペアを検出することによって、カメラの姿勢を計算する。代替的に、端末は、双眼カメラを用いることによって対象を撮影し、カメラの姿勢を取得する。慣性測定ユニット（ＩＭＵ）は、対象の３軸姿勢角（または角速度）および加速度を測定するための装置である。任意選択的に、端末がＩＭＵと、対象の画像を撮像するように構成されるカメラとを含む場合、カメラの姿勢は、カメラの撮像プロセスにおいて用いられるＩＭＵデータに基づいて取得されてよい。任意選択的に、カメラの姿勢は、少なくとも２つの撮像された対象の画像と、画像が撮像される場合に用いられたＩＭＵデータとに基づいて計算される。複数の対象の画像およびＩＭＵデータに基づいて取得されたカメラの姿勢は、より正確であることが理解されよう。
【0100】
任意選択的に、対象の画像は、１または複数の測定対象を含んでよい。
【0101】
３０２：画像における対象のキー骨格点の画素座標を取得する。
【0102】
キー骨格点は、骨格の関節を含む。キー骨格点認識は、様々な既存の骨格検出アルゴリズムに従って、画像に対して実行され、画像におけるターゲットの少なくとも２つのキー骨格点の画素座標を取得する。画素座標は、画像におけるキー骨格点の２次元位置情報を示してよい。画素座標（ｕ，ｖ）は、画像におけるキー骨格点の位置を示す。
【0103】
キー骨格点は、骨格検出アルゴリズムに従って検出されてよい。具体的には、複数のキー骨格点検出アルゴリズム、例えば、ＲＭＰＥ （ｒｅｇｉｏｎａｌ ｍｕｌｔｉ－ｐｅｒｓｏｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ）アルゴリズムおよびＤｅｅｐＣｕｔアルゴリズムが存在する。キー骨格点の数は、例えば、１４または２１であってよい。
【0104】
任意選択的に、対象の画像が複数の測定対象を含む場合、各測定対象の２次元キー骨格点情報は、別々に取得されてよい。２次元キー骨格点情報は、画像における各キー骨格点の画素座標を含み、各キー骨格点の識別子をさらに含む。
【0105】
任意選択的に、被写体は、直立姿勢であってよい。直立姿勢は、被写体の全キー骨格点が重力方向に沿って配置されている、または、姿勢の鉛直方向に配置されていることを意味する。重力方向に配置された、または鉛直方向に配置されたキー骨格点は、高さ測定の正確性を改善するのに役立つ。
【0106】
任意選択的に、被写体は、非直立姿勢であってよい。非直立姿勢は、被写体のいくつかのキー骨格点の画素座標が重力方向に配置されていない、または、姿勢の鉛直方向に配置されていない、すなわち、非直立姿勢のキー骨格点の全画素座標が鉛直方向の直線上に配置されてはいないことを意味する。非直立姿勢は、座った姿勢、寝た姿勢、膝立姿勢、または別の姿勢を含む。本解決手段において、被写体が非直立姿勢の場合も、高さを測定することができる。
【0107】
３０３：カメラの姿勢およびキー骨格点の画素座標に基づいて、キー骨格点の３次元座標を取得する。
【0108】
固有カメラパラメータは既知であるので、画像における２次元キー骨格点の画素座標が、少なくとも２つのキー骨格点の３次元座標を取得するために、カメラの姿勢に基づいて、ワールド座標系における３次元座標に変換されてよい。３次元座標は、ワールド座標系におけるキー骨格点の３次元位置情報を示す。３次元座標は、例えば、（ｘ，ｙ，ｚ）である。さらに、少なくとも２つのキー骨格点の３次元座標が取得されるので、異なるキー骨格点間を区別するために、各キー骨格点の識別子がさらに取得されてよい。
【0109】
少なくとも２つのキー骨格点の３次元座標は、少なくとも２つのキー骨格点の間の距離についての情報を示してよい。例えば、第１キー骨格点の３次元座標は（ｘ１，ｙ１，ｚ１）であり、第２キー骨格点の３次元座標は（ｘ２，ｙ２，ｚ２）であり、ワールド座標系における第１キー骨格点と第２キー骨格点との間の距離が計算されてよい。第１キー骨格点および第２キー骨格点が同じ骨格の２つの端点、すなわち、関連するキー骨格点である場合、２つのキー骨格点の３次元座標に基づいて、骨格長さが計算されてよいことが理解されよう。言い換えれば、少なくとも２つのキー骨格点の間の距離についての情報は、骨格長さ情報を含み、これにより、当該情報が、対象の高さを計算するために用いられてよい。
【0110】
３０４：キー骨格点の３次元座標に基づいて、対象の高さデータを決定する。
【0111】
骨格長さは、少なくとも２つのキー骨格点の３次元座標に基づいて、取得されてよい。具体的には、骨格長さは、２つの関連するキー骨格点の３次元座標に基づいて、計算されてよい。任意選択的に、少なくとも２つの骨格距離は、少なくとも３つのキー骨格点の３次元座標に基づいて、決定され、対象の骨格構造は、骨格長さ情報に基づいて連結計算を実行するために用いられ、これにより、対象の高さデータが、少なくとも２つの骨格距離に基づいて、取得されてよい。例えば、骨格長さは、骨格を形成する２つの関節の３Ｄ座標間の３次元空間のユークリッド距離に基づいて計算されてよい。
【0112】
対象の高さデータを取得するために、複数の骨格長さが、通常は必要とされる。異なる骨格長さ情報間を区別するために、各骨格長さに対応する骨格の識別子が、さらに取得されてよい。骨格の識別子は、骨格に対応する人の胴体タイプ（例えば、「腕」または「脚」）であってよく、異なる骨格を示す。骨格の識別子と、キー骨格点の識別子との間には対応関係が存在する。例えば、右肩として識別されたキー骨格点と、右肘として識別されたキー骨格点とは、併せて、右上腕として識別される骨格を形成してよい。
【0113】
骨格連結アルゴリズムは、骨格長さに基づいて、高さデータを取得するために用いられる。複数の具体的な計算方法が存在するが、これらは本明細書において限定されるものではない。
【0114】
本願の本実施形態において提供される高さ測定方法によれば、画像における対象のキー骨格点の画素座標が検出され、次に、キー骨格点の３次元座標を取得するために、キー骨格点の画素座標が、カメラの姿勢に基づいて、３次元空間に変換され、最後に、対象の高さデータが、少なくとも２つのキー骨格点の３次元座標に基づいて、決定される。本方法において、キー骨格点の２次元画素座標が３次元座標に変換され、対象の高さデータが、参照対象を変換することなく直接取得される。これにより、対象周りのシナリオが複雑な場合に参照対象の変換によって生じる測定誤差を回避することができ、高さ測定結果の正確性を改善することができる。
【0115】
図４は、本願の実施形態に係る高さ測定方法の別の実施形態の概略図である。
【0116】
４０１：対象の画像を取得する。
【0117】
端末は、少なくとも２つの対象の画像を取得する。少なくとも２つの対象の画像は、異なる姿勢でカメラを用いることによって撮影される。
【0118】
任意選択的に、少なくとも２つの対象の画像が撮影される場合に用いられるＩＭＵデータが、同時に取得されてよい。少なくとも２つの対象の画像が撮像される場合、カメラの姿勢が異なるので、ＩＭＵデータは、カメラの移動方向および移動距離を示してよい。
【0119】
画像は、測定される高さを有する１または複数の対象を含んでよいことに留意されたい。各対象について、高さ測定を実行するために、少なくとも２つの対象の画像を取得する必要がある。
【0120】
４０２：画像シーケンスにおいて、カメラの姿勢を決定する。
【0121】
カメラの姿勢は、画像における同種の特徴点のペアを検出することによって、少なくとも２つの対象の画像に基づいて計算されてよい。代替的に、カメラの姿勢は、カメラの撮像プロセスにおいて用いられるＩＭＵデータに基づいて、取得される。代替的に、カメラの姿勢は、少なくとも２つの対象の画像と、画像が撮像される場合に用いられたＩＭＵデータとに基づいて計算される。複数の対象の画像およびＩＭＵデータに基づいて取得されたカメラの姿勢は、より正確であることが理解されよう。
【0122】
端末は、ターゲットの少なくとも２つの画像のいずれか１つに対応する、カメラの姿勢を取得してよい。
【0123】
４０３：３次元点群情報を取得する。
【0124】
端末は、３次元点群情報を取得する。３次元点群情報は、座標系における対象の可視部分の３次元座標を含む。任意選択的に、座標系は、ワールド座標系を含む。任意選択的に、３次元点群情報を取得するための方法は、ＬｉＤＡＲ深度撮像方法、コンピュータステレオビジョン撮像方法、ストラクチャードライト方法等を含む。これは、本明細書では特に限定されるものではない。
【0125】
例えば、３次元点群情報は、コンピュータステレオビジョン撮像方法を用いることによって取得される。具体的には、特徴抽出およびマッチングが、段階４０１で取得された少なくとも２つの対象の画像に対して実行され、特徴点のペアを取得する。対象の画像における画素に対応する３次元点群が、三角化アルゴリズムに従って、かつ、段階４０２において決定されたカメラの姿勢の特徴点のペアに基づいて、取得される。
【0126】
例えば、３次元点群情報は、ＬｉＤＡＲ深度撮像方法を用いることによって取得される。端末が深度センサ、例えば、レーザセンサを含む場合、３Ｄ点群情報は、直接取得されてよい。深度センサの具体的な構成に基づいて、３Ｄ点群情報の出力は、高密度３Ｄ点群または半高密度３Ｄ点群であってよい。
【0127】
任意選択的に、３Ｄ点群情報は、前述の２つの方式との組み合わせで取得されてよい。すなわち、３Ｄ点群が対象の画像およびカメラの姿勢に基づいて計算される場合、点群深度は、深度センサによって取得された深度マップによって直接提供される。このように、３Ｄ点群の正確性を改善することができる。さらに、カメラの姿勢も最適化することができ、これにより、カメラの姿勢がより正確となる。
【0128】
４０４：対象の画像に対して顔検出を実行する。
【0129】
対象の画像は、測定される高さを有する１または複数の対象を含んでよいことに留意されたい。１または複数の測定対象の顔情報は、対象の画像に対して顔検出を実行することによって決定されてよい。
【0130】
任意選択的に、対象の画像が複数の顔情報を含む場合、端末は、さらに、顔検出結果をユーザに提示する、例えば、各対象の顔情報をディスプレイ上に提示する、または、音声を通して、対象の数を出力してよい。
【0131】
４０５：顔情報に基づいて画像分割を実行する。
【0132】
１または複数の測定対象の顔情報は、段階４０４の顔検出結果に基づいて決定されてよい。
【0133】
対象の画像が複数の顔情報を含む場合、複数の測定対象の画像部分を取得するために、画像分割が対象の画像に対して実行されてよい。複数の測定対象の画像部分は、それぞれ、複数の測定対象の高さを測定するために用いられてよい。
【0134】
段階４０４および段階４０５は、任意選択的であり、実行されてもよく、または実行されなくてもよいことに留意されたい。これは、本明細書において限定されるものではない。
【0135】
４０６：対象の画像に基づいて骨格検出を実行し、対象の２次元キー骨格点情報を取得する。
【0136】
対象の画像の２次元キー骨格点情報が、キー骨格点検出アルゴリズムに従って取得される。本明細書における２次元キー骨格点情報は、キー骨格点の画素座標と、画素座標に対応するキー骨格点の識別子とを含む。
【0137】
人のキー骨格点は、骨格検出アルゴリズムに従って検出されてよい。具体的には、複数のキー骨格点検出アルゴリズムが存在する。例えば、人のキー骨格点の数は、１４または２１であってよい。例えば、１４点が例として用いられる。表１は、人のキー骨格点の意味および番号を示す。画像における各人のキー骨格点の画素座標は、骨格検出アルゴリズムに従って出力されてよく、予め設定された数によって識別される。
【表1】
【0138】
任意選択的に、画像が複数の測定対象を含む場合、各測定対象の２次元キー骨格点情報は、キー骨格点検出アルゴリズムに従って取得されてよい。任意選択的に、段階４０４が実行される場合、画像における全測定対象の人のキー骨格点を取得するために、骨格検出が対象の画像に対して実行され、次に、各測定対象の顔検出結果に対応する２次元キー骨格点情報が決定される。代替的に、骨格検出は、段階４０５の画像分割を通して決定された画像に対して別々に実行され、各測定対象に対応する２次元キー骨格点情報を取得する。
【0139】
任意選択的に、画像が複数の測定対象を含む場合、全測定対象についての情報がユーザに表示される。測定対象についての情報は、測定対象の画像情報、測定対象の２次元キー骨格点情報、および測定対象の顔検出結果情報のうちの少なくとも１つを含む。次に、ユーザ命令が取得され、少なくとも２つの測定対象のうちの１または複数が、ユーザ命令に基づく高さ測定の対象として決定される。
【0140】
任意選択的に、対象の２次元キー骨格点情報が、顔検出結果に基づいて検証される。具体的には、２次元キー骨格点情報において、頭に対応するキー骨格点は、通常、単一の関節であり、顔検出において認識される顔情報は、顎から生え際までの情報を示す。したがって、頭に対応する２次元キー骨格点の画素座標は、顔検出結果に基づおて検証されてよい。これにより、本解決手段において、高さ測定結果の正確性を改善することができる。
【0141】
任意選択的に、対象の２次元キー骨格点情報が第２事前設定条件を満たさない場合、検出失敗情報がユーザに表示される、または、ユーザは、音声を通して、検出失敗情報を提示される、または、ユーザは、振動を通して、検出失敗情報を提示される。これは、本明細書では特に限定されるものではない。
【0142】
任意選択的に、第２事前設定条件は、キー骨格点が検出されないことであってよい。代替的に、第２事前設定条件は、キー骨格点の数が予め設定された閾値、例えば、５、６または７より小さいまたはこれに等しいことであってよい。代替的に、第２事前設定条件は、検出されたキー骨格点が示す骨格の数が、予め設定された閾値、例えば、３または４より小さいまたはこれに等しいことである。代替的に、第２事前設定条件は、骨格タイプおよび検出されたキー骨格点が示す数が、予め設定された要件を満たさないことである。例えば、キー骨格点が示す骨格タイプは、上腕、前腕、腿、および脛に対応する骨格を含まない、または、キー骨格点が示す骨格タイプは、頭骨格を含まない、または、キー骨格点が示す上腕、前腕、腿、および脛に対応する骨格の数は、３より小さいまたはこれに等しい、等である。第２事前設定条件の具体的内容は、本明細書において限定されるものではない。
【0143】
段階４０４および段階４０６は、実行順序に限定されるものではないことに留意されたい。
【0144】
段階４０２および段階４０３および段階４０４から段階４０６は、実行順序に限定されるものではなく、段階４０２および段階４０３および段階４０４から段階４０６は、同時に実行されてよい、または、段階４０２および段階４０３は、段階４０４から段階４０６の前に実行されてよい、または、段階４０４から段階４０６は、段階４０２および段階４０３の前に実行されてよいことに留意されたい。
【0145】
４０７：カメラの姿勢および３次元点群情報に基づいて、かつ衝撃検出アルゴリズムに従って、３次元キー骨格点情報を取得する。
【0146】
２Ｄキー骨格点に対応する変換された３Ｄキー骨格点座標は、衝撃検出（ＨｉｔＴｅｓｔ）アルゴリズムに従って、かつ、段階４０２で取得されたカメラの姿勢と、段階４０３で取得された３次元点群情報とに基づいて、取得される。３次元キー骨格点情報は、キー骨格点の３次元座標と、３次元座標に対応するキー骨格点の識別子とを含む。
【0147】
衝撃検出（ＨｉｔＴｅｓｔ）アルゴリズムの原則については、ＳＬＡＭ技術を参照されたい。図５は、本願の実施形態に係る、２次元キー骨格点を３次元キー骨格点に変換する概略図である。カメラの光学中心は、カメラの姿勢および３Ｄ点群情報に基づいて２Ｄキー骨格点を検出するために、仮想光線を発する始点として用いられる。衝撃検出（ＨｉｔＴｅｓｔ）は、２Ｄキー骨格点に対応する変換された３Ｄキー骨格点座標を取得するために、光線および３Ｄ点群に対して実行される。衝撃検出の具体的な方法は、従来技術である。詳細は、本明細書では説明しない。光線が３Ｄ点群と衝突した場合に、当該光線について衝撃結果が取得されない場合、光線を中心とした特定の範囲内で検索が実行されてよく、最終的な衝撃結果が隣接する３Ｄ点補間によって取得されることに留意されたい。最後に、２Ｄキー骨格点に対応する３Ｄキー骨格点情報が出力される。
【0148】
任意選択的に、画像における２次元キー骨格点の画素座標は、対象の画像および画像に対応するカメラの姿勢に基づいて、ワールド座標系における３次元座標に直接変換される。３次元キー骨格点情報は、キー骨格点の３次元座標と、キー骨格点の識別子とを含む。
【0149】
３次元点群情報は、コンピュータステレオビジョン撮像方法を用いることによって、かつ、複数の対象の画像に基づいて取得される、または、ＬｉＤＡＲ深度撮像方法等を用いることによって取得される。したがって、衝撃検出アルゴリズムに従って、かつ、カメラの姿勢および３次元点群情報に基づいて取得されるキー骨格点の３次元座標の正確性は、キー骨格点の２次元座標をカメラの姿勢に基づいて直接変換することによって取得される３次元座標よりも高い。３次元点群は、より正確なキー骨格点の取得された３次元座標を示すことが理解されよう。
【0150】
４０８：３次元キー骨格点情報に基づいて、骨格長さ情報を取得する。
【0151】
骨格長さ情報は、３次元キー骨格点情報に基づいて取得される。骨格長さ情報は、骨格の識別子および骨格長さを含む。
【0152】
具体的には、２つのキー骨格点毎に接続され、１つの骨格を形成する。各骨格の実際の長さは、３Ｄ関節間の３次元空間のユークリッド距離に基づいて取得される。骨格の識別子は、キー骨格点の識別子に基づいて決定されてよい。骨格の識別子は、骨格タイプを示す。例えば、左腿骨格の長さは、左腰関節の３次元座標および左膝関節の３次元座標に基づいて、取得されてよい。左脛骨格の長さは、左膝関節の３次元座標および左足首関節の３次元座標に基づいて、取得されてよい。検出されたキー骨格点の数は欠落していることがあるので、３次元キー骨格点情報に基づいて取得される骨格長さ情報は、１つのみの骨格の長さ情報を含んでよい、または、複数の骨格の長さ情報を含んでよいことに留意されたい。これは、本明細書では特に限定されるものではない。
【0153】
任意選択的に、骨格長さ情報が第１事前設定条件を満たす場合、骨格長さ情報は削除される。例えば、第１事前設定条件が、骨格長さが予め設定された閾値範囲を超えることである場合、対応する骨格長さ情報は削除される。異なるタイプの骨格の骨格長さの閾値範囲は異なることが理解されよう。例えば、腿骨格の骨格長さの範囲は、前腕のものと異なる。さらに、測定対象の具体的なタイプ、例えば、大人、子供、または人以外の別の脊椎動物に基づいて、異なるタイプの測定対象の骨格長さの閾値範囲は、統計情報に基づいて、柔軟に設定されてよい。代替的に、第１事前設定条件は、対称部分間の骨格長さの差が、予め設定された閾値範囲より大きいまたはこれに等しいことであってよい。例えば、右腕骨格の長さに対する左腕骨格の長さの比が、２より大きいまたはこれに等しい、または０．５より小さいまたはこれに等しい場合、腕に対応する骨格長さ情報は削除される。
【0154】
４０９：３次元キー骨格点情報に基づいて、対象の姿勢情報を取得する。
【0155】
人体の姿勢が、段階４０８で取得された有効骨格長さ情報に基づいて推定され、対象の姿勢情報を決定する。姿勢情報は、ＲＭＰＥ （ｒｅｇｉｏｎａｌ ｍｕｌｔｉ－ｐｅｒｓｏｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ）アルゴリズム、インスタンスセグメンテーション（Ｍａｓｋ ＲＣＮＮ）アルゴリズム等に従って取得されてよい。これは、本願において限定されるものではない。姿勢情報は、人体の姿勢を示し、直立姿勢、座った姿勢、寝た姿勢等を区別してよい。
【0156】
骨格長さ情報におけるいくつかのデータが欠落している場合、姿勢情報は不完全な姿勢である。考えられる原因は、対象の画像における胴体の一部が遮られ、骨格長さ情報におけるいくつかのデータが削除されたこと等である。
【0157】
段階４０８および段階４０９は、実行順序に限定されるものではないことに留意されたい。
【0158】
４１０：姿勢情報および骨格長さ情報に基づいて、対象の高さデータを決定する。
【0159】
予め設定された重みパラメータは、段階４０９において対象の姿勢情報に基づいて決定され、加重計算が、重みパラメータおよび骨格長さ情報に基づいて実行され、対象の高さデータを決定する。
【0160】
任意選択的に、対象の姿勢情報が完全な姿勢である、すなわち、全ての骨格長さ情報が有効である場合、高さのための加重高さ計算が、式（１）に従って実行される。
【数1】
【0161】
式（１）において、ｎは有効骨格の数、Ｌｉは第ｉ骨格の長さ、αｉは第ｉ骨格の長さの加重係数、βは補償パラメータである。任意選択的に、異なる姿勢の骨格の加重係数αｉは、動的に調整されてよい、または、異なる姿勢の全骨格に対応する加重係数は、予め格納されてよい。
【0162】
任意選択的に、
【数2】
【0163】
Ｌｆ１は、顔と頭頂との間の距離に対する補償値である。任意選択的に、Ｌｆ１の値範囲は、２ｃｍから３ｃｍである。Ｌｆ２は、足首関節と足裏との間の距離に対する補償値である。任意選択的に、Ｌｆ２の値範囲は、３ｃｍから５ｃｍである。Ｌ１は、頭に対応する骨格長さであり、Ｌｎ－１は、腿に対応する骨格長さであり、Ｌｎは、脛に対応する骨格長さであり、τ１は、顔と頭頂との間の距離に対する補償因子であり、τ２は、足首関節と足裏との間の距離に対する補償因子である。
【0164】
【0165】
３次元キー骨格点情報に基づいて取得される骨格長さ情報は、図６または図７に示す破線区域に対応する。破線区域の長さは、計算を通して取得された骨格長さ情報を表す。取得されることを期待される高さデータは、図６に示す実線区域に基づいて計算される必要がある。破線区域の長さから実線区域の長さへの変換を実装するために、本解決手段における加重係数に基づいて、計算が実行される。実線区域の長さは、加重係数および骨格長さに基づいて計算された実際の高さを表す。例えば、Ｌａは、頭に対応する長さであり、Ｌａ'は、加重計算を通して取得された実際の頭の高さであり、Ｌｂは、脛に対応する長さであり、Ｌｂは、加重計算を通して取得された実際の脛の高さである。
【0166】
各加重係数の設定について、パラメータ調整は、経験値に基づいて実行されることに留意されたい。代替的に、各加重係数は、ニューラルネットワークを用いることによってトレーニングされてよい。一般的なモデルは、決定木、ＢＰ（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ）ニューラルネットワーク等を含む。これは、本願において限定されるものではない。
【0167】
任意選択的に、対象の姿勢情報が不完全な姿勢である場合、骨格の加重係数は、有効骨格長さ情報に基づいて調整されてよく、高さデータが計算される。取得された有効骨格長さ情報が不完全である、すなわち、対象の姿勢情報が不完全な姿勢である場合、１または複数の有効骨格長さ情報が存在してよい。有効骨格長さ情報が１つのみ存在する場合、加重係数が、骨格に対して決定される。複数の有効骨格長さ情報が存在する場合、加重係数は、複数の有効骨格長さ情報における各有効骨格長さ情報に対して決定される。全有効骨格に対応する加重係数の値は、異なってよい。具体的な値は、本明細書において限定されるものではない。不完全な姿勢で計算された高さデータの誤差は増加することが理解されよう。任意選択的に、結果が表示される場合、ユーザは、現在の姿勢情報が不完全な姿勢であることを、画面表示、音声指示、振動提示等を含む複数の方式で提示されてよい。これは、本明細書において限定されるものではない。
【0168】
任意選択的に、対象の高さデータが取得された後、端末は、ユーザの高さデータを、画面表示、音声指示、振動提示等を含む複数の方式で出力してよい。これは、本明細書において限定されるものではない。
【0169】
任意選択的に、図８に示すように、測定が完了した場合、測定結果は、スクリーン上の対象の画像近傍に、目盛を通して表示される。複数の測定対象が同時に測定される場合、各測定対象の高さデータは、対象の画像における測定対象近傍に、別々に表示されてよい。
【0170】
【0171】
周辺環境がスキャンされる。ＳＬＡＭシステムは、計算を通して、測定対象に対応する３Ｄ点群を取得する。３Ｄ点群の分散を図９ａに示す。測定対象が撮影された場合、骨格検出モジュールは、２Ｄ骨格点検出を実行する。（例では、１５のキー骨格点が骨格検出アルゴリズムに従って検出される。）２Ｄ検出結果を図９ｂに示す。座標変換モジュールは、２Ｄ座標を３Ｄ座標に変換し、各３Ｄ骨格点の長さを計算する。実際の動作中の各骨格長さの計算を、図９ｃに示す。図９ｃは、２つの測定結果を別々に示す。測定が異なる距離および異なる角度から実行される場合、測定される骨格長さが変動し得ることが見て取れよう。この場合、データ統合モジュールは、加重を実行することを必要とされる。高さが、最後に計算される。以下、計算プロセスを説明する。２つの測定によって取得された骨格長さを表２に示す。単位はセンチメートル（ｃｍ）である。
【表2】
【0172】
重みおよび高さは、以下の通り計算される。
【0173】
（１）高さ測定中、姿勢は、標準的な座った姿勢であり、全骨格が完全である。左／右肩、左／右肘、左.／右手首、および腰骨に対応する骨格長さは、高さ計算に用いられない。したがって、重みは０に設定される。
【0174】
（２）頭頂から首まで、首から腰骨まで、左／右膝から左／右腰まで、および左／右足首から左／右膝までの骨格長さに、それぞれ、遠近関係に起因して、異なる重みが割り当てられる。（重みは、カメラの撮影角度およびカメラと測定対象との間の距離に関連し、計算プロセスの詳細は本明細書では説明しない。）
【0175】
（３）頭の補償値は、頭頂から首までの骨格長さに基づいて加重することによって取得される。足首の補償値は、左／右腰から左／右膝、左／右足首までの骨格長さの平均骨格長さに基づいて加重することによって取得される。
【0176】
（４）例において、測定対象の実際の高さは、１７２ｃｍである。本方法において、２つの測定値が加重された後に計算される高さは、それぞれ１７５．７ｃｍおよび１７１．３ｃｍであり、誤差の割合は、それぞれ２．１５％および－０．４２％であり、平均測定誤差は１．２８％である。
【0177】
前述の内容は、本願において提供される高さ測定方法を説明する。以下、高さ測定方法を実装する端末を説明する。
図１０は、本願の実施形態に係る端末の実施形態の概略図である。
図１０は、本願の実施形態に係る端末の実施形態の概略図である。
【0178】
本願の本実施形態における端末は、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、またはウェアラブルポータブルデバイスのような、様々なタイプの端末デバイスであってよい。これは、特に限定されるものではない。
【0179】
端末は、以下のモジュール：入力モジュール１００１、ＳＬＡＭシステム１００２、自動検出モジュール１００３、座標変換モジュール１００４、データ統合モジュール１００５、および出力モジュール１００６を含む。
【0180】
入力モジュール１００１は、リアルタイムの２次元（２Ｄ）画像およびＩＭＵデータを取得する。
【0181】
ＳＬＡＭシステム１００２は、２Ｄ画像が撮影される場合のカメラの対応する姿勢を取得するために、２Ｄ画像およびＩＭＵデータに基づいて、姿勢推定を実行してよい。さらに、特徴抽出、特徴マッチング、および外れ値の除去のような処理が２Ｄ画像に対して実行され、画像間の特徴マッチングペアを出力する。姿勢推定結果に基づいて、３Ｄ点群生成モジュール（図１０の三角化マッピング点に対応する）は、三角化のようなアルゴリズムに従って、画像と、推定を通して取得されたカメラの姿勢との間の特徴マッチングペアに基づいて、２Ｄ特徴点に対応する３次元（３Ｄ）点を計算する。最適化モジュール（図６のマッピング点最適化およびカメラ姿勢最適化に対応する）は、カメラの姿勢および３Ｄ点群データを入力し、カメラの姿勢および３Ｄ点群に対して共同最適化を実行する。前述の段階が実行された後、ＳＬＡＭシステム１００２は、リアルタイムのカメラの姿勢および３Ｄ点群データを、使用のために別のモジュールに出力する。ＳＬＡＭシステムの具体的アルゴリズムは、従来技術のいずれか１つであってよい。これは、本願において限定されるものではない。
【0182】
自動検出モジュール１００３は、リアルタイムの画像データに基づいて、人体分割、骨格検出、および顔検出のようなアルゴリズムに従って、各対象の２Ｄキー関節（すなわち、２Ｄキー骨格点）を検出する。
【0183】
座標変換モジュール１００４は、カメラの姿勢および３Ｄ点群データに基づいて、２Ｄキー関節を３Ｄキー関節（すなわち、３Ｄキー骨格点）に変換する。
【0184】
データ統合モジュール１００５は、測定対象の胴体情報を取得するために、３Ｄキー関節についての情報に基づいて、キー関節連結を実行し、姿勢検出のために、３Ｄ胴体情報を姿勢検出モジュールに入力する。補償モジュールは、異なる検出された姿勢に基づいて、対応する補償を重畳する。測定されたユーザの測定結果が、最後に取得される。
【0185】
出力モジュール１００６は、複数の測定対象の高さ情報を出力する。
【0186】
図１１ａは、本願の実施形態に係る端末の別の実施形態の概略図である。
【0187】
端末は、取得モジュール１１０１および決定モジュール１１０２を含む。
【0188】
取得モジュール１１０１は、被写体を含む画像と、画像が撮影される場合に用いられるカメラの姿勢とを取得するように構成される。
【0189】
取得モジュール１１０１は、さらに、画像における被写体の少なくとも２つのキー骨格点の画素座標を取得するように構成される。画素座標は、画像におけるキー骨格点の２次元位置情報を示す。
【0190】
取得モジュール１１０１は、さらに、カメラの姿勢およびキー骨格点の画素座標に基づいて、キー骨格点の３次元座標を取得するように構成される。３次元座標は、ワールド座標系におけるキー骨格点の３次元位置情報を示す。少なくとも２つのキー骨格点の３次元座標は、少なくとも２つのキー骨格点の間の距離についての情報を示す。
【0191】
決定モジュール１１０２は、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の高さデータを決定するように構成される。
【0192】
任意選択的に、取得モジュール１１０１は、さらに、被写体の３次元点群情報を取得するように構成される。
【0193】
カメラの姿勢およびキー骨格点の画素座標に基づいて被写体のキー骨格点の３次元座標を取得する段階は、具体的には、
キー骨格点の画素座標、カメラの姿勢、および３次元点群情報に基づいて、衝撃検出アルゴリズムに従って、キー骨格点の３次元座標を取得する段階
を含む。
キー骨格点の画素座標、カメラの姿勢、および３次元点群情報に基づいて、衝撃検出アルゴリズムに従って、キー骨格点の３次元座標を取得する段階
を含む。
【0194】
任意選択的に、取得モジュール１１０１は、具体的には、
異なる向きから撮影された被写体の少なくとも２つの画像に基づいて、被写体の３次元点群情報を取得する
ように構成される。
異なる向きから撮影された被写体の少なくとも２つの画像に基づいて、被写体の３次元点群情報を取得する
ように構成される。
【0195】
任意選択的に、取得モジュール１１０１は、具体的には、
深度センサによって収集された被写体の３次元点群情報を取得する
ように構成される。深度センサは、双眼カメラ、レーザレーダ、ミリ波レーダ、またはタイムオブフライトセンサを含む。
深度センサによって収集された被写体の３次元点群情報を取得する
ように構成される。深度センサは、双眼カメラ、レーザレーダ、ミリ波レーダ、またはタイムオブフライトセンサを含む。
【0196】
任意選択的に、取得モジュール１１０１は、具体的には、
異なる向きから撮影された被写体の少なくとも２つの画像を取得する手順で合って、異なる向きから撮影された被写体の少なくとも２つの画像は、画像を含む、手順と、異なる向きから撮影された被写体の少なくとも２つの画像に基づいて、カメラの姿勢を取得する手順とを実行する
ように構成される。
異なる向きから撮影された被写体の少なくとも２つの画像を取得する手順で合って、異なる向きから撮影された被写体の少なくとも２つの画像は、画像を含む、手順と、異なる向きから撮影された被写体の少なくとも２つの画像に基づいて、カメラの姿勢を取得する手順とを実行する
ように構成される。
【0197】
任意選択的に、取得モジュール１１０１は、具体的には、
異なる向きから撮影された被写体の少なくとも２つの画像を取得する手順であって、異なる向きから撮影された被写体の少なくとも２つの画像は、被写体の画像を含む、手順と、
異なる向きから撮影された被写体の少なくとも２つの画像に対応する、カメラの慣性測定ユニットデータを取得する手順と、
慣性測定ユニットデータと、異なる向きから撮影された被写体の少なくとも２つの画像とに基づいて、カメラの姿勢を決定する手順と、
を実行するように構成される。
異なる向きから撮影された被写体の少なくとも２つの画像を取得する手順であって、異なる向きから撮影された被写体の少なくとも２つの画像は、被写体の画像を含む、手順と、
異なる向きから撮影された被写体の少なくとも２つの画像に対応する、カメラの慣性測定ユニットデータを取得する手順と、
慣性測定ユニットデータと、異なる向きから撮影された被写体の少なくとも２つの画像とに基づいて、カメラの姿勢を決定する手順と、
を実行するように構成される。
【0198】
任意選択的に、決定モジュール１１０２は、具体的には、
キー骨格点の３次元座標に基づいて、被写体の骨格長さおよび被写体の姿勢情報を取得する手順と、
姿勢情報に基づいて、骨格長さの予め設定された重みパラメータを決定する手順と、
骨格長さおよび重みパラメータに基づいて、被写体の高さデータを決定する手順と、
を実行するように構成される。
キー骨格点の３次元座標に基づいて、被写体の骨格長さおよび被写体の姿勢情報を取得する手順と、
姿勢情報に基づいて、骨格長さの予め設定された重みパラメータを決定する手順と、
骨格長さおよび重みパラメータに基づいて、被写体の高さデータを決定する手順と、
を実行するように構成される。
【0199】
任意選択的に、骨格長さは、頭の骨格長さおよび脚の骨格長さを含む。
【0200】
決定モジュール１１０２は、具体的には、
頭の骨格長さおよび予め設定された頭補償パラメータに基づいて、頭高さ補償値を決定する手順と、
脚の骨格長さおよび予め設定された足補償パラメータに基づいて、足高さ補償値を決定する手順と、
骨格長さ情報、重みパラメータ、頭高さ補償値、および足高さ補償値に基づいて、被写体の高さデータを決定する手順と、
を実行するように構成される。
頭の骨格長さおよび予め設定された頭補償パラメータに基づいて、頭高さ補償値を決定する手順と、
脚の骨格長さおよび予め設定された足補償パラメータに基づいて、足高さ補償値を決定する手順と、
骨格長さ情報、重みパラメータ、頭高さ補償値、および足高さ補償値に基づいて、被写体の高さデータを決定する手順と、
を実行するように構成される。
【0201】
任意選択的に、画像は、少なくとも２つの被写体を含む。
【0202】
装置は、画像に対して顔検出を実行し、少なくとも２つの被写体の各々のキー骨格点の画素座標を、画像分割アルゴリズムに従って、キー骨格点の画素座標から決定するように構成される処理モジュール１１０３をさらに含む。
【0203】
任意選択的に、装置は、
少なくとも２つの被写体についての情報をユーザに表示するように構成される出力モジュール１１０４
をさらに含み、
少なくとも２つの被写体についての情報は、少なくとも２つの被写体の画像情報、少なくとも２つの被写体のキー骨格点の画素座標でマーキングされた画像情報、および少なくとも２つの被写体の顔検出結果情報のうちの少なくとも１つを含む。
少なくとも２つの被写体についての情報をユーザに表示するように構成される出力モジュール１１０４
をさらに含み、
少なくとも２つの被写体についての情報は、少なくとも２つの被写体の画像情報、少なくとも２つの被写体のキー骨格点の画素座標でマーキングされた画像情報、および少なくとも２つの被写体の顔検出結果情報のうちの少なくとも１つを含む。
【0204】
取得モジュール１１０１は、さらに、ユーザ命令を取得するように構成される。ユーザ命令は、少なくとも２つの被写体のうちの１または複数に対して高さ測定を実行するよう命令する。
【0205】
任意選択的に、決定モジュール１１０２は、具体的には、
キー骨格点の３次元座標に基づいて、被写体の骨格長さ情報を取得する手順と、
第１事前設定条件を満たす骨格長さ情報を削除する手順であって、第１事前設定条件は、骨格長さ情報における骨格長さが予め設定された範囲外にあること、または、対称部分間の骨格長さの差が予め設定された閾値範囲より大きいまたはこれに等しいことを含む、手順と、
削除後に取得された骨格長さ情報に基づいて、被写体の高さデータを決定する手順と、
を実行するように構成される。
キー骨格点の３次元座標に基づいて、被写体の骨格長さ情報を取得する手順と、
第１事前設定条件を満たす骨格長さ情報を削除する手順であって、第１事前設定条件は、骨格長さ情報における骨格長さが予め設定された範囲外にあること、または、対称部分間の骨格長さの差が予め設定された閾値範囲より大きいまたはこれに等しいことを含む、手順と、
削除後に取得された骨格長さ情報に基づいて、被写体の高さデータを決定する手順と、
を実行するように構成される。
【0206】
任意選択的に、装置は、
画像において、被写体近傍で被写体の高さデータをラベリングし、高さデータをユーザに表示する、または、
音声を通して、被写体の高さデータをブロードキャストする
ように構成される出力モジュール１１０４をさらに含む。
画像において、被写体近傍で被写体の高さデータをラベリングし、高さデータをユーザに表示する、または、
音声を通して、被写体の高さデータをブロードキャストする
ように構成される出力モジュール１１０４をさらに含む。
【0207】
任意選択的に、装置は、
被写体のキー骨格点が第２事前設定条件を満たさない場合、検出失敗情報をユーザに表示する、または、音声を通して検出失敗情報をユーザに提示する、または、振動を通して検出失敗情報をユーザに提示する
ように構成される出力モジュール１１０４をさらに含む。
被写体のキー骨格点が第２事前設定条件を満たさない場合、検出失敗情報をユーザに表示する、または、音声を通して検出失敗情報をユーザに提示する、または、振動を通して検出失敗情報をユーザに提示する
ように構成される出力モジュール１１０４をさらに含む。
【0208】
本願の本実施形態において提供される端末は、高さを検出するために用いられてよい。取得モジュールは、画像における被写体のキー骨格点の画素座標を取得し、３次元空間におけるキー骨格点の３次元座標を取得するために用いられる。決定モジュールは、少なくとも２つのキー骨格点の３次元座標に基づいて、被写体の高さデータを決定してよい。装置は、キー骨格点の２次元画素座標を３次元座標に変換し、参照対象を変換することなく、被写体の高さデータを直接取得する。これにより、被写体周りのシナリオが複雑な場合に参照対象の変換によって生じる測定誤差を回避することができ、高さ測定結果の正確性を改善することができる。
【0209】
図１１ｂは、本願の実施形態に係る端末のさらに別の実施形態の概略図である。
【0210】
本願における端末は、センサユニット１１１０、計算ユニット１１２０、ストレージユニット１１４０、およびインタラクションユニット１１３０を含む。
【0211】
センサユニット１１１０は、概して、シナリオの２Ｄ画像情報を取得するように構成される視覚センサ（例えば、カメラ）と、直線加速度および角速度のような端末の動き情報を取得するように構成される慣性センサ（ＩＭＵ）と、シナリオの深度情報を取得するように構成される（任意選択的な）深度センサ／レーザセンサとを含む。
【0212】
計算ユニット１１２０は、通常、ＣＰＵ、ＧＰＵ、キャッシュ、レジスタ等を含み、主に、オペレーティングシステムを実行し、ＳＬＡＭシステム、骨格検出、および顔認識のような本願におけるアルゴリズムモジュールを処理するように構成される。
【0213】
ストレージユニット１１４０は、主に、メモリおよび外部ストレージを含み、主に、ユーザのローカルおよび一時データの読み出しおよび書き込みを実行するように構成される。
【0214】
インタラクションユニット１１３０は、主に、ディスプレイ、タッチパッド、スピーカ、マイクロフォン等を含み、主に、ユーザとインタラクションし、入力を取得し、アルゴリズム効果の表示を実装する等を実行するように構成される。
【0215】
図１２は、本願の実施形態に係る端末の実施形態の概略図である。
【0216】
理解を容易ならしめるために、以下、例を用いることによって、本願の実施形態において提供される端末１００の構造を説明する。
図１２は、本願の実施形態に係る端末の構造の概略図である。
図１２は、本願の実施形態に係る端末の構造の概略図である。
【0217】
図１２に示すように、端末１００は、プロセッサ１１０、外部メモリインタフェース１２０、内部メモリ１２１、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）インタフェース１３０、充電管理モジュール１４０、電力管理モジュール１４１、バッテリ１４２、アンテナ１、アンテナ２、モバイル通信モジュール１５０、無線通信モジュール１６０、オーディオモジュール１７０、スピーカ１７０Ａ、レシーバ１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、センサモジュール１８０、ボタン１９０、モータ１９１、インジケータ１９２、カメラ１９３、ディスプレイ１９４、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｏｄｕｌｅ、ＳＩＭ）、カードインタフェース１９５等を含んでよい。センサモジュール１８０は、圧力センサ１８０Ａ、ジャイロスコープセンサ１８０Ｂ、気圧センサ１８０Ｃ、磁気センサ１８０Ｄ、加速度センサ１８０Ｅ、距離センサ１８０Ｆ、光学近接センサ１８０Ｇ、指紋センサ１８０Ｈ、温度センサ１８０Ｊ、タッチセンサ１８０Ｋ、周辺光センサ１８０Ｌ、および骨伝導センサ１８０Ｍ等を含んでよい。
【0218】
本願の本実施形態に示す構造は、端末１００の具体的限定を構成しないことが理解されよう。本願のいくつかの他の実施形態において、端末１００は、図に示すものより多くのまたはより少ないコンポーネントを含んでよい、またはいくつかのコンポーネントを組み合わせてよい、または、いくつかのコンポーネントを分割してよい、または、異なるコンポーネント構成を有してよい。図に示すコンポーネントは、ハードウェア、ソフトウェア、または、ソフトウェアおよびハードウェアの組み合わせによって実装され得る。
【0219】
プロセッサ１１０は１または複数の処理ユニットを含んでよい。例えば、プロセッサ１１０は、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ、ＡＰ）、モデムプロセッサ、グラフィックス処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）、画像信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＩＳＰ）、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、ベースバンドプロセッサ、ニューラルネットワーク処理ユニット（Ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＮＰＵ）等を含んでよい。異なる処理ユニットは、独立したコンポーネントであってよい、または、１または複数のプロセッサに統合され得る。
【0220】
コントローラは、端末１００の中枢部および司令部であってよい。コントローラは、命令オペレーションコードおよび時系列信号に基づき動作制御信号を生成して、命令の読み出しおよび命令の実行の制御を完了し得る。
【0221】
メモリはさらに、プロセッサ１１０に配置され得、命令およびデータを格納するように構成される。いくつかの実施形態において、プロセッサ１１０内のメモリは、キャッシュメモリである。メモリは、プロセッサ１１０によって使用されたばかりの、または、周期的に使用される命令またはデータを格納し得る。プロセッサ１１０が命令またはデータを再使用する必要がある場合に、プロセッサは命令またはデータをメモリから直接的に呼び出すことができる。これにより繰り返しアクセスを回避し、プロセッサ１１０の待機時間を低減し、システム効率を改善する。
【0222】
いくつかの実施形態において、プロセッサ１１０は１または複数のインタフェースを含んでよい。このインタフェースは、集積回路間（ｉｎｔｅｒ－ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、Ｉ２Ｃ）インタフェース、集積回路間サウンド（ｉｎｔｅｒ－ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ ｓｏｕｎｄ、Ｉ２Ｓ）インタフェース、パルス符号変調（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ、ＰＣＭ）インタフェース、汎用非同期式受信機／送信器（ｕｎｉｖｅｒｓａｌ ａｓｙｎｃｈｒｏｎｏｕｓ ｒｅｃｅｉｖｅｒ／ｔｒａｎｓｍｉｔｔｅｒ、ＵＡＲＴ）インタフェース、モバイルインダストリプロセッサインタフェース（ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ、ＭＩＰＩ）、汎用入力／出力（ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ ｉｎｐｕｔ／ｏｕｔｐｕｔ、ＧＰＩＯ）インタフェース、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ、ＳＩＭ）インタフェース、および／またはユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）インタフェース等を含んでよい。
【0223】
本願の実施形態に示すモジュール間のインタフェース接続関係は、説明のための例に過ぎず、端末１００の構造に対する限定を構成しないことが理解されよう。本願のいくつかの他の実施形態において、端末１００は、代替的に、前述の実施形態におけるものと異なるインタフェース接続方式を用いてよい、または、複数のインタフェース接続方式の組み合わせを用いてよい。
【0224】
充電管理モジュール１４０は、充電入力を充電器から受信するように構成される。充電器は、無線充電器または有線充電器であってよい。有線充電のいくつかの実施形態において、充電管理モジュール１４０はＵＳＢインタフェース１３０を通じて有線充電器の充電入力を受信し得る。
【0225】
電力管理モジュール１４１は、バッテリ１４２および充電管理モジュール１４０をプロセッサ１１０に接続するように構成される。電力管理モジュール１４１は、バッテリ１４２および／または充電管理モジュール１４０の入力を受信し、プロセッサ１１０、内部メモリ１２１、外部メモリ、ディスプレイ１９４、カメラ１９３、無線通信モジュール１６０等に電力を供給する。
【0226】
端末１００の無線通信機能は、アンテナ１、アンテナ２、モバイル通信モジュール１５０、無線通信モジュール１６０、モデムプロセッサ、ベースバンドプロセッサ等を用いることによって実装されてよい。
【0227】
いくつかの実現可能な実装において、端末１００は、無線通信機能を用いることによって、別のデバイスと通信してよい。例えば、端末１００は、第２電子デバイスと通信してよい。端末１００は、第２電子デバイスへの投影接続を確立する。端末１００は、投影データを第２電子デバイス等に出力する。端末１００によって出力された投影データは、オーディオまたはビデオデータであってよい。
【0228】
アンテナ１およびアンテナ２は、電磁波信号を送信および受信するように構成される。端末１００の各アンテナは、１または複数の通信周波数帯をカバーするように構成されてよい。アンテナ利用率を改善するために異なるアンテナがさらに多重化され得る。例えば、アンテナ１は、無線ローカルエリアネットワークのダイバーシティアンテナとして多重化されてよい。いくつかの他の実施形態において、アンテナは、チューニングスイッチと組み合わせて用いられ得る。
【0229】
モバイル通信モジュール１５０は、端末１００に適用される１Ｇ／３Ｇ／４Ｇ／５Ｇ等を含む無線通信解決手段を提供してよい。モバイル通信モジュール１５０は、少なくとも１つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器（ｌｏｗ ｎｏｉｓｅ ａｍｐｌｉｆｉｅｒ、ＬＮＡ）等を含んでよい。モバイル通信モジュール１５０は、アンテナ１を通じて電磁波を受信し、受信された電磁波に対してフィルタリングまたは増幅のようなの処理を実行し、復調のために電磁波をモデムプロセッサへ送信し得る。モバイル通信モジュール１５０はさらに、モデムプロセッサによって変調された信号を増幅し、アンテナ２を通じた放射のために信号を電磁波に変換し得る。いくつかの実施形態において、モバイル通信モジュール１５０における少なくともいくつかの機能モジュールはプロセッサ１１０に配置され得る。いくつかの実施形態において、モバイル通信モジュール１５０の少なくともいくつかの機能モジュールおよびプロセッサ１１０の少なくともいくつかのモジュールは同じコンポーネントに配置され得る。
【0230】
モデムプロセッサは、変調器および復調器を含んでよい。変調器は、送信予定の低周波数ベースバンド信号を中高周波信号に変調するように構成される。復調器は、受信された電磁波信号を低周波数ベースバンド信号に復調するように構成される。次に、復調器は、復調を介して取得された低周波数ベースバンド信号を、処理のためにベースバンドプロセッサへ送信する。低周波数ベースバンド信号は、ベースバンドプロセッサによって処理され、次に、アプリケーションプロセッサに送信される。アプリケーションプロセッサは、オーディオデバイス（スピーカ１７０Ａ、レシーバ１７０Ｂ等に限定されるものではない）によって音信号を出力する、または、画像またはビデオをディスプレイ１９４に表示する。いくつかの実施形態において、モデムプロセッサは、独立したコンポーネントであってよい。いくつかの他の実施形態において、モデムプロセッサは、プロセッサ１１０から独立し得、モバイル通信モジュール１５０または別の機能モジュールと共に同じデバイスとして配置される。
【0231】
無線通信モジュール１６０は、無線ローカルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＷＬＡＮ）（例えば、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、Ｗｉ－Ｆｉ（登録商標））ネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）（Ｂｌｕｅｔｏｏｔｈ、ＢＴ）、全球測位衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＧＮＳＳ）、周波数変調（ｆｒｅｑｕｅｎｃｙ ｍｏｄｕｌａｔｉｏｎ、ＦＭ）、近距離無線通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）技術、赤外線（ｉｎｆｒａｒｅｄ、ＩＲ）技術等）を含む、端末１００に適用される無線通信解決手段を提供してよい。無線通信モジュール１６０は、少なくとも１つの通信処理モジュールを統合する１または複数のコンポーネントであってよい。無線通信モジュール１６０は、アンテナ１を通じて電磁波を受信し、電磁波信号に対して周波数変調およびフィルタリング処理を実行し、処理された信号をプロセッサ１１０へ送信する。無線通信モジュール１６０はさらに、送信対象信号をプロセッサ１１０から受信し、信号に対して周波数変調および増幅を実行し、アンテナ２を通じた放射のために信号を電磁波に変換し得る。
【0232】
いくつかの実施形態において、端末１００のアンテナ１は、モバイル通信モジュール１５０に結合され、アンテナ２は、無線通信モジュール１６０に結合され、これにより、端末１００は、無線通信技術を用いることによって、ネットワークおよび別のデバイスと通信してよい。無線通信技術は、グローバルシステム・フォー・モバイルコミュニケーションズ（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ， ＧＳＭ（登録商標））、汎用パケット無線サービス（ｇｅｎｅｒａｌ ｐａｃｋｅｔ ｒａｄｉｏ ｓｅｒｖｉｃｅ， ＧＰＲＳ）、符号分割多重アクセス（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ， ＣＤＭＡ）、広帯域符号分割多重アクセス（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ， ＷＣＤＭＡ（登録商標））、時分割符号分割多重アクセス（ｔｉｍｅ－ｄｉｖｉｓｉｏｎ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ， ＴＤ－ＳＣＤＭＡ）、ロングタームエボリューション（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ， ＬＴＥ）、ＢＴ、ＧＮＳＳ、ＷＬＡＮ、ＮＦＣ、ＦＭ、ＩＲ技術等を含んでよい。ＧＮＳＳは、グローバルポジショニングシステム（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ、ＧＰＳ）、全球測位衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＧＬＯＮＡＳＳ）、北斗衛星導航系統（ＢｅｉＤｏｕ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＢＤＳ）、準天頂衛星システム（ｑｕａｓｉ－ｚｅｎｉｔｈ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＱＺＳＳ）、および／または衛星航法補強システム（ｓａｔｅｌｌｉｔｅ ｂａｓｅｄ ａｕｇｍｅｎｔａｔｉｏｎ ｓｙｓｔｅｍ、ＳＢＡＳ）を含んでよい。
【0233】
端末１００は、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサ等を通して表示機能を実装する。ＧＰＵは、画像処理のためのマイクロプロセッサであり、ディスプレイ１９４およびアプリケーションプロセッサに接続される。ＧＰＵは、数学的および幾何学的計算を実行し、画像をレンダリングするように構成されている。プロセッサ１１０は、プログラム命令を実行して表示情報を生成または変更する１または複数のＧＰＵを含んでよい。
【0234】
ディスプレイ１９４は、画像およびビデオ等を表示するように構成される。ディスプレイ１９４は表示パネルを含む。表示パネルは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ， ＬＣＤ）、有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ， ＯＬＥＤ）、アクティブマトリクス式有機発光ダイオード（Ａｃｔｉｖｅ－Ｍａｔｒｉｘ Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ， ＡＭＯＬＥＤ）、フレキシブル発光ダイオード（Ｆｌｅｘｉｂｌｅ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ， ＦＬＥＤ）、ｍｉｎｉ－ＬＥＤ、ｍｉｃｒｏ－ＬＥＤ、ｍｉｃｒｏ－ＯＬＥＤ、または量子ドット発光ダイオード（Ｑｕａｎｔｕｍ Ｄｏｔ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ， ＱＬＥＤ）等であってよい。いくつかの実施形態において、端末１００は、１またはＮ個のディスプレイ１９４を含んでよく、Ｎは１より大きい正の整数である。
【0235】
いくつかの実現可能な実装において、ディスプレイ１９４は、端末１００のシステムによって出力された各インタフェースを表示するように構成されてよい。端末１００によって出力された各インタフェースについては、以下の実施形態における関連説明を参照されたい。
【0236】
端末１００は、ＩＳＰ、カメラ１９３、ビデオコーデック、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサ等を用いることによって撮影機能を実装し得る。
【0237】
ＩＳＰは、カメラ１９３によってフィードバックされるデータを処理するように構成される。例えば、撮影中に、シャッタがタッチされ、光がレンズを通してカメラの感光素子に送信される。光信号は電気信号へと変換され、カメラの感光素子は、電気信号を可視画像へと変換するための処理のために、電気信号をＩＳＰに送信する。ＩＳＰはさらに、画像のノイズ、輝度、および、色に対してアルゴリズム最適化を実行し得る。ＩＳＰはさらに、撮影シナリオの露光および色温度のようなパラメータを最適化し得る。いくつかの実施形態において、ＩＳＰはカメラ１９３内に配置され得る。
【0238】
カメラ１９３は、静止画像またはビデオを撮像するように構成されている。対象の光学画像は、レンズを介して生成され、感光素子に投影される。感光素子は、電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ， ＣＣＤ）または相補型金属酸化物半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ， ＣＭＯＳ）フォトトランジスタであってよい。感光素子は、光信号を電気信号に変換し、次に、電気信号をデジタル画像信号に変換するために電気信号をＩＳＰに送信する。ＩＳＰは、処理のためにデジタル画像信号をＤＳＰへ出力する。ＤＳＰは、デジタル画像信号をＲＧＢまたはＹＵＶのような標準形式の画像信号に変換する。いくつかの実施形態において、端末１００は、１またはＮ個のカメラ１９３を含んでよく、Ｎは１より大きい正の整数である。
【0239】
デジタル信号プロセッサは、デジタル信号を処理するように構成され、上記デジタル画像信号に加えて別のデジタル信号を処理してよい。
【0240】
ビデオコーデックは、デジタルビデオを圧縮または展開するように構成される。端末１００は、１または複数のビデオコーデックをサポートし得る。このように、端末１００は、複数の符号化フォーマット、例えば、ムービングピクチャーエクスパーツグループ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ， ＭＰＥＧ）－１、ＭＰＥＧ－２、ＭＰＥＧ－３、およびＭＰＥＧ－４でビデオを再生または記録できる。
【0241】
ＮＰＵは、生物学的ニューラルネットワークの構造を参照することにより、例えば、人間の脳神経細胞間の伝達モードを参照することにより、入力情報を迅速に処理するニューラルネットワーク（ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ， ＮＮ）コンピューティングプロセッサであり、さらに自己学習を継続的に実行し得る。端末１００のインテリジェントコグニションのような用途は、ＮＰＵ、例えば、画像認識、顔認識、音声認識、およびテキスト理解を用いることによって実装されてよい。
【0242】
外部メモリインタフェース１２０は、端末１００の格納能力を拡張するために、ｍｉｃｒｏ ＳＤカードのような外部メモリカードに接続するように構成されてよい。外部メモリカードは、外部メモリインタフェース１２０を通じてプロセッサ１１０と通信し、データストレージ機能を実装する。例えば、音楽およびビデオのようなファイルが外部メモリカードに格納される。
【0243】
内部メモリ１２１は、コンピュータ実行可能プログラムコードを格納するように構成され得る。実行可能プログラムコードは命令を含む。プロセッサ１１０は、内部メモリ１２１に格納された命令を実行し、端末１００の様々な機能アプリケーションおよびデータ処理を実行する。内部メモリ１２１は、プログラム格納領域およびデータ格納領域を含んでよい。プログラム格納領域は、オペレーティングシステム、少なくとも１つの機能（例えば、音声再生機能または画像再生機能）によって必要とされるアプリケーション等を格納し得る。データ格納領域は、端末１００の使用中に作成された（オーディオデータおよび電話帳のような）データ等を格納してよい。さらに、内部メモリ１２１は、高速ランダムアクセスメモリを含んでよく、または、不揮発性メモリ、例えば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリ、または汎用フラッシュストレージ（ｕｎｉｖｅｒｓａｌ ｆｌａｓｈ ｓｔｏｒａｇｅ，ＵＦＳ）を含んでよい。
【0244】
端末１００は、オーディオモジュール１７０、スピーカ１７０Ａ、レシーバ１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、アプリケーションプロセッサ等を通して、音楽再生および録音のようなオーディオ機能を実装してよい。いくつかの実現可能な実装において、オーディオモジュール１７０は、ビデオに対応する音を再生するように構成されてよい。例えば、ディスプレイ１９４がビデオ再生画像を表示する場合、オーディオモジュール１７０は、ビデオ再生音を出力する。
【0245】
オーディオモジュール１７０は、デジタルオーディオ情報を出力のためのアナログオーディオ信号に変換するように構成され、また、アナログオーディオ入力をデジタルオーディオ信号に変換するように構成される。
【0246】
「ホーン」とも称されるスピーカ１７０Ａは、オーディオ電気信号を音信号に変換するように構成される。
【0247】
「イヤホン」とも称されるレシーバ１７０Ｂは、オーディオ電気信号を音信号に変換するように構成される。
【0248】
「マイク（ｍｉｋｅ）」または「マイク（ｍｉｃ）」とも称されるマイクロフォン１７０Ｃは、音信号を電気信号に変換するように構成される。
【0249】
ヘッドセットジャック１７０Ｄは有線ヘッドセットに接続するように構成される。ヘッドセットジャック１７０Ｄは、ＵＳＢインタフェース１３０であってよく、または、３．５ｍｍオープンモバイル端末プラットフォーム（ｏｐｅｎ ｍｏｂｉｌｅ ｔｅｒｍｉｎａｌ ｐｌａｔｆｏｒｍ，ＯＭＴＰ）標準のインタフェース、または米国セルラ通信工業会（ｃｅｌｌｕｌａｒ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎｄｕｓｔｒｙ ａｓｓｏｃｉａｔｉｏｎ ｏｆ ｔｈｅ ＵＳＡ，ＣＴＩＡ）標準のインタフェースであってよい。
【0250】
圧力センサ１８０Ａは、圧力信号を検知するように構成され、圧力信号を電気信号に変換できる。いくつかの実施形態において、圧力センサ１８０Ａは、ディスプレイ１９４に配置され得る。
ジャイロスコープセンサ１８０Ｂは、端末１００の動作姿勢を決定するように構成され得る。
気圧センサ１８０Ｃは気圧を測定するように構成される。
ジャイロスコープセンサ１８０Ｂは、端末１００の動作姿勢を決定するように構成され得る。
気圧センサ１８０Ｃは気圧を測定するように構成される。
【0251】
加速度センサ１８０Ｅは、様々な方向（３軸または６軸を含む）における端末１００の加速度の大きさを検出してよい。重力の大きさおよび方向は、端末１００が静止している場合に検出されてよい。加速度センサ１８０Ｅは、さらに、端末の姿勢を識別するように構成され、歩数計または横長モードと縦長モードとの間での画面切り替えのような用途において用いられる。
【0252】
距離センサ１８０Ｆは、距離を測定するように構成される。
【0253】
周辺光センサ１８０Ｌは、周辺光輝度を検知するように構成される。
【0254】
指紋センサ１８０Ｈは指紋を収集するように構成される。
【0255】
温度センサ１８０Ｊは、温度を検出するように構成される。
【0256】
タッチセンサ１８０Ｋは、「タッチパネル」とも称される。タッチセンサ１８０Ｋは、ディスプレイ１９４に配置されてよく、タッチセンサ１８０Ｋおよびディスプレイ１９４は、「タッチスクリーン」とも称されるタッチスクリーンを形成する。タッチセンサ１８０Ｋは、タッチセンサ上またはタッチセンサの近くで実行されたタッチ操作を検出するように構成される。タッチセンサは、検出したタッチ操作をアプリケーションプロセッサに伝達して、タッチイベントのタイプを決定することができる。タッチ操作に関する視覚的出力は、ディスプレイ１９４を通じて提供され得る。いくつかの他の実施形態において、タッチセンサ１８０Ｋは、代替的に、端末１００の表面上の、ディスプレイ１９４と異なる位置に配置されてよい。
【0257】
ボタン１９０は、電源ボタン、音量ボタン等を含む。ボタン１９０は機械的ボタンであってよい、または、タッチボタンであってよい。端末１００はボタン入力を受信し、端末１００のユーザ設定および機能制御に関連するボタン信号入力を生成し得る。
【0258】
モータ１９１は振動提示を生成し得る。
【0259】
インジケータ１９２はインジケータライトであってよく、充電ステータスおよび電力変化を示すように構成され得る、または、メッセージ、不在着信、通知等を示すように構成され得る。
【0260】
ＳＩＭカードインタフェース１９５は、ＳＩＭカードに接続されるように構成される。
【0261】
当業者によれば、説明の容易性および簡潔性のために、前述のシステム、装置、およびユニットの詳細な動作プロセスについては、前述した方法の実施形態における対応するプロセスを参照すべきであることが明確に理解されよう。本明細書では詳細について改めて説明しない。
【0262】
本願において提供されたいくつかの実施形態において開示されるシステム、装置、および方法は、別の方式で実装され得ることが理解されるべきである。例えば、説明される装置の実施形態は例に過ぎない。例えば、ユニットへの分割は、論理的機能の分割に過ぎず、実際の実装では他の分割であってよい。例えば、複数のユニットまたはコンポーネントを組み合わせてもよいし、または別のシステムに統合してもよいし、または、いくつかの機能を無視してもよいし、または実行されなくてもよい。さらに、表示または論じられた相互結合または直接結合または通信接続は、いくつかのインタフェースを通じて実装され得る。装置またはユニット間の間接結合または通信接続は、電子的形態、機械的形態、または他の形式で実装されてよい。
【0263】
別個の部分として説明されるユニットは、物理的に別個あってよく、またはそうでなくてよく、ユニットとして表示される部分は、物理的ユニットでよく、またはそうでなくてよく、１つの位置に位置してよく、または、複数のネットワークユニット上に分散されてよい。ユニットの一部または全部は、実施形態の解決手段の目的を実現するための実際の要件に基づいて選択され得る。
【0264】
さらに、本願の実施形態における機能ユニットが統合されて１つの処理ユニットになってもよいし、または、これらのユニットの各々が物理的に単独で存在してもよいし、または、２つまたはそれより多くのユニットが統合されて１つのユニットになってもよい。統合ユニットは、ハードウェアの形態で実装されてもよく、または、ソフトウェア機能ユニットの形態で実装されてもよい。
【0265】
統合ユニットがソフトウェア機能ユニットの形で実装され、独立した製品として販売または使用される場合、統合ユニットは、コンピュータ可読記憶媒体に格納され得る。このような理解に基づいて、本願における技術的解決手段は本質的に、または従来技術に寄与する部分は、または技術的解決手段の全部または一部は、ソフトウェア製品の形態で実装されてよい。コンピュータソフトウェア製品は、記憶媒体に格納され、コンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスであってよい）に、本願の実施形態において説明された方法の段階の全部または一部を実行するよう命令するためのいくつかの命令を含む。前述の記憶媒体は、プログラムコードを格納可能な任意の媒体、例えば、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、リードオンリメモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、フロッピディスク、またはコンパクトディスクを含む。
【0266】
前述の実施形態は、本願を限定するのではなく、本願の技術的解決手段を説明することを意図しているに過ぎない。本願は前述の実施形態を参照して詳細に説明されているが、当業者であれば、本願の実施形態の技術的解決手段の主旨および範囲から逸脱することなく、前述の実施形態において説明された技術的解決手段にさらに修正を加えてよいこと、または、そのいくつかの技術的特徴に均等な置換をさらに行ってよいことを理解しよう。
他の可能な項目
１．高さ測定方法であって、
被写体を含む画像と、前記画像を撮影する場合に用いられるカメラの姿勢とを取得する段階と、
前記画像における前記被写体の少なくとも２つのキー骨格点の画素座標を取得する段階であって、前記キー骨格点は、骨格関節を含み、前記画素座標は、前記画像における前記キー骨格点の２次元位置情報を示す、段階と、
前記カメラの前記姿勢および前記少なくとも２つのキー骨格点の前記画素座標に基づいて、前記少なくとも２つのキー骨格点の３次元座標を取得する段階であって、前記３次元座標は、座標系における前記キー骨格点の３次元位置情報を示し、前記少なくとも２つのキー骨格点の前記３次元座標は、前記少なくとも２つのキー骨格点の間の距離についての情報を示す、段階と、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定する段階と、
を備える方法。
２．前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定する前記段階は、具体的には、
前記画像における前記被写体の少なくとも３つのキー骨格点の画素座標を取得する段階と、
前記カメラの前記姿勢および前記少なくとも３つのキー骨格点の前記画素座標に基づいて、前記少なくとも３つのキー骨格点の３次元座標を取得する段階であって、前記３次元座標は、座標系における前記キー骨格点の３次元位置情報を示し、前記少なくとも３つのキー骨格点の前記３次元座標は、前記少なくとも３つのキー骨格点の間の距離についての情報を示す、段階と、
前記少なくとも３つのキー骨格点の前記３次元座標に基づいて、少なくとも２つの骨格距離を決定し、前記少なくとも２つの骨格距離に基づいて、前記被写体の前記高さデータを決定する段階と、
を含む、項目１に記載の方法。
３．前記座標系は、ワールド座標系を含む
項目１または２に記載の方法。
４．前記方法は、
前記被写体の３次元点群情報を取得する段階
をさらに備え、
前記カメラの前記姿勢および前記キー骨格点の前記画素座標に基づいて、前記被写体の前記少なくとも２つのキー骨格点の３次元座標を取得する前記段階は、具体的には、
前記キー骨格点の前記画素座標、前記カメラの前記姿勢、および前記３次元点群情報に基づいて、衝撃検出アルゴリズムに従って、前記少なくとも２つのキー骨格点の前記３次元座標を取得する段階
を含む、項目１から３のいずれか一項に記載の方法。
５．前記被写体の３次元点群情報を取得する前記段階は、具体的には、
異なる向きから撮影された前記被写体の少なくとも２つの画像に基づいて、前記被写体の前記３次元点群情報を取得する段階
を含む、項目４に記載の方法。
６．前記被写体の３次元点群情報を取得する前記段階は、具体的には、
深度センサによって収集された前記被写体の前記３次元点群情報を取得する段階であって、前記深度センサは、双眼カメラ、レーザレーダ、ミリ波レーダ、またはタイムオブフライトセンサを含む、段階
を含む、項目４に記載の方法。
７．被写体を含む画像と、前記画像が撮影される場合に用いられるカメラの姿勢とを取得する前記段階は、具体的には、
異なる向きから撮影された前記被写体の少なくとも２つの画像を取得する段階であって、異なる向きから撮影された前記被写体の前記少なくとも２つの画像は、前記画像を含む、段階と、
異なる向きから撮影された前記被写体の前記少なくとも２つの画像に基づいて、前記カメラの前記姿勢を取得する段階と、
を含む、項目１から６のいずれか一項に記載の方法。
８．被写体を含む画像と、前記画像が撮影される場合に用いられるカメラの姿勢とを取得する前記段階は、具体的には、
異なる向きから撮影された前記被写体の少なくとも２つの画像を取得する段階であって、異なる向きから撮影された前記被写体の前記少なくとも２つの画像は、前記被写体の前記画像を含む、段階と、
異なる向きから撮影された前記被写体の前記少なくとも２つの画像に対応する、前記カメラの慣性測定ユニットデータを取得する段階と、
前記慣性測定ユニットデータと、異なる向きから撮影された前記被写体の前記少なくとも２つの画像とに基づいて、前記カメラの前記姿勢を決定する段階と、
を含む、項目１から６のいずれか一項に記載の方法。
９．前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定する前記段階は、具体的には、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の骨格長さおよび前記被写体の姿勢情報を取得する段階と、
前記姿勢情報に基づいて、前記骨格長さの予め設定された重みパラメータを決定する段階と、
前記骨格長さおよび前記重みパラメータに基づいて、前記被写体の前記高さデータを決定する段階と、
を含む、項目１から８のいずれか一項に記載の方法。
１０．前記骨格長さは、頭の骨格長さおよび脚の骨格長さを含み、
前記骨格長さおよび前記重みパラメータに基づいて、前記被写体の前記高さデータを決定する前記段階は、具体的には、
前記頭の前記骨格長さおよび予め設定された頭補償パラメータに基づいて、頭高さ補償値を決定する段階と、
前記脚の前記骨格長さおよび予め設定された足補償パラメータに基づいて、足高さ補償値を決定する段階と、
前記骨格長さ情報、前記重みパラメータ、前記頭高さ補償値、および前記足高さ補償値に基づいて、前記被写体の前記高さデータを決定する段階と、
を含む、項目９に記載の方法。
１１．前記画像は、少なくとも２つの被写体を含み、
前記方法は、
前記画像に対して顔検出を実行し、前記少なくとも２つの被写体の各々のキー骨格点の画素座標を、画像分割アルゴリズムに従って、前記キー骨格点の前記画素座標から決定する段階
をさらに備える、項目１から１０のいずれか一項に記載の方法。
１２．前記方法は、
前記少なくとも２つの被写体についての情報をユーザに表示する段階であって、前記少なくとも２つの被写体についての前記情報は、前記少なくとも２つの被写体の画像情報、前記少なくとも２つの被写体のキー骨格点の画素座標でマーキングされた画像情報、および前記少なくとも２つの被写体の顔検出結果情報のうちの少なくとも１つを含む、段階と、
ユーザ命令を取得する段階であって、前記ユーザ命令は、前記少なくとも２つの被写体のうちの１または複数に対して高さ測定を実行するよう命令する、段階と、
をさらに備える、項目１１に記載の方法。
１３．前記キー骨格点は、重力方向に配置される、項目１から１２のいずれか一項に記載の方法。
１４．前記被写体は、非直立姿勢である、項目１から１３のいずれか一項に記載の方法。
１５．前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定する前記段階は、具体的には、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の骨格長さ情報を取得する段階と、
第１事前設定条件を満たす骨格長さ情報を削除する段階であって、前記第１事前設定条件は、骨格長さ情報における骨格長さが予め設定された範囲外にあること、または、対称部分間の骨格長さの差が予め設定された閾値範囲より大きいまたはこれに等しいことを含む、段階と、
削除後に取得された骨格長さ情報に基づいて、前記被写体の前記高さデータを決定する段階と、
を含む、項目１から１４のいずれか一項に記載の方法。
１６．前記方法は、
前記画像において、前記被写体近傍で前記被写体の前記高さデータをラベリングし、前記高さデータをユーザに表示する段階、または、
音声を通して、前記被写体の前記高さデータをブロードキャストする段階
をさらに備える、項目１から１５のいずれか一項に記載の方法。
１７．前記方法は、
前記被写体の前記キー骨格点が第２事前設定条件を満たさない場合、検出失敗情報を前記ユーザに表示する、または、音声を通して前記検出失敗情報を前記ユーザに提示する、または、振動を通して前記検出失敗情報を前記ユーザに提示する段階
をさらに備える、項目１から１６のいずれか一項に記載の方法。
１８．被写体を含む画像と、前記画像を撮影する場合に用いられるカメラの姿勢とを取得するように構成される取得モジュールであって、
前記取得モジュールは、さらに、前記画像における前記被写体の少なくとも２つのキー骨格点の画素座標を取得するように構成され、前記キー骨格点は、骨格関節を含み、前記画素座標は、前記画像における前記キー骨格点の２次元位置情報を示し、
前記取得モジュールは、さらに、前記カメラの前記姿勢および前記キー骨格点の前記画素座標に基づいて、前記少なくとも２つのキー骨格点の３次元座標を取得するように構成され、前記３次元座標は、座標系における前記キー骨格点の３次元位置情報を示し、前記少なくとも２つのキー骨格点の前記３次元座標は、前記少なくとも２つのキー骨格点の間の距離についての情報を示す、
取得モジュールと、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定するように構成される決定モジュールと、
を備える高さ測定装置。
１９．前記取得モジュールは、具体的には、
前記画像における前記被写体の少なくとも３つのキー骨格点の画素座標を取得する手順と、
前記カメラの前記姿勢および前記少なくとも３つのキー骨格点の前記画素座標に基づいて、少なくとも３つのキー骨格点の３次元座標を取得する手順であって、前記３次元座標は、座標系における前記キー骨格点の３次元位置情報を示し、前記少なくとも３つのキー骨格点の前記３次元座標は、前記少なくとも３つのキー骨格点の間の距離についての情報を示す、手順と、
を実行ように構成され、
前記決定モジュールは、具体的には、
前記少なくとも３つのキー骨格点の前記３次元座標に基づいて、少なくとも２つの骨格距離を決定し、前記少なくとも２つの骨格距離に基づいて、前記被写体の前記高さデータを決定する
ように構成される、
項目１８に記載の装置。
２０．前記座標系は、ワールド座標系を含む
項目１８または１９に記載の装置。
２１．前記取得モジュールは、さらに、前記被写体の３次元点群情報を取得するように構成され、
前記カメラの前記姿勢および前記キー骨格点の前記画素座標に基づいて、前記被写体の前記少なくとも２つのキー骨格点の３次元座標を取得する前記手順は、具体的には、
前記キー骨格点の前記画素座標、前記カメラの前記姿勢、および前記３次元点群情報に基づいて、衝撃検出アルゴリズムに従って、前記少なくとも２つのキー骨格点の前記３次元座標を取得する手順
を含む
項目１８から２０のいずれか一項に記載の装置。
２２．前記取得モジュールは、具体的には、
異なる向きから撮影された前記被写体の少なくとも２つの画像に基づいて、前記被写体の前記３次元点群情報を取得するように構成される
項目２１に記載の装置。
２３．前記取得モジュールは、具体的には、
前記深度センサによって収集された前記被写体の前記３次元点群情報を取得する手順であって、前記深度センサは、双眼カメラ、レーザレーダ、ミリ波レーダ、またはタイムオブフライトセンサを含む、手順
を実行するように構成される
項目２１に記載の装置。
２４．前記取得モジュールは、具体的には、
異なる向きから撮影された前記被写体の少なくとも２つの画像を取得する手順で合って、異なる向きから撮影された前記被写体の前記少なくとも２つの画像は、前記画像を含む、手順と、
異なる向きから撮影された前記被写体の前記少なくとも２つの画像に基づいて、前記カメラの前記姿勢を取得する手順と、
を実行するように構成される
項目１８から２３のいずれか一項に記載の装置。
２５．前記取得モジュールは、具体的には、
異なる向きから撮影された前記被写体の少なくとも２つの画像を取得する手順であって、異なる向きから撮影された前記被写体の前記少なくとも２つの画像は、前記被写体の前記画像を含む、手順と、
異なる向きから撮影された前記被写体の前記少なくとも２つの画像に対応する、前記カメラの慣性測定ユニットデータを取得する手順と、
前記慣性測定ユニットデータと、異なる向きから撮影された前記被写体の前記少なくとも２つの画像とに基づいて、前記カメラの前記姿勢を決定する手順と、
を実行するように構成される、項目１８から２３のいずれか一項に記載の装置。
２６．前記決定モジュールは、具体的には、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の骨格長さおよび前記被写体の姿勢情報を取得する手順と、
前記姿勢情報に基づいて、前記骨格長さの予め設定された重みパラメータを決定する手順と、
前記骨格長さおよび前記重みパラメータに基づいて、前記被写体の前記高さデータを決定する手順と、
を実行するように構成される、項目１８から２５のいずれか一項に記載の装置。
２７．前記骨格長さは、頭の骨格長さおよび脚の骨格長さを含み、
前記決定モジュールは、具体的には、
前記頭の前記骨格長さおよび予め設定された頭補償パラメータに基づいて、頭高さ補償値を決定する手順と、
前記脚の前記骨格長さおよび予め設定された足補償パラメータに基づいて、足高さ補償値を決定する手順と、
前記骨格長さ情報、前記重みパラメータ、前記頭高さ補償値、および前記足高さ補償値に基づいて、前記被写体の前記高さデータを決定する手順と、
を実行するように構成される
項目２６に記載の装置。
２８．前記画像は、少なくとも２つの被写体を含み、
前記装置は、
前記画像に対して顔検出を実行し、画像分割アルゴリズムに従って、前記キー骨格点の前記画素座標から、前記少なくとも２つの被写体の各々のキー骨格点の画素座標を決定するように構成される処理モジュール
をさらに備える
項目１８から２７のいずれか一項に記載の装置。
２９．前記装置は、
前記少なくとも２つの被写体についての情報をユーザに表示するように構成される出力モジュールであって、前記少なくとも２つの被写体についての前記情報は、前記少なくとも２つの被写体の画像情報、前記少なくとも２つの被写体のキー骨格点の画素座標でマーキングされた画像情報、および前記少なくとも２つの被写体の顔検出結果情報のうちの少なくとも１つを含む、出力モジュール
をさらに備え、
前記取得モジュールは、さらに、ユーザ命令を取得するように構成され、前記ユーザ命令は、前記少なくとも２つの被写体のうちの１または複数に対して高さ測定を実行するよう命令する
項目２８に記載の装置。
３０．前記キー骨格点は、重力方向に配置される、項目１８から２９のいずれか一項に記載の装置。
３１．前記被写体は、非直立姿勢である、項目１８から３０のいずれか一項に記載の装置。
３２．前記決定モジュールは、具体的には、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の骨格長さ情報を取得する手順と、
第１事前設定条件を満たす骨格長さ情報を削除する手順であって、前記第１事前設定条件は、骨格長さ情報における骨格長さが予め設定された範囲内にないこと、または、対称部分間の骨格長さの差が予め設定された閾値範囲より大きいまたはこれに等しいことを含む、手順と、
削除後に取得された骨格長さ情報に基づいて、前記被写体の前記高さデータを決定する手順と、
を実行するように構成される
項目１８から３１のいずれか一項に記載の装置。
３３．前記装置は、
前記画像において、前記被写体近傍で前記被写体の前記高さデータをラベリングし、前記高さデータを前記ユーザに表示する、または、音声を通して、前記被写体の前記高さデータをブロードキャストするように構成される出力モジュール
をさらに含む、項目１８から３２のいずれか一項に記載の装置。
３４．前記装置は、
前記被写体の前記キー骨格点が第２事前設定条件を満たさない場合、検出失敗情報をユーザに表示する、または、音声を通して検出失敗情報をユーザに提示する、または、振動を通して検出失敗情報をユーザに提示するように構成される出力モジュール
をさらに備える、項目１８から３３のいずれか一項に記載の装置。
３５．１または複数のプロセッサおよびメモリを備える端末であって、
前記メモリは、コンピュータ可読命令を格納し、
前記１または複数のプロセッサは、前記コンピュータ可読命令を読み出すように構成され、これにより、前記端末は、項目１から１７のいずれか一項に記載の方法を実装する
端末。
３６．コンピュータプログラム製品であって、前記コンピュータプログラム製品がコンピュータ上で実行された場合、前記コンピュータは、項目１から１７のいずれか一項に記載の方法を実行可能になる、コンピュータプログラム製品。
３７．コンピュータ可読命令を備えるコンピュータ可読記憶媒体であって、前記コンピュータ可読命令がコンピュータ上で実行された場合、前記コンピュータは、項目１から１７のいずれか一項に記載の方法を実行可能になる、コンピュータ可読記憶媒体。
他の可能な項目
１．高さ測定方法であって、
被写体を含む画像と、前記画像を撮影する場合に用いられるカメラの姿勢とを取得する段階と、
前記画像における前記被写体の少なくとも２つのキー骨格点の画素座標を取得する段階であって、前記キー骨格点は、骨格関節を含み、前記画素座標は、前記画像における前記キー骨格点の２次元位置情報を示す、段階と、
前記カメラの前記姿勢および前記少なくとも２つのキー骨格点の前記画素座標に基づいて、前記少なくとも２つのキー骨格点の３次元座標を取得する段階であって、前記３次元座標は、座標系における前記キー骨格点の３次元位置情報を示し、前記少なくとも２つのキー骨格点の前記３次元座標は、前記少なくとも２つのキー骨格点の間の距離についての情報を示す、段階と、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定する段階と、
を備える方法。
２．前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定する前記段階は、具体的には、
前記画像における前記被写体の少なくとも３つのキー骨格点の画素座標を取得する段階と、
前記カメラの前記姿勢および前記少なくとも３つのキー骨格点の前記画素座標に基づいて、前記少なくとも３つのキー骨格点の３次元座標を取得する段階であって、前記３次元座標は、座標系における前記キー骨格点の３次元位置情報を示し、前記少なくとも３つのキー骨格点の前記３次元座標は、前記少なくとも３つのキー骨格点の間の距離についての情報を示す、段階と、
前記少なくとも３つのキー骨格点の前記３次元座標に基づいて、少なくとも２つの骨格距離を決定し、前記少なくとも２つの骨格距離に基づいて、前記被写体の前記高さデータを決定する段階と、
を含む、項目１に記載の方法。
３．前記座標系は、ワールド座標系を含む
項目１または２に記載の方法。
４．前記方法は、
前記被写体の３次元点群情報を取得する段階
をさらに備え、
前記カメラの前記姿勢および前記キー骨格点の前記画素座標に基づいて、前記被写体の前記少なくとも２つのキー骨格点の３次元座標を取得する前記段階は、具体的には、
前記キー骨格点の前記画素座標、前記カメラの前記姿勢、および前記３次元点群情報に基づいて、衝撃検出アルゴリズムに従って、前記少なくとも２つのキー骨格点の前記３次元座標を取得する段階
を含む、項目１から３のいずれか一項に記載の方法。
５．前記被写体の３次元点群情報を取得する前記段階は、具体的には、
異なる向きから撮影された前記被写体の少なくとも２つの画像に基づいて、前記被写体の前記３次元点群情報を取得する段階
を含む、項目４に記載の方法。
６．前記被写体の３次元点群情報を取得する前記段階は、具体的には、
深度センサによって収集された前記被写体の前記３次元点群情報を取得する段階であって、前記深度センサは、双眼カメラ、レーザレーダ、ミリ波レーダ、またはタイムオブフライトセンサを含む、段階
を含む、項目４に記載の方法。
７．被写体を含む画像と、前記画像が撮影される場合に用いられるカメラの姿勢とを取得する前記段階は、具体的には、
異なる向きから撮影された前記被写体の少なくとも２つの画像を取得する段階であって、異なる向きから撮影された前記被写体の前記少なくとも２つの画像は、前記画像を含む、段階と、
異なる向きから撮影された前記被写体の前記少なくとも２つの画像に基づいて、前記カメラの前記姿勢を取得する段階と、
を含む、項目１から６のいずれか一項に記載の方法。
８．被写体を含む画像と、前記画像が撮影される場合に用いられるカメラの姿勢とを取得する前記段階は、具体的には、
異なる向きから撮影された前記被写体の少なくとも２つの画像を取得する段階であって、異なる向きから撮影された前記被写体の前記少なくとも２つの画像は、前記被写体の前記画像を含む、段階と、
異なる向きから撮影された前記被写体の前記少なくとも２つの画像に対応する、前記カメラの慣性測定ユニットデータを取得する段階と、
前記慣性測定ユニットデータと、異なる向きから撮影された前記被写体の前記少なくとも２つの画像とに基づいて、前記カメラの前記姿勢を決定する段階と、
を含む、項目１から６のいずれか一項に記載の方法。
９．前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定する前記段階は、具体的には、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の骨格長さおよび前記被写体の姿勢情報を取得する段階と、
前記姿勢情報に基づいて、前記骨格長さの予め設定された重みパラメータを決定する段階と、
前記骨格長さおよび前記重みパラメータに基づいて、前記被写体の前記高さデータを決定する段階と、
を含む、項目１から８のいずれか一項に記載の方法。
１０．前記骨格長さは、頭の骨格長さおよび脚の骨格長さを含み、
前記骨格長さおよび前記重みパラメータに基づいて、前記被写体の前記高さデータを決定する前記段階は、具体的には、
前記頭の前記骨格長さおよび予め設定された頭補償パラメータに基づいて、頭高さ補償値を決定する段階と、
前記脚の前記骨格長さおよび予め設定された足補償パラメータに基づいて、足高さ補償値を決定する段階と、
前記骨格長さ情報、前記重みパラメータ、前記頭高さ補償値、および前記足高さ補償値に基づいて、前記被写体の前記高さデータを決定する段階と、
を含む、項目９に記載の方法。
１１．前記画像は、少なくとも２つの被写体を含み、
前記方法は、
前記画像に対して顔検出を実行し、前記少なくとも２つの被写体の各々のキー骨格点の画素座標を、画像分割アルゴリズムに従って、前記キー骨格点の前記画素座標から決定する段階
をさらに備える、項目１から１０のいずれか一項に記載の方法。
１２．前記方法は、
前記少なくとも２つの被写体についての情報をユーザに表示する段階であって、前記少なくとも２つの被写体についての前記情報は、前記少なくとも２つの被写体の画像情報、前記少なくとも２つの被写体のキー骨格点の画素座標でマーキングされた画像情報、および前記少なくとも２つの被写体の顔検出結果情報のうちの少なくとも１つを含む、段階と、
ユーザ命令を取得する段階であって、前記ユーザ命令は、前記少なくとも２つの被写体のうちの１または複数に対して高さ測定を実行するよう命令する、段階と、
をさらに備える、項目１１に記載の方法。
１３．前記キー骨格点は、重力方向に配置される、項目１から１２のいずれか一項に記載の方法。
１４．前記被写体は、非直立姿勢である、項目１から１３のいずれか一項に記載の方法。
１５．前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定する前記段階は、具体的には、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の骨格長さ情報を取得する段階と、
第１事前設定条件を満たす骨格長さ情報を削除する段階であって、前記第１事前設定条件は、骨格長さ情報における骨格長さが予め設定された範囲外にあること、または、対称部分間の骨格長さの差が予め設定された閾値範囲より大きいまたはこれに等しいことを含む、段階と、
削除後に取得された骨格長さ情報に基づいて、前記被写体の前記高さデータを決定する段階と、
を含む、項目１から１４のいずれか一項に記載の方法。
１６．前記方法は、
前記画像において、前記被写体近傍で前記被写体の前記高さデータをラベリングし、前記高さデータをユーザに表示する段階、または、
音声を通して、前記被写体の前記高さデータをブロードキャストする段階
をさらに備える、項目１から１５のいずれか一項に記載の方法。
１７．前記方法は、
前記被写体の前記キー骨格点が第２事前設定条件を満たさない場合、検出失敗情報を前記ユーザに表示する、または、音声を通して前記検出失敗情報を前記ユーザに提示する、または、振動を通して前記検出失敗情報を前記ユーザに提示する段階
をさらに備える、項目１から１６のいずれか一項に記載の方法。
１８．被写体を含む画像と、前記画像を撮影する場合に用いられるカメラの姿勢とを取得するように構成される取得モジュールであって、
前記取得モジュールは、さらに、前記画像における前記被写体の少なくとも２つのキー骨格点の画素座標を取得するように構成され、前記キー骨格点は、骨格関節を含み、前記画素座標は、前記画像における前記キー骨格点の２次元位置情報を示し、
前記取得モジュールは、さらに、前記カメラの前記姿勢および前記キー骨格点の前記画素座標に基づいて、前記少なくとも２つのキー骨格点の３次元座標を取得するように構成され、前記３次元座標は、座標系における前記キー骨格点の３次元位置情報を示し、前記少なくとも２つのキー骨格点の前記３次元座標は、前記少なくとも２つのキー骨格点の間の距離についての情報を示す、
取得モジュールと、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の高さデータを決定するように構成される決定モジュールと、
を備える高さ測定装置。
１９．前記取得モジュールは、具体的には、
前記画像における前記被写体の少なくとも３つのキー骨格点の画素座標を取得する手順と、
前記カメラの前記姿勢および前記少なくとも３つのキー骨格点の前記画素座標に基づいて、少なくとも３つのキー骨格点の３次元座標を取得する手順であって、前記３次元座標は、座標系における前記キー骨格点の３次元位置情報を示し、前記少なくとも３つのキー骨格点の前記３次元座標は、前記少なくとも３つのキー骨格点の間の距離についての情報を示す、手順と、
を実行ように構成され、
前記決定モジュールは、具体的には、
前記少なくとも３つのキー骨格点の前記３次元座標に基づいて、少なくとも２つの骨格距離を決定し、前記少なくとも２つの骨格距離に基づいて、前記被写体の前記高さデータを決定する
ように構成される、
項目１８に記載の装置。
２０．前記座標系は、ワールド座標系を含む
項目１８または１９に記載の装置。
２１．前記取得モジュールは、さらに、前記被写体の３次元点群情報を取得するように構成され、
前記カメラの前記姿勢および前記キー骨格点の前記画素座標に基づいて、前記被写体の前記少なくとも２つのキー骨格点の３次元座標を取得する前記手順は、具体的には、
前記キー骨格点の前記画素座標、前記カメラの前記姿勢、および前記３次元点群情報に基づいて、衝撃検出アルゴリズムに従って、前記少なくとも２つのキー骨格点の前記３次元座標を取得する手順
を含む
項目１８から２０のいずれか一項に記載の装置。
２２．前記取得モジュールは、具体的には、
異なる向きから撮影された前記被写体の少なくとも２つの画像に基づいて、前記被写体の前記３次元点群情報を取得するように構成される
項目２１に記載の装置。
２３．前記取得モジュールは、具体的には、
前記深度センサによって収集された前記被写体の前記３次元点群情報を取得する手順であって、前記深度センサは、双眼カメラ、レーザレーダ、ミリ波レーダ、またはタイムオブフライトセンサを含む、手順
を実行するように構成される
項目２１に記載の装置。
２４．前記取得モジュールは、具体的には、
異なる向きから撮影された前記被写体の少なくとも２つの画像を取得する手順で合って、異なる向きから撮影された前記被写体の前記少なくとも２つの画像は、前記画像を含む、手順と、
異なる向きから撮影された前記被写体の前記少なくとも２つの画像に基づいて、前記カメラの前記姿勢を取得する手順と、
を実行するように構成される
項目１８から２３のいずれか一項に記載の装置。
２５．前記取得モジュールは、具体的には、
異なる向きから撮影された前記被写体の少なくとも２つの画像を取得する手順であって、異なる向きから撮影された前記被写体の前記少なくとも２つの画像は、前記被写体の前記画像を含む、手順と、
異なる向きから撮影された前記被写体の前記少なくとも２つの画像に対応する、前記カメラの慣性測定ユニットデータを取得する手順と、
前記慣性測定ユニットデータと、異なる向きから撮影された前記被写体の前記少なくとも２つの画像とに基づいて、前記カメラの前記姿勢を決定する手順と、
を実行するように構成される、項目１８から２３のいずれか一項に記載の装置。
２６．前記決定モジュールは、具体的には、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の骨格長さおよび前記被写体の姿勢情報を取得する手順と、
前記姿勢情報に基づいて、前記骨格長さの予め設定された重みパラメータを決定する手順と、
前記骨格長さおよび前記重みパラメータに基づいて、前記被写体の前記高さデータを決定する手順と、
を実行するように構成される、項目１８から２５のいずれか一項に記載の装置。
２７．前記骨格長さは、頭の骨格長さおよび脚の骨格長さを含み、
前記決定モジュールは、具体的には、
前記頭の前記骨格長さおよび予め設定された頭補償パラメータに基づいて、頭高さ補償値を決定する手順と、
前記脚の前記骨格長さおよび予め設定された足補償パラメータに基づいて、足高さ補償値を決定する手順と、
前記骨格長さ情報、前記重みパラメータ、前記頭高さ補償値、および前記足高さ補償値に基づいて、前記被写体の前記高さデータを決定する手順と、
を実行するように構成される
項目２６に記載の装置。
２８．前記画像は、少なくとも２つの被写体を含み、
前記装置は、
前記画像に対して顔検出を実行し、画像分割アルゴリズムに従って、前記キー骨格点の前記画素座標から、前記少なくとも２つの被写体の各々のキー骨格点の画素座標を決定するように構成される処理モジュール
をさらに備える
項目１８から２７のいずれか一項に記載の装置。
２９．前記装置は、
前記少なくとも２つの被写体についての情報をユーザに表示するように構成される出力モジュールであって、前記少なくとも２つの被写体についての前記情報は、前記少なくとも２つの被写体の画像情報、前記少なくとも２つの被写体のキー骨格点の画素座標でマーキングされた画像情報、および前記少なくとも２つの被写体の顔検出結果情報のうちの少なくとも１つを含む、出力モジュール
をさらに備え、
前記取得モジュールは、さらに、ユーザ命令を取得するように構成され、前記ユーザ命令は、前記少なくとも２つの被写体のうちの１または複数に対して高さ測定を実行するよう命令する
項目２８に記載の装置。
３０．前記キー骨格点は、重力方向に配置される、項目１８から２９のいずれか一項に記載の装置。
３１．前記被写体は、非直立姿勢である、項目１８から３０のいずれか一項に記載の装置。
３２．前記決定モジュールは、具体的には、
前記少なくとも２つのキー骨格点の前記３次元座標に基づいて、前記被写体の骨格長さ情報を取得する手順と、
第１事前設定条件を満たす骨格長さ情報を削除する手順であって、前記第１事前設定条件は、骨格長さ情報における骨格長さが予め設定された範囲内にないこと、または、対称部分間の骨格長さの差が予め設定された閾値範囲より大きいまたはこれに等しいことを含む、手順と、
削除後に取得された骨格長さ情報に基づいて、前記被写体の前記高さデータを決定する手順と、
を実行するように構成される
項目１８から３１のいずれか一項に記載の装置。
３３．前記装置は、
前記画像において、前記被写体近傍で前記被写体の前記高さデータをラベリングし、前記高さデータを前記ユーザに表示する、または、音声を通して、前記被写体の前記高さデータをブロードキャストするように構成される出力モジュール
をさらに含む、項目１８から３２のいずれか一項に記載の装置。
３４．前記装置は、
前記被写体の前記キー骨格点が第２事前設定条件を満たさない場合、検出失敗情報をユーザに表示する、または、音声を通して検出失敗情報をユーザに提示する、または、振動を通して検出失敗情報をユーザに提示するように構成される出力モジュール
をさらに備える、項目１８から３３のいずれか一項に記載の装置。
３５．１または複数のプロセッサおよびメモリを備える端末であって、
前記メモリは、コンピュータ可読命令を格納し、
前記１または複数のプロセッサは、前記コンピュータ可読命令を読み出すように構成され、これにより、前記端末は、項目１から１７のいずれか一項に記載の方法を実装する
端末。
３６．コンピュータプログラム製品であって、前記コンピュータプログラム製品がコンピュータ上で実行された場合、前記コンピュータは、項目１から１７のいずれか一項に記載の方法を実行可能になる、コンピュータプログラム製品。
３７．コンピュータ可読命令を備えるコンピュータ可読記憶媒体であって、前記コンピュータ可読命令がコンピュータ上で実行された場合、前記コンピュータは、項目１から１７のいずれか一項に記載の方法を実行可能になる、コンピュータ可読記憶媒体。
【図1】
【図2a】
【図2b】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9a】
【図9b】
【図9c】
【図10】
【図11a】
【図11b】
【図12】
【国際調査報告】