特表2024-530061 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ボディグラム，インコーポレイテッドの特許一覧

特表2024-530061深層学習ネットワークを使用したユーザ画像からの身体組成の予測

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7A
7B
8
9
10
11
12
13
14

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-15

(54)【発明の名称】深層学習ネットワークを使用したユーザ画像からの身体組成の予測

(51)【国際特許分類】

G06T 7/00 20170101AFI20240807BHJP

A61B 5/107 20060101ALI20240807BHJP

A61B 5/0537 20210101ALN20240807BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 660B

A61B5/107 110

A61B5/107 420

A61B5/107 400

A61B5/107 130

A61B5/0537

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2023559779

(86)(22)【出願日】2022-03-24

(85)【翻訳文提出日】2023-11-20

(86)【国際出願番号】 US2022021637

(87)【国際公開番号】W WO2022204343

(87)【国際公開日】2022-09-29

(31)【優先権主張番号】63/165,161

(32)【優先日】2021-03-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ｉＢｅａｃｏｎ

３．ＷＣＤＭＡ

(71)【出願人】

【識別番号】523367864

【氏名又は名称】ボディグラム，インコーポレイテッド

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀明代

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好玲奈

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋香元

(72)【発明者】

【氏名】チャックリ，スバス

(72)【発明者】

【氏名】神山恭平

(72)【発明者】

【氏名】コー，チョン，ジン

【テーマコード（参考）】

4C038

4C127

5L096

【Ｆターム（参考）】

4C038HJ05

4C038VA03

4C038VA04

4C038VB11

4C038VB14

4C038VB19

4C038VB28

4C038VB35

4C038VC05

4C127AA06

4C127GG10

5L096CA02

5L096DA02

5L096FA12

5L096FA59

5L096FA64

5L096FA69

5L096FA70

5L096HA11

5L096KA04

(57)【要約】

画像取り込みデバイスを使用して、ユーザの身体組成の予測を生成するためのシステム及び方法が開示される。本システム及び方法を使用して、単一のユーザ画像から、体脂肪率、含水率、筋肉量、骨量などの身体組成を予測することができる。本方法は、１つ以上のユーザ画像及び１つ以上のユーザパラメータを受信するステップと、１つ以上のユーザ画像に基づいて、１つ以上のキーポイントを生成するステップと、身体組成深層学習ネットワーク（ＤＬＮ）を使用して、１つ以上のキーポイント及び１つ以上のユーザパラメータに基づいて、ユーザの身体組成の予測を生成するステップと、を含む。一実施形態では、身体組成ＤＬＮは、顔画像ＤＬＮ、身体特徴ＤＬＮ、及び出力ＤＬＮを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの身体組成を予測するためのコンピュータ実装方法であって、前記方法が、
１つ以上のユーザ画像、及び１つ以上のユーザパラメータを受信することと、
前記１つ以上のユーザ画像に基づいて、１つ以上のキーポイントを生成することと、
身体組成深層学習ネットワーク（ＤＬＮ）を使用して、前記１つ以上のキーポイント及び前記１つ以上のユーザパラメータに基づいて、前記ユーザの前記身体組成の予測を生成することと、を含む、前記コンピュータ実装方法。

【請求項2】

１つ以上のキーポイントを前記生成することが、キーポイントＤＬＮを使用することを含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記身体組成ＤＬＮが、
前記ユーザの顔画像を受信するように、かつ顔特徴ベクトルを生成するように構成された顔画像ＤＬＮと、
前記１つ以上のユーザパラメータ、及び１つ以上のスケーリングされた外部身体特徴寸法のセットを受信するように、かつ身体特徴ベクトルを生成するように構成された身体特徴ＤＬＮと、
前記顔特徴ベクトル及び前記身体特徴ベクトルを受信するように、かつ前記ユーザの前記身体組成を生成するように構成された出力ＤＬＮと、を備える、請求項１に記載のコンピュータ実装方法。

【請求項4】

前記顔画像ＤＬＮが、畳み込みニューラルネットワーク（ＣＮＮ）であり、前記身体特徴ＤＬＮ及び前記出力ＤＬＮが、完全接続ニューラルネットワークである、請求項３に記載のコンピュータ実装方法。

【請求項5】

前記身体組成が、前記ユーザの筋肉、骨、含水量、または体脂肪の指標である、請求項１に記載のコンピュータ実装方法。

【請求項6】

前記身体組成が、除脂肪体重（ＬＢＭ）、体脂肪体重（ＭＢＦ）、軟質除脂肪体重（ＳＬＭ）、及び体脂肪率（ＰＢＦ）からなる群から選択される、請求項１に記載のコンピュータ実装方法。

【請求項7】

前記１つ以上のユーザパラメータが、身長、体重、性別、及び年齢からなる群から選択される、請求項１に記載のコンピュータ実装方法。

【請求項8】

前記１つ以上のユーザ画像から前記ユーザの頭部画像を抽出することであって、前記身体組成ＤＬＮを使用して前記身体組成を生成することが、前記頭部画像にさらに基づく、前記抽出すること、をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項9】

前記頭部画像が、顔画像であり、前記顔画像が、顔抽出コンピュータビジョンモジュール及び顔抽出ＤＬＮのうちの１つを使用して抽出される、請求項８に記載のコンピュータ実装方法。

【請求項10】

前記１つ以上のユーザ画像が、少なくとも正面画像及び側面画像を含む、請求項１に記載のコンピュータ実装方法。

【請求項11】

前記１つ以上のユーザ画像が、完全に衣服を着用したユーザを表す、請求項１に記載のコンピュータ実装方法。

【請求項12】

前記１つ以上のユーザ画像から前記ユーザの身長を計算することと、
前記身長を前記ユーザパラメータのうちの１つとして利用することと、をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項13】

前記１つ以上のユーザ画像から前記ユーザの体重を計算することと、
前記体重を前記ユーザパラメータのうちの１つとして利用することと、をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項14】

前記１つ以上のキーポイントに基づいて、１つ以上のスケーリングされた外部身体特徴寸法のセットを生成することであって、前記身体組成ＤＬＮを使用して前記身体組成を生成することが、前記１つ以上のスケーリングされた外部身体特徴寸法のセットにさらに基づく、前記生成すること、をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項15】

前記１つ以上のスケーリングされた外部身体特徴寸法のセットを前記生成することが、
前記１つ以上のキーポイントから１つ以上の外部身体特徴寸法のセットを生成することと、
前記１つ以上の外部身体特徴寸法のセットをスケーリングして、前記１つ以上のスケーリングされた外部身体特徴寸法のセットを生成することと、を含む、請求項１４に記載のコンピュータ実装方法。

【請求項16】

前記１つ以上の外部身体特徴寸法が、身長、腹部深度、腹部長さ、腹部ウエスト、バスト回り、ヒップ回り、首回り、大腿部回り、アンダーバスト回り、上腕回り、ウエスト回り、及び手首回りからなる群から選択される、請求項１５に記載のコンピュータ実装方法。

【請求項17】

ユーザの身体組成を予測するための、ハードウェアプロセッサによって実行可能なプログラムコードを記憶する、非一時的記憶媒体であって、前記プログラムコードが、
１つ以上のユーザ画像、及び１つ以上のユーザパラメータを受信することと、
前記１つ以上のユーザ画像に基づいて、１つ以上のキーポイントを生成することと、
身体組成深層学習ネットワーク（ＤＬＮ）を使用して、前記１つ以上のキーポイント及び前記１つ以上のユーザパラメータに基づいて、前記ユーザの前記身体組成の予測を生成することと、を行うように構成されている、前記非一時的記憶媒体。

【請求項18】

１つ以上のキーポイントを前記生成することが、キーポイントＤＬＮを使用することを含む、請求項１７に記載の非一時的記憶媒体。

【請求項19】

【請求項20】

ユーザの身体組成を予測するためのシステムであって、前記システムが、非一時的記憶媒体及びハードウェアプロセッサを備え、前記非一時的記憶媒体が、コンピュータ実行可能プログラムコードを記憶し、前記コンピュータ実行可能プログラムコードが、前記ハードウェアプロセッサによって実行されたときに、前記ハードウェアプロセッサに、
１つ以上のユーザ画像、及び１つ以上のユーザパラメータを受信することと、
前記１つ以上のユーザ画像に基づいて、１つ以上のキーポイントを生成することと、
身体組成深層学習ネットワーク（ＤＬＮ）を使用して、前記１つ以上のキーポイント及び前記１つ以上のユーザパラメータに基づいて、前記ユーザの前記身体組成の予測を生成することと、を行うためのステップを実行させる、前記システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、自動化された身体特徴測定の分野にあり、特に、画像取り込みデバイスを用いて撮影された画像を使用して、ユーザの身体組成の予測を生成することに関する。

【背景技術】

【0002】

本発明の背景は、単に、本発明の文脈、ならびにその用途及び使用を理解するのを助けるために提供され、先行技術とはみなされない場合がある。

【0003】

身体組成は、個々の健康及びウェルネスについての情報を提供する。身体組成の測定は、ヒト（または任意の他の生物）の身体を構成する１つ以上の個々の成分の定量的な測定である。身体組成は、体脂肪、筋肉、骨、水などの身体の構成成分のうちの１つの定量的な指標として定義され得る。そのような指標としては、体重、体積、及びその割合またはパーセンテージが挙げられる。例えば、肥満、すなわち、過剰な体脂肪の蓄積にかかわる病状は、肥満度指数（ＢＭＩ）を通じて評価され得、これは、個人の体重及び身長に基づいた体脂肪の指標である。肥満はまた、体脂肪率（ＰＢＦ）などのいくつかの他の指標を通じても評価され得る。「身体組成」、「身体組成予測」、及び「身体組成測定」は、本明細書において区別なく使用される。

【0004】

身体組成を測定するためのいくつかの既存のシステムは、３Ｄスキャンされた身体から取得された深度画像を利用して、体脂肪を予測する。通常、ユーザは、正確なＢＭＩを測定するために、薄い衣服（例えば、下着）を着用する必要がある。スマートフォンアプリケーションを通じて迅速なサービスが広く普及するようになっているときには、３Ｄスキャン及び／またはユーザの薄着の要求は、費用がかかり、かつ煩雑である。

【0005】

身体組成を測定するための他のシステムは、ユーザの正面顔画像を利用して、身長、体重、及びＢＭＩを予測する。多くのシステムは、統計データを使用して、または単一のタイプのデータ（例えば、顔画像）に基づいて、身体組成を測定し、したがって、堅牢性及び精度を欠いている予測を提供する。したがって、ユーザ画像をユーザパラメータ（例えば、ユーザの身長または性別）などの他の入力と組み合わせることによって、身体組成を正確に測定することができるシステムが必要である。

【0006】

この背景の下で、本発明の様々な実施形態が開発された。

【発明の概要】

【0007】

本発明のこの概要は、本発明、その適用、及び使用の全体像を提供するものであり、本発明の範囲を限定することを意図されておらず、このことは、図面と併せて読まれるときに、詳細な説明から明らかになるであろう。

【0008】

本発明は、ユーザ画像及び１つ以上のユーザパラメータを使用して、ユーザの身体組成の予測を生成するための方法及びシステムに関する。ユーザ画像及びパラメータは、モバイルスマートフォンなどの画像取り込みデバイスを介して取得され得る。

【0009】

一実施形態では、本発明は、ユーザの身体組成を予測するためのコンピュータ実装方法であって、この方法は、１つ以上のユーザ画像、及び１つ以上のユーザパラメータを受信することと、１つ以上のユーザ画像に基づいて、１つ以上のキーポイントを生成することと、身体組成深層学習ネットワーク（ＤＬＮ）を使用して、１つ以上のキーポイント、及び１つ以上のユーザパラメータに基づいて、ユーザの身体組成の予測を生成することと、を含む。一実施形態では、１つ以上のキーポイントを生成することは、キーポイントＤＬＮを使用することを含む。

【0010】

一実施形態では、身体組成ＤＬＮは、ユーザの顔画像を受信するように、かつ顔特徴ベクトルを生成するように構成された顔画像ＤＬＮと、１つ以上のユーザパラメータ、及び１つ以上のスケーリングされた外部身体特徴寸法のセットを受信するように、かつ身体特徴ベクトルを生成するように構成された身体特徴ＤＬＮと、顔特徴ベクトル及び身体特徴ベクトルを受信して、ユーザの身体組成を生成するように構成された出力ＤＬＮと、を含む。

【0011】

別の実施形態では、顔画像ＤＬＮは、畳み込みニューラルネットワーク（ＣＮＮ）であり、身体特徴ＤＬＮ及び出力ＤＬＮは、完全接続ニューラルネットワークである。

【0012】

一実施形態では、身体組成は、ユーザの筋肉、骨、含水量、または体脂肪の指標である。

【0013】

一実施形態では、身体組成は、除脂肪体重（ＬＢＭ）、体脂肪体重（ＭＢＦ）、軟質除脂肪体重（ＳＬＭ）、及び体脂肪率（ＰＢＦ）からなる群から選択される。

【0014】

一実施形態では、１つ以上のユーザパラメータは、身長、体重、性別、及び年齢からなる群から選択される。

【0015】

別の実施形態では、コンピュータによる実装方法は、１つ以上のユーザ画像からユーザの頭部画像を抽出することであって、身体組成ＤＬＮを使用して身体組成を生成することは、頭部画像にさらに基づく、抽出すること、をさらに含む。

【0016】

一実施形態では、頭部画像は、顔画像であり、顔画像は、顔抽出コンピュータビジョンモジュール及び顔抽出ＤＬＮのうちの１つを使用して抽出される。

【0017】

いくつかの実施形態では、１つ以上のユーザ画像は、少なくとも正面画像及び側面画像を含む。

【0018】

一実施形態では、１つ以上のユーザ画像は、完全に衣服を着用したユーザを表す。

【0019】

別の実施形態では、コンピュータによる実装方法は、１つ以上のユーザ画像からユーザの身長を生成することと、身長をユーザパラメータのうちの１つとして利用することと、をさらに含む。

【0020】

さらに別の実施形態では、コンピュータによる実装方法は、１つ以上のユーザ画像からユーザの体重を生成することと、体重をユーザパラメータのうちの１つとして利用することと、をさらに含む。

【0021】

一実施形態では、コンピュータによる実装方法は、１つ以上のキーポイントに基づいて、１つ以上のスケーリングされた外部身体特徴寸法のセットを生成することであって、身体組成ＤＬＮを使用して身体組成を生成することは、１つ以上のスケーリングされた外部身体特徴寸法のセットにさらに基づく、生成すること、をさらに含む。

【0022】

一実施形態では、１つ以上のスケーリングされた外部身体特徴寸法のセットを生成することは、１つ以上のキーポイントから１つ以上の外部身体特徴寸法のセットを生成することと、１つ以上の外部身体特徴寸法のセットをスケーリングして、１つ以上のスケーリングされた外部身体特徴寸法のセットを生成することと、を含む。

【0023】

いくつかの実施形態では、１つ以上の外部身体特徴寸法のセットをスケーリングすることは、（ａ）ユーザ画像のうちの１つに取り込まれた既知のサイズの対象物、（ｂ）深度センサ、（ｃ）ライダー（Ｌｉｄａｒ）、（ｄ）拡張現実ソフトウェア開発キット（ＡＲ－ＳＤＫ）を使用して検出された基平面の少なくとも３つの特徴の間の距離、及び（ｅ）ユーザから受信された身長、ならびにユーザの正面画像及び側面画像のうちの１つから判定された画素高さ、のうちの１つを使用して判定されたスケール係数を使用する。

【0024】

他の実施形態では、１つ以上の外部身体特徴寸法は、身長、腹部深度、腹部長さ、腹部ウエスト、バスト回り、ヒップ回り、首回り、大腿部回り、アンダーバスト回り、上腕回り、ウエスト回り、及び手首回りからなる群から選択される。

【0025】

いくつかの実施形態では、本発明は、実行可能命令を記憶する非一時的コンピュータ可読記憶媒体であり、その命令は、プロセッサによって実行されたときに、プロセッサに、ユーザの身体組成を予測するためのプロセスを実施させ、その命令は、プロセッサに、前述のステップを実施させる。

【0026】

他の実施形態では、コンピュータプログラム製品が開示される。コンピュータプログラムは、ユーザの身体組成を予測するために使用され得、コンピュータ可読記憶媒体を用いて具現化されたプログラム命令またはプログラムコードを有するそのコンピュータ可読記憶媒体を含み得、プログラム命令は、プロセッサによって実行されて、プロセッサに、前述のステップを実施させる。

【0027】

様々な実施形態では、コンピュータ実行可能コンポーネントを記憶するメモリと、そのメモリに動作可能に結合され、かつそのメモリに記憶されたコンピュータ実行可能コンポーネントを実行するハードウェアプロセッサと、を含む、システムが記載され、そこでは、コンピュータ実行可能コンポーネントは、前述のステップを実行するプロセッサに通信可能に結合されたコンポーネントを含み得る。

【0028】

一実施形態では、本発明は、ユーザの身体組成を予測するためのシステムであり、このシステムは、２Ｄカメラ、プロセッサ、ディスプレイ、第１のメモリ、を有するユーザデバイスと、第２のメモリ及びデータ倉庫を含むサーバと、当該ユーザデバイスと当該サーバとの間の電気通信回線と、当該ユーザデバイス及び当該サーバの当該第１及び第２のメモリ上に具現化された複数のコンピュータコードと、を含み、当該複数のコンピュータコードは、実行されたときに、当該サーバ及び当該ユーザデバイスに、前述のステップを含むプロセスを実行させる。

【0029】

他の実施形態では、本発明は、少なくとも１つのプロセッサ、メモリ、及び当該メモリ上に具現化された複数のコンピュータコードを含む、コンピュータ化されたサーバであり、当該複数のコンピュータコードは、実行されたときに、当該プロセッサに、前述のステップを含むプロセスを実行させる。本発明の他の態様及び実施形態は、本明細書に説明されるステップを含む方法、プロセス、及びアルゴリズムを含み、また、本明細書に説明されるシステム及びサーバの動作の処理及びモードも含む。

【0030】

本発明のさらなる他の態様及び実施形態は、添付された図面と併せて読まれたときに、本発明の詳細な説明から明らかになるであろう。

【0031】

この明細書に組み込まれ、かつこの一部を構成する添付図面は、本発明の実施形態を例解し、説明とともに、開示される実施形態の原理を説明するのに役立つ。明確さ、単純さ、及び柔軟さのために、すべての要素、構成要素、または仕様が、必ずしもすべての図面において定義されるわけではない。本発明の特定のステップまたは実施形態に対応するすべての図面が、縮尺通りに描かれているわけではない。逆に、本明細書に説明される方法及びデバイスの性質、機能、及び製品の例解に重点が置かれる。

【0032】

本明細書に説明される本発明の実施形態は、例示的なものであり、限定的なものではない。ここで、以下の添付図面を参照して、例として、実施形態が説明されるであろう。

【図面の簡単な説明】

【0033】

【図1】本発明の好ましい実施形態による、ユーザの身体組成を予測するためのシステムのブロック図を例解する。

【図2】本発明の一実施形態による、深層学習を通じてユーザの身体組成を予測するための例示的なブロック図を例解する。

【図3】本発明の例示的な実施形態による、生成されたキーポイントを示す、正面画像（正面図）及び側面画像（側面図）の例解的な図を示す。

【図4】本発明の例示的な実施形態による、注釈付きキーポイント及び外部身体特徴寸法の計算を示す、正面画像（正面図）及び側面画像（側面図）の例解的な図を示す。

【図5】本発明の例示的な実施形態による、ユーザの正面画像からの正面顔抽出のプロセスを例解する。

【図6】本発明の例示的な実施形態による、ユーザの身体組成の予測を生成するための身体組成深層学習ネットワーク（ＤＬＮ）の例解的な図を示す。

【図7A】本発明の例示的な実施形態による、ユーザの身体組成の予測を生成するための身体組成ＤＬＮの詳細なアーキテクチャを示す。

【図7B】本発明の例示的な実施形態による、ユーザの身体組成の予測を生成するための身体組成ＤＬＮの詳細なアーキテクチャを示す。

【図8】本発明の一実施形態による、ユーザの身体組成を予測するための方法の例示的なフローチャートを示す。

【図9】ユーザの軟質除脂肪体重（ＳＬＭ）及び体脂肪率（ＰＢＦ）を生成する際に、図７Ａ及び図７Ｂの例解的な身体組成予測アーキテクチャを使用する、身体組成ＤＬＮの一実施形態の成績を示す表である。

【図10】ユーザのＳＬＭを生成する際に、図７Ａ及び図７Ｂの例解的な身体組成予測アーキテクチャを使用する、身体組成ＤＬＮの一実施形態の精度を描写する密度分布を示す。

【図11】ユーザのＰＢＦを生成する際に、図７Ａ及び図７Ｂの例解的な身体組成予測アーキテクチャを使用する、身体組成ＤＬＮの一実施形態の精度を描写する密度分布を示す。

【図12】本発明の実施形態と併せて、ユーザの身体組成を予測するために使用することができるサーバ（管理コンピューティングエンティティ）の概略図を提供する。

【図13】本発明の実施形態と併せて、ユーザの身体組成を予測するために使用することができるクライアント（ユーザコンピューティングエンティティ）を表す例解的な概略図を提供する。

【図14】本発明の実施形態と併せて、クライアントサーバ環境におけるユーザの身体組成を予測するために使用することができる例解的なシステムアーキテクチャを示す。

【発明を実施するための形態】

【0034】

本発明は、同様の参照番号が同様の構造を示す添付図面と併せて読み取られる必要がある以下の詳細な説明を通じてより完全に理解されるであろう。上記及び以下の説明で引用されるすべての参考文献は、参照により、本明細書によって明示的に組み込まれる。

【0035】

ここでは、本発明の例示的な実施形態（複数可）に対して、詳細な参照が行われるであろう。「一実施形態」、「少なくとも１つの実施形態」、「実施形態」、「一例」、「例」、「例えば」などへの言及は、実施形態（複数可）または例（複数可）が特定の特徴、構造、特性、特質、要素、または限定を含み得るが、あらゆる当該実施形態または例が必ずしもその特定の特徴、構造、特性、特質、要素、または限定を含むわけではないことを示す。さらに、繰り返して使用される「実施形態では」という語句は、必ずしも同じ実施形態を指すわけではない。

【0036】

以下の説明では、説明を目的として、多数の具体的な詳細が、本発明の全体的な理解を提供するために記述される。しかしながら、本発明は、これらの特定の詳細が伴わなくても実践することができることが、当業者には明らかであろう。他の事例では、本発明を不明瞭にすることを回避するために、結線図、ユースケース、及び／または略図を使用して、構造、デバイス、動作、方法、及びプロセスが示される。以下の説明には、例解を目的として多くの細目が含まれるが、当業者は、提案された詳細に対して多くの変形及び／または変更が本発明の範囲内に存在することを認識するであろう。同様に、本発明の多くの特徴は、互いの観点から、または互いに併せて説明されるが、当業者は、これらの特徴の多くが他の特徴とは独立して提供することができることを認識するであろう。したがって、本発明のこの説明は、本発明に対する一般性を何ら損なうことなく、かつ本発明に対して限定を課すことなく、述べられる。

【0037】

本明細書で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、その文脈が別様に明示しない限り、複数の参照を含む。また、本明細書で使用される場合、測定された量と併せて「約」という用語は、測定を行い、かつ、測定の目的及び測定機器の精度に見合った注意レベルを働かせる際に当業者が予想するように、当該測定された量における正常なばらつきを指す。特定の実施形態では、「約」という用語は、列挙された数値の±１０％を含み、このため、「約１０」は、９～１１を含むことになる。

【0038】

ＢＯＤＹＧＲＡＭは、本発明の実施形態を支える商標名であり、したがって、前述の商標名は、本発明の実施形態によって提供される製品／製造プロセスを指すために、本明細書及び図面において使用され得る。ＢＯＤＹＧＲＡＭという用語及びその等価物は、本発明、ならびに当該発明を提供する会社について説明ために、本の明細書では区別なく使用され得る。各図を参照して、本発明の実施形態が、ここで詳細に説明される。

【0039】

概要
異なる手法を使用して、ユーザの画像から身体組成を測定した。以前の手法は、一般に、ユーザが特定の姿勢を取り、何もない背景の正面でカメラから特定の距離に立ち、体にぴったりしたシャツを着用し、及び／または下着のみを着用しながら、部分的に裸になることを要求する。環境を制御し、かつユーザの煩雑さを著しくするそのような要件は、望ましくない。

【0040】

本発明の実施形態は、ユーザの少なくとも１つの画像、ユーザの身体キーポイント（例えば、ユーザの完全に衣服を着用した画像から取得された）、及び少なくとも１つのユーザパラメータ（例えば、年齢、身長など）を使用することによって、身体組成を推定するように構成されたシステム及び方法を提供する。本発明の一実施形態は、ユーザの正面顔画像、ユーザの身体キーポイント（例えば、完全に衣服を着用した正面画像及び側面画像から取得された）、及び１つ以上のユーザパラメータを使用することによって、身体組成を推定するように構成されたシステム及び方法を提供する。

【0041】

本発明は、任意のタイプの衣服を着用するユーザ、及び任意の距離で撮影された画像を有する２Ｄ画像（例えば、ＲＧＢ赤緑青、ＲＧＢ－Ｄ赤緑青深度、または白黒階調画像）から身体組成を正確に測定するためのシステム及び方法を提供し、その結果、どんなユーザも、容易に、ユーザ自身の画像を撮影し、ユーザの身体組成を測定することができる。たとえユーザが何を着用していても、高度化されたコンピュータビジョン及び深層学習技法を使用して、画像取り込みデバイスから提供される画像から、ユーザの身体組成を推定する。本発明のいくつかの実施形態は、画像取り込みデバイスに提供されるＡＲ（拡張現実）ＳＤＫ（ソフトウェア開発キット）を活用する。本開示では、「画像取り込みデバイス」という用語は、スマートフォン、タブレット、ラップトップ、またはデスクトップなどのコンピューティングデバイスの中に内蔵されるか、またはそのコンピューティングデバイスに接続される任意のカメラを表すために使用される。

【0042】

本発明の様々な実施形態は、ユーザ画像などの複数のデータタイプ、生成されたキーポイント、年齢、性別、身長、もしくは体重などの受信もしくは生成されたユーザパラメータ、ならびに他の統計データ（例えば、年齢及び／または性別によって分類された身長のデータベース）を組み合わせて、ユーザの身体組成の１つ以上の予測を生成する。入力データタイプの各々は、身体組成、ならびに身体組成の不正確な予測につながる可能性がある弱点（例えば、偏り）を推定するための有用な情報を所有し得る。１つ以上のデータタイプからの情報を、意味があるように組み合わせることによって、そのような本発明の実施形態は、いくつかのデータタイプに固有の弱点を補償し、したがって、より正確な予測結果を生成する。

【0043】

図１は、本発明の好ましい実施形態による、ユーザ（１１６）の身体組成（１２０）を測定するためのシステムのブロック図を例解する。このシステムは、画像取り込みデバイス（１１０）、サーバ、及びネットワーク（１０８）を含み、そこでは、サーバは、入力モジュール（１０２）、処理モジュール（１０４）、及びデータベース（１０６）を含む。画像取り込みデバイス（１１０）は、ユーザの少なくとも１つの画像を取り込むカメラ（１１２）を含む。図１では、カメラ（１１２）は、ユーザ（１１６）の正面画像（１１４ａ）及び側面画像（１１４ｂ）を取り込む。ユーザ（１１６）の正面画像（１１４ａ）及び側面画像（１１４ｂ）は、図１のように、完全に衣服を着用したユーザを表すことができる。しかしながら、ユーザ画像（複数可）（１１４ａ及び／または１１４ｂ）は、ユーザを、下着のみの状態で、ぴったりした衣服の状態で、または裸の状態で示すことができる。ユーザ画像（複数可）（１１４ａ及び／または１１４ｂ）は、通常、ユーザ（１１６）の全身を示す。図１には、正面画像及び側面画像が表されているが、本発明の一実施形態によって身体組成を予測するには、１枚の画像で十分である。

【0044】

画像取り込みデバイス（１１０）は、スマートフォン、カメラ、タブレット、ラップトップ、デスクトップ、及びスキャナのうちの１つであり得るが、この画像取り込みデバイス（１１０）は、列挙されたデバイスに限定されない。画像取り込みデバイス（１１０）は、ユーザ（１１６）の年齢、性別、身長、及び体重などの１つ以上のユーザパラメータ（１１８）を受信するように構成されている。入力モジュール（１０２）は、ネットワーク（１０８）を介して画像取り込みデバイス（１１０）から、ユーザの正面画像（１１４ａ）及び／または側面画像（１１４ｂ）、ならびに１つ以上のユーザパラメータ（１１８）を受信するように構成されている。

【0045】

ネットワーク（１０８）には、データを交換するための無線通信を確立するために、短波、マイクロ波、高周波、ワイヤレスフィディリティ（Ｗｉ－Ｆｉ）、Ｂｌｕｅｔｏｏｔｈ、広域自動車通信システム（ＧＳＭ）、符号分割多元アクセス（ＣＤＭＡ）、第２世代（２Ｇ）、第３世代（３Ｇ）、第４世代（４Ｇ）、４Ｇロングタームエボリューション（ＬＴＥ）、ＬＴＥアドバンスト、または任意の他の通信技術もしくは標準規格などの技術を使用する無線通信回線が含まれ得る。別の実施形態では、ユーザの正面画像（１１４ａ）、側面画像（１１４ｂ）、または１つ以上のユーザパラメータ（１１８）は、データベース（１０６）から取得され得る。１つ以上のユーザパラメータは、自動的に（例えば、正面（１１４ａ）もしくは側面（１１４ｂ）画像、または他のユーザ画像に基づくか、あるいは１つ以上のデータベースから検索されるコンピュータビジョンアルゴリズムを使用して）判定され得るか、またはユーザ（例えば、ユーザ入力）から判定され得る。

【0046】

いくつかの実施形態では、処理モジュール（１０４）は、キーポイント深層学習モジュールまたは深層学習ネットワーク（ＤＬＮ）を使用して、正面画像（１１４ａ）または側面画像（１１４ｂ）からユーザ（１１６）の衣服の下に隠れた１つ以上の身体部分についての１つ以上の注釈キーポイントを識別し、１つ以上の注釈キーポイントに基づいてユーザ（１１６）の１つ以上の外部身体特徴寸法のセットを計算し、１つ以上のユーザパラメータ（１１８）及び１つ以上の注釈キーポイントに基づいてスケール係数を導出し、１つ以上の外部身体特徴寸法のセット及びスケール係数に基づいてユーザ（１１６）の１つ以上のスケーリングされた外部身体特徴寸法のセットを計算するように構成されている。

【0047】

深層学習技法と組み合わされた高度なコンピュータビジョンを使用して、１つ以上の身体部分についての１つ以上の注釈キーポイントを識別する。「注釈キーポイント」及び「キーポイント」という表現は、今後、区別なく使用される。

【0048】

スケール係数を使用して、ユーザの正面画像及び／または側面画像の画素寸法からユーザの現実世界の寸法にスケーリングする。一実施形態では、スケール係数は、ユーザから受信された身長（すなわち、１つ以上のユーザパラメータ）、ならびにユーザの正面画像及び側面画像のうちの少なくとも１つから判定された画素高さ（すなわち、１つ以上の注釈キーポイント）に基づいて導出される。

【0049】

１つ以上の外部身体特徴寸法のセットは、ユーザに関連付けられた身長、腹部深度、腹部長さ、腹部ウエスト、バスト回り、ヒップ回り、首回り、大腿部回り、アンダーバスト回り、上腕回り、ウエスト回り、及び手首回りからなる群から選択され得る。図２に示すように、１つ以上の外部身体特徴寸法のセットは、１つ以上のスケーリングされた外部身体特徴寸法のセットを計算するために使用される。

【0050】

いくつかの実施形態では、処理モジュール（１０４）は、コンピュータビジョンモジュールを通じて、ユーザの画像からユーザの頭部画像を抽出するように構成され、その場合、身体組成ＤＬＮを使用して身体組成を生成することは、頭部画像にさらに基づく。さらに、処理モジュール（１０４）は、頭部画像ＤＬＮを起動して、ユーザの頭部画像を受信し、かつユーザの頭部画像からユーザの頭部特徴ベクトルを生成するように構成され得、その場合、身体組成ＤＬＮを使用して身体組成を生成することは、頭部特徴ベクトルにさらに基づく。

【0051】

１つの例解的な実施形態では、処理モジュール（１０４）は、顔抽出コンピュータビジョンモジュールを使用して、ユーザ（１１６）の正面画像（１１４ａ）からユーザの顔画像を抽出するように構成される。さらに、処理モジュール（１０４）は、顔画像深層学習モジュールを起動して、ユーザの顔画像を受信し、かつユーザの顔画像からユーザの顔特徴ベクトルを生成するように構成される。顔画像深層学習モジュールは、畳み込みニューラルネットワーク（ＣＮＮ）であり得る。ただし、顔特徴ベクトルを生成するための任意の他のニューラルネットワーク、機械学習（ＭＬ）、または人工知能（ＡＩ）モジュールを使用することは、本発明の範囲内である。一実施形態では、処理モジュール（１０４）は、配布ライブラリのオープンソースマシンビジョンライブラリを使用して、ユーザの正面画像からユーザの顔画像を抽出するように構成される。

【0052】

さらに、図２に例解されているように、処理モジュール（１０４）は、身体特徴深層学習モジュールを起動して、ユーザ（１１６）の１つ以上のスケーリングされた外部身体特徴寸法のセット、及び１つ以上のユーザパラメータ（１１８）を受信し、かつユーザ（１１６）の１つ以上のスケーリングされた外部身体特徴寸法のセット、及び１つ以上のユーザパラメータ（１１８）からユーザの身体特徴ベクトルを生成するように構成される。

【0053】

さらに、図２に例解されているように、処理モジュール（１０４）は、出力深層学習モジュールを起動して、顔画像深層学習モジュールからのユーザの顔特徴ベクトル、及び身体特徴深層学習モジュールからのユーザの身体特徴ベクトルを受信し、かつユーザの顔特徴ベクトル及びユーザの身体特徴ベクトルに基づいて、ユーザの身体組成（１２０）の予測を生成するように構成される。

【0054】

処理モジュール（１０４）は、身体組成（１２０）を画像取り込みデバイス（１１０）のディスプレイに送信する。身体特徴深層学習モジュール、及び出力深層学習モジュールは、図７Ａ及び図７Ｂに示すように、完全接続ニューラルネットワークであり得る。しかしながら、身体特徴ベクトルまたは身体組成を生成するために任意の他のニューラルネットワーク、機械学習（ＭＬ）、または人工知能（ＡＩ）モジュールを使用することは、本発明の範囲内である。

【0055】

身体組成（１２０）は、生物（例えば、ヒト、動物）の身体の内部構成成分の任意の指標である。例えば、身体組成（１２０）は、ユーザ（１１６）の筋肉体重、骨体重、含水量、及び体脂肪のうちのいずれかの指標であり得る。図１は、ユーザ（１１６）が２２％の体脂肪、３０％の筋肉体重、１４％の骨体重、及び５８％の含水量を有することを示す、表示された身体組成（１２０）の例解的な例を示している。身体組成（１２０）は、除脂肪体重（ＬＢＭ）、体脂肪量（ＭＢＦ）、軟質除脂肪体重（ＳＬＭ）、及び体脂肪率（ＰＢＦ）からなる群から選択され得る。

【0056】

複数のタイプの身体組成は、本明細書に説明されるシステム及び方法によって予測され得る。例えば、骨格筋肉量（すなわち、骨及び腹部の臓器体重のない除脂肪体重）を推定することは、本発明の範囲内である。身体内の任意のタイプの筋肉、骨、及び／または臓器の任意の相対的または絶対的定量化の推定は、本発明の範囲内である。

【0057】

一実施形態では、１つ以上のユーザパラメータから、肥満度指数（ＢＭＩ）が計算され得る。ＢＭＩは、身体の体重及び身長の両方を使用して身体測定抽出を較正するために使用され得る。追加のユーザパラメータには、とりわけ、人種、出身国、運動能力、及び／または、ユーザに関連付けられた他の人口統計学的情報のうちの少なくとも１つが含まれ得る。ユーザの身長を使用して、正面図写真及び／または側面図写真を正規化またはスケーリングし、画像内のヒトの参照を提供し得る。一実施形態では、他のユーザパラメータはまた、１つ以上のサードパーティデータソースから、またはサーバから自動的に取得され得る。

【0058】

本発明のいくつかの実施形態は、画像取り込みデバイスに提供されたＡＲ（拡張現実）キットＳＤＫ（ソフトウェア開発キット）を活用して、ユーザの身体組成を測定する。

【0059】

一実施形態では、ユーザの３つ以上の画像を利用して、正面画像、側面画像、及びほぼ４５度の角度で撮影された画像を含む、身体組成を測定する。いくつかの実施形態では、ユーザビデオ、例えば、正面画像、９０度、１８０度、さらには３６０度のユーザ視界が使用され得る。ユーザビデオから、正面画像、側面画像、及び／または４５度のユーザ視界などの１つ以上の静止フレームまたは画像が、ビデオから抽出され得る。システムは、画像及びスケール係数を使用して、（例えば、１つ以上のＡＩアルゴリズムを使用して）身体組成を自動的に測定し得る。いくつかの実施形態では、ユーザは、より正確な結果のために、ユーザがぴったりした衣服、通常の衣服、またはゆったりした衣服を着用しているかどうかを示すことができる。他の実施形態では、ユーザは、より正確な結果のために、ユーザが裸であるか、下着を着用しているか、または完全に衣服を着用しているかどうかを示すことができる。

【0060】

「深層学習モジュール」及び「深層学習ネットワーク（ＤＬＮ）」という用語は、本明細書において区別なく使用される。本明細書で説明される深層学習モジュール及びネットワークと同様の特徴ベクトル及び出力を生成するための他のニューラルネットワーク、機械学習（ＭＬ）、または人工知能（ＡＩ）モジュールを使用することは、本発明の範囲内である。

【0061】

図２は、本発明の一実施形態による、深層学習を通じてユーザの身体組成を予測するための例示的なブロック図を例解する。側面画像（２１２）及び正面画像（２１３）は、画像取り込みデバイス（２１０）から受信されて、キーポイント（２３４）を識別及び生成する。１つ以上の注釈キーポイント（２３６）は、第１のキーポイント深層学習ネットワーク（ＤＬＮ）またはモジュール（２３０）を使用して側面画像（２１２）から生成され、１つ以上の注釈キーポイント（２３８）は、第２のキーポイント深層学習モジュール（２３２）を使用して正面画像（２１３）から生成される。第１のキーポイント深層学習モジュール（２３０）及び第２のキーポイント深層学習モジュール（２３２）は、注釈キーポイント訓練データに対して訓練されており、注釈キーポイント訓練データには、１つ以上のサンプルユーザのための１つ以上の画像、及び１つ以上のサンプルユーザのための注釈キーポイントのセットが含まれる。次いで、側面画像（２１２）上で生成された１つ以上の注釈キーポイント（２３６）、及び正面画像（２１３）上で生成された１つ以上の注釈キーポイント（２３８）は、外部身体特徴計算（２４０）ステップで使用される。したがって、外部身体特徴寸法（２４２）が生成される。

【0062】

受信されたユーザ画像が部分的にまたは完全に衣服を着用したユーザを示す実施形態では、キーポイントＤＬＮを訓練して、ユーザ衣服の下に隠れた身体部分の輪郭を判定するキーポイントを生成する。１つ以上のＭＬモジュールを使用して、ユーザ衣服の下に隠れたキーポイントを検出することによってユーザ画像から外部身体特徴寸法（例えば、身体部分測定値）を生成するための方法の例示的な実施形態については、米国特許第１０，３２１，７２８号により詳細に記載されており、これは、本明細書に完全に記述されているかのように、本明細書によって、その全体が参照により本明細書に組み込まれる。

【0063】

様々な実施形態では、ユーザパラメータ（２５０）が受信される。このユーザパラメータ（２５０）は、ユーザに関連付けられた年齢、身長、体重、及び性別（例えば、年齢：２０歳、性別：男、身長：７０インチ、体重：１６０ポンド）を含み得る。いくつかの実施形態では、１つ以上のユーザパラメータは、受信されないが、逆に、受信されたユーザ画像から生成される。ユーザ画像から身長を生成ための方法の例示的な実施形態については、米国特許第１０，６３６，１５８号により詳細に記載されており、これは、本明細書に完全に記述されているかのように、本明細書によって、その全体が参照により本明細書に組み込まれる。１つ以上のＭＬモジュールを使用して２Ｄキーポイントを検出することによってユーザ画像から体重を生成するための方法の例示的な実施形態については、米国特許第１０，９６２，４０４号により詳細に記載されており、これは、本明細書に完全に記述されているかのように、本明細書によって、その全体が参照により本明細書に組み込まれる。

【0064】

スケール係数計算ステップ（２５２）において、ユーザパラメータ（２５０）（好ましくは、ユーザの身長）、側面画像（２１２）上に生成された１つ以上の注釈キーポイント（２３６）、及び正面画像（２１３）上に生成された１つ以上の注釈キーポイント（２３８）は、スケール係数（２５４）の計算のために使用され得る。スケール係数を生成する、例えば、ユーザの受信された現実世界の身長、及び注釈キーポイントから判定された画素高さに基づいてスケール係数を生成する、ための複数の方法は、本発明の範囲内である。したがって、スケーリングされた外部身体特徴寸法のセット（２４８）は、スケール係数（２５４）及び外部身体特徴寸法（２４２）に基づいて、正規化ステップ（２４６）を通じて計算される。「スケーリング」及び「正規化」という用語は、本明細書において、区別なく使用される。

【0065】

正面顔抽出ステップ（２２０）において、ユーザの顔は、顔抽出コンピュータビジョンモジュールを使用して、ユーザの正面画像（２１３から抽出されて、顔画像（２２２）を取得し得る。顔抽出コンピュータビジョンモジュールは、１つ以上のサンプルユーザについての１つ以上の正面画像、１つ以上のサンプルユーザについての顔画像、または、ユーザの顔を抽出するための手動で判定されたポイントまたはフレームを含む、顔訓練データに対して訓練されている。破線（２１９）によって示された代替的な実施形態では、顔画像（２２２）または頭部画像は、画像取り込みデバイスまたはユーザデバイス（２１０）によって直接取り込まれる。

【0066】

最後に、予測ステップ（２６０）は、（ａ）顔画像深層学習モジュール（２６２）を使用して、顔画像（２２２）から顔特徴ベクトル（２７２）を生成すること、（ｂ）身体特徴深層学習モジュール（２６４）を使用して、スケーリングされた外部身体特徴寸法（２４８）及びユーザパラメータ（２５０）から身体特徴ベクトル（２７４）を生成すること、ならびに、（ｃ）顔特徴ベクトル（２７２）及び身体特徴ベクトル（２７４）に基づいて、出力深層学習モジュール（２６６）を使用して、内部身体組成（２８０）の予測を生成すること、によって、ユーザの内部身体組成（２８０）の予測を生成する。したがって、図１に示すように、内部身体組成（２８０）は、画像取り込みデバイス（２１０）に出力される。

【0067】

一実施形態では、内部身体組成予測器（２６０）の３つのコンポーネント、すなわち、顔画像深層学習モジュール（２６２）、身体特徴深層学習モジュール（２６４）、及び出力深層学習モジュール（２６６）は、単一のＤＬＮとして、顔画像、スケーリングされた外部身体特徴寸法、ユーザパラメータ、及び複数のサンプルユーザの身体組成を含む、身体組成データに対してともに訓練された。

【0068】

他の実施形態では、それらのモジュールは、顔画像、スケーリングされた外部身体特徴寸法、ユーザパラメータ、顔特徴ベクトル、身体特徴ベクトル、及び複数のサンプルユーザの身体組成を含む、身体組成データに対して別個に訓練された。例えば、出力深層学習モジュール（２６６）は、１つ以上のサンプルユーザのために、顔特徴ベクトル、身体特徴ベクトル、及び身体組成を含む、身体組成データに対して別個に訓練された可能性がある。同様に、顔画像深層学習モジュール（２６２）は、顔特徴訓練データが１つ以上のサンプルユーザについての顔画像、及び１つ以上のサンプルユーザについての顔特徴ベクトルのセットを含む、顔特徴訓練データに対して訓練された可能性がある。身体特徴深層学習モジュール（２６４）はまた、身体特徴訓練データがスケーリングされた外部身体特徴寸法のセット、及び１つ以上のサンプルユーザについての１つ以上のユーザパラメータを含む、身体特徴訓練データに対して訓練された可能性がある。

【0069】

別の実施形態では、全体的な頭部または顔（２２２）の画像を内部身体組成予測器（２６０）への入力として使用する代わりに、頭部または顔画像（２２２）は、複数のサブセクション（例えば、顔画像の四分円、または任意の他の分割）に細分化される。この実施形態では、単一の顔画像深層学習モジュール（２６２）の代わりに、内部身体組成予測器（２６０）は、１つ以上の顔サブセクション深層学習ネットワーク（ＤＬＮ）またはモジュールを含む。各顔サブセクションＤＬＮは、顔サブセクションを受信して、顔サブセクション特徴ベクトルを生成する。このようにして生成された様々な顔サブセクション特徴ベクトルは、連結されて、顔特徴ベクトル（２７２）を形成する。この実施形態では、スケーリングされた外部身体特徴寸法（２４８）の生成は、任意選択的である。したがって、一実施形態では、外部身体特徴計算（２４０）及びスケール係数計算（２５２）は、必要とされない場合があり、身体特徴深層学習モジュール（２６４）は、入力としてユーザパラメータ（２５０）のみを受信する。

【0070】

１つの例示的な実施形態では、スケール係数は、ユーザの現実の身長などの１つ以上のユーザパラメータを使用して計算され、そのユーザパラメータは、正規化またはスケーリングを実施するために取得及び／または測定される。別の実施形態では、体重はまた、身長と併せて使用され得る。ユーザの身長及び体重は、自動的に（例えば、コンピュータビジョンアルゴリズムを使用して、もしくは１つ以上のデータベースから生成されて）判定され得るか、またはユーザ（例えば、ユーザ入力）から判定され得る。

【0071】

一実施形態では、システムは、（例えば、１つ以上のＡＩアルゴリズムを使用して）正面画像、側面画像、及びスケール係数を使用して、ユーザの内部身体組成を自動的に生成し得る。別の実施形態では、ユーザは、より正確な結果のために、ユーザがぴったりした衣服、通常の衣服、またはゆったりした衣服を着用しているかどうかを示すことができる。

【0072】

別の例示的な実施形態では、スケール係数は、深度センサまたはライダー（Ｌｉｄａｒ）を使用して計算される。別の実施形態では、スケール係数は、ユーザの画像のうちの１つに取り込まれた既知のサイズのものから計算される。さらに別の例示的な実施形態では、スケール係数は、拡張現実ソフトウェア開発キット（ＡＲ－ＳＤＫ）を使用して検出された基平面の少なくとも３つの特徴ポイント間の距離に基づいて判定される。

【0073】

キーポイント、特徴寸法、及び顔画像の生成
図３は、本発明の例示的な実施形態による、生成されたキーポイントを示す、正面画像（正面図）及び側面画像（側面図）の例解的な図を示している。システムは、キーポイント深層学習モジュールを使用して、正面画像及び側面画像から、ユーザの衣服の下に隠された１つ以上の身体部分についての１つ以上のキーポイント（３０２、３０４）を識別するように構成されている。１つ以上のキーポイント（３０２、３０４）は、画像内に含まれる人体上の画素ポイントにマッピングされ得、ユーザの１つ以上の外部身体特徴寸法を計算するための基準として使用される。キーポイント深層学習モジュールは、１つ以上のサンプルユーザのための１つ以上の正面画像及び側面画像、ならびに１つ以上の正面画像及び側面画像の各々に対する１つ以上の予測された（訓練）キーポイントを含む、キーポイント訓練データに対して訓練されており、１つ以上のサンプルユーザのための外部身体特徴を生成している。訓練キーポイントは、注釈者によって手動で判定され得るか、またはキーポイントＤＬＮ訓練目的のためにキーポイント注釈ソフトウェアによって自動的に生成され得る。一実施形態では、キーポイント深層学習モジュールは、１つ以上のサンプルユーザのために、各身体特徴の注釈行またはキーポイントのセットを用いて、異なる姿勢及び異なる衣服でのサンプルユーザのための１つ以上の画像に対して訓練されている。注釈行は、サンプルユーザの画像上に、手動で描写され得るか、または自動的に生成され得る。

【0074】

予測されたキーポイントは、ユーザ画像（複数可）上で、身体、手、足、または顔のキーポイントを指し得る。ユーザ画像（複数可）内に示された人体は、身体キーポイントとして利用され得る複数の特徴を含み、その特徴には、左目、右目、左耳、右耳、鼻、首、左肩、右肩、左肘、右肘、左手首、右手首、左ヒップ、右ヒップ、左膝、右膝、左足首、及び右足首が含まれるが、これらに限定されない。一実施形態では、キーポイントは、ユーザ画像上のユーザの姿勢から推定され得る。

【0075】

一実施形態では、キーポイントＤＬＮ（２３０または２３２）は、各身体特徴上のキーポイントに関連し、かつ所与の身体特徴測定に対応する注釈行を生成する。次いで、システムは、関連する身体特徴上に注釈行を利用する外部身体特徴寸法（２４２）を生成し得る（図４を参照）。別の実施形態では、注釈行は、外部身体特徴計算（２４０）ステップにおいて生成される。

【0076】

図４は、本発明の例示的な実施形態による、注釈付きキーポイント及び外部身体特徴寸法の計算を示す、正面画像（正面図）及び側面画像（側面図）の例解的な図を示している。正面画像及び側面画像上に生成された注釈キーポイントを使用して、１つ以上の外部身体特徴寸法を計算する。上述されるように、コンピュータビジョンモジュールは、人体上の２つ以上のキーポイントを接続する注釈行（４０２または４０４）を生成して、各身体特徴の外部身体特徴寸法を判定し得る。

【0077】

例えば、図４を参照すると、キーポイント深層学習モジュール（２３０もしくは２３２）または外部身体特徴計算モジュール（２４０）は、ユーザの足の底部を表す画素ドット（Ｚ２）、及びユーザの頭部の頂部を表す別の画素ドット（Ｚ１）を用いて、ユーザの身長を示す全身注釈行を描画し得る。同様に、上腕二頭筋幅または周縁部については、システムは、上腕二頭筋の位置における骨格線に対して垂直である線を引き得、胸については、システムは、代わりに２つの胸のドットを接続し得る。次いで、各身体特徴の注釈から、スケーリングされた外部身体特徴寸法（２４８）は、ユーザの身体特徴の外部寸法（例えば、身長、上腕二頭筋、胸）を正規化する（２４６）ことによって取得され得る。

【0078】

注釈行（４０２、４０４）は、１つ以上のキーポイントの画素位置間の距離によって定義された基準長さである（例えば、ユーザの身長は、「Ｚ１＿Ｚ２」と示される、画素Ｚ１と画素Ｚ２との間の距離として計算される）。１つ以上の外部身体特徴寸法は、ユーザに関連付けられた、身長、腹部深度、腹部長さ、腹部ウエスト、バスト回り、ヒップ回り、首回り、大腿部回り、アンダーバスト回り、上腕回り、ウエスト回り、及び手首回りからなる群から選択され得る。一実施形態では、図４を参照すると、１つ以上の外部身体特徴寸法は、以下のように計算される。Ｈｅｉｇｈｔ＿ｐｘｌ：Ｚ１＿Ｚ２、Ｂｅｌｌｙ＿ｄｅｐｔｈ＿ｐｘｌ：Ｆ３＿Ｆ４、Ｂｅｌｌｙ＿ｌｅｎｇｔｈ＿ｐｘｌ：Ｆ１＿Ｆ２、Ｂｅｌｌｙ＿ｗａｉｓｔ＿ｐｘｌ：２ｘ（Ｆ１＿Ｆ２）＋２ｘ（Ｆ３＿Ｆ４）、Ｂｕｓｔ＿ｇｉｒｔｈ＿ｐｘｌ：２ｘ（Ｃ１＿Ｃ２）＋２ｘ（Ｃ３＿Ｃ４）、Ｈｉｐ＿ｇｉｒｔｈ＿ｐｘｌ：２ｘ（Ｈ１＿Ｈ２）＋２ｘ（Ｈ３＿Ｈ４）、Ｎｅｃｋ＿ｇｉｒｔｈ＿ｐｘｌ：２ｘ（Ａ１＿Ａ２）＋２ｘ（Ａ３＿Ａ４）、Ｔｈｉｇｈ＿ｇｉｒｔｈ＿ｐｘｌ：２ｘ（Ｉ１＿Ｉ２）＋２ｘ（Ｉ３＿Ｉ４）、Ｕｎｄｅｒ＿Ｂｕｓｔ＿ｇｉｒｔｈ＿ｐｘｌ：２ｘ（Ｄ１＿Ｄ２）＋２ｘ（Ｄ３＿Ｄ４）、Ｕｐｐｅｒ＿ａｒｍ＿ｇｉｒｔｈ＿ｐｘｌ：２ｘ（Ｂ１＿Ｂ２）＋２ｘ（Ｂ３＿Ｂ４）、Ｗａｉｓｔ＿ｇｉｒｔｈ＿ｐｘｌ：２ｘ（Ｅ１＿Ｅ２）＋２ｘ（Ｅ３＿Ｅ４）、及びＷｒｉｓｔ＿ｇｉｒｔｈ＿ｐｘｌ：２ｘ（Ｇ１＿Ｇ２）＋２ｘ（Ｇ３＿Ｇ４）。

【0079】

１つの例示的な実施形態では、生成された注釈キーポイントに基づいて、ユーザの１つ以上の外部身体特徴寸法のセットを計算することは、少なくとも１つの注釈付き画像を使用して、（ａ）注釈付き身体部分の周縁部、（ｂ）注釈付き身体部分の身体部分画像面積、または（ｃ）注釈付き身体部分の身体部分体積、を計算することを含む。

【0080】

別の例示的な実施形態では、スケール係数（すなわち、正規化係数）は、ユーザの実際の身長、及び注釈キーポイントから生成された身長（例えば、Ｈｅｉｇｈｔ＿ｐｘｌ：Ｚ１＿Ｚ２）を取得することによって導出され、ここで、スケール係数は、実際の身長を画素高さによって除算されたものである。さらに別の例示的な実施形態では、正面画像内のユーザの画素高さは、実際の身長とともに検出及び使用されて、すべての注釈行測定値を正規化する。

【0081】

１つの例示的な実施形態では、システムは、１つ以上の外部身体特徴寸法のセット、及びスケール係数に基づいて、ユーザの１つ以上のスケーリングされた外部身体特徴寸法のセットを計算するように構成される。上記の例解的な例では、１つ以上のスケーリングされた外部身体特徴寸法のセットは、Ｂｅｌｌｙ＿ｄｅｐｔｈ＝Ｂｅｌｌｙ＿ｄｅｐｔｈ＿ｐｘｌｘスケール係数、Ｂｅｌｌｙ＿ｌｅｎｇｔｈ＝Ｂｅｌｌｙ＿ｌｅｎｇｔｈ＿ｐｘｌｘスケール係数、Ｂｅｌｌｙ＿ｗａｉｓｔ＝Ｂｅｌｌｙ＿ｗａｉｓｔ＿ｐｘｌｘスケール係数、Ｂｕｓｔ＿ｇｉｒｔｈ＝Ｂｕｓｔ＿ｇｉｒｔｈ＿ｐｘｌｘスケール係数、Ｈｉｐ＿ｇｉｒｔｈ＝Ｈｉｐ＿ｇｉｒｔｈ＿ｐｘｌｘスケール係数、Ｎｅｃｋ＿ｇｉｒｔｈ＝Ｎｅｃｋ＿ｇｉｒｔｈ＿ｐｘｌｘスケール係数、Ｔｈｉｇｈ＿ｇｉｒｔｈ＝Ｔｈｉｇｈ＿ｇｉｒｔｈ＿ｐｘｌｘスケール係数、Ｕｎｄｅｒ＿Ｂｕｓｔ＿ｇｉｒｔｈ＝Ｕｎｄｅｒ＿Ｂｕｓｔ＿ｇｉｒｔｈ＿ｐｘｌｘスケール係数、Ｕｐｐｅｒ＿ａｒｍ＿ｇｉｒｔｈ＝Ｕｐｐｅｒ＿ａｒｍ＿ｇｉｒｔｈ＿ｐｘｌｘスケール係数、Ｗａｉｓｔ＿ｇｉｒｔｈ＝Ｗａｉｓｔ＿ｇｉｒｔｈ＿ｐｘｌｘスケール係数、及びＷｒｉｓｔ＿ｇｉｒｔｈ＝Ｗｒｉｓｔ＿ｇｉｒｔｈ＿ｐｘｌｘスケール係数である。

【0082】

図５は、本発明の例示的な実施形態による、ユーザの正面画像からの正面顔抽出のプロセスを例解している。一実施形態では、図５に例解されているように、完全な正面顔（５０４）を含むユーザ画像（５０２）の一部が切り取られている。一実施形態では、システムは、顔抽出コンピュータビジョンモジュールまたは顔抽出深層学習モジュールを使用して、ユーザの正面画像（５０２）からユーザの顔画像（５０４）を抽出するように構成される。１つの例示的な実施形態では、ユーザの顔画像（５０４）は、配布ライブラリのオープンソースライブラリを使用して抽出される。他の実施形態では、シングルショット検出器（ＳＳＤ）などの、他の顔検出及び対象物検出コンピュータビジョン、ならびに深層学習ベース方式を使用することができる。同様のプロセスは、ユーザ画像からの頭部画像、顔画像サブセクション、または頭部画像サブセクションの検出のために使用され得る。

【0083】

深層学習ネットワークアーキテクチャ及び成績
図６は、本発明の例示的な実施形態による、ユーザの身体組成の予測を生成するための、身体組成深層学習ネットワーク（ＤＬＮ）または内部身体組成予測器（２６０）モジュールの例解的な図を示している。図６の多モード身体組成ＤＬＮは、２つの入力分岐、すなわち、顔画像深層学習モジュール（６０８）及び身体特徴深層学習モジュール（６１０）を有し、両方ともそれらの出力を出力深層学習モジュール（６１２）にわたす。この身体組成ＤＬＮは、身体組成を回帰タスクとして出力する。

【0084】

顔画像深層学習モジュール（６０８）は、ユーザの顔画像（６０２）を受信するように、かつ顔特徴ベクトルを生成するように構成されている。身体特徴深層学習モジュール（６１０）は、１つ以上のユーザパラメータ（６０６）、及び身体特徴ベクトルを生成するための１つ以上のスケーリングされた外部身体特徴寸法のセット（６０４）を受信するように構成されている。出力深層学習モジュール（６１２）は、顔画像深層学習モジュール（６０８）から顔特徴ベクトルを受信し、かつ身体特徴深層学習モジュール（６１０）から身体特徴ベクトルを受信して、ユーザの身体組成（６１４）を生成するように構成されている。身体組成（６１４）は、ユーザの筋肉体重、骨体重、含水量、または体脂肪などの身体の肉体的組成の任意の指標である。顔画像深層学習モジュール（６０８）は、畳み込みニューラルネットワーク（ＣＮＮ）として実装され得、身体特徴深層学習モジュール（６１０）及び出力深層学習モジュール（６１２）は、完全接続ニューラルネットワークとして実装され得る。ただし、顔特徴ベクトル、身体特徴ベクトル、または身体組成を生成するための任意の他のニューラルネットワーク、機械学習（ＭＬ）、または人工知能（ＡＩ）モジュールを使用することは、本発明の範囲内である。

【0085】

一実施形態では、図６の身体組成深層学習モジュールの３つのコンポーネント、すなわち、顔画像深層学習モジュール（６０８）、身体特徴深層学習モジュール（６１０）、及び出力深層学習モジュール（６１２）は、単一のＤＬＮとして、顔画像、スケーリングされた外部身体特徴寸法、ユーザパラメータ、及び複数のサンプルユーザの身体組成を含む、身体組成データに対してともに訓練される。他の実施形態では、それらのモジュールは、組み合わされる前に、複数のサンプルユーザの顔画像、スケーリングされた外部身体特徴寸法、ユーザパラメータ、顔特徴ベクトル、身体特徴ベクトル、及び身体組成を含む、身体組成データに対して別個に訓練される。

【0086】

図６の実施形態では、顔画像深層学習モジュール（６０８）及び身体特徴深層学習モジュール（６１０）は、ニューラルネットワークであり、それらは、自己注意、すなわち、そのニューラルネットワークが、例えば、フィードフォワード構造及び乗算レイヤを通じて様々なレイヤの入力に重みを割り当てることを可能にするアーキテクチャ属性のセットを使用する（図７Ａ及び図７Ｂを参照）。自己注意アーキテクチャの使用により、ニューラルネットワークは、他のものを犠牲にして、特定の入力に値を割り当てることが可能になり、したがって、出力身体組成に追加の精度を提供する。

【0087】

一実施形態では、身体組成（６１４）は、除脂肪体重（ＬＢＭ）、体脂肪体重（ＭＢＦ）、軟質除脂肪体重（ＳＬＭ）、及び体脂肪率（ＰＢＦ）からなる群から選択される。

【0088】

一実施形態では、図６の身体組成深層学習モジュールへの入力として顔全体（６０２）の画像を使用する代わりに、顔画像（６０２）は、複数のサブセクション（例えば、顔画像の四分円、または任意の他の分割）に細分化される。この実施形態では、単一の顔画像深層学習モジュール（６０８）の代わりに、身体組成深層学習モジュール（図６）は、１つ以上の顔サブセクションの深層学習ネットワーク（ＤＬＮ）またはモジュールを含む。各顔サブセクションＤＬＮは、顔サブセクションを受信して、顔サブセクション特徴ベクトルを生成する。このようにして生成された様々な顔サブセクション特徴ベクトルは、身体特徴深層学習モジュール（６１０）の出力と連結されて、出力深層学習モジュール（６１２）の入力を形成する。この実施形態では、１つ以上のスケーリングされた外部身体特徴寸法のセット（６０４）の生成は、任意選択的である。したがって、一実施形態では、外部身体特徴計算（２４０）及びスケール係数計算（２５２）は存在せず、身体特徴深層学習モジュール（６１０）は、入力としてユーザパラメータ（６０６）のみを受信する。

【0089】

さらに、本発明の一実施形態では、ユーザ画像（２１２及び／または２１３）を使用して、１つ以上の頭部画像または頭部サブセクション（例えば、２２２）を抽出し、それらは、１つ以上の頭部特徴または頭部サブセクションＤＬＮ（例えば、２６２）に送り込まれて、１つ以上の頭部特徴または頭部サブセクションベクトル（例えば、２７２）を生成する。この実施形態では、身体特徴深層学習モジュール（２６４、６１０）は、入力としてユーザパラメータ（２５０、６０６）のみを受信し、キーポイントＤＬＮ（複数可）（２３０及び２３２）、外部身体特徴計算ステップ（２４０）、及びスケール係数計算ステップ（２５２）は存在しない。

【0090】

図７Ａ及び図７Ｂは、本発明の例示的な実施形態による、ユーザの身体組成の予測を生成するための身体組成ＤＬＮの詳細なアーキテクチャを示している。具体的には、図７Ａ及び図７Ｂは、本発明の例示的な実施形態による、ユーザ（６１４）の身体組成の予測を生成するための、図６の身体組成ＤＬＮの例解的なアーキテクチャを示している。図７Ａ及び図７Ｂは、図６の身体組成深層学習モジュールの３つのコンポーネント、すなわち、顔画像深層学習モジュール（６０８）、身体特徴深層学習モジュール（６１０）、及び出力深層学習モジュール（６１２）の例解的なアーキテクチャを示している。

【0091】

図７Ａは、顔画像深層学習モジュール（６０８）の一実施形態を、自己注意（７０４）を伴う畳み込みニューラルネットワーク（ＣＮＮ）として示している。顔画像ＣＮＮ（７０４）の入力は、入力１（７０２）としてラベル付けされ、正方形の正面顔画像からなる。赤緑青（ＲＧＢ）、赤緑青深度（ＲＧＢ－Ｄ）、及び白黒階調画像を含む様々な画像フォーマットは、本発明の範囲内にあるが、これらに限定されない。顔画像ＣＮＮ（７０４）の出力（７０５）は、顔特徴ベクトル（２７２）である。

【0092】

図７Ｂは、身体特徴深層学習モジュール（６１０）の一実施形態を、自己注意（７１０）を伴う完全接続ニューラルネットワークとして示している。この実施形態では、身体特徴ＤＬＮ（７１０）の入力は、入力２とラベル付けされ、スケーリングされた外部身体特徴寸法（２４８）の連結からなり、ここでは、「正規化外部身体特徴」（７０６）とラベル付けされ、入力ユーザパラメータ（２５０）と組み合わされ、ここでは、「４つの基本的な身体統計データ」（７０８）とラベル付けされている。身体特徴ＤＬＮ（７１０）の入力は、単一の配列に合体される。一実施形態では、２つの入力の各々は、１６個の要素配列に符号化され、かつ単一の３２個の要素配列に連結される。身体特徴ＤＬＮ（７１０）の最後のレイヤ（７０９）の出力は、身体特徴ベクトル（２７４）である。

【0093】

図７Ｂはまた、出力深層学習モジュール（６１２）の一実施形態を、完全接続ニューラルネットワーク（７１２）としても示している。出力深層学習モジュール（例えば、ＤＬＮ）（７１２）は、身体特徴ＤＬＮ（７１０）の最後のレイヤ（７０９）によって生成された身体特徴ベクトルを、顔画像ＣＮＮ（７１０）によって生成された顔特徴ベクトル（７０５）とマージして、身体組成（７１４）を与える。

【0094】

図７Ａ及び図７Ｂの例示的な実施形態では、各レイヤの出力配列、マトリックス、及びテンソルのサイズ及び寸法は、丸括弧内に示されている。例えば、顔画像ＣＮＮ（７０４）の入力は、１２８ｘ１２８個の画像であるが、顔画像ＣＮＮ（７０４）の最後のプーリングレイヤ（７０３）によって生成される顔特徴ベクトル（７０５）のサイズは、６４個である。

【0095】

図７Ａ及び図７Ｂに例解されているニューラルネットワークアーキテクチャは、畳み込み（「Ｃｏｎｖ」）レイヤ、最大／平均プーリングレイヤ、バッチ正規化（「ＢａｔｃｈＮｏｒｍ」）レイヤ、整流線形ユニット（「Ｒｅｌｕ」）レイヤ、加算レイヤ、乗算（「Ｍｕｌｔｉｐｌｙ」）レイヤ、シグモイドレイヤ、完全接続レイヤ、及びマージングレイヤを使用する。図７Ａ及び図７Ｂでは、乗算及び加算は、要素毎の乗算及び合計であり、両方の演算は、入力と同じ次元のテンソルまたはマトリックスを生成する。さらに、図７Ａ及び図７Ｂにおける「マージング」という用語は、ベクトル連結を表す。

【0096】

図７Ａ及び図７Ｂの実施形態では、顔画像ＣＮＮ（７０４）及び身体特徴ＤＬＮ（７１０）は、ニューラルネットワークであり、それらは、自己注意、すなわち、そのニューラルネットワークが、例えば、フィードフォワード構造及び乗算レイヤを通じて様々なレイヤの入力に重みを割り当てることを可能にするアーキテクチャ属性のセットを使用し、したがって、出力身体組成に追加の精度を提供する。

【0097】

本明細書に開示された様々な深層学習ネットワーク及びモジュールについて上で列挙されたＤＬＮアーキテクチャ及びアルゴリズムは、本発明の範囲内である、単なる例解的なアルゴリズムであり、本発明は、列挙されたＤＬＮアルゴリズムの使用に限定されない。他のＤＬＮアルゴリズムもまた、本発明の範囲内でもある。さらに、他の機械学習（ＭＬ）方法は、列挙された様々なＤＬＮアーキテクチャ及びアルゴリズムの代わりに、またはそれらと組み合わせて使用され得る。したがって、リグレッサ、最近傍アルゴリズム、決定木、サポートベクトルマシン（ＳＶＭ）、適応的ブースティング、ベイズのネットワーク、ファジー理論モデル、進化型アルゴリズムなどを含むが、これらに限定されない他のＭＬアルゴリズムは、本発明の範囲内である。

【0098】

図８は、本発明の一実施形態による、ユーザの身体組成を予測するための方法の例示的なフローチャートを示している。ステップ８０２において、１つ以上の画像が受信される。これらの画像は、衣服の有無にかかわらず、ユーザの正面画像または側面画像を含み得る。様々な実施形態では、入力ユーザ画像は、ユーザの全身を示す。他の実施形態では、入力ユーザ画像は、全画像ではなく、ユーザの１つ以上の身体部分を示すユーザの部分画像である。ステップ８０４において、年齢、性別、民族性、体重、または身長などの１つ以上のユーザパラメータが受信される。ステップ８０６において、１つ以上のキーポイントは、キーポイント深層学習ネットワーク（ＤＬＮ）を使用して、受信されたユーザ画像（複数可）に基づいて生成される。ステップ８０８において、ユーザの身体組成の予測は、身体組成深層学習ネットワーク（ＤＬＮ）を使用して、キーポイント（複数可）及びユーザパラメータ（複数可）に基づいて生成される。

【0099】

図９は、ユーザの軟質除脂肪体重（ＳＬＭ）及び体脂肪率（ＰＢＦ）を生成する際に、図７Ａ及び図７Ｂの例解的な身体組成予測アーキテクチャを使用する身体組成ＤＬＮの一実施形態の成績を示す表である。ＳＬＭは、体内水分、タンパク質、及び非骨格ミネラルの、キログラム（ＫＧ）単位での身体組成体重の測定値である。ＰＢＦは、体脂肪パーセンテージ（％）の身体組成の測定値である。図９の左側の２つの列は、様々なサンプルユーザの実際のＳＬＭ及びＰＢＦを示しており、これに対して、右側の２つの列は、図７Ａ及び図７Ｂの身体組成ＤＬＮの実施形態によって予測されたときのＳＬＭ及びＰＢＦ測定値を示している。実際の及び予測されたＳＬＭ及びＰＢＦの測定値は、以下の図１０及び図１１において、統計的に比較される。

【0100】

図１０は、ユーザのＳＬＭを生成する際に、図７Ａ及び図７Ｂの例解的な身体組成予測アーキテクチャを使用する、身体組成ＤＬＮの一実施形態の精度を描写する密度分布を示している。具体的には、図１０は、図９の結果に基づいて、ＳＬＭ誤差（すなわち、サンプルユーザの各々についての実際のＳＬＭと、予測されたＳＬＭとの間の差）の密度分布を示している。図１０は、１．７８ＫＧの平均絶対誤差（ＭＡＥ）、及び２．１９ＫＧの標準偏差を示している。

【0101】

図１１は、ユーザのＰＢＦを生成する際に、図７Ａ及び図７Ｂの例解的な身体組成予測アーキテクチャを使用する、身体組成ＤＬＮの一実施形態の精度を描写する密度分布を示している。具体的には、図１１は、図９の結果に基づいて、ＰＢＦ誤差（すなわち、サンプルユーザの各々についての実際のＰＢＦと、予測されたＰＢＦとの間の差）の密度分布を示している。図１１は、３．０４％の平均絶対誤差（ＭＡＥ）、及び３．６４％の標準偏差を示している。

【0102】

図１０及び図１１の誤差密度分布の両方とも、ゼロでピークとなり、サンプルユーザの最大のサブセットに対して正確な身体組成を示している。図９、図１０、及び図１１の成績結果は、ニューラルネットワーク及びＭＬアーキテクチャ、訓練データ、ならびに、身体組成ＤＬＮ及び／またはその様々なコンポーネントのために使用された訓練プロセスを含む多数の要因に基づいて、改善の効果を受けている。

【0103】

例解的な実施形態
１つの例示的な実施形態では、ユーザの身体組成を測定するための方法が提供される。この方法は、ユーザの正面画像及び側面画像、ならびに１つ以上のユーザパラメータを受信することと、ユーザの正面画像及び側面画像、ならびに１つ以上のユーザパラメータに基づいて、ユーザの身体組成の予測を生成することと、身体組成深層学習モジュールを使用して、身体組成を画像取り込みデバイスのディスプレイに送信することと、を含む。

【0104】

別の例示的な実施形態では、身体組成深層学習モジュールを使用して身体組成の予測を生成することは、ユーザの顔画像にさらに基づく。一実施形態では、身体組成深層学習モジュールを使用して身体組成の予測を生成することは、１つ以上のスケーリングされた外部身体特徴寸法のセットにさらに基づく。

【0105】

１つの例示的な実施形態では、方法は、１つ以上のユーザ画像からユーザの身長及び体重を生成するように構成される。１つ以上のユーザ画像は、ユーザの正面画像及び側面画像からなる群から選択される。

【0106】

別の例示的な実施形態では、方法は、１つ以上のスケーリングされた外部身体特徴寸法のセットを計算するための、１つ以上の外部身体特徴寸法のセットを生成するように構成される。１つ以上の外部身体特徴寸法のセットは、１つ以上の注釈キーポイントを使用して、ユーザの正面画像及び側面画像から抽出される。１つ以上の注釈キーポイントは、キーポイント深層学習モジュールを使用して生成される。１つ以上のスケーリングされた外部身体特徴寸法のセットは、スケール係数を使用して、１つ以上の外部身体特徴寸法のセットから計算される。スケール係数は、深度センサ及びライダーのうちの１つを使用して計算される。

【0107】

１つの例示的な実施形態では、ユーザの身体組成を予測するためのシステムが開示され、このシステムは、画像取り込みデバイス及びサーバを備える。この画像取り込みデバイスは、ユーザの正面画像及び側面画像を取り込み、１つ以上のユーザパラメータを受信するように構成される。サーバは、入力モジュール及び処理モジュールを含む。入力モジュールは、画像取り込みデバイスから無線ネットワークを通じて、ユーザの正面画像及び側面画像、ならびに１つ以上のユーザパラメータを受信するように構成される。処理モジュールは、キーポイントＤＬＮを使用して、正面画像及び側面画像から衣服の下に隠れた１つ以上の身体部分の１つ以上の注釈キーポイントを識別するための命令を実行することと、１つ以上の注釈キーポイントに基づいてユーザの１つ以上の外部身体特徴寸法のセットを計算することと、１つ以上のユーザパラメータ及び１つ以上の注釈キーポイントに基づいてスケール係数を導出することと、１つ以上の外部身体特徴寸法のセット及びスケール係数に基づいてユーザの１つ以上のスケーリングされた外部身体特徴寸法のセットを計算することと、顔抽出コンピュータビジョンモジュールを使用してユーザの正面画像からユーザの顔画像を抽出することと、を行うように構成される。処理モジュールは、顔画像ＤＬＮを起動して、ユーザの顔画像を受信し、ユーザの顔画像からユーザの顔特徴ベクトルを生成するようにさらに構成される。さらに、処理モジュールは、身体特徴ＤＬＮを起動して、ユーザの１つ以上のスケーリングされた外部身体特徴寸法のセット、及び１つ以上のユーザパラメータを受信し、ユーザの１つ以上のスケーリングされた外部身体特徴寸法のセット、及び１つ以上のユーザパラメータから、ユーザの身体特徴ベクトルを生成するように構成される。さらに、処理モジュールは、出力ＤＬＮを起動して、顔画像ＤＬＮからユーザの顔特徴ベクトルを受信し、かつ身体特徴ＤＬＮからユーザの身体特徴ベクトルを受信することと、ユーザの顔特徴ベクトル及びユーザの身体特徴ベクトルに基づいてユーザの身体組成の予測を生成することと、身体組成を画像取り込みデバイスのディスプレイに送信することと、を行うように構成される。

【0108】

別の例示的な実施形態では、１つ以上の注釈キーポイントに基づいて１つ以上の外部身体特徴寸法のセットを計算することは、（ａ）注釈付き正面画像及び注釈付き側面画像を使用して、少なくとも１つの注釈付き身体部分の少なくとも１つの周縁部を計算することと、（ｂ）注釈付き正面画像及び注釈付き側面画像を使用して、少なくとも１つの注釈付き身体部分の少なくとも１つの身体部分画像面積を計算することと、（ｃ）注釈付き正面画像及び注釈付き側面画像を使用して、少なくとも１つの注釈付き身体部分の少なくとも１つの身体部分体積を計算することと、からなる群から選択される少なくとも１つのステップを含む。

【0109】

例示的なシステムアーキテクチャ
本開示の例示的な実施形態は、１つ以上のサーバ（管理コンピューティングエンティティ）、１つ以上のネットワーク、及び１つ以上のクライアント（ユーザコンピューティングエンティティ）を含み得る。これらのコンポーネント、エンティティ、デバイス、及びシステム（本明細書で区別なく使用される類似の用語）の各々は、例えば、同じまたは異なる有線または無線ネットワークを介して互いに直接的または間接的に通信し得る。さらに、図１２及び図１３は、様々なシステムエンティティを別個の独立型エンティティとして例解しているが、様々な実施形態は、この特定のアーキテクチャに限定されない。

【0110】

例示的な管理コンピューティングエンティティ
図１２は、本開示の実施形態と併せて使用することができるサーバ（管理コンピューティングエンティティ）（１２０２）の概略図を提供する。一般に、本明細書で区別なく使用されるコンピューティングエンティティ、コンピュータ、エンティティ、デバイス、システムという用語、及び／または同様の単語は、例えば、１つ以上のコンピュータ、コンピューティングエンティティ、デスクトップコンピュータ、携帯電話、タブレット、ファブレット、ノートブック、ラップトップ、分散システム、ゲーム機、腕時計、眼鏡、ｉＢｅａｃｏｎ、近接ビーコン、キーフォブ、無線周波数識別（ＲＦＩＤ）タグ、イヤホーン、スキャナ、テレビジョン、ドングル、カメラ、リストバンド、ウェアラブルアイテム／デバイス、キオスク、入力端末、サーバもしくはサーバネットワーク、ブレード、ゲートウェイ、スイッチ、処理デバイス、処理エンティティ、セットトップボックス、リレー、ルータ、ネットワークアクセスポイント、基地局など、及び／または、本明細書に説明される機能、動作、及び／またはプロセスを実施するように適合されたデバイスもしくはエンティティの任意の組み合わせを指す場合がある。そのような機能、動作、及び／またはプロセスは、例えば、送信すること、受信すること、動作すること、処理すること、表示すること、記憶すること、判定すること、作成／生成すること、監視すること、評価すること、及び／または比較すること（本明細書で区別なく使用される類似の用語）を含み得る。一実施形態では、これらの機能、動作、及び／またはプロセスは、データ、コンテンツ、及び／または情報（本明細書で区別なく使用される類似の用語）に対して実施することができる。

【0111】

【0112】

図１２に示すように、一実施形態では、管理コンピューティングエンティティ（１２０２）は、例えば、バスを介して、管理コンピューティングエンティティ（１２０２）内の他の要素と通信する１つ以上の処理要素（１２０４）（プロセッサ及び／または処理回路－本明細書で区別なく使用される類似の用語、とも呼ばれる）を含み得るか、またはそれらの要素と通信し得る。理解されるように、処理要素（１２０４）は、多くの異なる方法で具現化され得る。例えば、処理要素（１２０４）は、１つ以上の結合プログラム可能論理デバイス（ＣＰＬＤ）、マイクロプロセッサ、マルチコアプロセッサ、コプロセシングエンティティ、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、マイクロコントローラ、及び／またはコントローラとして具現化され得る。さらに、処理要素（１２０４）は、１つ以上の他の処理デバイスまたは回路として具現化され得る。回路という用語は、ハードウェアの実施形態全体、または、ハードウェア及びコンピュータプログラム製品の組み合わせを指す場合がある。したがって、処理要素（１２０４）は、集積回路、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）、ハードウェアアクセラレータ、他の回路などとして具現化され得る。したがって、理解されるように、処理要素（１２０４）は、特定の使用のために構成され得るか、または、揮発性媒体もしくは不揮発性媒体に記憶されるか、もしくは別様に処理要素（１２０４）にアクセス可能な命令を実行するように構成され得る。したがって、ハードウェアまたはコンピュータプログラム製品によって、またはそれらの組み合わせによって構成されるかどうかにかかわらず、処理要素（１２０４）は、それに応じて構成されたときに、本開示の実施形態によるステップまたは動作を実施することが可能であり得る。

【0113】

一実施形態では、管理コンピューティングエンティティ（１２０２）は、不揮発性媒体（不揮発性ストレージ、メモリ、メモリストレージ、及び／またはメモリ回路とも呼ばれる－本明細書で区別なく使用される類似の用語）をさらに含み得るか、またはそれと通信し得る。一実施形態では、不揮発性ストレージまたはメモリは、１つ以上の不揮発性ストレージまたはメモリ媒体（１２０８）を含み得、それらには、ハードディスク、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＭＭＣ、ＳＤメモリカード、メモリスティック、ＣＢＲＡＭ、ＰＲＡＭ、ＦｅＲＡＭ、ＮＶＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、ＳＯＮＯＳ、ＦＪＧＲＡＭ、ミリピードメモリ、レーストラックメモリなどが含まれるが、これらに限定されない。認識されるように、不揮発性ストレージまたはメモリ媒体は、データベース、データベースインスタンス、データベース管理システム、データ、アプリケーション、プログラム、プログラムモジュール、スクリプト、ソースコード、オブジェクトコード、バイトコード、コンパイル済みコード、インタープリット済みコード、マシンコード、実行可能命令などを記憶し得る。データベース、データベースインスタンス、及び／またはデータベース管理システムという用語（本明細書で区別なく使用される類似の用語）は、階層型データベースモデル、ネットワークモデル、リレーショナルモデル、エンティティリレーションシップモデル、オブジェクトモデル、文書モデル、意味モデル、グラフモデルなどの１つ以上のデータベースモデルを使用して、コンピュータ可読記憶媒体内に記憶されるレコードまたはデータの集合を指す場合がある。

【0114】

一実施形態では、管理コンピューティングエンティティ（１２０２）は、揮発性媒体（揮発性ストレージ、メモリ、メモリストレージ、メモリ、及び／または回路とも呼ばれる－本明細書で区別なく使用される類似の用語）をさらに含み得るか、またはそれらと通信し得る。一実施形態では、揮発性ストレージまたはメモリはまた、１つ以上の揮発性ストレージまたはメモリ媒体（１２０６）を含むこともでき、それらには、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、ＦＰＭＤＲＡＭ、ＥＤＯＤＲＡＭ、ＳＤＲＡＭ、ＤＤＲＳＤＲＡＭ、ＤＤＲ２ＳＤＲＡＭ、ＤＤＲ３ＳＤＲＡＭ、ＲＤＲＡＭ、ＴＴＲＡＭ、Ｔ－ＲＡＭ、Ｚ－ＲＡＭ、ＲＩＭＭ、ＤＩＭＭ、ＳＩＭＭ、ＶＲＡＭ、キャッシュメモリ、レジスタメモリなどが含まれるが、これらに限定されない。認識されるように、揮発性ストレージまたはメモリ媒体を使用して、例えば、処理要素（１２０４）によって実行されるデータベース、データベースインスタンス、データベース管理システム、データ、アプリケーション、プログラム、プログラムモジュール、スクリプト、ソースコード、オブジェクトコード、バイトコード、コンパイル済みコード、インタープリット済みコード、マシンコード、実行可能命令などのうちの少なくとも一部を記憶し得る。したがって、データベース、データベースインスタンス、データベース管理システム、データ、アプリケーション、プログラム、プログラムモジュール、スクリプト、ソースコード、オブジェクトコード、バイトコード、コンパイル済みコード、インタープリット済みコード、マシンコード、実行可能命令などを使用して、処理要素（１２０４）及びオペレーティングシステムの支援を伴って、管理コンピューティングエンティティ（１２０２）の動作の特定の態様を制御し得る。

【0115】

示されるように、一実施形態では、管理コンピューティングエンティティ（１２０２）はまた、送信、受信、動作、処理、表示、記憶などが可能なデータ、コンテンツ、及び／または情報（本明細書で区別なく使用される類似の用語）を伝達することなどによって、様々なコンピューティングエンティティと通信するための１つ以上の通信インターフェース（１２１０）を含み得る。そのような通信は、ファイバ分散データインターフェース（ＦＤＤＩ）、デジタル加入者回線（ＤＳＬ）、イーサネット、非同期転送モード（ＡＴＭ）、フレームリレー、データオーバケーブルサービスインターフェーススペシフィケーション（ＤＯＣＳＩＳ）、または任意の他の有線伝送プロトコルなどの有線データ伝送プロトコルを使用して実行され得る。同様に、管理コンピューティングエンティティ（１２０２）は、汎用パケット無線サービス（ＧＰＲＳ）、ユニバーサルモバイル電気通信システム（ＵＭＴＳ）、符号分割多重アクセス２０００（ＣＤＭＡ２０００）、ＣＤＭＡ２０００１Ｘ（１ｘＲＴＴ）、広帯域符号分割多重アクセス（ＷＣＤＭＡ）、時分割同期符号分割多重アクセス（ＴＤ－ＳＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、進化型ユニバーサル地上無線アクセスネットワーク（Ｅ－ＵＴＲＡＮ）、進化型データ最適化（ＥＶＤＯ）、高速パケットアクセス（ＨＳＰＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、ＩＥＥＥ８０２．１１（Ｗｉ－Ｆｉ）、Ｗｉ－Ｆｉダイレクト、８０２．１６（ＷｉＭＡＸ）、ウルトラワイドバンド（ＵＷＢ）、赤外線（ＩＲ）プロトコル、近距離無線通信（ＮＦＣ）プロトコル、Ｗｉｂｒｅｅ、Ｂｌｕｅｔｏｏｔｈプロトコル、無線ユニバーサルシリアルバス（ＵＳＢ）プロトコル、及び／または任意の他の無線プロトコルなどの様々なプロトコルのいずれかを使用して、無線外部通信ネットワークを介して通信するように構成され得る。

【0116】

図示されていないが、管理コンピューティングエンティティ（１２０２）は、キーボード入力、マウス入力、タッチスクリーン／ディスプレイ入力、運動入力、移動入力、オーディオ入力、ポインティングデバイス入力、ジョイスティック入力、キーパッド入力などの１つ以上の入力要素を含み得るか、またはそれらと通信し得る。管理コンピューティングエンティティ（１２０２）はまた、オーディオ出力、ビデオ出力、スクリーン／ディスプレイ出力、運動出力、移動出力などの１つ以上の出力要素（図示せず）を含み得るか、またはそれらと通信し得る。

【0117】

理解されるように、管理コンピューティングエンティティ（１２０２）のコンポーネントのうちの１つ以上は、分散システム内などの他の管理コンピューティングエンティティ（１２０２）コンポーネントから遠く離れて位置し得る。さらに、コンポーネントのうちの１つ以上が組み合わされ得、本明細書で説明される機能を実施する追加のコンポーネントが、管理コンピューティングエンティティ（１２０２）内に含まれ得る。したがって、管理コンピューティングエンティティ（１２０２）は、様々なニーズ及び状況を考慮するように適合することができる。認識されるように、これらのアーキテクチャ及び説明は、例示的な目的のみのために提供され、様々な実施形態を限定するものではない。

【0118】

例示的なユーザコンピューティングエンティティ
ユーザは、個人、会社、組織、団体、組織内の部署、組織の代表者、及び／または人などであり得る。

【0119】

図１３は、本開示の実施形態と併せて使用することができるクライアント（ユーザコンピューティングエンティティ）（１３０２）を表す例解的な概略図を提供している。一般に、コンピューティングエンティティ、エンティティという用語、及び／または本明細書で区別なく使用される類似の単語は、例えば、１つ以上のコンピュータ、コンピューティングエンティティ、デスクトップ、携帯電話、タブレット、ファブレット、ノートブック、ラップトップ、分散システム、ゲーム機、腕時計、眼鏡、キーフォブ、無線周波数識別（ＲＦＩＤ）タグ、イヤホーン、スキャナ、カメラ、リストバンド、キオスク、入力端末、サーバもしくはサーバネットワーク、ブレード、ゲートウェイ、スイッチ、処理デバイス、処理エンティティ、セットトップボックス、リレー、ルータ、ネットワークアクセスポイント、基地局など、及び／または、本明細書に説明される機能、動作、及び／またはプロセスを実施するように適合されたデバイスもしくはエンティティの任意の組み合わせを指す場合がある。ユーザコンピューティングエンティティ（１３０２）は、様々な当事者によって動作させることができる。図１３に示すように、ユーザコンピューティングエンティティ（１３０２）は、アンテナ（１３０４）、送信機（１３０８）（例えば、無線）、受信機（１３１０）（例えば、無線）、ならびに送信機（１３０８）及び受信機（１３１０）から、それぞれ、信号を提供及び受信する処理要素（１３０６）（例えば、ＣＰＬＤ、マイクロプロセッサ、マルチコアプロセッサ、コプロセシングエンティティ、ＡＳＩＰ、マイクロコントローラ、及び／またはコントローラ）を含むことができる。

【0120】

送信機（１３０８）及び受信機（１３１０）から、それぞれ、信号を提供及び受信された信号は、適用可能な無線システムのエアインターフェース標準規格に従って信号伝送情報を含み得る。この点について、ユーザコンピューティングエンティティ（１３０２）は、１つ以上のエアインターフェース標準規格、通信プロトコル、変調タイプ、及びアクセスタイプを用いて動作することが可能であり得る。より具体的には、ユーザコンピューティングエンティティ（１３０２）は、管理コンピューティングエンティティ（１２０２）に関して上で説明されるものなど、いくつかの無線通信標準規格及びプロトコルのいずれかに従って動作し得る。特定の実施形態では、ユーザコンピューティングエンティティ（１３０２）は、ＵＭＴＳ、ＣＤＭＡ２０００、１ｘＲＴＴ、ＷＣＤＭＡ、ＴＤ－ＳＣＤＭＡ、ＬＴＥ、Ｅ－ＵＴＲＡＮ、ＥＶＤＯ、ＨＳＰＡ、ＨＳＤＰＡ、Ｗｉ－Ｆｉ、Ｗｉ－Ｆｉダイレクト、ＷｉＭＡＸ、ＵＷＢ、ＩＲ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ、ＵＳＢなどの、複数の無線通信標準規格及びプロトコルに従って動作し得る。同様に、ユーザコンピューティングエンティティ（１３０２）は、ネットワークインターフェース（１３１４）を介して、管理コンピューティングエンティティ（１２０２）に関して上で説明されるものなどの、複数の有線通信標準規格及びプロトコルに従って動作し得る。

【0121】

これらの通信標準規格及びプロトコルを介して、ユーザコンピューティングエンティティ（１３０２）は、非構造化付加サービスデータ（ＵＳＳＤ）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、デュアルトーンマルチフリーケンシーシグナリング（ＤＴＭＦ）、及び／または加入者識別モジュールダイヤラー（ＳＩＭダイヤラー）などの概念を使用して、様々な他のエンティティと通信することができる。ユーザコンピューティングエンティティ（１３０２）はまた、例えば、そのファームウェア、ソフトウェア（例えば、実行可能命令、アプリケーション、プログラムモジュールを含む）、及びオペレーティングシステムに対する変更、追加、及び更新をダウンロードすることもできる。

【0122】

一実施形態によれば、ユーザコンピューティングエンティティ（１３０２）は、本明細書で区別なく使用される、態様、デバイス、モジュール、機能、及び／または類似の単語を判定する場所を含み得る。例えば、ユーザコンピューティングエンティティ（１３０２）は、例えば、緯度、経度、標高、地理コード、コース、方向、進路、速度、世界時（ＵＴＣ）、日付、及び／または様々な他の情報／データを取得するように適合された位置モジュールなどの屋外測位態様を含み得る。一実施形態では、位置モジュールは、視界に入る衛星の数、及びそれらの衛星の相対位置を識別することによって、場合によってはエフェメリスデータとして知られるデータを取得することができる。それらの衛星は、様々な異なる衛星であり得、低地球周回軌道（ＬＥＯ）衛星システム、国防総省（ＤＯＤ）衛星システム、欧州連合ガリレオ測位システム、中国コンパスナビゲーションシステム、インド地域ナビゲーション衛星システムなどが含まれる。代替的に、位置情報は、携帯電話タワー、Ｗｉ－Ｆｉアクセスポイントなどを含む様々な他のシステムと関連して、ユーザコンピューティングエンティティ（１３０２）の位置を三角測量することによって判定することができる。同様に、ユーザコンピューティングエンティティ（１３０２）は、例えば、緯度、経度、標高、地理コード、コース、方向、進路、速度、時間、日付、及び／または様々な他の情報／データを取得するように適合された位置モジュールなどの屋内測位態様を含み得る。屋内システムのうちのいくつかは、ＲＦＩＤタグ、屋内ビーコンもしくは送信機、Ｗｉ－Ｆｉアクセスポイント、携帯電話タワー、すぐ近くのコンピューティングデバイス（例えば、スマートフォン、ラップトップ）などを含む様々な位置または場所技術を使用し得る。例えば、そのような技術には、ｉＢｅａｃｏｎ、ジンバル近接ビーコン、Ｂｌｕｅｔｏｏｔｈ低エネルギー（ＢＬＥ）送信機、ＮＦＣ送信機などが含まれ得る。これらの屋内測位態様は、インチまたはセンチメートル以内の、誰かまたは何かの位置を判定するために、様々な設定で使用することができる。

【0123】

ユーザコンピューティングエンティティ（１３０２）はまた、（処理要素（１３０６）に結合されたディスプレイ（１３１２）を含み得る）ユーザインターフェース、及び／または（処理要素（１３０６）に結合された）ユーザ入力インターフェースを含み得る。例えば、ユーザインターフェースは、本明細書に説明されているように、管理コンピューティングエンティティ（１２０２）と対話し、及び／またはその管理コンピューティングエンティティからの情報を表示させるために、ユーザコンピューティングエンティティ（１３０２）上で実行し、及び／またはそのユーザコンピューティングエンティティを介してアクセス可能である、ユーザアプリケーション、ブラウザ、ユーザインターフェース、及び／または本明細書で区別なしに使用される類似の単語であり得る。ユーザ入力インターフェースは、ユーザコンピューティングエンティティ（１３０２）が、キーパッド（１３１６）（ハードまたはソフト）、タッチディスプレイ、音声／スピーチ、もしくは運動インターフェース、または他の入力デバイスなどのデータを受信することを可能にするいくつかのデバイスまたはインターフェースのうちのいずれかを含むことができる。キーパッド（１３１６）を含む実施形態では、キーパッド（１３１６）は、従来の数字キー（０～９）及び関連するキー（＃、＊）、ならびにユーザコンピューティングエンティティ（１３０２）を動作させるために使用される他のキーを含む（またはその表示を引き起こす）ことができ、英字キーのフルセット、または英数字キーのフルセットを提供するために作動させることができるキーのセットを含むことができる。入力を提供することに加えて、ユーザ入力インターフェースを使用して、例えば、スクリーンセーバー及び／またはスリープモードなどの特定の機能を作動または作動解除させることができる。

【0124】

ユーザコンピューティングエンティティ（１３０２）はまた、揮発性ストレージもしくはメモリ（１３１８）及び／または不揮発性ストレージもしくはメモリ（１３２０）を含むこともでき、これらは、組み込むことができ、及び／または取り外し可能であり得る。例えば、不揮発性メモリは、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＭＭＣ、ＳＤメモリカード、メモリスティック、ＣＢＲＡＭ、ＰＲＡＭ、ＦｅＲＡＭ、ＮＶＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、ＳＯＮＯＳ、ＦＪＧＲＡＭ、ミリピードメモリ、レーストラックメモリなどであり得る。揮発性メモリは、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、ＦＰＭＤＲＡＭ、ＥＤＯＤＲＡＭ、ＳＤＲＡＭ、ＤＤＲＳＤＲＡＭ、ＤＤＲ２ＳＤＲＡＭ、ＤＤＲ３ＳＤＲＡＭ、ＲＤＲＡＭ、ＴＴＲＡＭ、Ｔ－ＲＡＭ、Ｚ－ＲＡＭ、ＲＩＭＭ、ＤＩＭＭ、ＳＩＭＭ、ＶＲＡＭ、キャッシュメモリ、レジスタメモリなどであり得る。揮発性及び不揮発性のストレージまたはメモリは、データベース、データベースインスタンス、データベース管理システム、データ、アプリケーション、プログラム、プログラムモジュール、スクリプト、ソースコード、オブジェクトコード、バイトコード、コンパイル済みコード、インタープリット済みコード、マシンコード、実行可能命令などを記憶して、ユーザコンピューティングエンティティ（１３０２）の機能を実装することができる。示されるように、これは、エンティティ上に常駐しているか、または、管理コンピューティングエンティティ（１２０２）及び／または様々な他のコンピューティングエンティティと通信するためのブラウザもしくは他のユーザインターフェースを介してアクセス可能であるユーザアプリケーションを含み得る。

【0125】

別の実施形態では、ユーザコンピューティングエンティティ（１３０２）は、上でさらに詳しく説明されたように、管理コンピューティングエンティティ（１２０２）のものと同じかまたは同様の１つ以上のコンポーネントまたは機能を含み得る。認識されるように、これらのアーキテクチャ及び説明は、例示的な目的のみのために提供され、様々な実施形態を限定するものではない。

【0126】

本発明は、クライアントサーバ環境で実装され得る。図１４は、クライアントサーバ環境における本発明の一実施形態を実装するための例解的なシステムアーキテクチャを示している。クライアント側のユーザデバイス（すなわち、画像取り込みデバイス）（１４０２）は、スマートフォン（１４０４）、ラップトップ（１４０６）、デスクトップＰＣ（１４０８）、タブレット（１４１２）、または他のデバイスを含み得る。そのようなユーザデバイス（１４０２）は、インターネットなどのあるネットワーク接続（１４１０）を介して、システムサーバ（１４１４）のサービスにアクセスする。

【0127】

本発明のいくつかの実施形態では、システム全体は、いわゆるクラウド実装態様において、インターネットを介してエンドユーザ及びオペレータに対して実装及び提供することができる。ソフトウェアまたはハードウェアのローカルなインストールは、不要であり、エンドユーザ及びオペレータは、クライアント上のウェブブラウザかまたは同様のソフトウェアのいずれかを使用して、インターネットを介して本発明のシステムに直接アクセスすることが可能になり、そのクライアントは、デスクトップ、ラップトップ、モバイルデバイスなどであり得る。これにより、クライアント側での専用ソフトウェアのインストールのいかなる必要性も排除され、サービスの提供の柔軟性（サービスとしてのソフトウェア）が向上し、ユーザの満足度及び使いやすさが増大する。本発明のための様々なビジネスモデル、収益モデル、及び配信メカニズムが思い描かれ、それらは、すべて、本発明の範囲内にあるとみなされるべきである。

【0128】

追加の実装態様の詳細
例示的な処理システムが上記に説明されてきたが、本明細書に説明された主題及び機能動作の実装態様は、他のタイプのデジタル電子回路で、または、本明細書に開示された構造及びそれらの構造上の等価物を含む、コンピュータソフトウェア、ファームウェア、もしくはハードウェアで、あるいはそれらのうちの１つ以上の組み合わせで実装することができる。

【0129】

本明細書に説明された主題及び動作の実施形態は、この明細書に開示された構造、及びそれらの構造的等価物を含む、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで、あるいはそれらのうちの１つ以上の組み合わせで、実装することができる。本明細書に説明された主題の実施形態は、１つ以上のコンピュータプログラム、すなわち、情報／データ処理装置によって実行されるか、または情報／データ処理装置の動作を制御するために、コンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。代替的に、または追加的に、プログラム命令は、人工的に生成された伝播信号、例えば、マシン生成された電気的、光学的、または電磁気的信号上に符号化することができ、その信号は、情報／データ処理装置によって実行されるために好適な受信機装置に送信するための情報／データを符号化するように生成される。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムアクセスメモリもしくはシリアルアクセスメモリのアレイもしくはデバイス、またはそれらのうちの１つ以上の組み合わせとすることができるか、またはそれらの中に含むことができる。さらに、コンピュータ記憶媒体は、伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号内に符号化されたコンピュータプログラム命令のソースまたは宛先とすることができる。コンピュータ記憶媒体はまた、１つ以上の別個の物理コンポーネントまたは媒体（例えば、複数のＣＤ、ディスク、または他の記憶デバイス）とすることもできるか、またはそれに含むこともできる。

【0130】

本明細書に説明された動作は、１つ以上のコンピュータ可読記憶デバイスに記憶されるか、または他のソースから受信された情報／データについて、情報／データ処理装置によって実施される動作として実装することができる。

【0131】

「データ処理装置」という用語は、データを処理するためのすべての種類の装置、デバイス、及びマシンを包含し、例として、プログラマブルプロセッサ、コンピュータ、チップ上のシステムもしくは複数のチップ上のシステム、または前述の組み合わせを含む。それらの装置は、特殊目的ロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）を含むことができる。それらの装置はまた、ハードウェアに加えて、問題になっているコンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームの実行時間環境、仮想マシン、またはそれらのうちの１つ以上の組み合わせを構成するコードを含むこともできる。それらの装置及び実行環境は、ウェブサービス、分散コンピューティング、及びグリッドコンピューティングインフラストラクチャなどの様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。

【0132】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）は、コンパイル式言語またはインタープリット式言語、宣言型言語または手続き型言語を含む、任意の形式のプログラミング言語で記述することができ、そのコンピュータプログラムは、独立型プログラムとして、もしくはモジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピューティング環境で使用するのに好適な他のユニットとして含まれる任意の形式で展開することができる。コンピュータプログラムは、ファイルシステムのファイルに対応し得るが、必ずしもそうである必要はない。プログラムは、他のプログラムまたは情報／データ（例えば、マークアップ言語文書に記憶された１つ以上のスクリプト）を保持するファイルの一部において、問題にしているプログラム専用の単一のファイルにおいて、または複数の共同作用できるファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を記憶するファイル）において、記憶することができる。コンピュータプログラムは、１つのコンピュータ上で、または１つの場所に位置するかもしくは複数の場所にわたって分散され、通信ネットワークによって相互接続される複数のコンピュータ上で、実行されるように展開することができる。

【0133】

本明細書に説明されたプロセス及びロジックの流れは、１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実施されて、入力情報／データに対して動作し、出力を生成することによって、動作を実施することができる。コンピュータプログラムの実行に好適なプロセッサは、例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般に、プロセッサは、読み取り専用メモリもしくはランダムアクセスメモリ、またはその両方から命令及び情報／データを受信することになる。コンピュータの重要な要素は、命令に従って動作を実施するためのプロセッサ、ならびに命令及びデータを記憶するための１つ以上のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための１つ以上の大容量ストレージデバイス、例えば、磁気ディスク、光磁気ディスク、もしくは光ディスクを含むことになるか、あるいはそれらのディスクから情報／データを受信するか、もしくはそれらのディスクに情報／データを転送するか、またはその両方を行うように動作可能に結合されることにもなる。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及び情報／データを記憶するために好適なデバイスは、不揮発性メモリ、媒体、及びメモリデバイスのすべての形態を含み、それらは、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス；磁気ディスク、例えば、内蔵ハードディスクまたはリムーバブルディスク；光磁気ディスク；ならびにＣＤＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む。プロセッサ及びメモリは、特殊目的ロジック回路によって補助され得るか、または特殊目的ロジック回路内に組み込まれ得る。

【0134】

ユーザとの対話を提供するために、本明細書に説明された主題の実施形態は、ユーザに情報／データを表示するためのディスプレイデバイス、例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニターと、ユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス、例えば、マウスまたはトラックボールと、を有するコンピュータ上に実装することができる。他の種類のデバイスを使用して、同様にユーザとの対話を提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックとすることができ、ユーザからの入力は、音響、音声、または触覚の入力を含む任意の形態で受信することができる。さらに、コンピュータは、ユーザが使用するデバイスに文書を送信すること、及びそのデバイスから文書を受信することによって、例えば、ウェブブラウザから受信された要求に応答して、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって、ユーザと対話することができる。

【0135】

本明細書に説明された主題の実施形態は、例えば、情報／データサーバとしてバックエンドコンポーネントを含むか、または、ミドルウエアコンポーネント、例えば、アプリケーションサーバを含むか、または、フロントエンドコンポーネント、例えば、ユーザが本明細書に説明された主題の実装態様と対話することができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータを含むか、または、１つ以上のそのようなバックエンドコンポーネント、ミドルウエアコンポーネント、もしくはフロントエンドコンポーネントの任意の組み合わせである、コンピューティングシステム内に実装することができる。本システムのコンポーネントは、デジタル情報／データ通信の任意の形態または媒体、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）及びワイドエリアネットワーク（「ＷＡＮ」）、相互接続ネットワーク（例えば、インターネット）、及びピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）が挙げられる。

【0136】

コンピューティングシステムは、クライアントとサーバを含むことができる。クライアントとサーバは、概して互いに遠く離れており、典型的に通信ネットワークを通じてやりとりする。クライアントとサーバの関係は、それぞれのコンピュータ上で動作するコンピュータプログラムにより、及びクライアントとサーバの関係を互いに有することにより生じる。いくつかの実施形態では、サーバは、（例えば、情報／データをクライアントデバイスに表示し、クライアントデバイスと対話するユーザからユーザ入力を受信する目的で）情報／データ（例えば、ＨＴＭＬページ）をクライアントデバイスに送信する。クライアントデバイスで生成された情報／データ（例えば、ユーザ対話の結果）は、クライアントデバイスからサーバにおいて受信され得る。

【0137】

本明細書は、多くの具体的な実装態様の詳細を含むが、これらは、任意の実施形態の範囲、または特許請求され得るものの範囲に対する限定として解釈されるべきではなく、特定の実施形態に特有の特徴の説明として解釈されるべきである。本明細書で個別の実施形態の文脈で説明されている特定の特徴はまた、単一の実施形態で組み合わせて実装することもできる。反対に、単一の実施形態の文脈で説明されている様々な特徴は、複数の実施形態で別個に、または任意の好適な副組み合わせで実装され得る。さらに、特徴は、特定の組み合わせで作用するものとして上記に説明され、さらに最初にそのように主張される場合もあるが、特許請求の範囲の組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから切り出すことができ、特許請求の範囲の組み合わせは、副組み合わせ、または副組み合わせの変形を対象とし得る。

【0138】

同様に、動作が特定の順番で図面に図示されているが、これは、そのような動作が、示された特定の順番または順序で実施されるべきであること、またはすべての例解された動作が、所望の結果を達成するために実施されるべきであることを必要とするものとしては、理解されるべきではない。特定の状況では、マルチタスク及び並列処理が有利である可能性がある。さらに、上記に説明された実施形態の様々なシステムコンポーネントの分離は、すべての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、説明されたプログラムコンポーネント及びシステムが、概して、単一ソフトウェア製品内にともに統合され得るか、または複数のソフトウェア製品にパッケージ化され得ることが理解されるべきである。

【0139】

したがって、主題の特定の実施形態が説明された。他の実施形態は、以下の特許請求の範囲の範囲内である。場合によっては、特許請求の範囲に列挙された作用は、異なる順番で実施され得、依然として所望の結果を達成することができる。さらに、添付図面に図示されたプロセスは、所望の結果を達成するために、示される特定の順番または順序を必ずしも必要としない。特定の実装態様では、マルチタスク及び並列処理が、有利であり得る。

【0140】

本発明のいくつかの実施形態では、システム全体を実装し、いわゆるクラウド実装態様において、インターネットを介してエンドユーザ及びオペレータに提供することができる。ソフトウェアまたはハードウェアのローカルインストールは必要とされず、エンドユーザ及びオペレータは、クライアント上のウェブブラウザまたは同様のソフトウェアのいずれかを使用して、インターネットを介して本発明のシステムに直接アクセスすることが可能であり、クライアントは、デスクトップ、ラップトップ、モバイルデバイスなどであり得る。これにより、クライアント側にカスタムソフトウェアをインストールする必要がなくなり、サービスの提供の柔軟性（サービスとしてのソフトウェア）が向上し、ユーザの満足度及び使いやすさが向上する。本発明のための様々なビジネスモデル、収益モデル、及び配信メカニズムが想定され、それらは、すべて本発明の範囲内にあるとみなされるべきである。

【0141】

一般に、本発明の実施形態を実装するために実行される方法は、「コンピュータプログラム（複数可）」または「コンピュータコード（複数可）」と呼ばれる、オペレーティングシステムもしくは特定のアプリケーション、コンポーネント、プログラム、オブジェクト、モジュール、または命令のシーケンスの一部として実装され得る。コンピュータプログラムは、典型的には、コンピュータ内の様々なメモリ及び記憶デバイスに様々な時間に設定された１つ以上の命令を含み、それらの命令は、コンピュータ内の１つ以上のプロセッサによって読み取られ、かつ実行されると、コンピュータに、本発明の様々な態様を含む要素を実行するために必要な動作を実施させる。さらに、本発明は、完全に機能するコンピュータ及びコンピュータシステムの文脈で説明されてきたが、当業者は、本発明の様々な実施形態が、様々な形態のプログラム製品として配布されることが可能であること、及び、本発明が、実際に配布を行うために使用される特定のタイプの機械またはコンピュータ可読媒体にかかわらず等しく適用されることを理解するであろう。コンピュータ可読媒体の例としては、揮発性及び不揮発性メモリデバイス、フロッピーディスク及び他のリムーバブルディスク、ハードディスクドライブ、コンパクトディスク読み取り専用メモリ（ＣＤＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）などを含む光ディスク、ならびにデジタル及びアナログ通信媒体などの記録可能なタイプの媒体が挙げられるが、これらに限定されない。

【0142】

当業者は、使用ケース、構造、概略図、及びフロー図が他の順序または組み合わせで実施され得ることを知っているが、本発明の発明的概念は、本発明のより広い範囲から逸脱することなく残る。各実施形態は、本発明の方法を実践するために、独自であり得、方法／ステップは、短縮または延長され得、他の活動と重複し得、延期され得、遅延され得、かつ時間間隔後に継続され得る。

【0143】

結論
本明細書に記述された本開示の多くの修正及び他の実施形態は、これらの実施形態が前述の説明及び関連する図面に提示された教示の利益を有することに関連する当業者に想起されるであろう。したがって、実施形態が開示された特定の実施形態に限定されるべきでなく、修正及び他の実施形態が添付の特許請求の範囲内に含まれることが意図されることを理解されたい。本明細書では特定の用語が使用されているが、それらは一般的かつ説明的な意味でのみ使用されており、限定の目的では使用されていない。

【0144】

本発明は、具体的で例示的な実施形態を参照して説明されてきたが、本発明のより広い範囲から逸脱することなく、様々な修正及び変更がこれらの実施形態に対して行うことができることは明らかであろう。したがって、明細書及び図面は、制限的な意味ではなく、例解的な意味でみなされるべきである。また、上で説明される実施形態は、教示された個々の説明のいずれよりも大きな範囲を有し得る単一のより広範な発明の特定の例であることも、当業者には明らかであろう。本発明の範囲から逸脱することなく、説明に多くの変更が行われ得る。

【図1】