特開 2023-35988 体組成分析回路を有する電子デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023035988

(43)【公開日】2023-03-13

(54)【発明の名称】体組成分析回路を有する電子デバイス

(51)【国際特許分類】

   A61B 5/00 20060101AFI20230306BHJP

【ＦＩ】

A61B5/00 B

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022135923

(22)【出願日】2022-08-29

(31)【優先権主張番号】63/238,714

(32)【優先日】2021-08-30

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/242,357

(32)【優先日】2021-09-09

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/865,194

(32)【優先日】2022-07-14

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】503260918

【氏名又は名称】アップル インコーポレイテッド

【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．

【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100121979

【弁理士】

【氏名又は名称】岩崎 吉信

(72)【発明者】

【氏名】ゴーパール ヴァルサン

(72)【発明者】

【氏名】ティラカ エス スマナウィーラ

(72)【発明者】

【氏名】リリアナ アイ キーツ

(72)【発明者】

【氏名】デヴィッド ジェイ フェザーズ

(72)【発明者】

【氏名】パヴァン クマール アナソサル ヴァス

【テーマコード（参考）】

4C117

【Ｆターム（参考）】

4C117XB01

4C117XE36

4C117XE43

4C117XE80

4C117XG04

4C117XK09

(57)【要約】

【課題】体組成分析回路を含む電子デバイスを提供する。
【解決手段】体組成分析回路は、顔、首、及び／又は身体のキャプチャされた画像（例えば、深度センサによってキャプチャされた深度マップ画像、画像センサによってキャプチャされた可視光及び赤外線画像、並びに／又は他の好適な画像）に基づいて、体組成を推定する。体組成分析回路は、画像データを分析することができ、体組成と強く相関する、画像データの部分、例えば、頬、首、ウエストの部分などを抽出することができる。体組成分析回路は、画像データを潜在空間にエンコードすることができる。潜在空間は、深層学習モデルに基づき得、深層学習モデルは、顔／首画像における顔表現及び首姿勢の原因となり、身体画像における呼吸及び身体姿勢の原因となる。体組成分析回路は、画像データに基づいて、及びユーザ人口統計情報に基づいて、推定体組成を出力することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

顔及び首の画像をキャプチャするセンサと、
前記画像の一部分を潜在空間にエンコードし、
前記画像の前記一部分を脂肪率値にマッピングする
体組成分析回路と、
を備える電子デバイス。

【請求項2】

前記潜在空間が、統計モデルに基づく、請求項１に記載の電子デバイス。

【請求項3】

前記潜在空間が、深層学習モデルに基づく、請求項１に記載の電子デバイス。

【請求項4】

前記センサが、深度センサを含み、前記画像が、３次元深度マップ画像を含み、前記深度センサが、
前記顔及び前記首を構造化光で照明する赤外線光源と、
前記顔及び前記首から反射する前記構造化光を検出する赤外線光検出器と、を含む、請求項１に記載の電子デバイス。

【請求項5】

前記潜在空間が、ユーザアイデンティティを表す第１の潜在空間と、顔表現を表す第２の潜在空間と、首姿勢を表す第３の潜在空間と、を含む、請求項４に記載の電子デバイス。

【請求項6】

前記体組成分析回路が、前記画像の前記一部分を前記脂肪率値にマッピングするために前記第１の潜在空間を使用することによって、顔表現及び首姿勢を補償する、請求項５に記載の電子デバイス。

【請求項7】

前記画像の前記一部分が、頬部分と、首部分と、を含む、請求項１に記載の電子デバイス。

【請求項8】

前記体組成分析回路が、前記潜在空間にエンコードされていない、前記画像の残りの部分を削除する、請求項７に記載の電子デバイス。

【請求項9】

前記体組成分析回路が、ユーザ人口統計データに少なくとも部分的に基づいて、前記画像の前記一部分を前記脂肪率値にマッピングする、請求項１に記載の電子デバイス。

【請求項10】

前記センサが、可視光カメラを含み、前記画像が、可視光画像を含む、請求項１に記載の電子デバイス。

【請求項11】

顔を構造化光で照明する赤外線光源と、
前記顔から反射する前記構造化光を検出し、対応する深度情報を出力する赤外線光検出器と、
前記深度情報を体組成情報にマッピングする体組成分析回路と、
前記体組成情報を表示するディスプレイと、
を備える電子デバイス。

【請求項12】

前記体組成分析回路が、前記深度情報を潜在空間にエンコードする、請求項１１に記載の電子デバイス。

【請求項13】

前記潜在空間が、ユーザスタディデータで訓練される深層学習モデルに基づく、請求項１２に記載の電子デバイス。

【請求項14】

前記体組成分析回路が、顔表現及び首姿勢を補償する、請求項１１に記載の電子デバイス。

【請求項15】

前記体組成分析回路が、前記深度情報の未使用部分を削除する、請求項１１に記載の電子デバイス。

【請求項16】

身体の画像をキャプチャするセンサと、
前記身体の前記画像を体組成情報にマッピングするためにユーザスタディ訓練モデルを使用する
体組成分析回路と、
を備える電子デバイスであって、
前記ユーザスタディ訓練モデルが、呼吸と姿勢とに起因する変動の原因となる、電子デバイス。

【請求項17】

前記センサが、顔の画像をキャプチャし、前記体組成分析回路が、前記身体の寸法を判定するために前記身体の前記画像をスケーリングするために、前記顔の前記画像を使用する、請求項１６に記載の電子デバイス。

【請求項18】

前記体組成情報が、体脂肪が前記身体の全体にわたってどのように分布しているかを示し、前記センサが、赤外線深度センサを含み、前記顔及び前記身体の前記画像が、赤外線深度マップ画像であり、前記身体の前記画像が、前記身体の一部分のみの画像であり、前記体組成情報が、前記身体の前記一部分の体組成を記述する、請求項１６に記載の電子デバイス。

【請求項19】

前記体組成情報が、内臓脂肪率と、皮下脂肪率と、を含み、前記ユーザスタディ訓練モデルが、統計モデル及び深層学習モデルからなる群から選択される、請求項１６に記載の電子デバイス。

【請求項20】

前記電子デバイスが、ヘッドマウント支持構造体を更に備え、前記ヘッドマウント支持構造体が、第２のユーザの頭部に装着されている間に、前記センサが、第１のユーザの前記身体の前記画像をキャプチャする、請求項１６に記載の電子デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

これは、概して、電子デバイスに関し、特に、センサを有する電子デバイスに関する。
（関連出願の相互参照）
本出願は、２０２２年７月１４日に出願された米国特許出願第１７／８６５，１９４号、２０２１年８月３０日に出願された米国特許仮出願第６３／２３８，７１４号、及び２０２１年９月９日に出願された米国特許仮出願第６３／２４２，３５７号の優先権を主張し、これらは、参照によりこれらの全体が本明細書に組み込まれている。

【背景技術】

【0002】

携帯電話、腕時計、及び他の機器などの電子デバイスには、指紋センサ、顔認識カメラ、及び心拍数センサなどのセンサがしばしば設けられている。

【0003】

これらなどのデバイスを使用することは困難であり得る。ユーザは、従来の電子デバイスが提供することができない異なるタイプの健康関連情報を得ることを望み得る。ユーザは、所望の健康関連情報を得るために複数の電子機器に依存する必要があり得、これは不便及び面倒であり得る。

【発明の概要】

【0004】

電子デバイスは、体組成分析回路を含み得、体組成分析回路は、顔、首、及び／又は身体のキャプチャされた画像（例えば、深度センサによってキャプチャされた３次元深度マップ、可視光及び赤外線画像、並びに／又は他の好適な画像）に基づいて、体組成を推定する。いくつかの配置において、電子デバイスにおける深度センサは、顔及び首を構造化赤外線光で照明する赤外線光発光体と、顔及び首から反射された赤外線光を検出する赤外線光検出器と、を含み得る。深度センサは、反射された赤外線光に基づいて、３次元構造化データをキャプチャする深度マップ画像データを生成することができる。他のタイプの深度感知技術及び／又は可視光カメラが、顔及び首画像データをキャプチャするために、必要に応じて使用され得る。いくつかの配置において、画像は、全身体画像であってもよく、又は胴体若しくは二頭筋などのユーザの身体の一部分の画像であってもよい。

【0005】

いくつかの配置において、体組成分析回路は、画像を体組成情報にマッピングするために、ユーザスタディ訓練モデルを使用することができる。モデルは、具体的な身体部分の画像において訓練されてもよく、及び／又は身体全体の画像において訓練されてもよい。体組成情報は、脂肪が身体の全体わたってどのように分布しているかを記述してもよく、及び／又は身体の内臓及び皮下区画における脂肪の相対量を記述してもよい。体組成分析回路は、身体の寸法を判定するために身体の画像をスケーリングするために、顔の画像を使用することができる。電子デバイスは、第２のユーザの画像をキャプチャしている間に第１のユーザによって装着又は使用されるヘッドマウントデバイス又は任意の他の好適な電子デバイスであってもよい。電子デバイスはまた、ユーザの画像をキャプチャしている間に自己動作することができる。必要に応じて、電子デバイスは、固定取り付け具に取り付けられている間にユーザの画像をキャプチャすることができる。

【0006】

体組成分析回路は、画像データを分析することができ、体組成と強く相関する、画像データの部分、例えば、頬、首、顔、胸、ウエスト、ヒップ、大腿、及び他の領域の部分などを抽出することができる。体組成分析回路は、画像データを潜在空間にエンコードすることができる。潜在空間は、ユーザスタディデータにおいて訓練される深層学習モデルに基づくことができる。

【0007】

顔画像を使用するときに、潜在空間は、ユーザアイデンティティを表す第１の潜在空間と、顔表現を表す第２の潜在空間と、首姿勢を表す第３の潜在空間と、を含み得る。体組成分析回路は、推定体組成を出力するためにユーザアイデンティティ潜在空間内の顔及び首画像データを使用することによって、顔表現及び首姿勢を補償することができる。

【0008】

身体画像を使用するときに、潜在空間は、ユーザアイデンティティを表す第１の潜在空間と、呼吸状態を表す第２の潜在空間と、身体姿勢を表す第３の潜在空間と、を含み得る。体組成分析回路は、推定体組成を出力するためにユーザアイデンティティ潜在空間内の身体画像データを使用することによって、呼吸状態及び身体姿勢を補償することができる。

【0009】

体組成分析回路は、画像を体組成情報にマッピングするために、ユーザスタディ訓練モデルを使用することができる。モデルは、具体的な身体部分の画像において訓練されてもよく、及び／又は身体全体の画像において訓練されてもよい。体組成情報は、脂肪が身体の全体にわたってどのように分布しているかを記述してもよく、及び／又は具体的な身体部分における内臓及び皮下脂肪の相対量を記述してもよい。体組成分析回路は、身体の寸法を判定するために身体の画像をスケーリングするために、顔の画像を使用することができる。電子デバイスは、第２のユーザの画像をキャプチャしている間に第１のユーザによって装着されるヘッドマウントデバイス又は任意の他の好適な電子デバイスであってもよい。

【図面の簡単な説明】

【0010】

【図1】一実施形態による例示的な電子デバイスの概略図である。

【図2】一実施形態による、光学構成要素に重なる光学構成要素窓を有するディスプレイを有する例示的な電子デバイスの斜視図である。

【図3】一実施形態による、光源及び画像センサなどの光学構成要素を有する例示的な電子デバイスの側断面図である。

【図4】一実施形態による、拡散体を含む例示的な光源の側断面図である。

【図5】一実施形態による、図４に示すタイプの光源を使用してドットパターンが投影されている例示的な物体の正面図である。

【図6】一実施形態による、顔及び首画像を分析するために使用される例示的な体組成分析回路の概略図である。

【図7】一実施形態による、身体画像を分析するために使用される例示的な体組成分析回路の概略図である。

【図8】一実施形態による、顔及び首に関連付けられた例示的な３次元深度マップ画像データの図である。

【図9】一実施形態による、図８に示すタイプの３次元深度マップ画像データの関連部分が体組成分析のためにどのように抽出され得るかを示す図である。

【図10】一実施形態による、身体フロントビューに対応する例示的な画像データの図である。

【図11】一実施形態による、身体サイドビューに対応する例示的な画像データの図である。

【図12】一実施形態による、図１０及び図１１に示すタイプの画像データの関連部分が体組成分析のためにどのように抽出され得るかを示す図である。

【図13】一実施形態による、異なる時間にキャプチャされた顔画像データが体組成分析のためにどのように位置合わせされ得るかを示す図である。

【図14】一実施形態による、異なる時間にキャプチャされた身体画像データが体組成分析のためにどのように位置合わせされ得るかを示す図である。

【図15】一実施形態による、ある期間にわたって収集され得る例示的なユーザスタディデータの図である。

【図16】一実施形態による、キャプチャされた画像データに基づいて体組成を推定することに関与する例示的なステップのフローチャートである。

【発明を実施するための形態】

【0011】

光学構成要素が設けられ得るタイプの例示的な電子デバイスの概略図が、図１に示されている。電子デバイス１０は、ラップトップコンピュータ、組み込み型コンピュータを含むコンピュータモニタ、タブレットコンピュータ、携帯電話、メディアプレーヤ、又は他のハンドヘルド若しくはポータブル電子デバイスなどのコンピューティングデバイス、スピーカ（例えば、音声制御アシスタント又は他の好適なスピーカ）、腕時計デバイス、ペンダントデバイス、ヘッドホン若しくはイヤホンデバイス、眼鏡に組み込まれたデバイス若しくはユーザの頭部に装着される他の機器、又は他のウェアラブル若しくはミニチュアデバイスなどのより小型なデバイス、テレビ、組み込み型コンピュータを含まないコンピュータディスプレイ、ゲーミングデバイス、ナビゲーションデバイス、ディスプレイを有する電子機器がキオスク又は自動車に搭載されるシステムなどの組み込み型システム、これらのデバイスのうちの２つ以上の機能を実装する機器、あるいは他の電子機器であってもよい。

【0012】

図１に示すように、電子デバイス１０は、制御回路１６を有し得る。制御回路１６は、デバイス１０の動作をサポートするための記憶及び処理回路を含み得る。記憶及び処理回路は、ハードディスクドライブ記憶装置、不揮発性メモリ（例えば、フラッシュメモリ、又はソリッドステートドライブを形成するように構成された他の電気的にプログラム可能な読み出し専用メモリ）、揮発性メモリ（例えば、静的又は動的なランダムアクセスメモリ）などの記憶装置を含み得る。制御回路１６における処理回路は、デバイス１０の動作を制御するために使用され得る。処理回路は、１つ以上のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、ベースバンドプロセッサ、電力管理ユニット、オーディオチップ、特定用途向け集積回路などに基づいてもよい。

【0013】

デバイス１０は、入出力デバイス１２などの入出力回路を有し得る。入出力デバイス１２は、ユーザ入力を収集するユーザ入力デバイスと、ユーザに出力を提供する出力構成要素と、を含み得る。デバイス１２はまた、通信回路を含み得、通信回路は、デバイス１０のためのデータを受信し、データをデバイス１０から外部デバイスに供給する。デバイス１２はまた、情報を環境から収集するセンサを含み得る。

【0014】

入出力デバイス１２は、ディスプレイ１４などの１つ以上のディスプレイを含み得る。ディスプレイ１４は、ユーザからのタッチ入力を収集するためのタッチセンサを含むタッチスクリーンディスプレイであってもよく、又はディスプレイ１４は、タッチ感応性でなくてもよい。ディスプレイ１４のためのタッチセンサは、静電容量式タッチセンサ電極のアレイ、音響タッチセンサ構造体、抵抗性タッチ構成要素、力ベースのタッチセンサ構造体、光ベースのタッチセンサ、又は他の好適なタッチセンサ装置に基づいてもよい。ディスプレイ１４は、液晶ディスプレイ、発光ダイオードディスプレイ（例えば、有機発光ダイオードディスプレイ）、電気泳動ディスプレイ、又は他のディスプレイであってもよい。

【0015】

入出力デバイス１２は、光学構成要素１８を含み得る。光学構成要素１８は、発光ダイオード及び他の光源を含み得る。一例として、光学構成要素１８は、光源２０（例えば、発光ダイオード）などの１つ以上の可視光源を含み得る。発光ダイオード２０は、（例えば、デバイス１０のためのフラッシュ光機能を実装するために）一定の照明を提供してもよく、及び／又は可視光画像センサ２６などの可視光カメラのためのフラッシュ照明のパルスを放射してもよい。光学構成要素１８はまた、赤外線光源２２などの赤外線光源（例えば、レーザ、ランプ、赤外線発光ダイオード、垂直キャビティ面発光レーザ（Vertical-Cavity Surface-Emitting Laser、ＶＣＳＥＬ）のアレイなど）を含み得る。赤外線光源２２は、９４０ｎｍなどの赤外線波長、８００～１１００ｎｍの範囲の波長などで、一定及び／又はパルス照明を提供することができる。例えば、赤外線光源２２は、赤外線画像センサ２８などの赤外線カメラのための一定の照明を提供することができる。赤外線画像センサ２８は、一例として、虹彩スキャン情報をユーザの眼からキャプチャするように構成されてもよく、及び／又は制御回路１６で実装される顔認識プロセスのための画像をキャプチャするために使用されてもよい。

【0016】

必要に応じて、赤外線光源２２は、フラッド照明（例えば、所与の領域を均一にカバーする拡散された赤外線）を提供するために、及び構造化光（例えば、コリメートされたドットのパターン）を提供するために使用され得る。フラッド照明は、（例えば、ユーザの顔を検出するために及び／又は深度マップを作成するために）外部物体の赤外線画像をキャプチャするために使用されてもよく、構造化光は、（例えば、ユーザの顔の３次元マップを得るために）深度マッピング動作を実行するために外部物体上に投影されてもよい。これは、単に例示である。他のタイプの深度センサ（例えば、間接飛行時間型センサ、ステレオカメラなど）が、必要に応じて使用されてもよい。

【0017】

光源２２がフラッド照明及び構造化光の両方を提供することを可能にするために、光源２２は、切り換え可能な拡散体、及びレーザなどのコリメートされた光源、又は垂直キャビティ面発光レーザのアレイを含み得る。フラッド照明が所望されるときに、拡散体は、光源からの光を拡散させるためにオンにされ得る。構造化照明が所望されるときに、拡散体は、コリメートされた光が無抑制の拡散体を通過することを可能にするためにオフにされ得る。光源２２における拡散体などの拡散体は、液晶材料、電気泳動材料、又は他の切り換え可能な光変調器から形成され得る。いくつかの実装形態では、光源２２は、ドットのパターンのレプリカを作成するために、回折光学要素（Diffractive Optical Element、ＤＯＥ）を介して光を投影する。しかしながら、これは、単に例示である。必要に応じて、赤外線光源２２は、フラッド照明を提供する第１の光源と、構造化光を提供する第２の光源と、を含み得る。

【0018】

光学構成要素１８はまた、光近接検出器２４と、周辺光センサ３０と、を含み得る。

【0019】

光近接検出器２４は、赤外線発光ダイオードなどの赤外線光源と、発光ダイオードからの赤外線光によって照明されている外部物体がデバイス１０の近傍にあるときを検出するための赤外線光検出器などの対応する光検出器と、を含み得る。

【0020】

周辺光センサ３０は、周辺光の強度を測定するモノクロ周辺光センサであってもよく、又は複数の光検出器で光測定を行うことによって周辺光色及び強度を測定する色周辺光センサであってもよく、複数の光検出器のそれぞれには、対応する色フィルタ（例えば、赤色光、青色光、黄色光、緑色光、又は他の色の光を通す色フィルタ）が設けられており、したがって、複数の光検出器のそれぞれは、異なる波長帯での周辺光に応答する。

【0021】

光学構成要素１８に加えて、入出力デバイス１２は、ボタン、ジョイスティック、スクロールホイール、タッチパッド、キーパッド、キーボード、マイクロフォン、スピーカ、トーン発生器、振動子、カメラ、発光ダイオード及び他のステータスインジケータ、非光学センサ（例えば、温度センサ、マイクロフォン、静電容量式タッチセンサ、力センサ、ガスセンサ、圧力センサ、デバイス向き及び動きを監視するセンサ、例えば、加速度計、コンパス、及び／又はジャイロスコープから形成された慣性測定ユニットなど）、データポートなどを含み得る。ユーザは、入出力デバイス１２を介してコマンドを供給することによってデバイス１０の動作を制御することができ、入出力デバイス１２の出力リソースを使用してステータス情報及び他の出力をデバイス１０から受信することができる。

【0022】

デバイス１０は、ハウジングを有し得る。ハウジングは、ラップトップコンピュータ筐体、腕時計のための筐体、携帯電話筐体、タブレットコンピュータ筐体、又は他の好適なデバイス筐体を形成することができる。例示的な電子デバイスの一部分の斜視図が、図２に示されている。図２の例では、デバイス１０は、ハウジング３２内に搭載されたディスプレイ１４などのディスプレイを含む。筐体又はケースとしばしば称され得るハウジング３２は、プラスチック、ガラス、セラミック、繊維複合材、金属（例えば、ステンレス鋼、アルミニウムなど）、他の好適な材料、又はこれらの材料のうちの任意の２つ以上の組み合わせから形成されてもよい。ハウジング３２は、ハウジング３２の一部若しくは全てが単一の構造体として機械加工又は成形されているユニボディ構成を使用して形成されてもよく、又は複数の構造体（例えば、内部フレーム構造体、外部ハウジング表面を形成する１つ以上の構造体など）を使用して形成されてもよい。ハウジング３２は、任意の好適な形状を有し得る。図２の例では、ハウジング３２は、長方形外形（上から見たときのフットプリント）を有し、４つの周縁（例えば、対向する上縁及び下縁と、対向する左縁及び右縁と）を有する。側壁は、ハウジング３２の周囲に沿って延びることができる。必要に応じて、ストラップが、（例えば、デバイス１０が腕時計又はヘッドマウントデバイスである構成において）ハウジング３２の主要部分に結合され得る。

【0023】

ディスプレイ１４は、透明ガラス、クリアプラスチック、サファイアの層、又は他のクリア層（例えば、デバイス１０の前面の一部若しくは全てを形成する又はデバイス１０の他の部分に搭載されている透明平面部材）などのディスプレイカバー層を使用して保護され得る。開口部が、ディスプレイカバー層において形成されてもよい。例えば、開口部は、ボタン、スピーカポート３４などのスピーカポート、又は他の構成要素を収容するために、ディスプレイカバー層において形成されてもよい。開口部は、通信ポート（例えば、オーディオジャックポート、デジタルデータポートなど）を形成する、ボタンのための開口部を形成するなどのために、ハウジング３２において形成されてもよい。いくつかの構成において、ハウジング３２は、平面ガラス部材又は他の透明層から形成された後部ハウジング壁（例えば、ディスプレイカバー層を含むデバイス１０の前面に対向するデバイス１０の後面上に形成された平面部材）を有し得る。

【0024】

ディスプレイ１４は、アクティブ領域ＡＡ内の画素３８のアレイ（例えば、液晶ディスプレイ画素、有機発光ダイオード画素、電気泳動ディスプレイ画素など）を有し得る。アクティブ領域ＡＡの画素３８は、デバイス１０のユーザのための画像を表示することができる。アクティブ領域ＡＡは、長方形であってもよく、アクティブ領域ＡＡの縁のうちの１つ以上に沿ってノッチを有してもよく、円形であってもよく、楕円形であってもよく、丸コーナーを有する長方形であってもよく、及び／又は他の好適な形状を有してもよい。

【0025】

非アクティブ境界領域ＩＡなどのディスプレイ１４の非アクティブ部分は、アクティブ領域ＡＡの１つ以上の縁に沿って形成され得る。非アクティブ境界領域ＩＡは、回路、信号ライン、及び画像を形成するための光を放射しない他の構造体に重なることができる。境界領域ＩＡ内の非アクティブ回路及び他の構成要素を、デバイス１０のユーザに見えないように隠すために、ディスプレイ１４の最外層（例えば、ディスプレイカバー層又は他のディスプレイ層）の下側は、黒色インク（例えば、黒色染料及び／又は黒色顔料を含有するポリマー、他の色の不透明材料など）の層、及び／又は他の層（例えば、金属、誘電体、半導体など）などの不透明マスキング材料でコーティングされ得る。これらなどの不透明マスキング材料はまた、ガラス、セラミック、ポリマー、サファイアなどの結晶性透明材料、又は他の透明材料から形成された平面後部ハウジング壁の内部表面上に形成され得る。

【0026】

図２の例では、スピーカポート３４は、ハウジング３２の上周縁に対して平行な寸法に沿って延びる細長い開口部（例えば、ストリップ形状の開口部）から形成されている。スピーカは、スピーカポート３４のための開口部と位置合わせされてデバイスハウジング３２内に搭載され得る。デバイス１０の動作中に、スピーカポート３４は、デバイス１０のユーザのためのイヤースピーカポートとして機能する（例えば、ユーザは、通話中にユーザの耳に隣接して開口部３４を置くことができる）。

【0027】

光学構成要素１８（例えば、可視デジタル画像センサ、赤外線デジタル画像センサ、光ベースの近接センサ、周辺光センサ、一定及び／又はパルス照明を提供する可視及び／又は赤外線発光ダイオードなど）は、光学構成要素窓４０などの１つ以上の光学構成要素窓の下に搭載され得る。図２の例では、窓４０のうちの４つは、円形外形（例えば、上から見たときの円形フットプリント）を有し、窓４０のうちの１つは、細長いストリップ形状の開口部（例えば、上から見たときの細長いストリップ形状フットプリント）を有する。細長い窓４０は、デバイス１０の上周縁に沿う側壁とスピーカポート３４との間に搭載されており、ハウジング３２の上周縁に対して平行に延びる。必要に応じて、光学窓４０などの窓は、円形及び長方形形状以外の形状を有してもよい。図２の例は、単に例示である。

【0028】

窓４０などの光学構成要素窓は、ディスプレイ１４の非アクティブ領域ＩＡ（例えば、ハウジング３２の上周縁に沿って延びる非アクティブ表示領域などの、ディスプレイカバー層における非アクティブ境界領域）内に形成されてもよく、又は不透明マスキング材料でコーティングされた透明部材から形成された後部ハウジング壁の部分、金属ハウジング壁の部分、ポリマー壁構造体などのデバイス１０の他の部分において形成されてもよい。図２の例では、窓４０は、ディスプレイ１４のためのディスプレイカバー層におけるスピーカポート開口部３４とハウジング３２の上縁に沿う側壁との間でハウジング３２の上周縁に隣接して形成されている。いくつかの構成において、不透明マスキング層は、非アクティブ領域ＩＡ内のディスプレイカバー層の下側に形成されており、光学窓４０は、不透明マスキング層内の開口部から形成されている。光学窓４０が不透明マスキング層と視覚的にブレンドするのを助長するために、暗いインク層、金属層、誘電体層のスタックから形成された薄膜干渉フィルタ、及び／又は他の構造体は、オーバーラップ窓４０であってもよい。

【0029】

デバイス１０における赤外線発光体及び赤外線検出器は、３次元深度センサを形成するために使用され得る。図３は、デバイス１０における例示的な深度センサ３６の側面図であり、深度センサ３６は、眼スキャン情報、顔画像（例えば、デバイス１０のユーザを認証するための顔認識動作の実行において使用するためのユーザの顔の画像、アニ文字を生成するためのユーザの顔及び首の画像など）、身体画像（例えば、動き追跡又は身体セグメント化の実行において使用するためのユーザの身体の画像）、及び／又は他の３次元深度マッピング情報などの３次元深度マップを生成するために使用され得る。深度センサ３６は、赤外線光発光体２２と、赤外線光検出器２８と、を含み得る。デバイス１０は、赤外線光４８を生成するために、赤外線光源２２（例えば、赤外線発光ダイオード、赤外線レーザなど）を使用し得る。光４８は、外部物体４４（例えば、ユーザの顔及び／又は眼）などの、デバイス１０の近傍にある外部物体を照明することができる。外部物体４４から反射された赤外線光４６は、顔及び／又は眼の赤外線画像（例えば、３次元深度マップ）を生成するために、赤外線デジタル画像センサ２８を使用して受光及び撮像され得る。深度情報はまた、適切なソフトウェアアルゴリズムを可視及び／若しくは近赤外線映像に適用することによって、並びに／又はデバイスにおける任意の他の好適な深度センサを使用することによって、キャプチャされ得る。

【0030】

赤外線光源２２は、赤外線カメラ２８によって収集される赤外線情報のタイプに依存して、異なるモードで動作することができる。例えば、フラッド照明モードでは、光源２２は、所望の対象領域を均一にカバーする拡散光を放射することができる。構造化光モードでは、光源２２は、光の既知のパターンを所望の対象領域上に放射することができる。

【0031】

図４は、光源２２がフラッド照明モードで動作するときの光源２２からの照明を示す。図４に示すように、光源２２は、外部物体４４の所与の領域を連続的にカバーする拡散赤外線光５６を放射することができる。赤外線カメラ２８は、拡散的に照明された外部物体４４の赤外線画像をキャプチャすることができる。いくつかの配置において、光源２２からのフラッド照明は、顔識別動作中にユーザの顔を検出するために使用され得る。

【0032】

図５は、光源２２が構造化光モードで動作するときの光源２２からの照明を示す。構造化光モードでは、光源２２は、赤外線５６の既知のパターンを外部物体４４上に投影することができる。図５の例では、赤外線光５６は、ドットのパターンを外部物体４４上に形成する。ドットは、規則的なグリッドアレイでの（例えば、互いに均一に離間する）ドットであってもよく、又はドットは、ランダムスペックルパターンで投影されてもよい。しかしながら、これは、単に例示である。必要に応じて、光源２２は、構造化光を他のパターン（例えば、水平ライン、垂直ライン、水平ライン及び垂直ラインのグリッド、又は他の好適な所定のパターン）で放射することができる。図５の構造化赤外線光５６は、レーザ干渉に基づいてもよく、又は所望のパターンを作成するために空間光変調器を介して赤外線光を放射する投影表示要素に基づいてもよい。

【0033】

いくつかの配置において、光源２２は、フラッド照明を提供する１つの光源と、構造化光を提供する別の光源と、を含み得る。他の配置において、同じ光源が、フラッド照明及び構造化光の両方を提供するために使用され得る。これは、光源から放射された光を選択的に拡散する切り替え可能な拡散体要素を使用して達成され得る。

【0034】

光学構成要素１８を使用して収集されるデータは、体組成評価などの１つ以上の健康関連アプリケーションのために使用され得る。例えば、制御回路１６は、ユーザの顔、首、及び／又は身体の画像（例えば、可視画像、赤外線画像、３次元深度マップ画像など）をキャプチャするために、光学構成要素１８を使用してもよく、次いで、これらの画像は、体型指数、体脂肪率（例えば、全身の脂肪率、個々の身体部分における脂肪率、並びに／又は皮下及び内臓区画などの異なる脂肪貯蔵区画における脂肪率）、骨質量、及び／又は他の健康関連情報などのユーザ特有の体組成情報を提供するために分析されてもよい。

【0035】

制御回路１６は、ユーザ画像データを体組成情報にマッピングするための１つ以上のモデルを記憶することができる。モデルは、統計モデルであってもよく、機械学習モデルであってもよく、統計モデリング及び機械学習の組み合わせに基づくモデルであってもよく、又は複数の機械学習モデルの組み合わせであってもよい。機械学習を使用して訓練されるモデルは、主成分分析、オートエンコーダ、及び／又は任意の他の好適なデータ圧縮技法を使用して実装され得る。

【0036】

オートエンコーダは、データの寸法を低減することによってデータを潜在空間にエンコードするように学習する人工ニューラルネットワークである。オートエンコーダは、出力と入力との間の損失を最小にするために、入力の分布を潜在空間内にエンコードするように訓練される。主成分分析は、冗長情報を除去することと、入力データの最も重要な特徴（例えば、最高分散を有する特徴）をキャプチャすることと、によって、入力データの次元を低減する。主成分分析は、一般に、線形マッピングに制限されており、エンコーダは、線形性制約を有さない。

【0037】

図６は、体組成を顔及び／又は首画像から判定するために使用される体組成分析回路５８の概略図である。体組成分析回路５８は、制御回路１６の一部分であってもよく、及び／又はスタンドアロン回路として実装されてもよい。体組成分析回路５８は、顔及び首画像データ（例えば、深度センサ３６からのユーザの顔及び／又は首の３次元深度マップデータ、可視画像センサ２６からのユーザの顔及び／又は首の可視画像など）、及び任意選択の追加のユーザデータ（例えば、性別、身長、体重、年齢、民族性などのユーザ特有の人口統計情報、並びに／又はデバイス１０に記憶された及び／若しくはそうでなければ回路５８に提供された他のユーザデータ）などの情報を受信することができる。受信された顔及び首画像データ、並びに受信された任意選択のユーザ人口統計データに基づいて、体組成分析回路５８は、体型指数、体脂肪率、顔及び首の脂肪率、骨質量、並びに／又は他の健康関連情報などの推定体組成情報を出力することができる。必要に応じて、ユーザ人口統計情報は、省略されてもよく、体組成分析回路５８は、キャプチャされた顔及び首画像データのみに基づいてユーザの体組成を推定してもよい。

【0038】

必要に応じて、顔及び首画像データは、（例えば、深度センサ３６が、体組成分析のための顔及び首画像を得るために具体的に使用されているときに）専用の体組成分析の一部分として収集されてもよく、及び／又は深度センサ３６が、ある他の目的で既に使用されているときに（例えば、深度センサ３６が、顔認識及びユーザ認証目的で既に使用されている、深度センサ３６が、アニ文字を作成するために、又はユーザの顔表現のキャプチャを含む他の仮想現実アプリケーションを作成するために既に使用されているときになど）収集されてもよい。顔及び首画像データは、異なる時刻において及び／又は複数の日にわたってキャプチャされた、顔及び首の１つ以上の画像を含み得る。

【0039】

ユーザ人口統計情報は、専用の体組成分析アンケートの一部分としてユーザから受信されてもよく、及び／又はある他の健康関連アプリケーションの一部分としてユーザから受信されてもよい。

【0040】

体組成分析回路５８は、ユーザスタディからのデータを使用して訓練されるモデルを記憶することができる。例えば、データは、所与の期間（例えば、１か月、２か月、３か月、６か月、８か月、１０か月、１年、１年超、１年未満などにわたって参加者のグループ（例えば、１０人の参加者、５０人の参加者、１００人の参加者、１０００人の参加者、及び／又は任意の他の好適な数の参加者）から収集されてもよい。スタディ中のデータ収集の時点のそれぞれにおいて、スタディ参加者の顔及び首形状及びサイズが測定され得、ユーザの体組成が測定され得る。顔及び首形状及びサイズは、図３に示すタイプの３次元深度センサを使用して、身体計測値（例えば、身体ランドマーク及び測定値）を使用して、及び／又は任意の他の好適な測定デバイス（例えば、３次元ボディースキャナ）を使用して、測定され得る。体組成は、磁気共鳴画像法、二重エネルギーＸ線吸収測定法、空気変位プレチスモグラフィ、水中秤量法などの任意の好適な体組成追跡技術を使用して測定され得る。代替として、モデルは、顔及び首における脂肪率を予測するように訓練され得る。ユーザスタディ中に収集されたデータは、デバイス１０における体組成分析回路５８に記憶されたモデルを訓練するための訓練データとして機能し得る。

【0041】

体組成分析回路５８は、潜在空間内の入力データの次元を低減するために、主成分分析、オートエンコーダ、及び／又は任意の他の好適なデータ圧縮技法を使用することができる。例えば、潜在空間は、被写体のアイデンティティを記述するアイデンティティ潜在空間と、被写体の顔表現を記述する表現潜在空間と、被写体の首姿勢を記述する姿勢潜在空間と、を含み得る。顔表現潜在空間及び首姿勢潜在空間を含むことによって、体組成分析回路５８は、被写体の推定体組成を出力するためにのみアイデンティティ潜在空間を使用することによって、顔表現及び首姿勢の効果を補償することができる。加えて、転移学習方法が、他のデータを使用する事前訓練された機械学習モデルを選択的に強化するために使用され得る。

【0042】

図７は、体組成分析回路５８の概略図である体組成を顔及び／又は首画像から判定する。体組成分析回路５８は、制御回路１６の一部分であってもよく、及び／又はスタンドアロン回路として実装されてもよい。体組成分析回路５８は、身体画像データ（例えば、深度センサ３６からのユーザの身体の３次元深度マップデータ、可視画像センサ２６からのユーザの身体の可視画像など）、及び任意選択の追加のユーザデータ（例えば、性別、身長、体重、年齢、民族性などのユーザ特有の人口統計情報、並びに／又はデバイス１０に記憶された及び／若しくはそうでなければ回路５８に提供された他のユーザデータ）などの情報を受信することができる。受信された身体画像データ及び受信された任意選択のユーザ人口統計データに基づいて、体組成分析回路５８は、体型指数、体脂肪率、骨質量、及び／又は他の健康関連情報などの推定体組成情報を出力することができる。必要に応じて、ユーザ人口統計情報は、省略されてもよく、体組成分析回路５８は、キャプチャされた身体画像データのみに基づいてユーザの体組成を推定してもよい。

【0043】

体組成分析回路５８は、任意の好適なモデルを使用して体組成を分析することができる。２区画モデルでは、身体は、２つの区画、脂肪に対応する第１の区画と、脂肪以外の全て（例えば、筋肉、骨など）に対応する第２の区画と、から構成されていると想定される。３区画モデルでは、身体は、内臓脂肪と、皮下脂肪と、無脂肪と、から構成されていると想定される。必要に応じて、体組成分析回路５８は、３区画モデルを使用してもよく、ユーザの画像に基づいて、ユーザにおける内臓脂肪、皮下脂肪、及び無脂肪の量を推定してもよい。体組成分析回路５８は、身体の具体的な領域の体組成（例えば、どれほどの内臓脂肪及び皮下脂肪が、ユーザの胴体において位置するか）を推定してもよく、又は身体全体にわたる体組成（例えば、内臓脂肪及び皮下脂肪の総量が、ユーザの身体にわたってどのように分布しているか）を推定してもよい。

【0044】

必要に応じて、身体画像データは、（例えば、深度センサ３６が、体組成分析のための身体画像を得るために具体的に使用されているときに）専用の体組成分析の一部分として収集されてもよく、及び／又は深度センサ３６が、ある他の目的で既に使用されているときに（例えば、深度センサ３６が、ある他の身体スキャンニング目的で既に使用されているときに）収集されてもよい。身体画像データは、異なる時刻において及び／又は複数の日にわたって異なるビュー（例えば、フロントビュー、サイドプロファイルビュー、バックビューなど）からキャプチャされた、身体の１つ以上の画像を含み得る。画像データは、被写体が呼吸及び／又は移動している間に撮られた映像からの画像などの一連の画像を含み得る。

【0045】

ユーザ人口統計情報は、専用の体組成分析アンケートの一部分としてユーザから受信されてもよく、及び／又はある他の健康関連アプリケーションの一部分としてユーザから受信されてもよい。

【0046】

体組成分析回路５８は、ユーザスタディからのデータを使用して訓練されるモデルを記憶することができる。例えば、データは、所与の期間（例えば、１か月、２か月、３か月、６か月、８か月、１０か月、１年、１年超、１年未満などにわたって参加者のグループ（例えば、１０人の参加者、５０人の参加者、１００人の参加者、１０００人の参加者、及び／又は任意の他の好適な数の参加者）から収集されてもよい。スタディ中のデータ収集の時点のそれぞれにおいて、スタディ参加者の身体形状及びサイズが測定され得、ユーザの体組成が測定され得る。身体形状及びサイズは、図３に示すタイプの３次元深度センサを使用して、身体計測値（例えば、身体ランドマーク及び測定値）を使用して、及び／又は任意の他の好適な測定デバイス（例えば、３次元ボディースキャナ）を使用して、測定され得る。体組成は、磁気共鳴画像法、二重エネルギーＸ線吸収測定法、空気変位プレチスモグラフィ、水中秤量法などの任意の好適な体組成追跡技術を使用して測定され得る。代替として、モデルは、身体における脂肪率を予測するように訓練され得る。ユーザスタディ中に収集されたデータは、デバイス１０における体組成分析回路５８に記憶されたモデルを訓練するための訓練データとして機能し得る。

【0047】

体組成分析回路５８は、潜在空間内の入力データの次元を低減するために、主成分分析、オートエンコーダ、及び／又は任意の他の好適なデータ圧縮技法を使用することができる。例えば、潜在空間は、被写体のアイデンティティを記述するアイデンティティ潜在空間と、被写体の呼吸状態を記述する呼吸状態潜在空間と、被写体の身体姿勢を記述する姿勢潜在空間と、を含み得る。呼吸状態潜在空間及び身体姿勢潜在空間を含むことによって、体組成分析回路５８は、被写体の推定体組成を出力するためにのみアイデンティティ潜在空間を使用することによって、呼吸及び身体姿勢の効果を補償することができる。加えて、転移学習方法が、他のデータを使用する事前訓練された機械学習モデルを選択的に強化するために使用され得る。

【0048】

体組成分析回路５８が画像データを体組成にマッピングするために使用するモデルは、脂肪を体液から区別するのを助長するために様々な要因を考慮することができる。体組成分析回路５８は、脂肪と体液蓄積との間を区別するために、脂肪及び水貯蔵の既知の領域を使用することができる。例えば、眼の下の弛み（bags under the eyes）は、脂肪貯蔵ではなく体液貯留の指標であり得る。関節、足、及び腕の周りの領域は、脂肪貯蔵領域ではなく体液貯留領域である傾向がある。

【0049】

図８は、顔及び／又は首画像データを使用するときに体組成を判定するために使用され得る例示的なデータを示す図である。図８に示すように、キャプチャされた画像データ６０（例えば、キャプチャされた顔及び首画像データ）は、ユーザの顔及び首の３次元深度マップを含み得る。顔及び首画像データ６０は、ユーザの顔及び首にわたる異なる場所までの深度を表すデータポイントのアレイを含み得る。画像データ６０は、必要に応じて、図３の深度センサ３６によってキャプチャされ得る。

【0050】

必要に応じて、画像データ６０の全てが、体組成分析動作中に使用されてもよく、又は画像データ６０の一部分のみが、体組成分析動作中に使用されてもよい。体脂肪は、頬及び首における領域などのある脂肪ポケット内に貯蔵される傾向があるため、これらの領域は、他の領域よりも体組成をより示し得る。例えば、ユーザの額の形状は、ユーザの体脂肪が変化するにつれてわずかな変動を呈し得、頬及び首の部分は、体組成における変化に直接相関する検出可能な変化を呈し得る。必要に応じて、体組成分析回路５８は、データ６０のある部分、例えば、体組成分析のための領域６２内のデータなどを選択することができ、残りのデータをデバイス１０から削除することができる。領域６２内のデータを選択し、残りのデータを削除した後、体組成分析回路５８は、図９のデータ６０’を使用して体組成分析を進めることができる。

【0051】

図１０及び図１１は、身体画像を使用するときに体組成を判定するために使用され得る例示的なデータを示す図である。図１０に示すように、キャプチャされた画像データ６０（例えば、キャプチャされた身体画像データ６０）は、フロントビューからキャプチャされたユーザの身体の１つ以上の３次元深度マップを含み得る。図１１は、キャプチャされた身体画像データ６０が、サイドプロファイルビューからキャプチャされたユーザの身体の１つ以上の３次元深度マップをどのように含み得るかを示す。身体画像データ６０は、ユーザの身体にわたる異なる場所までの深度を表すデータポイントのアレイを含み得る。画像データ６０は、必要に応じて、図３の深度センサ３６によってキャプチャされ得る。しかしながら、これは、単に例示である。必要に応じて、画像データ６０は、異なるタイプの深度センサ（例えば、構造化光を使用しない深度センサ）によってキャプチャされた深度画像データであってもよく、可視光カメラを使用してキャプチャされた可視光画像データであってもよく、赤外線センサによってキャプチャされた赤外線画像データであってもよく、又は他の好適な画像データであってもよい。

【0052】

いくつかの配置において、データ６０は、全身体画像をキャプチャするのにユーザから十分に遠くに置かれている、デバイス１０におけるセンサを使用して、収集され得る。例えば、デバイス１０は、ユーザが全身体画像をキャプチャするのにユーザから十分に遠くに立っている間に画像データ６０をキャプチャするセンサを有するテレビであってもよく、又はデバイス１０は、携帯電話、ラップトップ、タブレットコンピュータなどのポータブル電子デバイス、又はユーザが離れて立つ間にユーザの全身体画像をキャプチャするために１つの場所に立てかけられ得る他の電子デバイスであってもよい。必要に応じて、デバイス１０は、第１のユーザ（例えば、体力トレーナ）が第２のユーザ（例えば、トレーナのクライアント）を離れて見ている間に装着するヘッドマウントデバイス又は任意の他の好適な電子デバイスであり得る。ヘッドマウントデバイスは、第２のユーザがデバイス１０を装着する第１のユーザから離れて立つ間に第２のユーザの画像データ６０をキャプチャするセンサを有し得る。電子デバイスは、ユーザの画像をキャプチャしている間に自己動作することができる。必要に応じて、電子デバイスは、ユーザの画像をキャプチャしている間に、固定取り付け具に取り付けられ得る。

【0053】

いくつかの配置において、データ６０は、ユーザの手に保持されるハンドヘルド電子デバイスによって（例えば、デバイス１０における前面画像センサを使用して）収集され得る。画像歪みは、糸巻形歪み修正、キーストーン補正、及び／又は任意の他の好適な歪み補償技法を使用して補正され得る。必要に応じて、歪みを呈しないユーザの顔の画像が、全身体画像における歪みを除去するために使用され得る。例えば、ユーザの顔の寸法は、歪みを有さない顔画像から判定され得、次いで、ユーザの顔の判定された寸法は、全身体画像をスケーリングするために使用され得、このため、制御回路１６は、全身体画像に基づいてユーザの身体の寸法を判定することができる。デバイス１０におけるモーションセンサ（例えば、加速度計、ジャイロスコープ、コンパスなど）からの向き情報はまた、ユーザの身体のサイズのより正確な写真を得るために、歪みを全身体画像から除去するために使用され得る。体組成分析回路５８が身体の異なる部分の複数の写真を一緒にステッチする配置がまた使用されてもよい。

【0054】

いくつかの配置では、画像データ６０は、ユーザの身体の一部分のみの画像を含み得る。例えば、画像データ６０は、ユーザの胴体のみの画像を含む胴体画像データ、ユーザの二頭筋の画像を含む二頭筋画像データ、ユーザの脚のみの画像を含む脚画像データ、及び／又は他の好適な画像データであってもよい。ユーザの身体のある一部分の画像は、（例えば、胴体、二頭筋などにおける内臓及び／又は皮下脂肪を追跡するために）ユーザの身体の該特定の一部分における体組成を判定するために使用され得る。

【0055】

必要に応じて、画像データ６０の全てが、体組成分析動作中に使用されてもよく、又は画像データ６０の一部分のみが、体組成分析動作中に使用されてもよい。体脂肪は、顔、首、ウエスト、ヒップ、及び大腿における領域などのある脂肪ポケット内に貯蔵される傾向があるため、これらの領域は、他の領域よりも体組成をより示し得る。例えば、ユーザの額の形状は、ユーザの体脂肪が変化するにつれてわずかな変動を呈し得、頬、首、及びウエストの部分は、体組成における変化に直接相関する検出可能な変化を呈し得る。必要に応じて、体組成分析回路５８は、データ６０のどの部分が、体組成と強く相関する身体の領域、例えば、領域６２内のデータなどに対応するかを判定することができ、残りのデータをデバイス１０から削除することができる。領域６２内のデータを選択し、残りのデータを削除した後、体組成分析回路５８は、図１２のデータ６０’を使用して体組成分析を進めることができる。

【0056】

必要に応じて、体組成分析回路５８は、異なる時間においてキャプチャされた顔、首、及び／又は身体画像を比較することによって、体組成における経時的変化を追跡することができる。図１３は、体組成分析回路５８が異なる時間においてキャプチャされた顔画像をどのように比較し得るかを示す図である。図１３に示すように、画像６４は、第１の時間において深度センサ３６によってキャプチャされた画像を表し得、画像６４’は、第２の時間において深度センサ３６によってキャプチャされた画像を表し得る。第１の時間と第２の時間との間の体組成変化を追跡するために、体組成分析回路５８は、経時的変化が最も少なく期待される、画像６４の部分及び画像６４’の部分を位置合わせすることができる。例えば、ユーザの眼、鼻、耳、及び／又は他の顔特徴は、わずかな経時的変化を呈し得、したがって、異なる時間においてキャプチャされた画像を位置合わせするための良好なアンカーとして機能することができる。図１３に示すように、例えば、体組成分析回路５８は、画像６４の眼６４Ｅを画像６４’の眼６４Ｅ’と位置合わせすることができ、これによって、体組成分析回路５８がユーザの頬及び首などの顔の他の領域の形状及びサイズにおける変化をより正確に追跡することを可能にする。必要に応じて、体組成分析回路５８は、顔及び首形状及びサイズにおける変化を体組成における変化にマッピングするモデルを記憶することができる（例えば、必要に応じて、体組成分析回路５８は、画像６４と画像６４’との間の差を、体脂肪における対応する変化にマッピングすることができる）。

【0057】

図１４は、体組成分析回路５８が異なる時間においてキャプチャされた身体画像をどのように比較し得るかを示す図である。図１４に示すように、画像６４は、第１の時間において深度センサ３６によってキャプチャされた画像を表し得、画像６４’は、第２の時間において深度センサ３６によってキャプチャされた画像を表し得る。第１の時間と第２の時間との間の体組成変化を追跡するために、体組成分析回路５８は、経時的変化が最も少なく期待される、画像６４の部分及び画像６４’の部分を位置合わせすることができる。例えば、ユーザの眼、鼻、耳、他の顔特徴、並びに四肢及び／又は骨格長さは、わずかな経時的変化を呈し得、したがって、異なる時間においてキャプチャされた画像を位置合わせするための良好なアンカーとして機能することができる。図１４に示すように、例えば、体組成分析回路５８は、画像６４の眼６４Ｅを画像６４’の眼６４Ｅ’と位置合わせすることができ、これによって、体組成分析回路５８がユーザの顔、首、及びウエストなどの身体の他の領域の形状及びサイズにおける変化をより正確に追跡することを可能にする。必要に応じて、体組成分析回路５８は、身体形状及びサイズにおける変化を体組成における変化にマッピングするモデルを記憶することができる（例えば、必要に応じて、体組成分析回路５８は、画像６４と画像６４’との間の差を、体脂肪における対応する変化にマッピングすることができる）。

【0058】

図１５は、データが、デバイス１０における体組成分析回路５８に記憶されたモデルを訓練するための１つ以上のユーザスタディ中にどのように収集され得るかを示す図である。図１５に示すように、データ６６は、時間ｔ０、時間ｔ１、時間ｔ２などから時間ｔｎまでにおいて、所与のユーザ集団から収集され得る。データ６６は、参加者の顔、首、及び／又は身体形状及びサイズの測定値、並びに参加者の体脂肪の測定値を含み得る。データ６６は、ユーザスタディの全体にわたって、１日に１回、１週間に１回、１か月に１回、又は任意の他の好適な頻度（cadence）で収集され得る。スタディは、１か月、２か月、３か月、６か月、８か月、１０か月、１年、１年超、１年未満などの期間にわたり得る。

【0059】

スタディ中のデータ収集の時点のそれぞれにおいて（例えば、時間ｔ０、ｔ１、ｔ２、．．．ｔｎにおいて）、参加者のそれぞれの顔、首、及び／又は身体形状及びサイズが測定され得、参加者の体組成が測定され得る。訓練データは、全身体測定値を含んでもよく、及び／又は身体セグメント測定値（例えば、二頭筋測定値、胴体測定値、脚測定値など）を含んでもよい。デバイス１０に記憶されたモデルを身体セグメントデータに基づいて訓練することは、ユーザが具体的な身体部分の変化を追跡することを可能にし得る。例えば、ユーザは、ユーザの二頭筋の写真を撮るためにデバイス１０を使用することができ、体組成分析回路５８は、データ６６に含まれた二頭筋訓練データに基づいて、二頭筋の画像を筋肉量値にマッピングすることができる。

【0060】

顔、首、及び／又は身体形状及びサイズは、図３に示すタイプの３次元深度センサを使用して、身体計測値（例えば、身体ランドマーク及び測定値）を使用して、及び／又は任意の他の好適な測定デバイス（例えば、３次元ボディースキャナ）を使用して、測定され得る。体組成は、磁気共鳴画像法、二重エネルギーＸ線吸収測定法、空気変位プレチスモグラフィ、水中秤量法などの任意の好適な体組成追跡技術を使用して測定され得る。脂肪データは、（例えば、四肢、胴体、下腹部、上腹部、胸、首、頭部、及び顔などの身体部分の体脂肪を得るため）例えば、磁気共鳴画像法又は二重エネルギーＸ線吸収測定法などの局所的方法を使用して測定され得る。ユーザスタディ中に収集されたデータ６６は、デバイス１０における体組成分析回路５８に記憶されたモデルを訓練するための訓練データとして機能し得る。必要に応じて、スタディの全体にわたって異なる時間においてキャプチャされた所与の参加者の顔、首、及び／又は身体の画像は、図１３及び図１４に関連して記載されたタイプの技法を使用して位置合わせ及び比較され得る。

【0061】

図１６は、デバイス１０の動作中にキャプチャされた画像に基づいてユーザの体組成を推定することに関与する例示的なステップのフローチャートである。

【0062】

ブロック１００の動作中に、体組成分析回路５８は、ユーザの顔、首、及び／又は身体の１つ以上の画像をキャプチャするために、デバイス１０における１つ以上の光学構成要素１８を使用することができる。例えば、深度センサ３６は、ユーザの顔、首、及び／若しくは身体の３次元深度マップ画像をキャプチャすることができ、可視画像センサ２６は、ユーザの顔、首、及び／若しくは身体の可視画像をキャプチャすることができ、並びに／又はデバイス１０における他の光学構成要素１８が、ユーザの顔、首、及び／若しくは身体の画像データを収集するために使用され得る。

【0063】

身体画像については、画像データは、身体を頭部から足までスキャンすること、身体全体を１つの画像フレームでキャプチャすること、及び／又は顔、首、ウエスト、脚などの身体の異なる部分の複数の画像フレームをキャプチャすることによって、キャプチャされ得る。身体画像データは、図１０及び図１１に示すように身体フロントビュー及び身体サイドビューを含み得る。画像データはまた、被写体が呼吸及び／又は移動している間に撮られた映像からの画像などの一連の画像でキャプチャされ得る。

【0064】

顔、首、及び／又は身体画像データは、（例えば、深度センサ３６が、体組成分析のための顔、首、及び／又は身体画像を得るために具体的に使用されているときに）専用の体組成分析の一部分として収集されてもよく、及び／又は深度センサ３６が、ある他の目的で既に使用されているときに（例えば、深度センサ３６が、顔認識及びユーザ認証目的で既に使用されている、深度センサ３６が、アニ文字を作成するために、又はユーザの顔表現のキャプチャを含む他の仮想現実アプリケーションを作成するために既に使用されているときになど）収集されてもよい。顔、首、及び／又は身体画像データは、異なる時刻において及び／又は複数の日にわたって異なる視点からキャプチャされた、顔、首、及び／又は身体の１つ以上の画像を含み得る。

【0065】

ブロック１０２の動作中に、体組成分析回路５８は、ブロック１００中にキャプチャされた画像を分析することができ、キャプチャされた画像のどの領域が体組成分析に関連するかを識別することができる。これは、画像データのどの領域が、体組成と強く相関する領域（例えば、図８、図９、図１０、図１１、及び図１２の領域６２）に対応するかを識別することを含み得る。例えば、顔領域（例えば、頬領域）、首領域、及び／又はウエスト領域に対応する画像データは、体組成分析のために保存され得る。体組成と強く相関しない画像データの領域は、必要に応じて、削除されてもよく、又はそうでなければ使用されなくてもよい。

【0066】

ブロック１０４の動作中に、体組成分析回路５８は、ブロック１０２中に識別された関連画像データを潜在空間にエンコードすることができる。これは、オートエンコーダ、主成分分析、及び／又は他のデータ圧縮技法を使用して、画像データの次元を低減することを含み得る。例えば、体組成のための関連画像データが、数千のデータポイントを含む場合、体組成分析回路５８は、関連画像データを（例示として）数百のデータポイントに圧縮することができる。

【0067】

顔及び首画像については、潜在空間は、被写体のアイデンティティを記述するアイデンティティ潜在空間と、被写体の顔表現を記述する表現潜在空間と、被写体の首姿勢を記述する姿勢潜在空間と、を含み得る。潜在空間は、統計モデリング、深層学習技法（例えば、オートエンコーダ、一次成分分析（primary component analysis）など）に基づいてもよく、並びに／又は統計モデリング及び深層学習の組み合わせに基づいてもよい。

【0068】

身体画像については、潜在空間は、被写体のアイデンティティを記述するアイデンティティ潜在空間と、被写体の呼吸状態を記述する呼吸状態潜在空間と、被写体の身体姿勢を記述する身体姿勢潜在空間と、を含み得る。潜在空間は、統計モデリング、深層学習技法（例えば、オートエンコーダ、一次成分分析など）に基づいてもよく、並びに／又は統計モデリング及び深層学習の組み合わせに基づいてもよい。

【0069】

ブロック１０６の動作中に、体組成分析回路５８は、アイデンティティ潜在空間のみを抽出する（例えば、表現潜在空間及び首姿勢潜在空間を除去する）ことによって、顔／首の画像における顔表現及び首姿勢の効果を補償することができる。身体画像については、体組成分析回路５８は、アイデンティティ潜在空間のみを抽出する（例えば、呼吸状態潜在空間及び身体姿勢潜在空間を除去する）ことによって、呼吸及び身体姿勢の効果を補償することができる。

【0070】

ブロック１０８の動作中に、体組成分析回路５８は、アイデンティティ潜在空間内の画像データに基づいて、体組成を推定することができる。例えば、（例えば、図６及び図７に関連して記載されているように）１つ以上のユーザスタディで訓練されるモデルを使用して、体組成分析回路５８は、圧縮画像データ（例えば、ユーザの頬及び首のサイズ及び／又は形状を表す圧縮データセット、ユーザのウエストのサイズ及び／又は形状を表す圧縮データセットなど）を、体型指数、体脂肪率（例えば、全身の脂肪率、個々の身体部分における脂肪率、並びに／又は皮下及び内臓区画などの異なる脂肪貯蔵区画における脂肪率）、骨質量、及び／又は他の健康関連情報などの体組成情報にマッピングすることができる。体組成分析回路５８によって提供される体組成情報は、推定現在体組成値（例えば、体脂肪率値、体型指数値、又は骨質量値）であり得、及び／又はある体組成パラメータにおける推定変化（例えば、体型指数、体脂肪率、骨質量などの所与の体組成パラメータにおける増加又は減少の量）であり得る。必要に応じて、体組成分析回路５８はまた、ユーザの体組成を判定するために、任意の使用可能なユーザ人口統計情報（例えば、性別、身長、体重、年齢、民族性、並びに／又はデバイス１０に記憶された及び／若しくはそうでなければ回路５８に提供された他のユーザデータ）を考慮することができる。

【0071】

体組成分析回路５８は、任意の好適なモデルを使用して体組成を分析することができる。２区画モデルでは、身体は、２つの区画、脂肪に対応する第１の区画と、脂肪以外の全て（例えば、筋肉、骨など）に対応する第２の区画と、から構成されていると想定される。３区画モデルでは、身体は、内臓脂肪と、皮下脂肪と、無脂肪と、から構成されていると想定される。必要に応じて、体組成分析回路５８は、３区画モデルを使用してもよく、ユーザの画像に基づいて、ユーザにおける内臓脂肪、皮下脂肪、及び無脂肪の量を推定してもよい。

【0072】

ブロック１０８の動作中に、体組成分析回路５８は、身体の具体的な領域の体組成（例えば、どれほどの内臓脂肪及び皮下脂肪が、ユーザの胴体、二頭筋、又は他の身体部分において位置するか）を推定してもよく、又は身体全体にわたる体組成（例えば、内臓脂肪及び皮下脂肪がユーザの身体にわたってどのように分布しているか）を推定してもよい。

【0073】

ブロック１０８の動作は、歪み（例えば、ユーザが全身体を１つのフレームでキャプチャするために前面カメラを下方に向けたときに作成される遠近感歪み（perspective distortion））を身体の画像から除去することを含み得る。体組成分析回路５８はまた、全身体画像をスケーリングするために、ユーザの顔の画像（例えば、ユーザ識別動作中に収集された顔画像、及び／又は体組成分析のために具体的にキャプチャされた顔画像などの以前に収集された顔画像）を使用し得る（例えば、身体寸法は、スケーリングのための顔画像を使用して、全身体画像及び顔画像に基づいて判定され得る）。デバイス１０におけるモーションセンサ（例えば、加速度計、ジャイロスコープ、コンパスなど）からの向き情報はまた、ユーザの身体のサイズのより正確な写真を得るために、歪みを全身体画像から除去するために使用され得る。体組成分析回路５８が身体の異なる部分の複数の写真を一緒にステッチする配置がまた使用されてもよい。

【0074】

ブロック１１０の動作中に、制御回路１６は、分析結果に応答してアクションをとることができる。例えば、デバイス１０は、評価結果をデバイス１０のユーザに提供することができ、及び／又は（例えば、評価結果が疾患のリスクを示唆する場合）デバイス１０のユーザのためのアラートを発行してもよい。一般に、通知が発行され得、データベースが更新され得、推奨が提供されてもよく、及び／又は他のアクションが、ブロック１０８のセンサ処理動作の結果に基づいてとられてもよい。例えば、ディスプレイ１４は、体組成分析回路５８によって判定された推定体脂肪率値、体型指数値、骨質量値、及び／又は他の情報を表示することができる。通知は、テキスト通知、可聴アラート、電子メールメッセージ、注釈付き画像、ディスプレイ１４における他のオンスクリーン通知コンテンツ、及び／又は他の通知コンテンツを含み得る。

【0075】

上記のように、本技術の一態様は、入出力デバイスからの情報などの情報の収集及び使用である。本開示は、いくつかの事例において、具体的な人を一意に識別する個人情報データ、又は具体的な人と連絡をとる若しくは具体的な人の所在を示すために使用され得る個人情報データを含むデータが収集され得ることを企図する。このような個人情報データは、人口統計データ、場所ベースのデータ、電話番号、電子メールアドレス、Ｔｗｉｔｔｅｒ ＩＤ、自宅住所、ユーザの健康若しくはフィットネスレベル（例えば、バイタルサイン測定値、服薬情報、運動情報）に関するデータ若しくは記録、誕生日、ユーザ名、パスワード、生体情報、又は任意の他の識別情報若しくは個人情報を含むことができる。

【0076】

本開示は、本技術におけるこのような個人情報の使用が、ユーザの利益のために使用され得ることを認識する。例えば、個人情報データは、ユーザにとってより興味深いターゲットコンテンツを配信するために使用されてもよい。したがって、このような個人情報データの使用は、配信されるコンテンツの演算コントロールをユーザに可能にする。更に、ユーザに利益をもたらす、個人情報データについての他の使用がまた、本開示によって企図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスへの識見を提供するために使用されてもよく、又はウェルネス目標を追求するための技術を使用する個人への積極的なフィードバックとして使用されてもよい。

【0077】

本開示は、このような個人情報データの収集、分析、開示、伝送、記憶、又は他の使用に関与するエンティティが、確立してプライバシーポリシー及び／又はプライバシー慣行を遵守することを企図する。特に、このようなエンティティは、個人情報データを非公開及び安全に維持するための業界又は政府要件を満たす又は超えるとして一般に認識されたプライバシーポリシー及び慣行を、実施すべきであり一貫して使用するべきである。このようなポリシーは、ユーザによって容易にアクセス可能であるべきであり、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、エンティティの正当及び合理的な使用のために収集されるべきであり、これらの正当な使用以外で共有又は販売されるべきでない。更に、このような収集／共有は、ユーザの告知に基づく同意を受容した後に発生すべきである。加えて、このようなエンティティは、このような個人情報データへのアクセスを保護する及び安全にするために、並びに個人情報データへのアクセスを有する他者が、該他者のプライバシーポリシー及び手順を遵守することを確実にするために必要とされる処置をとることを考慮するべきである。更に、このようなエンティティは、広く容認されたプライバシーポリシー及び慣行へのエンティティの遵守を証明するために、第三者による評価を受けることができる。加えて、ポリシー及び慣行は、収集及び／又はアクセスされる特定のタイプの個人情報データに適合されるべきであり、管轄権特有の考慮事項を含む適用可能な法及び基準に適合されるべきである。例えば、米国においては、ある健康データの収集又は該データへのアクセスは、医療保険の携行性と責任に関する法律（Health Insurance Portability and Accountability Act、ＨＩＰＡＡ）などの連邦法及び／又は州法によって支配され得、他の国における健康データは、他の規制及びポリシーの対象であり得、これに従って処理されるべきである。したがって、異なるプライバシー慣行が、国のそれぞれにおいて異なる個人データタイプについて維持されるべきである。

【0078】

上記にもかかわらず、本開示はまた、ユーザが個人情報データの使用又は該データへのアクセスを選択的に阻止する実施形態を企図する。すなわち、本開示は、ハードウェア要素及び／又はソフトウェア要素が、このような個人情報データへのアクセスを防止又は阻止するために提供され得ることを企図する。例えば、本技術は、ユーザが、サービスのための登録中に又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することを可能にするように構成され得る。別の例では、ユーザは、あるタイプのユーザデータを提供しないことを選択することができる。更に別の例では、ユーザは、ユーザ特有のデータが維持される時間の長さを制限することを選択することができる。「オプトイン」及び「オプトアウト」選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを企図する。例えば、ユーザは、ユーザの個人情報データがアクセスされるアプリケーション（「アプリ」）のダウンロード際に通知されてもよく、次いで、個人情報データがアプリによってアクセスされる直前に、再び注意されてもよい。

【0079】

また、個人情報データは、非意図的又は無許可のアクセス又は使用のリスクを最小にするように管理及び処理されるべきことが、本開示において意図されている。リスクは、データの収集を制限することと、データがもはや必要とされなくなった際にデータを削除することとによって、最小にされ得る。加えて及び適用可能であるときに、ある健康関連アプリケーションを含めて、データ匿名化が、ユーザのプライバシーを保護するために使用され得る。匿名化は、具体的な識別子（例えば、誕生日など）を除去すること、記憶されたデータの量若しくは特定性を制御すること（例えば、場所データを住所レベルではなく都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、ユーザにわたってデータを集計する）、及び／又は他の方法によって、適切なときに容易にされ得る。

【0080】

したがって、本開示は、１つ以上の様々な開示された実施形態を実装するために、個人情報データを含み得る情報を使用することを広範に含むが、本開示はまた、様々な実施形態がまた、個人情報データにアクセスすることを必要とせずに実装され得ることを企図する。すなわち、本技術の様々な実施形態は、このような個人情報データの全て又は一部分の欠如に起因して実施不可能にされない。

【0081】

一実施形態によれば、顔及び首の画像をキャプチャするセンサと、画像の一部分を潜在空間にエンコードし、画像の一部分を脂肪率値にマッピングする体組成分析回路と、を含む電子デバイスが提供されている。

【0082】

別の実施形態によれば、潜在空間は、統計モデルに基づく。

【0083】

別の実施形態によれば、潜在空間は、深層学習モデルに基づく。

【0084】

別の実施形態によれば、センサは、深度センサを含み、画像は、３次元深度マップ画像を含み、深度センサは、顔及び首を構造化光で照明する赤外線光源と、顔及び首から反射する構造化光を検出する赤外線光検出器と、を含む。

【0085】

別の実施形態によれば、潜在空間は、ユーザアイデンティティを表す第１の潜在空間と、顔表現を表す第２の潜在空間と、首姿勢を表す第３の潜在空間と、を含む。

【0086】

別の実施形態によれば、体組成分析回路は、画像の一部分を脂肪率値にマッピングするために第１の潜在空間を使用することによって、顔表現及び首姿勢を補償する。

【0087】

別の実施形態によれば、画像の一部分は、頬部分と、首部分と、を含む。

【0088】

別の実施形態によれば、体組成分析回路は、潜在空間にエンコードされていない、画像の残りの部分を削除する。

【0089】

別の実施形態によれば、体組成分析回路は、ユーザ人口統計データに少なくとも部分的に基づいて、画像の一部分を脂肪率値にマッピングする。

【0090】

別の実施形態によれば、センサは、可視光カメラを含み、画像は、可視光画像を含む。

【0091】

一実施形態によれば、顔を構造化光で照明する赤外線光源と、顔から反射する構造化光を検出し、対応する深度情報を出力する赤外線光検出器と、深度情報を体組成情報にマッピングする体組成分析回路と、体組成情報を表示するディスプレイと、を含む電子デバイスが提供されている。

【0092】

別の実施形態によれば、体組成分析回路は、深度情報を潜在空間にエンコードする。

【0093】

別の実施形態によれば、潜在空間は、ユーザスタディデータで訓練される深層学習モデルに基づく。

【0094】

別の実施形態によれば、体組成分析回路は、顔表現及び首姿勢を補償する。

【0095】

別の実施形態によれば、体組成分析回路は、深度情報の未使用部分を削除する。

【0096】

一実施形態によれば、顔及び首画像データをキャプチャする３次元深度センサと、顔及び首画像データを受信し、ユーザ人口統計情報を受信し、顔及び首画像データとユーザ人口統計情報とに基づいて推定体組成を判定する制御回路と、を含む電子デバイスが提供されている。

【0097】

別の実施形態によれば、制御回路は、推定体組成を判定するために顔及び首画像データの一部分を使用し、顔及び首画像データの残りの部分を削除する。

【0098】

別の実施形態によれば、電子デバイスは、推定体組成を表示するディスプレイを含む。

【0099】

別の実施形態によれば、制御回路は、顔及び首画像データを潜在空間にエンコードする。

【0100】

別の実施形態によれば、潜在空間は、ユーザスタディデータで訓練される深層学習モデルに基づく。

【0101】

一実施形態によれば、身体の画像をキャプチャするセンサと、身体の画像を体組成情報にマッピングするためにユーザスタディ訓練モデルを使用する体組成分析回路と、を含む電子デバイスであって、ユーザ研究訓練モデルが、呼吸と姿勢とに起因する変動の原因となる、電子デバイスが提供されている。

【0102】

別の実施形態によれば、センサは、顔の画像をキャプチャし、体組成分析回路は、身体の寸法を判定するために身体の画像をスケーリングするために、顔の画像を使用する。

【0103】

別の実施形態によれば、体組成情報は、体脂肪が身体の全体にわたってどのように分布しているかを示す。

【0104】

別の実施形態によれば、体組成情報は、内臓脂肪率と、皮下脂肪率と、を含む。

【0105】

別の実施形態によれば、ユーザスタディ訓練モデルは、統計モデル及び深層学習モデルからなる群から選択される。

【0106】

別の実施形態によれば、電子デバイスは、ヘッドマウント支持構造体を含む。

【0107】

別の実施形態によれば、ヘッドマウント支持構造体が、第２のユーザの頭部に装着されている間に、センサは、第１のユーザの身体の画像をキャプチャする。

【0108】

別の実施形態によれば、センサは、赤外線深度センサを含み、顔及び身体の画像は、赤外線深度マップ画像である。

【0109】

別の実施形態によれば、センサは、可視光カメラを含み、顔及び身体の画像は、可視光画像である。

【0110】

別の実施形態によれば、身体の画像は、身体の一部分のみの画像であり、体組成情報は、身体の一部分の体組成を記述する。

【0111】

上記は、単に例示であり、様々な修正が、記載の実施形態になされてもよい。上記の実施形態は、個々に又は任意の組み合わせで実装されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【外国語明細書】