知財求人 - 知財ポータルサイト「IP Force」
▶ エーアール メディカル テクノロジーズ インコーポレイテッドの特許一覧
特表2024-510524視覚的に決定された解剖学的寸法データに基づいてフェイシャルデバイス選択を適応的に生成するシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-07
(54)【発明の名称】視覚的に決定された解剖学的寸法データに基づいてフェイシャルデバイス選択を適応的に生成するシステム及び方法
(51)【国際特許分類】
A61M 16/06 20060101AFI20240229BHJP
【ＦＩ】
A61M16/06 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023558990
(86)(22)【出願日】2022-03-25
(85)【翻訳文提出日】2023-11-20
(86)【国際出願番号】 CA2022050443
(87)【国際公開番号】W WO2022198327
(87)【国際公開日】2022-09-29
(31)【優先権主張番号】63/166,723
(32)【優先日】2021-03-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523364726
【氏名又は名称】エーアール メディカル テクノロジーズ インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】タン－ンゴ，コックス
(72)【発明者】
【氏名】マンソール，ハディ
(72)【発明者】
【氏名】マ，ジ
(57)【要約】
視覚的に決定された解剖学的寸法データに基づいてフェイシャルデバイス選択を適応的に生成するための装置及び方法が開示される。当該装置は、プロセッサ及びメモリを含み得る。メモリは、ユーザの顔を表す画像データを受信し、受信した画像データに基づいて、ユーザの顔の鼻－口領域に関連する解剖学的寸法データを決定するためのプロセッサ実行可能命令を含み得る。該プロセッサ実行可能命令は、推奨モデルと解剖学的寸法データとに基づいて１つ以上のフェイシャルデバイス推奨を生成し、該１つ以上のフェイシャルデバイス推奨をユーザインタフェースでの表示のために提供するためのものとし得る。
【特許請求の範囲】
【請求項1】
視覚的に決定された解剖学的寸法データに基づいてフェイシャルデバイス選択を適応的に生成するためのコンピューティング装置であって、プロセッサと、
前記プロセッサに結合され、プロセッサ実行可能命令を格納したメモリであり、前記プロセッサ実行可能命令は、実行されるときに、
ユーザの顔を表す画像データを受信し、
受信した前記画像データに基づいて、前記ユーザの顔の鼻－口領域に関連する解剖学的寸法データを決定し、
ベイジアンベースのスコアリングメトリックに基づいて定義された推奨モデルと前記解剖学的寸法データとに基づいて、１つ以上のフェイシャルデバイス推奨を生成し、
ユーザインタフェースでの表示のために前記１つ以上のフェイシャルデバイス推奨を提供する、
ように前記プロセッサを構成する、メモリと、
を有するコンピューティング装置。
【請求項2】
前記メモリは、実行されるときに、前記ユーザインタフェースを介して、ユーザ嗜好又は目標フェイシャルデバイス仕様データのうちの少なくとも一方を含む目標療法データを受信する、
ように前記プロセッサを構成するプロセッサ実行可能命令を含み、
生成される前記１つ以上のフェイシャルデバイス推奨は、前記解剖学的寸法データと組み合わされた前記目標療法データに基づく、
請求項１に記載のコンピューティング装置。
【請求項3】
前記１つ以上のフェイシャルデバイス推奨は、ＰＡＰ装置に関連するフルフェイシャル／鼻マスク、又は鼻ピローマスクのうちの少なくとも一方を含む、請求項１に記載のコンピューティング装置。
【請求項4】
受信される前記画像データは、ＲＧＢ画像データと赤外線深度データとの組み合わせを含む、請求項１に記載のコンピューティング装置。
【請求項5】
前記１つ以上のフェイシャルデバイス推奨を生成することは、前記解剖学的寸法データが、予想されるフェイシャルデバイスに関連する上限仕様及び下限仕様内にあると判定することを含み、所与のフェイシャルデバイスサイズの少なくとも１つの境界仕様が、隣り合うフェイシャルデバイスサイズの別境界仕様と重なり合う、
請求項１に記載のコンピューティング装置。
【請求項6】
前記ユーザの顔の前記鼻－口領域に関連する解剖学的寸法データを決定することは、３次元（３Ｄ）ポイントクラウドデータ又は２次元画像データのうちの少なくとも一方に基づく、請求項１に記載のコンピューティング装置。
【請求項7】
解剖学的寸法データを決定することは、１つ以上の閾値を超えるＲＧＢ画像データ値の遷移に基づいて鼻孔開口寸法を決定することを含む、請求項１に記載のコンピューティング装置。
【請求項8】
決定される前記解剖学的寸法データは、鼻孔開口サイズ、鼻幅、鼻深さ、鼻長さ、又は顔幅のうちの少なくとも１つを含む、請求項７に記載のコンピューティング装置。
【請求項9】
前記メモリは、実行されるときに、３Ｄポイントクラウドデータに基づいて頭部姿勢を推定するように前記プロセッサを構成するプロセッサ実行可能命令を含む、請求項１に記載のコンピューティング装置。
【請求項10】
前記メモリは、実行されるときに、受信された前記画像データに基づいて顔の特徴を特定し、
前記顔の特徴の有効評価エリアを決定し、前記顔の特徴は鼻孔を含み、
それぞれの四辺形境界マーカの対角線に基づいて、ピクセルＲＧＢ値遷移に基づく少なくとも１つの鼻孔の輪郭を決定し、
オフセット又は回転角度のうちの少なくとも一方に基づいて、決定された鼻孔高さ及び幅を調整して、鼻孔測定パラメータを提供する、
ように前記プロセッサを構成するプロセッサ実行可能命令を含む、請求項１に記載のコンピューティング装置。
【請求項11】
前記メモリは、実行されるときに、前記ユーザの顔の画像データに関連する３Ｄポイントクラウドに基づいて凸包を生成し、
３Ｄユークリッド空間の最小ｚ軸値に基づいて鼻尖点をフィルタリングし、
前記鼻尖点を中心とする球体を生成し、
前記フィルタリングされた顔ベース領域の面法線を生成し、
推定された前記面法線をｚ軸にアライメントし、
データポイントのｚ軸における法線を推定することに基づいて鼻翼点をフィルタリングし、
鼻上面ポイントを抽出し、抽出された鼻上面ポイントの配向境界ボックスを推定し、
推定された配向境界ボックスの最大境界長さの法線方向をｙ軸に回転させる、
ように前記プロセッサを構成するプロセッサ実行可能命令を含む、請求項１に記載のコンピューティング装置。
【請求項12】
前記１つ以上のフェイシャルデバイス推奨の各々について、複数の患者属性のうちの１つ以上に対してスコアを割り当てる、ことを更に有する請求項１に記載の方法。
【請求項13】
患者属性は、鼻中隔弯曲症、鼻づまり、季節性アレルギー、睡眠姿勢、顔の毛、皮膚過敏症、及び／又は閉所恐怖症のうちの少なくとも１つを有する、請求項１２に記載の方法。
【請求項14】
視覚的に決定された解剖学的寸法データに基づいてフェイシャルデバイス選択を適応的に生成する方法であって、ユーザの顔を表す画像データを受信し、
受信した前記画像データに基づいて、前記ユーザの顔の鼻－口領域に関連する解剖学的寸法データを決定し、
ベイジアンベースのスコアリングメトリックに基づいて定義された推奨モデルと前記解剖学的寸法データとに基づいて、１つ以上のフェイシャルデバイス推奨を生成し、
ユーザインタフェースでの表示のために前記１つ以上のフェイシャルデバイス推奨を提供する、
ことを有する方法。
【請求項15】
機械解釈可能命令を格納した非一時的コンピュータ読み取り可能媒体であって、前記機械解釈可能命令は、プロセッサによって実行されるときに、該プロセッサに、視覚的に決定された解剖学的寸法データに基づいてフェイシャルデバイス選択を適応的に生成するためのコンピュータ実装された方法を実行させ、該方法は、ユーザの顔を表す画像データを受信し、
受信した前記画像データに基づいて、前記ユーザの顔の鼻－口領域に関連する解剖学的寸法データを決定し、
ベイジアンベースのスコアリングメトリックに基づいて定義された推奨モデルと前記解剖学的寸法データとに基づいて、１つ以上のフェイシャルデバイス推奨を生成し、
ユーザインタフェースでの表示のために前記１つ以上のフェイシャルデバイス推奨を提供する、
ことを有する、非一時的コンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
これは、２０２１年３月２６日に出願された米国仮特許出願第６３／１６６，７２３号の利益を主張するものであり、その内容全体をここに援用する。
【0002】
本開示の実施形態は、フェイシャルデバイスの分野に関し、特に、フェイシャルデバイス選択を適応的に生成することに関する。
【背景技術】
【0003】
特定の機能のために、ユーザの鼻腔及び／又は口腔に隣接してフェイシャルデバイス又はガーメントを位置付けることがある。例えば、ユーザの環境とユーザの呼吸器系との間に物理的障壁を設けるために、ユーザの鼻腔及び／又は口腔に隣接してフェイシャルマスクを位置付けることがある。他の一例において、持続的気道陽圧（ＣＰＡＰ）マシンのフェイシャルマスクを、ユーザが眠っているときにユーザの鼻及び／又は口に空気圧を提供するためのインタフェースとして、ユーザの鼻腔（例えば、ユーザの鼻の上）及び／又はユーザの口腔（例えば、ユーザの口の上）に隣接して位置付けることがある。他のフェイシャルデバイス例も企図され得る。一部のシナリオにおいて、フェイシャルデバイスの有効性は、フェイシャルデバイスがユーザの顔にどれだけ良くフィットするかと相関があり得る。
【発明の概要】
【0004】
一態様において、本開示は、視覚的に決定された解剖学的寸法データに基づいてフェイシャルデバイス選択を適応的に生成するためのコンピューティング装置を提供する。当該装置は、プロセッサと、該プロセッサに結合されたメモリとを含み得る。該メモリは、実行されるときに、ユーザの顔を表す画像データを受信し、受信した画像データに基づいて、ユーザの顔の鼻－口領域に関連する解剖学的寸法データを決定し、ベイジアンベースのスコアリングメトリックに基づいて定義された推奨モデルと解剖学的寸法データとに基づいて、１つ以上のフェイシャルデバイス推奨を生成し、該１つ以上のフェイシャルデバイス推奨をユーザインタフェースでの表示のために提供する、ように上記プロセッサを構成するプロセッサ実行可能命令を格納し得る。
【0005】
他の一態様において、本開示は、視覚的に決定された解剖学的寸法データに基づいてフェイシャルデバイス選択を適応的に生成する方法を提供する。当該方法は、ユーザの顔を表す画像データを受信し、受信した画像データに基づいて、ユーザの顔の鼻－口領域に関連する解剖学的寸法データを決定し、ベイジアンベースのスコアリングメトリックに基づいて定義された推奨モデルと解剖学的寸法データとに基づいて、１つ以上のフェイシャルデバイス推奨を生成し、該１つ以上のフェイシャルデバイス推奨をユーザインタフェースでの表示のために提供する、ことを含み得る。
【0006】
他の一態様において、１つ以上の非一時的コンピュータ読み取り可能媒体が機械解釈可能命令を格納しており、該機械解釈可能命令は、プロセッサによって実行されるときに、該プロセッサに、ここに記載される１つ以上の方法を実行させ得る。
【0007】
様々な更なる態様において、本開示は、対応するシステム及びデバイス、並びにそのようなシステム、デバイス、及び方法を実装するための例えば機械実行可能なコード化された命令セットなどの論理構造を提供する。
【0008】
これに関し、少なくとも１つの実施形態を詳細に説明する前に、理解されるべきことには、それら実施形態は、以下の説明に記載される又は図面に示される構成の詳細及びコンポーネントのアレンジメントへの適用に限定されるものではない。また、理解されるべきことには、ここで使用される表現及び用語は、説明の目的でのものであり、限定するものと見なされるべきでない。
【0009】
ここに記載される実施形態に関する数多くの更なる特徴及びそれらの組み合わせが、本開示を読んだ後に当業者に明らかになる。
【図面の簡単な説明】
【0010】
図面にて、実施形態が例として示される。はっきりと理解されることには、説明及び図面は、単に例示の目的でのものであり、理解の助けとしてのものである。
【0011】
ここで、以下を含む添付の図面を参照して、単に例として実施形態を説明する。
【図1】本開示の実施形態に従ったシステムプラットフォームを示している。
【図6】本開示の実施形態に従ったサンプルオブジェクト継承テーブルを示している。
【図11】本開示の実施形態に従ったサンプルプログラミング擬似コードを示している。
【図14】本開示の実施形態に従った、画像データに基づいて頭部姿勢を推定する方法を示している。
【図15A】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図15B】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図16A】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図16B】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図17A】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図17B】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図18A】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図18B】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図19】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図20】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図21】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図22A】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図22B】図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図１９から図２１、図２２Ａ、及び図２２Ｂは、本開示の実施形態に従った、顔の特徴に関連する３Ｄポイントクラウドデータに基づく画像を示している。
【図23】本開示の実施形態に従った、顔の特徴の解剖学的寸法データを決定する方法を示している。
【図28】本開示の実施形態に従った、１つ以上のフェイシャルデバイス推奨を決定する方法を示している。
【図29】本開示の実施形態に従った、フェイシャルデバイスのサイズに関連するサンプル境界範囲を図示する。
【図30】本開示の実施形態に従った、フェイシャルデバイス推奨を生成することに関連する境界範囲を更新する方法のフローチャートを示している。
【図34】患者属性及び臨床患者データについて各フェイシャルデバイスタイプに割り当てられるスコアを示す表の一例である。
【図35】本開示の実施形態に従った、ランク付けされたフェイシャルデバイス推奨を提供するためのユーザインタフェースの一例である。
【発明を実施するための形態】
【0012】
視覚的に決定された解剖学的寸法データに基づいてフェイシャルデバイス選択を適応的に生成するシステム及び方法が、本開示に記載される。説明を容易にするために、本開示の実施形態は、気道陽圧（positive airway pressure；ＰＡＰ）装置に関連するフェイシャルデバイスに関する例に基づいて説明されることがある。ＰＡＰ装置は、持続的気道陽圧（Continuous Positive Airway Pressure；ＣＰＡＰ）、バイレベルすなわちＢｉＰＡＰマシン、非侵襲的人工呼吸器（Non-Invasive Ventilators；ＮＩＶ）、及び適応サーボ人工呼吸器（Adaptive Servo Ventilators；ＡＳＶ）を含み得る。ＰＡＰマシンは、ユーザが眠っている間にユーザの鼻又は口に空気圧の流れを提供するように構成可能であり得る。ユーザの鼻又は口へのそのような空気圧の流れは、ユーザの気道を開いたままにすることを支援し、それによって正常な呼吸を支援し得る。そのようなフェイシャルデバイスの例は、ＰＡＰ装置とユーザの呼吸器系との間のインタフェースとすることができ、フィット性と快適性との組み合わせが、そのようなフェイシャルデバイスの最適動作に寄与する。
【0013】
一部のシナリオにおいて、幾つかの異なるタイプの又は製造業者のＰＡＰ装置が存在し得る。それぞれの製造業者のＰＡＰ装置は、ユーザの鼻又は口に空気圧を送達することに関する固有の特徴を持つフェイシャルデバイスと関連付けられ得る。特定のユーザに対するフェイシャルデバイスのフィット性及び快適性が、ＰＡＰ装置の使用に関連する重要な考慮事項であり得るので、フリーサイズのマスクデバイスは存在しないとし得る。それぞれのユーザに対してフェイシャルデバイス推奨を動的に生成するためのシステム及び方法を提供することが有益であり得る。
【0014】
本開示は、ＰＡＰ装置に付随するフェイシャルデバイスに関連する例を記述するが、他のタイプのフェイシャルデバイスについての推奨を動的に提供するためのシステム及び方法も企図され得る。例えば、ここに記載されるシステム及び方法の実施形態は、他の例の中でもとりわけ、呼吸マスクデバイスフィッティング（例えば、Ｎ９５マスクフィッティング）、ヘッドギアデバイスフィッティング、又はこれらに類するものについて推奨を動的に提供するためのものとし得る。
【0015】
図１を参照するに、本開示の実施形態に従ったシステムプラットフォーム１００が示されている。システムプラットフォーム１００は、ネットワーク１５０を介して他のコンピューティング装置に対してデータメッセージを送信したり受信したりする複数のコンピューティング装置を含み得る。
【0016】
一部の実施形態において、システムプラットフォーム１００は、定量的データ又は定性的データのうちの１つ以上に基づいてフェイシャルデバイス推奨を動的に生成するように構成され得る。一部の実施形態において、定量的データは、フェイシャルデバイスの見込みユーザに関連した、取得された画像データを含み得る。一部のシナリオにおいて、画像データは、ユーザに関連する解剖学的寸法データを表し得る。例えば、解剖学的寸法データは、他の例の中でもとりわけ、ユーザの鼻孔間の距離、ユーザの鼻の幅若しくは長さ、ユーザの顔の幅を提供し得る。本開示にて説明されるように、システムプラットフォーム１００は、取得された画像データに基づいて定量的データを動的に決定するためのアプリケーションを含み得る。
【0017】
一部の実施形態において、定量的データは、クライアント装置又はサービスプロバイダ装置から取り出されるフェイシャルデバイス仕様に関連するデータを含み得る。例えば、フェイシャルデバイス仕様は、１つ以上のサービスプロバイダ装置を介して取得されるＰＡＰ装置チューニングパラメータを含み得る。
【0018】
一部のシナリオにおいて、実質的に正確なフィットでは、全てのユーザにとって最適な快適さ及び動作につながらないことがある。一部の実施形態において、定性的データは、フェイシャルデバイスカテゴリ又は解剖学的データカテゴリに関連付けられたユーザフィードバックデータに関連するデータを含み得る。例えば、約０．５センチメートルの鼻孔間距離を持つフェイシャルデバイスユーザのカテゴリは全てが所与のフェイシャルデバイスに好適にフィットするのでないことがある。従って、一部の実施形態において、システムプラットフォーム１００は、定量的データ又は定性的データのうちの一方又はそれらの組み合わせに基づいて、フェイシャルデバイス推奨を動的に生成し得る。
【0019】
システムプラットフォーム１００は、例えばサーバ１１０、ウェブインタフェースプラットフォーム１１２、１つ以上のクライアント装置１２０、又は１つ以上のサービスプロバイダ装置１３０などの、複数のコンピューティング装置を含み得る。
【0020】
１つ以上のクライアント装置１２０は、それぞれのフェイシャルデバイスユーザに関連付けられ得る。例えば、マスクデバイスユーザはＰＡＰ装置のユーザであり得る。他の属性の中でもとりわけ、機能及び快適性に関して最適なサイズのフェイシャルデバイスをフェイシャルデバイスユーザに提供するために、フェイシャルデバイスユーザへの推奨を生成することが有益であり得る。それらの推奨は、フェイシャルデバイスユーザに関連する定性的若しくは定量的データ、そのフェイシャルデバイスユーザと実質的に同様の解剖学的特徴を持つユーザに関連した以前のフェイシャルデバイス推奨、又はサービスプロバイダユーザ（例えば、他の例の中でもとりわけ、臨床医、技術者）によって提供されるフェイシャルデバイス構成仕様に基づいて推奨されるフェイシャルデバイスのサブセットであるとし得る。例えば、定性的又は定量的データは、ユーザの顔の特徴に関連する測定データ、ユーザ人口統計データ、臨床データ、ＰＡＰマシン装置設定データ、以前のユーザ満足度を表すデータ、ユーザ嗜好データ（例えば、所与のユーザの以前の満足度を表すデータ）、又はフェイシャルデバイスに関連する寸法を表すデータを含み得る。
【0021】
一部の実施形態において、１つ以上のクライアント装置１２０は、ユーザインタフェースを介して、マスクデバイス推奨を提供するユーザデータを受信するように構成され得る。例えば、ユーザデータは、他の例の中でもとりわけ、ユーザ人口統計データ、ユーザ嗜好データ、ＰＡＰ治療処方データを含み得る。
【0022】
一部の実施形態において、１つ以上のクライアント装置１２０は、画像キャプチャデバイスを介して、マスクデバイスユーザに関連する画像データをキャプチャするように構成され得る。１つ以上のクライアント装置１２０は、画像データに基づいて解剖学的特徴データを抽出するための動作を行い得る。１つ以上のクライアント装置１２０は、マスクデバイス推奨のための動作が行われ得るように、抽出された解剖学的特徴データ及びユーザデータをサーバ１１０に送信し得る。
【0023】
１つ以上のサービスプロバイダ装置１３０は、臨床医又は技術者ユーザに関連し得る。本例において、臨床医又は技術者ユーザは、医療又は療法をフェイシャルデバイスユーザに提供することに従事する医療専門家を含み得る。１つ以上のサービスプロバイダ装置１３０は、ユーザインタフェースを介して、フェイシャルデバイスユーザに関する臨床医データ、又はフェイシャルデバイスユーザに関連する治療計画を受信するように構成され得る。一部の実施形態において、１つ以上のサービスプロバイダ装置１３０は、望ましいフェイシャルデバイス仕様データを含む患者管理データを受信し得る。
【0024】
一部の実施形態において、サーバ１１０は、ネットワーク１５０を介して、フェイシャルデバイス推奨モデルに基づいてマスクデバイス推奨を生成するための入力としてユーザデータ又は臨床医データを受信し得る。サーバ１１０は、１つ以上のフェイシャルデバイス推奨モデルを生成するための動作、並びに定性的及び定量的データを表すデータセットの組み合わせに基づいてフェイシャルデバイス推奨を生成するための動作を行うための機械学習アーキテクチャを含み得る。一部の実施形態において、サーバ１１０は、アプリケーションプログラマブルインタフェースを介してアクセス可能なＡｍａｚｏｎ（登録商標）リレーショナルデータベースサービス（ＲＤＳ）に基づいてもよい。
【0025】
一部の実施形態において、サーバ１１０は、例えばランダムアクセスメモリ、読み出し専用メモリ、電気光学メモリ、光磁気メモリ、消去可能プログラマブル読み出し専用メモリ、電気的消去可能プログラマブル読み出し専用メモリ、強誘電体ランダムアクセスメモリ、又はこれらに類するものなどのコンピュータメモリのうちの１つ又は組み合わせを含んだメモリを含み得る。一部の実施形態において、メモリは、例えばハードディスクドライブ、ソリッドステートドライブ、光学ドライブ、又は他のタイプのメモリなどの記憶媒体とし得る。
【0026】
メモリは、データベース構造を含むことができ又は記憶することができる。データベース構造は、１つ以上のクライアント装置１２０又はサービスプロバイダ装置１３０から受信したデータレコードを格納し得る。一部の実施形態において、データベース構造は、以前のマスクデバイス推奨結果を表す大きなデータセットを含み得る。
【0027】
一部の実施形態において、データセットは、ＰｏｓｔｇｒｅＳＱＬ１２データベースの特徴に基づいて管理され得る。ＰｏｓｔｇｒｅＳＱＬは、大きなデータセット操作を格納及びスケーリングするための機能と組み合わせてＳＱＬ言語を使用又は拡張するオープンソースのオブジェクトリレーショナルデータベースシステムであるとし得る。ＰｏｓｔｇｒｅＳＱＬは、内部セキュリティを役割ごとに管理し得る。一部の例において、役割は、ユーザ又はグループ（例えば、他の役割がメンバーであり得る役割）と関連付けられ得る。一部のシナリオにおいて、許可が、データベース列レベルの粒度で付与又は取り消されることができ、データベース構造、スキーマ、又はテーブルレベルの粒度内での新しいオブジェクトの作成を許可／防止し得る。
【0028】
一部の実施形態において、サーバ１１０は、インタフェースプラットフォーム１１２を介して、他のコンピューティング装置に／からデータを送信又は受信し得る。例えば、インタフェースプラットフォーム１１２は、Ｄｊａｎｇｏベースのプラットフォームとし得る。Ｄｊａｎｇｏプラットフォームは、複数のコンピューティング装置間でのデータの送信又は受信に関連する潜在的なデータセキュリティ脅威に対抗するように構成されたセキュリティ機構を含むことができる。一部の他の例において、インタフェースプラットフォーム１１２は、潜在的なデータセキュリティ脅威に対抗するための機構を実装するためのＰＨＰスクリプトに基づいて構成されてもよい。
【0029】
一部の実施形態において、インタフェースプラットフォーム１１２は、他の例の中でもとりわけ、例えばクロスサイトスクリプティング保護、クロスサイト要求偽造保護、ＳＱＬインジェクション保護、クリックジャッキング保護、又は安全パスワードハッシュなどの特徴に基づき得る。
【0030】
ネットワーク１５０は、有線又は無線のワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、それらの組み合わせ、又は通信信号を搬送するための他のネットワークを含み得る。一部の実施形態において、ネットワーク通信は、ＨＴＴＰポスト要求又はＴＣＰ接続に基づき得る。他のネットワーク通信動作又はプロトコルも企図され得る。一部の実施形態において、ネットワーク１５０は、インターネット、イーサネット（登録商標）、旧来の電話サービス回線、公衆交換電話ネットワーク、統合サービスデジタルネットワーク、デジタル加入者回線、同軸ケーブル、光ファイバ、衛星、モバイル、無線、ＳＳ７シグナリングネットワーク、固定回線、ローカルエリアネットワーク、ワイドエリアネットワーク、又は、これらのネットワークの１つ以上の組み合わせを含め、他のネットワークを含むことができる。
【0031】
一部の実施形態において、１つ以上のクライアント装置１２０は、フェイシャルデバイスアプリケーションを格納及び実行し得る。フェイシャルデバイスアプリケーションの実施形態は、例えばｉＯＳ（登録商標）又はＡｎｄｒｏｉｄ（登録商標）などのモバイル機器オペレーティングシステム用に構成され得る。
【0032】
一部の例において、ネイティブｉＯＳ（登録商標）アプリケーションはＳｗｉｆｔＵＩフレームワークに基づき得る。一部の例において、ネイティブＡｎｄｒｏｉｄ（登録商標）アプリケーションはＪａｖａ（登録商標）及びＯｐｅｎＣＶ／ＭＬＫｉｔに基づき得る。一部の例において、１つ以上のアプリケーションが、Ｒｅａｃｔ ＪＳ、すなわち、ユーザインタフェース又はユーザインタフェースコンポーネントを生成するためのＪａｖａＳｃｒｉｐｔ（登録商標）ライブラリパッケージに基づいて開発され得る。
【0033】
一部の実施形態において、１つ以上のクライアント装置１２０は、画像キャプチャデバイスを含むことができ、フェイシャルデバイスユーザの画像データをキャプチャするように構成されることができる。本開示で説明されるように、フェイシャルデバイス推奨アプリケーションの実施形態は、キャプチャされた画像データから決定された解剖学的寸法（例えば、ユーザの顔の寸法）に基づいてフェイシャルデバイス推奨を生成し得る。
【0034】
一部の実施形態において、１つ以上のサーバ１１０は、フェイシャルデバイス推奨モデルを生成及び訓練するためのデータセットを格納し得る。一部の実施形態において、フェイシャルデバイス推奨モデルは、フェイシャルデバイスユーザに関連する入力データセットに基づいてフェイシャルデバイス推奨を生成し得る。例えば、入力データセットは解剖学的寸法データを含み得る。一部の実施形態において、解剖学的寸法データは、他の例の中でもとりわけ、顔の高さ、鼻の高さ、鼻の幅、鼻の深さ、鼻孔の高さ、又は鼻孔の幅を表すデータを含み得る。一部の例において、入力データセットは、クライアント装置１２０から受信された、ユーザ人口統計データ、ユーザ嗜好データ、又は他のユーザ入力を含み得る。一部の実施形態において、入力データセットは、サービスプロバイダ装置１３０から受信されたＣＰＡＰ療法処方データ又は臨床医提供データを含み得る。
【0035】
一部の実施形態において、サーバ１１０は、ビッグデータセットに基づいて訓練されたディープラーニングニューラルネットワークに基づき得る推奨モデルを生成し得る。
【0036】
一部の実施形態において、ネットワーク１５０を介して伝送される個人を特定可能な情報（personally identifiable information；ＰＩＩ）の量を減らすことが有益であり得る。ＰＩＩは、フェイシャルデバイスユーザに関連するユーザデータ又はユーザ画像を含み得る。一部の実施形態において、画像データをキャプチャし、キャプチャした画像データに基づいて解剖学的寸法データを生成するための動作は、１つ以上のクライアント装置１２０においてローカルに行われ得る。１つ以上のクライアント装置１２０は、その後、マスクデバイスユーザのデータの集約されたデータ又はサブセットを、マスクデバイス推奨を生成するためにサーバ１１０に送信し得る。１つ以上のクライアント装置１２０は、フェイシャルデバイスユーザに関連する画像データ、画像データに基づく３次元モデル、又は解剖学的寸法のいずれも永続メモリに格納しなくてもよい。
【0037】
一部の実施形態において、クライアント装置１２０又はサービスプロバイダ装置１３０は、サーバ１１０に格納されたデータセット又はデータレコードに直接アクセスすることができないことがある。クライアント装置１２０又はサービスプロバイダ装置１３０は、データ検索及びデータ変更の要求をサーバ１１０に送信することができ、サーバ１１０は、そのような要求を検証し、それに対する応答を生成するように構成されることができる。このような実装は、例えばクライアント装置１２０などの“フロントエンド”装置が信頼できない又は保護されていない装置であり得るという仮定に基づき得る。データ要求のフローを管理するルールを制定することは、システムプラットフォーム１００のデータセキュリティ又はデータインテグリティを損ない得る動作を改善したり減少させたりすることができる。
【0038】
一部の実施形態において、クライアント装置１２０又はサービスプロバイダ装置１３０は、サーバ１１０に格納されるデータを直接送信したり、それにアクセスしたりしなくてもよい。むしろ、サーバ１１０は、アプリケーションプログラマブルインタフェースを介してデータ要求を受信するように構成されることができ、データベース構造又はメモリに格納されるデータセットを生成又は変更するように構成されることができる。
【0039】
一部の実施形態において、コンピューティング装置間で伝送されるデータメッセージは、ネットワーク１５０及びインタフェースプラットフォーム１１２を介し得る。一部の実施形態において、伝送されるデータメッセージは、ＨＴＴＰＳ（ＴＬＳバージョン１．２）プロトコルに基づき得る。
【0040】
一部の実施形態において、インタフェースプラットフォーム１１２は、Ｎｇｉｎｘ １．１９リバースプロキシサーバに基づくウェブインタフェースプラットフォームとし得る。一部の実施形態において、インタフェースプラットフォーム１１２は、Ａｍａｚｏｎ ＥＣ２（ＨＴＭＬ、ＣＳＳ、Ｊａｖａｓｃｒｉｐｔ（登録商標））上のＤｊａｎｇｏ ２．２ウェブアプリケーションを含むクラウドコンピューティングプラットフォームを含み得る。一部の実施形態において、インタフェースプラットフォーム１１２は、Ｄｊａｎｇｏセッション認証に基づく認証プロセスを含み得る。一部の実施形態において、ウェブインタフェースプラットフォーム１１２は、Ｄｊａｎｇｏ ＲＥＳＴフレームワーク３．１０に基づく表現状態転送（ＲＥＳＴ）アプリケーションプログラマブルインタフェース（ＡＰＩ）を含み得る。
【0041】
一部の実施形態において、ネットワーク１５０を介して伝送されるデータメッセージは、データメッセージを暗号化するための機能を持つＨＴＴＰＳプロトコルに基づき得る。該プロトコルは、トランスポート層セキュリティ（ＴＬＳバージョン１．２）とし得る。該プロトコルは、非対称公開鍵基盤に基づいて通信をセキュアにし得る。ＨＴＴＰＳプロトコルに基づいて伝送されるデータパケットは、たとえ傍受されたとしても、悪徳な又は意図しないユーザには無意味なデータとして見え得る。
【0042】
一部の実施形態において、サーバ１１０はＤｊａｎｇｏ ２．２サーバに基づき得る。一部の実施形態において、サーバ１１０は、Ａｍａｚｏｎ ＲＤＳ上のＰｏｓｔｇｒｅＳＱＬ １２データベースに基づくデータベース構造を含み得る。一部のシナリオにおいて、Ａｍａｚｏｎ ＲＤＳは、ＡＷＳ鍵管理サービス（Key Management Service；ＫＭＳ）を用いて、管理された暗号化鍵に基づいてデータベース構造を暗号化し得る。Ａｍａｚｏｎ ＲＤＳ暗号化を用いて実行するデータベースインスタンス上で、基礎となるストレージ内に静止して格納されているデータは、自動化されたバックアップ、読み取り用レプリカ、又はデータベーススナップショットと同様に、暗号化され得る。ＲＤＳ暗号化は、データを暗号化するための業界標準ＡＥＳ－２５６暗号化アルゴリズムに基づき得る。
【0043】
理解され得ることには、上述の例は例示であり、代わりの機構も企図され得る。
【0044】
フェイシャルデバイスユーザの解剖学的寸法に主に基づくフェイシャルデバイス推奨は、ユーザのフィット、嗜好、又はフェイシャルデバイスを最適に動作及びフィットさせることに寄与し得る定性的特徴の組み合わせに対処するのに適し得る。一部のシナリオにおいて、最適なフェイシャルデバイスの機能又はフェイシャルデバイスユーザの快適性は、定量的データ（例えば、物理的寸法）及び定性的データ（例えば、他の例の中でもとりわけ、材料の剛性に関連するユーザの嗜好、マスクがユーザの顔面にどのように着座するか）の両方の組み合わせに基づき得る。一部の例において、フェイシャルデバイス推奨を生成するための定性的データは、ユーザの人口統計データ（例えば、年齢、性別、民族性、地理的位置、又はこれらに類するもの）又は臨床データ（例えば、鼻づまり、季節性アレルギー、閉所恐怖症の感情、皮膚過敏症、又はこれらに類するものに敏感であるか経験するかのユーザの傾向）を含み得る。一部の実施形態において、定性的データは、ユーザの好ましい睡眠姿勢を表し得る。一部の実施形態において、フェイシャルデバイス推奨を生成するための定量的データは、他の例の中でもとりわけ、ユーザの顔の特徴の物理的寸法、目標ＰＡＰマシン又はフェイシャルデバイス設定（例えば、最小又は最大圧力設定）を含み得る。本開示で説明されるように、サーバ１１０、１つ以上のクライアント装置１２０、又は１つ以上のサービスプロバイダ装置１３０は、以前のマスクデバイス推奨とユーザフィードバックとの組み合わせを表すデータセットに基づいてフェイシャルデバイス推奨を生成し及び改善するための機械学習アーキテクチャを含み得る。
【0045】
図２を参照するに、本開示の実施形態に従った、図１のシステムプラットフォーム１００の動作を示すブロック図２００が示されている。システムプラットフォーム１００のコンピューティング装置のうちの１つ以上において動作が実行され得る。一例として、コンピューティング装置２２０は、例えばｉＯＳ（登録商標）又はＡｎｄｒｏｉｄ（登録商標）などのモバイルオペレーティングシステムを動作させるモバイルデバイスを含み得る。一部の実施形態において、１つ以上のコンピューティング装置２２０は、図１に示されたクライアント装置１２０又はサービスプロバイダ装置１３０とし得る。一部の実施形態において、サーバ１１０が、データベース２８０（例えば、ＭａｓｋＦｉｔ ＡＲ（登録商標）データベース）を提供するセキュアストレージを含み得る。
【0046】
一部の実施形態において、１つ以上のコンピューティング装置２２０は、フェイシャルデバイスユーザ、サービスプロバイダユーザ（例えば、医療又は治療を提供する臨床医又は技術者）、又はフェイシャルデバイスユーザのためのフェイシャルデバイス推奨を生成することに関するデータを提供する他のユーザから入力データを受信するように構成され得る。
【0047】
コンピューティング装置２２０がフェイシャルデバイスユーザに付随するシナリオにおいて、コンピューティング装置２２０は、画像キャプチャデバイスを介して、フェイシャルデバイスユーザの画像データ（例えば、写真）をキャプチャし得る。画像データは、他の特徴の中でもとりわけ、例えばユーザの鼻、口、顎、頬、額、目などの解剖学的特徴を示し得る写真であるとし得る。
【0048】
一部の実施形態において、コンピューティング装置２２０は、フェイシャルデバイスユーザに関連する解剖学的寸法データを決定するための画像処理動作２４０を行うことができる。例えば、コンピューティング装置２２０は、キャプチャされた画像データに基づいて、他の寸法の中でもとりわけ、顔の高さ、鼻の高さ、鼻の幅、鼻の深さ、鼻孔の高さ、又は鼻孔の幅を決定し得る。一部の実施形態において、画像処理動作２４０は、解剖学的寸法データを特定するための２次元画像データ及び３次元ポイントクラウドデータのうちの一方又は組み合わせに基づき得る。
【0049】
一部の実施形態において、コンピューティング装置２２０は、フェイシャルデバイスユーザに関連した決定された解剖学的寸法データをサーバ１１０（図１）に送信し得る。サーバ１１０は、訓練されたフェイシャルデバイス推奨モデルと、１つ以上のコンピューティング装置２２０から受信されたユーザ入力とに基づいて、フェイシャルデバイス推奨２５０（例えば、１つ以上のマスク選択）を生成するための動作を含むフェイシャルデバイスアプリケーションを含むことができる。一部の実施形態において、フェイシャルデバイス推奨２５０は、データベース２８０に格納されたデータセットと、画像処理動作２４０によって決定された解剖学的寸法データとに基づき得る。
【0050】
データベース２８０は、複数のフェイシャルデバイスに関連する特徴及び属性を格納したデータセットを含み得る。フェイシャルデバイスの特徴及び属性は、フェイシャルデバイスタイプ、材料タイプ、寸法、又はこれらに類するものを含むことができる。例えば、フェイシャルデバイスは、例えばフルフェイシャルデバイス、鼻フィッティング、鼻ピローデバイス、又はこれらに類するものなどのタイプに基づいて分類され得る。それぞれのフェイシャルデバイスタイプが、例えば標準的、“鼻下”であるなど、下位分類されてもよい。一部の例において、それぞれのフェイシャルデバイスタイプが、頭上フィッティングデバイス又は非頭上フィッティングデバイスであるとして下位分類され得る。
【0051】
一部の実施形態において、データベース２８０は、複数のフェイシャルデバイスに関連する以前のユーザフィードバックデータを表すデータを含み得る。ユーザフィードバックは、特定の顔寸法、嗜好、又はこれらに類するものを持つユーザに対する以前のフェイシャルデバイス推奨に関連する定量的（例えば、ユーザの星付け評価）又は定性的（例えば、テキストベースのコメント）を含み得る。
【0052】
一部のシナリオにおいて、所与のフェイシャルデバイスの物理的寸法をユーザの顔の対応する解剖学的寸法と一致させることのみに基づいてユーザにフェイシャルデバイスを提供することは、必ずしも最適なフェイシャルデバイスのフィット感、快適性、及び動作につながらないことがある。例えば、ＰＡＰ装置の一部のフェイシャルデバイスユーザは、例えばシリコン、プラスチック、又はそれらの組み合わせなどの特定タイプのフェイシャルデバイス材料を好むことがある。一部の他の例において、一部のフェイシャルデバイスユーザは、顔のより大きい部分又はより小さい部分を覆うことができるフェイシャルデバイスを好むことがある。一部の他の例において、一部のフェイシャルデバイスユーザは、よりきつい又はより緩いフィット感を持つフェイシャルデバイスを好むことがある。
【0053】
一部のシナリオにおいて、実質的に同様の解剖学的寸法を持つにもかかわらず、マスクデバイスユーザは、様々な輪郭の顔又は顔の筋肉の硬さをもつことがあり、それが、フィット感、快適性、又はフェイシャルデバイス性能に関する異なる体験につながることがある。従って、一部の実施形態において、サーバ１１０は、機械学習動作又は推奨モデルに基づいてフェイシャルデバイス推奨を生成するように構成され得る。一部の実施形態において、推奨モデルは、以前のフェイシャルデバイスユーザデータ、以前に生成されたフェイシャルデバイス推奨、以前のフェイシャルデバイスユーザの評価、又はこれらに類するものを表すデータセットに基づき得る。
【0054】
一部の実施形態において、サーバ１１０は、フェイシャルデバイス推奨２５０を生成し、その後、フェイシャルデバイス推奨２５０をユーザインタフェースでの表示のためにコンピューティング装置２２０に送信するためのフェイシャルデバイスアプリケーションの動作を行い得る。フェイシャルデバイス推奨２５０は、複数のフェイシャルデバイスのうちの、フェイシャルデバイスユーザに最適であり得るサブセットを含み得る。一部の実施形態において、フェイシャルデバイス推奨２５０は、複数のフェイシャルデバイス又はサブタイプの組み合わせを含んだ、ソートされたリストとし得る。
【0055】
一部の実施形態において、フェイシャルデバイス推奨２５０は、コンピューティング装置２２０で受信されるユーザ入力に基づき得る。そのようなユーザ入力は、他の例の中でもとりわけ、患者プロファイル、臨床医が提供した治療要件、ユーザ嗜好を表すデータを含み得る。一部の実施形態において、フェイシャルデバイス推奨２５０は、対象ユーザによる、又は同様のユーザプロファイル若しくは同様の解剖学的顔構造を持つ他のフェイシャルデバイスユーザと組み合わせた、以前に受信されたユーザフィードバックを表すデータに推奨が基づき得るように、ベイジアンベースの動作を含んでもよい。
【0056】
一部の実施形態において、サーバ１１０は、集中型患者管理２６０のための動作を行うことができ、また、１つ以上のコンピューティング装置２２０から又は対話型ユーザインタフェース２３０からデータを受信することができる。そのようなデータはデータベース２８０（例えば、ＭａｓｋＦｉｔ ＡＲ（登録商標）データベース）に記憶され得る。
【0057】
例えば、ユーザ入力は、フェイシャルデバイスユーザプロファイルデータ、治療処方データ、ユーザメッセージ、又は患者管理動作２６０に関連する他のデータを含み得る。一部の実施形態において、コンピューティング装置２２０は、ユーザプロファイルを作成するために、又は臨床医ユーザとメッセージング動作を介して通信するために、フェイシャルデバイスユーザ入力を受信し得る。一部の実施形態において、コンピューティング装置２２０は、フェイシャルデバイスユーザに関連する解剖学的寸法データを決定するために、画像キャプチャデバイスを介して画像データを受信し得る。一部の実施形態において、コンピューティング装置２２０は、フェイシャルデバイスユーザアンケートへの応答に関連するデータを受信し得る。
【0058】
一部の実施形態において、臨床医デバイスユーザに付随するコンピューティング装置２２０が、ディスプレイインタフェースを介して、フェイシャルデバイスユーザのデータを表示し、及び／又はフェイシャルデバイスユーザのデータに対する編集を表すデータを受信するように構成され得る。
【0059】
一部の実施形態において、臨床医デバイスユーザに付随するコンピューティング装置２２０が、ディスプレイインタフェースを介して、フェイシャルデバイスユーザのデータを表示し、及び／又はフェイシャルデバイスユーザのデータに対する編集を表すデータを受信するように構成され得る。一部の実施形態において、集中型患者管理２６０は、他の例の中でもとりわけ、サーバ１１０での記憶のために既存の患者データを追加すること、サーバ１１０での記憶のために新しい患者データを追加すること、アンケートに基づいて患者情報を表すデータを取得すること、患者／ユーザデータを保存及び修正することのための動作を含み得る。一部の実施形態において、集中型患者管理２６０に関連する動作は、患者ユーザと臨床医ユーザとの間での遠隔診察（例えば、ビデオ又はオーディオ）を提供する動作を含み得る（例えば、遠隔医療プラットフォームに類似する）。一部の実施形態において、集中型患者管理２６０に関連する動作は、患者データにアクセスし、予備的な患者評価を患者ユーザに付随するコンピューティング装置に送信するための動作を含み得る。集中型患者管理２６０のための他の動作も企図され得る。
【0060】
一部の実施形態において、システムプラットフォーム１００は、コンピューティング装置上に、例えばウェブポータルなどの対話型ユーザインタフェース２３０を提供するように構成され得る。一部の実施形態において、対話型ユーザインタフェース２３０は、任意のインターネットアクセス可能なコンピューティング装置上に提供され得る。一部の実施形態において、対話型ユーザインタフェース２３０は、治療管理者、臨床医、又はこれらに類するものからの入力を受信するように構成され得る。一部の実施形態において、対話型ユーザインタフェース２３０は、他の例の中でもとりわけ、患者プロファイルデータを受信し、システムプラットフォーム１００のユーザ間でのメッセージング機能を提供し、フェイシャルデバイスユーザリストを受信するように構成され得る。
【0061】
一部の実施形態において、サーバ１１０は、集中型フェイシャルデバイスアプリケーション管理２７０のための動作を行うことができる。例えば、サーバ１１０は、フェイシャルデバイスユーザリスト、フェイシャルデバイスパラメータを表すデータ、又はこれらに類するものを受信することができ、ユーザ管理及びアプリケーション設定２７０の動作を行うことができる。
【0062】
フェイシャルデバイス推奨を提供するための動作は、フェイシャルデバイスユーザの解剖学的構造に少なくとも部分的に基づき得る。一部のシナリオにおいて、臨床医が患者に遠隔で治療を提供し得る。例えば、睡眠時無呼吸の治療を提供する臨床医が、ＰＡＰ装置に関する患者に診察を提供し得る。テストのために複数のサンプルフェイシャルデバイスをフェイシャルデバイスユーザ（例えば、患者）に提供することは、時間がかかったり、リソース集約的であったりし得る（例えば、多数の物理的サンプルを必要としたり、適切な衛生／洗浄を必要としたりする）。フェイシャルデバイスユーザを表す画像データに基づいてフェイシャルデバイス推奨を提供することが有益であり得る。
【0063】
フェイシャルデバイスユーザの顔に関連する解剖学的寸法データを生成するための動作は、顔認識のための動作を含み得る。顔の特徴を特定することは、複数の特徴ランドマーク又は複数の基準点を識別することに基づき得る。２次元データを表す画像データに基づいて十分な特徴ランドマークを決定することは一部のシナリオにおいて困難であり得るので、受信された画像データに基づく３次元ポイントクラウドデータに基づいて画像処理動作を提供することが有益であり得る。
【0064】
クライアント装置１２０（図１）は、画像キャプチャデバイスを介して、フェイシャルデバイスユーザの１つ以上の画像を受信するように構成され得る。一部の実施形態において、クライアント装置１２０は、受信した画像データに関連するポイントクラウドデータに基づいて、フェイシャルデバイスユーザの解剖学的寸法データを決定するように構成され得る。
【0065】
一部の実施形態において、ポイントクラウドは、顔の特徴に対する基準点／アンカーポイントとして機能し得る３次元空間内のデータポイントのセットであることができる。ポイントクラウドは、空間内及び時間内での位置決めを通じて奥行き又は知覚を表す特徴に基づいて生成されるデータポイントを含み得る。一部の実施形態において、クライアント装置１２０は、加速度計デバイスを含むことができ、クライアント装置は、空間内でフェイシャルデバイスユーザの動きを追跡するための加速度計データに基づく動作を行うことができる。
【0066】
説明を容易にするために、Ａｐｐｌｅ ｉＯＳ（登録商標）オペレーティングシステムにおける動作例が提供され得る。拡張現実（ＡＲ）操作の一部の例（例えば、ＲｅａｌｉｔｙＫｉｔフレームワーク、ＡＲＫｉｔフレームワーク、ＳｃｅｎｅＫｉｔフレームワーク）は、ポイントクラウド処理を提供することができないことがある。向上したデータ精度又は３次元ジオメトリ再構成を必要とし得る操作では、ＡＲ動作の上述の例は、視覚データとリアルタイム深度データとの組み合わせを提供する画像デバイス（例えば、ＴｒｕｅＤｅｐｔｈ（登録商標）デバイス）からキャプチャされた画像データに基づく直接ポイントクラウドレンダリングモデルを利用することができないことがある。一例として、ＡＲＫｉｔフレームワークの顔追跡モデルは、．ｌｉｎｅ及び．ｆｉｌｌレンダリングモードを含むことができるが、深度データに基づく操作を行うことができないことがある。上で示唆した課題の一部に対処するために、３次元画像データレンダリングエンジンを含むシステム及び方法を提供することが有益であり得る。
【0067】
ここで説明されるように、１つ以上のクライアント装置１２０は、フェイシャルデバイスユーザの画像データに基づいて解剖学的寸法データを決定するための動作を含むフェイシャルデバイスアプリケーションを含むことができる。一部の実施形態において、フェイシャルデバイスアプリケーションは、Ｍｅｔａｌ（登録商標）フレームワークの動作を含み得る。Ｍｅｔａｌ（登録商標）は、Ａｐｐｌｅ ｉＯＳ（登録商標）プラットフォームに基づくハードウェア加速３次元グラフィック＆コンピュートシェーダアプリケーションプログラミングインタフェースであるとし得る。Ｍｅｔａｌは、ＯｐｅｎＧＬ又はＯｐｅｎＣＬに類似した機能を含み得る。Ｍｅｔａｌ ＡＰＩは、３次元グラフィックスをレンダリングするため及びグラフィックスプロセッサに基づいてデータ並列計算を行うための動作を含み得る。
【0068】
一部の実施形態において、１つ以上のクライアント装置１２０は、画像キャプチャデバイスを介して、フェイシャルデバイスユーザの解剖学的特徴を表す画像データを取得し得る。１つ以上のクライアント装置１２０は、フェイシャルデバイスユーザに関連する解剖学的寸法データを決定するための３次元レンダリングエンジンの動作を行い得る。
【0069】
一部の実施形態において、ＪＭｅｔａｌＲｅｎｄｅｒｅｒとして開示される３次元（３Ｄ）レンダリングエンジンは、グラフィカル処理ユニットの周りの抽象化であるとし得る。３Ｄレンダリングエンジンは、デバイス及びコマンドバッファを提供するためのプログラミングクラスであるとし得る。３Ｄレンダリングエンジンは、コンテンツが投入され得る単一のシーンオブジェクトを生成し得る。一部の実施形態において、３Ｄレンダリングエンジンは、解剖学的寸法データを生成するために複数の他のオブジェクトをインスタンス化することができる。
【0070】
図３を参照するに、本開示の実施形態に従った３次元レンダリングエンジンのサンプルプログラミングコードが示されている。
【0071】
一部のシナリオにおいて、シーンは、それに関連コンテンツが追加され得る複数の異なるルートノードを含み得る。一部の実施形態において、３Ｄレンダリングエンジンは、システムノード、ルートノード、深度ノード、及び顔ノードという少なくとも４つのタイプノードに基づき得る。ノードインスタンス例を格納することに加えて、シーンプログラミングクラスの動作は、ノードインスタンス及びクリアカラーを格納し得る。一部のシナリオにおいて、色は、背景として新しいフレームごとに使用され得る。一部のシナリオにおいて、３Ｄレンダリングエンジンは、シーン内にカメラを格納することができ、該カメラを用いて、３次元空間においてカメラを動作させるのと同様に、複数のロケーションからシーンを見ることができる。
【0072】
図４を参照するに、本開示の実施形態に従ったＪＳｃｅｎｅクラスのサンプルプログラミングコードが示されている。
【0073】
３Ｄレンダリングエンジンの一部の実施形態において、ノードは、回転、スケーリング、又は並進変換に基づいて、世界のどこにメッシュオブジェクトがレンダリングされるべきかを特定し得る。例えば、メッシュがローカル空間内にモデルを定義することができ、ノードは、ローカル座標を取得して該座標を３Ｄ空間内の位置にマッピングするための動作を表すデータを含むことができる。一部の実施形態において、３Ｄレンダリングエンジンは、子ノードを含む階層構造を含み得る。一部の実施形態において、ノードはメッシュに関連付けられる必要がないので、メッシュ値はオプションとし得る。
【0074】
一部の実施形態において、ＪＮｏｄｅクラスとして開示されるプログラミングクラスは、３Ｄローカルデータを現実世界の３Ｄ空間内の点に変換するための動作を表すことができる。ノードは、現実世界の３Ｄ空間におけるコンテンツの移動を提供し得る位置、向き、又はスケールプロパティを含み得る。一部の実施形態において、ＪＮｏｄｅクラスは、オプションのメッシュプロパティを含むことができる。メッシュプロパティは、ノードに関連付けられた３Ｄデータを記述することができる。ノードは、変換のシーン階層を提供する他の子ノードを含み得る。
【0075】
一部の実施形態において、ＪＤｅｐｔｈＮｏｄｅプログラミングクラスは、ＪＮｏｄｅオブジェクトの子であるとすることができ、これは、深度データをＭｅｔａｌシェーダにおける点として直接レンダリングするために使用され得る。例示のために、ＪＤｅｐｔｈＮｏｄｅプログラミングクラスのサンプルプログラミングコードを示す図５を参照する。
【0076】
一部の実施形態において、３Ｄレンダリングエンジンは、オブジェクトをレンダリングするための更なるプログラミングクラスを含む。例えば、ＪＭｅｓｈプログラミングクラスは、オブジェクトをレンダリングするために使用される３Ｄ頂点データを含み得る。ＪＭｅｓｈプログラミングクラスは、モデルをレンダリングするために使用される材料への参照を含み得る。ＪＭａｔｅｒｉａｌプログラミングクラスは、モデルが表示スクリーン上にどのように提供されるか（例えば、オブジェクトが無地でレンダリングされるべきか、テクスチャ化されるべきかなど）を定義し得る。一部の実施形態において、ＪＭａｔｅｒｉａｌプログラミングクラスは、頂点又はフラグメントシェーダセットアップの抽象化であるとし得る。
【0077】
一部の実施形態において、ＪＴｅｘｔｕｒｅ抽象化クラスは、ＭＴＬＴｅｘｔｕｒｅ及びＭＴＬＳａｍｐｌｅｒＳｔａｔｅオブジェクトを含むことができ、新しいテクスチャをロードするためのヘルパーメソッドを提供することができる。
【0078】
一部のシナリオにおいて、３Ｄレンダリングエンジンは、キャプチャされるシーンをトラバースするための、及び例えばキャプチャされるシーンがどのようにズームイン若しくはズームアウトされ得るかを制御するための視野などのプロパティを設定するためのカメラを含み得る。３Ｄレンダリングエンジンの一部の実施形態において、透視投影の特徴が提供され得る。一部の実施形態において、透視カメラ及び正投影カメラの特徴を含み得るカメラプロトコルを作成することに基づいて、正投影の特徴が提供され得る。一部の実施形態において、カメラは、ビュー行列及び投影行列プロパティを提供することができ、これらの行列は、カメラプロパティに対する任意の変化に基づいて再計算されることができる。このような行列は、均一なバッファを有する頂点シェーダに提供され得る。
【0079】
一部の実施形態において、３Ｄレンダリングエンジンは、他のモデルをインポートするための機構と組み合わせてＪＭｅｓｈ頂点データを含み得る。一部のシナリオにおいて、現実世界の３Ｄ空間における３Ｄモデルフォーマットは、．ｏｂｊ、．ｐｌｙ、．ｕｓｄ、又はこれらに類するものを含み得る。一部の実施形態において、複数のフォーマットに基づくデータをインポート及びエクスポートするために、Ａｐｐｌｅ（登録商標）によって開発されたモデルＩ／Ｏプログラミングインタフェースが組み込まれ得る。
【0080】
一部の実施形態において、モデルＩ／Ｏプログラミングクラスは、外部データをモデルＩ／Ｏデータ構造にロードするための機構を含むＭＤＬＡｓｓｅｔプログラミングクラスを含み得る。ＭＤＬＡｓｓｅｔプログラミングクラスがインスタンス化されているシナリオでは、ＭｅｔａｌＫｉｔプログラミングクラスがＭｅｔａｌＫｉｔメッシュＭＴＫＭｅｓｈを作成することができる。ＭＴＫＭｅｓｈは、モデルをレンダリングするために使用されるＭＴＬＢｕｆｆｅｒインスタンスにアクセスする動作を含み得る。
【0081】
図６を参照するに、本開示の実施形態に従った、ここに開示されるカスタム３Ｄレンダリングエンジンに関するサンプルオブジェクト継承テーブルが示されている。
【0082】
図７から図９を参照するに、本開示の実施形態に従った、上述の３Ｄレンダリングエンジンの動作に基づく３Ｄポイントクラウドレンダリングが示されている。図７から図９は、３Ｄポイントクラウドデータについての３Ｄレンダリングエンジンのカスタム動作のテスト結果を表す図の例を示している。一部の実施形態において、画像キャプチャデバイス（例えば、ＴｒｕｅＤｅｐｔｈ（登録商標）カメラ）から取得された画像及び深度データが、顔の特徴に関する解剖学的寸法データを決定するための画像データを提供するために処理され得る。
【0083】
一部のシナリオにおいて、１つ以上のクライアント装置１２０は、画像キャプチャデバイスの視野を表す画像データをキャプチャし得る。ｉＯＳ（登録商標）ベースの拡張現実プログラミングインタフェースでは、ユーザの顔の識別を特定して表示するための動作が提供されないことがある（例えば、ｉＯＳ（登録商標）におけるＡＲＫｉｔ（登録商標）フレームワークは、そのような機能を含まないとし得る）。ユーザの顔の粗粒度のキャプチャを実質的にリアルタイムで生成する動作を行うことが有益であり得る。
【0084】
【0085】
一部の実施形態において、フェイシャルデバイスアプリケーションは、ユーザの顔の輪郭を実質的にリアルタイムで検出し、検出したユーザの顔の輪郭をディスプレイインタフェース上に表示するための動作を含み得る。一例として、図１０Ａにおいて、フェイシャルデバイスアプリケーションは、多角形の境界線でユーザの顔を囲んで、ユーザの顔の正面図を示すことができる。
【0086】
一部の実施形態において、フェイシャルデバイスアプリケーションは、ユーザの顔の特徴に関連する３Ｄポイントクラウドデータを表示するための動作を含み得る。一例として、図１０Ｂにおいて、フェイシャルデバイスアプリケーションは、ユーザの顔の特徴に関連する輪郭又は深度を表すデータを特定する視覚マーカを含むことができる。
【0087】
一部の実施形態において、フェイシャルデバイスアプリケーションは、キャプチャされた画像データに基づいてユーザの顔を検出するための動作を含み得る。一部の実施形態において、ＡＲＦａｃｅＧｅｏｍｅｔｒｙとして開示されるプログラミングクラスは、ユーザの顔に関連する３Ｄジオメトリデータ又はトポロジデータを提供し得る。一部の実施形態において、組み合わさってユーザの顔の輪郭を表したり描写したりし得るデータマーカ１０５０は選択可能であり、ユーザインタフェースに表示され得る。一部の実施形態において、ＡＲＦａｃｅＧｅｏｍｅｔｒｙプログラミングクラスに基づいて３Ｄ空間に示されるデータポイント１０５０が、ユーザインタフェース上での表示のために２Ｄピクセルポイントに変換され得る。
【0088】
一部の実施形態において、フェイシャルデバイスアプリケーションは、ユーザインタフェース上に提供された２Ｄピクセルポイントに基づいて顔境界マーカ１０５５を決定するための動作を含み得る。一例として、図１１は、本開示の一実施形態に従った、顔境界マーカ１０５５を決定するためのサンプルプログラミング擬似コードを示している。
【0089】
一部の実施形態において、フェイシャルデバイスアプリケーションは、（Ａｐｐｌｅ（登録商標）によって開発された）ＡＲＫｉｔプログラミングクラスに基づく動作を含み得る。ＡＲＫｉｔの動作が、取得された画像データに基づいて一意の顔が識別されたと決定する場合のシナリオにおいて、ＡＲＳｅｓｓｉｏｎプログラミングクラスの動作がＡＲＦＡｃｅＡｎｃｈｏｒオブジェクトを提供し得る。ＡＲＦａｃｅＡｎｃｈｏｒは、顔のポーズ、トポロジ、又は表情を表すデータを含み得る。さらに、ジオメトリプロパティが、ユーザの顔を表す詳細なトポロジデータを表すＡＲＦａｃｅＧｅｏｍｅｔｒｙオブジェクトを表し得る。図１２Ａ及び図１２Ｂは、検出されたユーザの顔のトポロジを表す視覚データの例を示している。
【0090】
一部の実施形態において、ＡＲＦａｃｅＧｅｏｍｅｔｒｙプログラミングクラスは、３Ｄメッシュ図の形態でユーザの顔を表すトポロジデータを提供し得る。３Ｄメッシュフォーマットの形態のトポロジデータは、複数のサードパーティ技術によるレンダリング又は３Ｄデジタルデータとしてのエクスポートに好適であり得る。
【0091】
一部の実施形態において、フェイシャルデバイスアプリケーションは、顔追跡ＡＲセッションにおいてＡＲＦａｃｅＡｎｃｈｏｒオブジェクトから顔ジオメトリを決定するための動作を含み得る。顔追跡ＡＲセッション中に、顔モデルが、検出された顔の寸法、形状、又は現在の表情を決定し得る。一部の実施形態において、ＡＲＦａｃｅＡｎｃｈｏｒオブジェクトを用いて、記憶された形状係数に基づいて顔メッシュデータを生成するし、それによって、顔の現在の表情の詳細な記述を提供することができる。
【0092】
ＡＲセッションの一例において、フェイシャルデバイスアプリケーションは、例えば仮想メイクアップ又はタトゥーを適用するためなど、ユーザの顔の輪郭に基づいてコンテンツをオーバーレイするための基礎としてモデルを利用することができる。一部の実施形態において、顔モデルは、ユーザの顔の３Ｄ形状の背後の仮想コンテンツをマスキングするための遮蔽幾何学オブジェクトを生成し得る。
【0093】
一部の実施形態において、フェイシャルデバイスアプリケーションは、顔の特徴を決定し、一般的な顔追跡モデルのポイントインデックスによってデータを生成し得る。一部のシナリオにおいて、ＡＲＦａｃｅＧｅｏｍｅｔｒｙプログラミングクラスの頂点インデックスは、顔のジオメトリデータを生成するのに有用であり得る。図１３Ａ及び図１３Ｂは、本開示の実施形態に従った、ユーザの顔を表す３Ｄメッシュモデルの拡大図を示している。この拡大図は仮想頂点インデックスを示している。
【0094】
一部の実施形態において、フェイシャルデバイスアプリケーションは、生成された頂点インデックスに基づいて、顔の特徴又は関連する幾何学的データを検出するための動作を含み得る。一例として、ここに記載されるＡＲＦａｃｅＧｅｏｍｅｔｒｙプログラミングクラスは、ＡＲＫｉｔフレームワークに基づく１２２０個の頂点を含む。図１０Ｂを再び参照するに、ユーザの顔の輪郭識別は、ＡＲＦａｃｅＧｅｏｍｅｔｒｙプログラミングクラスの動作に基づく頂点インデックスを示している。例えば、フェイシャルデバイスアプリケーションは、顔全体又は鼻構造のＡＲＦａｃｅＧｅｏｍｅｔｒｙ汎用顔追跡モデルに基づいて自動３Ｄセンシング測定データを生成するための動作を含み得る。
【0095】
一部の実施形態において、フェイシャルデバイスアプリケーションは、ユーザの頭部を動的に又は実質的にリアルタイムで表す３Ｄポイントクラウドデータに基づいて頭部姿勢を決定するための動作を含み得る。頭部姿勢推定のための動作は、顔特徴認識のための前処理動作として実行され得る。一部の実施形態において、頭部姿勢推定のための動作は、３Ｄポイントデータの凸包点に基づいて、鼻尖点を検出することを含み得る。
【0096】
図１４を参照するに、本開示の実施形態に従った、画像データに基づいて頭部姿勢を推定する方法１４００が示されている。方法１４００は、本開示に記載される１つ以上のコンピューティング装置のプロセッサによって実行され得る。一部の実施形態において、プロセッサ読み取り可能命令が、メモリに格納され、１つ以上のクライアント装置１２０（図１）のフェイシャルデバイスアプリケーションに関連付けられ得る。方法１４００は、例えばデータ検索、データ操作、データ記憶、又はこれらに類するものなどの動作を含むことができ、また、他のコンピュータ実行可能動作を含むことができる。
【0097】
動作１４０２にて、プロセッサは、ユーザの顔の画像データに関連する３Ｄポイントクラウドに基づいて凸包を生成し得る。例示のために、図１５Ａは、ユーザの顔の画像データに関連する３Ｄポイントクラウドを示している。図１５Ｂは、図１５Ａに示される３Ｄポイントクラウドに基づいて生成された凸包を示している。
【0098】
動作１４０４にて、プロセッサは、現在の３Ｄユークリッド空間の最小ｚ軸値に基づいて、図１５Ｂに概略的に示される鼻尖点１５１０をフィルタリングし得る。例示すると、一部のシナリオにおいて、凸包の先端が典型的な人間の顔の鼻尖点に対応し得る。凸包を構築した後、プロセッサは、最低のｚ軸座標（例えば、ｚ軸は深度を表し得る）を持つデータポイントを特定し、特定されたデータポイントが鼻の先端を表すと決定し得る。
【0099】
鼻尖点を特定した後、プロセッサは、動作１４０６にて、中心が鼻尖点に位置する多角形ボリューム又は球体を生成し得る。一部の実施形態において、中心は、鼻尖点データポイントの重心とし得る。プロセッサは、多角形又は球体形状１６１０を識別する視覚的インジケータを生成し得る。一部のシナリオにおいて、多角形又は球体は、ユーザの顔の解剖学的形状に応じて他の形状であってもよい。
【0100】
【0101】
【0102】
【0103】
動作１４１４にて、プロセッサは、鼻上面ポイントを抽出し、抽出された鼻上面ポイントの配向境界ボックスを推定し得る。図１８Ａは、抽出された鼻上面ポイント１８１０を示し、図１８Ｂは、抽出された鼻上面ポイントの配向境界ボックスを示している。
【0104】
動作１４１６にて、プロセッサは、推定された配向境界ボックスの最大境界長さの法線方向をＹ軸に回転させ得る。図１９は、アライメントされた３Ｄ顔ポイントクラウドデータを示している。動作１４１６において、プロセッサは、より良い姿勢を得るために、ユーザの顔を表すデータを回転させることができる。例えば、ユーザの顔を表す画像データを取得するときに、ユーザの顔が左側又は右側に傾いている場合、動作１４１６は、傾いた位置を補償するためにユーザの頭部を回転させる動作を含み得る。
【0105】
一部のシナリオにおいて、ユーザの顔を表す画像データに基づいてユーザの顔の特徴パラメータを動的に又は実質的にリアルタイムで決定することが有益であり得る。一部の実施形態において、顔を表すアライメントされた３Ｄポイントクラウドが、ユーザの顔の特徴パラメータを決定するための動作に関連付けられ得る。
【0106】
一例として、図２０を参照するに、本開示の実施形態に従った、鼻深さパラメータの検出を示すユーザの顔の３Ｄポイントクラウドが示されている。図２０は、３Ｄユークリッド空間のＸ－Ｙ平面内の正面図平面を示している。一部の実施形態において、特徴パラメータを決定することは、未加工のスキャンされた顔ポイントの凸包点から抽出された鼻尖点２０１０に基づき得る。
【0107】
一例として、ユーザの鼻の深さパラメータを決定するために、フェイシャルデバイスアプリケーションは、球面領域中心を鼻尖点の重心に設けるための動作を含み得る。フェイシャルデバイスアプリケーションは、球面領域中心から顔ベース面を推定するための動作を含み得る。さらに、プロセッサは、鼻の深さを決定するために、鼻尖点と顔ベース面との間の距離を検出し得る。
【0108】
他の一例において、フェイシャルデバイスアプリケーションは、候補鼻尖点２１１０のｚ軸における法線を推定することによって、ユーザの顔の３Ｄポイントクラウドに基づいて鼻ポイントの幅を決定し得る。図２１を参照するに、候補鼻尖点２１１０を示すユーザの顔の３Ｄポイントクラウドが示されている。プロセッサは、ユーザの鼻を表す３Ｄポイント２１２０をフィルタリングし得る。ユーザの鼻を表すフィルタリングされた３Ｄポイント２１２０に基づいて、プロセッサは、鼻ポイントの幅の推定値を決定し得る。
【0109】
他の一例において、フェイシャルデバイスアプリケーションは、顔ベース面に基づいて鼻の長さを決定し得る。図２２Ａ及び図２２Ｂを参照するに、それぞれ、本開示の実施形態に従った、検出された鼻上面及び決定された鼻の長さが示されている。
【0110】
図２２Ａには、鼻上面ポイントの検出された境界ボックス２２１０が示されている。鼻上面ポイントは、ｚ軸における法線を推定することによってユーザの鼻を表すフィルタリングされた３Ｄポイント２１２０（図２１）に基づいてフィルタリングされ得る。鼻上面ポイントの認識された境界ボックスが、候補点を生成するためにｙ軸に拡張され得る。さらに、プロセッサは、ｘ－ｙ平面と平行な、予想される鼻根点２２２０を、その法線とｚ軸との間の角度を比較することによって推定し得る。例えば、図２２Ｂは鼻根点２２２０の例を示している。少なくとも以上に基づいて、鼻の長さが顔ベース面内で計算され得る。
【0111】
図２３を参照するに、本開示の実施形態に従った、ユーザの顔特徴の解剖学的寸法データを決定する方法２３００が示されている。方法２３００は、本開示に記載される１つ以上のコンピューティング装置のプロセッサによって実行され得る。一部の実施形態において、プロセッサ読み取り可能命令が、メモリに格納され、１つ以上のクライアント装置１２０（図１）のフェイシャルデバイスアプリケーションに関連付けられ得る。方法２３００は、例えばデータ検索、データ操作、データ記憶、又はこれらに類するものなどの動作を含むことができ、また、他のコンピュータ実行可能動作を含むことができる。
【0112】
非限定的な一例として、方法２３００は、ユーザの鼻孔の幅又は高さを決定するための動作を含み得る。方法２３００は、ＴｒｕｅＤｅｐｔｈ（登録商標）カメラによってキャプチャされた１つ以上の画像フレームに関連する深度データに基づき得る。方法２３００は、それぞれのＡＲＦｒａｍｅｓに関連するＲＧＢ画像におけるピクセルカラー値の遷移を検出することに基づき得る。従って、動作の実施形態は、実質的にリアルタイムで鼻孔の幅又は高さを自動的に決定し得る。
【0113】
一部の実施形態において、ユーザの鼻孔に関連する解剖学的寸法データを決定することは、２Ｄの単一フレーム画像データに関連する動作に基づき得る。そのような動作は、ＲＧＢ画像におけるピクセルカラー値の遷移を検出することを含み得る。一部の実施形態において、解剖寸法データを決定するための動作は、画像キャプチャデバイス（例えば、ＴｒｕｅＤｅｐｔｈ（登録商標）カメラ又はそれに類するもの）から取得された深度データに基づいて生成され得るものであるポイントクラウドデータに基づき得る。
【0114】
動作２３０２にて、プロセッサは、取得された画像データに基づいて鼻又は鼻稜を識別し得る。一部の実施形態において、プロセッサは、ユーザの鼻又は鼻稜を識別するためのビジョンフレームワークの動作を含み得る。例えば、図２４Ａは、鼻稜特徴を表すランドマーク２４１０を示している。図２４Ｂは、鼻特徴を表すランドマーク２４２０を示している。
【0115】
動作２３０４にて、プロセッサは、鼻孔の有効評価エリアを決定し得る。一部の実施形態において、有効評価エリアを決定することは、鼻稜特徴を表すランドマーク２４１０又は鼻特徴を表すランドマーク２４２０の一方又は組み合わせに基づき得る。
【0116】
図２５Ａは、鼻稜特徴を表すランドマーク２４１０と鼻特徴を表すランドマーク２４２０との組み合わせに基づいて決定された有効評価エリア２５５０を示している。図２５Ｂは、上述のランドマークを示さずに、決定された有効評価エリア２５５０を示している。
【0117】
動作２３０６にて、プロセッサは、それぞれの四辺形境界の対角線に基づき、ピクセルＲＧＢ値遷移に基づいて少なくとも１つの鼻孔の輪郭を決定し得る。例えば、図２６は、ユーザの鼻孔に対応し得る対角線マーキングセグメント２６６０を示している。図２６において、ピクセルＲＧＢ値は、それぞれの四辺形境界の辺から“内側に”遷移するときに遷移し得る。一部の実施形態において、プロセッサは、左又は右の鼻孔の１つ以上の輪郭ポイント２６６２を決定し得る。
【0118】
一部の実施形態において、プロセッサは、決定された有効評価エリア２５５０の境界ポイントに基づいて“最大”ＲＧＢ値を決定し得る。プロセッサは、有効評価エリア２５５０の識別された中央サブエリアに基づいて“最小”ＲＧＢ値を決定し得る。一部の実施形態において、輪郭又は境界を識別するための閾値は、“最大”ＲＧＢ値及び“最小”ＲＧＢ値にわたる決定されたＲＧＢ値範囲に基づき得る。一部の実施形態において、プロセッサは、所与のピクセルＲＧＢ値の隣接領域の平均ピクセルＲＧＢ値に基づき得る動作を含むことができる。
【0119】
動作２３０８にて、プロセッサは、オフセット及び回転角度に基づいて、決定された鼻孔高さ及び幅を調整して、鼻孔測定パラメータを提供し得る。例えば、図２７Ａ及び図２７Ｂに示されるように、初期の緑色の鼻孔高さ及び幅のラインがオフセット及び回転角度で最適化されることで、最適な測定結果を取得し得る。一部の実施形態において、鼻孔高さラインと幅ラインとの交点が、回転又はオフセット操作の中心点として特定され得る。一部の実施形態において、アメーバ数値法の演算を適用して、最大高さ又は最大幅の値を決定し得る。一部の実施形態において、非線形最適化数値アルゴリズムの演算が、回転角度及びオフセット距離の値に関する最適な目標を決定し得る。
【0120】
図２８を参照するに、本開示の実施形態に従った、１つ以上のフェイシャルデバイス推奨を決定する方法２８００が示されている。方法２８００は、本開示に記載される１つ以上のコンピューティング装置のプロセッサによって実行され得る。一部の実施形態において、プロセッサ読み取り可能命令が、メモリに格納され、１つ以上のクライアント装置１２０（図１）のフェイシャルデバイスアプリケーションに関連付けられ得る。方法２８００は、例えばデータ検索、データ操作、データ記憶、又はこれらに類するものなどの動作を含むことができ、また、他のコンピュータ実行可能動作を含むことができる。
【0121】
一部の実施形態において、方法２８００の動作は、ターゲットフェイシャルデバイスが最適な動作又は快適さのためにユーザの顔にフィットし得るかを判定するための動作を含み得る。一部の実施形態において、ターゲットフェイシャルデバイスがユーザの顔にフィットし得るかを判定するための動作は、例えば上側境界寸法又は下側境界寸法などのフェイシャルデバイス寸法と、ユーザの顔を表す解剖学的寸法データとに基づき得る。一部の実施形態において、方法２８００は、例えばフルフェイスデバイス、鼻デバイス、又は鼻ピローデバイスなどの、フェイシャルデバイスタイプのうちの１つ又は組み合わせについての１つ以上の推奨を提供するためのものとし得る。
【0122】
動作２８０２にて、プロセッサは、ユーザの顔に関連する顔測定データを取得し得る。一部の実施形態において、顔測定データは、本開示で説明される動作実施形態に基づいて決定され得る。例えば、プロセッサは、鼻孔の開口の大きさに関連する解剖学的寸法データを決定するための動作を行い得る。他の一例において、プロセッサは、ユーザの鼻の幅又は長さを決定するための動作を行い得る。
【0123】
一部の実施形態において、顔測定データを決定することは、例えばＴｒｕｅＤｅｐｔｈ（登録商標）カメラに基づいてキャプチャされた画像データなどの２Ｄ画像データ、又は３Ｄポイントクラウド画像データのうちの１つ又は組み合わせに基づき得る。
【0124】
動作２８０４にて、プロセッサは、取得された顔測定データが特定のフェイシャルデバイスの上方境界（ＡＵＢ）及び下方境界（ＡＬＢ）内にあり得ると決定し得る。一部の実施形態において、それぞれのフェイシャルデバイスは、特定の範囲の解剖学的寸法データを伴うユーザ（例えば、特定の鼻長さ、鼻孔開口サイズ、又はこれらに類するもの持つユーザ）に好適な寸法データに関連付けられ得る。
【0125】
プロセッサは、動作２８０４において、（特定のユーザに関連する）取得された顔測定データが複数のフェイシャルデバイスのＡＵＢ及びＡＬＢ内にあるかを判定するための動作を行ってもよい。
【0126】
取得された顔測定データが特定のフェイシャルデバイスのＡＵＢ及びＡＬＢ内にあると判定したことに応答して、プロセッサは、動作２８０６にて、その特定のフェイシャルデバイスをフェイシャルデバイス推奨のリストに追加することができる。
【0127】
一部の実施形態において、１つ以上のフェイシャルデバイス推奨を含むリストを決定すると、プロセッサは、定量的又は定性的データ（例えば、他の例の中でもとりわけ、ユーザレビュー、星付け評価）に基づいて、フェイシャルデバイス推奨のリストをソートするための動作を行い得る。１つ以上のフェイシャルデバイス推奨をソートすると、プロセッサは、ユーザインタフェースへの提示のためにトップスコアを伴うフェイシャルデバイスを特定するために、スコアリング動作を行ってフェイシャルデバイスをスコア付けすることができる。
【0128】
動作２８０８にて、プロセッサは、患者情報、使用される装置、及び／又は患者固有の臨床データに基づいて、フェイシャルデバイスのリストをソート又はランク付けするための動作を行い得る。一部の実施形態において、患者情報は、年齢、性別、肥満度指数（ＢＭＩ）、民族性、又はこれらに類するもののうちの１つ以上を含み得る。一部の実施形態において、使用される装置は、ＣＰＡＰ、ＢｉＰＡＰ、ＡＳＶ、並びに最小及び最大圧力設定を含む様々な圧力設定のうちの１つ以上を含み得る。一部の実施形態において、患者固有の臨床データは、鼻中隔弯曲症、鼻づまり、季節性アレルギー、睡眠姿勢（例えば、うつ伏せ、仰向け、横向き、落ち着きなし）、顔の毛（例えば、口髭、顎髭）、皮膚過敏症、閉所恐怖症、及びこれらに類するもののうちの１つ以上を含み得る。
【0129】
一部の実施形態において、スコアは、異なる臨床パラメータに対してより良好に機能し得る各フェイシャルデバイスタイプに割り当てられ得る。特定の特性について様々なフェイシャルデバイスタイプに割り当てられるスコアの表の一例が図３４に提供されている。図示されるように、スコアは０から３の範囲であるが、理解されることには、任意の好適なスコアリングスケール又はスコアリングシステムが使用されてもよく、図３４の表は単なる一例である。
【0130】
図３４に示されるように、患者が閉所恐怖症である場合、鼻ピローマスクが最も高い推奨スコア（スコア３）を持ち、次いで鼻マスク（スコア２）、そしてフルフェイスマスク（スコア１）である。同様に、装置圧力設定が高い（例えば、１０ｃｍＨ２Ｏより高い）場合、鼻マスクが最良の密閉を提供する可能性が高く（スコア３）、次いでフルフェイスマスク（スコア２）、そして鼻ピローマスク（スコア１）である。他の一例として、患者が口髭を有する場合、鼻ピローマスクが最高スコア（スコア３）を受け、次いでフルフェイスマスク（スコア２）、そして鼻マスク（スコア１）である。
【0131】
一部の実施形態において、そして、各フェイシャルデバイスタイプの総合スコアが取得され得る。一部の実施形態において、総合スコアは、各属性についてのスコアの合計とし得る。一部の実施形態において、総合スコアは、各属性についてのスコアの加重和であってもよく、重みは、患者の質又は属性の重要性を強調するように又は強調しないように選択され得る。一部の実施形態において、そして、スコアリングシステムを用いて、２８０６で生成されたフェイシャルデバイスのリストをランク付けすることができる。図３５は、フェイシャルデバイスの推奨のリストをユーザに提供するユーザインタフェースの一例である。
【0132】
一部の実施形態において、マスクをランク付けするときに、患者の履歴及び／又はマスク嗜好が考慮に入れられてもよい。例えば、患者が以前に特定のフェイシャルデバイスタイプを既に使用しており、その後、その治療に成功していた場合がある。例えば、ここで提供されるスコアリングシステムが、推奨リスト上で鼻マスクよりも鼻ピローマスクを高くランク付けしているが、患者が過去に既に鼻マスクを成功裏に使用している場合、患者は、（患者に新しいタイプのマスクを紹介するのではなく）患者が既に慣れている同じフェイシャルデバイスタイプを使用する方が快適に感じることがあり得る。一部の実施形態において、スコアリングシステムは、患者が特定のフェイシャルデバイスタイプを以前に使用したことがあるかのインジケーションを含むことができ、そうである場合、満足度及び快適性に基づくそのフェイシャルデバイスタイプのその患者の評価を含み得る。以前に使用されたフェイシャルデバイスタイプの格付けが高い場合、ランキングシステムは、フェイシャルデバイスのランク付けリスト内で、そのフェイシャルデバイスタイプを上位に押し上げることができる。
【0133】
一部の実施形態において、フェイシャルデバイスサイズ間でＡＵＢ／ＡＬＢ範囲は重なり合うことができる。例示するために、図２９を参照するに、本開示の実施形態に従った、あるフェイシャルデバイス例についてのサイズ（例えば、小、中、大）に関連する境界範囲が示されている。
【0134】
一部の実施形態において、フェイシャルデバイスアプリケーションは、重なり合うサイズ境界値を定義することができる。例えば、サイズ境界値（例えば、Ｓ１、Ｓ２、Ｍ１など）は、それぞれのフェイシャルデバイスの以前のユーザから受け取ったフィードバックデータに基づいて上方向又は下方向に進み得る。一部の実施形態において、本開示で説明される１つ以上のコンピューティング装置は、フェイシャルデバイス推奨モデルを生成するための機械学習アーキテクチャを含み得る。そのようなフェイシャルデバイス推奨モデルは、フェイシャルデバイスの以前のユーザから受け取ったフィードバックデータに基づいて、サイズ境界範囲又は値を調整するためにモデルを動的に更新し得る。
【0135】
一部のシナリオにおいて、フェイシャルデバイスアプリケーションは、マスクのスコア付け又は星付け評価が時間とともに変化するときに、特定のサイズの境界を更新するための動作を含むことができる。図３０を参照するに、本開示の実施形態に従った、フェイシャルデバイス推奨を生成することに関連する境界範囲を更新する方法３０００のフローチャートが示されている。例えば、星付け評価が変化するときのランク付け／データ操作：マスクがランク付けされるとき、そのランキングが変化し得る。ＡＬＢ及びＡＵＢは、選択されて格付けされたマスクのサイズに対するものとし得る。
【0136】
方法３０００は、本開示に記載される１つ以上のコンピューティング装置のプロセッサによって実行され得る。一部の実施形態において、プロセッサ読み取り可能命令が、メモリに格納され、１つ以上のクライアント装置１２０（図１）のフェイシャルデバイスアプリケーションに関連付けられ得る。方法３０００は、例えばデータ検索、データ操作、データ記憶、又はこれらに類するものなどの動作を含むことができ、また、他のコンピュータ実行可能動作を含むことができる。
【0137】
動作３００２にて、プロセッサは、ＡＵＢ－３％＜測定データ入力（ＤＩ）＜＝ＡＵＢ＋３％、又はＡＬＢ－３％＜＝測定データ入力＜ＡＬＢ＋３％であるかを判定し得る。本開示では、説明を容易にするために３％が提供されるが、＋／－％値は、推奨モデルをより良くするための機械学習動作に基づいて、もっと大きかったり小さかったりし得る。
【0138】
動作３００２でプロセッサがｙｅｓと判定した場合、動作３００４にて、プロセッサは、（ＡＵＢ＋ＤＩ）／２＞＝ＡＬＢラージサイズ、又は（ＡＬＢ＋ＤＩ）／２＜＝ＡＵＢスモールサイズであるかを判定し得る。
【0139】
動作３００４でプロセッサがｙｅｓと判定した場合、プロセッサは、動作３００６にて、ＡＬＢ又はＡＵＢを新しい平均値で置き換えることができる。
【0140】
動作３００６にて、プロセッサは、重み付けされた格付け（weighted ratings；ＷＲ）によって表示リストをソートし得る。一部の実施形態において、重み付けされた格付けは、ベイジアン（Bayesian）解析に基づいて計算されたＳｎ値（以下の関係を参照）の和とし得る。プロセッサは、特定の星付け評価（ＳＲ＝０）を有するマスクをアルファベット順でリストの最後に示す動作を含み得る。
【0141】
動作３００２又は動作３００４でプロセッサが“ｎｏ”と判定する実施形態では、プロセッサは、ＷＲによって表示リストをソートするための動作３００を行い得る。さらに、プロセッサは、ＳＲ＝０を有するフェイシャルデバイスをアルファベット順でリストの最後に示し得る。
【0142】
一部の実施形態において、ここに記載されるフェイシャルデバイスアプリケーションは、フェイシャルデバイスの評価を含むユーザ入力を取得し得る。一部の実施形態において、フェイシャルデバイス評価は、新しいマスクに関連する評価であってもよいし、既存のマスクの評価であってもよい。一部の実施形態において、プロセッサは、以下の関係に基づいてフェイシャルデバイスランクを決定又は更新し得る。
【0143】
各々がｓｋポイントに値するｋによってインデックスされるＫ個の取り得る格付けを有すると仮定する。“星”評価システムの場合、ｓｋ＝ｋ（例えば、１ポイント、２ポイントなど）である。所与のアイテムが、ｋに対してｎｋの格付けのＮ個の合計レーティングを受け取ったと仮定する。フェイシャルデバイスアプリケーションは、基準：
に基づいてフェイシャルデバイスをソートするための命令を含むことができ、ただし、ｚα／２は正規分布の１－α／２分位数である。上記の式は、平均格付けについてのベイジアン信用区間に対する正規近似の下限であるとし得る。一部の実施形態において、上記の式におけるｓｋの値は星付け評価とし得る。
【数1】
【0144】
上述の基準実施形態に基づいて、フェイシャルデバイスアプリケーションは、“Ｓ番号”に基づいてランク付けされ得るフェイシャルデバイスマスクリストを表示するための動作を含み得る。
【0145】
一部の実施形態において、それぞれのフェイシャルデバイスのスコア付けは、所与のユーザに対する最適なフィット感の可能性を表す重み又は加重格付けに基づき得る。一部のシナリオにおいて、重みは、ユーザにフェイシャルデバイス推奨を生成するためのスコア又は他のメトリックに関連付けられ得る。
【0146】
一部の実施形態において、コンピューティング装置は、本開示の実施形態に従って、（図１の）１つ以上のコンピューティング装置での表示用のユーザインタフェースを生成し得る。１つ以上のコンピューティング装置は、フルフェイス／鼻フェイシャルデバイスについてユーザの顔を分析するための汎用追跡モデルに基づいて、自動３Ｄセンシング測定の動作を行い得る。
【0147】
図３１から図３３は、本開示の実施形態に従った、（図１の）１つ以上のコンピューティング装置での表示用のユーザインタフェースを示している。当該ユーザインタフェースは、それぞれのフェイシャルデバイスに関連するフェイシャルデバイス推奨リスト又は詳細を含むことができる。一部の実施形態において、当該ユーザインタフェースは、本開示に記載される画像処理動作に基づいて解剖学的寸法データを表示するためのユーザインタフェースを含み得る。一部の実施形態において、当該ユーザインタフェースは、鼻ピローフェイシャルデバイスについての推奨を生成することに関連する解剖学的寸法データを動的に決定するための動作に関連付けられてもよい。
【0148】
本開示に記載される一部の実施形態において、コンピューティング装置は、ユーザの顔特徴に関連する解剖学的寸法データを決定し得る。一部の他の実施形態において、コンピューティング装置は、フェイシャルデバイス又は他の鼻－口器具の寸法データを、それを表す画像データに基づいて決定し得る。例えば、コンピューティング装置は、鼻－口器具の画像データ（例えば、写真）を受信するように構成されることができ、該鼻－口器具の物理的寸法を決定するように構成されることができる。従って、コンピューティング装置は、少なくとも、（ｉ）デバイス製造業者仕様と（ｉｉ）画像データに基づいて決定された寸法データとの組み合わせ、に基づいて複数の鼻－口器具に関連する寸法データセットを生成し得る。
【0149】
用語“接続され”又は“結合され”は、直接的な結合（互いに結合される２つの要素が互いに接触する）及び間接的な結合（少なくとも１つの追加の要素が２つの要素間に位置する）の両方を含み得る。
【0150】
実施形態を詳細に説明したが、理解されるべきことには、範囲から逸脱することなく、様々な変形、代用、及び改変がここで為され得る。また、本開示の範囲は、本明細書に記載されたプロセス、マシン、製造、物質の組成、手段、方法、及びステップの特定の実施形態に限定されることを意図していない。
【0151】
当業者が本開示から容易に理解することには、ここに記載された対応する実施形態と実質的に同じ機能を果たす又は実質的に同じ結果を達成する現在既存の又は後に開発されるプロセス、マシン、製造、物質の組成、手段、方法、又はステップが使用されてもよい。従って、添付の請求項はその範囲内にそのようなプロセス、マシン、製造、物質の組成、手段、方法、又はステップを含むことを意図している。
【0152】
この説明は、発明主題の数多くの実施形態例を提供している。各実施形態は単一の組み合わせの発明要素を表すが、発明主題は、開示された要素の全ての可能な組み合わせを含むと考えられる。従って、１つの実施形態が要素Ａ、Ｂ、及びＣを有し、第２の実施形態が要素Ｂ及びＤを有する場合、発明主題は、明示的に開示されていないとしても、Ａ、Ｂ、Ｃ、又はＤの他の残りの組み合わせも含むと考えられる。
【0153】
ここに記載された装置、システム、及び方法の実施形態は、ハードウェア及びソフトウェアの両方の組み合わせで実装され得る。これらの実施形態はプログラム可能なコンピュータ上で実装されてもよく、各コンピュータが、少なくとも１つのプロセッサと、データ記憶システム（揮発性メモリ若しくは不揮発性メモリ若しくは他のデータ記憶素子又はこれらの組み合わせを含む）と、少なくとも１つの通信インタフェースとを含む。
【0154】
プログラムコードが入力データに適用されて、ここに記載された機能を実行し、出力情報を生成する。出力情報は１つ以上の出力装置に与えられる。一部の実施形態において、通信インタフェースはネットワーク通信インタフェースとし得る。複数の要素が組み合わされ得る実施形態において、通信インタフェースは、例えばプロセス間通信のためのものなどの、ソフトウェア通信インタフェースとし得る。更なる他の実施形態において、ハードウェア、ソフトウェア、及びそれらの組み合わせとして実装される通信インタフェースの組み合わせが存在し得る。
【0155】
上述の説明を通して、サーバ、サービス、インタフェース、ポータル、プラットフォーム、又はコンピューティング装置から形成される他のシステムに関して、数多くの参照が行われる。理解されるべきことには、そのような用語の使用は、コンピュータ読み取り可能な有形の非一時的媒体に格納されたソフトウェア命令を実行するように構成された少なくとも１つのプロセッサを有する１つ以上のコンピューティング装置を表すと見なされる。例えば、サーバは、説明された役割、責任、又は機能を果たすように、ウェブサーバ、データベースサーバ、又は他のタイプのコンピュータサーバとして動作する１つ以上のコンピュータを含むことができる。
【0156】
実施形態の技術的ソリューションは、ソフトウェアプロダクトの形態をしていてもよい。ソフトウェアプロダクトは、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、ＵＳＢフラッシュディスク、又はリムーバブルハードディスクとすることができるものである不揮発性の又は非一時的な記憶媒体に格納され得る。ソフトウェアプロダクトは、コンピュータデバイス（パーソナルコンピュータ、サーバ、又はネットワークデバイス）が実施形態によって提供される方法を実行することを可能にする多数の命令を含む。
【0157】
ここに記載された実施形態は、コンピューティング装置、サーバ、受信機、送信機、プロセッサ、メモリ、ディスプレイ、及びネットワークを含め、物理的なコンピュータハードウェアによって実装される。ここに記載された実施形態は、有用な物理マシン及び特別に構成されたコンピュータハードウェア構成を提供する。
【0158】
理解され得るように、上で説明及び図示した例は単に例示的なものであることを意図している。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】
【図14】
【図15A】
【図15B】
【図16A】
【図16B】
【図17A】
【図17B】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22A】
【図22B】
【図23】
【図24A】
【図24B】
【図25A-25B】
【図26】
【図27A】
【図27B】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【国際調査報告】