特表 2024-543707 マスクの仮想装着方法、装置、端末デバイス、及び読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-21

(54)【発明の名称】マスクの仮想装着方法、装置、端末デバイス、及び読み取り可能な記憶媒体

(51)【国際特許分類】

   G16H 50/50 20180101AFI20241114BHJP

【ＦＩ】

G16H50/50

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024536987

(86)(22)【出願日】2022-12-08

(85)【翻訳文提出日】2024-06-19

(86)【国際出願番号】 CN2022137573

(87)【国際公開番号】W WO2023124878

(87)【国際公開日】2023-07-06

(31)【優先権主張番号】202111678051.6

(32)【優先日】2021-12-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521286466

【氏名又は名称】北京怡和嘉▲業▼医▲療▼科技股▲フン▼有限公司

【氏名又は名称原語表記】ＢＭＣ ＭＥＤＩＣＡＬ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】110000729

【氏名又は名称】弁理士法人ユニアス国際特許事務所

(72)【発明者】

【氏名】何 壟

(72)【発明者】

【氏名】周 明▲チャオ▼

(72)【発明者】

【氏名】庄 志

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA15

(57)【要約】

マスクの仮想装着方法、装置、端末デバイス、及び読み取り可能な記憶媒体を提供する。当該方法は、ユーザの顔画像を取得するステップ（１０１）と、前記顔画像に基づいて実際の顔特徴データを決定するステップ（１０２）と、前記実際の顔特徴データに基づいて、マッチングされた各種のモデルの１つ又は複数の第１マスクを決定して表示するステップ（１０３）と、受信された前記ユーザによる第１入力に応じて、各前記第１マスクからターゲットマスクを決定するステップ（１０４）と、前記顔画像及び前記ターゲットマスクに基づいて、装着画面情報を生成して表示するステップ（１０５）と、を含む。ユーザの顔特徴データに基づいて、ユーザの顔特徴に適した様々なタイプ及びサイズの複数の第１マスクを正確にマッチングすることができるだけでなく、仮想現実などの技術により装着画面情報を生成して表示し、ユーザがターゲットマスクを装着する効果をシミュレートすることで、ユーザに実際その場に身を置いているような臨場感を持たせることができ、ユーザがより満足できるマスクを選択することを容易にすることができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの顔画像を取得するステップと、
前記顔画像に基づいて実際の顔特徴データを決定するステップと、
前記実際の顔特徴データに基づいて、マッチングされた各種のモデルの１つ又は複数の第１マスクを決定して表示するステップと、
受信された前記ユーザによる第１入力に応じて、各前記第１マスクからターゲットマスクを決定するステップと、
前記顔画像及び前記ターゲットマスクに基づいて装着画面情報を生成して表示するステップと、を含む、ことを特徴とするマスクの仮想装着方法。

【請求項2】

前記顔画像に基づいて実際の顔特徴データを決定した後、
前記実際の顔特徴データに基づいて、各主要特徴の位置間の幾何学的関係を決定するステップと、
前記主要特徴の位置間の幾何学的関係に基づいて、前記ユーザの顔が歪んでいるか否かを決定するステップと、
前記ユーザの顔が歪んでいると決定した場合、ユーザに顔の姿勢の調整を促すための提示情報を生成するステップと、をさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記実際の顔特徴データに基づいて、マッチングされた各種のモデルの第１マスクを決定して表示するステップは、
異なるモデルのマスクと顔特徴データとの間の予め設定された対応関係を取得するステップと、
前記予め設定された対応関係に基づいて、前記実際の顔特徴データに対応各種のモデルの第１マスクを決定するステップと、
各前記第１マスクを表示するステップと、を含む、ことを特徴とする請求項２に記載の方法。

【請求項4】

前記予め設定された対応関係は、マスクのタイプと顔特徴との間の第１サブ対応関係と、マスクのサイズと主要特徴のサイズ範囲との間の第２サブ対応関係とを含み、
前記予め設定された対応関係に基づいて、前記実際の顔特徴データに対応各種のモデルの第１マスクを決定する前記ステップは、
前記第１サブ対応関係及び前記実際の顔特徴データ中の顔特徴に基づいて、第１マスクタイプを決定するステップと、
前記第２サブ対応関係及び前記実際の顔特徴データ中の主要特徴のサイズ情報に基づいて、第１マスクサイズを決定するステップと、
前記第１マスクタイプ及び前記第１マスクサイズに基づいて、前記第１マスクを決定するステップと、を含む、ことを特徴とする請求項３に記載の方法。

【請求項5】

前記第１マスクタイプ及び前記第１マスクサイズに基づいて、前記第１マスクを決定した後、
前記実際の顔特徴データ及び前記第１サブ対応関係に基づいて、各前記第１マスクの第１マッチングスコアを決定するステップと、
前記実際の顔特徴データ及び前記第２サブ対応関係に基づいて、各前記第１マスクの第２マッチングスコアを決定するステップと、
前記第１マッチングスコア及び前記第２マッチングスコアに基づいて、各前記第１マスクの総合マッチングスコアを決定するステップと、
各前記第１マスクの前記第１マッチングスコア、前記第２マッチングスコア、及び前記総合マッチングスコアを表示するステップと、をさらに含む、ことを特徴とする請求項４に記載の方法。

【請求項6】

前記顔特徴データは、鼻幅情報、鼻筋高さ情報、鼻先から上顎までの距離情報及び鼻先から下顎までの距離情報を含む鼻のサイズ情報を含み、又は、
前記顔特徴データは、鼻幅情報、鼻筋高さ情報、及び鼻先から上顎までの距離情報を含む鼻のサイズ情報を含み、又は、
前記顔特徴データは、鼻幅情報、鼻筋高さ情報、及び鼻先から下顎までの距離情報を含む鼻のサイズ情報を含む、ことを特徴とする請求項３に記載の方法。

【請求項7】

前記顔特徴データは、顔のひげの特徴情報、顔の輪郭の特徴情報、顎のタイプの特徴情報のうちの少なくとも１つを含み、前記主要特徴の位置情報及びサイズ情報をさらに含み、前記主要特徴は、眼、眉間の中心、鼻、人中、上顎及び下顎のうちの１つ又は複数を含み、前記眼のサイズ情報は、眼間距離情報を含む、ことを特徴とする請求項６に記載の方法。

【請求項8】

前記顔画像及び前記ターゲットマスクに基づいて装着画面情報を生成するステップは、
各前記主要特徴の位置情報に基づいて前記顔画像を位置決めマークするステップと、
前記位置決めマークに基づいて、前記ターゲットマスクのＶＲグラフィック情報を前記顔画像に位置決めして、前記装着画面情報を生成するステップと、を含む、ことを特徴とする請求項６に記載の方法。

【請求項9】

ユーザの顔画像を取得する前記ステップは、
ユーザの顔画像を自動的に取得するステップを含む、ことを特徴とする請求項６に記載の方法。

【請求項10】

ユーザの顔画像を取得するための画像収集モジュールと、
前記顔画像に基づいて実際の顔特徴データを決定するための画像処理モジュールと、
前記実際の顔特徴データに基づいて、マッチングされた各種のモデルの１つ又は複数の第１マスクを決定するための決定モジュールと、
各前記第１マスクを表示するための表示モジュールと、
受信された前記ユーザによる第１入力に応じて、各前記第１マスクからターゲットマスクを決定するための操作モジュールと、を含み、
前記決定モジュールは、さらに、前記顔画像及び前記ターゲットマスクに基づいて装着画面情報を生成することに用いられ、
前記表示モジュールは、さらに、前記装着画面情報を表示することに用いられる、ことを特徴とするマスクの仮想装着装置。

【請求項11】

ディスプレイと、プロセッサと、メモリと、前記メモリに記憶され、前記プロセッサで実行可能なプログラム又は命令と、を含む端末デバイスであって、
前記プログラム又は命令は、前記プロセッサによって実行されると、請求項１～９のいずれか１項に記載の方法のステップを実現する、ことを特徴とする端末デバイス。

【請求項12】

プログラム又は命令が記憶された読み取り可能な記憶媒体であって、
前記プログラム又は命令は、プロセッサによって実行されると、請求項１～９のいずれか１項に記載の方法のステップを実現する、ことを特徴とする読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、医療機器の技術分野に関し、特に、マスクの仮想装着方法、装置、端末デバイス、及び読み取り可能な記憶媒体に関する。

【0002】

＜関連出願の相互参照＞
本願は、２０２１年１２月３１日に中国専利局に提出された、出願番号が２０２１１１６７８０５１．６、発明の名称が「マスクの仮想装着方法、装置、端末デバイス、及び読み取り可能な記憶媒体」である中国特許出願の優先権を主張しており、上記出願の全内容は引用により本明細書に組み込まれている。

【背景技術】

【0003】

近年、非侵襲的陽圧換気は、閉塞性睡眠時無呼吸症候群（ＯＳＡ）や慢性閉塞性肺気腫（ＣＯＰＤ）などに広く使用されている。

【0004】

マスクは、非侵襲的換気治療として患者の顔のインターフェース装置を含み、患者の顔の鼻と口を囲繞して密閉された呼吸空間を形成することができる。マスクは、接触方法に応じて、通常、鼻マスク、口マスク、フルフェイスマスク、鼻パッドマスクの４つのタイプに分類され、このうち、鼻マスクは鼻のみを覆うもの、口マスクは口のみを覆うもの、口鼻マスクは口と鼻の両方を覆うもの、鼻パッドマスクは鼻孔に挿入するものである。また、さまざまな顔のサイズに適合するために、マスクは、大サイズ、中サイズ、小サイズ、小幅サイズなどの異なるモデルに設定されている。

【0005】

より効果的な治療を提供するには、患者の顔のサイズに適したマスクを選択する必要がある。顔のサイズに合わないマスクを選択すると、空気漏れなどの現象を引き起こしたり、装着の快適さに影響を与えたり、治療効果を低下させたりする可能性がある。

【0006】

従来技術では、マスクのタイプの選択には、通常、写真やビデオなどを利用して、自己の審美と組み合わせてマスクのタイプや外観を選択し、次にノーズキャリパーで鼻幅を測定することで、適切なマスクモデルを選択する。上記の方法は、実際の応用では、偏差値が大きく、エクスペリエンスが悪く、判断ミス、誤判断、鼻筋や顎などの位置が不適切な現象がよく現れ、その結果、返品や交換が頻繁に発生する。

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記の課題に鑑みて、本願の実施例は、上記の課題を克服する、又は少なくとも部分的に解決するマスクの仮想装着方法、装置、端末デバイス、及び読み取り可能な記憶媒体を提供するために提案される。

【課題を解決するための手段】

【0008】

本願の第１態様によれば、
ユーザの顔画像を取得するステップと、
顔画像に基づいて実際の顔特徴データを決定するステップと、
実際の顔特徴データに基づいて、マッチングされた各種のモデルの１つ又は複数の第１マスクを決定して表示するステップと、
受信されたユーザによる第１入力に応じて、各第１マスクからターゲットマスクを決定するステップと、
顔画像及びターゲットマスクに基づいて装着画面情報を生成するステップと、を含む、マスクの仮想装着方法が提供される。

【0009】

本願の第２態様によれば、
ユーザの顔画像を取得するための取得モジュールと、
顔画像に基づいて実際の顔特徴データを決定するための画像処理モジュールと、
実際の顔特徴データに基づいて、マッチングされた各種のモデルの１つ又は複数の第１マスクを表示するための表示モジュールと、
受信されたユーザによる第１入力に応じて、各第１マスクからターゲットマスクを決定するための操作モジュールと、
顔画像及びターゲットマスクに基づいて装着画面情報を生成するための決定モジュールと、を含み、
前記表示モジュールは、さらに、装着画面情報を表示することに用いられる、マスクの仮想装着装置が提供される。

【0010】

本願の第３態様によれば、
プロセッサと、メモリと、メモリに記憶され、プロセッサで実行可能なプログラム又は命令とを含む端末デバイスであって、プログラム又は命令は、プロセッサによって実行されると、第１態様に記載の方法のステップを実現する端末デバイスが提供される。

【0011】

本願の第４態様によれば、
プログラム又は命令が記憶された読み取り可能な記憶媒体であって、
プログラム又は命令は、プロセッサによって実行されると、第１態様に記載の方法のステップを実現する読み取り可能な記憶媒体が提供される。

【発明の効果】

【0012】

本願の実施例は、以下の利点を含む。

【0013】

ユーザの顔画像を取得し、顔画像に基づいて実際の顔特徴データを決定し、実際の顔特徴データに基づいて、マッチングされた各種のモデルの１つ又は複数の第１マスクを決定して表示し、受信されたユーザによる第１入力に応じて、各第１マスクからターゲットマスクを決定し、顔画像及びターゲットマスクに基づいて装着画面情報を生成して表示する。ユーザのリアルタイムな顔画像に基づいて実際の顔特徴データを決定するので、この実際の顔特徴データはユーザの実際の顔特徴を反映しており、このため、この顔特徴データに基づいてユーザの顔特徴に適した様々なタイプ及びサイズの複数の第１マスクを正確にマッチングすることができる。そして、ユーザが第１入力を通じてターゲットマスクを決定した後、ターゲットマスク及びユーザの顔画像に基づいて、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）などの技術により装着画面情報を生成して表示することで、ユーザがターゲットマスクを装着する効果をシミュレートすることができ、ユーザに実際その場に身を置いているような臨場感を持たせることができ、ユーザがより満足できるマスクを選択することを容易にすることができる。

【図面の簡単な説明】

【0014】

【図1】本願の実施例に係るマスクの仮想装着方法のフローチャートである。

【図2】本願の実施例に係るマスクの参照分類の概略図である。

【図3】本願の実施例における、「Ｆマスク－Ａタイプ」の、鼻先から下顎までの距離に応じて分類される適用サイズ基準である。

【図4】本願の実施例における主要特徴の位置の幾何学的関係の概略図である。

【図5】本願の実施例における、ユーザの顔のひげの特徴を識別することによるマスク推奨の概略的なフローチャートである。

【図6】本願の実施例に係るマスクの仮想装着装置のブロック図である。

【図7】本願の実施例に係る別のマスクの仮想装着装置のブロック図である。

【発明を実施するための形態】

【0015】

本願の上記の目的、特徴、及び利点をより明確にわかりやすくするために、以下では、図面及び特定の実施形態を参照して、本願をさらに詳細に説明する。

【0016】

いくつかの実施例では、図１を参照して、マスクの仮想装着方法のフローチャートが示されており、この方法は、具体的には、以下のステップ１０１～ステップ１０５を含んでもよい。

【0017】

本願のいくつかの実施例に係るマスクの仮想装着方法は、画面等の表示装置を有する端末デバイスに適用され、この端末デバイスは、マスク販売端末デバイスなど、ユーザが特定のモデルのマスクを選択するためのデバイスである。

【0018】

ステップ１０１：ユーザの顔画像を取得する。

【0019】

このステップでは、ユーザはマスクを選択する必要がある患者であり、このステップは、ユーザの許可を得た上で、画像収集モジュールによってユーザの顔画像をリアルタイムで収集することであり、この顔画像は２次元画像又は３次元画像であってもよいし、静止写真又は動画であってもよい。実際の応用では、ユーザの顔画像は、画像収集モジュールによってユーザの顔画像を自動的かつリアルタイムで収集することにより取得される。

【0020】

上記の画像収集モジュールは、２次元画像情報を収集することができる既知のすべてのデバイスを含んでもよく、例えば、カメラ、ビデオカメラ、赤外線イメージャ、モニタなどのデバイスが挙げられるが、これらに限定されず、上記の画像収集モジュールは、３次元画像情報を収集することができる既知のすべてのデバイスを含んでもよく、例えば、３Ｄスキャナ、ステレオイメージャーなどが挙げられるが、これらに限定されず、上記の３次元画像情報は、上記の３次元画像情報を収集することができるデバイスによって収集された動的又は静的な３次元画像、点群、又は２Ｄデータ解析によって得られた３次元画像などであってもよい。

【0021】

ステップ１０２：顔画像に基づいて、実際の顔特徴データを決定する。

【0022】

このステップでは、収集されたユーザの顔画像に基づき、ユーザの顔特徴を識別し、ユーザの実際の顔特徴データを得る。

【0023】

実際の応用では、上記の実際の顔特徴データは、顔のひげの特徴情報、顔の輪郭の特徴情報、顎のタイプの特徴情報のうちの少なくとも１つを含むが、これらに限定されず、主要特徴の位置情報及びサイズ情報をさらに含み、主要特徴は、眼、眉間の中心、鼻、人中、及び下顎を含むが、これらに限定されず、眼のサイズ情報は、眼間距離情報を含み、鼻のサイズ情報は、鼻幅情報、鼻筋高さ情報、鼻先から下顎までの距離情報を含む。

【0024】

ステップ１０３：実際の顔特徴データに基づいて、マッチングされた各種のモデルの１つ又は複数の第１マスクを決定して表示する。

【0025】

このステップでは、上記の複数種の顔特徴データは、ユーザの実際の顔の状況を反映しており、各種のモデルのマスクに適用される顔特徴、及び顔特徴のサイズの範囲は予め設定しておくことができ、又はビッグデータ分析により決定することができるので、ステップ１０２で決定された顔特徴データに基づいて、異なるタイプ、異なるサイズを含み且つユーザの顔に適した各種のモデルの第１マスクを決定し、ユーザが選択して装着効果を表示するように、上記の各第１マスクを表示モジュールにより表示することができる。

【0026】

マスクのモデルは、マスクのタイプ、適用顔特徴、及び適用サイズで構成される。すなわち、マスクモデル毎に、マスクのタイプ、適用顔特徴、及び適用サイズなどの情報が含まれ、当該マスクのタイプには、鼻マスク、口マスク、フルフェイスマスク及び鼻パッドマスクが含まれ、適用顔特徴には、顔のひげの特徴情報、顔の輪郭の特徴情報、顎のタイプの特徴情報等が含まれ、適用サイズは、大サイズ、中サイズ、小サイズ、小幅サイズなどの様々なサイズに分けられ、異なるサイズは、異なる顔特徴データの範囲に対応する。

【0027】

いくつかの実施例では、図２を参照して、マスクの参照分類の概略図が示されている。図２に示すように、Ｆマスク－Ａタイプ－Ｌサイズのマスクは、フルフェイスタイプ、ひげなし、大サイズのマスクモデルを示している。

【0028】

ここで、適用サイズは、主要特徴に適合するサイズの範囲である。例えば、鼻先から下顎までの距離のサイズｂの範囲であれば、データベースには、マスクモデル毎に適用する患者の顔の鼻先から下顎までの距離のサイズｂの範囲が記憶されており、具体的には、図３を参照して、本願の実施例におけるサイズｂに応じて分類される「Ｆマスク－Ａタイプ」の適用サイズ基準の一部が示されている。ユーザの実際の顔特徴データとマッチングするマスクを決定する際に、データベースへ呼び出し命令を出すと、特定のモデルのマスクのサイズｂの適用範囲情報が端末デバイスに出力される。

【0029】

もちろん、患者インターフェース適合サイズデータベースには、上記の分類マークにおけるマスクモデル毎の適用顔の複数のサイズの範囲情報も記憶されていてもよく、例えば、適用顔の鼻幅情報、眼間距離情報、鼻筋高さ情報なども記憶されていてもよいことが理解される。複数のサイズ情報範囲を共通に参照することで、マスクデバイスの最終的な選択がより正確になる。

【0030】

ステップ１０４：受信されたユーザによる第１入力に応じて、各第１マスクからターゲットマスクを決定する。

【0031】

このステップでは、第１入力は、ユーザが各第１マスクからターゲットマスクを選択するための入力であり、具体的には、ターゲットマスクへのタッチ、クリック、カーソルロックなどの操作であってもよい。

【0032】

ステップ１０５：顔画像及びターゲットマスクに基づいて装着画面情報を生成して表示する。

【0033】

このステップでは、画像合成技術を利用して、ターゲットマスクを上記の顔画像に追加することで、ユーザがそのターゲットマスクを装着している画像情報を生成することができ、その後、この装着画像情報を表示することで、ユーザがターゲットマスクを装着しているときの画像をシミュレートすることができ、これにより、ユーザに装着効果を表示し、ユーザが選択段階でマスク装着効果を事前に知ることを可能にし、それによって、判断ミス、誤判断によりユーザの実際の状況に合わないタイプと外観のマスクを選択することを回避することができる。

【0034】

本願のいくつかの実施例は、以下の利点を含む。

【0035】

ユーザの顔画像を取得し、顔画像に基づいて複数の顔特徴データを決定し、各顔特徴データに基づいて、マッチングされた各種のモデルの１つ又は複数の第１マスクを決定して表示し、受信されたユーザによる第１入力に応じて、各第１マスクからターゲットマスクを決定し、顔画像及びターゲットマスクに基づいて装着画面情報を生成して表示する。ユーザのリアルタイムな顔画像に基づいて顔特徴データを決定するので、この顔特徴データはユーザの実際の顔特徴を反映しており、このため、この顔特徴データに基づいてユーザの顔特徴に適した様々なタイプ及びサイズの複数の第１マスクを正確にマッチングすることができる。そして、ユーザが第１入力を通じてターゲットマスクを決定した後、ターゲットマスク及びユーザの顔画像に基づいて、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）などの技術により装着画面情報を生成して表示することで、ユーザがターゲットマスクを装着する効果をシミュレートすることができ、ユーザに実際その場に身を置いているような臨場感を持たせることができ、ユーザがより満足できるマスクを選択することを容易にすることができる。

【0036】

本願のいくつかの実施例では、ユーザは、この端末デバイスの画像収集モジュールによって自分の顔を撮影し、表示モジュールにおいて自分の顔の画像をリアルタイムで見る。システムは、顔を動かしてカメラに合わせ、サイズ情報を収集するよう、ユーザに促す。システムは、患者の顔特徴を識別し、適用するマスクのタイプを推奨する。その後、ユーザは、１つのモデルのマスクを選択し、表示モジュールにおいてＶＲ装着を実現する。ユーザは、この端末デバイスによって、マスクのモデル毎の外観、大きさ、性能、装着や使用の方法を直感的に体感することができ、ビデオチュートリアルを見て注文購入することができ、このため、便利で効率的である。

【0037】

本願の実施例に係る方法は、顧客が容易に使用するために携帯電話アプリケーションａｐｐ、ＷｅＣｈａｔプラグインなどとして構成されてもよいし、単独したデバイスとして又は組み合わせて使用されてもよいことが理解される。

【0038】

いくつかの実施例では、本願の実施例に係る方法は、上記のステップ１０２の後に、ステップ１０６～１０８をさらに含む。

【0039】

ステップ１０６：実際の顔特徴データに基づいて、各主要特徴の位置間の幾何学的関係を決定する。

【0040】

このステップでは、顔特徴データは、眼、眉間の中心、鼻、人中、上顎及び下顎を含むが、これらに限定されない主要特徴の位置情報を含むので、各主要特徴の位置間の幾何学的関係を決定することができる。

【0041】

具体的には、各主要特徴の位置決めマークから主要特徴間の距離を計算することで、さらに主要特徴間の幾何学的関係を判定する。

【0042】

ステップ１０７：主要特徴の位置間の幾何学的関係に基づいて、ユーザの顔が歪んでいるか否かを決定する。

【0043】

自然な正面顔では、人の顔の主要特徴の位置関係が固定されている、すなわち各主要特徴の位置が固定された幾何学的関係にあるので、主要特徴の位置間の実際の幾何学的関係に基づいて、ユーザの現在の顔が歪んでいるか否かを判定することができる。

【0044】

例えば、ユーザの顔に位置する左眼球、右眼球、眉間の中心、鼻先、下顎の５点において、図４に示すように、左眼球と右眼球を結ぶ線をｌ_１、眉間の中心、鼻先、下顎の３つを結ぶ線をｌ_２として定義し、上記の５点の位置情報を受信すると、両眼間距離サイズａと鼻先から下顎までの距離サイズｂを自動的に計算し、直線ｌ_１、直線ｌ_２、サイズａ、サイズｂの幾何学的な位置関係をチェックする。チェックの結果、直線ｌ_１と直線ｌ_２が互いに垂直であり、ｌ_２によりサイズａが２等分されている場合にのみ、その時点で患者の顔はゆがみや回転がない正面顔の状態であると判断し、ｂのサイズを出力して、その後で適合マスクの第２マッチングスコアの決定にデータを与える。一方、直線ｌ_１とｌ_２が垂直でない場合、又はｌ_２によりサイズａが２等分できない場合、ユーザは現在、正面顔の状態で端末デバイスの画像収集モジュールを向いていいない、すなわち、ユーザの顔が歪んだ状態にあることを示している。

【0045】

ステップ１０８：ユーザの顔が歪んでいると決定した場合、ユーザに顔の姿勢の調整を促すための提示情報を生成する。

【0046】

このステップでは、ユーザの顔が歪んでいる場合、データの収集や適合マスクの推奨が困難ではないため、患者が顔を特定の位置に回転するように案内するための提示情報を送信する必要がある。

【0047】

いくつかの実施例では、上記のステップ１０３は、ステップ３０１～３０４を含む。

【0048】

ステップ３０１：異なるモデルのマスクと顔特徴データとの間の予め設定された対応関係を取得する。

【0049】

このステップでは、予めビッグデータ解析により各種のモデルのマスクに適用される顔特徴及び顔特徴のサイズを決定し、各種のモデルのマスクに適用される顔特徴データの範囲を決定することにより、上記の対応関係を決定する。

【0050】

いくつかの具体的な実施形態では、上記の顔特徴データは、顔のひげの特徴情報、顔の輪郭の特徴情報、顎のタイプの特徴情報、主要特徴の位置情報及びサイズ情報を含むが、これらに限定されず、主要特徴は、眼、眉間の中心、鼻、人中、上顎及び下顎のうちの１つ又は複数を含むが、これらに限定されず、眼のサイズ情報は、眼間距離情報を含む。

【0051】

いくつかの具体的な実施形態では、上記の顔特徴データは、鼻幅情報、鼻筋高さ情報、鼻先から上顎までの距離情報及び鼻先から下顎までの距離情報を含む鼻のサイズ情報を含む。ここで、鼻先から上顎までの距離情報は、鼻マスク又は鼻パッドマスクを選択することに用いられ、具体的には、鼻先から上顎の最高点までの距離を指す。一方、鼻先から下顎までの距離情報は、ユーザがフルフェイスマスクを選択することに用いられ、具体的には、鼻先から顎の最下点までの距離を指す。

【0052】

いくつかの具体的な実施形態では、上記の顔特徴データは、鼻幅情報、鼻筋高さ情報、及び鼻先から上顎までの距離情報を含む鼻のサイズ情報を含む。

【0053】

いくつかの具体的な実施形態では、上記の顔特徴データは、鼻幅情報、鼻筋高さ情報、及び鼻先から下顎までの距離情報を含む鼻のサイズ情報を含む。

【0054】

ここで、上記の対応関係は、サービス側によって管理、維持されるデータシステムに記憶されてもよく、該データシステムは、上記の端末デバイスにバインドされて、上記の端末デバイスのダウンロード及びアクセスとともに行ってもよく、例えば、データシステムのデータ情報と、上記端末デバイスのシステムファイルとを用いて端末デバイスに適用されるＡＰＰを形成したり、クラウドや基地局、ハードウエアストレージ（ハードドライブやＵＳＢデバイス）などに保存し、使用の時に呼び出したりしてもよいが、これらに限定されない。

【0055】

ステップ３０２：予め設定された対応関係に基づいて、実際の顔特徴データに対応各種のモデルの第１マスクを決定する。

【0056】

このステップでは、上記の予め設定された対応関係により、各顔特徴データが対応してマッチングするマスクのモデルが予め決定されているので、上記の予め設定された対応関係に基づいて、実際の顔特徴データに対応マスクのモデルを決定することができ、すなわち、上記の第１マスクを決定することができる。

【0057】

実際の応用では、上記の実際の顔特徴データに対応第１マスクは１つ又は複数であってもよい。

【0058】

ステップ３０３：各第１マスクを表示する。

【0059】

ステップ３０２で決定された各第１マスクは、ユーザが選択し、決定するために表示される。

【0060】

いくつかの特定の実施形態では、上記の予め設定された対応関係は、マスクのタイプと顔特徴との間の第１サブ対応関係と、マスクのサイズと主要特徴のサイズ範囲との間の第２サブ対応関係とを含み、上記のステップ３０２は、ステップ３０２１～３０２３を含む。

【0061】

ステップ３０２１：第１サブ対応関係及び実際の顔特徴データ中の顔特徴に基づいて、第１マスクタイプを決定する。

【0062】

このステップでは、実際の顔特徴データからユーザの実際の顔特徴を抽出し、その後、この実際の顔特徴に基づき、上記の第１サブ対応関係と組み合わせて、適合するマスクタイプ、すなわち上記の第１マスクタイプを決定する。

【0063】

ステップ３０２２：第２サブ対応関係及び実際の顔特徴データ中の主要特徴のサイズ情報に基づいて、第１マスクサイズを決定する。

【0064】

このステップでは、実際の顔特徴データからユーザの主要特徴のサイズ情報を抽出し、その後、この主要特徴のサイズ情報に基づき、上記の第２サブ対応関係と組み合わせて、適合するマスクサイズ、すなわち上記の第１マスクサイズを決定する。

【0065】

ステップ３０２３：第１マスクタイプ及び第１マスクサイズに基づいて、第１マスクを決定する。

【0066】

このステップでは、第１マスクタイプによりマスクの具体的なタイプが決定され、第１マスクサイズによりマスクの具体的なサイズが限定されるので、第１マスクタイプ及び第１マスクサイズを組み合わせることにより、具体的なモデルのマスクを決定することができ、すなわち、ユーザの実際の顔特徴データにマッチングする上記の第１マスクを決定することができる。

【0067】

いくつかの具体的な実施形態では、本願の実施例に係る方法は、上記のステップ３０２３の後に、ステップ３０２４～３０２７をさらに含む。

【0068】

ステップ３０２４：実際の顔特徴データ及び第１サブ対応関係に基づいて、各第１マスクの第１マッチングスコアを決定する。

【0069】

このステップでは、第１サブ対応関係がマスクタイプと顔特徴との対応関係を決定するので、実際の顔特徴データ中のユーザの実際の顔特徴に基づいて、対応するマッチングスコア、すなわち、上記の第１マッチングスコアを決定することができ、このスコアが高いほど、ユーザの特徴の観点から、このマスクモデルが当該ユーザの顔型特徴に適していると判定され、このスコアが低いほど、ユーザの特徴の観点から、このマスクモデルが当該ユーザの顔型特徴にあまり適していないと判定される。

【0070】

例えば、実際の顔特徴データによりユーザの顔にひげがないと識別して、Ａタイプマスクの使用を推奨する旨を出力し、データシステム、例えばデータベースにより「Ｆマスク－Ａタイプ－Ｍサイズ」モデルのマスクを出力する場合、当該モデルのマスクは当該顔特徴に適していると判定され、より高い特徴スコア、例えば９５点が与えられ、この特徴スコアは上記の第１マチングスコアである。

【0071】

ステップ３０２５：実際の顔特徴データ及び第２サブ対応関係に基づいて、各第１マスクの第２マッチングスコアを決定する。

【0072】

このステップでは、第２サブ対応関係がマスクサイズと主要特徴のサイズ範囲との対応関係を決定するので、実際の顔特徴データ中のユーザの主要特徴のサイズ情報に基づいて、対応するマッチングスコア、すなわち、上記の第２マッチングスコアを決定することができ、このスコアが高いほど、ユーザの顔サイズの観点から、当該マスクモデルが当該ユーザの顔型特徴に適していると判定され、このスコアが低いほど、ユーザの特徴の観点から、当該マスクモデルが当該ユーザの顔サイズにあまり適していないと判定される。

【0073】

例えば、画像解析によりｂ＝７０ｍｍが出力され、すなわちユーザの鼻先から下顎までの距離が７０ｍｍであると判定された場合、データベースが「Ｆマスク－Ａタイプ－Ｍサイズ」を出力する場合、図３から、ｂ＝７０ｍｍが「Ｆマスク－Ａタイプ－Ｍサイズ」の適用ｂサイズ範囲内であることが分かりやすく、この「Ｆマスク－Ａタイプ－Ｍサイズ」マスクは、当該ユーザの顔に関するサイズスコアが高く、すなわち第２マチングスコアが高く、例えば９５点であると判定される。

【0074】

同様に、画像解析によりｂ＝８８ｍｍが出力され、データベースが「Ｆマスク－Ａタイプ－Ｍサイズ」を出力する場合、ｂ＝８８ｍｍは「Ｆマスク－Ａタイプ－Ｍサイズ」の適用ｂサイズ範囲内にないので、この「Ｆマスク－Ａタイプ－Ｍサイズ」マスクは、当該ユーザの顔に関するサイズスコアが低く、例えば３０点であると判定される。このように、あるユーザの顔に関するあるマスクのサイズスコアが得られ、さらに上記のサイズスコアが表示される。

【0075】

ステップ３０２６：第１マッチングスコア及び第２マッチングスコアに基づいて、各第１マスクの総合マッチングスコアを決定する。

【0076】

このステップでは、第１マッチングスコア及び第２マッチングスコアを重み付け演算して、各第１マスクと患者の顔とのマッチングの総合スコア、すなわち上記の総合マッチングスコアを得る。総合スコアが高いほど、マッチング度が良いことを示している。

【0077】

ステップ３０２７：各第１マスクの第１マッチングスコア、第２マッチングスコア、及び総合マッチングスコアを表示する。

【0078】

このステップでは、ユーザが各第１マスクと自身の顔との具体的なマッチング状況を把握することを容易にし、ユーザが選択、比較することを容易にするために、上記の各マッチングスコアを表示する。

【0079】

いくつかの実施例では、上記のステップ１０５は、ステップ５０１～５０２を含む。

【0080】

ステップ５０１：各主要特徴の位置情報に基づいて顔画像を位置決めマークする。

【0081】

このステップでは、上記の鼻先、眉間の中心、人中、眼などの主要特徴の位置情報のうちの１つ又は複数をマークして位置決めすることにより、顔画像に対するリアルタイムな位置決め・マークを実現する。上記の位置決め・マークは、患者の顔の動きに合わせてリアルタイムで行われてもよい。

【0082】

ステップ５０２：位置決めマークに基づいて、ターゲットマスクのＶＲグラフィック情報を顔画像に位置決めして、装着画面情報を生成する。

【0083】

このステップでは、患者の顔が動くと、上記の位置決めマークは、患者の顔の主要特徴の位置をリアルタイムで位置決めマークすることができるので、データベースを通じてターゲットマスクのＶＲグラフィック情報を取得し、その後、マスクのＶＲグラフィック情報と上記の位置決めマークとをマッチングさせて位置決めし、装着画面情報を生成して表示することで、マスクのＶＲグラフィック情報をリアルタイムで患者の顔に位置決めすることができる。マスクのＶＲグラフィック情報は患者の顔の動きに合わせて動き、「リアルタイム装着」のＶＲ効果を達成できることが理解される。

【0084】

実際の応用では、ユーザの顔の１つ又は複数の主要特徴の位置によりリアルタイムでマークして位置決めし、データベースから出力されたマスクのＶＲグラフィック情報を受信し、その後、マスクのＶＲグラフィック情報と位置決めマークをマッチングさせて位置決めし、さらにマスクのＶＲグラフィック情報をリアルタイムで患者の顔に位置決めする。マッチングさせて位置決めする際には、個々の特徴の個別のマッチングであってもよいし、いくつかの特徴の総合マッチングであってもよいし、例えば、鼻先と上歯槽の最も外側との間隔や傾斜角度などのマッチングであってもよい。

【0085】

実際の応用では、情報を出力し、関連コンテンツを表示し、ユーザにより入力された操作命令を受信し、必要に応じて提示情報を表示することができるように構成された端末デバイスのインターフェイスインタラクションウィンドウを介して、上記の装着画面を表示する。例えば、取得したユーザのリアルタイムな顔画像、リアルタイム位置決めなどの情報をリアルタイムで表示し、ユーザが自分の顔特徴をリアルタイムで見ることを可能にすることができる。マスクのＶＲ画像を表示し、リアルタイム位置決め情報に基づいてマスクのＶＲ画像を患者の顔に仮想的に装着することができる。マスクＶＲ画像は顔が動いても顔に対して静止しており、すなわち、実際の装着効果と類似していることが理解される。

【0086】

いくつかの実施例では、上記のインターフェースインタラクションウィンドウは、さらに、選択されたターゲットマスクの性能情報を表示することができ、例えばマスクの重量、マスクのデッドキャビティの体積、マスクの適用圧力などの情報を表示することができるが、これらに限定されず、また、マスクの装着及び使用に関する情報を表示することができ、例えばマスクの装着の流れ、使用及び洗浄の方法などを表示することもできるが、これらに限定されず、さらに、フェイスマスクの適合度情報を表示することもでき、例えば顔のマッチングの総合スコアが低い場合に、スコアが低い理由として「マスクが大きすぎるので、より小さいサイズのマスクの使用を推奨する」、「マスクが小さすぎるので、より大きいサイズのマスクの使用を推奨する」などを表示することもできるが、これらに限定されず、また、必要に応じてユーザに提示情報を与えることもでき、例えば、鼻先から下顎までの距離サイズを計算する際に、ユーザに顔の位置の調整を促すための提示情報を与えることもできるが、これに限定されず、また、動的な提示情報を表示することもでき、例えば、ユーザが選択したマスクが鼻マスク又は鼻パッドマスクであり、使用時に口を開ける動作をする場合、ユーザの口が排気する動的な線を表示し、鼻マスク又は鼻パッドマスクを使用する際に、口を開けてはならないことをユーザに知らせることもできるように構成されてもよい。

【0087】

いくつかの実施例では、本願の実施例に係る方法は、ユーザによる第２入力を受信し、例えば患者の顔の鼻先から下顎までの距離サイズｂのような異なる適合サイズ参照を選択してもよいが、これらに限定されず、必要に応じて適用サイズ情報、すなわち上記の第２サブ対応関係のデータベースから端末デバイスへの伝送を中断してもよく、この場合、ユーザは、サイズスコアを最終的な総合的なマチングスコアの必要な参照条件とするか否かを選択的に決定してもよい。

【0088】

いくつかの実施例では、本願の実施例に係る方法は、ユーザによる第３入力を受信し、特徴スコア命令を管理し、必要に応じて上記の第２マッチングスコアの決定操作を中断してもよく、この場合、ユーザは、第２入力操作によって、第２マッチングスコアを最終的な総合マッチングスコアの必要な参照条件とするか否かを選択的に決定してもよい。また、ユーザは、第３入力によって、具体的に識別されたユーザの顔特徴のカテゴリを決定することもでき、例えば、ひげの特徴及び顔の形の特徴を個別に又は同時に識別する。また、ユーザは、第３入力操作によって、主要特徴のマーク位置決めを決定することもできる。例えば、眼、眉間の中心、人中、上唇、下顎、鼻先のうちのいくつかの特徴をマークして位置決めする。

【0089】

図５を参照して、本願の実施例におけるユーザの顔のひげの特徴を識別することによるマスク推奨の概略的なフローチャートが示されている。

【0090】

図５に示すように、ステップ２２１では、画像収集モジュールによって収集された画像情報を受信する。

【0091】

ステップ２２２では、選択プログラムを実行して、ひげの特徴を識別する。

【0092】

ステップ２２３では、具体的なひげの特徴に基づいて、対応するモデルのマスクをマッチングさせて推奨し、その後、ステップ２２４に進み、例えば、ユーザの顔にひげがないと識別されれば、ユーザにＡタイプマスクの使用を推奨し、顔がほおひげであると識別されれば、Ｂタイプマスクの使用を推奨し、ユーザの顔がヤギひげであると識別されれば、Ｃタイプマスクの使用を推奨する。

【0093】

ステップ２２４では、推奨結果を表示モジュールに出力し、その後、表示モジュールによってこの推奨結果を受信して表示する。

【0094】

もちろん、患者の顔の輪郭の特徴、患者の顎のタイプの特徴などを識別する際には、いずれも上記のような判別と推奨のプロセスがあるが、ここではこれ以上言及しない。

【0095】

例えば、患者の顔の複数の特徴を同時に識別することができ、例えば、ひげの特徴、顔の輪郭の特徴、顎のタイプの特徴などを同時に識別することができるが、これらに限定されず、それらを統合して推奨マスクのタイプを与えることができることが理解される。

【0096】

いくつかの実施例では、図６を参照して、マスクの仮想装着装置のブロック図が示されており、この装置は、具体的には、
ユーザの顔画像を取得するための画像収集モジュール６１と、
顔画像に基づいて実際の顔特徴データを決定するための画像処理モジュール６２と、
実際の顔特徴データに基づいて、マッチングされた各種のモデルの１つ又は複数の第１マスクを決定するための決定モジュール６３と、
各第１マスクを表示するための表示モジュール６４と、
受信されたユーザによる第１入力に応じて、各第１マスクからターゲットマスクを決定するための操作モジュール６５と、を含み
決定モジュール６３は、さらに、顔画像及びターゲットマスクに基づいて装着画面情報を生成することに用いられ、
表示モジュール６４は、さらに、装着画面情報を表示することに用いられる。

【0097】

本願のいくつかの実施例は、以下の利点を含む。

【0098】

ユーザの顔画像を取得し、顔画像に基づいて実際の顔特徴データを決定し、実際の顔特徴データに基づいて、マッチングされた各種のモデルの１つ又は複数の第１マスクを決定して表示し、受信されたユーザによる第１入力に応じて、各第１マスクからターゲットマスクを決定し、顔画像及びターゲットマスクに基づいて装着画面情報を生成して表示する。ユーザのリアルタイムな顔画像に基づいて実際の顔特徴データを決定するので、この実際の顔特徴データはユーザの実際の顔特徴を反映しており、このため、この顔特徴データに基づいてユーザの顔特徴に適した様々なタイプ及びサイズの複数の第１マスクを正確にマッチングすることができる。そして、ユーザが第１入力を通じてターゲットマスクを決定した後、ターゲットマスク及びユーザの顔画像に基づいて、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）などの技術により装着画面情報を生成して表示することで、ユーザがターゲットマスクを装着する効果をシミュレートすることができ、ユーザに実際その場に身を置いているような臨場感を持たせることができ、ユーザがより満足できるマスクを選択することを容易にすることができる。

【0099】

いくつかの実施例では、決定モジュール６３は、具体的には、異なるモデルのマスクと顔特徴データとの間の予め設定された対応関係を取得し、予め設定された対応関係に基づいて、実際の顔特徴データに対応各種のモデルの第１マスクを決定することに用いられる。

【0100】

いくつかの実施例では、顔特徴データは、顔のひげの特徴情報、顔の輪郭の特徴情報、顎のタイプ特徴情報のうちの少なくとも１つを含むが、これらに限定されず、主要特徴の位置情報及びサイズ情報をさらに含み、主要特徴は、眼、眉間の中心、鼻、人中、上顎及び下顎のうちの１又は複数を含むが、これらに限定されない。眼のサイズ情報は、眼間距離情報を含む。

【0101】

鼻のサイズ情報は、鼻幅情報、鼻筋高さ情報、鼻先から上顎までの距離情報及び鼻先から下顎までの距離情報を含み、又は、鼻のサイズ情報は、鼻幅情報、鼻筋高さ情報、及び鼻先から上顎までの距離情報を含み、又は、鼻のサイズ情報は、鼻幅情報、鼻筋高さ情報、及び鼻先から下顎までの距離情報を含む。

【0102】

いくつかの実施例では、画像処理モジュール６２は、サイズデータ処理ユニットを含み、上記のサイズデータ処理ユニットは、
顔画像に基づいて顔特徴データを決定した後、実際の顔特徴データに基づいて、各主要特徴の位置間の幾何学的関係を決定するための第１決定サブユニットと、
主要特徴の位置間の幾何学的関係に基づいて、ユーザの顔が歪んでいるか否かを決定するための第２決定サブユニットと、
ユーザの顔が歪んでいると決定した場合、ユーザに顔の姿勢の調整を促すための提示情報を生成するための提示サブユニットと、を含む。

【0103】

いくつかの実施例では、画像処理モジュール６２は、
各主要特徴の位置情報に基づいて顔画像を位置決めマークするための画像位置決めユニットをさらに含み、
決定モジュール６３は、
位置決めマークに基づいて、ターゲットマスクのＶＲグラフィック情報を顔画像に位置決めして、装着画面情報を生成するためのＶＲマッチング決定サブユニットを含む。

【0104】

いくつかの実施例では、装置の予め設定された対応関係は、マスクのタイプと顔特徴との間の第１サブ対応関係と、マスクのサイズと主要特徴のサイズ範囲との間の第２サブ対応関係とを含み、
決定モジュール６３は、
第１サブ対応関係及び実際の顔特徴データ中の顔特徴に基づいて、第１マスクタイプを決定するためのタイプ決定ユニットと、
第２サブ対応関係及び実際の顔特徴データ中の主要特徴のサイズ情報に基づいて、第１マスクサイズを決定するためのサイズ決定ユニットと、
第１マスクタイプ及び第１マスクサイズに基づいて、第１マスクを決定するためのマスク決定ユニットと、を含む。

【0105】

いくつかの実施例では、決定モジュール６３は、
第１マスクタイプ及び第１マスクサイズに基づいて第１マスクを決定した後、実際の顔特徴データ及び第１サブ対応関係に基づいて、各第１マスクの第１マッチングスコアを決定するための特徴スコア決定ユニットと、
実際の顔特徴データ及び第２サブ対応関係に基づいて、各第１マスクの第２マチングスコアを決定するためのサイズスコア決定ユニットと、
第１マッチングスコア及び第２マッチングスコアに基づいて、各第１マスクの総合マッチングスコアを決定するための総合スコア決定ユニットと、をさらに含み、
表示モジュールは、さらに、各第１マスクの第１マッチングスコア、第２マッチングスコア、及び総合マッチングスコアを表示することに用いられる。

【0106】

図７を参照して、本願の実施例に係る別のマスクの仮想装着装置のブロック図が示されている。

【0107】

図７に示すように、上記の画像処理モジュール６２は、画像収集モジュール６１によって収集された画像情報を受信し、特定のサイズデータを識別し、位置決めし、処理するように機能する。画像処理モジュール６２は、ユーザ特徴識別ユニット６２１と、画像位置決めユニット６２２と、サイズデータ処理ユニット６２３とをさらに含む。

【0108】

具体的には、ユーザ特徴識別ユニット６２１は、患者の顔特徴を識別することができ、例えば、患者の顔のひげの特徴（ひげの有無、ひげの分布、及び稠密性など）、患者の顔の輪郭の特徴（丸い顔又はうりざね顔、顔の欠陥の有無など）、主要特徴位置（鼻先、眉間の中心、人中、眼など）を識別することができるが、これに限定されない。ユーザ特徴識別ユニット６２１は、患者の顔特徴を識別し、患者の顔特徴に適合するマスクタイプを表示モジュール６４に出力することができる。

【0109】

上記の画像位置決めユニット６２２は、ユーザ特徴識別ユニット６２１によって識別された主要特徴位置（例えば、鼻先、眉間の中心、人中、眼など）を受信し、上記の主要特徴位置のうちの１つ又は複数をマークして位置決めすることができる。さらに、画像位置決めユニット６２２は、ユーザの顔の動きに合わせてマーク・位置決めをリアルタイムで行えるように構成されている。患者の顔が動くと、画像位置決めユニット６２２は、患者の顔の主要特徴位置をリアルタイムでマークして位置決めし、その後のＶＲ画像表示のための位置決めの基礎を提供するために表示モジュール６４に出力することが理解される。さらに、画像位置決めユニット６２２は、マークされた主要特徴位置をサイズデータ処理ユニット６２３に出力してもよい。

【0110】

上記のサイズデータ処理ユニット６２３は、画像位置決めユニット６２２からユーザの顔の１つ又は複数の主要特徴位置の情報を受信し、特定のマーク間の距離データを計算し、その後、距離データを決定モジュール６３に伝達するように構成されている。

【0111】

上記のデータベース６６は、マスクモデルを選択するためのデータシステムであり、サービス側によって管理、維持される。上記のデータベース６６は、システムデータにバインドされて、上記のマスクの仮想装着装置のダウンロード及びアクセスとともに行ってもよく、例えば、データベース６６のデータ情報と、上記選択装置のシステムファイルとを用いて携帯端末に適用されるＡＰＰを形成したり、クラウドや基地局、ハードウエアストレージ（ハードドライブやＵＳＢデバイス）などに保存し、使用の時に呼び出したりしてもよいが、これらに限定されない。さらに、上記のデータベース６６は、患者インターフェースデバイス３Ｄモデル６６１、患者インターフェース適合サイズデータベース６６２、患者インターフェースＶＲグラフィックデータベース６６３等で構成される。患者インターフェースデバイス３Ｄモデル６６１は、サービス側が提供することができる選択可能なマスクのすべての３Ｄモデルであり、顔との接触方式、適用顔特徴、適用サイズなどに応じて分類してマークされている。

【0112】

患者インターフェース適合サイズデータベース６６２は、上記で分類してマークされている各モデルのマスクに適用される顔のあるサイズ範囲情報を格納し、このサイズ範囲情報を決定モジュール６３に出力して、決定モジュール６３における適合マスクのサイズスコアの決定のための第２データを提供する。例えば、本実施例では、患者インターフェース適合サイズデータベース６６２には、各モデルのマスクに適用される患者の顔の鼻先から下顎までの距離のサイズｂの範囲が格納されており、操作モジュールが呼び出し命令を出すと、特定のモデルのマスクのサイズｂの適用範囲情報が決定モジュール６３に出力される。

【0113】

患者インターフェースＶＲグラフィックデータベース６６３は、上記で分類してマークされたマスクのモデル毎のＶＲグラフィックデータを格納し、決定モジュール６３においてＶＲデータのマッチング決定を行うように、上記のＶＲ画像データを決定モジュール６３に出力する。

【0114】

上記の決定モジュール６３は、ＶＲ患者インターフェースデバイス選択システムの論理実行ユニットである。これは、画像処理モジュール６２及びデータベース６６内のデータ情報を受信し、サイズスコア決定及びＶＲマッチング決定を行い、さらに結果を表示モジュール６４に出力するように機能する。具体的には、決定モジュール６３は、サイズスコア決定ユニット６３１と、ＶＲマッチング決定ユニット６３２と、特徴スコア決定ユニット６３３とを含む。本実施例では、サイズスコア決定ユニット６３１は、画像処理モジュール６２から出力される第１データ（例えば、本実施例では、鼻先から下顎までの距離のサイズｂを出力する）と、データベース６６から出力される第２データ（例えば、本実施例では、各モデルのマスクに適用されるサイズｂの範囲情報を出力する）とを同時に受信し、第１データと第２データとを比較して、当該マスクのサイズスコアを決定する。このように、サイズスコア決定ユニット６３１において、ある患者の顔に対するあるモデルのマスクのサイズスコアが得られ、表示モジュール６４に出力され、表示される。

【0115】

ＶＲマッチング決定ユニット６３２は、データベース６６から出力されるＶＲグラフィック情報と、画像処理モジュール６２から出力される画像位置決め情報とを同時に受信し、上記のＶＲグラフィック情報を画像中の患者の顔にリアルタイムで位置決めするように機能する。具体的には、ＶＲマッチング決定ユニット６３２は、画像位置決めユニット６２２から出力される患者の顔のある又は複数の主要特徴位置に関するリアルタイムなマーク・位置決め（例えば、眼、鼻先、人中などの位置）を受信し、患者インターフェースＶＲグラフィックデータベースから出力されるマスクのＶＲグラフィック情報を受信し、その後、マスクのＶＲグラフィック情報をマーク・位置決めとマッチングさせて位置決めし、さらに、マスクのＶＲグラフィック情報を患者の顔にリアルタイムで位置決めする。結果を表示モジュール６４にリアルタイムで出力し、表示モジュール６４には上記の装着効果をリアルタイムで表示し、ここで、特徴のマッチングを行う際には、個々の特徴の個別のマッチングであってもよいし、いくつかの特徴の総合マッチングであってもよく、例えば、鼻先と上歯槽の最も外側との間隔や傾斜角度などのマッチングであってもよい。

【0116】

特徴スコア決定ユニット６３３は、画像処理モジュール６２から出力されるユーザ特徴情報及びデータベース６６から出力されるマスクモデル情報に基づいてマッチングを行い、対応する特徴スコアを与えるように機能し、スコアが高いほど、ユーザ特徴の観点から、このマスクモデルが当該ユーザの顔型特徴に適していると判定され、スコアが低いほど、ユーザ特徴の観点から、このマスクモデルが当該ユーザの顔型特徴にあまり適していないと判定される。具体的には、特徴スコア決定ユニット６３３は、ユーザ特徴識別ユニット６２１から出力されるマスクタイプ推奨情報と、患者インターフェース適合サイズデータベース６６２から出力されるマスクモデル情報とを同時に受信してマッチングを行う。例えば、ユーザ特徴識別ユニット６２１は、ユーザの顔にひげがないと識別して、Ａタイプマスクの使用を推奨する旨を出力し、患者インターフェース適合サイズデータベース６６２により「Ｆマスク－Ａタイプ－Ｍサイズ」タイプのマスクを出力する場合、特徴スコア決定ユニット６３３は、このモデルのマスクがこの顔特徴に適していると判定し、より高い特徴スコア（例えば９５点）を与える。逆の場合、低い特徴スコアを与える。さらに、特徴スコア決定ユニット６３３は、上記の特徴スコアを表示モジュール６４に出力し、表示モジュール６４に表示させるようにしてもよい。

【0117】

上記の操作モジュール６５は、画像処理モジュール６２、データベース６６、表示モジュール６４を接続するリンクである。ユーザは、操作モジュール６５を介して他のモジュールに対して操作命令を行うことができる。さらに、操作モジュール６５は、第１操作ユニット６５１と、第２操作ユニット６５２とを含む。第１操作ユニット６５１は、画像処理モジュール６２及び表示モジュール６４に同時に操作命令を送信し、画像処理モジュール６２及び表示モジュール６４が送信又は受信する伝送命令を管理することができる。さらに、例えば、第１操作ユニット６５１は、ユーザ特徴識別ユニット６２１から特徴スコア決定ユニット６３３へ伝達される特徴スコア命令を制御し、必要に応じてその伝達を中断するようにしてもよく、その場合、ユーザは、第１操作ユニット６５１によって、特徴スコアを最終的な総合スコアの必要な参照条件とするか否かを選択的に決定してもよい。また、ユーザは、第１操作ユニット６５１によって、ユーザ特徴識別ユニット６２１によって識別された患者の顔特徴のカテゴリを決定することもでき、例えば、ひげの特徴及び顔の形の特徴を個別に又は同時に識別することができ、ユーザは、第１操作ユニット６５１によって、画像位置決めユニット６２２のマーク・位置決めを決定することもでき、例えば、眼、眉間の中心、人中、上唇、下顎、鼻先のいずれかの特徴に対するマーク・位置決めを行うことができる。さらに、第１操作ユニット６５１は、表示モジュール６４に表示されるタッチパネル操作キー及び同様の機能を有する操作インターフェースをさらに含んでもよい。

【0118】

同様に、第２操作ユニット６５２は、データベース６６及び表示モジュール６４に同時に操作命令を送信し、データベース６６及び表示モジュール６４が送信又は受信する伝送命令を管理することができる。さらに、ユーザは、第２操作ユニット６５２によって、異なるモデルの患者インターフェースデバイスを選択して、異なるモデルのマスクのＶＲグラフィックを呼び出してもよく、また、第２操作ユニット６５２によって、異なる適合サイズ参照（例えば、患者の顔の鼻先から下顎までの距離サイズｂが挙げられるが、これに限定されない）を選択してもよく、さらに、必要に応じて患者インターフェース適合サイズデータベース６６２の決定モジュール６４への伝達を中断してもよく、この場合、ユーザは、第２操作ユニット６５２によって、サイズスコアを最終的な総合スコアの必要な参照条件とするか否かを選択的に決定してもよい。さらに、第２操作ユニット６５２は、表示モジュール６４に表示されるタッチパネル操作キー及び同様の機能を有する操作インターフェースをさらに含んでもよい。

【0119】

上記の表示モジュール６４は、装置のインターフェースインタラクションウィンドウであり、画像処理モジュール６２、決定モジュール６３の出力情報、及び操作モジュール６５の操作命令を受信して関連コンテンツを表示し、必要に応じて提示情報を表示するように構成されている。さらに、表示モジュール６４は、リアルタイム画像表示モジュール６４１と、総合スコア表示モジュール６４２と、ＶＲ画像表示モジュール６４３と、情報表示モジュール６４４とを含む。リアルタイム画像表示モジュール６４１は、画像処理モジュール６２から出力されたリアルタイム画像、リアルタイム位置決め等の情報を受信してリアルタイムに表示することができる。すなわち、ユーザは、リアルタイム画像表示モジュール６４１において、自分の顔特徴をリアルタイムで見ることができる。ＶＲ画像表示モジュール６４３は、マスクのＶＲ画像を表示し、リアルタイム位置決め情報に基づいてマスクＶＲ画像を患者の顔に「装着」することができる。マスクＶＲ画像は、顔が動いても顔に対して静止しており、すなわち、実際の装着効果と類似していることが理解される。総合スコア表示モジュール６４２は、サイズスコア決定ユニット６３１から出力されたサイズスコア及び／又は特徴スコア決定ユニット６３３から出力された特徴スコアを受信し、重み付け演算を行って、選択されたマスクが患者の顔にマッチングする総合スコアを得て表示することができる。総合スコアが高いほど、マッチングが良いことを示している。

【0120】

情報表示モジュール６４４は、選択されたマスクの性能情報（例えば、マスクの重量、マスクのデッドスペースの体積、マスクの適用圧力等の情報が挙げられるが、これらに限定されない）を表示してもよく、マスクの装着及び使用情報（例えば、マスクの装着の流れ、使用及び洗浄方法等が挙げられるが、これらに限定されない）を表示してもよく、マスクの適合度情報（例えば、顔に適合する総合スコアが低い場合、スコアが低い理由として「マスクが大きすぎるので、より小さいサイズのマスクの使用を推奨する」、「マスクが小さすぎるので、より大きいサイズのマスクの使用を推奨する」等を表示することが挙げられるが、これらに限定されない）を表示し、必要に応じてユーザに提示情報（例えば、鼻先から下顎までの距離サイズｂを算出する際に、顔の位置を調整するように促すための提示情報等が挙げられるが、これらに限定されない）を表示するように構成されている。

【0121】

装置の実施例については、方法の実施例と基本的に類似しているので、説明は比較的簡単であるが、関連点については、方法の実施例の部分を参照すればよい。

【0122】

本願のいくつかの実施例では、ディスプレイと、プロセッサと、メモリと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムと、を含む端末デバイスであって、このコンピュータプログラムは、プロセッサによって実行されると、マスクの仮想装着方法におけるステップを実現し、同じ技術的効果を達成することができる端末デバイスが提供されるが、重複を避けるために、ここではこれ以上言及しない。

【0123】

本願のいくつかの実施例では、コンピュータプログラムが記憶された読み取り可能な記憶媒体であって、コンピュータプログラムは、プロセッサによって実行されると、マスクの仮想装着方法におけるステップの様々なプロセスを実施し、同じ技術的効果を達成することができる読み取り可能な記憶媒体も提供されるが、重複を避けるために、ここではこれ以上言及しない。

【0124】

本明細書の様々な実施例は、漸進的に説明されており、各実施例は、他の実施例との相違点に焦点を当てて説明されており、様々な実施例の同じ類似の部分は、互いに参照することができる。

【0125】

当業者は、本願の実施例は、方法、装置、又はコンピュータプログラム製品として提供され得ることを理解することができる。したがって、本願の実施例は、完全なハードウェア実施例、完全なソフトウェア実施例、又はソフトウェアとハードウェアとの態様を組み合わせた実施例の形態をとってもよい。さらに、本願の実施例は、コンピュータ利用可能なプログラムコードを含む１つ又は複数のコンピュータ利用可能な記憶媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むがこれに限定されない）上で実装されるコンピュータプログラム製品の形態を取ってもよい。

【0126】

典型的な構成では、コンピュータデバイスは、１つ又は複数のプロセッサ（ＣＰＵ）、入力／出力インターフェース、ネットワークインターフェース、及びメモリを含む。メモリは、コンピュータ読み取り可能な媒体のうちの非永続性メモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は不揮発性メモリの形態を含んでもよく、例えば、読み取り専用メモリ（ＲＯＭ）又はフラッシュＲＡＭ（フラッシュＲＡＭ）が挙げられる。メモリは、コンピュータ読み取り可能な媒体の例である。コンピュータ読み取り可能な媒体は、永続性及び非永続性、取り外し可能及び非取り外し可能な媒体を含み、任意の方法又は技術によって情報記憶を実現することができる。情報は、コンピュータ読み取り可能な命令、データ構造、プログラムのモジュール、又は他のデータとしてもよい。コンピュータの記憶媒体の例には、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又は他のメモリ技術、読出し専用光ディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途光ディスク（ＤＶＤ）又は他の光学記憶装置、磁気カートリッジ、磁気テープ磁気ディスク記憶デバイス又は他の磁気記憶デバイス、又は計算デバイスによってアクセスされ得る情報を記憶することに用いられ得る任意の他の非伝送媒体が含まれるが、これらに限定されない。本明細書で定義されるように、コンピュータ読み取り可能な媒体は、変調されたデータ信号及び搬送波のような非持続的なコンピュータ読み取り可能な媒体（ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）を含まない。

【0127】

本願の実施例は、本願の実施例に係る方法、端末デバイス（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明される。フローチャート及び／又はブロック図中の各フロー及び／又はブロック、ならびにフローチャート及び／又はブロック図中のフロー及び／又はブロックの組み合わせは、コンピュータプログラム命令によって実装され得ることが理解されるべきである。１つのマシンを生成するように、これらのコンピュータプログラム命令を、汎用コンピュータ、専用コンピュータ、埋め込みプロセッサ、又は他のプログラマブルデータ処理端末デバイスのプロセッサに提供することができ、これにより、コンピュータ又は他のプログラマブルデータ処理端末デバイスのプロセッサによって実行される命令は、フローチャートの１つ又は複数のフロー及び／又はブロック図の１つ又は複数のブロックで指定された機能を実装する手段を生成することができる。

【0128】

これらのコンピュータプログラム命令は、特定の方法で動作させるようにコンピュータ又は他のプログラマブルデータ処理端末デバイスを案内することができるコンピュータ読み取り可能なメモリに記憶されてもよく、それによって、このコンピュータ読み取り可能なメモリに記憶された命令は、フローチャートの１つ又は複数のフロー及び／又はブロック図の１つ又は複数のブロックで指定された機能を実現する命令装置を含む製造品を生成する。

【0129】

これらのコンピュータプログラム命令はまた、コンピュータ又は他のプログラマブルデータ処理端末デバイス上で一連の操作ステップを実行してコンピュータ実装処理を生成するように、コンピュータ又は他のプログラマブルデータ処理端末デバイス上にロードすることもでき、それにより、コンピュータ又は他のプログラマブルデータ処理端末デバイス上で実行される命令は、フローチャートの１つ又は複数のフロー及び／又はブロック図の１つ又は複数のブロックで指定された機能を実装するステップを提供する。

【0130】

本願の実施例の好ましい実施例が説明されたが、当業者が基本的な進歩性の概念を知ると、これらの実施例に追加の変更及び修正を加えることができる。したがって、添付の特許請求の範囲は、好ましい実施例と、本願の実施例の範囲に含まれるすべての変更及び修正とを含むものとして解釈されることが意図されている。

【0131】

なお、最後に、本明細書では、第１及び第２などの関係用語は、１つのエンティティ又は操作を別のエンティティ又は操作から区別するためにのみ使用され、これらのエンティティ又は操作の間にそのような実際の関係又は順序が存在することを必ずしも要求又は暗示するものではない。さらに、「包含する」、「含む」などの用語、又はその他の任意の変形は、非排他的包含をカバーすることを意図しており、それにより、一連の要素を含むプロセス、方法、物品、又は端末デバイスは、それらの要素だけでなく、明示的にリストされていない他の要素も含むか、又はそのようなプロセス、方法、物品、又は端末デバイスに固有の要素も含む。これ以上の制限がない場合、「１つの……を含む」という文で限定された要素は、要素を含むプロセス、方法、物品又は端末デバイスの中に他の同じ要素がさらに存在することを排除するものではない。

【0132】

以上、本願に係るマスクの仮想装着方法及びマスクの仮想装着装置について詳細に説明しており、本明細書では、特定の例を適用して本願の原理及び実施形態を説明したが、上記の実施例の説明は、本願の方法及びその中核的な考え方の理解を助けるためにのみ使用される。また、当業者については、本願の思想に従って、具体的な実施形態及び応用範囲に変更点があることから、本明細書の内容は本願を制限するものと理解すべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】