知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-27
(45)【発行日】2024-09-04
(54)【発明の名称】診断システム、診断プログラム、及び診断装置
(51)【国際特許分類】
A61B 5/00 20060101AFI20240828BHJP
A61B 5/107 20060101ALI20240828BHJP
【ＦＩ】
A61B5/00 M
A61B5/107 800
A61B5/00 101A
【請求項の数】
4
(21)【出願番号】P 2020115877
(22)【出願日】2020-07-03
(65)【公開番号】P2022013365
(43)【公開日】2022-01-18
【審査請求日】2023-05-23
(73)【特許権者】
【識別番号】000199979
【氏名又は名称】川上産業株式会社
(74)【代理人】
【識別番号】110002354
【氏名又は名称】弁理士法人平和国際特許事務所
(72)【発明者】
【氏名】森島 敏之
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開２００３－０７０７４９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０１４８７０８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／０２０６４８７（ＵＳ，Ａ１）
【文献】特開２０１４－０８７６４１（ＪＰ，Ａ）
【文献】特開２０１５－１３８３３３（ＪＰ，Ａ）
【文献】特開２００４－２８２７０８（ＪＰ，Ａ）
【文献】特開２０１４－１８０２８５（ＪＰ，Ａ）
【文献】特開２００９－０８９９９９（ＪＰ，Ａ）
【文献】国際公開第２０１９／１４８２６５（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１９／００８３０２５（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１６／０２８４０８４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００
Ａ６１Ｂ ５／０３－５／１０７
Ａ６１Ｂ １０／００
(57)【特許請求の範囲】
【請求項1】
利用者端末と診断装置とを備えた診断システムにおいて、前記利用者端末は、
利用者の肌の画像を撮影する撮影部を備え、
前記診断装置は、
前記撮影部により撮影された利用者の肌の画像を補正する補正部と、
前記補正部により補正された画像に基づいて利用者の肌の状態を診断する診断部と、を備え、
前記撮影部は、
所定の形状で構成されたマーカーを利用者の肌のうち前記利用者の正面から見て遠近差がある部分に付した状態で正面側から撮影し、
前記補正部は、
前記撮影部により撮影された前記マーカーの形状を、前記所定の形状に戻す補正に合わせて前記利用者の肌の画像を補正する
ことを特徴とする診断システム。
【請求項2】
前記診断部による診断結果に基づいて、前記利用者の肌に対応する商品を選択する商品選択手段を備え、前記商品選択手段は、
過去の選択結果である選択履歴を加味して、前記利用者の肌に対応する商品を選択する
ことを特徴とする請求項１に記載の診断システム。
【請求項3】
コンピュータを、利用者の肌の画像を撮影する撮影部、
前記撮影部により撮影された利用者の肌の画像を補正する補正部、
前記補正部により補正された画像に基づいて利用者の肌の状態を診断する診断部、として機能させ、
前記撮影部は、
所定の形状で構成されたマーカーを利用者の肌のうち前記利用者の正面から見て遠近差がある部分に付した状態で正面側から撮影し、
前記補正部は、
前記撮影部により撮影された前記マーカーの形状を、前記所定の形状に戻す補正に合わせて前記利用者の肌の画像を補正する
ことを特徴とする診断プログラム。
【請求項4】
利用者の肌の画像を撮影可能な利用者端末と接続された診断装置において、前記利用者端末により撮影された利用者の肌の画像を補正する補正部と、
前記補正部により補正された画像に基づいて利用者の肌の状態を診断する診断部と、を備え、
前記利用者端末は、
所定の形状で構成されたマーカーを利用者の肌のうち前記利用者の正面から見て遠近差がある部分に付した状態で正面側から撮影し、
前記補正部は、
前記利用者端末により撮影された前記マーカーの形状を、前記所定の形状に戻す補正に合わせて前記利用者の肌の画像を補正する
ことを特徴とする診断装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、利用者の肌画像に基づき肌の状態を診断し、その診断結果を出力可能な診断システム、診断プログラム、及び診断装置に関する。
【背景技術】
【0002】
従来から、化粧品販売店などの店頭において、利用者の肌の状態を診断することが可能なシステムが知られている（例えば、特許文献１参照）。
このようなシステムにおいて、利用者は、診断結果である肌状態に合ったアドバイスを店頭にいる専門の販売員から受けることができ、肌状態に合った基礎化粧品等をその場で購入することができる。
このようなシステムにおいて、利用者は、診断結果である肌状態に合ったアドバイスを店頭にいる専門の販売員から受けることができ、肌状態に合った基礎化粧品等をその場で購入することができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００６－１４２００５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に開示されているような従来のシステムにおいては、利用者がわざわざ店頭に赴かなければ診断を受けたり商品を購入することができない。
また、利用者が店頭に赴く必要がない方法として、利用者自身が撮影した肌の画像を店頭に送り、店頭側が、その肌画像に基づいて当該利用者の肌の状態を診断する方法も考えられる。
ところが、この場合、利用者によって撮影方法や撮影環境が異なったり、同じ利用者でもその時々で撮影方法や撮影環境が異なる場合があるため、診断結果が一定しなかったり診断精度が低下する問題が想定される。
また、利用者が店頭に赴く必要がない方法として、利用者自身が撮影した肌の画像を店頭に送り、店頭側が、その肌画像に基づいて当該利用者の肌の状態を診断する方法も考えられる。
ところが、この場合、利用者によって撮影方法や撮影環境が異なったり、同じ利用者でもその時々で撮影方法や撮影環境が異なる場合があるため、診断結果が一定しなかったり診断精度が低下する問題が想定される。
【0005】
本発明は、従来の問題を解決するために提案されたものであり、利用者が、遠隔から診断を受ける場合でも、安定かつ正確な診断を受けることが可能な診断システム、診断プログラム、及び診断装置の提供を目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため本発明の診断システムは、利用者端末と診断装置とを備えた診断システムにおいて、前記利用者端末は、利用者の肌の画像を撮影する撮影部を備え、前記診断装置は、前記撮影部により撮影された利用者の肌の画像を補正する補正部と、前記補正部により補正された画像に基づいて利用者の肌の状態を診断する診断部と、を備え、前記撮影部は、所定の形状で構成されたマーカーを利用者の肌のうち前記利用者の正面から見て遠近差がある部分に付した状態で正面側から撮影し、前記補正部は、前記撮影部により撮影された前記マーカーの形状を、前記所定の形状に戻す補正に合わせて前記利用者の肌の画像を補正する構成としてある。
【発明の効果】
【0007】
本発明によれば、利用者は、店頭に行かずに肌の診断を受けることができ、かつ、安定した正確な診断結果を得ることができる。
【図面の簡単な説明】
【0008】
【図1】本発明の診断システムの基本構成図である。
【図2】本発明の一実施形態である化粧品販売事業に係る診断システムの概略図である。
【図3】本実施形態の診断システムにおける主な処理手順を示すフローチャートである。
【図4】利用者端末に表示される案内画面であり、（ａ）は、利用者の顔の位置合わせを案内する画面、（ｂ）は、位置合わせされた状態での撮影操作を促す画面である。
【図5】診断装置のハードウェア構成図である。
【図6】利用者端末のハードウェア構成図である。
【図7】診断装置に係る機能を示すブロック図である。
【図8】基準肌画像ＤＢに格納されている基準肌画像等のテーブルデータである。
【図9】（ａ）は、肌理の状態とアドバイスとが対応付けられた第１テーブルデータの一例であり、（ｂ）は、肌タイプとアドバイスとが対応付けられた第２テーブルデータの一例である。
【図10】（ａ）は、肌理の状態とおすすめ商品とが対応付けられた第３テーブルデータの一例であり、（ｂ）は、肌タイプとおすすめ商品とが対応付けられた第４テーブルデータの一例である。
【図11】肌理の状態と肌タイプの各組み合わせとおすすめ商品とが対応付けられたテーブルデータの一例である。
【図12】利用者端末において表示される診断結果の一例である。
【図13】利用者端末において表示されるおすすめ商品の一例である。
【図14】他の実施形態に係る診断装置に係る機能を示すブロック図である。
【図15】マーカーの一例を示す図である。
【図17】マーカーを用いた画像補正（サイズ補正）の説明図である。
【図18】マーカーを用いた画像補正（色補正）の説明図である。
【図19】マーカーを用いた画像補正（形状補正）の説明図である。
【図20】本発明の応用例であるオンライン診療に係る診断システムの概略図である。
【図21】利用者Ａの利用履歴を示す図表である。
【発明を実施するための形態】
【0009】
以下、本発明の診断システムの実施形態について、図面を参照して説明する。
図１は、本発明の診断システム１の基本構成図である。
図１に示すように、診断システム１は、利用者端末１０と診断装置２０とを備え、これらがインターネット回線や携帯電話回線などの通信回線３０を介して通信可能に接続されて構成される。
図１は、本発明の診断システム１の基本構成図である。
図１に示すように、診断システム１は、利用者端末１０と診断装置２０とを備え、これらがインターネット回線や携帯電話回線などの通信回線３０を介して通信可能に接続されて構成される。
【0010】
図２は、本発明の一実施形態である化粧品販売事業に係る診断システム１の概略図である。
図２に示すように、利用者端末１０は、利用者が所持するスマートフォンなどの端末機器であり、本実施形態では、利用者の自宅で使用されることを想定している。
また、診断装置２０は、例えば、化粧品メーカー、化粧品販売会社など、化粧品関連事業（美容事業を含む）を行う事業者の施設に設置される情報処理装置である。
なお、利用者端末１０は、通信回線３０を介して診断装置２０と通信可能であれば足りるため、屋外や自宅以外の屋内で使用することもできる。
また、診断装置２０は、事業者が所持・管理するのではなく、データセンターに設置されているサーバや、クラウドコンピューティングにおけるサーバなど、事業者以外の者が所持・管理する外部の装置であってもよい。
図３は、本実施形態の診断システム１における主な処理手順を示すフローチャートである。
図２に示すように、利用者端末１０は、利用者が所持するスマートフォンなどの端末機器であり、本実施形態では、利用者の自宅で使用されることを想定している。
また、診断装置２０は、例えば、化粧品メーカー、化粧品販売会社など、化粧品関連事業（美容事業を含む）を行う事業者の施設に設置される情報処理装置である。
なお、利用者端末１０は、通信回線３０を介して診断装置２０と通信可能であれば足りるため、屋外や自宅以外の屋内で使用することもできる。
また、診断装置２０は、事業者が所持・管理するのではなく、データセンターに設置されているサーバや、クラウドコンピューティングにおけるサーバなど、事業者以外の者が所持・管理する外部の装置であってもよい。
図３は、本実施形態の診断システム１における主な処理手順を示すフローチャートである。
【0011】
図２及び図３に示すように、まず、利用者端末１０に備えられているカメラ（後記撮影装置１６）により、利用者の顔を撮影する（図３のＳ１）。
なお、顔以外の部位（例えば、首など）における肌について診断を行う場合は、当該部位の撮影を行えばよい。
利用者端末１０には、予め専用のアプリケーションプログラムがインストールされており、この専用アプリを起動することで図４に示す案内画面が表示される。
この案内画面において、利用者は、自身の顔を画面の案内（図中の破線）に従って位置合わせを行うことができ（図４（ａ））、位置合わせされた顔のピントがあうと「撮影」ボタンが有効化されるようになっている（図４（ｂ））。
これにより、後の画像補正にも耐えうる画質の顔画像（顔写真）を取得することができる。
なお、図４では、Ｔゾーンの位置が示されているが、これに加え、Ｕゾーン（フェイスライン）の位置を示したり、いずれの位置も示さないようにもできる。
次に、利用者端末１０は、撮影により得られた画像（利用者の顔画像）を、通信回線３０を介して診断装置２０に送信する。
診断装置２０は、利用者の顔画像を受信すると、顔画像に含まれる各部位の画像（肌画像）に基づいて利用者の肌状態の診断を行う（図３のＳ２）。
具体的には、利用者の肌の肌理の状態や肌タイプの診断や、診断結果（肌の状態）に対応したアドバイスや化粧品の選択を行う。なお、「化粧品」は、主に基礎化粧品や薬用化粧品（医薬部外品）を想定しているが、これに限るものではない。
診断装置２０は、診断結果（診断結果に対応したアドバイスや化粧品の情報を含む）を、通信回線３０を介して利用者端末１０に出力（送信）する（図３のＳ３）。
利用者端末１０は、診断装置２０から受信した診断結果を表示する（図３のＳ４）。
これにより、利用者は、利用者端末１０を介して診断結果を確認することができる。
このため、利用者は、化粧品販売店などの店頭に赴くことなく、自宅に居ながら肌状態の診断を受けることができる。
また、その際、利用者は、診断結果に対応したアドバイスや化粧品の情報（後記「おすすめの商品」等）を得ることができる。
なお、顔以外の部位（例えば、首など）における肌について診断を行う場合は、当該部位の撮影を行えばよい。
利用者端末１０には、予め専用のアプリケーションプログラムがインストールされており、この専用アプリを起動することで図４に示す案内画面が表示される。
この案内画面において、利用者は、自身の顔を画面の案内（図中の破線）に従って位置合わせを行うことができ（図４（ａ））、位置合わせされた顔のピントがあうと「撮影」ボタンが有効化されるようになっている（図４（ｂ））。
これにより、後の画像補正にも耐えうる画質の顔画像（顔写真）を取得することができる。
なお、図４では、Ｔゾーンの位置が示されているが、これに加え、Ｕゾーン（フェイスライン）の位置を示したり、いずれの位置も示さないようにもできる。
次に、利用者端末１０は、撮影により得られた画像（利用者の顔画像）を、通信回線３０を介して診断装置２０に送信する。
診断装置２０は、利用者の顔画像を受信すると、顔画像に含まれる各部位の画像（肌画像）に基づいて利用者の肌状態の診断を行う（図３のＳ２）。
具体的には、利用者の肌の肌理の状態や肌タイプの診断や、診断結果（肌の状態）に対応したアドバイスや化粧品の選択を行う。なお、「化粧品」は、主に基礎化粧品や薬用化粧品（医薬部外品）を想定しているが、これに限るものではない。
診断装置２０は、診断結果（診断結果に対応したアドバイスや化粧品の情報を含む）を、通信回線３０を介して利用者端末１０に出力（送信）する（図３のＳ３）。
利用者端末１０は、診断装置２０から受信した診断結果を表示する（図３のＳ４）。
これにより、利用者は、利用者端末１０を介して診断結果を確認することができる。
このため、利用者は、化粧品販売店などの店頭に赴くことなく、自宅に居ながら肌状態の診断を受けることができる。
また、その際、利用者は、診断結果に対応したアドバイスや化粧品の情報（後記「おすすめの商品」等）を得ることができる。
【0012】
なお、本実施形態の診断システム１は、顧客管理システム、商取引システム、物流システム等、他の各種システムと連携可能に構成することができる（図２参照）。
顧客管理システムでは、利用者の氏名、住所、電話番号等が管理されており、商取引システムでは、オンラインによる商品の注文から決済に至る電子商取引が可能であり、物流システムでは、オンライン注文に応じ、利用者の住所に注文された商品を配送できるようになっている。
このため、利用者は、利用者端末１０を介して所望の商品（例えば、「おすすめの商品」）を発注することができる。
この場合、発注情報が利用者端末１０から通信回線３０を介して診断装置２０に送信され、診断装置２０は、受信した発注情報をこれら各種システムに受け渡すことで、商取引システムでは、注文された商品に関する決済等を行い、物流システムでは、顧客管理システムにおいて管理されている利用者の住所に注文された商品を配送する処理を行う。
これにより、利用者は、店頭に赴くことなく、自宅に居ながら所望の商品（化粧品）をオンラインで購入することができる。
顧客管理システムでは、利用者の氏名、住所、電話番号等が管理されており、商取引システムでは、オンラインによる商品の注文から決済に至る電子商取引が可能であり、物流システムでは、オンライン注文に応じ、利用者の住所に注文された商品を配送できるようになっている。
このため、利用者は、利用者端末１０を介して所望の商品（例えば、「おすすめの商品」）を発注することができる。
この場合、発注情報が利用者端末１０から通信回線３０を介して診断装置２０に送信され、診断装置２０は、受信した発注情報をこれら各種システムに受け渡すことで、商取引システムでは、注文された商品に関する決済等を行い、物流システムでは、顧客管理システムにおいて管理されている利用者の住所に注文された商品を配送する処理を行う。
これにより、利用者は、店頭に赴くことなく、自宅に居ながら所望の商品（化粧品）をオンラインで購入することができる。
【0013】
診断システム１の構成について詳細に説明する。
図５は、診断装置２０のハードウェア構成図である。
診断装置２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信装置２４と、入力装置２５と、出力装置２６とを備えるコンピュータである。
プロセッサ２１は、制御部、演算部、レジスタ等を含む中央処理部（ＣＰＵ）を備え、コンピュータ全体を制御する。
プロセッサ２１は、プログラム及びデータ等を、ストレージ２３や通信装置２４からメモリ２２に読み出し、これらに従って各種の処理を実行する。メモリ２２は、コンピュータが読み取り可能な記録媒体であり、例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ等である。
図５は、診断装置２０のハードウェア構成図である。
診断装置２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信装置２４と、入力装置２５と、出力装置２６とを備えるコンピュータである。
プロセッサ２１は、制御部、演算部、レジスタ等を含む中央処理部（ＣＰＵ）を備え、コンピュータ全体を制御する。
プロセッサ２１は、プログラム及びデータ等を、ストレージ２３や通信装置２４からメモリ２２に読み出し、これらに従って各種の処理を実行する。メモリ２２は、コンピュータが読み取り可能な記録媒体であり、例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ等である。
【0014】
ストレージ２３は、コンピュータが読み取り可能な記録媒体であり、例えば、ハードディスクドライブ、フラッシュメモリ等である。
通信装置２４は、有線及び／又は無線による通信回線を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等である。
通信装置２４は、有線及び／又は無線による通信回線を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等である。
【0015】
入力装置２５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。
出力装置２６は、外部への出力を実施する出力デバイス（例えば、モニター、ディスプレイ、表示パネル、スピーカー、ＬＥＤランプなど）である。
なお、本実施形態の診断装置２０において、入力装置２５及び出力装置２６は必須の構成ではない。
出力装置２６は、外部への出力を実施する出力デバイス（例えば、モニター、ディスプレイ、表示パネル、スピーカー、ＬＥＤランプなど）である。
なお、本実施形態の診断装置２０において、入力装置２５及び出力装置２６は必須の構成ではない。
【0016】
図６は、利用者端末１０のハードウェア構成図である。
利用者端末１０は、プロセッサ１１と、メモリ１２と、通信装置１３と、入力装置１４と、出力装置１５と、撮影装置１６とを備えるコンピュータであり、例えば、スマートフォン、パーソナルコンピュータ、タブレット端末である。
プロセッサ１１から出力装置１５までは、図５に示す同名の各装置と共通するハードウェアである。
撮影装置１６は、利用者端末１０に備えられているカメラであり、撮影した画像データをプロセッサ１１に供給する。
撮影装置１６は、多くのスマートフォンに設けられている一般のカメラ（低スペックを含む非高スペックのカメラ）を想定しており、超高倍率や超高詳細画像の撮影が可能な高スペックのカメラは想定していない。
ただし、このような高スペックのカメラを用いてもよく、この場合、より良好な画質の画像に基づきより高精度な診断が期待できる。
なお、入力装置１４及び出力装置１５は、一体となった構成（例えば、タッチスクリーン）を想定しており、当該タッチスクリーンを便宜上表示部１５とも称する。
利用者端末１０は、プロセッサ１１と、メモリ１２と、通信装置１３と、入力装置１４と、出力装置１５と、撮影装置１６とを備えるコンピュータであり、例えば、スマートフォン、パーソナルコンピュータ、タブレット端末である。
プロセッサ１１から出力装置１５までは、図５に示す同名の各装置と共通するハードウェアである。
撮影装置１６は、利用者端末１０に備えられているカメラであり、撮影した画像データをプロセッサ１１に供給する。
撮影装置１６は、多くのスマートフォンに設けられている一般のカメラ（低スペックを含む非高スペックのカメラ）を想定しており、超高倍率や超高詳細画像の撮影が可能な高スペックのカメラは想定していない。
ただし、このような高スペックのカメラを用いてもよく、この場合、より良好な画質の画像に基づきより高精度な診断が期待できる。
なお、入力装置１４及び出力装置１５は、一体となった構成（例えば、タッチスクリーン）を想定しており、当該タッチスクリーンを便宜上表示部１５とも称する。
【0017】
診断装置２０は、プロセッサ２１がプログラム（本発明の診断プログラム）を実行して各部を制御することで、以下に述べる機能が実現される。
図７は、診断装置２０の機能を示すブロック図である。
図７に示すように、診断装置２０は、画像抽出部５０と、診断部５１と、基準肌画像ＤＢ５２とを備える。
図７は、診断装置２０の機能を示すブロック図である。
図７に示すように、診断装置２０は、画像抽出部５０と、診断部５１と、基準肌画像ＤＢ５２とを備える。
【0018】
画像抽出部５０は、利用者端末１０から受信（入力）した利用者の顔画像から各部位の肌画像を抽出する。
具体的には、ＴゾーンとＵゾーンにおける所定領域の肌画像を抽出し、抽出した肌画像をメモリ２２に記憶する。
なお、ＴゾーンやＵゾーンに限らず、他の部位の肌画像を抽出してもよい。
また、顔画像全体で診断を行う場合は、所定領域ごとに肌画像を抽出しなくてもよく、この場合は、顔全体の肌画像を抽出する。
具体的には、ＴゾーンとＵゾーンにおける所定領域の肌画像を抽出し、抽出した肌画像をメモリ２２に記憶する。
なお、ＴゾーンやＵゾーンに限らず、他の部位の肌画像を抽出してもよい。
また、顔画像全体で診断を行う場合は、所定領域ごとに肌画像を抽出しなくてもよく、この場合は、顔全体の肌画像を抽出する。
【0019】
診断部５１は、画像抽出部５０により抽出された肌画像（以下、利用者肌画像ともいう）に基づいて利用者の肌状態を診断する。
この診断には、「基準肌画像」が用いられる。
「基準肌画像」は、診断の基準となる肌の画像データであり、ストレージ２３内の基準肌画像ＤＢ５２に予め格納（記憶）されている。
この診断には、「基準肌画像」が用いられる。
「基準肌画像」は、診断の基準となる肌の画像データであり、ストレージ２３内の基準肌画像ＤＢ５２に予め格納（記憶）されている。
【0020】
「基準肌画像」は、具体的には、図８に示すように、「肌タイプ」と「肌理の状態」の組合せごとに対応付けた態様で格納される。
このような「基準肌画像」は、例えば、過去に専門家（例えば、肌やその画像を見てその肌の状態を診断することが可能な専門家をいう）が被検者の肌状態を診断した際に取得した当該被検者の肌画像を用いることができ、「肌理の状態」や「肌タイプ」は、その診断結果を用いることができる。
「肌理」は、皮溝と皮丘によって構成される、皮膚表面の凹凸のことをいう。
「肌理の状態」には、○（良好）と、△（普通）と、×（不良）の３段階がある。
「○」は、一般には、皮溝が浅く、皮丘が細かい状態をいい、「×」は、皮溝が深い場合や皮丘が粗い状態をいい、「△」はその中間の状態（例えば、皮丘がやや粗い状態）をいう。
このように、肌理の状態は、皮膚表面の凹凸の状態に基づいて分類される。
なお、「肌理の状態」は、「優」、「劣」など他の指標でもよく、２段階や４段階以上でもよい。
また、肌理（皮溝や皮丘）の均一配列性など他の診断基準を採用することもできる。
このような「基準肌画像」は、例えば、過去に専門家（例えば、肌やその画像を見てその肌の状態を診断することが可能な専門家をいう）が被検者の肌状態を診断した際に取得した当該被検者の肌画像を用いることができ、「肌理の状態」や「肌タイプ」は、その診断結果を用いることができる。
「肌理」は、皮溝と皮丘によって構成される、皮膚表面の凹凸のことをいう。
「肌理の状態」には、○（良好）と、△（普通）と、×（不良）の３段階がある。
「○」は、一般には、皮溝が浅く、皮丘が細かい状態をいい、「×」は、皮溝が深い場合や皮丘が粗い状態をいい、「△」はその中間の状態（例えば、皮丘がやや粗い状態）をいう。
このように、肌理の状態は、皮膚表面の凹凸の状態に基づいて分類される。
なお、「肌理の状態」は、「優」、「劣」など他の指標でもよく、２段階や４段階以上でもよい。
また、肌理（皮溝や皮丘）の均一配列性など他の診断基準を採用することもできる。
【0021】
「肌タイプ」には、乾燥肌、脂性肌、混合肌、普通肌がある。
「乾燥肌」は、肌が乾燥によってかさかさした状態をいう。視覚的には、肌理が細かいが浅く、もしくは、見えにくい状態の場合に、乾燥肌と診断される傾向が高い。
「脂性肌」は、皮脂の分泌が多いためにべたついた状態をいう。視覚的には、肌理が粗く、毛穴の開きや黒ずみ毛穴が多い場合に脂性肌と診断される傾向が高い。
「混合肌」は、脂性肌と乾燥肌の両方が存在する状態をいう。本実施形態では、Ｔゾーンが脂性肌で、Ｕゾーンが乾燥肌である場合を混合肌という。
「普通肌」は、皮脂の分泌が多すぎず少なすぎず、かつ、かさついていない肌の状態をいう。つまり、普通肌は、乾燥肌でも脂性肌でもない肌の状態をいう。
このように、肌タイプは、肌理の状態（すなわち、皮膚表面の凹凸状態）に基づいて分類される。
なお、「敏感肌」などの他の肌タイプを採用することもできる。
また、「基準肌画像」は、肌理の状態と肌タイプとの組合せに対応付けたデータ構造（図８参照）であるが、肌理の状態と肌タイプとを分け、それぞれに基準肌画像を対応付けたデータ構造でもよい。
また、図８に示す例では、肌タイプと肌理の状態の組合せ毎に１つの基準肌画像が対応付けられているが、これに限らず複数の基準肌画像を対応付けてもよい。
また、ＴゾーンとＵゾーンのそれぞれに基準肌画像を設けることもできる。
なお、図８の基準肌画像は、便宜上同じ画像を用いているが、実際には、肌タイプ及び肌理の状態によって異なる。
「乾燥肌」は、肌が乾燥によってかさかさした状態をいう。視覚的には、肌理が細かいが浅く、もしくは、見えにくい状態の場合に、乾燥肌と診断される傾向が高い。
「脂性肌」は、皮脂の分泌が多いためにべたついた状態をいう。視覚的には、肌理が粗く、毛穴の開きや黒ずみ毛穴が多い場合に脂性肌と診断される傾向が高い。
「混合肌」は、脂性肌と乾燥肌の両方が存在する状態をいう。本実施形態では、Ｔゾーンが脂性肌で、Ｕゾーンが乾燥肌である場合を混合肌という。
「普通肌」は、皮脂の分泌が多すぎず少なすぎず、かつ、かさついていない肌の状態をいう。つまり、普通肌は、乾燥肌でも脂性肌でもない肌の状態をいう。
このように、肌タイプは、肌理の状態（すなわち、皮膚表面の凹凸状態）に基づいて分類される。
なお、「敏感肌」などの他の肌タイプを採用することもできる。
また、「基準肌画像」は、肌理の状態と肌タイプとの組合せに対応付けたデータ構造（図８参照）であるが、肌理の状態と肌タイプとを分け、それぞれに基準肌画像を対応付けたデータ構造でもよい。
また、図８に示す例では、肌タイプと肌理の状態の組合せ毎に１つの基準肌画像が対応付けられているが、これに限らず複数の基準肌画像を対応付けてもよい。
また、ＴゾーンとＵゾーンのそれぞれに基準肌画像を設けることもできる。
なお、図８の基準肌画像は、便宜上同じ画像を用いているが、実際には、肌タイプ及び肌理の状態によって異なる。
【0022】
このような基準肌画像ＤＢ５２を設けることで、診断部５１は、メモリ２２に記憶されている利用者肌画像と基準肌画像ＤＢ５２に格納されている各基準肌画像との対比に基づいて、当該各基準肌画像の中から利用者肌画像の画像的特徴と最も類似する画像的特徴を有する基準肌画像を特定（マッチング）する。
そして、特定（マッチ）した基準肌画像に対応付けられている肌理の状態及び肌タイプを、利用者の現在の肌理の状態及び肌タイプ（肌の状態）と診断する。
診断は、部位ごとに行う。
「肌タイプ」については、ＴゾーンとＵゾーンが共に同じ肌タイプの場合、その肌タイプを利用者の肌タイプと診断し、異なる肌タイプの場合（Ｔゾーンが脂性肌でＵゾーンが乾燥肌の場合）、利用者の肌タイプは混合肌と診断する。
「肌理の状態」は、本実施形態では、ＴゾーンとＵゾーンのうちのいずれか一方（例えば、Ｔゾーン）の肌理の状態を利用者の肌理の状態と診断するが、ＴゾーンとＵゾーンのそれぞれを診断結果とすることもできる。
利用者肌画像と基準肌画像との類似度は、公知の画像認識技術に基づき、例えば、皮溝と皮丘との凹凸、すなわち、肌理の大きさ、密度、色、形状、均一度などを画像中のエッジやテクスチャなどの画像的特徴を識別し、それぞれの特徴量に基づいて算出することができる。
そして、特定（マッチ）した基準肌画像に対応付けられている肌理の状態及び肌タイプを、利用者の現在の肌理の状態及び肌タイプ（肌の状態）と診断する。
診断は、部位ごとに行う。
「肌タイプ」については、ＴゾーンとＵゾーンが共に同じ肌タイプの場合、その肌タイプを利用者の肌タイプと診断し、異なる肌タイプの場合（Ｔゾーンが脂性肌でＵゾーンが乾燥肌の場合）、利用者の肌タイプは混合肌と診断する。
「肌理の状態」は、本実施形態では、ＴゾーンとＵゾーンのうちのいずれか一方（例えば、Ｔゾーン）の肌理の状態を利用者の肌理の状態と診断するが、ＴゾーンとＵゾーンのそれぞれを診断結果とすることもできる。
利用者肌画像と基準肌画像との類似度は、公知の画像認識技術に基づき、例えば、皮溝と皮丘との凹凸、すなわち、肌理の大きさ、密度、色、形状、均一度などを画像中のエッジやテクスチャなどの画像的特徴を識別し、それぞれの特徴量に基づいて算出することができる。
【0023】
診断は、いわゆる人工知能（ＡＩ）を用いて行うこともできる。
例えば、過去に被検者から取得した「肌画像」と、当該画像に基づいて専門家が診断した「肌理の状態」の情報を教師データとするデータセットを多数用意し、当該データセットをディープラーニングなどの手法により機械学習させることによって、未知の「肌画像」情報を入力した場合に、その「肌理の状態」の推測情報を出力可能な学習済みモデル「肌理状態予測モデル」を生成することができる。
同様に「肌タイプ予測モデル」を生成することができる。
これにより、「利用者肌画像」を「肌理状態予測モデル」に入力することで利用者の肌理の状態を診断結果（推測情報）として取得することができ、「利用者肌画像」を「肌タイプ予測モデル」に入力することで利用者の肌タイプを診断結果（推測情報）として取得することができる。
例えば、過去に被検者から取得した「肌画像」と、当該画像に基づいて専門家が診断した「肌理の状態」の情報を教師データとするデータセットを多数用意し、当該データセットをディープラーニングなどの手法により機械学習させることによって、未知の「肌画像」情報を入力した場合に、その「肌理の状態」の推測情報を出力可能な学習済みモデル「肌理状態予測モデル」を生成することができる。
同様に「肌タイプ予測モデル」を生成することができる。
これにより、「利用者肌画像」を「肌理状態予測モデル」に入力することで利用者の肌理の状態を診断結果（推測情報）として取得することができ、「利用者肌画像」を「肌タイプ予測モデル」に入力することで利用者の肌タイプを診断結果（推測情報）として取得することができる。
【0024】
診断装置２０は、通信装置２４が、診断部５１による診断結果を利用者端末１０に送信（出力）する。
【0025】
また、診断部５１は、上記診断結果と共に、当該診断結果に対応したアドバイスや化粧品に関する情報を診断する。
図９（ａ）は、肌理の状態とアドバイスとが対応付けられた第１テーブルデータであり、図９（ｂ）は、肌タイプとアドバイスとが対応付けられた第２テーブルデータである。
図１０（ａ）は、肌理の状態とおすすめ商品とが対応付けられた第３テーブルデータであり、図１０（ｂ）は、肌タイプとおすすめ商品とが対応付けられた第４テーブルデータである。
具体的には、診断部５１が、第１～第４テーブルデータを参照し、対応するアドバイスを選択する。
例えば、診断結果が、「肌タイプ＝乾燥肌、肌理の状態＝×」の場合、第１テーブルデータから対応するアドバイス（肌理の状態が乱れる原因の多くは、・・・）の情報を選択し、第２テーブルデータから対応するアドバイス（洗顔は、摩擦をかけないように・・・）の情報を選択する。
また、この場合、第３テーブルデータから対応するおすすめ商品（商品Ｃ）の情報を選択し、第４テーブルデータから対応するおすすめ商品（Ｄ）の情報を選択する。
なお、肌タイプと肌理の状態の両方に対応したおすすめ商品がある場合には、図１１に示すように、肌タイプと肌理の状態との組合せとおすすめ商品とを対応付けたテーブルデータを用いることもできる。
診断装置２０の通信装置２４は、このようにして選択された情報（アドバイスや商品に関する情報を含む）を診断結果に含めて送信する。
図９（ａ）は、肌理の状態とアドバイスとが対応付けられた第１テーブルデータであり、図９（ｂ）は、肌タイプとアドバイスとが対応付けられた第２テーブルデータである。
図１０（ａ）は、肌理の状態とおすすめ商品とが対応付けられた第３テーブルデータであり、図１０（ｂ）は、肌タイプとおすすめ商品とが対応付けられた第４テーブルデータである。
具体的には、診断部５１が、第１～第４テーブルデータを参照し、対応するアドバイスを選択する。
例えば、診断結果が、「肌タイプ＝乾燥肌、肌理の状態＝×」の場合、第１テーブルデータから対応するアドバイス（肌理の状態が乱れる原因の多くは、・・・）の情報を選択し、第２テーブルデータから対応するアドバイス（洗顔は、摩擦をかけないように・・・）の情報を選択する。
また、この場合、第３テーブルデータから対応するおすすめ商品（商品Ｃ）の情報を選択し、第４テーブルデータから対応するおすすめ商品（Ｄ）の情報を選択する。
なお、肌タイプと肌理の状態の両方に対応したおすすめ商品がある場合には、図１１に示すように、肌タイプと肌理の状態との組合せとおすすめ商品とを対応付けたテーブルデータを用いることもできる。
診断装置２０の通信装置２４は、このようにして選択された情報（アドバイスや商品に関する情報を含む）を診断結果に含めて送信する。
【0026】
利用者端末１０は、通信装置１３が、診断装置２０から診断結果等（アドバイスや商品に関する情報を含む）の情報を受信し、表示部１５が、当該診断結果等を表示する。
図１２は、利用者端末１０の表示部１５に表示される診断結果の一例である。
具体的には、診断結果として、利用者の肌理の状態は「×（不良）」であることや、診断結果に対応する情報として「アドバイス」が表示されている。
図１３は、利用者端末１０の表示部１５に表示される、診断結果に対応する商品の情報の一例である。
具体的には、肌の状態に合った化粧品を紹介するものであり、肌理の状態（不良）に対応するおすすめ商品（商品Ｃ）と、肌タイプに対応する商品（商品Ｄ）とが表示される。
なお、商品に紐付けて表示される「カートに入れる」を押下することで、当該商品を電子商取引上のショッピングカートに入れることができる。
カートに入れた商品は、図示しない決済関連情報入力画面、注文確定画面等における操作を介して注文（発注）することができ、決済の完了に応じ、配送手続きが自動的に実行される（図２に示す各種システムとの連携）。
図１２は、利用者端末１０の表示部１５に表示される診断結果の一例である。
具体的には、診断結果として、利用者の肌理の状態は「×（不良）」であることや、診断結果に対応する情報として「アドバイス」が表示されている。
図１３は、利用者端末１０の表示部１５に表示される、診断結果に対応する商品の情報の一例である。
具体的には、肌の状態に合った化粧品を紹介するものであり、肌理の状態（不良）に対応するおすすめ商品（商品Ｃ）と、肌タイプに対応する商品（商品Ｄ）とが表示される。
なお、商品に紐付けて表示される「カートに入れる」を押下することで、当該商品を電子商取引上のショッピングカートに入れることができる。
カートに入れた商品は、図示しない決済関連情報入力画面、注文確定画面等における操作を介して注文（発注）することができ、決済の完了に応じ、配送手続きが自動的に実行される（図２に示す各種システムとの連携）。
【0027】
（マーカーを用いた画像補正について）
診断部５１は、画像抽出部５０により抽出された肌画像（利用者肌画像）に基づいて利用者の肌状態を診断するところ、利用者肌画像は、利用者が、自ら利用者端末１０を用いて撮影（所謂「自撮り」）することによって得られた撮影画像を用いることによって簡便に遠隔診断が受けられることについて説明した。
しかしながら、例えば、撮影倍率、カメラと被写体（肌）との距離、撮影場所の明るさなど、撮影のたびに撮影方法や撮影環境が異なることが多い。
特に、本実施形態の診断システム１は、不特定の利用者により自身の肌画像を撮影するため、撮影のたびに、利用者画像の大きさ、色などにバラツキが生じることとなり、診断結果が安定せず、診断精度も低下する。
そこで、本実施形態の診断システム１では、安定した診断結果を得るべく、マーカーＭを用いた画像補正が可能な構成を備えている。
診断部５１は、画像抽出部５０により抽出された肌画像（利用者肌画像）に基づいて利用者の肌状態を診断するところ、利用者肌画像は、利用者が、自ら利用者端末１０を用いて撮影（所謂「自撮り」）することによって得られた撮影画像を用いることによって簡便に遠隔診断が受けられることについて説明した。
しかしながら、例えば、撮影倍率、カメラと被写体（肌）との距離、撮影場所の明るさなど、撮影のたびに撮影方法や撮影環境が異なることが多い。
特に、本実施形態の診断システム１は、不特定の利用者により自身の肌画像を撮影するため、撮影のたびに、利用者画像の大きさ、色などにバラツキが生じることとなり、診断結果が安定せず、診断精度も低下する。
そこで、本実施形態の診断システム１では、安定した診断結果を得るべく、マーカーＭを用いた画像補正が可能な構成を備えている。
【0028】
図１４は、診断装置２０に係る機能を示すブロック図である。
図１４に示すように、診断装置２０は、画像補正部５３を備えることができる。
画像補正部５３は、所定のマーカーＭが利用者の肌に付された状態で撮影された当該利用者の肌の画像を、当該画像に含まれるマーカーＭを特定形態に補正することに基づいて補正する。
図１４に示すように、診断装置２０は、画像補正部５３を備えることができる。
画像補正部５３は、所定のマーカーＭが利用者の肌に付された状態で撮影された当該利用者の肌の画像を、当該画像に含まれるマーカーＭを特定形態に補正することに基づいて補正する。
【0029】
マーカーＭは、所定の形状、大きさ、色からなる識別図形である。
「所定の形状」は、例えば、円形、多角形、星型などを例示することができる。
「所定の大きさ」は、例えば円形の場合の「直径」や、正方形の場合の「１辺の長さ」などを例示することができる。
「所定の色」は、例えば、青、赤、肌色などを例示することができる。
「所定の形状」は、例えば、円形、多角形、星型などを例示することができる。
「所定の大きさ」は、例えば円形の場合の「直径」や、正方形の場合の「１辺の長さ」などを例示することができる。
「所定の色」は、例えば、青、赤、肌色などを例示することができる。
【0030】
図１５（ａ）は、本実施形態のマーカーＭを示す図である。
図１５（ａ）に示すように、本実施形態では、円形のマーカーＭを用いる。
便宜上、マーカーＭは黒色が施されており、直径が１ｃｍ～２ｃｍの大きさのものとする。
図１５（ｂ）に示すように、マーカーＭは、各部位（頬部、額部、鼻部）の所定箇所に貼付して用いる。
そして、図１５（ｃ）に示すように、マーカーＭが肌に貼付された状態で撮影を行う。
図１５（ａ）に示すように、本実施形態では、円形のマーカーＭを用いる。
便宜上、マーカーＭは黒色が施されており、直径が１ｃｍ～２ｃｍの大きさのものとする。
図１５（ｂ）に示すように、マーカーＭは、各部位（頬部、額部、鼻部）の所定箇所に貼付して用いる。
そして、図１５（ｃ）に示すように、マーカーＭが肌に貼付された状態で撮影を行う。
【0031】
（サイズ補正について）
肌診断は、肌理の大きさ等、利用者肌画像と基準肌画像との画像的特徴の比較に基づいて実行されるところ、撮影倍率等、利用者肌画像の大きさが撮影のたびに異なると、肌理の大きさが一定せず、診断結果にバラツキが生じてしまう。
そこで、診断システム１では、画像の大きさに一定の基準を設け、画像補正部５３によって利用者肌画像や基準肌画像を基準のサイズに補正するようにしている。
肌診断は、肌理の大きさ等、利用者肌画像と基準肌画像との画像的特徴の比較に基づいて実行されるところ、撮影倍率等、利用者肌画像の大きさが撮影のたびに異なると、肌理の大きさが一定せず、診断結果にバラツキが生じてしまう。
そこで、診断システム１では、画像の大きさに一定の基準を設け、画像補正部５３によって利用者肌画像や基準肌画像を基準のサイズに補正するようにしている。
【0032】
サイズ補正は、具体的には、以下に示す方法により実行することができる。
まず、被検者の肌にマーカーＭを貼付した状態で写真を撮影し、その撮影により得られた被検者の肌画像を拡大又は縮小することにより肌診断に適した画像の大きさを決定する。
「肌診断に適した画像の大きさ」は、例えば、肌理の大きさが所定の大きさであること、肌理の数が所定数量以上含む大きさであること、部位の全体又は一定領域を含む大きさであることなどを、被検者の肌診断を行う専門家等の目視判断により、又は、コンピュータの画像判断により決定することができる。
決定した画像は、基準肌画像として取り扱われ、診断結果（肌タイプ、肌理の状態等）に対応付けて記憶される（図８等参照）。つまり、基準肌画像そのものが「肌診断に適した画像の大きさ」で記憶される。
基準肌画像に含まれるマーカーＭの画像は基準マーカーＭ１として規定され、基準マーカーＭ１の大きさは、マーカー基準サイズとして規定され、それぞれ記憶される（図１６参照）。基準マーカーＭ１及びマーカー基準サイズは、部位毎に規定することができる。
まず、被検者の肌にマーカーＭを貼付した状態で写真を撮影し、その撮影により得られた被検者の肌画像を拡大又は縮小することにより肌診断に適した画像の大きさを決定する。
「肌診断に適した画像の大きさ」は、例えば、肌理の大きさが所定の大きさであること、肌理の数が所定数量以上含む大きさであること、部位の全体又は一定領域を含む大きさであることなどを、被検者の肌診断を行う専門家等の目視判断により、又は、コンピュータの画像判断により決定することができる。
決定した画像は、基準肌画像として取り扱われ、診断結果（肌タイプ、肌理の状態等）に対応付けて記憶される（図８等参照）。つまり、基準肌画像そのものが「肌診断に適した画像の大きさ」で記憶される。
基準肌画像に含まれるマーカーＭの画像は基準マーカーＭ１として規定され、基準マーカーＭ１の大きさは、マーカー基準サイズとして規定され、それぞれ記憶される（図１６参照）。基準マーカーＭ１及びマーカー基準サイズは、部位毎に規定することができる。
【0033】
そして、利用者の肌診断を行う場合には、画像補正部５３が、利用者肌画像に含まれるマーカーＭの画像（図１７（ａ））を、基準マーカーＭ１の大きさと一致させるように画像全体を補正する（図１７（ｂ））。
すなわち、利用者画像に含まれるマーカーＭのサイズをマーカー基準サイズに一致させるように画像全体を拡大又は縮小することで画像サイズを補正する。
これにより、利用者肌画像を、「肌診断に適した画像の大きさ」であって、かつ、基準肌画像と同じ大きさに一致させることができる。
このため、撮影倍率、カメラと被写体との距離等にバラツキがあることで、利用者肌画像の大きさが一定しない場合であっても、安定かつ正確な診断結果を得ることができる。
すなわち、利用者画像に含まれるマーカーＭのサイズをマーカー基準サイズに一致させるように画像全体を拡大又は縮小することで画像サイズを補正する。
これにより、利用者肌画像を、「肌診断に適した画像の大きさ」であって、かつ、基準肌画像と同じ大きさに一致させることができる。
このため、撮影倍率、カメラと被写体との距離等にバラツキがあることで、利用者肌画像の大きさが一定しない場合であっても、安定かつ正確な診断結果を得ることができる。
【0034】
（色補正について）
色補正について説明する。
肌診断は、肌や肌理の色等、利用者肌画像と基準肌画像との画像的特徴の比較に基づいて実行されるところ、撮影場所の明るさ等の影響により利用者肌画像の色が一定せず、診断結果にバラツキが生じてしまう。
そこで、診断システム１では、画像の色に一定の基準を設け、画像補正部５３によって利用者肌画像や基準肌画像の色を基準の色に補正可能にしている。
色補正について説明する。
肌診断は、肌や肌理の色等、利用者肌画像と基準肌画像との画像的特徴の比較に基づいて実行されるところ、撮影場所の明るさ等の影響により利用者肌画像の色が一定せず、診断結果にバラツキが生じてしまう。
そこで、診断システム１では、画像の色に一定の基準を設け、画像補正部５３によって利用者肌画像や基準肌画像の色を基準の色に補正可能にしている。
【0035】
色補正は、例えば、以下に示す方法により実行することができる。
まず、被検者の肌にマーカーＭを貼付した状態で写真を撮影し、その撮影により得られた被検者の肌画像の輝度、コントラスト、濃度など色味に関する設定値を調整することにより肌診断に適した色を決定する。
「肌診断に適した色」は、例えば、肌や肌理の色が一定の明るさ（例えば、いわゆる「白飛び」や「黒つぶれ」のない明るさ）であること、一定の濃度であること、などを、被検者の肌診断を行う専門家等の目視判断により、又は、コンピュータの画像判断により決定することができる。
決定した画像は、基準肌画像として取り扱われ、診断結果（肌タイプ、肌理の状態等）に対応付けて記憶される（図８等参照）。つまり、基準肌画像そのものが「肌診断に適した色」で記憶される。
基準肌画像に含まれるマーカーＭの画像は基準マーカーＭ１として規定され、基準マーカーＭ１の色は、マーカー基準色として規定され、それぞれ記憶される（図１６参照）。マーカー基準色は、部位毎に規定することができる。
まず、被検者の肌にマーカーＭを貼付した状態で写真を撮影し、その撮影により得られた被検者の肌画像の輝度、コントラスト、濃度など色味に関する設定値を調整することにより肌診断に適した色を決定する。
「肌診断に適した色」は、例えば、肌や肌理の色が一定の明るさ（例えば、いわゆる「白飛び」や「黒つぶれ」のない明るさ）であること、一定の濃度であること、などを、被検者の肌診断を行う専門家等の目視判断により、又は、コンピュータの画像判断により決定することができる。
決定した画像は、基準肌画像として取り扱われ、診断結果（肌タイプ、肌理の状態等）に対応付けて記憶される（図８等参照）。つまり、基準肌画像そのものが「肌診断に適した色」で記憶される。
基準肌画像に含まれるマーカーＭの画像は基準マーカーＭ１として規定され、基準マーカーＭ１の色は、マーカー基準色として規定され、それぞれ記憶される（図１６参照）。マーカー基準色は、部位毎に規定することができる。
【0036】
そして、利用者の肌診断を行う場合には、画像補正部５３が、利用者肌画像に含まれるマーカーＭの色（図１８（ａ））をマーカー基準色に一致させるように画像全体における設定値を調整（補正）する（図１８（ｂ））。
これにより、利用者肌画像を、基準肌画像の色と同じく「肌診断に適した色」にすることができる。
このため、撮影場所の明るさにバラツキがあることで、利用者肌画像の色が一定しない場合であっても、安定かつ正確な診断結果を得ることができる。
これにより、利用者肌画像を、基準肌画像の色と同じく「肌診断に適した色」にすることができる。
このため、撮影場所の明るさにバラツキがあることで、利用者肌画像の色が一定しない場合であっても、安定かつ正確な診断結果を得ることができる。
【0037】
（形状補正について）
形状補正について説明する。
肌診断は、肌理の大きさ、密度等、画像的特徴（特に形状的特徴）に基づいて肌の状態を診断するところ、部位によっては肌理の形状的特徴を識別しづらい場合がある。
これは、利用者の顔を正面側から自撮りした場合、特に、頬部は、鼻部側から耳部側に亘って傾斜しているため（言い換えれば、カメラに近い部分から遠い部分に亘って遠近差があるため）、肌表面が横方向に狭まった（歪んだ）態様で撮影され、その結果、肌理の形状的特徴を正確に識別し難くなるからである（図１５（ｃ），１９（ａ）参照）。
遠近差の生じないよう、斜め方向から撮影する方法（つまり頬部に対して正面から撮影する方法）もあるが、自撮りでの操作は難しく、また、部位毎に撮影方法を変えたり複数回撮影するのは煩わしい。
そこで、診断システム１では、利用者肌画像や基準肌画像の歪んだ部分については形状補正を実行可能にしている。
形状補正について説明する。
肌診断は、肌理の大きさ、密度等、画像的特徴（特に形状的特徴）に基づいて肌の状態を診断するところ、部位によっては肌理の形状的特徴を識別しづらい場合がある。
これは、利用者の顔を正面側から自撮りした場合、特に、頬部は、鼻部側から耳部側に亘って傾斜しているため（言い換えれば、カメラに近い部分から遠い部分に亘って遠近差があるため）、肌表面が横方向に狭まった（歪んだ）態様で撮影され、その結果、肌理の形状的特徴を正確に識別し難くなるからである（図１５（ｃ），１９（ａ）参照）。
遠近差の生じないよう、斜め方向から撮影する方法（つまり頬部に対して正面から撮影する方法）もあるが、自撮りでの操作は難しく、また、部位毎に撮影方法を変えたり複数回撮影するのは煩わしい。
そこで、診断システム１では、利用者肌画像や基準肌画像の歪んだ部分については形状補正を実行可能にしている。
【0038】
形状補正は、以下に示す方法により実行することができる。
予め、マーカーＭの形状を基準マーカー形状として記憶する。
そのうえで、被検者の肌にマーカーＭを貼付した状態で写真を撮影し、その撮影により得られた被検者の肌画像に含まれるマーカーＭの形状を基準マーカー形状と一致させるように画像全体を変形加工する。
次に、画像補正部５３は、利用者肌画像に含まれるマーカーＭの形状を基準マーカー形状に一致させるように画像全体を変形する。
例えば、頬部の利用者肌画像に含まれる楕円状のマーカーＭの画像（図１９（ａ））を、基準マーカー形状である円状に変形するように画像全体を変形加工する（図１９（ｂ）参照）。
これにより、利用者肌画像と基準肌画像を、肌理の状態を識別し易い画像に補正することができる。
このため、肌理の形状的特徴を識別し難い部位においても、安定かつ正確な診断結果を得ることができる。
予め、マーカーＭの形状を基準マーカー形状として記憶する。
そのうえで、被検者の肌にマーカーＭを貼付した状態で写真を撮影し、その撮影により得られた被検者の肌画像に含まれるマーカーＭの形状を基準マーカー形状と一致させるように画像全体を変形加工する。
次に、画像補正部５３は、利用者肌画像に含まれるマーカーＭの形状を基準マーカー形状に一致させるように画像全体を変形する。
例えば、頬部の利用者肌画像に含まれる楕円状のマーカーＭの画像（図１９（ａ））を、基準マーカー形状である円状に変形するように画像全体を変形加工する（図１９（ｂ）参照）。
これにより、利用者肌画像と基準肌画像を、肌理の状態を識別し易い画像に補正することができる。
このため、肌理の形状的特徴を識別し難い部位においても、安定かつ正確な診断結果を得ることができる。
【0039】
このように、本実施形態の診断システム１は、利用者端末１０と診断装置２０とを備え、利用者端末１０は、利用者の肌の画像を撮影する撮影装置１６（撮影部）を備え、診断装置２０は、撮影装置１６により撮影された利用者の肌の画像を補正する画像補正部５３と、画像補正部５３により補正された画像に基づいて利用者の肌の状態を診断する診断部５１と、を備え、画像補正部５３は、所定のマーカーＭが利用者の肌に付された状態で撮影された当該利用者の肌の画像を、当該画像に含まれるマーカーＭを特定形態に補正することに基づいて補正するようにしている。
具体的には、マーカーＭは、所定の形状、大きさ、色のうちの1以上を識別可能な形態で構成され、画像補正部５３は、利用者の肌の画像を、当該画像に含まれるマーカーの形態を、当該形態に対応する特定形態に補正することに基づいて補正するようにしている。
従って、診断システム１によれば、利用者は、化粧品販売店に赴くことなく、遠隔から肌に関する診断を受けることができることに加え、安定した精度の高い診断を受けることができる。
具体的には、マーカーＭは、所定の形状、大きさ、色のうちの1以上を識別可能な形態で構成され、画像補正部５３は、利用者の肌の画像を、当該画像に含まれるマーカーの形態を、当該形態に対応する特定形態に補正することに基づいて補正するようにしている。
従って、診断システム１によれば、利用者は、化粧品販売店に赴くことなく、遠隔から肌に関する診断を受けることができることに加え、安定した精度の高い診断を受けることができる。
【0040】
（応用例）
図２０は、本発明の応用例に係るオンライン診療に係る診断システム１の概略図である。
図２０に示すように、本発明の応用例に係る診断システム１は、皮膚科等のオンライン診療（遠隔診療）に適用することができる。
以下、処理手順について説明する。
図２０は、本発明の応用例に係るオンライン診療に係る診断システム１の概略図である。
図２０に示すように、本発明の応用例に係る診断システム１は、皮膚科等のオンライン診療（遠隔診療）に適用することができる。
以下、処理手順について説明する。
【0041】
まず、利用者端末１０の内蔵カメラにより、オンライン診療を希望する利用者の所定部位の肌（皮膚）の写真を撮影する。
本応用例では、利用者は顔の肌にできたアトピー性皮膚炎についての診療を想定していることから、顔の写真を撮影する。
利用者端末１０は、撮影により得られた利用者の顔画像を、通信回線３０を介して、皮膚科等の病院に設置されている診断装置２０に送信する。
本応用例では、利用者は顔の肌にできたアトピー性皮膚炎についての診療を想定していることから、顔の写真を撮影する。
利用者端末１０は、撮影により得られた利用者の顔画像を、通信回線３０を介して、皮膚科等の病院に設置されている診断装置２０に送信する。
【0042】
診断装置２０は、利用者の顔画像を受信すると、顔画像に含まれる肌画像（利用者肌画像）に基づいて利用者の肌状態の診断を行い、診断結果を出力する。
例えば、アトピー性皮膚炎の場合、特徴的皮疹（紅斑、丘疹、鱗屑等）の有無、分布等に応じて、重症、中等症、軽症、軽微ごとに、基準肌画像が基準肌画像ＤＢ５２に格納されており、診断部５１は、利用者肌画像と基準肌画像との類似度に基づいて利用者の重症度を診断する。
例えば、アトピー性皮膚炎の場合、特徴的皮疹（紅斑、丘疹、鱗屑等）の有無、分布等に応じて、重症、中等症、軽症、軽微ごとに、基準肌画像が基準肌画像ＤＢ５２に格納されており、診断部５１は、利用者肌画像と基準肌画像との類似度に基づいて利用者の重症度を診断する。
【0043】
なお、診断は、前述した実施形態（化粧品販売事業に係るシステム）におけるテーブルデータの内容を変更するだけで実施できる。
例えば、図８のテーブルにおいては、アトピー性皮膚炎に特有の画像（基準肌画像）を重症度ごとに対応付けたデータとし、図９のテーブルにおいては、重症度ごとにアトピー性皮膚炎に関するアドバイスを対応付けたデータとし、図１０のテーブルにおいては、重症度ごとにアトピー性皮膚炎の治療薬名を対応付けたデータとすればよい。
例えば、図８のテーブルにおいては、アトピー性皮膚炎に特有の画像（基準肌画像）を重症度ごとに対応付けたデータとし、図９のテーブルにおいては、重症度ごとにアトピー性皮膚炎に関するアドバイスを対応付けたデータとし、図１０のテーブルにおいては、重症度ごとにアトピー性皮膚炎の治療薬名を対応付けたデータとすればよい。
【0044】
診断装置２０は、通信装置２４が、診断結果を、利用者端末１０において表示可能に送信（出力）すると共に、出力装置２６が、モニター等に表示する。
これにより、利用者は、病院に赴くことなく遠隔から診療を受けることができ、利用者と医師は、それぞれ診断結果を見ながら診療を進めることができる。
また、診断部５１は、診断結果（重症度）に応じた薬品を選択し、選択された薬品名を処方薬の候補としてモニター等に表示することができる。
具体的には、各重症度に対応して、ストロンゲスト（１群）、ベリーストロング（２群）、ストロング（３群）、ミディアム（４群）、ウィーク（５群）が対応付けられており、これらの中から重症度に対応する薬品が選択される。
これにより、医師は、表示された薬品を参照しつつ、自身の判断で処方薬を決定し、処方箋を発行することができる。
診断装置２０の通信装置２４は、所定操作に応じて、処方箋のデータを利用者端末１０に送信することができる。
これにより、利用者は、病院に赴くことなく遠隔から診療を受けることができ、利用者と医師は、それぞれ診断結果を見ながら診療を進めることができる。
また、診断部５１は、診断結果（重症度）に応じた薬品を選択し、選択された薬品名を処方薬の候補としてモニター等に表示することができる。
具体的には、各重症度に対応して、ストロンゲスト（１群）、ベリーストロング（２群）、ストロング（３群）、ミディアム（４群）、ウィーク（５群）が対応付けられており、これらの中から重症度に対応する薬品が選択される。
これにより、医師は、表示された薬品を参照しつつ、自身の判断で処方薬を決定し、処方箋を発行することができる。
診断装置２０の通信装置２４は、所定操作に応じて、処方箋のデータを利用者端末１０に送信することができる。
【0045】
これにより、利用者端末１０では、診断装置２０から受信した処方箋を出力（表示・印刷）することができる。
このため、利用者は、最寄りの薬局で利用者端末１０を介して処方箋を提示したり、印刷された処方箋を薬局に提出することで、処方薬を受け取ることができる。
なお、薬局において、診断装置２０や利用者端末１０と通信可能な端末機器がある場合は、診断装置２０又は利用者端末１０から処方箋を端末機器に送信することもできる。
また、処方薬を利用者の自宅まで配送するようにもできる。
これにより、処方薬の受け取りに関する利便性を向上させることができる。
このため、利用者は、最寄りの薬局で利用者端末１０を介して処方箋を提示したり、印刷された処方箋を薬局に提出することで、処方薬を受け取ることができる。
なお、薬局において、診断装置２０や利用者端末１０と通信可能な端末機器がある場合は、診断装置２０又は利用者端末１０から処方箋を端末機器に送信することもできる。
また、処方薬を利用者の自宅まで配送するようにもできる。
これにより、処方薬の受け取りに関する利便性を向上させることができる。
【0046】
（その他）
（１）診断システム１において、診断部５１は、商品に関する情報を、過去の診断結果を加味して決定することもできる。
すなわち、診断部５１の診断においては、利用者の肌状態の診断と共に、診断結果に対応する商品を選択するようにしているが、利用者における商品の過去の購入履歴によってはその商品を変更することができる。
例えば、図２１は、診断装置２０のストレージ２３に記憶されている、利用者Ａの診断履歴である。
この診断履歴においては、利用者Ａは、２０１９年４月２０日に診断を受けており、その診断結果は、「肌タイプ＝乾燥肌、肌理の状態＝△」であり、おすすめ商品＝商品Ｄ２、購入商品＝商品Ｄ２であることが記録されている。
この「おすすめ商品」は、具体的には、図１１に示すテーブルにおいて「肌タイプ＝乾燥肌、肌理の状態＝△」に対応する商品Ｄ２（化粧水＋美容液＋洗顔料）が選択されたものであり、この「おすすめ商品」の提示に応じ、利用者は、商品Ｄ２を購入したものと考えられる。
（１）診断システム１において、診断部５１は、商品に関する情報を、過去の診断結果を加味して決定することもできる。
すなわち、診断部５１の診断においては、利用者の肌状態の診断と共に、診断結果に対応する商品を選択するようにしているが、利用者における商品の過去の購入履歴によってはその商品を変更することができる。
例えば、図２１は、診断装置２０のストレージ２３に記憶されている、利用者Ａの診断履歴である。
この診断履歴においては、利用者Ａは、２０１９年４月２０日に診断を受けており、その診断結果は、「肌タイプ＝乾燥肌、肌理の状態＝△」であり、おすすめ商品＝商品Ｄ２、購入商品＝商品Ｄ２であることが記録されている。
この「おすすめ商品」は、具体的には、図１１に示すテーブルにおいて「肌タイプ＝乾燥肌、肌理の状態＝△」に対応する商品Ｄ２（化粧水＋美容液＋洗顔料）が選択されたものであり、この「おすすめ商品」の提示に応じ、利用者は、商品Ｄ２を購入したものと考えられる。
【0047】
次に、利用者Ａは、その約６ヶ月後の２０２０年１０月３０日に、再度診断を受け、その診断結果は、「肌タイプ＝乾燥肌、肌理の状態＝△」であったことが診断履歴に記憶されている。
ただし、この診断履歴に示されるように、この診断結果は、前回の診断結果と同じであるにもかかわらず、このときの「おすすめ商品」として商品Ｄ３が選択されている。
つまり、「おすすめ商品」は、図１１に示すテーブルに基づけば、前回と同じく商品Ｄ２が選択されるべきところ、商品Ｄ２ではなく商品Ｄ３（商品Ｄ２＋乳液）が選択されている。
これは、診断結果に対応して勧められた化粧品を購入し、その後一定の期間を使用したにもかかわらず、再度の診断結果が好転していないことから、本来は、Ｄ２であるところ、それよりも高い効果が見込めるＤ３を選択するようにしたものである。
具体的には、「肌タイプ＝乾燥肌、肌理の状態＝△」に対し、前回は商品Ｄ２（化粧水＋美容液＋洗顔料）を勧めたが、今回は、さらに乳液を追加した商品Ｄ３を「おすすめ商品」として選択・提示することで、肌状態の改善を図るものである。
すなわち、診断部５１は、過去の診断結果と、当該診断結果に対応した商品に関する情報（商品Ｄ２の購買情報）とに基づき、今回の診断結果に対応した商品（商品Ｄ３）を選択することができる。
以上のように、診断部５１による診断結果には、当該診断結果に対応した商品に関する情報が含まれ、診断部５１は、商品に関する情報を、過去の診断結果を加味して決定可能にしてある。
これにより、利用者は、過去の診断結果を加味した化粧品に関する情報（おすすめ商品）を得ることができる。
ただし、この診断履歴に示されるように、この診断結果は、前回の診断結果と同じであるにもかかわらず、このときの「おすすめ商品」として商品Ｄ３が選択されている。
つまり、「おすすめ商品」は、図１１に示すテーブルに基づけば、前回と同じく商品Ｄ２が選択されるべきところ、商品Ｄ２ではなく商品Ｄ３（商品Ｄ２＋乳液）が選択されている。
これは、診断結果に対応して勧められた化粧品を購入し、その後一定の期間を使用したにもかかわらず、再度の診断結果が好転していないことから、本来は、Ｄ２であるところ、それよりも高い効果が見込めるＤ３を選択するようにしたものである。
具体的には、「肌タイプ＝乾燥肌、肌理の状態＝△」に対し、前回は商品Ｄ２（化粧水＋美容液＋洗顔料）を勧めたが、今回は、さらに乳液を追加した商品Ｄ３を「おすすめ商品」として選択・提示することで、肌状態の改善を図るものである。
すなわち、診断部５１は、過去の診断結果と、当該診断結果に対応した商品に関する情報（商品Ｄ２の購買情報）とに基づき、今回の診断結果に対応した商品（商品Ｄ３）を選択することができる。
以上のように、診断部５１による診断結果には、当該診断結果に対応した商品に関する情報が含まれ、診断部５１は、商品に関する情報を、過去の診断結果を加味して決定可能にしてある。
これにより、利用者は、過去の診断結果を加味した化粧品に関する情報（おすすめ商品）を得ることができる。
【0048】
なお、オンライン診療に係る診断システム１においても、過去の診断結果を加味することができる。
例えば、過去の診断結果が「中等症」であったために「ストロング（３群）」の薬品が処方された場合において、今回の診断結果が「中等症」や「重症」である場合には、「ベリーストロング（２群）」等を処方候補として表示したり、反対に、今回の診断結果が「軽症」である場合には、「ミディアム（４群）」等を処方候補として表示することができる。
これにより、利用者は、過去の診断結果を加味した薬品に関する情報（処方箋）を得ることができる。
例えば、過去の診断結果が「中等症」であったために「ストロング（３群）」の薬品が処方された場合において、今回の診断結果が「中等症」や「重症」である場合には、「ベリーストロング（２群）」等を処方候補として表示したり、反対に、今回の診断結果が「軽症」である場合には、「ミディアム（４群）」等を処方候補として表示することができる。
これにより、利用者は、過去の診断結果を加味した薬品に関する情報（処方箋）を得ることができる。
【0049】
（２）本発明は、診断装置２０単体でも実現可能である。
具体的には、診断装置２０にカメラで撮影した利用者の肌画像を入力することで、診断装置２０の出力装置２６がその診断結果をモニター表示することができ、必ず利用者端末１０において表示するものでなくてもよい。
また、診断システム１や診断装置２０における各処理（動作）は、本発明の診断プログラムにより実現することもできる。
このため、例えば、パーソナルコンピュータなどの情報処理装置に診断プログラムをインストールすることで当該情報処理装置を診断装置２０として機能させることができる。
また、診断プログラムは、参照するテーブル（図８～図１１）のデータを変更したり、異なるデータのテーブルを切り替えるだけで、化粧品販売事業に係るシステムやオンライン診療に係るシステムを選択的に実現することができる。
具体的には、診断装置２０にカメラで撮影した利用者の肌画像を入力することで、診断装置２０の出力装置２６がその診断結果をモニター表示することができ、必ず利用者端末１０において表示するものでなくてもよい。
また、診断システム１や診断装置２０における各処理（動作）は、本発明の診断プログラムにより実現することもできる。
このため、例えば、パーソナルコンピュータなどの情報処理装置に診断プログラムをインストールすることで当該情報処理装置を診断装置２０として機能させることができる。
また、診断プログラムは、参照するテーブル（図８～図１１）のデータを変更したり、異なるデータのテーブルを切り替えるだけで、化粧品販売事業に係るシステムやオンライン診療に係るシステムを選択的に実現することができる。
【0050】
以上、本発明の診断システム、診断プログラム、及び診断装置について、好ましい実施形態を示して説明したが、本発明の診断システム等は、前述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、化粧品販売事業に係る診断システム１において、店頭の販売員や専門家が肌画像や診断部５１による診断結果を閲覧できるように、出力装置２６によりモニター表示することもできる。
そして、この場合、販売員等による診断結果、アドバイス、おすすめ商品の情報を、利用者端末１０において出力可能に送信することもできる。
これにより、利用者は、より丁寧で正確な肌診断サービスを受けることができる。
例えば、化粧品販売事業に係る診断システム１において、店頭の販売員や専門家が肌画像や診断部５１による診断結果を閲覧できるように、出力装置２６によりモニター表示することもできる。
そして、この場合、販売員等による診断結果、アドバイス、おすすめ商品の情報を、利用者端末１０において出力可能に送信することもできる。
これにより、利用者は、より丁寧で正確な肌診断サービスを受けることができる。
【0051】
また、応用例においては、診断システム１を、皮膚科等のオンライン診療（遠隔診療）に適用した例（アトピー性疾患の例）について説明したが、皮膚科に限らず、一般のオンライン診療に広く適用することができる。
また、前述の実施形態では、顔の肌状態について診断する場合を例示したが、手、足、首など様々な部位の肌診断に適用することができる。
例えば、水虫の種類や痔の種類を診断することができる。
また、前述の実施形態では、顔の肌状態について診断する場合を例示したが、手、足、首など様々な部位の肌診断に適用することができる。
例えば、水虫の種類や痔の種類を診断することができる。
【0052】
また、上述の実施形態では、画像補正部５３が、画像の大きさ、色、形状を補正することについてそれぞれ説明したが、これらを共に補正することもでき、個々に補正することもできる。
また、マーカーＭの形態として、大きさ、色、形状を例示したが、所定の模様（例えば、十字模様や二重円模様）を、形状に関する要素に含めることもできる。
また、マーカーＭの形態として、大きさ、色、形状を例示したが、所定の模様（例えば、十字模様や二重円模様）を、形状に関する要素に含めることもできる。
【0053】
また、マーカーＭに対する基準マーカーＭ１を機械学習（ＡＩ）により決定することもできる。
例えば、マーカーＭの形状が円形であり、大きさが直径Ｘｍｍであり、色が肌色（塗りつぶし）である場合において、このマーカーＭを多数の被検者の肌に貼付して撮影したときの肌画像と、当該肌画像を「肌診断に適した大きさ、色、形状」に補正した画像に含まれるマーカーＭの形態（大きさ、色、形状）を特定可能な情報とを教師データとするデータセットを多数用意し、当該データセットをディープラーニングなどの手法により機械学習させることによって、未知の「肌画像」を入力した場合に、その「肌画像」に対応する基準マーカーＭ１を特定可能な情報を出力可能な学習済みモデルを生成することができる。
これにより、利用者肌画像をこのモデルに入力することで当該モデルから出力された基準マーカーＭ１を特定可能な情報に基づいて、マーカーＭをその基準マーカーＭ１に合わせる補正に基づいて画像全体を補正することができる。
例えば、マーカーＭの形状が円形であり、大きさが直径Ｘｍｍであり、色が肌色（塗りつぶし）である場合において、このマーカーＭを多数の被検者の肌に貼付して撮影したときの肌画像と、当該肌画像を「肌診断に適した大きさ、色、形状」に補正した画像に含まれるマーカーＭの形態（大きさ、色、形状）を特定可能な情報とを教師データとするデータセットを多数用意し、当該データセットをディープラーニングなどの手法により機械学習させることによって、未知の「肌画像」を入力した場合に、その「肌画像」に対応する基準マーカーＭ１を特定可能な情報を出力可能な学習済みモデルを生成することができる。
これにより、利用者肌画像をこのモデルに入力することで当該モデルから出力された基準マーカーＭ１を特定可能な情報に基づいて、マーカーＭをその基準マーカーＭ１に合わせる補正に基づいて画像全体を補正することができる。
【産業上の利用可能性】
【0054】
本発明は、化粧品のオンライン販売やオンライン診療等に利用可能である。
【符号の説明】
【0055】
１ 診断システム
１０ 利用者端末
１６ 撮影装置
２０ 診断装置
５１ 診断部
５３ 画像補正部
７０ 利用者肌画像
８０ 基準肌画像
Ｍ マーカー
Ｍ１ 基準マーカー
１０ 利用者端末
１６ 撮影装置
２０ 診断装置
５１ 診断部
５３ 画像補正部
７０ 利用者肌画像
８０ 基準肌画像
Ｍ マーカー
Ｍ１ 基準マーカー
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】