特開 2025-2138 肌画像撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025002138

(43)【公開日】2025-01-09

(54)【発明の名称】肌画像撮像システム

(51)【国際特許分類】

   A61B 5/00 20060101AFI20241226BHJP

【ＦＩ】

A61B5/00 M

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023102083

(22)【出願日】2023-06-21

(71)【出願人】

【識別番号】000000918

【氏名又は名称】花王株式会社

(74)【代理人】

【識別番号】110000224

【氏名又は名称】弁理士法人田治米国際特許事務所

(72)【発明者】

【氏名】吉田 健一郎

(72)【発明者】

【氏名】内山 雅普

(72)【発明者】

【氏名】小玉 伸二

(72)【発明者】

【氏名】小原沢 明彦

【テーマコード（参考）】

4C117

【Ｆターム（参考）】

4C117XA02

4C117XB09

4C117XB13

4C117XD04

4C117XD05

4C117XE03

4C117XE33

4C117XE43

4C117XF05

4C117XG34

4C117XP04

4C117XQ11

(57)【要約】

【課題】カメラ機能付き携帯用端末のユーザーが、該携帯用端末を用いて２種の偏光条件で肌画像を撮影することにより肌の内部反射光画像と表面反射光画像を手軽に得られるようにする。
【解決手段】肌画像撮像システムが、(i)照明用光源３、第１撮像用レンズ４及び第２撮像用レンズ５を備えたカメラ機能付き携帯用端末１、(ii)照明用光源３の前面に設けられる照明用偏光板、(iii)第１撮像用レンズ４の前面に設けられる第１偏光板１１、(iv)第２撮像用レンズ５の前面に設けられる第２偏光板１２、及び(v)環境光遮蔽フード２０を備える。前面に照明用偏光板を設けた照明用光源３と前面に第１偏光板を設けた第１撮像用レンズ４を用いて表面反射光を含む第１画像を形成し、前面に照明用偏光板を設けた照明用光源３と前面に第２偏光板を設けた第２撮像用レンズ５を用いて表面反射光を含まない第２画像を形成する。第１画像と第２画像の偏光条件が異なる。
【選択図】図１

【特許請求の範囲】

【請求項1】

(i)照明用光源、第１撮像用レンズ及び第２撮像用レンズを備えたカメラ機能付き携帯用端末、
(ii)照明用光源の前面に設けられる照明用偏光板、
(iii)第１撮像用レンズの前面に設けられる第１偏光板、
(iv)第２撮像用レンズの前面に設けられる第２偏光板、及び
(v)照明用光源と第１撮像用レンズと第２撮像用レンズと撮影箇所を囲む環境光遮蔽フードを備え、
前面に照明用偏光板を設けた照明用光源と前面に第１偏光板を設けた第１撮像用レンズによって形成される第１画像と、前面に照明用偏光板を設けた前記照明用光源と前面に第２偏光板を設けた第２撮像用レンズで形成される第２画像との偏光条件が異なり、
第１撮像用レンズを用いて表面反射光を含む第１画像を形成し、第２撮像用レンズを用いて表面反射光を含まない第２画像を形成する肌画像撮像システム。

【請求項2】

照明用偏光板と第１偏光板の偏光方向が同一であり、第１偏光板と第２偏光板の偏光方向が異なる請求項１記載の肌画像撮像システム。

【請求項3】

第１偏光板が照明用偏光板を兼ねており、レンズカバーに第１偏光板及び第２偏光板が取り付けられた偏光板付レンズカバーが、携帯用端末のアウトカメラ部分に着脱自在に取り付けられ、該携帯用端末に環境光遮蔽フードが着脱自在に取り付けられる請求項１又は２記載の肌画像撮像システム。

【請求項4】

第１撮像用レンズで撮影した画像に比して第２撮像用レンズで撮影した画像の解像度が高い請求項１～３のいずれかに記載の肌画像撮像システム。

【請求項5】

照明用光源の点灯、第１撮像用レンズ及び第２撮像用レンズの一方を用いた撮影、及び第１撮像用レンズ及び第２撮像用レンズの他方を用いた撮影を順次又は同時に行うアプリケーションが、携帯用端末にインストールされている請求項１～４のいずれかに記載の肌画像撮像システム。

【請求項6】

該システムが演算装置を備え、該演算装置が、第１画像と第２画像の大きさを揃える画像の拡縮と、第１画像と第２画像の位置合わせとを順次又は同時に行い、第１画像と第２画像の差から表面反射光画像を形成するアプリケーションを備えている請求項１～５のいずれかに記載の肌画像撮像システム。

【請求項7】

演算装置が、第２画像からメラニン画像又はヘモグロビン画像を形成するアプリケーションを備えている請求項６記載の肌画像撮像システム。

【請求項8】

請求項１記載の肌画像撮像システムに用いる撮影治具であって、
(ii)照明用光源、第１撮像用レンズ、及び第２撮像用レンズを備えたカメラ機能付き携帯用端末の当該照明用光源の前面に設けられる照明用偏光板、
(iii)前記第１撮像用レンズの前面に設けられる第１偏光板、
(iv)前記第２撮像用レンズの前面に設けられる第２偏光板、
(v)第１偏光板と第２偏光板と撮影箇所を囲む環境光遮蔽フード
を備え、
前面に照明用偏光板を設けた照明用光源と前面に第１偏光板を設けた第１撮像用レンズによって形成される第１画像と、前面に照明用偏光板を設けた照明用光源と前面に第２偏光板を設けた第２撮像用レンズで形成される第２画像との偏光条件が異なる撮影治具。

【請求項9】

照明用偏光板と第１偏光板の偏光方向が同一であり、第１偏光板と第２偏光板の偏光方向が異なる請求項８記載の撮影治具。

【請求項10】

第１撮像用レンズで撮影した画像に比して第２撮像用レンズで撮影した画像の解像度が高い請求項８又は９記載の撮影治具。

【請求項11】

照明用光源、第１撮像用レンズ及び第２撮像用レンズを備えたカメラ機能付き携帯用端末と、請求項８～１０のいずれかに記載の撮影治具とを用いて、肌の撮影箇所の表面反射光を含む第１画像と表面反射光を含まない第２画像を撮る肌の撮影方法であって、肌の撮影箇所を環境光遮蔽フードで囲み、第１画像を、照明用偏光板を前面に配置した照明用光源と第１偏光板を前面に配置した第１撮像用レンズを用いて撮り、第２画像を、照明用偏光板を前面に配置した前記照明用光源と、第２偏光板を前面に配置した第２撮像用レンズを用いて撮る方法であり、第１画像と第２画像の偏光条件を異ならせる肌の撮影方法。

【請求項12】

照明用偏光板と第１偏光板の偏光方向を同一とし、第１偏光板と第２偏光板の偏光方向を異ならせる請求項１１に記載の肌の撮影方法。

【請求項13】

携帯用端末が、該携帯用端末に搭載されたアプリケーションにより、請求項１１又は１２記載の方法で撮られた第１画像と第２画像に基づいて表面反射光画像と内部反射光画像を形成する画像形成方法。

【請求項14】

携帯用端末が、請求項１１又は１２記載の方法で撮られた第１画像と第２画像を演算装置に出力し、演算装置が、該演算装置に搭載されたアプリケーションにより第１画像と第２画像に基づいて表面反射光画像と内部反射光画像を形成する画像形成方法。

【請求項15】

携帯用端末が、請求項１１又は１２記載の方法で撮られた第１画像と第２画像を、ｗｅｂ上の特定のサイトに送信し、該サイトに接続された演算装置が、該演算装置に搭載されたアプリケーションにより第１画像と第２画像に基づいて表面反射光画像と内部反射光画像を形成する画像形成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯用端末を用いた肌画像撮像システムに関する。

【0002】

肌の表面反射光で皮溝、小じわ、毛穴などを観察し、内部反射光でシミ、ソバカス等の色ムラを観察することが行われている。例えば、特許文献１には、肌の表面反射光画像と内部反射光画像を得るために、肌にＳ偏光又はＰ偏光を入射させ、それぞれの入射光の反射光としてＳ偏光成分とＰ偏光成分を受光し、これらの画像信号から肌の表面反射光画像と内部反射光画像を算出することが記載されている。しかしながら、この撮像装置は反射光の受光光路をビームスプリッターで分岐する特殊な構成を必要とする。

【0003】

一方、特許文献２には、スマートフォン等の汎用的な端末装置を用いて肌の広い領域の状態を把握するために、端末装置が有する複数のカメラのうちの一つを第一撮像部として顔等の身体の所定部位を撮像し、第一撮像部よりも解像度が高いカメラを第二撮像部として顔の肌等を撮像し、重なる部位の肌状態から重ならない部位の肌状態を類推することが提案されている。特許文献２には、第二撮像部の照明光において無偏光と偏光を使い分け、肌のキメ検出とシミ検出をすることも記載されている。

【0004】

しかしながら、特許文献２に記載の端末装置では第二撮像部でキメ検出とシミ検出の双方を行うために第二撮像部の照明光において偏光の切り替えが必要となり、切り替えの前後でカメラと肌の位置関係を一定に保つことが非常に困難となる。また、切り替え作業も繁雑である。偏光の切り替えをカメラの前面に配した偏光板の脱着で行う方法も広く用いられているが、その場合も切り替えが必要なことに変わりはなく、同様の問題が残る。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平７－３２３０１３号公報

【特許文献2】特開２０２２－１３８３８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述の先行技術に対し、本発明の課題は、スマートフォン等のカメラ機能付き携帯用端末で２種の偏光条件を用いて肌画像を撮影するにあたり、該端末のユーザーが偏光板を取り替える手間がなく、肌画像を撮影する間のカメラと撮像部位との位置関係が変動せず、ユーザーが手軽に肌の内部反射光画像と表面反射光画像を得られるようにすることに関する。

【課題を解決するための手段】

【0007】

一般に、スマートフォン等のカメラ機能付き携帯用端末は、アウトカメラとして複数のレンズを備えており、アウトカメラ側は比較的強力な照明用光源を備えている。本発明者は、照明用光源の前面に偏光板を装着すると共に、複数のアウトカメラのレンズの前面に偏光方向が互いに異なる偏光板を装着すると、ユーザーが偏光板を取り替えることなく、偏光条件が異なる撮影を同時又は連続的に行うことができるので、レンズと撮像箇所との位置関係が変わらないこと、また、複数のアウトカメラのレンズを使用するにもかかわらず、これらのレンズは比較的接近した状態で固定されているため、レンズ間の視差が許容でき、かつレンズ間の画角の違いが修正可能であること、よって手軽に内部反射光画像と表面反射光画像を得られることを想到し、本発明を完成させた。

【0008】

ここで偏光条件とは、照明光の偏光と、カメラが受光する偏光の組み合わせを意味する。

【0009】

即ち、本発明は、(i)照明用光源、第１撮像用レンズ及び第２撮像用レンズを備えたカメラ機能付き携帯用端末、
(ii)照明用光源の前面に設けられる照明用偏光板、
(iii)第１撮像用レンズの前面に設けられる第１偏光板、
(iv)第２撮像用レンズの前面に設けられる第２偏光板、及び
(v)照明用光源と第１撮像用レンズと第２撮像用レンズと撮影箇所を囲む環境光遮蔽フードを備え、
前面に照明用偏光板を設けた照明用光源と前面に第１偏光板を設けた第１撮像用レンズによって形成される第１画像と、前面に照明用偏光板を設けた照明用光源と前面に第２偏光板を設けた第２撮像用レンズで形成される第２画像との偏光条件が異なり、
第１撮像用レンズを用いて表面反射光を含む第１画像を形成し、第２撮像用レンズを用いて表面反射光を含まない第２画像を形成する肌画像撮像システムを提供する。

【0010】

また、上述の肌画像撮像システムに用いる撮影治具であって、
(ii)照明用光源、第１撮像用レンズ、及び第２撮像用レンズを備えたカメラ機能付き携帯用端末の当該照明用光源の前面に設けられる照明用偏光板、
(iii)前記第１撮像用レンズの前面に設けられる第１偏光板、
(iv)前記第２撮像用レンズの前面に設けられる第２偏光板、
(v)第１偏光板と第２偏光板と撮影箇所を囲む環境光遮蔽フード
を備え、
前面に照明用偏光板を設けた照明用光源と前面に第１偏光板を設けた第１撮像用レンズによって形成される第１画像と、前面に照明用偏光板を設けた照明用光源と前面に第２偏光板を設けた第２撮像用レンズで形成される第２画像との偏光条件が異なる撮影治具を提供する。

【0011】

さらに、照明用光源、第１撮像用レンズ及び第２撮像用レンズを備えたカメラ機能付き携帯用端末と上述の撮影治具とを用いて、肌の撮影箇所の表面反射光を含む第１画像と表面反射光を含まない第２画像を撮る肌の撮影方法であって、肌の撮影箇所を環境光遮蔽フードで囲み、第１画像を、照明用偏光板を前面に配置した照明用光源と第１偏光板を前面に配置した第１撮像用レンズを用いて撮り、第２画像を、照明用偏光板を前面に配置した前記照明用光源と、第２偏光板を前面に配置した第２撮像用レンズを用いて撮る方法であり、第１画像と第２画像の偏光条件を異ならせる肌の撮影方法を提供する。

【0012】

加えて、上述の撮影方法で撮られた第１画像と第２画像に基づいて、携帯用端末が該携帯用端末に搭載されたアプリケーションにより表面反射光画像と内部反射光画像を形成する画像形成方法や、上述の撮影方法で撮られた第１画像と第２画像を携帯端末が演算装置に出力し、演算装置が、該演算装置に搭載されたアプリケーションにより第１画像と第２画像に基づいて表面反射光画像と内部反射光画像を形成する画像形成方法や、上述の撮影方法で撮られた第１画像と第２画像を携帯用端末がｗｅｂ上の特定のサイトに送信し、該サイトに接続された演算装置が、該演算装置に搭載されたアプリケーションにより第１画像と第２画像に基づいて表面反射光画像と内部反射光画像を形成する画像形成方法を提供する。

【発明の効果】

【0013】

本発明の肌画像撮像システムは、既製のスマートフォンを利用して簡便に作製することができる。
このシステムによれば、携帯用端末のユーザーはスマートフォンを操作する手軽さで表面反射光を含む第１画像と表面反射光を含まない第２画像を得ることができ、さらに第１画像と第２画像から内部反射光画像と表面反射光画像を得ることができる。よって、肌状態の正確な把握が可能となる。

【0014】

これにより携帯用端末のユーザーが消費者である一般ユーザーの場合、一般ユーザーは内部反射光画像と表面反射光画像を美容アドバイス提供サイトに送信することにより、適格な美容アドバイスを得ることも可能となる。

【0015】

また、一般ユーザーが化粧品ユーザーである場合、化粧品開発者は、化粧品ユーザーから内部反射光画像と表面反射光画像の提供を受けることにより、又は化粧品ユーザーから提供された第１画像と第２画像から内部反射光画像と表面反射光画像を形成することにより、化粧品の効果を評価することが可能となる。

【0016】

一方、化粧品開発者が携帯用端末のユーザーとなり、店頭等で化粧品ユーザーを撮影しても良く、この場合も本システムの操作の容易さと可搬性を享受できる。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明の一実施例の肌画像撮像システムの使用状態の斜視図である。

【図2A】図２Ａは、実施例の肌画像撮像システムに取り付けられているカメラ機能付き携帯用端末のアウトカメラ部分の斜視図である。

【図2B】図２Ｂは、他のカメラ機能付き携帯用端末のアウトカメラ部分の配置図である。

【図3】図３は、実施例の肌画像撮像システムにおける偏光板の配置図である。

【図4A】図４Ａは、アウトカメラ部分に装着する、偏光板付レンズカバーの組み立て図である。

【図4B】図４Ｂは、アウトカメラ部分に装着した偏光板付レンズカバーの斜視図である。

【図5】図５は、環境光遮蔽フードの展開図である。

【図6A】図６Ａは、実施例の肌画像撮像システム用撮影治具（以下、撮影治具ともいう）を環境光遮蔽フードの頂面側からみた斜視図である。

【図6B】図６Ｂは、図６Ａの撮影治具の断面図である。

【図6C】図６Ｃは、図６Ａの撮影治具を撮影面側から見た斜視図である。

【図7】図７は、撮影治具に携帯端末を嵌めた実施例の肌画像撮像システムを、撮影面側から見た斜視図である。

【図8A】図８Ａは、第１画像の撮影と同じ条件で撮影した方眼紙画像の模式図である。

【図8B】図８Ｂは、第２画像の撮影と同じ条件で撮影した方眼紙画像の模式図である。

【図9A】図９Ａは、第１画像の模式図である。

【図9B】図９Ｂは、第２画像の模式図である。

【図10】図１０は、拡大第１画像の模式図である。

【図11】図１１は、第１画像の実験例である。

【図12】図１２は、第２画像の実験例である。

【図13】図１３は、拡大第１画像の実験例である。

【図14】図１４は、表面反射光画像の実験例である。

【図15】図１５は、図１２と異なる被写体に対する第２画像の実験例である。

【図16】図１６は、メラニン画像の実験例である。

【図17】図１７は、ヘモグロビン画像の実験例である。

【発明を実施するための形態】

【0018】

以下、本発明を図面に基づいて詳細に説明する。なお、各図中、同一符号は同一又は同等の構成要素を表している。

【0019】

（概要）
図１は、本発明の一実施例の肌画像撮像システム２００の使用状態の斜視図であり、図２Ａは肌画像撮像システム２００に取り付けられているカメラ機能付き携帯用端末（以下、携帯用端末ともいう）１のアウトカメラ部分２の斜視図である。

【0020】

本発明で使用する携帯用端末１は、アウトカメラ部分２に照明用光源３と複数のレンズを備えたものである。複数のレンズに対応した撮像素子の構成については特に限定がない。携帯用端末１としては、一般的な携帯用端末のカメラシステムのものとすることができ、例えば、カメラ機能付きスマートフォン、カメラ機能付きタブレット等をあげることができる。

【0021】

本実施例で使用する携帯用端末１は、アウトカメラ部分２に照明用光源３、超広角レンズ４、広角レンズ５、望遠レンズ６を備えている。なお、アウトカメラ部分２の照明用光源やレンズ配置は特に制限はなく、例えば、図２Ｂに示すように、アウトカメラ部分２に、照明用光源３、超広角レンズ４、広角レンズ５、望遠レンズ６が一列に配置されているものでもよい。第１撮像用レンズとして用いるレンズと第２撮像用レンズとして用いるレンズが近接している方が、視差の影響が小さくなる点で好ましい。また携帯用端末１は、撮影した画像をＲＡＷデータとして保存する機能を持ったものの方が、カメラの受光素子に入射する光量に対して比例関係が保たれる点で好ましい。なお各レンズの呼称と性能は携帯用端末ごとに異なるため、例えば図２Ａの携帯用端末１の広角レンズ５と図２Ｂの携帯用端末１の広角レンズ５とでは一般に性能は異なっている。

【0022】

本発明の肌の撮影方法は、概略、ユーザー等が所持するカメラ機能付き携帯用端末１（以下、ユーザー由来の携帯用端末ともいう）を本発明の撮影治具１００に取り付けたもので肌を撮影することにより、表面反射光を含む第１画像と、表面反射光を含まない第２画像とを同時に又は連続的に撮影する方法である。後述する画像処理により、第２画像から内部反射光画像を得ることができ、第１画像と第２画像との撮影箇所の大きさを揃え、位置合わせした後に第１画像と第２画像の差をとることにより表面反射光画像を形成することができる。

【0023】

本発明において撮影治具１００は、照明用偏光板、第１偏光板１１、第２偏光板１２、及び環境光遮蔽フード２０を備えている。本実施例では、部品点数を減らす点から、第１偏光板１１が照明用偏光板を兼ねるように、第１偏光板１１が、カメラ機能付き携帯用端末１の照明用光源３と第１撮像用レンズ４の前面に設けられる。また、第２偏光板１２が第２撮像用レンズ５の前面に設けられる。

【0024】

携帯用端末１は、通常、該携帯用端末１のユーザーが端末メーカーより購入して所持するものであるが、撮影治具１００は、本発明中の画像形成方法の実行に際して必要な画像取得のため、本発明の権利者により提供される。撮影治具１００を構成する照明用偏光板、第１偏光板１１、第２偏光板１２、及び環境光遮蔽フード２０は、提供時にそれらの組み立てが完了していなくてもよい。提供の方法は、無償配布、販売、貸与などが考えられる。

【0025】

本発明では、前面に照明用偏光板を設けた照明用光源と前面に第１偏光板を設けた第１撮像用レンズによって形成される第１画像と、前面に照明用偏光板を設けた照明用光源と前面に第２偏光板を設けた第２撮像用レンズで形成される第２画像との偏光条件を異ならせる。ここで、異なる偏光条件の具体的な態様としては、照明用偏光板と第１偏光板との偏光方向を同じにしたとき、特に上述のように、第１偏光板が照明用偏光板を兼ねるようにしたときには、第１偏光板と第２偏光板の偏光方向を異ならせればよく、好ましくは第１偏光板と第２偏光板の偏光方向を直交させる。

【0026】

環境光遮蔽フード２０は、第１偏光板１１と第２偏光板１２と撮影箇所を囲んで環境光を遮るものであり、環境光遮蔽フード２０で囲まれた肌が撮影部位となる。環境光遮蔽フード２０は、開口部２２と反対側の先端周縁をできるだけ撮影対象物の撮影箇所の周囲に当接させることでレンズと撮影箇所の距離を一定に保ち、又は固定する目的にも供する。肌のどこを撮影部位とするかについては特に制限は無く、例えば、全顔、頬、腕などを撮影部位とすることができる。また、肌は素肌でも良く、化粧料等を塗布した状態でも良い。

【0027】

携帯用端末１のアウトカメラ部分２にある複数のレンズのうちいずれを第１撮像用レンズとし、いずれを第２撮像用レンズとするかは、撮影目的に応じて適宜定めることができる。例えば、照明用光源の偏向方向と観察光の偏向方向を直交させることにより得られる内部反射光画像からメラニン、ヘモグロビンといった色素の画像を抽出し、詳細に観察したい場合には、第２撮像用レンズによる撮影画像を第１撮像用レンズによるものよりも高解像度のものとすることが好ましく、反対に、表面反射光画像を詳細に観察したい場合には、第１撮像用レンズによる撮影画像を第２撮像用レンズによるものよりも高解像度のものとすることが好ましい。なおここで解像度は、各画像中撮影部位の実長さあたりのピクセル数の事を指す。

【0028】

なお、照明用光源３の前面に設けられる照明用偏向板と、第１撮像用レンズの前面の第１偏光板とは、当該携帯用端末のアウトカメラ部分のレンズ配置によって、一枚の偏光板としてもよく、別個の偏光板としてもよい。

【0029】

（撮影治具）
図３に示すように、本実施例の撮影治具１００では、携帯用端末１のアウトカメラ部分２の超広角レンズを第１撮像用レンズ４とし、広角レンズを第２撮像用レンズ５とし、照明用光源３と第１撮像用レンズ４の前面に第１偏光板１１を配置し、第１偏光板１１と偏向方向が直交する第２偏光板１２を第２撮像用レンズ５の前面に配置している。本実施例の撮影治具１００では、色素画像の詳細な観察を可能とするため、超広角レンズ４よりも解像度が高い画像が得られる広角レンズ５の前面の第２偏光板１２を、照明用光源３の前面の第１偏光板１１と直交させている。

【0030】

照明用光源３と第１撮像用レンズ４の前面に第１偏光板１１を設け、第２撮像用レンズの前面に第２偏光板１２を設ける方法は特に制限はなく、当該携帯用端末１のアウトカメラ部分２のレンズ配置、形状などに応じて適宜定めることができる。本実施例では、図４Ａに示すように、アウトカメラ部分２に適合するレンズカバー１０に第１偏光板１１と第２偏光板１２とを貼り付けて偏光板付レンズカバー１４とし、その偏光板付レンズカバー１４を図４Ｂに示すようにアウトカメラ部分２に装着する。偏光板の保護等の目的のため、レンズカバー１０を２枚用意し、それらの間に第１偏光板１１と第２偏光板１２とを挟持させてもよい。

【0031】

一方、撮影治具１００の環境光遮蔽フード２０は、第１偏光板１１と第２偏光板１２と撮影箇所を囲む。図１に示すように撮影治具１００に携帯用端末１を取り付けた場合には、環境光遮蔽フード２０は、照明用光源３と第１撮像用レンズ４と第２撮像用レンズ５と撮影箇所を囲むこととなる。

【0032】

環境光遮蔽フード２０の形状や材質には特に制限はなく、例えば、図１に示したように概略四角錐台形状とすることができる。より具体的には、概略四角錐台形状の環境光遮蔽フード２０は、例えば段ボールで図５に示す展開図から作製することができる。環境光遮蔽フード２０の内面は、照明光の反射を防止するため、黒色とすることが好ましい。また、環境光遮蔽フード２０には、撮影時の白色をＲＧＢで調整するための色チャート２３を付しておくことが好ましい。色チャート２３は、環境光遮蔽フード２０の使用時に、撮影部位の撮影面に配置され、かつ撮影部位の観察の妨げにならない位置に設けることが好ましい。

【0033】

図６Ａ、図６Ｂに示すように、本実施例の撮影治具１００では、概略四角錐台形状の環境光遮蔽フード２０の頂面２１に開口部２２を設け、携帯用端末１を環境光遮蔽フード２０の頂面に固定する時に、該携帯用端末１のアウトカメラ部分２に装着した偏光板付レンズカバー１４が開口部２２に配置されるように、例えば、携帯用端末１の背面用の携帯端末ソフトケース１５を環境光遮蔽用フード２０の頂面２１に貼着する。こうして、環境光遮蔽フード２０の頂面２１に携帯端末ソフトケース１５が固定されたもの、及び携帯用端末１のアウトカメラ部分２に装着される偏光板付レンズカバー１４から構成される撮影治具１００を得ることができる。図６Ｃは、この撮影治具１００を、環境光遮蔽フード２０で囲まれた撮影面側からみた斜視図である。なお、図６Ａ、Ｂ及びＣは携帯用端末１が取り付けられたときの位置関係を示しており、偏光板付レンズカバー１４は直接的には携帯用端末１に固定される。この撮影治具１００には同図に示すように携帯用端末１が嵌め込まれ、図７に示す肌画像撮像システムを得ることができる。

【0034】

一方、第１偏光板、第２偏光板を環境光遮蔽フード２０に接着すること等によりこれらが一体化したものを撮影治具とし、撮影治具に携帯用端末を任意の方法で取り付けられるようにしてもよい。

【0035】

（撮影方法）
図７に示す肌画像撮像システムでは、携帯用端末１自体が備えるカメラシステムを使用して、第１撮像用レンズによって表面反射光を含む第１画像を撮影し、第２撮像用レンズによって表面反射光を含まない第２画像を形成する。

【0036】

第１画像の撮影と、第２画像の撮影は、被写体の姿勢のずれを最小限に抑えるためには同時であることが好ましいが、携帯用端末の撮影システムによっては、同時に２つのレンズで撮影できないものもある。そのため、当該携帯用端末の撮影システムに応じて、第１画像の撮影と第２画像の撮影が同時又は順次行われるようにする撮影アプリケーションを携帯用端末にインストールすることが好ましい。第１画像の撮影と第２画像の撮影が順次行われるようにする場合には、カメラの切り替えを安定に行える範囲で、これらの撮影間隔をできるだけ狭めることが好ましい。例えば、次の撮影フローで撮影を連続的に行わせる撮影用アプリケーションを携帯用端末１にインストールする。

【0037】

（撮影フロー）
(1)撮影用アプリケーションの起動
(2)照明用光源の点灯
(3)第１撮像用レンズによる撮影部位のプレビュー画面の携帯用端末１のディスプレイにおける画面表示
(4)画面上のいずれかのタップによる一連の以下の動作の開始
(5)第１撮像用レンズによる撮影時のシャッタースピードと露出の設定を促す画面表示又は該設定の確認画面の表示
(6)第１撮像用レンズによるオートフォーカス撮影
(7)第２撮像用レンズによる撮影部位のプレビュー画面の表示
(8)第２撮像用レンズによる撮影時のシャッタースピードと露出の設定を促す画面表示又は該設定の確認画面の表示、
(9)第２撮像用レンズによるオートフォーカス撮影
(10)終了

【0038】

ここで、（6）第１撮像用レンズによる撮影と(9)第２撮像用レンズによる撮影は、いずれが先に行われてもよい。また、(8)の設定前にフローを一旦中断し、準備が整ってから画面をタップすることによりフローを再開するようにしても良い。

【0039】

この撮影フローによれば、(6)と(9)の撮影の間で偏光板の差し替えをすることが不要であり、(6)と(9)の撮影を連続的に行うことができる。よって、(6)と(9)の撮影の間で被写体が動いてしまうリスクが少なく、これらの画像から表面反射光と内部反射光を精度よく算出することができる。

【0040】

環境光遮蔽フード２０で囲まれた撮影箇所のいずれにフォーカスされるかは、携帯用端末１自体が備えるカメラシステムによって定まり、通常は環境光遮蔽フード２０で囲まれた撮影箇所の中央にフォーカスされる。カメラシステムによっては、撮影範囲のどこにフォーカスするかを指定できるものもあり、その場合には、例えば頬等の撮影時の着目領域にフォーカスすることができる。また、環境光遮蔽フード２０で囲まれた撮影箇所内の所定の位置がフォーカスされるように設定しておいてもよい。

【0041】

ユーザーが自らの顔を自撮りする場合、ユーザーは(3)、(7)のプレビュー画面を確認することができない。その場合には、特表２０２１－５１５６４０号に記載のように環境光遮蔽フード２０内に鏡を設け、鏡を見ながら撮影箇所の位置合わせをしてもよい。また、環境光遮蔽フード２０に顔が触れたときの感触を覚えておき、その感触に基づいて撮影箇所の位置を定めてもよく、仮に撮影箇所が意図した通りにならなかった場合には撮影箇所の位置合わせをやり直して撮影すればよい。このようなやり直しのフローを撮影フローに組み込んでもよい。

【0042】

シャッター操作は、画面のタップに代えて、リモコンシャッターや自撮り棒によるシャッターを用いて行ってもよい。

【0043】

（画像処理）
本発明の画像形成方法では、概略次のフローの画像処理を行うことにより、携帯用端末で得た、表面反射光を含む第１画像と、表面反射光を含まない第２画像の差から表面反射光画像を形成する。また、第２画像を内部反射光画像とし、内部反射光画像からメラニン画像、ヘモグロビン画像等の色素画像を抽出する。したがって、第１画像と第２画像は、携帯用端末からＲＡＷデータとして出力させることが好ましい。

【0044】

（画像処理フロー）
(a) 第１画像と第２画像に対して、必要に応じてカメラの受光素子への入射光量に対して画素値が比例するように補正を行った後、色チャートを用いてホワイトバランス、露出を補正する。
(b)第１画像と第２画像の大きさと位置を合わせる。
(c)大きさと位置を合わせた第１画像と第２画像の差をとり、表面反射光画像を求める。
(d)第２画像から色素画像を抽出する。

【0045】

上記画像処理フローにおいて、工程(b)、及び工程(c)の前に工程(d)を行ってもよい。

【0046】

工程(b)は、工程(c)で第１画像と第２画像の差をとれるようにするための処理である。工程(b)では、画像の拡縮により第１画像と第２画像の大きさと位置を揃えておく。この大きさと位置の変換方法は次のようにして定めることができる。即ち、第１画像と同様の条件で方眼紙を撮影して図８Ａに示す画像Ａを得ると共に、第２画像と同様の条件で方眼紙を撮影して図８Ｂに示す画像Ｂを得る。ここで、第１画像と第２画像とで位置の対応がつけられればよく、方眼紙の代わりにノートの罫線や幾何学パターンが印刷された紙などを撮影しても良い。そして、画像Ａ，画像Ｂのそれぞれに、視野範囲において各頂点の方眼紙上での座標が一致するように２点鎖線で示した枠Ｗ１と枠Ｗ２を描く。方眼紙の撮影により枠Ｗ１、枠Ｗ２を精確に描くことができる。枠Ｗ１、枠Ｗ２を描いた後は、画像Ａのアフィン変換により、枠Ｗ１と枠Ｗ２とがちょうど重なるように、変換式を求めておく。

【0047】

位置の対応をつける方法はこれに限らず、例えば第１画像と第２画像に対して画像解析におけるパターンマッチングの手法を用いても良い。

【0048】

また、工程(b)と工程(c)を一つの処理で行ってもよい。

【0049】

大きさと位置の変換式は、携帯端末に備えられているカメラなどの仕様が同様であれば、同じものを使用できるため、一度求めた変換式は繰返し使用可能である。

【0050】

第１画像上における上述の枠Ｗ１の領域（図９Ａ）と、第２画像上における上述の枠Ｗ２の領域（図９Ｂ）が一致するように、第１画像を前述の変換式で拡大することにより第２画像と同じ大きさの拡大第１画像を形成する（図１０）。

【0051】

拡大第１画像と第２画像では若干の視差があるが、携帯用端末の複数のレンズを利用する条件においては、頬など形状のなだらかな領域では座標は概ね一致し、また内部反射光画像は緩やかに変化するのに対して表面反射光画像は急激に変化することから、位置合わせ後の第１画像から第２画像を差し引くことにより明瞭に表面反射光画像を得ることができる。なお、このとき画像の視認性等の理由で、画像全体を一定数倍しても良く、また、ＲＧＢの重みづけ平均を用いる等の方法で画像をグレースケールに変換しても良い。

【0052】

一方、第２画像を内部反射光画像とする。このときも画像の視認性等の理由で、画像全体を一定数倍してもよい。

【0053】

図１１は市販の携帯電話（iPhone（登録商標）13pro、Apple 社）のアウトカメラの超広角レンズを第１撮像用レンズとし、広角レンズを第２撮像用レンズとし、アウトカメラの中心位置と被写体との距離が１５０ｍｍとなるように環境光遮蔽フード２０を作成し、オートフォーカスで撮影することにより得た実験例の第１画像であり、図１２は、第１画像と連続的に撮影した第２画像である。また、図１３は、予め求めておいたアフィン変換の変換式により拡大した拡大第１画像であり、この枠Ｗ１と図１２の枠Ｗ２の各頂点の座標は一致する。次に図１３の拡大第１画像から図１２の第２画像を差し引く。こうして図１４に示す表面反射光画像を得ることができる。

【0054】

一方、図１２の第２画像は内部反射光画像を表している。そこで、公知の算出方法（例えば、特許6977744号等）により、内部反射光画像からメラニンの濃度を表したメラニン画像や、ヘモグロビンの濃度を表したヘモグロビン画像を得ることができる。

【0055】

例えば、図１５は、異なる被写体について図１２と同様に形成した実験例の第２画像である。図１５の第２画像（内部反射光画像）から、図１６に示すメラニン画像と、図１７に示すヘモグロビン画像を得ることができた。

【0056】

このようにして得られた表面反射光画像、内部反射光画像及び、それらから派生したメラニン画像、ヘモグロビン画像は、目視するだけでも肌の状態を知る上で有効だが、これら画像には肌状態に関する詳細な情報が含まれるので、画像から種々の肌状態を抽出するアルゴリズムを組み込むことで、より高度な美容チェックや美容アドバイスに繋げることができる。

【0057】

本発明の画像形成方法は、携帯用端末１に前述のフローを行うアプリケーションをインストールすることにより実施できる。言い換えると、本発明の肌画像撮像システムを構成する携帯用端末が、本発明の画像形成方法を行うアプリケーションを備えていてもよい。これにより携帯用端末のユーザーが表面反射光画像や内部反射光画像を手軽に観察することが可能となる。また、前述のフローを行うアプリケーションをパーソナルコンピュータ等の演算装置にインストールしてもよい。

【0058】

これにより携帯用端末のユーザーが一般ユーザーの場合、自身の美容チェックをより詳細に行うことができる。

【0059】

また、携帯用端末１の一般ユーザーが、ｗｅｂ上の特定のサイトに送信し、該サイトに接続された演算装置が、演算装置に搭載されたアプリケーションにより第１画像と第２画像に基づいて表面反射光画像と内部反射光画像を形成してもよい。ｗｅｂ上の特定のサイトが、美容アドバイス提供サイトであれば、表面反射光画像と内部反射光画像を受信することにより、これらに基づく美容アドバイスを携帯用端末に送信することができる。また、そのサイトが化粧品開発会社であれば、ユーザーから受信した第１画像と第２画像から表面反射光画像と内部反射光画像を形成することにより、化粧品の効果を調べることができる。したがって、化粧品開発会社は化粧品の効果を調べるデータ収集手段として、携帯用端末のユーザーから第１画像と第２画像を受信するネットワークを形成することができる。

【0060】

一方、化粧品開発者が携帯用端末の操作者としてのユーザーとなって化粧品使用者の画像を撮る場合も同様であり、第１画像と第２画像から内部反射光画像と表面反射光画像を形成することにより化粧品の効果を簡便に調べることができる。

【0061】

また、携帯用端末からの第１画像と第２画像の送信を、オンライン診断（遠隔医療）に活用することもできる。

【符号の説明】

【0062】

１ カメラ機能付き携帯用端末、携帯用端末
２ アウトカメラ部分
３ 照明用光源
４ 第１撮像用レンズ（超広角レンズ）
５ 第２撮像用レンズ（広角レンズ）
６ 望遠レンズ
１０ レンズカバー
１１ 第１偏光板
１２ 第２偏光板
１４ 偏光板付レンズカバー
１５ 携帯端末ソフトケース
２０ 環境光遮蔽フード
２１ 頂面
２２ 開口部
２３ 色チャート
１００ 肌画像撮像システム用撮影治具、撮影治具
２００ 肌画像撮像システム
Ｗ１、Ｗ２ 枠

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】