(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023013783
(43)【公開日】2023-01-26
(54)【発明の名称】情報処理方法、プログラム、情報処理装置及び学習済みモデルの生成方法
(51)【国際特許分類】
A61B 5/00 20060101AFI20230119BHJP
G06T 7/00 20170101ALI20230119BHJP
G06T 7/60 20170101ALI20230119BHJP
【FI】
A61B5/00 M
G06T7/00 350B
G06T7/00 300B
G06T7/60 300A
G06T7/00 630
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2021118198
(22)【出願日】2021-07-16
(71)【出願人】
【識別番号】591230619
【氏名又は名称】株式会社ナリス化粧品
(71)【出願人】
【識別番号】717003002
【氏名又は名称】株式会社トーマスラボ
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】▲高▼田 広之
(72)【発明者】
【氏名】森田 美穂
(72)【発明者】
【氏名】佐藤 健成
(72)【発明者】
【氏名】大矢 慎之介
【テーマコード(参考)】
4C117
5L096
【Fターム(参考)】
4C117XA01
4C117XB01
4C117XB13
4C117XD05
4C117XE03
4C117XE04
4C117XE20
4C117XE42
4C117XE71
4C117XG05
4C117XG32
4C117XK03
5L096BA18
5L096FA06
5L096FA34
5L096FA59
5L096FA77
5L096JA11
5L096JA16
5L096KA04
(57)【要約】
【課題】皮膚組織の撮像画像から角層細胞に関する分析を好適に行うことができる情報処理方法等を提供する。
【解決手段】情報処理方法は、被験者の皮膚組織を撮像した画像を取得し、前記画像を入力した場合に、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭を識別するよう学習済みの第1モデル51に、取得した前記画像を入力することで各角層細胞の輪郭を識別する処理をコンピュータが実行する。前記各角層細胞の輪郭の識別結果に基づき、前記各角層細胞の状態を表すパラメータを算出する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
被験者の皮膚組織を撮像した画像を取得し、
前記画像を入力した場合に、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭を識別するよう学習済みの第1モデルに、取得した前記画像を入力することで各角層細胞の輪郭を識別する
処理をコンピュータが実行する情報処理方法。
【請求項2】
前記各角層細胞の輪郭の識別結果に基づき、前記各角層細胞の状態を表すパラメータを算出する
請求項1に記載の情報処理方法。
【請求項3】
前記パラメータは、前記角層細胞同士の重なり度合いを表すパラメータを含む
請求項2に記載の情報処理方法。
【請求項4】
前記被験者の皮膚組織の状態を表す皮膚データを取得し、
前記皮膚データと、前記パラメータとの相関関係を解析する
請求項2又は3に記載の情報処理方法。
【請求項5】
前記パラメータは、前記角層細胞の面積を含み、
前記角層細胞の面積に基づき、前記被験者の皮膚のターンオーバー速度を推定する
請求項2~4のいずれか1項に記載の情報処理方法。
【請求項6】
前記画像に基づき、前記第1モデルにより輪郭を識別した前記各角層細胞が欠損細胞であるか否かを判定する
請求項1~5のいずれか1項に記載の情報処理方法。
【請求項7】
前記画像を入力した場合に、該画像内の前記角層細胞が欠損細胞であるか否かを判定するよう学習済みの第2モデルに、取得した前記画像を入力することで前記各角層細胞が欠損細胞であるか否かを判定する
請求項6に記載の情報処理方法。
【請求項8】
前記第1モデルによる前記角層細胞の輪郭の識別結果に基づき、前記角層細胞にラベルを重畳した前記画像を表示部に表示し、
前記ラベルが重畳された前記各角層細胞が、形状の欠損を有する欠損細胞に該当するか否かの指定入力を受け付け、
前記画像に対し、欠損細胞に指定された前記角層細胞を表すラベルを付与した訓練データに基づき、前記第2モデルを生成する
請求項7に記載の情報処理方法。
【請求項9】
前記各角層細胞の特徴量を前記画像から抽出し、
抽出した前記特徴量に基づき、前記各角層細胞が前記欠損細胞であるか否かを判定する
請求項6~8のいずれか1項に記載の情報処理方法。
【請求項10】
被験者の皮膚組織を撮像した画像を取得し、
前記画像を入力した場合に、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭を識別するよう学習済みの第1モデルに、取得した前記画像を入力することで各角層細胞の輪郭を識別する
処理をコンピュータに実行させるプログラム。
【請求項11】
被験者の皮膚組織を撮像した画像を取得する取得部と、
前記画像を入力した場合に、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭を識別するよう学習済みの第1モデルに、取得した前記画像を入力することで各角層細胞の輪郭を識別する識別部と
を備える情報処理装置。
【請求項12】
皮膚組織を撮像した画像群に対し、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭にラベルが付与された訓練データを取得し、
前記訓練データに基づき、皮膚組織を撮像した画像を入力した場合に、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭を識別する第1モデルを生成する
処理をコンピュータが実行する学習済みモデルの生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、プログラム、情報処理装置及び学習済みモデルの生成方法に関する。
【背景技術】
【0002】
人工知能技術の進展に伴い、機械学習モデルを利用して、生体組織を撮像した画像から細胞を検出する方法が提案されている。例えば特許文献1では、培養中の複数の細胞を撮像した学習用画像に対し、他の細胞と重複しない細胞に人工マーカが付与された学習データを用いてセマンティックセグメンテーションモデルを構築することで、隣り合う細胞同士を区別して判別可能とする機械学習システム等が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に係る発明は、他の細胞と重複しない細胞のみに正解のラベル(人工マーカ)が付与された画像を学習するのみであるため、他の細胞と重複する細胞を検出できない。
【0005】
一つの側面では、皮膚組織の撮像画像から角層細胞に関する分析を好適に行うことができる情報処理方法等を提供することを目的とする。
【課題を解決するための手段】
【0006】
一つの側面に係る情報処理方法は、被験者の皮膚組織を撮像した画像を取得し、前記画像を入力した場合に、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭を識別するよう学習済みの第1モデルに、取得した前記画像を入力することで各角層細胞の輪郭を識別する処理をコンピュータが実行する。
【発明の効果】
【0007】
一つの側面では、皮膚組織の撮像画像から角層細胞に関する分析を好適に行うことができる。
【図面の簡単な説明】
【0008】
【
図1】角層細胞分析システムの構成例を示す説明図である。
【
図4】画像DB、被験者DBのレコードレイアウトの一例を示す説明図である。
【
図8】角層細胞の分析結果の表示画面例を示す説明図である。
【
図9】角層細胞の分析結果の表示画面例を示す説明図である。
【
図10】角層細胞の分析結果の表示画面例を示す説明図である。
【
図11】第1モデルの生成処理の手順を示すフローチャートである。
【
図12】第2モデルの生成処理の手順を示すフローチャートである。
【
図13】角層細胞の分析処理の手順を示すフローチャートである。
【
図15】実施の形態2に係るサーバが実行する処理手順を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は、角層細胞分析システムの構成例を示す説明図である。本実施の形態では、被験者の皮膚組織の採取サンプルを撮像した画像から、画像内の角層細胞の状態を分析する角層細胞分析システムについて説明する。角層細胞分析システムは、情報処理装置1、端末2を含む。各装置は、インターネット等のネットワークNを介して相互に通信接続されている。
【0010】
情報処理装置1は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置1がサーバコンピュータであるものとし、以下では簡潔のためサーバ1と読み替える。
【0011】
本実施の形態においてサーバ1は、所定の訓練データを学習することで、皮膚組織の画像を入力した場合に、各角層細胞の輪郭を識別する機械学習モデルを生成する生成装置として機能する。具体的には後述の如く、サーバ1は、訓練用の皮膚組織の画像群に対し、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭にラベルが付与された訓練データを学習することで、他の角層細胞と重なり合う部分についても角層細胞の輪郭を識別可能な第1モデル51(
図5参照)を生成する。他の角層細胞と重なり合う部分についても輪郭を識別可能とすることで、後述する角層細胞の面積、円形度等を精度良く分析可能とする。
【0012】
また、サーバ1は、第1モデル51を用いて、任意の被験者から採取した皮膚組織のサンプルの画像から各角層細胞の輪郭を識別し、角層細胞の状態を分析する分析装置として機能する。具体的には後述の如く、サーバ1は、角層細胞の状態を表す種々のパラメータ(角層細胞の面積、円形度、角数等)を、第1モデル51によって識別される角層細胞の輪郭に基づいて算出する。
【0013】
端末2は、本システムを利用するユーザの情報処理端末であり、例えばパーソナルコンピュータ、タブレット端末等である。なお、本システムのユーザは、被験者の皮膚状態を観察する人物(例えば化粧品メーカ、研究者等)を想定しているが、ユーザは被験者自身であってもよい。例えば端末2にはサーバ1が生成した第1モデル51が予めインストールされており、端末2は、第1モデル51を用いて、任意の被験者から採取した皮膚組織のサンプルの画像から各角層細胞の輪郭を識別し、角層細胞の状態を分析する分析装置として機能する。具体的には後述の如く、端末2は、角層細胞の状態を表す種々のパラメータ(角層細胞の面積、円形度、角数等)を、第1モデル51によって識別される角層細胞の輪郭に基づいて算出する。
【0014】
例えばユーザは、被験者の皮膚組織を角層採取テープによって採取し、採取したサンプルを染色して、顕微鏡3により撮像する。端末2は、顕微鏡3により撮像された画像を第1モデル51に入力することで各角層細胞の輪郭を識別する。そして端末2は、識別した角層細胞の輪郭に基づいて各種パラメータを算出し、分析結果として表示する。
【0015】
なお、本実施の形態では、第1モデル51の生成(学習)、及び第1モデル51を利用した角層細胞の識別をサーバ1及び端末2がそれぞれ行うものとするが、双方の処理を同一のコンピュータが実行してもよい。例えば、サーバ1がネットワークNを介して端末2から撮像画像を取得し、第1モデル51により角層細胞の輪郭を識別して、識別結果を端末2に出力するようにしてもよい。
【0016】
また、本実施の形態では被験者の皮膚組織をテープによって採取するものとするが、皮膚組織の採取手段はテープに限定されない。また、本実施の形態では染色を行った上で角層細胞を観察することにするが、染色を行わない方法(例えば自家蛍光観察)を採用してもよい。また、皮膚組織を採取するのではなく、例えば被験者の肌(皮膚組織)を直接撮像する(この場合、それに対応して観察方法を適宜調整する)等してもよい。
【0017】
図2は、サーバ1の構成例を示すブロック図である。サーバ1は、制御部11、主記憶部12、通信部13、及び補助記憶部14を備える。
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサであり、補助記憶部14に記憶されたプログラムP1を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部11が演算処理を実行するために必要なデータを一時的に記憶する。通信部13は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。補助記憶部14は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部11が処理を実行するために必要なプログラムP1、その他のデータを記憶している。
【0018】
なお、補助記憶部14はサーバ1に接続された外部記憶装置であってもよい。また、サーバ1は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
【0019】
また、サーバ1は、非一時的なコンピュータ読取可能な記録媒体1aを読み取る読取部を備え、記録媒体1aからプログラムP1(プログラム製品)を読み込んでもよい。また、プログラムP1は単一のコンピュータ上で実行されてもよく、ネットワークNを介して相互接続された複数のコンピュータ上で実行されてもよい。
【0020】
図3は、端末2の構成例を示すブロック図である。端末2は、制御部21、主記憶部22、通信部23、表示部24、入力部25、及び補助記憶部26を備える。
制御部21は、一又は複数のCPU等のプロセッサを有し、補助記憶部26に記憶されたプログラムP2を読み出して実行することにより、種々の情報処理を行う。主記憶部22は、RAM等の一時記憶領域であり、制御部21が演算処理を実行するために必要なデータを一時的に記憶する。通信部23は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部24は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部25は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。
【0021】
補助記憶部26は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部21が処理を実行するために必要なプログラムP2、その他のデータを記憶している。また、補助記憶部26は、第1モデル51、第2モデル52、画像DB261、被験者DB262を記憶している。
【0022】
第1モデル51は、所定の訓練データを学習済みの機械学習モデルであり、皮膚組織を撮像した画像を入力した場合に、画像内の各角層細胞の輪郭を識別するモデルである。第2モデル52は、所定の訓練データを学習済みの機械学習モデルであり、皮膚組織を撮像した画像を入力した場合に、画像内の各角層細胞が、形状の欠損を有する角層細胞(以下、「欠損細胞」と呼ぶ)であるか否かを判定するモデルである。第1モデル51及び第2モデル52は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。
【0023】
画像DB261は、被験者の皮膚組織の画像データを格納するデータベースである。被験者DB262は、被験者に関するデータを格納するデータベースである。具体的には後述の如く、被験者DB262には、被験者の皮膚データ(皮膚状態に関するアンケートへの回答、皮膚組織の測定データ等)が格納されている。
【0024】
なお、端末2は、非一時的なコンピュータ読取可能な記録媒体2aを読み取る読取部を備え、記録媒体2aからプログラムP2(プログラム製品)を読み込んでもよい。また、プログラムP2は単一のコンピュータ上で実行されてもよく、ネットワークNを介して相互接続された複数のコンピュータ上で実行されてもよい。
【0025】
図4は、画像DB261、被験者DB262のレコードレイアウトの一例を示す説明図である。
画像DB261は、画像ID列、画像列、分析データ列を含む。画像ID列は、撮像画像の識別子である画像IDを記憶している。画像列、及び分析データ列はそれぞれ、画像IDと対応付けて、皮膚組織の画像、及び画像から分析された角層細胞の各種パラメータを記憶している。例えば分析データ列には、画像単位で算出されたパラメータ(例えば画像内の角層細胞の細胞数、総面積、平均面積等)と、細胞単位で算出されたパラメータ(各角層細胞の面積、周囲長、円形度等)とが記憶されている。また、分析データ列には、角層細胞毎に、当該角層細胞が欠損細胞に該当するか否かを表すフラグ(0又は1の値)が記憶されている。
【0026】
被験者DB262は、被験者ID列、被験者名列、皮膚データ列を含む。被験者ID列は、被験者の識別子である被験者IDを記憶している。被験者名列、及び皮膚データ列はそれぞれ、被験者IDと対応付けて、被験者名、及び被験者の皮膚データを記憶している。皮膚データは、被験者の皮膚組織の状態を表す指標であり、画像以外から判別されるデータである。例えば皮膚データ列には、被験者へのアンケートに対する回答(年齢、性別等)と、被験者の皮膚を測定することで得たデータ(水分量、TEWL(Trans Epidermal Water Loss:経皮水分蒸発量)等)とが記憶されている。
【0027】
図5は、第1モデル51に関する説明図である。
図5では、皮膚組織を撮像した画像を第1モデル51に入力した場合に、画像内の各角層細胞の輪郭を識別する様子を概念的に図示している。
図5に基づき、第1モデル51について説明する。
【0028】
なお、
図5では便宜的に各角層細胞を正六角形で図示しているが、実際には角層細胞は多様な形状で観察される。また、
図5では角層細胞の輪郭のみを図示しているが、実際には角層細胞は染色されており、角層細胞以外の領域とは異なる色で観察される。
【0029】
第1モデル51は、所定の訓練データを学習済みの機械学習モデルであり、例えば深層学習により構築されるニューラルネットワークである。本実施の形態では、サーバ1は、画像に写るオブジェクトのクラス分類と、画素単位でのオブジェクトの識別(セグメンテーション)とを同時に実行可能なMask R-CNN(Region-based Convolutional Neural Network)を第1モデル51として構築する。
【0030】
なお、第1モデル51はMask R-CNN以外のニューラルネットワークであってもよい。また、第1モデル51は、決定木、ランダムフォレスト、SVM(Support Vector Machine)等、ニューラルネットワーク以外の機械学習モデルであってもよい。
【0031】
サーバ1は、訓練用の皮膚組織の画像群に対し、各角層細胞の輪郭を示す正解のラベルが付与された訓練データを用いて、第1モデル51を生成する。訓練用の画像は、一又は複数の人物(例えば過去の被験者)の皮膚組織の採取サンプルを撮像した画像である。正解ラベルは、画像に写る各角層細胞に対し、角層細胞の輪郭をなぞるように付されたラベル(線)である。訓練用のラベルは、所定の作業者によって付与(描画)される。
【0032】
なお、正解ラベルは線ではなく、各角層細胞の輪郭内部全部を異なる色で塗りつぶすなどの方法で付与されていてもよい。また、正解ラベルは完全に手動で付与される必要はなく、例えば画像解析ソフトにより抽出された角層細胞の輪郭を作業者が修正するなどしてもよい。
【0033】
ここで、訓練データにおける正解の輪郭線のラベルは、他の角層細胞と重なり合う部分の輪郭にも付与されている。
図5の左右に、角層細胞同士が重なり合っている様子を図示している。
図5に示すように、角層細胞は、他の角層細胞と重なっていないものもあれば、他の角層細胞と重なり合うものもある。本実施の形態では、他の角層細胞の下に隠れている部分の輪郭にもラベルを付与することで、当該部分の輪郭を識別可能とする。
【0034】
サーバ1は、訓練用の画像を第1モデル51に入力することで、画像内の各角層細胞の輪郭を識別する。サーバ1は、識別した輪郭を正解のラベルと比較し、両者が近似するように、ニューロン間の重み等のパラメータを更新する。サーバ1は、訓練用の各画像を第1モデル51に順次与えてパラメータを更新し、最終的に、パラメータを最適化した第1モデル51を生成する。サーバ1が生成した第1モデル51は、端末2にインストールされる。
【0035】
被験者の皮膚(角層細胞)の分析を行う場合、端末2は、被験者の皮膚組織の撮像画像を第1モデル51に入力することで、各角層細胞の輪郭を識別する。
図5右側に、角層細胞の輪郭の識別結果を概念的に図示する。第1モデル51は、角層細胞の輪郭を表すラベル(太線で図示)と、輪郭の識別結果の確からしさを表す確率値(0~1の数値。
図5では不図示)とを出力する。
図5に示すように、第1モデル51は、他の角層細胞と重なり合う部分を含めて、各角層細胞の輪郭を識別する。
【0036】
なお、この場合に端末2は、第1モデル51から出力された確率値に基づき、重層角層を分析対象から除外する。重層角層とは、採取サンプルにおいて角層細胞が何層にも重なっている部分を指す。なお、本明細書では、「重なり合う」又は「重なる」という文言は角層細胞が部分的に重なっていることを意味し、「重層」は上下関係にある2以上の角層細胞が重なっていることを意味するものとして用いる。
【0037】
図5では、重層角層を点線で図示している。重層角層は、皮膚組織の採取(剥離)時に多数の角層細胞がまとまって採取されることで観察される。実際の画像では重層角層は黒く濁った状態で観察され、各角層細胞の区別が困難となっている。例えばサーバ1は、第1モデル51から出力された確率値を所定の閾値と比較し、閾値未満の角層細胞を重層角層と判定することで、重層角層を分析対象から除外する。
【0038】
端末2は、上記で識別した輪郭に基づき、角層細胞の状態を分析する。その前に、端末2は第2モデル52を利用して、第1モデル51により識別した角層細胞が欠損細胞であるか否かを判定し、欠損細胞と判定した角層細胞を分析対象から除外する。
【0039】
図6は、欠損細胞に関する説明図である。
図6Aでは形状の欠損を有しない正常な角層細胞を、
図6B、Cでは欠損細胞を図示している。
図6に基づき、第2モデル52を利用した欠損細胞の判定処理について説明する。
【0040】
欠損細胞は、形状の欠損を有する角層細胞であり、例えば2以上に千切れた角層細胞(
図6B)、一部が折れ曲がった角層細胞(
図6C)等である。なお、
図6Bでは2以上に千切れた各角層細胞片を図示しているが、テープに一部の細胞片しか付着しないなどの理由で、画像上では一部の細胞片しか残らない場合もある。また、欠損細胞は
図6B、Cの例以外にも、一部に穴が開いた角層細胞、皺くちゃになった角層細胞等もある。角層細胞の欠損は、皮膚組織の採取時の手技(テープの剥離)等に起因して起こる。これらの欠損細胞は、正常な角層細胞(
図6A)と比較すれば分かるように、被験者の皮膚(角層)の状態を正しく表していない。
【0041】
そこで端末2は、欠損細胞を分析対象から除外し、残りの角層細胞から分析を行う。具体的には、端末2は、皮膚組織(角層細胞)の撮像画像を入力した場合に、画像内の角層細胞が欠損細胞であるか否かを判定するよう学習済みの第2モデル52を利用して、欠損細胞を判定する。
【0042】
第2モデル52は、所定の訓練データを学習済みの機械学習モデルであり、例えば決定木(本実施の形態では2分木)である。第2モデル52は第1モデル51と同様に、サーバ1が訓練データを学習することで生成される。なお、第2モデル52は決定木に限定されず、SVM、ランダムフォレスト、ニューラルネットワーク等、他の機械学習モデルであってもよい。
【0043】
また、第2モデル52は、角層細胞が欠損細胞であるか否かの判定を分類問題として取り扱うモデルであってもよく、あるいは欠損細胞である確率を計算する回帰問題として取り扱うモデルであってもよい。
【0044】
また、第2モデル52は、欠損細胞であるか否かを判定するだけでなく、欠損細胞の種類(千切れ、折れ曲がり等)まで判定するモデルであってもよい。
【0045】
訓練データは、訓練用の皮膚組織の画像群に対し、画像に写る角層細胞が欠損細胞であるか否かを示す正解ラベルが付与されたデータである。訓練用の画像は群、一又は複数の人物(例えば過去の被験者)の皮膚組織の画像群である。正解ラベルは、欠損細胞であるか否かを示す二値のラベルである。後述の如く、本実施の形態では被験者の角層細胞を分析した場合に、分析結果を閲覧するユーザが欠損細胞を指定することでラベル付けを行う(
図10参照)。
【0046】
本実施の形態では、第2モデル52の入力として、撮像画像から抽出(算出)可能な角層細胞の特徴量を用いる。当該特徴量は、例えば角層細胞の面積、円形度等のように、角層細胞の状態を表すパラメータのほか、画像の画素値(色等)を含み得る。なお、面積、円形度等のパラメータについては後述する。また、これらは角層細胞の特徴量の一例であり、その他のパラメータ(後述する径、真円度、角数等)を含めてもよい。また、特徴量ではなく画像自体を第2モデル52の入力としてもよい。
【0047】
サーバ1は、訓練用の画像群から、各角層細胞の特徴量を抽出し、決定木を構築する上でのデータセットとする。サーバ1は、所定の基準値(不純度等)に基づいてデータセットを分割することで、複数のノードから成る決定木の構造を構築する。サーバ1は、回帰的に決定木構造の構築を繰り返すことで、第2モデル52を生成する。サーバ1が生成した第2モデル52は、端末2にインストールされる。
【0048】
第1モデル51により角層細胞の輪郭を識別した場合、端末2は、輪郭を識別した各角層細胞の特徴量を抽出する。そして端末2は、生成済みの第2モデル52に当該特徴量を入力することで、各角層細胞が欠損細胞であるか否かを判定する。欠損細胞であると判定した場合、端末2は、欠損細胞であると判定された角層細胞を分析対象(パラメータの算出基準とする角層細胞)から除外する。
【0049】
なお、本実施の形態では欠損細胞を分析対象から除外することとするが、欠損細胞を分析対象に含めることにしてもよい。例えば端末2は、画像から識別される欠損細胞について、欠損が生じていない場合の形状(輪郭)を学習済みの機械学習モデル(第2モデル52、又は他のモデル)を利用して欠損が生じていない場合の形状を予測し、その予測結果に基づいて分析を行うようにしてもよい。このように、欠損細胞を分析対象から除外するのみならず、欠損細胞を含めて分析を行うようにしてもよい。
【0050】
図7は、角層細胞の分析処理に関する説明図である。端末2は、欠損細胞を除外した残りの角層細胞の輪郭に基づき、被験者の角層細胞の状態を表す各種パラメータを算出する。
図7を用いて、端末2が算出する各パラメータを説明する。
【0051】
端末2は、個々の角層細胞の輪郭に基づき、各角層細胞の状態を表すパラメータ、具体的には角層細胞の面積、径(
図7A参照)、真円度(同図参照)、円形度、角数、傾き角度(
図7B参照)、及び角層検出率(
図7C参照)を算出する。また、端末2は、相互に重なり合う複数の角層細胞の輪郭に基づき、角層細胞の重なり度合いを表すパラメータ、具体的にはオーバーラップ面積率(
図7D参照)、及びオーバーラップ距離(
図7E参照)を算出する。
【0052】
なお、上記で例示したパラメータはいずれも例示であって、パラメータは角層細胞の状態を表すパラメータであればよい。
【0053】
角層細胞の面積は、画像内に占める角層細胞の画像領域の面積(μm2)である。端末2は、角層細胞毎の面積と、角層細胞の面積の画像平均(画像内の全ての角層細胞の平均値)とを算出する。なお、本実施形態では面積を算出する例を示したが、これに限るものではない。端末2は、各層細胞のピクセル数を出力するようにしてもよい。また端末2はピクセル数にレンズ倍率及び画像解像度等から予め求めた1ピクセル当たりの面積を乗じて各層細胞の面積を算出するようにしてもよい。
【0054】
角層細胞の径は、角層細胞の外接円及び/又は内接円の直径(又は半径)である。なお、外接円及び内接円は、2つの同心円で角層細胞を内側と外側から挟んだ場合に、2つの同心円の間隔が最小となる外接円及び内接円を指す。
図7Aに、外接円の径を「長径」、内接円の径を「短径」として図示している。もしくは角層細胞を楕円近似して、楕円の長径と短径を角層細胞の長径と短径として把握することもできる。端末2は、角層細胞毎の長径及び短径と、長径及び短径の画像平均とを算出する。
【0055】
真円度は、幾何学的に正しい円からの狂いの大きさを表す数値である。
図7Aに示すように、端末2は、上述の外接円及び内接円(2つの同心円で角層細胞を内側と外側から挟んだ場合に、2つの同心円の間隔が最小となる2同心円)の直径の差を2で割った値を真円度として算出する。もしくは楕円近似した角層細胞の長径と短径の比率や差を真円度として把握することもできる。サーバ1は、角層細胞毎の真円度と、真円度の画像平均とを算出する。
【0056】
円形度は、形状の複雑さを表す数値であり、円形度=4π×S÷L2(Sは角層細胞の面積、Lは角層細胞の周囲長)である。端末2は、角層細胞毎の円形度と、円形度の画像平均とを算出する。
【0057】
角数は、各角層細胞を多角形に近似した場合の頂点の数である、例えば端末2は、Dauglas-Peuckerアルゴリズムを用いて角層細胞を多角形に近似し、角数をカウントする。端末2は、角層細胞毎の角数と、各角数の画像中の割合(全角層細胞数に対する角数=n(nは3以上の整数)の角層細胞数の比率)とを算出する。
【0058】
傾き角度は、角層細胞の輪郭上の最も離れた2点を結んだ線と、水平線(画像横軸に水平な線)とが成す角度であり、角層細胞の方向性を表す。
図7Bに、傾き角度を図示する。もしくは楕円近似した角層細胞の長径と水平線が成す角度を傾き角度として把握することもできる。端末2は、角層細胞毎の傾き角度と、傾き角度の画像平均とを算出する。
【0059】
角層検出率は、画像内の角層細胞のうち、正常な細胞として検出(識別)された角層細胞の面積の割合である。
図7Cに、正常な細胞として検出された角層細胞(
図7Cでは「検出細胞」)の輪郭を実線で、その他の角層細胞(「非検出細胞」)の輪郭を点線で図示する。端末2は、画像内の角層細胞のうち、重層角層、欠損細胞等に該当しない正常な角層細胞の総面積を、全角層細胞の総面積で除算した値を角層検出率として算出する。なお、全角層細胞の面積は、画素値を所定の閾値と比較することで抽出する。
【0060】
オーバーラップ面積率は、角層細胞の面積に対し、他の角層細胞と重なっている部分の面積の割合である。
図7Dに、オーバーラップ面積率を算出する様子を図示する。
図7D右側の角層細胞のオーバーラップ面積率を算出する場合、符号Aで示す角層細胞の面積に対する、符号Bで示す重なり部分の面積の割合を算出する。もしくは重なり合う2細胞の総面積に対する、重なっている部分の面積の割合としてオーバーラップ面積率を算出することもできる。端末2は、角層細胞毎のオーバーラップ面積率と、オーバーラップ面積率の画像平均とを算出する。
【0061】
オーバーラップ距離は、ある角層細胞が他の角層細胞と重なっている部分の幅を表す距離である。具体的には、オーバーラップ距離は、2つの角層細胞が重なり始める2点を結ぶ直線を引いた場合に、当該直線と平行を成し、かつ、当該直線と垂直な方向に掛けて最遠な重なり部分の2点をそれぞれ通る、2本の平行直線の間の距離である。
図7Eに、オーバーラップ距離を算出する様子を図示する。端末2は、2つの角層細胞が重なり始める2点を結ぶ直線(
図7Eでは点線で図示)を特定し、その直線と平行な2本の平行直線を特定する。この場合に端末2は、2つの角層細胞が重なり合う部分から、当初の直線(点線)と垂直な方向に最遠な2点(
図7Eでは左下及び右上の点)を特定し、その2点を通る平行直線を特定する。端末2は、2本の平行直線の間の距離を、オーバーラップ距離として算出する。端末2は、角層細胞毎のオーバーラップ距離と、オーバーラップ距離の画像平均とを算出する。
【0062】
更に端末2は、上記の各パラメータについて、1画像中での、及び複数画像中でのばらつき(標準偏差、分散、変動係数)を算出する。
【0063】
このように、端末2は、個々の角層細胞の状態を表すパラメータ(面積、径、真円度等)のほか、角層細胞同士の重なり度合いを表すパラメータ(オーバーラップ面積率、オーバーラップ距離)を算出する。上述の如く、第1モデル51は他の角層細胞と重なり合っている部分を含めて角層細胞の輪郭を識別するため、個々の角層細胞の面積、径、真円度等を算出する場合に、他の角層細胞と重なっている部分を考慮して各パラメータを好適に算出することができる。また、オーバーラップ面積率、オーバーラップ距離等を算出することで、単に個々の角層細胞の状態を分析するだけでなく、角層細胞同士がどの程度重なっているかも分析することができる。
【0064】
図8~
図10は、角層細胞の分析結果の表示画面例を示す説明図である。
図8~
図10では、端末2が表示する画面であって、角層細胞の分析結果の画面例を図示している。
【0065】
例えば端末2は、リスト表示欄81と、パラメータ表示欄82とを含む画面を表示する。リスト表示欄81は、画面右側に分析結果を表示する分析対象の一覧を示す表示欄である。本システムでは、皮膚組織の画像群(例えば一人の被験者について、一度の検査で撮像した複数の画像)を格納したフォルダ、フォルダ内の画像、及び画像内の一つひとつの角層細胞を分析対象の単位とする。端末2は、リスト表示欄81を介して分析結果の表示対象の選択入力を受け付け、選択対象の分析結果を表示する。
図8~
図10はそれぞれ、フォルダ、画像、及び角層細胞が選択された場合の画面例を図示している。
【0066】
図8に示すように、あるフォルダが選択された場合、端末2は、当該フォルダに格納されている画像群の分析パラメータをパラメータ表示欄82に表示する。具体的には、端末2は画像毎に、画像内の角層細胞数、画像に占める角層細胞の総面積、角層細胞の平均面積(画像平均)、角層細胞の平均周囲長などを一覧表示する。
【0067】
図9に示すように、フォルダ内のある画像が選択された場合、端末2は、当該画像内の角層細胞の分析パラメータをパラメータ表示欄82に表示する。具体的には、端末2は角層細胞毎に、角層細胞の面積、周囲長、円形度などを一覧表示する。
【0068】
また、
図9に示すように、端末2は、識別された各角層細胞に、表示態様が互いに異なるラベルを重畳した撮像画像を、リスト表示欄81下側の画像表示欄91に表示する。具体的には、端末2は、各角層細胞の輪郭内部の領域に、互いに異なる表示色のラベル(及び角層細胞を囲むバウンディングボックス)を重畳表示する。なお、
図9では図示の便宜上、色が付されている様子をハッチングで図示し、各角層細胞には同じハッチングを付けている。端末2は、第1モデル51からの出力に従ってラベルを重畳し、所謂セグメンテーションに係る画像を生成して表示する。
【0069】
なお、
図9に示す表示画像は一例であって、本実施の形態はこれに限定されるものではない。例えば端末2は、各角層細胞にラベルを重畳表示するだけでなく、各角層細胞の輪郭の識別結果の確からしさを表す確率値を併せて表示してもよい。これにより、識別結果がどの程度確からしいか、ユーザに提示することができる。
【0070】
図10に示すように、画像内のある角層細胞が選択された場合、端末2は、当該角層細胞の分析パラメータをパラメータ表示欄82に表示する。具体的には
図9の画面例と同様に、端末2は角層細胞の面積、周囲長、円形度などを一覧表示する。
【0071】
また、端末2は、パラメータ表示欄82の下側に、欠損指定欄101を表示する。欠損指定欄101は、第1モデル51が輪郭を識別した角層細胞を、欠損細胞(負例)に指定(登録)するための入力欄である。例えば端末2は、
図10に示すように、リスト表示欄81で選択中の角層細胞の拡大画像(ラベル無し)と、角層細胞にラベルを付した拡大画像とを欠損指定欄101に表示する。そして端末2は、登録ボタン1011への操作入力に応じて、拡大画像で示す角層細胞が欠損細胞に該当するか否か、指定入力を受け付ける。なお、登録ボタン1011は複数用意されており、端末2は、いずれかの登録ボタン1011への操作入力を受け付けることで、欠損細胞の種類(
図10では「理由1」、「理由2」)の指定入力を併せて受け付ける。
【0072】
皮膚
なお、
図10の例では拡大した画像を表示するものとして図示しているが、画像の拡大を行わず、単に角層細胞にラベルを重畳した画像を表示するのみであってもよい。また、
図10ではラベル無しの画像とラベル有りの画像とを2つ表示するものとしているが、端末2はラベル有りの画像を表示するだけであってもよく、あるいはユーザからの操作入力に応じてラベル表示のオン、オフを切換可能にするなどしてもよい。すなわち、端末2は、少なくとも角層細胞にラベルを重畳した画像を表示して欠損細胞の指定入力を受付可能であればよく、その具体的な表示及び操作の手法は特に限定されない。
【0073】
欠損細胞の指定入力を受け付けた場合、端末2は、画像から識別した角層細胞と対応付けて、当該角層細胞が欠損細胞であるか否かを表すフラグを画像DB261に格納する(
図4参照)。サーバ1は、上記の指定に基づいて欠損細胞のラベル付けを撮像画像に行い、第2モデル52の訓練データに用いる。すなわち、サーバ1は画像に対し、欠損細胞に指定された角層細胞が欠損細胞であることを表すラベルを付与し、第2モデル52生成用の訓練データとして用いる。サーバ1は、ユーザが指定することで蓄積された当該訓練データに基づき、第2モデル52を生成する。
【0074】
以上より、本実施の形態によれば、角層細胞同士の重なりを考慮して角層細胞を好適に分析することができる。
【0075】
図11は、第1モデル51の生成処理の手順を示すフローチャートである。
図11に基づき、機械学習により第1モデル51を生成する際の処理内容について説明する。
サーバ1の制御部11は、第1モデル51を生成するための訓練データを取得する(ステップS11)。訓練データは、皮膚組織を撮像した画像群に対し、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭にラベルが付与されたデータである。
【0076】
制御部11は訓練データに基づき、皮膚組織を撮像した画像を入力した場合に、他の角層細胞と重なり合う部分を含む各角層細胞の輪郭を識別する第1モデル51を生成する(ステップS12)。具体的には、制御部11は、第1モデル51としてMask R-CNNを生成する。制御部11は、訓練用の画像を第1モデル51に入力することで、各角層細胞の輪郭を識別する。制御部11は、角層細胞の識別結果が正解のラベルと近似するように、ニューロン間の重み等のパラメータを最適化し、第1モデル51を生成する。制御部11は一連の処理を終了する。なお、本実施形態では第1モデル51と第2モデル52とを別の構成としたが、第1モデル51一つにより同様の推定を行うようにしてもよい。具体的には、第1モデル51は、画像を入力した場合に、細胞の輪郭領域と、欠損細胞領域とを出力する。この場合、制御部11は、輪郭領域のラベルデータ及び欠損細胞領域のラベルデータと、画像とを用いて、Mask R-CNNまたはU-NET等のセグメンテーションネットワークを用いて第1モデル51の学習を行う。
【0077】
図12は、第2モデル52の生成処理の手順を示すフローチャートである。
図12に基づき、第2モデル52を生成する際の処理内容について説明する。
サーバ1の制御部11は、第2モデル52を生成するための訓練データを取得する(ステップS31)。訓練データは、皮膚組織を撮像した画像群に対し、画像内の各角層細胞が、形状の欠損を有する欠損細胞であるか否かを示すラベルが付与されたデータである。当該ラベルは、上述の如く、角層細胞の識別結果を閲覧したユーザが欠損細胞を指定することで付与される。
【0078】
制御部11は訓練データに基づき、皮膚組織を撮像した画像を入力した場合に、画像内の各角層細胞が欠損細胞であるか否かを判定する第2モデル52を生成する(ステップS32)。例えば制御部11は、第2モデル52として決定木を生成する。制御部11は、訓練用の画像から各角層細胞の特徴量(面積、円形度、画素値等)を抽出し、各角層細胞の特徴量から成るデータセットを不純度等の基準値に応じて分割することで、決定木の構造を構築する。制御部11は、決定木構造の構築を再帰的に繰り返すことで、第2モデル52を生成する。制御部11は一連の処理を終了する。
【0079】
図13は、角層細胞の分析処理の手順を示すフローチャートである。
図13に基づき、角層細胞の撮像画像から角層細胞の分析を行う際の処理内容について説明する。
端末2の制御部21は、被験者の皮膚組織を撮像した画像を端末2から取得する(ステップS51)。制御部21は、取得した画像を第1モデル51に入力することで、他の角層細胞と重なり合っている部分を含めて、各角層細胞の輪郭を識別する(ステップS52)。
【0080】
制御部21は、輪郭を識別した各角層細胞が欠損細胞であるか否かを判定し、欠損細胞を分析対象から除外する(ステップS53)。具体的には、制御部21は、各角層細胞の特徴量を画像から抽出し、抽出した特徴量を第2モデル52に入力することで、欠損細胞であるか否かを判定する。
【0081】
制御部21は、ステップS53で除外した欠損細胞以外の各角層細胞の輪郭の識別結果に基づき、角層細胞の状態を表すパラメータを算出する(ステップS54)。当該パラメータは、面積、円形度等のように、個々の角層細胞の状態を表すパラメータのほか、オーバーラップ面積率、オーバーラップ距離等のように、角層細胞同士の重なり度合いを表すパラメータを含む。
【0082】
制御部21は、角層細胞の輪郭の識別結果、及びステップS54で算出したパラメータを表示する(ステップS55)。具体的には上述の如く、制御部21は、各角層細胞にラベルを重畳した画像を表示するほか、各種パラメータを一覧表示する。制御部21は、欠損細胞に該当する角層細胞の指定入力を受け付ける(ステップS56)。制御部21は、ステップS51で取得した画像、ステップS54で算出したパラメータのほか、欠損細胞であるか否かを表すフラグを画像DB261に記憶し(ステップS57)、一連の処理を終了する。
【0083】
以上より、本実施の形態1によれば、被験者の皮膚組織の画像から角層細胞に関する分析を好適に行うことができる。
【0084】
(実施の形態2)
実施の形態1では、被験者の皮膚組織の撮像画像から、角層細胞の状態を表すパラメータを算出する形態について説明した。本実施の形態では、撮像画像から算出した角層細胞のパラメータと、画像以外の被験者の皮膚データとの相関関係を解析する形態について述べる。なお、実施の形態1と重複する内容については同一の符号を付して説明を省略する。
【0085】
図14は、実施の形態2の概要を示す説明図である。
図14では、
図8で例示した画面において、角層細胞のパラメータ(
図14では角層細胞の面積)と、皮膚データ(TEWL)との相関関係を示すグラフ1402が表示される様子を図示している。
図14に基づき、本実施の形態の概要を説明する。
【0086】
皮膚データは、被験者の皮膚組織の状態を表すデータである。本実施の形態では皮膚データとして、被験者に対して予め実施したアンケートへの回答、及び皮膚組織の測定データを用いる。アンケートは、皮膚(肌)の状態に関するアンケートであり、例えば年齢、性別、スキンケアの頻度・方法、肌タイプ(脂性肌、乾燥肌等)、ストレス状態(ストレスチェックの質問)、その他の肌の悩みに関する質問項目を含む。測定データは、所定の測定方法を用いて皮膚組織の状態を測定したデータであり、例えば角層中の水分量(皮膚の電気的性質(電気伝導度、静電容量)や光学的性質(ラマン分光法等により測定可能な水分子の運動)から測定)、TEWL(TEWAメータにより測定)、しわ(しわ測定装置により測定)、シミ、肌のつや・透明度、明るさ、赤み、黄み、毛穴、キメ、くすみ、色むら(顔写真、測色計等により測定)を含む。なお、これらは皮膚データの一例であり、皮膚データは上記に限定されるものではない。
【0087】
端末2は、これらの皮膚データを予め被験者DB262に記憶してある。端末2は、当該皮膚データと、皮膚組織の画像から分析した角層細胞のパラメータ(角層細胞の面積、円形度等)との相関関係を解析する。具体的な解析方法は特に問わないが、例えば端末2は、角層細胞のパラメータを説明変数とし、皮膚データを目的変数とする回帰分析を行うことで、両者の相関関係を解析する。
【0088】
例えば端末2は、
図8等と同様に角層細胞の分析結果を表示する場合に、
図14に示すように、被験者の皮膚データを併せて表示する。具体的には、端末2は、パラメータ表示欄82の下側に位置する皮膚データ表示欄1401に、皮膚データを一覧表示する。例えば端末2は、リスト表示欄81において一又は複数のフォルダ(被験者)の選択入力を受け付けた場合、皮膚データ表示欄1401を出現させ、選択されたフォルダに対応する一又は複数の被験者の皮膚データを一覧表示する。
【0089】
また、端末2は、皮膚データと角層細胞の分析パラメータとの相関関係を解析した解析結果を併せて表示する。例えば端末2は、
図14に示すように、両者の相関関係を示すグラフ1402を表示する。グラフ1402は、横軸を角層細胞のパラメータ、縦軸を皮膚データとするグラフである。グラフ1402内の各プロットは各被験者を表し、グラフ1402内の直線は解析結果に基づく近似直線を表す。
【0090】
例えば端末2は、パラメータ表示欄82及び皮膚データ表示欄1401から、説明変数とするパラメータ、及び目的変数とする皮膚データを選択する選択入力を受け付ける。端末2は、選択されたパラメータ及び皮膚データの相関関係の解析結果に基づき、グラフ1402を表示する。なお、
図14では説明変数及び目的変数が単一とした解析(単回帰)を行った場合を図示しているが、説明変数及び/又は目的変数を複数とした解析(重回帰)を行ってもよい。
【0091】
以上より、本実施の形態によれば、第1モデル51を用いた角層細胞の分析結果(パラメータ)を皮膚データと組み合わせることで、角層細胞の状態と皮膚の状態との相関関係を調べることができる。
【0092】
図15は、実施の形態2に係るサーバ1が実行する処理手順を示すフローチャートである。角層細胞の状態を表すパラメータを算出した後(ステップS54)、端末2は以下の処理を実行する。
端末2の制御部21は、被験者の皮膚データを被験者DB262から取得する(ステップS201)。皮膚データは、被験者の皮膚組織の状態を表すデータであり、皮膚状態に関するアンケートへの被験者の回答、及び/又は皮膚組織の測定データを含む。
【0093】
制御部21は、角層細胞の輪郭の識別結果、画像から分析した各種パラメータ等を表示する(ステップS202)。この場合に制御部21は、併せて被験者の皮膚データを一覧表示する。
【0094】
制御部21は、被験者の皮膚データと、各パラメータとの相関関係を解析し、解析結果を表示する(ステップS203)。具体的には上述の如く、制御部21は、説明変数とする角層細胞のパラメータと、目的変数とする皮膚データとを選択する選択入力を受け付け、選択されたパラメータ及び皮膚データの相関関係を解析(例えば回帰分析)する。制御部21は、両者の相関を示すグラフ1402を表示する。制御部21は処理をステップS56に移行する。
【0095】
以上より、本実施の形態2によれば、角層細胞の状態が皮膚の状態に与える影響を客観的に調べることができる。
【0096】
(変形例)
実施の形態2では、角層細胞の分析パラメータを皮膚状態の解析に応用する形態について説明した。一方で、他の用途に分析パラメータを応用することも想定される。
【0097】
例えば端末2は、角層細胞の分析パラメータから、被験者の皮膚のターンオーバー速度の簡易測定(推定)を行ってもよい。なお、ターンオーバーとは、生体の細胞又は組織が生まれ変わる代謝サイクルを指す。
【0098】
具体的には、端末2は、撮像画像から分析したパラメータのうち、角層細胞の面積に基づいてターンオーバー速度(ターンオーバーの周期)を推定する。ターンオーバーが遅延する場合、時間の経過に伴って角層細胞は扁平になり、面積が大きくなる。そこで端末2は、角層細胞の面積からターンオーバー速度を推定する。例えば端末2は、被験者の角層細胞の平均面積からターンオーバー速度を推定し、推定結果を端末2に表示させる。なお、端末2は面積以外に、円形度、角数等の他のパラメータを用いてもよい。
【0099】
上述の点以外は実施の形態1と同様であるため、本実施の形態ではフローチャートその他の詳細な説明を省略する。
【0100】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0101】
1 サーバ(情報処理装置)
11 制御部
12 主記憶部
13 通信部
14 補助記憶部
P1 プログラム
51 第1モデル
52 第2モデル
261 画像DB
262 被験者DB
2 端末
21 制御部
22 主記憶部
23 通信部
24 表示部
25 入力部
26 補助記憶部
P2 プログラム