(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022104840
(43)【公開日】2022-07-11
(54)【発明の名称】検査方法
(51)【国際特許分類】
A61B 3/10 20060101AFI20220704BHJP
G06T 7/00 20170101ALI20220704BHJP
【ＦＩ】
A61B3/10
G06T7/00 612
【審査請求】有
【請求項の数】3
【出願形態】ＯＬ
(21)【出願番号】P 2022072355
(22)【出願日】2022-04-26
(62)【分割の表示】P 2020217684の分割
【原出願日】2020-12-25
(11)【特許番号】
(45)【特許公報発行日】2022-07-01
(71)【出願人】
【識別番号】000006769
【氏名又は名称】ライオン株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100152272
【弁理士】
【氏名又は名称】川越 雄一郎
(74)【代理人】
【識別番号】100153763
【弁理士】
【氏名又は名称】加藤 広之
(72)【発明者】
【氏名】吉田 雅貴
(72)【発明者】
【氏名】宮崎 汐理
(72)【発明者】
【氏名】長谷川 誠
【テーマコード（参考）】
4C316
5L096
【Ｆターム（参考）】
4C316AA02
4C316AB16
4C316FB21
5L096AA06
5L096BA06
5L096BA13
5L096DA02
5L096HA09
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】ドライアイの症状に関する検査を実際に実施することなく、ドライアイの症状に関する検査の結果を予測すること。
【解決手段】機械学習実行プログラムは、学習用被検体の目を描出している画像を示す学習用画像データと、当該目の最大開瞼時間を示す学習用開瞼データとを問題とし、当ドライアイに関する検査が実施された際における当該目を描出している画像を示す学習用検査画像データと、検査の結果を示す学習用検査結果データとを答えとする教師データを取得し、機械学習プログラムを教師データにより学習させる。ドライアイ検査プログラムは、推論用被検体の目を描出している画像を示す推論用画像データと、当該目の最大開瞼時間を示す推論用開瞼データとを取得し、学習済みの機械学習プログラムに推論用画像データ及び推論用開瞼データを入力し、推論用被検体の目に現れているドライアイの症状を推定させ、推定した結果を示す症状データを出力させる。
【選択図】図２
【解決手段】機械学習実行プログラムは、学習用被検体の目を描出している画像を示す学習用画像データと、当該目の最大開瞼時間を示す学習用開瞼データとを問題とし、当ドライアイに関する検査が実施された際における当該目を描出している画像を示す学習用検査画像データと、検査の結果を示す学習用検査結果データとを答えとする教師データを取得し、機械学習プログラムを教師データにより学習させる。ドライアイ検査プログラムは、推論用被検体の目を描出している画像を示す推論用画像データと、当該目の最大開瞼時間を示す推論用開瞼データとを取得し、学習済みの機械学習プログラムに推論用画像データ及び推論用開瞼データを入力し、推論用被検体の目に現れているドライアイの症状を推定させ、推定した結果を示す症状データを出力させる。
【選択図】図２
【特許請求の範囲】
【請求項1】
推論用被検体の目を描出している推論用画像を示す推論用画像データを取得し、
学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、前記学習用被検体の目の状態を示す学習用状態データを答えとする教師データを使用して学習した機械学習プログラムに前記推論用画像データを入力し、前記機械学習プログラムに前記推論用被検体の目の状態を推定させ、前記機械学習プログラムに前記推論用被検体の目の状態を示す推論用データを出力させる、
検査方法であって、
前記推論用被検体の角膜に映り込んでいる照明を描出している前記推論用画像から前記推論用被検体の角膜に映り込んでいる照明を描出している領域を切り出した推論用照明画像を示す推論用照明画像データを前記推論用画像データとして取得し、
前記学習用被検体の角膜に映り込んでいる照明を描出している前記学習用画像から前記学習用被検体の角膜に映り込んでいる照明を描出している領域を切り出した学習用照明画像を示す学習用照明画像データを前記学習用画像データとして前記問題とし、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、
検査方法。
学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、前記学習用被検体の目の状態を示す学習用状態データを答えとする教師データを使用して学習した機械学習プログラムに前記推論用画像データを入力し、前記機械学習プログラムに前記推論用被検体の目の状態を推定させ、前記機械学習プログラムに前記推論用被検体の目の状態を示す推論用データを出力させる、
検査方法であって、
前記推論用被検体の角膜に映り込んでいる照明を描出している前記推論用画像から前記推論用被検体の角膜に映り込んでいる照明を描出している領域を切り出した推論用照明画像を示す推論用照明画像データを前記推論用画像データとして取得し、
前記学習用被検体の角膜に映り込んでいる照明を描出している前記学習用画像から前記学習用被検体の角膜に映り込んでいる照明を描出している領域を切り出した学習用照明画像を示す学習用照明画像データを前記学習用画像データとして前記問題とし、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、
検査方法。
【請求項2】
前記推論用画像が撮影された目を前記推論用被検体が連続して開けることができた時間である最大開瞼時間を示す推論用開瞼データを更に取得し、
前記学習用画像が撮影された目を前記学習用被検体が連続して開けることができた時間である最大開瞼時間を示す学習用開瞼データを前記問題の一部として更に含んでおり、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、
請求項１に記載の検査方法。
前記学習用画像が撮影された目を前記学習用被検体が連続して開けることができた時間である最大開瞼時間を示す学習用開瞼データを前記問題の一部として更に含んでおり、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、
請求項１に記載の検査方法。
【請求項3】
前記推論用被検体の目の涙液メニスカスを描出している前記推論用画像から前記推論用被検体の涙液メニスカスを描出している領域を切り出した推論用涙液メニスカス画像を示す推論用涙液メニスカス画像データを前記推論用画像データとしてさらに取得し、
前記学習用被検体の目の涙液メニスカスを描出している前記学習用画像から前記学習用被検体の涙液メニスカスを描出している領域を切り出した学習用涙液メニスカス画像を示す学習用涙液メニスカス画像データをさらに前記学習用画像データとして前記問題とし、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、
請求項１又は請求項２に記載の検査方法。
前記学習用被検体の目の涙液メニスカスを描出している前記学習用画像から前記学習用被検体の涙液メニスカスを描出している領域を切り出した学習用涙液メニスカス画像を示す学習用涙液メニスカス画像データをさらに前記学習用画像データとして前記問題とし、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、
請求項１又は請求項２に記載の検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査方法に関する。
【背景技術】
【0002】
現在、特に先進国において、パーソナルコンピュータ、スマートフォン、タブレット等、ディスプレイが搭載されている電子機器が広く普及しているため、目の不調を自覚する人が急激に増加している。更に、インターネットを介したオンラインサービスの増加、テレワークを推進する企業の増加等により、目の不調を自覚する人の数が更に増加していくと予想される。
【0003】
このような生活習慣により比較的頻繁に引き起こされる目の不調の一例として、涙液層の不安定化を伴うドライアイが挙げられる。例えば、涙液層の安定性の指標となる涙液層破壊時間を調べるためには、眼科医がフルオレセイン染色試薬を点眼し、スリットランプを使用して目を観察している状態で、瞬きをして目を開けた直後から涙液層が破綻するまでの時間を測定する必要がある。或いは、特許文献１に開示されている眼科診断支援装置を使用した診察を受ける必要がある。
【0004】
この眼科診断支援装置は、症例データ格納部と、機械学習部と、患者データ取得部と、対比判定部と、結果表示部とを備える。症例データ格納部は、眼科診断画像データと診断結果との組み合わせからなる複数の症例基礎画像データを格納する。機械学習部は、特徴画像要素を抽出するとともに症例基礎画像データを分類する。患者データ取得部は、患者の患者眼科診断画像データを取得する。対比判定部は、患者眼科診断画像データと症例基礎画像データとを対比し、データ同士の類似性判定を実行する。結果表示部は、類似性判定の結果を表示する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２０－０３６８３５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述した眼科診断支援装置は、医療機関で使用される検査機器を使用して眼科診断データを取得する必要があるため、目の不調を自覚している人のドライアイの有無や程度を簡易に検査することができない。
【0007】
本発明は、上述した事情に鑑みてなされたものであり、ドライアイの症状に関する検査を実際に実施することなく、ドライアイの症状に関する検査の結果を予測することができる検査方法を提供しようとするものである。
【課題を解決するための手段】
【0008】
本発明の一態様は、推論用被検体の目を描出している推論用画像を示す推論用画像データを取得し、学習用被検体の目を描出している学習用画像を示す学習用画像データを問題とし、前記学習用被検体の目の状態を示す学習用状態データを答えとする教師データを使用して学習した機械学習プログラムに前記推論用画像データを入力し、前記機械学習プログラムに前記推論用被検体の目の状態を推定させ、前記機械学習プログラムに前記推論用被検体の目の状態を示す推論用データを出力させる、検査方法であって、前記推論用被検体の角膜に映り込んでいる照明を描出している前記推論用画像から前記推論用被検体の角膜に映り込んでいる照明を描出している領域を切り出した推論用照明画像を示す推論用照明画像データを前記推論用画像データとして取得し、前記学習用被検体の角膜に映り込んでいる照明を描出している前記学習用画像から前記学習用被検体の角膜に映り込んでいる照明を描出している領域を切り出した学習用照明画像を示す学習用照明画像データを前記学習用画像データとして前記問題とし、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる、検査方法である。
【0009】
本発明の一態様は、上述した検査方法であって、前記推論用画像が撮影された目を前記推論用被検体が連続して開けることができた時間である最大開瞼時間を示す推論用開瞼データを更に取得し、前記学習用画像が撮影された目を前記学習用被検体が連続して開けることができた時間である最大開瞼時間を示す学習用開瞼データを前記問題の一部として更に含んでおり、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる。
【0010】
本発明の一態様は、上述した検査方法であって、前記推論用被検体の目の涙液メニスカスを描出している前記推論用画像から前記推論用被検体の涙液メニスカスを描出している領域を切り出した推論用涙液メニスカス画像を示す推論用涙液メニスカス画像データを前記推論用画像データとしてさらに取得し、前記学習用被検体の目の涙液メニスカスを描出している前記学習用画像から前記学習用被検体の涙液メニスカスを描出している領域を切り出した学習用涙液メニスカス画像を示す学習用涙液メニスカス画像データをさらに前記学習用画像データとして前記問題とし、前記学習用被検体の目についてドライアイの症状に関する検査が実施された際における前記学習用被検体の目を描出している画像を示す学習用検査画像データと、ドライアイの症状に関する検査の結果を示す学習用検査結果データとの少なくとも一方を前記答えとして更に含んでいる前記教師データを使用して学習した前記機械学習プログラムに、前記推論用被検体の目に現れているドライアイの症状を推定させ、前記推論用被検体の目に現れているドライアイの症状を示す症状データを前記推論用データとして出力させる。
【発明の効果】
【0011】
本発明によれば、ドライアイの症状に関する検査を実際に実施することなく、ドライアイの症状に関する検査の結果を予測することができる。
【図面の簡単な説明】
【0012】
【図1】第一実施形態に係る機械学習実行装置のハードウェア構成の一例を示す図である。
【図2】第一実施形態に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。
【図3】第一実施形態に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。
【図4】第一実施形態に係るドライアイ検査装置のハードウェア構成の一例を示す図である。
【図5】第一実施形態に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。
【図6】第一実施形態に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。
【図7】第二実施形態に係る機械学習実行装置のハードウェア構成の一例を示す図である。
【図8】第二実施形態に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。
【図9】第二実施形態に係る学習用画像から涙液メニスカスを描出している領域を切り出した学習用涙液メニスカス画像の一例を示す図である。
【図10】第二実施形態に係る学習用画像から学習用被検体の角膜に映り込んでいる照明を描出している領域を切り出した学習用照明画像の一例を示す図である。
【図11】第二実施形態に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。
【図12】第二実施形態に係るドライアイ検査装置のハードウェア構成の一例を示す図である。
【図13】第二実施形態に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。
【図14】第二実施形態に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。
【図15】第三実施形態に係る機械学習プログラムが涙液層破壊時間を調べる検査の結果を予測する際に学習用被検体の目を描出している学習用画像のうち重点的に考慮した部分の一例を示す図である。
【発明を実施するための形態】
【0013】
【0014】
図１は、第一実施形態に係る機械学習実行装置のハードウェア構成の一例を示す図である。図１に示した機械学習実行装置１０ａは、後述する機械学習装置７００ａの学習フェーズにおいて機械学習装置７００ａに機械学習を実行させる装置である。また、図１に示すように、機械学習実行装置１０ａは、プロセッサ１１ａと、主記憶装置１２ａと、通信インターフェース１３ａと、補助記憶装置１４ａと、入出力装置１５ａと、バス１６ａとを備える。
【0015】
プロセッサ１１ａは、例えば、ＣＰＵ（Central Processing Unit）であり、後述する機械学習実行プログラム１００ａを読み出して実行し、機械学習実行プログラム１００ａが有する各機能を実現させる。また、プロセッサ１１ａは、機械学習実行プログラム１００ａ以外のプログラムを読み出して実行し、機械学習実行プログラム１００ａが有する各機能を実現させる上で必要な機能を実現させてもよい。
【0016】
主記憶装置１２ａは、例えば、ＲＡＭ（Random Access Memory）であり、プロセッサ１１ａにより読み出されて実行される機械学習実行プログラム１００ａその他プログラムを予め記憶している。
【0017】
通信インターフェース１３ａは、図１に示したネットワークＮＷを介して、機械学習装置７００ａその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ（Local Area Network）、イントラネットである。
【0018】
補助記憶装置１４ａは、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、フラッシュメモリ（Flash Memory）、ＲＯＭ（Read Only Memory）である。
【0019】
入出力装置１５ａは、例えば、入出力ポート（Input/Output Port）である。入出力装置１５ａは、例えば、図１に示したキーボード８１１ａ、マウス８１２ａ、ディスプレイ９１０ａが接続される。キーボード８１１ａ及びマウス８１２ａは、例えば、機械学習実行装置１０ａを操作するために必要なデータを入力する作業に使用される。ディスプレイ９１０ａは、例えば、機械学習実行装置１０ａのグラフィカルユーザインターフェース（ＧＵＩ：Graphical User Interface）を表示する。
【0020】
バス１６ａは、プロセッサ１１ａ、主記憶装置１２ａ、通信インターフェース１３ａ、補助記憶装置１４ａ及び入出力装置１５ａを互いにデータの送受信が可能なように接続している。
【0021】
図２は、第一実施形態に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。機械学習実行装置１０ａは、プロセッサ１１ａを使用して機械学習実行プログラム１００ａを読み出して実行し、図２に示した教師データ取得機能１０１ａ及び機械学習実行機能１０２ａを実現させる。
【0022】
教師データ取得機能１０１ａは、一つの学習用画像データ及び学習用開瞼データを問題とし、一つの学習用検査画像データ及び学習用検査結果データの少なくとも一方を答えとする教師データを取得する。
【0023】
学習用画像データは、教師データの問題の一部を構成しており、学習用被検体の目を描出している学習用画像を示すデータである。学習用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
【0024】
学習用開瞼データは、教師データの問題の一部を構成しており、学習用画像が撮影された目を学習用被検体が連続して開けることができた時間である最大開瞼時間を示すデータである。
【0025】
例えば、学習用開瞼データは、学習用被検体が瞬きをして目を開けた直後から次に瞬きをするまでの間を少なくとも撮影している動画に映し出されている瞼の動きに基づいて算出されている最大開瞼時間を示していてもよい。
【0026】
或いは、学習用開瞼データは、学習用被検体の自己申告に基づいており、ユーザインターフェースを使用して入力された最大開瞼時間を示していてもよい。当該ユーザインターフェースは、例えば、図１に示したディスプレイ９１０ａに表示される。或いは、当該ユーザインターフェースは、学習用被検体が契約しているスマートフォンに搭載されているタッチパネルディスプレイに表示される。
【0027】
学習用検査画像データは、教師データの答えの一部を構成しており、学習用被検体の目についてドライアイの症状に関する検査が実施された際における学習用被検体の目を描出している学習用検査画像を示すデータである。このような検査としては、例えば、フルオレセイン染色試薬を点眼し、スリットランプを使用して目を観察して涙液層破壊時間を調べる検査が挙げられる。したがって、例えば、学習用検査画像データは、フルオレセインにより染色され、スリットランプを使用して観察されている目を描出している画像又は動画を示すデータとなる。
【0028】
学習用検査結果データは、教師データの答えの一部を構成しており、ドライアイの症状に関する検査の結果を示すデータである。このような検査の結果としては、例えば、フルオレセイン染色試薬を点眼し、スリットランプを使用して目を観察して涙液層破壊時間を調べる検査に基づいて涙液層破壊時間の長さを表している０以上１以下の数値が挙げられる。
【0029】
この数値は、０以上０．５未満である場合、涙液層破壊時間が１０秒以上であるため、学習用被検体の目が正常であり、眼科医による診察が不要であることを表している。また、この数値は、０．５以上１以下である場合、涙液層破壊時間が１０秒未満であるため、学習用被検体の目が異常であり、眼科医による診察が必要であることを表している。
【0030】
例えば、教師データ取得機能１０１ａは、１２８０個の教師データを取得する。この場合、１２８０個の学習用画像データは、それぞれ８名の学習用被検体の２つの目それぞれをスマートフォンに搭載されているカメラを使用して２０回撮影する処理を４セット実施することにより取得された１２８０枚の学習用画像を示している。また、この場合、１２８０個の学習用開瞼データは、それぞれ学習用被検体の最大開瞼時間を表す値を示している１２８０個の値を示している。
【0031】
また、この場合、１２８０個の学習用検査画像データは、それぞれ上述した１２８０枚の学習用画像それぞれに描出されている学習用被検体の目についてドライアイの症状に関する検査が実施された際に撮影された学習用検査画像を示している。また、１２８０個の学習用検査結果データは、それぞれ１２８０枚の学習用検査画像が撮影された際に実施されたドライアイの症状に関する検査の結果を示す０以上１以下の数値１２８０個を示している。
【0032】
なお、以下の説明では、１２８０個の学習用検査結果データが、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している６２０個の学習用検査結果データと、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している６６０個の学習用検査結果データとを含んでいる場合を例に挙げて説明する。
【0033】
機械学習実行機能１０２ａは、機械学習装置７００ａに実装されている機械学習プログラム７５０ａに教師データを入力し、機械学習プログラム７５０ａを学習させる。例えば、機械学習実行機能１０２ａは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含んでいる機械学習プログラム７５０ａをバックプロパゲーション（Backpropagation）により学習させる。
【0034】
例えば、機械学習実行機能１０２ａは、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している学習用検査結果データを含んでいる５４０個の教師データを機械学習プログラム７５０ａに入力する。この５４０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
【0035】
また、例えば、機械学習実行機能１０２ａは、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している学習用検査結果データを含んでいる５８０個の教師データを機械学習プログラム７５０ａに入力する。この５８０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
【0036】
そして、機械学習実行機能１０２ａは、これら１１２０個の教師データにより機械学習プログラム７５０ａを学習させる。
【0037】
また、例えば、機械学習実行機能１０２ａは、学習用被検体の目が正常であることを表しており、機械学習プログラム７５０ａの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ａに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
【0038】
また、例えば、機械学習実行機能１０２ａは、学習用被検体の目が異常であることを表しており、機械学習プログラム７５０ａの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ａに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
【0039】
これにより、機械学習実行機能１０２ａは、上述した１１２０個の教師データにより機械学習プログラム７５０ａを学習させることにより得られた機械学習プログラム７５０ａの特性を評価してもよい。
【0040】
なお、機械学習実行機能１０２ａは、テストデータを使用して機械学習プログラム７５０ａの特性を評価する際に、例えば、クラス活性化マッピング（ＣＡＭ：Class Activation Mapping）を使用してもよい。クラス活性化マッピングは、ニューラルネットワークに入力されたデータのうちニューラルネットワークにより出力された結果の根拠となった部分を明らかにする技術である。クラス活性化マッピングとしては、例えば、勾配加重クラス活性化マッピングが挙げられる。勾配加重クラス活性化マッピングは、畳み込みニューラルネットワークにより実行される畳み込みの特徴に関する分類スコアの勾配を利用し、畳み込みニューラルネットワークに入力された画像のうち分類に一定以上の影響を与えた領域を特定する技術である。
【0041】
次に、図３を参照しながら第一実施形態に係る機械学習実行プログラム１００ａが実行する処理の一例を説明する。図３は、第一実施形態に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。機械学習実行プログラム１００ａは、図３に示した処理を少なくとも一回実行する。
【0042】
ステップＳ１１において、教師データ取得機能１０１ａは、学習用画像データと、学習用開瞼データとを問題とし、学習用検査画像データと、学習用検査結果データとの少なくとも一方を答えとする教師データを取得する。
【0043】
ステップＳ１２において、機械学習実行機能１０２ａは、教師データを機械学習プログラム７５０ａに入力し、機械学習プログラム７５０ａを学習させる。
【0044】
【0045】
図４は、第一実施形態に係るドライアイ検査装置のハードウェア構成の一例を示す図である。図４に示したドライアイ検査装置２０ａは、機械学習実行プログラム１００ａにより学習済みの機械学習装置７００ａの推論フェーズにおいて機械学習装置７００ａを使用して推論用被検体の目に現れているドライアイの症状を推定させる装置である。また、図５に示すように、ドライアイ検査装置２０ａは、プロセッサ２１ａと、主記憶装置２２ａと、通信インターフェース２３ａと、補助記憶装置２４ａと、入出力装置２５ａと、バス２６ａとを備える。
【0046】
プロセッサ２１ａは、例えば、ＣＰＵであり、後述するドライアイ検査プログラム２００ａを読み出して実行し、ドライアイ検査プログラム２００ａが有する各機能を実現させる。また、プロセッサ２１ａは、ドライアイ検査プログラム２００ａ以外のプログラムを読み出して実行し、ドライアイ検査プログラム２００ａが有する各機能を実現させる上で必要な機能を実現させてもよい。
【0047】
主記憶装置２２ａは、例えば、ＲＡＭであり、プロセッサ２１ａにより読み出されて実行されるドライアイ検査プログラム２００ａその他プログラムを予め記憶している。
【0048】
通信インターフェース２３ａは、図５に示したネットワークＮＷを介して、機械学習装置７００ａその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
【0049】
補助記憶装置２４ａは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
【0050】
入出力装置２５ａは、例えば、入出力ポートである。入出力装置２５ａは、例えば、図５に示したキーボード８２１ａ、マウス８２２ａ、ディスプレイ９２０ａが接続される。キーボード８２１ａ及びマウス８２２ａは、例えば、ドライアイ検査装置２０ａを操作するために必要なデータを入力する作業に使用される。ディスプレイ９２０ａは、例えば、ドライアイ検査装置２０ａのグラフィカルユーザインターフェースを表示する。
【0051】
バス２６ａは、プロセッサ２１ａ、主記憶装置２２ａ、通信インターフェース２３ａ、補助記憶装置２４ａ及び入出力装置２５ａを互いにデータの送受信が可能なように接続している。
【0052】
図５は、第一実施形態に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。ドライアイ検査装置２０ａは、プロセッサ２１ａを使用してドライアイ検査プログラム２００ａを読み出して実行し、図５に示したデータ取得機能２０１ａ及び症状推定機能２０２ａを実現させる。
【0053】
データ取得機能２０１ａは、推論用画像データと、推論用開瞼データとを取得する。
【0054】
推論用画像データは、推論用被検体の目を描出している画像を示すデータである。推論用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
【0055】
推論用開瞼データは、推論用画像が撮影された目を推論用被検体が連続して開けることができた時間である最大開瞼時間を示すデータである。
【0056】
例えば、推論用開瞼データは、推論用被検体が瞬きをして目を開けた直後から次に瞬きをするまでの間を少なくとも撮影している動画に映し出されている瞼の動きに基づいて算出されている最大開瞼時間を示していてもよい。
【0057】
或いは、推論用開瞼データは、推論用被検体の自己申告に基づいており、ユーザインターフェースを使用して入力された最大開瞼時間を示していてもよい。当該ユーザインターフェースは、例えば、図４に示したディスプレイ９２０ａに表示される。或いは、当該ユーザインターフェースは、推論用被検体が契約しているスマートフォンに搭載されているタッチパネルディスプレイに表示される。
【0058】
症状推定機能２０２ａは、機械学習実行機能１０２ａにより学習済みの機械学習プログラム７５０ａに推論用画像データ及び推論用開瞼データを入力し、機械学習プログラム７５０ａに推論用被検体の目に現れているドライアイの症状を推定させる。例えば、症状推定機能２０２ａは、機械学習プログラム７５０ａにこれら二つのデータを入力し、推論用被検体の目の涙液層破壊時間の長さを表す数値を推定させる。
【0059】
そして、症状推定機能２０２ａは、機械学習プログラム７５０ａに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。例えば、症状推定機能２０２ａは、機械学習プログラム７５０ａに推論用被検体の目の涙液層破壊時間の長さを表す数値を示す症状データを出力させる。この場合、症状データは、例えば、自身が示しており、推論用被検体の目の涙液層破壊時間の長さを表す数値をディスプレイ９２０ａに表示するために使用される。
【0060】
次に、図６を参照しながら第一実施形態に係るドライアイ検査プログラム２００ａが実行する処理の一例を説明する。図６は、第一実施形態に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。
【0061】
ステップＳ２１において、データ取得機能２０１ａは、推論用画像データと、推論用開瞼データとを取得する。
【0062】
ステップＳ２２において、症状推定機能２０２ａは、学習済みの機械学習プログラム７５０ａに、推論用画像データ及び推論用開瞼データを入力し、推論用被検体の目に現れているドライアイの症状を推定させ、機械学習プログラム７５０ａに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
【0063】
以上、第一実施形態に係る機械学習実行プログラム、ドライアイ検査プログラム、機械学習実行装置、ドライアイ検査装置、機械学習実行方法及びドライアイ検査方法について説明した。
【0064】
機械学習実行プログラム１００ａは、教師データ取得機能１０１ａと、機械学習実行機能１０２ａとを備える。
【0065】
教師データ取得機能１０１ａは、学習用画像データと、学習用開瞼データとを問題とし、学習用検査画像データと、学習用検査結果データとの少なくとも一方を答えとする教師データを取得する。学習用画像データは、学習用被検体の目を描出している画像を示すデータである。学習用開瞼データは、学習用画像が撮影された目を学習用被検体が連続して開けることができた時間である最大開瞼時間を示すデータである。学習用検査画像データは、学習用被検体の目についてドライアイの症状に関する検査が実施された際における学習用被検体の目を描出している画像を示すデータである。学習用検査結果データは、ドライアイの症状に関する検査の結果を示すデータである。
【0066】
機械学習実行機能１０２ａは、教師データを機械学習プログラム７５０ａに入力し、機械学習プログラム７５０ａを学習させる。
【0067】
これにより、機械学習実行プログラム１００ａは、学習用画像データ及び学習用開瞼データに基づいてドライアイの症状に関する検査の結果を予測する機械学習プログラム７５０ａを生成することができる。
【0068】
また、機械学習実行プログラム１００ａは、学習用画像データだけではなく、学習用開瞼データを問題として含んでいる教師データを使用して機械学習プログラム７５０ａを学習させる。したがって、機械学習実行プログラム１００ａは、ドライアイの症状に関する検査の結果を更に精度良く予測することができる機械学習プログラム７５０ａを生成することができる。
【0069】
ドライアイ検査プログラム２００ａは、データ取得機能２０１ａと、症状推定機能２０２ａとを備える。
【0070】
データ取得機能２０１ａは、推論用画像データと、推論用開瞼データとを取得する。推論用画像データは、推論用被検体の目を描出している画像を示すデータである。推論用開瞼データは、推論用画像が撮影された目を推論用被検体が連続して開けることができた時間である最大開瞼時間を示すデータである。
【0071】
症状推定機能２０２ａは、機械学習実行プログラム１００ａにより学習済みの機械学習プログラム７５０ａに推論用画像データ及び推論用開瞼データを入力し、推論用被検体の目に現れているドライアイの症状を推定させる。そして、症状推定機能２０２ａは、機械学習プログラム７５０ａに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
【0072】
これにより、ドライアイ検査プログラム２００ａは、ドライアイの症状に関する検査を実際に実施することなく、ドライアイの症状に関する検査の結果を予測することができる。
【0073】
次に、機械学習プログラム７５０ａを実際に学習させ、ドライアイの症状を推定させた例を挙げて、機械学習実行プログラム１００ａにより奏される効果の具体例を比較例と第一実施形態に係る実施例とを対比させて説明する。
【0074】
この場合の比較例は、上述した学習用被検体の目が正常であることを表している５４０個の教師データ及び学習用被検体の目が異常であることを表している５８０個の教師データから学習用開瞼データが除かれているデータを教師データとして機械学習プログラムを学習させた例である。
【0075】
このように学習した機械学習プログラムは、上述した学習用被検体の目が正常であることを表している８０個のテストデータ及び学習用被検体の目が異常であることを表している８０個のテストデータを使用して特性を評価すると、予測精度７２％及び偽陰性率２８％を示した。
【0076】
一方、機械学習実行プログラム１００ａにより学習した機械学習プログラム７５０ａは、同じテストデータを使用して特性を評価すると、予測精度８０％及び偽陰性率２０％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
【0077】
なお、予測精度は、異常群に含まれる学習用画像のうち機械学習プログラムにより異常と予測された枚数Ｘ及び正常群に含まれる学習用画像うち機械学習プログラムにより正常と予測された枚数Ｙの合計Ｘ+Ｙのテストデータの総数に対する割合である。したがって、この比較例の場合、予測精度は、（（Ｘ+Ｙ）／１６０）×１００で算出される。
【0078】
また、偽陰性率は、異常群に含まれる学習用画像のうち機械学習プログラムにより正常と予測された枚数の異常群に含まれる学習用画像の合計に対する割合である。したがって、この比較例の場合、偽陰性率は、（（８０－Ｘ）／８０）×１００で算出される。
【0079】
なお、機械学習実行プログラム１００ａが有する機能の少なくとも一部は、回路部（circuitry）を含むハードウェアにより実現されてもよい。同様に、ドライアイ検査プログラム２００ａが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。また、このようなハードウェアは，例えば、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）である。
【0080】
また、機械学習実行プログラム１００ａが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。同様に、ドライアイ検査プログラム２００ａが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
【0081】
また、第一実施形態では、機械学習実行装置１０ａと、機械学習装置７００ａと、ドライアイ検査装置２０ａとが互いに独立した装置である場合を例に挙げて説明したが、これに限定されない。これらの装置は、一つの装置として実現されていてもよい。
【0082】
［第二実施形態］
図７から図１１を参照しながら第二実施形態に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法の具体例について説明する。第二実施形態に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法は、第一実施形態に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法と異なり、後述する学習用画像データから切り出した学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方を問題として含む教師データを使用する。
図７から図１１を参照しながら第二実施形態に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法の具体例について説明する。第二実施形態に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法は、第一実施形態に係る機械学習実行プログラム、機械学習実行装置及び機械学習実行方法と異なり、後述する学習用画像データから切り出した学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方を問題として含む教師データを使用する。
【0083】
図７は、第二実施形態に係る機械学習実行装置のハードウェア構成の一例を示す図である。図７に示した機械学習実行装置１０ｂは、後述する機械学習装置７００ｂの学習フェーズにおいて機械学習装置７００ｂに機械学習を実行させる装置である。また、図８に示すように、機械学習実行装置１０ｂは、プロセッサ１１ｂと、主記憶装置１２ｂと、通信インターフェース１３ｂと、補助記憶装置１４ｂと、入出力装置１５ｂと、バス１６ｂとを備える。
【0084】
プロセッサ１１ｂは、例えば、ＣＰＵであり、後述する機械学習実行プログラム１００ｂを読み出して実行し、機械学習実行プログラム１００ｂが有する各機能を実現させる。
また、プロセッサ１１ｂは、機械学習実行プログラム１００ｂ以外のプログラムを読み出して実行し、機械学習実行プログラム１００ｂが有する各機能を実現させる上で必要な機能を実現させてもよい。
また、プロセッサ１１ｂは、機械学習実行プログラム１００ｂ以外のプログラムを読み出して実行し、機械学習実行プログラム１００ｂが有する各機能を実現させる上で必要な機能を実現させてもよい。
【0085】
主記憶装置１２ｂは、例えば、ＲＡＭであり、プロセッサ１１ｂにより読み出されて実行される機械学習実行プログラム１００ｂその他プログラムを予め記憶している。
【0086】
通信インターフェース１３ｂは、図８に示したネットワークＮＷを介して、機械学習装置７００ｂその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
【0087】
補助記憶装置１４ｂは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
【0088】
入出力装置１５ｂは、例えば、入出力ポートである。入出力装置１５ｂは、例えば、図１に示したキーボード８１１ｂ、マウス８１２ｂ、ディスプレイ９１０ｂが接続される。
キーボード８１１ｂ及びマウス８１２ｂは、例えば、機械学習実行装置１０ｂを操作するために必要なデータを入力する作業に使用される。ディスプレイ９１０ｂは、例えば、機械学習実行装置１０ｂのグラフィカルユーザインターフェースを表示する。
キーボード８１１ｂ及びマウス８１２ｂは、例えば、機械学習実行装置１０ｂを操作するために必要なデータを入力する作業に使用される。ディスプレイ９１０ｂは、例えば、機械学習実行装置１０ｂのグラフィカルユーザインターフェースを表示する。
【0089】
バス１６ｂは、プロセッサ１１ｂ、主記憶装置１２ｂ、通信インターフェース１３ｂ、補助記憶装置１４ｂ及び入出力装置１５ｂを互いにデータの送受信が可能なように接続している。
【0090】
図８は、第二実施形態に係る機械学習実行プログラムのソフトウェア構成の一例を示す図である。機械学習実行装置１０ｂは、プロセッサ１１ｂを使用して機械学習実行プログラム１００ｂを読み出して実行し、図８に示した教師データ取得機能１０１ｂ及び機械学習実行機能１０２ｂを実現させる。
【0091】
教師データ取得機能１０１ｂは、一つの学習用涙液メニスカス画像データ及び一つの学習用照明画像データの少なくとも一方を問題とし、一つの学習用検査画像データ及び学習用検査結果データの少なくとも一方を答えとする教師データを取得する。
【0092】
学習用画像データは、学習用被検体の目を描出している学習用画像を示すデータである。学習用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
【0093】
学習用涙液メニスカス画像データは、学習用被検体の目を描出している学習用画像から学習用被検体の涙液メニスカスを描出している領域を切り出した学習用涙液メニスカス画像を示すデータであり、学習用画像の一種である。涙液メニスカスは、角膜と下瞼との間に形成される涙の層であり、涙液の量を反映している。涙液メニスカスが低い場合、涙液が少なく、涙液メニスカスが高い場合、涙液が多い。また、学習用涙液メニスカス画像は、例えば、学習用画像のうち涙液メニスカスが描出されている領域を切り出すことにより生成される。図９は、第二実施形態に係る学習用画像から涙液メニスカスを描出している領域を切り出した学習用涙液メニスカス画像の一例を示す図である。教師データ取得機能１０１ｂは、例えば、図９に示した学習用涙液メニスカス画像を示す学習用涙液メニスカス画像データを取得する。
【0094】
学習用照明画像データは、学習用被検体の目を描出している学習用画像から学習用被検体の角膜に映り込んでいる照明を描出している領域を切り出した学習用照明画像を示すデータであり、学習用画像の一種である。このような照明は、例えば、学習用画像が撮影される部屋の天井に設置された蛍光灯である。また、学習用照明画像は、例えば、学習用画像のうち学習用被検体の角膜に映り込んでいる照明が描出されている領域を切り出すことにより生成される。図１０は、第二実施形態に係る学習用画像から学習用被検体の角膜に映り込んでいる照明を描出している領域を切り出した学習用照明画像の一例を示す図である。教師データ取得機能１０１ｂは、例えば、図１０に示した学習用照明画像を示す学習用照明画像データを取得する。
【0095】
学習用検査画像データは、教師データの答えの一部を構成しており、学習用被検体の目についてドライアイの症状に関する検査が実施された際における学習用被検体の目を描出している学習用検査画像を示すデータである。このような検査としては、例えば、フルオレセイン染色試薬を点眼し、スリットランプを使用して目を観察して涙液層破壊時間を調べる検査が挙げられる。したがって、例えば、学習用検査画像データは、フルオレセインにより染色され、スリットランプを使用して観察されている目を描出している画像又は動画を示すデータとなる。
【0096】
学習用検査結果データは、教師データの答えの一部を構成しており、ドライアイの症状に関する検査の結果を示すデータである。このような検査の結果としては、例えば、フルオレセイン染色試薬を点眼し、スリットランプを使用して目を観察して涙液層破壊時間を調べる検査に基づいて涙液層破壊時間の長さを表している０以上１以下の数値が挙げられる。
【0097】
この数値は、０以上０．５未満である場合、涙液層破壊時間が１０秒以上であるため、学習用被検体の目が正常であり、眼科医による診察が不要であることを表している。また、この数値は、０．５以上１以下である場合、涙液層破壊時間が１０秒未満であるため、学習用被検体の目が異常であり、眼科医による診察が必要であることを表している。
【0098】
例えば、教師データ取得機能１０１ｂは、１２８０個の教師データを取得する。この場合、１２８０個の学習用涙液メニスカス画像データおよび学習用照明画像データは、それぞれ８名の学習用被検体の２つの目それぞれをスマートフォンに搭載されているカメラを使用して２０回撮影する処理を４セット実施することにより取得された１２８０枚の学習用画像の涙液メニスカスが描出されている領域及び角膜に映りこんでいる照明が描出されている領域を切り出すことにより生成された画像を示している。
【0099】
また、この場合、１２８０個の学習用検査画像データは、それぞれ上述した１２８０枚の学習用画像それぞれに描出されている学習用被検体の目についてドライアイの症状に関する検査が実施された際に撮影された学習用検査画像を示している。また、１２８０個の学習用検査結果データは、それぞれ１２８０枚の学習用検査画像が撮影された際に実施されたドライアイの症状に関する検査の結果を示す０以上１以下の数値１２８０個を示している。
【0100】
なお、以下の説明では、１２８０個の学習用検査結果データが、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している６２０個の学習用検査結果データと、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している６６０個の学習用検査結果データとを含んでいる場合を例に挙げて説明する。
【0101】
機械学習実行機能１０２ｂは、機械学習装置７００ｂに実装されている機械学習プログラム７５０ｂに教師データを入力し、機械学習プログラム７５０ｂを学習させる。例えば、機械学習実行機能１０２ｂは、畳み込みニューラルネットワークを含んでいる機械学習プログラム７５０ｂをバックプロパゲーションにより学習させる。
【0102】
例えば、機械学習実行機能１０２ｂは、学習用被検体の目が正常であることを表す０以上０．５未満の数値を示している学習用検査結果データを含んでいる５４０個の教師データを機械学習プログラム７５０ｂに入力する。この５４０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
【0103】
また、例えば、機械学習実行機能１０２ｂは、学習用被検体の目が異常であることを表す０．５以上１以下の数値を示している学習用検査結果データを含んでいる５８０個の教師データを機械学習プログラム７５０ｂに入力する。この５８０個の教師データは、上述した８名の中から選択された７名から取得された教師データである。
【0104】
そして、機械学習実行機能１０２ｂは、これら１１２０個の教師データにより機械学習プログラム７５０ｂを学習させる。
【0105】
また、例えば、機械学習実行機能１０２ｂは、学習用被検体の目が正常であることを表しており、機械学習プログラム７５０ｂの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｂに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
【0106】
また、例えば、機械学習実行機能１０２ｂは、学習用被検体の目が異常であることを表しており、機械学習プログラム７５０ｂの学習に使用されなかった８０個の教師データをテストデータとして機械学習プログラム７５０ｂに入力してもよい。この８０個の教師データは、上述した７名として選択されなかった１名から取得された教師データである。
【0107】
これにより、機械学習実行機能１０２ｂは、上述した１１２０個の教師データにより機械学習プログラム７５０ｂを学習させることにより得られた機械学習プログラム７５０ｂの特性を評価してもよい。
【0108】
なお、機械学習実行機能１０２ｂは、テストデータを使用して機械学習プログラム７５０ｂの特性を評価する際に、例えば、クラス活性化マッピングを使用してもよい。クラス活性化マッピングは、ニューラルネットワークに入力されたデータのうちニューラルネットワークにより出力された結果の根拠となった部分を明らかにする技術である。クラス活性化マッピングとしては、例えば、勾配加重クラス活性化マッピングが挙げられる。勾配加重クラス活性化マッピングは、畳み込みニューラルネットワークにより実行される畳み込みの特徴に関する分類スコアの勾配を利用し、畳み込みニューラルネットワークに入力された画像のうち分類に一定以上の影響を与えた領域を特定する技術である。
【0109】
次に、図１１を参照しながら第二実施形態に係る機械学習実行プログラム１００ｂが実行する処理の一例を説明する。図１１は、第二実施形態に係る機械学習実行プログラムにより実行される処理の一例を示すフローチャートである。機械学習実行プログラム１００ｂは、図１１に示した処理を少なくとも一回実行する。
【0110】
ステップＳ３１において、教師データ取得機能１０１ｂは、学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方とを問題とし、学習用検査画像データと、学習用検査結果データとの少なくとも一方を答えとする教師データを取得する。
【0111】
ステップＳ３２において、機械学習実行機能１０２ｂは、教師データを機械学習プログラム７５０ｂに入力し、機械学習プログラム７５０ｂを学習させる。
【0112】
次に、図１２から図１４を参照しながら第二実施形態に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法の具体例について説明する。第二実施形態に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法は、第一実施形態に係るドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法と異なり、後述する推論用学習用画像データから切り出した推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方を取得する。
【0113】
図１２は、第二実施形態に係るドライアイ検査装置のハードウェア構成の一例を示す図である。図１２に示したドライアイ検査装置２０ｂは、機械学習実行プログラム１００ｂにより学習済みの機械学習装置７００ｂの推論フェーズにおいて機械学習装置７００ｂを使用して推論用被検体の目に現れているドライアイの症状を推定させる装置である。また、図１２に示すように、ドライアイ検査装置２０ｂは、プロセッサ２１ｂと、主記憶装置２２ｂと、通信インターフェース２３ｂと、補助記憶装置２４ｂと、入出力装置２５ｂと、バス２６ｂとを備える。
【0114】
プロセッサ２１ｂは、例えば、ＣＰＵであり、後述するドライアイ検査プログラム２００ｂを読み出して実行し、ドライアイ検査プログラム２００ｂが有する各機能を実現させる。また、プロセッサ２１ｂは、ドライアイ検査プログラム２００ｂ以外のプログラムを読み出して実行し、ドライアイ検査プログラム２００ｂが有する各機能を実現させる上で必要な機能を実現させてもよい。
【0115】
主記憶装置２２ｂは、例えば、ＲＡＭであり、プロセッサ２１ｂにより読み出されて実行されるドライアイ検査プログラム２００ｂその他プログラムを予め記憶している。
【0116】
通信インターフェース２３ｂは、図１２に示したネットワークＮＷを介して、機械学習装置７００ｂその他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ、イントラネットである。
【0117】
補助記憶装置２４ｂは、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。
【0118】
入出力装置２５ｂは、例えば、入出力ポートである。入出力装置２５ｂは、例えば、図１２に示したキーボード８２１ｂ、マウス８２２ｂ、ディスプレイ９２０ｂが接続される。キーボード８２１ｂ及びマウス８２２ｂは、例えば、ドライアイ検査装置２０ｂを操作するために必要なデータを入力する作業に使用される。ディスプレイ９２０ｂは、例えば、ドライアイ検査装置２０ｂのグラフィカルユーザインターフェースを表示する。
【0119】
バス２６ｂは、プロセッサ２１ｂ、主記憶装置２２ｂ、通信インターフェース２３ｂ、補助記憶装置２４ｂ及び入出力装置２５ｂを互いにデータの送受信が可能なように接続している。
【0120】
図１３は、第二実施形態に係るドライアイ検査プログラムのソフトウェア構成の一例を示す図である。ドライアイ検査装置２０ｂは、プロセッサ２１ｂを使用してドライアイ検査プログラム２００ｂを読み出して実行し、図１３に示したデータ取得機能２０１ｂ及び症状推定機能２０２ｂを実現させる。
【0121】
データ取得機能２０１ｂは、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とを取得する。
【0122】
推論用画像データは、推論用被検体の目を描出している画像を示すデータである。推論用画像は、例えば、スマートフォンに搭載されているカメラを使用して撮影される。
【0123】
推論用涙液メニスカス画像データは、推論用被検体の目を描出している推論用画像から推論用被検体の涙液メニスカスを描出している領域を切り出した推論用涙液メニスカス画像を示すデータである。また、推論用涙液メニスカス画像は、例えば、推論用画像のうち涙液メニスカスが描出されている領域を切り出すことにより生成される。
【0124】
推論用照明画像データは、推論用被検体の目を描出している推論用画像から推論用被検体の角膜に映り込んでいる照明を描出している領域を切り出した推論用照明画像を示すデータである。また、推論用照明画像は、例えば、推論用画像のうち推論用被検体の角膜に映り込んでいる照明が描出されている領域を切り出すことにより生成される。
【0125】
症状推定機能２０２ｂは、機械学習実行機能１０２ｂにより学習済みの機械学習プログラム７５０ｂに推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とを入力し、機械学習プログラム７５０ｂに推論用被検体の目に現れているドライアイの症状を推定させる。例えば、症状推定機能２０２ｂは、機械学習プログラム７５０ｂにこれらのデータを入力し、推論用被検体の目の涙液層破壊時間の長さを表す数値を推定させる。
【0126】
そして、症状推定機能２０２ｂは、機械学習プログラム７５０ｂに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。例えば、症状推定機能２０２ｂは、機械学習プログラム７５０ｂに推論用被検体の目の涙液層破壊時間の長さを表す数値を示す症状データを出力させる。この場合、症状データは、例えば、自身が示しており、推論用被検体の目の涙液層破壊時間の長さを表す数値をディスプレイ９２０ｂに表示するために使用される。
【0127】
次に、図１４を参照しながら第二実施形態に係るドライアイ検査プログラム２００ｂが実行する処理の一例を説明する。図１４は、第二実施形態に係るドライアイ検査プログラムにより実行される処理の一例を示すフローチャートである。
【0128】
ステップＳ４１において、データ取得機能２０１ｂは、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とを取得する。
【0129】
ステップＳ４２において、症状推定機能２０２ｂは、学習済みの機械学習プログラムに、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とを入力し、推論用被検体の目に現れているドライアイの症状を推定させ、機械学習プログラムに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
【0130】
以上、第二実施形態に係る機械学習実行プログラム、ドライアイ検査プログラム、機械学習実行装置、ドライアイ検査装置、機械学習実行方法及びドライアイ検査方法について説明した。
【0131】
機械学習実行プログラム１００ｂは、教師データ取得機能１０１ｂと、機械学習実行機能１０２ｂとを備える。
【0132】
教師データ取得機能１０１ｂは、学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方とを問題とし、学習用検査画像データと、学習用検査結果データとの少なくとも一方を答えとする教師データを取得する。学習用涙液メニスカス画像データは、学習用被検体の涙液メニスカスを描出している学習用涙液メニスカス画像を示すデータである。学習用照明画像データは、学習用被検体の角膜に映り込んでいる照明を描出している学習用照明画像を示すデータである。学習用検査画像データは、学習用被検体の目についてドライアイの症状に関する検査が実施された際における学習用被検体の目を描出している画像を示すデータである。学習用検査結果データは、ドライアイの症状に関する検査の結果を示すデータである。
【0133】
機械学習実行機能１０２ｂは、教師データを機械学習プログラム７５０ｂに入力し、機械学習プログラム７５０ｂを学習させる。
【0134】
これにより、機械学習実行プログラム１００ｂは、学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方とに基づいてドライアイの症状に関する検査の結果を予測する機械学習プログラム７５０ｂを生成することができる。
【0135】
また、機械学習実行プログラム１００ｂは、学習用画像データから切り出された学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方を問題として含んでいる教師データを使用して機械学習プログラム７５０ｂを学習させる。したがって、機械学習実行プログラム１００ｂは、ドライアイの症状に関する検査の結果を更に精度良く予測することができる機械学習プログラム７５０ｂを生成することができる。
【0136】
ドライアイ検査プログラム２００ｂは、データ取得機能２０１ｂと、症状推定機能２０２ｂとを備える。
【0137】
データ取得機能２０１ｂは、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とを取得する。推論用涙液メニスカス画像データは、推論用被検体の涙液メニスカスを描出している推論用涙液メニスカス画像を示すデータである。推論用照明画像データは、推論用被検体の角膜に映り込んでいる照明を描出している推論用照明画像を示すデータである。
【0138】
症状推定機能２０２ｂは、機械学習実行プログラム１００ｂにより学習済みの機械学習プログラム７５０ｂに推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とを入力し、推論用被検体の目に現れているドライアイの症状を推定させる。
そして、症状推定機能２０２ｂは、機械学習プログラム７５０ｂに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
そして、症状推定機能２０２ｂは、機械学習プログラム７５０ｂに推論用被検体の目に現れているドライアイの症状を示す症状データを出力させる。
【0139】
これにより、ドライアイ検査プログラム２００ｂは、ドライアイの症状に関する検査を実際に実施することなく、ドライアイの症状に関する検査の結果を予測することができる。
【0140】
次に、機械学習プログラム７５０ｂを実際に学習させ、ドライアイの症状を推定させた例を挙げて、機械学習実行プログラム１００ｂにより奏される効果の具体例を比較例と第二実施形態に係る実施例とを対比させて説明する。
【0141】
この場合の比較例は、上述した学習用被検体の目が正常であることを表している５４０個の教師データ及び学習用被検体の目が異常であることを表している５８０個の教師データから学習用涙液メニスカス画像データ及び学習用照明画像データを除き、学習用画像データが加えられているデータを教師データとして機械学習プログラムを学習させた例である。
【0142】
このように学習した機械学習プログラムは、上述した学習用被検体の目が正常であることを表している８０個のテストデータから学習用涙液メニスカス画像データ及び学習用照明画像データを除き、学習用画像データが加えられているデータ及び学習用被検体の目が異常であることを表している８０個のテストデータから学習用涙液メニスカス画像データ及び学習用照明画像データを除き、学習用画像データが加えられているデータを使用して特性を評価すると、予測精度７２％及び偽陰性率２８％を示した。
【0143】
一方、機械学習実行プログラム１００ｂにより学習用涙液メニスカス画像データを使用して学習した機械学習プログラム７５０ｂは、学習用涙液メニスカス画像データのみを含むテストデータを使用して特性を評価すると、予測精度７７％及び偽陰性率２３％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
【0144】
また、機械学習実行プログラム１００ｂにより学習用照明画像データを使用して学習した機械学習プログラム７５０ｂは、学習用照明画像データのみを含むテストデータを使用して特性を評価すると、予測精度７７％及び偽陰性率２３％を示した。この特性は、比較例に係る機械学習プログラムの特性を上回っている。
【0145】
また、機械学習実行プログラム１００ｂにより学習用涙液メニスカス画像データ及び学習用照明画像データを使用して学習した機械学習プログラム７５０ｂは、学習用涙液メニスカス画像データ及び学習用照明画像データを含むテストデータを使用して特性を評価すると、予測精度８２％及び偽陰性率１８％を示した。この特性は、比較例に係る機械学習プログラムの特性、学習用涙液メニスカス画像データを使用して学習した機械学習プログラム７５０ｂの特性及び学習用照明画像データを使用して学習した機械学習プログラム７５０ｂの特性を上回っている。
【0146】
なお、予測精度は、異常群に含まれる学習用画像のうち機械学習プログラムにより異常と予測された枚数Ｘ及び正常群に含まれる学習用画像うち機械学習プログラムにより正常と予測された枚数Ｙの合計Ｘ+Ｙのテストデータの総数に対する割合である。したがって、この比較例の場合、予測精度は、（（Ｘ+Ｙ）／１６０）×１００で算出される。
【0147】
また、偽陰性率は、異常群に含まれる学習用画像のうち機械学習プログラムにより正常と予測された枚数の異常群に含まれる学習用画像の合計に対する割合である。したがって、この比較例の場合、偽陰性率は、（（８０－Ｘ）／８０）×１００で算出される。
【0148】
なお、機械学習実行プログラム１００ｂが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。同様に、ドライアイ検査プログラム２００ｂが有する機能の少なくとも一部は、回路部を含むハードウェアにより実現されてもよい。また、このようなハードウェアは，例えば、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵである。
【0149】
また、機械学習実行プログラム１００ｂが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。同様に、ドライアイ検査プログラム２００ｂが有する機能の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
【0150】
また、第二実施形態では、機械学習実行装置１０ｂと、機械学習装置７００ｂと、ドライアイ検査装置２０ｂとが互いに独立した装置である場合を例に挙げて説明したが、これに限定されない。これらの装置は、一つの装置として実現されていてもよい。
【0151】
［第三実施形態］
上述した第一実施形態では、教師データ取得機能１０１ａが第二実施形態で説明した学習用涙液メニスカス画像データ及び学習用照明画像データを問題の一部に含まない教師データを取得する場合を例に挙げたが、これに限定されない。教師データ取得機能１０１ａは、学習用開瞼データに加え、学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方を上述した学習用画像データとしている教師データを取得してもよい。また、この場合、データ取得機能２０１ａは、推論用開瞼データに加え、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方を上述した推論用画像データとして取得する。そして、この場合、症状推定機能２０２ａは、機械学習プログラム７５０ａに、推論用開瞼データに加え、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方に基づいて推論用被検体の目に現れているドライアイの症状を推定させる。
上述した第一実施形態では、教師データ取得機能１０１ａが第二実施形態で説明した学習用涙液メニスカス画像データ及び学習用照明画像データを問題の一部に含まない教師データを取得する場合を例に挙げたが、これに限定されない。教師データ取得機能１０１ａは、学習用開瞼データに加え、学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方を上述した学習用画像データとしている教師データを取得してもよい。また、この場合、データ取得機能２０１ａは、推論用開瞼データに加え、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方を上述した推論用画像データとして取得する。そして、この場合、症状推定機能２０２ａは、機械学習プログラム７５０ａに、推論用開瞼データに加え、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方に基づいて推論用被検体の目に現れているドライアイの症状を推定させる。
【0152】
また、上述した第二実施形態では、教師データ取得機能１０１ｂが第一実施形態で説明した学習用開瞼データを問題の一部に含まない教師データを取得する場合を例に挙げたが、これに限定されない。教師データ取得機能１０１ｂは、学習用涙液メニスカス画像データ及び学習用照明画像データに加え、学習用開瞼データを問題としている教師データを取得してもよい。また、この場合、データ取得機能２０１ｂは、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方に加え、更に推論用開瞼データを取得する。そして、この場合、症状推定機能２０２ｂは、機械学習プログラム７５０ｂに、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方に加え、推論用開瞼データに基づいて推論用被検体の目に現れているドライアイの症状を推定させる。
【0153】
さらに、第三実施形態に係る機械学習実行機能１０２ａは、テストデータを使用して機械学習プログラム７５０ａの特性を評価する際に、例えば、クラス活性化マッピングを使用してもよい。同様に、第三実施形態に係る機械学習実行機能１０２ｂは、テストデータを使用して機械学習プログラム７５０ｂの特性を評価する際に、例えば、クラス活性化マッピングを使用してもよい。
【0154】
図１５は、第三実施形態に係る機械学習プログラムが涙液層破壊時間を調べる検査の結果を予測する際に学習用被検体の目を描出している学習用画像のうち重点的に考慮した部分の一例を示す図である。例えば、第三実施形態に係る機械学習実行機能１０２ａは、勾配加重クラス活性化マッピングを使用して図１５に示した学習用画像のうち楕円Ｃ１１で囲まれている領域、楕円Ｃ１２で囲まれている領域及び楕円Ｃ２で囲まれている領域が機械学習プログラム７５０ａによる涙液層破壊時間を調べる検査の予測に一定以上の影響を与えていると評価する。また、図１５を参照しながら説明した事項は、第三実施形態に係る機械学習実行機能１０２ｂについても当てはまる。
【0155】
なお、これらの楕円で囲まれている領域に含まれている三段階のグレースケールは、角膜上皮障害に関する検査の結果の予測に影響を与えた度合いを示している。楕円Ｃ１１で囲まれている領域及び楕円Ｃ１２で囲まれている領域は、いずれも学習用被検体の涙液メニスカスを描出している領域の上に重ねて表示されている。楕円Ｃ２で囲まれている領域は、学習用被検体の角膜に映り込んでいる照明を描出している領域の上に重ねて表示されている。
【0156】
次に、学習用開瞼データと、学習用涙液メニスカス画像データ及び学習用照明画像データの少なくとも一方とを問題として含んでいる教師データを使用して学習させ、推論用開瞼データと、推論用涙液メニスカス画像データ及び推論用照明画像データの少なくとも一方とに基づいて推論用被検体の目に現れているドライアイの症状を推定させる場合に奏される効果の具体例について説明する。また、以下の説明では、教師データ取得機能１０１ａが学習用開瞼データを取得し、データ取得機能２０１ａが推論用開瞼データを取得する場合を例に挙げて説明する。
【0157】
この場合の比較例は、上述した学習用被検体の目が正常であることを表している５４０個の教師データ及び学習用被検体の目が異常であることを表している５８０個の教師データから学習用開瞼データ、学習用涙液メニスカス画像データ及び学習用照明画像データを除き、学習用画像データが加えられているデータを教師データとして機械学習プログラムを学習させた例である。
【0158】
このように学習した機械学習プログラムは、上述した学習用被検体の目が正常であることを表している８０個のテストデータから学習用開瞼データ、学習用涙液メニスカス画像データ及び学習用照明画像データを除き、学習用画像データが加えられているデータ及び学習用被検体の目が異常であることを表している８０個のテストデータから学習用開瞼データ、学習用涙液メニスカス画像データ及び学習用照明画像データを除き、学習用画像データが加えられているデータを使用して特性を評価すると、予測精度７２％及び偽陰性率２８％を示した。
【0159】
一方、機械学習実行プログラム１００ａにより学習用開瞼データ、学習用涙液メニスカス画像データ及び学習用照明画像データを使用して学習した機械学習プログラム７５０ａは、学習用涙液メニスカス画像データ及び学習用照明画像データを含むテストデータを使用して特性を評価すると、予測精度９０％及び偽陰性率１０％を示した。この特性は、比較例に係る機械学習プログラムの特性、第一実施形態に係る機械学習プログラム７５０ａの特性及び第二実施形態に係る機械学習プログラム７５０ｂの特性を上回っている。
【0160】
なお、予測精度は、異常群に含まれる学習用画像のうち機械学習プログラムにより異常と予測された枚数Ｘ及び正常群に含まれる学習用画像うち機械学習プログラムにより正常と予測された枚数Ｙの合計Ｘ+Ｙのテストデータの総数に対する割合である。したがって、この比較例の場合、予測精度は、（（Ｘ+Ｙ）／１６０）×１００で算出される。
【0161】
また、偽陰性率は、異常群に含まれる学習用画像のうち機械学習プログラムにより正常と予測された枚数の異常群に含まれる学習用画像の合計に対する割合である。したがって、この比較例の場合、偽陰性率は、（（８０－Ｘ）／８０）×１００で算出される。
【0162】
なお、上述したドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法は、推論用被検体の目にドライアイ点眼薬が点眼される前後で使用されてもよい。上述したドライアイ検査プログラム、ドライアイ検査装置及びドライアイ検査方法は、このようなタイミングで使用されることにより、推論用被検体が抱えるドライアイの症状に対して当該ドライアイ点眼薬が有している有効性を検証する手段ともなり得る。
【0163】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成は、この実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲内において種々の組み合わせ、変形、置換及び設計変更の少なくとも一つが加えられることがある。
【0164】
また、上述した本発明の実施形態の効果は、一例として示した効果である。したがって、本発明の実施形態は、上述した効果以外にも上述した実施形態の記載から当業者が認識し得る他の効果も奏し得る。
【符号の説明】
【0165】
１０ａ，１０ｂ…機械学習実行装置、１００ａ，１００ｂ…機械学習実行プログラム、１０１ａ，１０１ｂ…教師データ取得機能、１０２ａ，１０２ｂ…機械学習実行機能、２０ａ，２０ｂ…ドライアイ検査装置、２００ａ，２００ｂ…ドライアイ検査プログラム、２０１ａ，２０１ｂ…データ取得機能、２０２ａ，２０２ｂ…症状推定機能、７００ａ，７００ｂ…機械学習装置、７５０ａ，７５０ｂ…機械学習プログラム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】