特許 7594758 画像診断支援装置、画像診断支援システム、および、画像診断支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-27

(45)【発行日】2024-12-05

(54)【発明の名称】画像診断支援装置、画像診断支援システム、および、画像診断支援方法

(51)【国際特許分類】

   A61B 3/13 20060101AFI20241128BHJP

【ＦＩ】

A61B3/13

【請求項の数】 19

(21)【出願番号】P 2022500485

(86)(22)【出願日】2021-02-12

(86)【国際出願番号】 JP2021005377

(87)【国際公開番号】W WO2021162118

(87)【国際公開日】2021-08-19

【審査請求日】2024-01-30

(31)【優先権主張番号】P 2020021925

(32)【優先日】2020-02-12

(33)【優先権主張国・地域又は機関】JP

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度、国立研究開発法人日本医療研究開発機構、臨床研究等ＩＣＴ基盤構築・人工知能実装研究事業、「医療ビッグデータ利活用を促進するクラウド基盤・ＡＩ画像解析に関する研究」、令和元年度、国立研究開発法人日本医療研究開発機構、臨床研究等ＩＣＴ基盤構築・人工知能実装研究事業、「次世代眼科医療を目指す、ＩＣＴ／人工知能を活用した画像等データベースの基盤構築」、令和元年度、国立研究開発法人日本医療研究開発機構、臨床研究等ＩＣＴ基盤構築・人工知能実装研究事業、「持続可能なビッグデータ運用体制の構築と眼科ＡＩシステムの社会実装」、委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(73)【特許権者】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(73)【特許権者】

【識別番号】509349141

【氏名又は名称】京都府公立大学法人

(74)【代理人】

【識別番号】100085361

【弁理士】

【氏名又は名称】池田 治幸

(74)【代理人】

【識別番号】100147669

【弁理士】

【氏名又は名称】池田 光治郎

(72)【発明者】

【氏名】森 健策

(72)【発明者】

【氏名】小田 昌宏

(72)【発明者】

【氏名】大鹿 哲郎

(72)【発明者】

【氏名】上野 勇太

(72)【発明者】

【氏名】山口 剛史

(72)【発明者】

【氏名】福岡 秀記

【審査官】冨永 昌彦

(56)【参考文献】

【文献】特開２０１８－１２１８８６（ＪＰ，Ａ）

【文献】特開２０１９－２１６８４８（ＪＰ，Ａ）

【文献】国際公開第２０１９／０７３９６２（ＷＯ，Ａ１）

【文献】国際公開第２０１８／００３９０６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００ － ３／１８

(57)【特許請求の範囲】

【請求項1】

前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて、機械学習により、前眼部の判定用画像の状態を判定するための感染性および非感染性のそれぞれの状態についての特徴量を算出する学習部を有すること、
を特徴とする画像診断支援装置。

【請求項2】

前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて機械学習により算出された特徴量を用いて、前眼部の判定用画像の状態を判定する判定部、を有し、
該判定部は、前記判定用画像の状態が、感染性の状態にある尤度および非感染性の状態にある尤度をそれぞれ算出すること、
を特徴とする画像診断支援装置。

【請求項3】

前眼部の学習用画像と該学習用画像における状態についての情報とを格納した画像格納部と、
前記画像格納部に基づいて、機械学習により、前眼部の判定用画像の状態を判定するための特徴量を算出する学習部と、
該特徴量を用いて、前記前眼部の判定用画像の状態を判定する判定部と、を有し、
該判定部は、前記判定用画像の状態が、感染性の状態にある尤度および非感染性の状態にある尤度をそれぞれ算出すること、
を特徴とする画像診断支援装置。

【請求項4】

前記判定部は、前記判定用画像の状態が、正常の状態にある尤度を更に算出するものであること、
を特徴とする請求項２または３に記載の画像診断支援装置。

【請求項5】

前記判定部は、前記判定用画像の状態を感染性、非感染性、正常、のいずれかの状態であるかを判定するものであること、
を特徴とする請求項２乃至４のいずれか１に記載の画像診断支援装置。

【請求項6】

前記判定部は、感染性、非感染性、正常の状態のそれぞれについて算出された前記判定用画像の特徴量に基づいて、前記判定用画像を評価するための評価値を算出すること、
を特徴とする請求項２乃至５のいずれか１に記載の画像診断支援装置。

【請求項7】

前記判定部は、前記判定用画像の状態が感染性、非感染性、正常の状態にある尤度または前記判定用画像を評価するための評価値をそれぞれ算出し出力すること、
を特徴とする請求項２乃至５のいずれか１に記載の画像診断支援装置。

【請求項8】

前記判定部は、感染性、非感染性、正常の状態のそれぞれについて算出された前記判定用画像の特徴量をＳｏｆｔｍａｘ関数に適用することより前記評価値を算出すること、
を特徴とする請求項６に記載の画像診断支援装置。

【請求項9】

前記判定部は、予め記憶された複数の文章から前記評価値に応じて少なくとも１つを選択し、出力すること、
を特徴とする請求項６または８に記載の画像診断支援装置。

【請求項10】

前記判定部は、疾患名の推定を行うこと、
を特徴とする請求項２乃至９のいずれか１に記載の画像診断支援装置。

【請求項11】

前記学習部は、過去に前記判定部においてなされた判定についての確定された状態に基づいて前記機械学習を再実行すること、
を特徴とする請求項３乃至１０のいずれか１に記載の画像診断支援装置。

【請求項12】

前記判定用画像から、判定要部の位置を検出するとともに、該判定要部の位置を含むように画像を切り出す画像切出し部を有し、
前記判定部は、該画像切出し部が切り出した切出画像から前眼部の状態を判定すること、
を特徴とする請求項２乃至１１のいずれか１に記載の画像診断支援装置。

【請求項13】

被験者の前眼部を含む画像を撮影するカメラを有すること、
を特徴とする請求項２乃至１２のいずれか１に記載の画像診断支援装置。

【請求項14】

請求項２乃至１２のいずれか１に記載の画像診断支援装置と、
該画像診断支援装置と情報通信可能な端末装置とを含んで構成される画像診断支援システムであって、
前記端末装置は、
被験者の前眼部を含む画像を撮影するカメラと、
該カメラによって撮影された画像を前記画像診断支援装置に送信する送信部と、を有し、
前記画像診断支援装置は、前記端末装置から送信された画像を用いて前記被験者の前眼部の状態を判定するものであること、
を特徴とする画像診断支援システム。

【請求項15】

前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて機械学習を行う学習工程と、
該学習工程による学習結果を用いて、判定用画像の状態を判定する判定工程と、を有し、
該判定工程は、前記判定用画像の状態が、感染性の状態にある尤度および非感染性の状態にある尤度をそれぞれ算出すること、
を特徴とする画像診断支援方法。

【請求項16】

前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて機械学習を行う学習工程と、
該学習工程による学習結果を用いて、判定用画像の状態が感染性の状態にある尤度および非感染性の状態にある尤度をそれぞれ算出する尤度算出工程と、
該尤度に基づき算出された該判定用画像の評価値または該尤度を、感染性と非感染性とのそれぞれの状態について出力する出力工程と、を有すること
を特徴とする画像診断支援方法。

【請求項17】

請求項１６に記載の画像診断支援方法であって、
前記尤度算出工程は、前記判定用画像の状態が正常の状態にある尤度を更に算出する工程を含み、
前記出力工程は、該尤度に基づき算出された該判定用画像の評価値または該尤度を、正常の状態について更に出力する工程を含むこと、
を特徴とする画像診断支援方法。

【請求項18】

請求項１６に記載の画像診断支援方法であって、
前記尤度算出工程は、前記判定用画像に、複数の判定領域を設定し、該判定領域のそれぞれに対して感染性の状態にある判定領域尤度および非感染性の状態にある判定領域尤度をそれぞれ算出する工程を含み、
前記出力工程は、感染性の状態と非感染性の状態とでは、異なる該判定領域の該判定領域尤度に基づき算出された該判定用画像の評価値または異なる該判定領域の該判定領域尤度を出力する工程を含むこと、
を特徴とする画像診断支援方法。

【請求項19】

前記学習部は、前記前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて、前記機械学習により、前記前眼部の判定用画像の状態を判定するための正常の状態についての特徴量を更に算出すること、
を特徴とする請求項１に記載の画像診断支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影された画像における状態を機械学習により判定する画像診断支援装置、画像診断支援システム、および、画像診断支援方法に関するものである。

【背景技術】

【0002】

近年、撮影された画像に基づいて、眼の疾患を診断するソフトウェアが開発されている。例えば非特許文献１に記載の技術がそれである。かかるソフトウェアによれば、被験者の目を撮影した画像に基づいて、疾患の有無や疾患の種類についての診断支援が可能となる。

【0003】

しかしながら、かかる画像を用いた診断においては、ＯＣＴ（Optical Coherence Tomography；光干渉断層計）や眼底カメラといった特殊な機器を用いて撮影された画像が用いられており、被験者がそれらの装置が設置された場所まで出向くことが必要であった。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ｃｌｉｎｉｃａｌｌｙ ａｐｐｌｉｃａｂｌｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ｄｉａｇｎｏｓｉｓ ａｎｄ ｒｅｆｅｒｒａｌ ｉｎ ｒｅｎｔｉｎａｌ ｄｉｓｅａｓｅ， Ｊｅｆｆｒｙ Ｄｅ Ｆａｕｗ， ｅａ ａｌ． （Ｄｅｅｐ Ｍｉｎｄ）， Ｎａｔｕｒｅ Ｍｅｄｉｃｉｎｅ ２４， １３４２－１３５０，（２０１８）

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、眼部疾患には、感染性の疾患と非感染性の疾患とに大きく分類することができ、それらの分類に応じてその後の治療法が大きく異なるため、その分類についての判定は重要なものである。例えば、非感染性疾患に有効な治療薬を感染性疾患に適用すると、症状がかえって悪化する可能性があり、その逆もまた然りである。しかしながら、かかる判定は、経験豊富な専門医でないと困難であり、また、上述の非特許文献１に記載の技術など、既存の技術は、上記分類についての判定を行うものがなかった。

【0006】

例えば、感染性角膜浸潤と非感染性角膜浸潤はいずれも、透明な角膜に白い混濁病変を作るものである一方、感染性と非感染性で混濁の場所や形、個数などに特徴があると言われている。眼科医は混濁の所見から経験的に判断して治療法を決定しているが、判断に困難が生ずる場合もあった。

【0007】

一方、本発明者らは、感染性疾患と非感染性疾患とでは、眼球の角膜に見られる混濁等の出現パターンが異なるものであり、被験者の眼球の状態を感染性疾患における前記出現パターンと、非感染性疾患における出現パターンとのいずれに類似するかを評価することで、診断の支援が可能であることを見いだした。

【0008】

本発明は、かかる課題を解決するためのものであって、その目的とするところは、撮影された前眼部の画像の状態を機械学習により判定することのできる画像診断支援装置、画像診断支援システム、または、画像診断支援方法を提供することにある。

【課題を解決するための手段】

【0009】

かかる目的を達成するために、本願第１発明の要旨とするところは、前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて、機械学習により、前眼部の判定用画像の状態を判定するための感染性および非感染性のそれぞれの状態についての特徴量を算出する学習部を有する、画像診断支援装置である。

【0010】

また、第２発明の要旨とするところは、前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて機械学習により算出された特徴量を用いて、前眼部の判定用画像の状態を判定する判定部を有し、該判定部は、前記判定用画像の状態が、感染性の状態にある尤度および非感染性の状態にある尤度をそれぞれ算出する、画像診断支援装置である。

【0011】

また、第３発明の要旨とするところは、前眼部の学習用画像と該学習用画像における状態についての情報とを格納した画像格納部と、前記画像格納部に基づいて、機械学習により、前眼部の判定用画像の状態を判定するための特徴量を算出する学習部と、該特徴量を用いて、前記前眼部の判定用画像の状態を判定する判定部と、を有し、該判定部は、前記判定用画像の状態が、感染性の状態にある尤度および非感染性の状態にある尤度をそれぞれ算出する、画像診断支援装置である。

【発明の効果】

【0012】

前記第１発明によれば、前記学習部により、前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて、機械学習により、前眼部の判定用画像の状態を判定するための感染性および非感染性のそれぞれの状態についての特徴量が算出される。

【0013】

前記第２発明によれば、前記判定部により、機械学習により算出された特徴量を用いて、前眼部の判定用画像の状態が判定される。また、前記判定部は、前記判定用画像の状態が、感染性の状態にある尤度および非感染性の状態にある尤度をそれぞれ算出する。このようにすれば、判定結果に尤度が含まれることから、判定結果とされた状態であることの確信度合を得ることができる。

【0014】

前記第３発明によれば、前眼部の判定用画像に対し、前眼部の学習用画像と該学習用画像における状態についての情報とを予め格納した画像格納部に基づいて、機械学習により、その状態の判定を行うことができる。また、前記判定部は、前記判定用画像の状態が、感染性の状態にある尤度および非感染性の状態にある尤度をそれぞれ算出する。このようにすれば、判定結果に尤度が含まれることから、判定結果とされた状態であることの確信度合を得ることができる。

【0015】

好適には、第４発明は、前記第２または第３発明において、前記判定部は、前記判定用画像の状態が、正常の状態にある尤度を更に算出するものであること、を特徴とする。このようにすれば、判定結果に尤度が含まれることから、判定結果とされた状態であることの確信度合を得ることができる。

【0016】

好適には、第５発明は、前記第２乃至第４発明のいずれか１において、前記判定部は、前記判定用画像の状態を感染性疾患、非感染性疾患、正常、のいずれかの状態であるかを判定するものであること、を特徴とする。このようにすれば、撮影された画像における前眼部が、感染性疾患、非感染性疾患、正常のいずれかの状態であるかの判定が得られる。

【0017】

好適には、第６発明は、前記第２乃至第５発明のいずれか１において、前記判定部は、感染性、非感染性、正常の状態のそれぞれについて算出された前記判定用画像の特徴量に基づいて、前記判定用画像を評価するための評価値を算出すること、を特徴とする。このようにすれば、前記特徴量に基づいて、該特徴量とは異なる判定用画像を評価するための評価値を算出することができる。たとえば、複数の特徴量に基づいて一の評価値を算出することができ、評価を容易に行うことができる。

【0018】

好適には、第７発明は、前記第２乃至第５発明のいずれか１において、前記判定用画像の状態が感染性、非感染性、正常の状態にある尤度または前記判定用画像を評価するための評価値をそれぞれ算出し出力すること、を特徴とする。このようにすれば、前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて機械学習が行われるとともに、その機械学習の結果を用いて、判定用画像の状態が、感染性、非感染性、正常の状態にあるそれぞれの尤度または評価値の情報を得ることができる。最も高い尤度または評価値の状態の情報が得られることで、それに適した治療法の選択の為の情報が提供されるのみならず、尤度または評価値の低い状態の情報も得られ、尤度または評価値の低い状態に適用すると副作用等のため好ましくない治療薬を避ける等の判断に必要な情報が提供され有用である。

【0019】

好適には、第８発明は、前記第６発明において、前記判定部は、感染性、非感染性、正常の状態のそれぞれについて算出された前記判定用画像の特徴量をＳｏｆｔｍａｘ関数に適用することより前記評価値を算出すること、を特徴とする。このようにすれば、評価値を０から１の間の値として算出することができるので、評価値を用いた評価が容易になる。

【0020】

好適には、第９発明は、前記第６または第８発明において、前記判定部は、予め記憶された複数の文章から前記評価値に応じて少なくとも１つを選択し、出力すること、を特徴とする。このようにすれば、評価値に応じた文章が出力されるので、評価を直感的に得ることができる。

【0021】

好適には、第１０発明は、前記第２乃至第９発明のいずれか１において、前記判定部は、疾患名の推定を行うこと、を特徴とする。このようにすれば、前眼部の状態についての情報に加え、推定された疾患名についての情報が得られる。

【0022】

好適には、第１１発明は、前記第３乃至第１０発明のいずれか１において、前記学習部は、過去に前記判定部においてなされた判定についての確定された状態に基づいて前記機械学習を再実行すること、を特徴とする。このようにすれば、判定部が既に行った判定とその妥当性に基づいて機械学習を更新することができる。

【0023】

好適には、第１２発明は、前記第２乃至第１１発明のいずれか１において、前記判定用画像から、判定要部の位置を検出するとともに、該判定要部の位置を含むように画像を切り出す画像切出し部を有し、前記判定部は、該画像切出し部が切り出した切出画像から前眼部の状態を判定すること、を特徴とする。このようにすれば、画像を撮影する際に、前眼部を含むように撮影すればよく、取り扱うことのできる画像の自由度が増す。

【0024】

好適には、第１３発明は、前記第２乃至第１２発明のいずれか１において、被験者の前眼部を含む画像を撮影するカメラを有すること、を特徴とする。このようにすれば、画像診断支援装置に含まれるカメラによって前眼部を含む画像が撮影されるので、画像の撮影と該画像についての判定を同一の画像診断支援装置によって行うことができる。さらに好適には、前記カメラは、可視光下における可視画像を撮影するものであること、を特徴とする。このようにすれば、さまざまなデバイスに装備されている汎用のカメラ装置を利用することが可能である。

【0025】

また好適には、第１４発明は、前記第２乃至第１２発明のいずれか１の画像診断支援装置と、該画像診断支援装置と情報通信可能な端末装置とを含んで構成される画像診断支援システムであって、前記端末装置は、被験者の前眼部を含む画像を撮影するカメラと、該カメラによって撮影された画像を前記画像診断支援装置に送信する送信部と、を有し、前記画像診断支援装置は、前記端末装置から送信された画像を用いて前記被験者の前眼部の状態を判定するものであること、を特徴とする。このようにすれば、前記カメラを有する前記端末装置と前記画像診断支援装置とは、情報通信可能であればよいため、物理的に離れた位置にあることが可能となる。言い換えれば、離れた位置において撮影された画像の診断支援が可能となる。さらに好適には、前記カメラは、可視光下における可視画像を撮影するものであること、を特徴とする。このようにすれば、さまざまなデバイスに装備されている汎用のカメラ装置を利用することが可能である。

【0026】

また好適には、第１５発明は、前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて機械学習を行う学習工程と、該学習工程による学習結果を用いて、判定用画像の状態を判定する判定工程とを有し、該判定工程は、前記判定用画像の状態が、感染性の状態にある尤度および非感染性の状態にある尤度をそれぞれ算出する画像診断支援方法である。このようにすれば、前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて機械学習が行われるとともに、その機械学習の結果を用いて、判定用画像の状態の判定を行うことができる。また、判定結果に尤度が含まれることから、判定結果とされた状態であることの確信度合を得ることができる。

【0027】

また好適には、第１６発明は、前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて機械学習を行う学習工程と、該学習工程による学習結果を用いて、判定用画像の状態が感染性の状態にある尤度および非感染性の状態にある尤度をそれぞれ算出する尤度算出工程と、該尤度に基づき算出された該判定用画像の評価値または該尤度を、感染性と非感染性とのそれぞれの状態について出力する出力工程と、を有する画像診断支援方法である。このようにすれば、前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて機械学習が行われるとともに、その機械学習の結果を用いて、判定用画像の状態が、感染性および非感染性のいずれかの状態にある評価値または尤度の情報を得ることができる。感染性か非感染性かのどちらかにより治療方針が大きく異なるので、この情報を眼科医等が得て前眼部病態の診断支援情報とすることができる。最も高い尤度の状態の尤度情報が分かることで、それに適した治療法の選択の為の情報が提供されるのみならず、尤度の低い状態の情報も得られ、尤度の低い状態に適用すると副作用等のため好ましくない治療薬を避ける等の判断に必要な状況が提供され有用である。

【0028】

また好適には、第１７発明は、前記第１６発明に記載の画像診断支援方法であって、前記尤度算出工程は該判定用画像の状態が正常の状態にある尤度を算出する工程を含み、前記出力工程は、該尤度に基づき算出された該判定用画像の評価値または該尤度を、正常の状態について更に出力する工程を含むこと、を特徴とする画像診断支援方法である。このようにすれば、前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて機械学習が行われるとともに、その機械学習の結果を用いて、判定用画像の状態が、正常の状態にある尤度の情報を得ることができる。この情報を眼科医等が得て前眼部病態の診断支援情報とすることができる。

【0029】

また好適には、第１８発明は、前記第１６発明の画像診断支援方法であって、前記尤度算出工程は、前記判定用画像に複数の判定領域を設定し、該判定領域のそれぞれに対して感染性の状態にある判定領域尤度および非感染性の状態にある判定領域尤度をそれぞれ算出する工程を含み、前記出力工程は、感染性の状態と非感染性の状態とでは、異なる該判定領域の該判定領域尤度に基づき算出された該判定用画像の評価値または異なる該判定領域の該判定領域尤度を出力する工程とを含む、ことを特徴とする。このようにすれば、前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて機械学習が行われるとともに、その機械学習の結果を用いて、判定領域の選択に依存しない判定用画像の固有の情報として、前眼部の状態が感染性および非感染性の状態である評価値または尤度の情報が、眼科医に提供される。

【0030】

好適には、第１９発明は、前記第１発明において、前記学習部は、前記前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて、前記機械学習により、前記前眼部の判定用画像の状態を判定するための正常の状態についての特徴量を更に算出すること、を特徴とする。このようにすれば、前記学習部により、前記前眼部の学習用画像と該学習用画像における状態についての情報とに基づいて、前記機械学習により、前眼部の判定用画像の状態を判定するための正常の状態についての特徴量が更に算出される。

【図面の簡単な説明】

【0031】

【図1】本発明の画像診断支援システムの一実施例における構成例を説明する図である。

【図2】図１の画像診断支援システムを構成する端末装置が備える機能の要部を説明するブロック図である。

【図3】図１の画像診断支援システムを構成する画像診断支援装置が備える機能の要部を説明するブロック図である。

【図4】図３の判定部における作動の概要を説明する図である。

【図5】図１の画像診断支援システムの制御作動の一例を説明するフローチャートである。

【図6】本発明の画像診断支援装置の一実験結果を示す図である。

【図7】本発明の画像診断支援装置の別の実験結果を示す図である。

【図8】本発明の別の実施例における画像診断支援装置の構成例を示す図であって、図１に対応する図である。

【図9】図８の画像診断支援装置を構成する画像診断支援装置が備える機能の要部を説明するブロック図であって、図２および３に対応する図である。

【図10】図８の画像診断支援装置の制御作動の一例を説明するフローチャートであって、図５に対応する図である。

【図11】本発明の別の実施例における、学習部および判定部の作動の一例を説明するフローチャートである。

【図12】矩形領域（判定領域）とそれに対応する判定値の例を説明する図である。

【図13】算出された判定値の例を説明する図である。

【図14】出力の例を説明する図である。

【図15】出力の例を説明する図である。

【図16】出力の例を説明する図である。

【図17】出力の例を説明する図である。

【図18】出力の例を説明する図である。

【発明を実施するための形態】

【0032】

以下、本発明の一実施例について、図面を参照しつつ詳細に説明する。

【実施例1】

【0033】

図１は、本発明の一実施例である画像診断支援システム１０（以下、単に支援システム１０という。）の構成を例示する図である。この図１に示すように、本実施例の支援システム１０は、画像処理判定装置１２と端末装置１４とを含んで構成されている。画像処理判定装置１２は、中央演算処理装置であるＣＰＵ２０と、読出専用メモリであるＲＯＭ２２と、読出書込可能なメモリであるＲＡＭ２４と、記憶装置２６と、通信装置２８とを含んで構成されている。前記記憶装置２６は、好適には、情報を記憶可能なハードディスクドライブ等の公知の記憶装置（記憶媒体）である。小型メモリカードや光ディスク等の着脱式記憶媒体であってもよい。画像処理判定装置１２は、記憶装置２６などに予め記憶された所定のプログラムに基づいて、前記ＲＯＭ２２、ＲＡＭ２４などを用いて電子情報を処理・制御する、いわゆるコンピュータである。なお、画像処理判定装置１２には、必要に応じて、キーボードやマウスなどの操作者による入力を受け付ける入力装置や、ディスプレイやプリンタなどの出力装置が設けられてもよい。これらの入出力装置は、入出力インタフェースを介して画像処理判定装置１２に接続される。

【0034】

前記通信装置２８は、いわゆるネットワークインタフェースであり、有線無線を問わずさまざまな接続方法で他の装置と情報通信可能に接続する。本実施例においては、画像処理判定装置１２と端末装置１４とが、無線通信により情報通信可能に接続されている。

【0035】

前記記憶装置２６には、画像データベース３０が設けられている。この画像データベース３０が本発明の画像格納部に対応する。この画像データベース３０には、学習用画像として、前眼部を撮影した複数の画像が記憶されるとともに、それら複数の画像のそれぞれについて、前眼部の状態についての情報がラベルとして記憶されている。本実施例においては、前眼部の状態とは、感染性疾患、非感染性疾患、正常のいずれかである。なお、前眼部とは、眼球の水晶体より前側の部分をいうところ、本実施例においては、被験者の眼球や角膜であって、その被験者の外部から観察しうる部位に対応する。また、前記複数の画像は、予め症例として撮影された前眼部の画像であり、例えば可視光下において可視カメラによって得られる画像であって、医師が患者の前眼部を診察する際に外部から観察する際に見るものと同等の画像である。また、前眼部の状態についての情報は、例えば専門医がその前眼部の画像に対応する被験者を実際に診察して診断した結果として得られるものである。

【0036】

また、端末装置１４は、図１に示すように、ＣＰＵ４０、ＲＯＭ４２、ＲＡＭ４４、通信装置５０を備えており、それらの機能は、画像処理判定装置１２におけるＣＰＵ２０、ＲＯＭ２２、ＲＡＭ２４、通信装置２８と同様である。また、端末装置１４は、記憶装置４６を備えている。記憶装置４６は、情報を記憶可能な半導体メモリなど、公知の記憶媒体であってもよいし、画像処理判定装置１２の記憶装置２６と同様にハードディスクドライブ等であってもよい。端末装置１４は、ＲＯＭ４２や記憶装置４６などに予め記憶された所定のプログラムに基づいて、前記ＲＯＭ４２、ＲＡＭ４４などを用いて電子情報を処理・制御する、いわゆるコンピュータである。なお、端末装置１４において記憶すべき情報の容量がＲＡＭ４４でまかなえる場合には、記憶装置４６を設ける必要はない。

【0037】

また、端末装置１４は、撮像装置としてのカメラ４８、例えば液晶パネルなどの表示装置５２、操作者からの操作を受け付ける入力装置５４が設けられる。入力装置５４として、例えば表示装置５２に重ねて設置される透過型のタッチパネルが設けられてもよい。なお、画像処理判定装置１２には、必要に応じて、キーボードやマウスなどの操作者による入力を受け付ける入力装置や、ディスプレイやプリンタなどの出力装置が設けられてもよい。これらの入出力装置は、入出力インタフェースを介して画像処理判定装置１２に接続される。

【0038】

記憶装置４６は、端末装置１４の作動のためのプログラムを記憶するほか、カメラ４８によって撮影された画像を保存したり、あるいは、通信装置５０を介して他の装置から送信された情報を記憶する。

【0039】

カメラ４８は、可視光下において撮像を行う可視光カメラであり、撮影した画像を所定のフォーマットで電子データとして保存し、前述の記憶装置４６などに記憶させる。また、表示装置５２は、端末装置１４の作動についての表示、具体的には例えば、前記カメラ４８の操作や設定に関する表示や、撮影しようとする画像のプレビュー表示を行う。また、入力装置５４は、端末装置１４の操作を受け付けるものであって、例えばカメラ４８のシャッタースイッチとして機能したり、撮影した画像を画像処理判定装置１２へ送信するための操作を行ったりするのに用いられる。

【0040】

図２は、前記端末装置１４に備えられた制御機能の要部を説明する機能ブロック図である。図２に示すように、端末装置は、撮影部６２と通信制御部６４とを機能的に含んで構成されている。撮影部６２は前述の入力装置５４を介した操作者の操作により、カメラ４８を制御して被験者の前眼部を含む画像（以下、被験者画像Ｐという。）を撮影する。また、撮影された被験者画像Ｐを記憶装置４６に保存させる。

【0041】

通信制御部６４は、記憶装置４６に記憶された被験者画像Ｐを、通信装置５０を介して前記画像処理判定装置１２に送信する。

【0042】

図３は、前記画像処理判定装置１２に備えられた制御機能の要部を説明する機能ブロック図である。図３に示すように、画像処理判定装置１２は、画像読出部３２、画像切出部３４、学習部３５、判定部３６を機能的に備えている。

【0043】

このうち、画像読出部３２は、後述する判定部３６による判定の対象となる被験者画像Ｐを読み出す。この被験者画像Ｐは例えば、通信制御部３０によって受信され、記憶装置２６に記憶されたものである。

【0044】

画像切出部３４は、画像読出部３２によって読み出された被験者画像Ｐから、前眼部、すなわち、より具体的には角膜が、画像の大部分を占めるよう、所定の形状、例えば長方形状に切り出し、切出画像Ｐ’として保存する。例えば、切出画像Ｐ’において角膜が全て含まれるとともに、切出画像Ｐ’における角膜の端部から画像の端部までの画素数が所定の画素数以上となるように切り出しが行われてもよいし、角膜の端部の少なくとも一部が切出画像Ｐ’に含まれるように切り出しが行われてもよい。この画像切出部３４は、例えば、予め定められたアルゴリズムに基づき画像の切り出しを行ってもよいし、あるいは、操作者の操作により、より具体的には、被験者画像Ｐにおいて操作者によって指定された形状の領域を切り出すようにしてもよい。このようにすれば、被験者画像Ｐの撮影において、角膜を画像の中心にしたり、あるいは、画像中において角膜が所望の大きさとなるように、それぞれ位置あわせをして撮影をする必要がない。この切出画像Ｐ’が判定用画像に対応し、角膜を含む領域が判定要部に対応する。なお、被験者画像Ｐが後述する判定部３６による判定に適したものである場合には、画像切出部３４は切出画像Ｐ’を生成する必要がない。言い換えれば、切出画像Ｐ’は被験者画像Ｐそのものであってもよい。言い換えれば、かかる場合は、撮影された被験者画像Ｐが判定用画像に対応する。

【0045】

学習部３５は、後述する判定部３６において切出画像Ｐ’の判定に用いられる特徴量を機械学習により算出する。具体的には学習部３５は、次のようにして特徴量を算出する。まず学習部３５は、予め画像データベース３０における学習用画像ＰＬのそれぞれから、その特徴を表す特徴量を算出する。本実施例においては、画像データベース３０に記憶された学習用画像ＰＬのうち、各画像の状態を示す情報、すなわち、各画像が感染性、非感染性、正常のいずれであるかに応じて、それぞれの状態について、該当する学習用画像ＰＬから特徴量が算出される。これにより、感染性、非感染性、正常のそれぞれについての特徴量が算出される。算出された特徴量は、例えば記憶部２６など、装置１２内の記憶装置に記憶される。この特徴量の算出は、具体的には例えば、Ｊｏｓｅｐｈ Ｒｅｄｍｏｎらによって提案されたＹＯＬＯｖ３などのアルゴリズムにより行われる。この学習部３５の作動、すなわち、特徴量の算出が学習工程に対応する。

【0046】

判定部３６は、画像切出部３４によって切り出された切出画像Ｐ’における前眼部の画像が、感染性疾患、非感染性疾患、正常のいずれの状態であるかを判定する。判定部３６は、前記学習部３５によって算出された各状態についての特徴量と切出画像Ｐ’との類似度を考慮して判定を行う。より具体的には例えば、判定部３６は、Ｊｏｓｅｐｈ Ｒｅｄｍｏｎらによって提案されたＹＯＬＯｖ３などのアルゴリズムにより、判定を行う。すなわち、判定部３６は、切出画像Ｐ’において、ランダムに大きさや位置の異なる判定用の領域（判定領域）として矩形をした矩形領域を複数設定し、それら複数の矩形領域の一つ一つを記憶部２６などに記憶された各状態の特徴量と比較し、判定値（尤度）を設定する。（以下、判定領域は、矩形の領域の場合を記載するが、判定領域は矩形以外の任意の形状であってもよい）。この判定値が高いほど、各状態の教師画像と切出画像Ｐ’との類似度が高いことを意味する。すなわち、切出画像Ｐ’が確実に感染性と推定される場合には、算出される感染性の判定値は１となり、確実に感染性ではないと推定される場合には判定値は０となる。同様に、非感染性であることや正常であることについても判定値が設定される。

【0047】

前述のように、特徴量は、学習用画像ＰＬにおける前眼部の状態が、感染性疾患、非感染性疾患、正常のいずれの状態であるかに応じてそれぞれ算出されて記憶されている。そこで、判定部３６は、そして、もっとも高い判定値が付された際の対象であった特徴量について、対応する学習用画像の状態の感染性疾患、非感染性疾患、正常のいずれかの状態を、切出画像Ｐ’の状態として判定する。この判定部３６の作動、すなわち、各判定値の算出とそれらの比較判定が判定工程に対応する。

【0048】

図４は、判定部３６による判定作動の概要を説明する図である。図４における矩形Ｒ１およびＲ２は、それぞれ判定部３６が切出画像Ｐ’において複数設定した矩形領域のうちの２つを示している。ここで、矩形Ｒ１は学習部３５によって算出された特徴量のうち、非感染性疾患を示す状態の特徴量と類似しており、その判定値がＰｒ１であると判定部３６が判断する。一方、矩形Ｒ２は学習部３５によって算出された特徴量のうち、感染性疾患を示す状態の特徴量と類似しており、その判定値がＰｒ２であると判定部３６が判断する。かかる場合において、判定部３６は、それぞれの判定値Ｐｒ１とＰｒ２とを比較し、判定値がもっとも高い矩形を判定結果として採用する。すなわち、Ｐｒ１＜Ｐｒ２である場合には、矩形Ｒ２を判定結果として採用するので、切出画像Ｐ’の状態を、矩形Ｒ２が類似するとされた特徴量に対応する状態である感染性疾患であると判定する。

【0049】

図５は、本実施例の画像診断支援システム１０の制御作動の一例を説明するフローチャートであり、端末装置１４の作動と画像処理判定装置１２の作動とを対比させて記載したものである。なお、画像処理判定装置１２における学習部３５による特徴量の算出は、例えば、本フローチャートの実行に先立って実行されるものであるので、図示を省略する。言い換えれば、特徴量が得られている状態から本フローチャートが実行される。

【0050】

まず、端末装置１４の撮影部６２に対応するステップ（以下、「ステップ」の語を省略する）Ｓ１において、操作者の操作に基づき、被験者の前眼部の画像が被験者画像Ｐとして撮影される。このとき、操作者は被験者と同一であってもよいし、別であってもよい。なお、被験者画像Ｐは、前述のように前眼部のみを含む画像である必要がなく、前眼部を含むものであれば、例えば顔全体や、顔の一部とともに写る画像であってもよい。

【0051】

端末装置１４の通信制御部６４に対応するＳ２において、Ｓ１で撮影された被験者画像Ｐが、端末装置１４から画像処理判定装置１２に送信される。この送信は、例えば、いわゆる無線ＬＡＮや、携帯電話回線など、無線により情報通信可能な態様で行われる。

【0052】

画像処理判定装置１２の通信制御部６４に対応するＳ３においては、Ｓ２で送信された被験者画像Ｐが受信されて、記憶装置２６やＲＡＭ２４などに記憶される。

【0053】

続いて画像切出部３４に対応するＳ４においては、Ｓ３で受信された被験者画像Ｐから、前眼部に特化した画像として切出画像Ｐ’を切り出す。この切出画像Ｐ’は、被験者画像Ｐにおいて前眼部、すなわち、角膜を含み、可及的それ以外の部分が少なくなるように、例えば矩形のように予め定められた所定の形状となるように切り出されることで得られる。

【0054】

判定部３６に対応するＳ５においては、Ｓ４で切り出された切出画像Ｐ’における前眼部の状態が機械学習により判定される。すなわち、切出画像Ｐ’において複数の矩形領域Ｒが設定され、それら複数の矩形領域Ｒのそれぞれについて、各状態に対応する特徴量とそれぞれ比較され、類似度が判定値として算出される。そして、判定値のもっとも高かった特徴量に対応する状態が、切出画像Ｐ’の状態として判定される。

【0055】

通信制御部６４に対応するＳ６においては、Ｓ５における判定結果が端末装置１４に向けて送信される。

【0056】

端末装置１４の通信制御部６４に対応するＳ７においては、Ｓ６で送信された判定結果が受信される。また、Ｓ８においては、Ｓ７で受信された判定結果が端末装置１４の表示装置５２に表示される。このようにすれば、被験者画像Ｐを撮影した端末装置１４が有する表示装置５２において判定結果が表示されることから、被験者と同一場所にある端末装置１４が、画像処理判定装置１２がある場所から離れていても、被験者が判定結果を知ることができる。

【0057】

（実験例１）
本発明者らは、本発明の画像診断支援装置の有効性を検証するために、３２０点の前眼部画像を用意し、５分割交差検証により、評価実験を行った。すなわち、３２０点の前眼部画像を５つのグループに分ける。そして、そのうちの１つのグループを被験者画像Ｐ、残りの４つのグループを学習用画像ＰＬとして、また、上記５つのグループのそれぞれが被験者画像Ｐとなるように順次、上述の実施例に記載された通りに被験者画像Ｐの判定を行った。なお、３２０点の前眼部画像は、そのうち１００点が感染性疾患を示すものであり、９６点が非感染性疾患を示すものであり、１２４点が正常状態を示すものであった。

【0058】

図６は判定結果を示す図である。図６に示すように、感染性疾患を示す画像１００点に対し、本発明の画像診断支援装置、すなわち、本実施例の判定部３６は、８８点を感染性疾患であると判定し、その正解率は８８％であった。非感染性疾患を示す画像９６点に対し、本発明の画像診断支援装置は、８１点を非感染性疾患であると判定し、その正解率は８４．４％であった。また、正常状態を示す画像１２４点に対し、本発明の画像診断支援装置は、１１８点を正常状態であると判定し、その正解率は９５．２％であった。また、全体では、３２０点中２８７点について判定が正解であり、正解率は８９．７％であった。このように、本発明の画像診断支援装置は、高い確度で判定結果を出力することが可能であった。

【0059】

（実験例２）
続いて、１９５点の前眼部画像を用意し、前述の実験例１と同様に５分割交差検証による評価実験を行った。なお、本実験例における１９５点の前眼部画像は、そのうち９９点が感染性疾患を示すものであり、９６点が非感染性疾患を示すものであり、正常状態を示すものは含まれていないので、判定手段３６は、２つの分類間で判定（２分類）をするものであった。

【0060】

図７は、判定結果を示す図である。図７に示すように、感染性疾患を示す画像９９点に対し、本発明の画像診断支援装置は、８９点を感染性疾患であると判定し、その正解率は８９．９％であった。非感染性疾患を示す画像９６点に対し、本発明の画像診断支援装置は、８４点を非感染性疾患であると判定し、その正解率は８７．５％であった。また、全体では、１９６点中１７３点について判定が正解であり、正解率は８８．３％であった。

【0061】

一方、本願の発明者らは、医師の協力のもとで比較例を行った。比較例は、眼科医２７名（以下「医師ら」という。）が、１９６点の前眼部画像を示し、その画像が感染性疾患のものであるか、非感染性疾患のものであるかの２つの間で分類を行ったものである。本比較例における１９６点の前眼部画像は、そのうち１００点が感染性疾患を示すものであり、９６点が非感染性疾患を示すものであった。なお、医師ら２７名には、角膜の専門医も非専門医も含まれている。この比較例における医師らの正解率は、感染性疾患の前眼部画像について８６．７％であり、非感染性疾患の前眼部画像について７４．９％であった。また、１９６点の前眼部画像全体については、８０．９％であった。本発明の画像診断支援装置の判定結果も、医師らの判定結果と比較するに、少なくともその正解率においては、医師らに匹敵しうることがわかった。

【0062】

本実施例の画像診断支援システム１０によれば、学習部３５により、前眼部の学習用画像ＰＬと学習用画像ＰＬにおける状態についての情報とに基づいて、機械学習により、撮影された前眼部の画像の状態を判定するための特徴量が算出される。

【0063】

また、本実施例に画像診断支援システム１０によれば、機械学習により算出された特徴量を用いて、判定部３６により前眼部の判定用画像の状態が判定される。

【0064】

また、本実施例に画像診断支援システム１０によれば、前眼部の学習用画像ＰＬと前記学習用画像ＰＬにおける状態についての情報とを格納した画像データベース３０と、前記画像データベース３０に基づいて、機械学習により、被験者画像Ｐの状態を判定する判定部３６と、を有する画像処理判定装置１２を含むので、撮影された被験者の前眼部の画像である被験者画像Ｐに対し、機械学習により、その状態の判定を行うことができる。

【0065】

また本実施例の画像診断支援システム１０によれば、前記判定部３６により、前記撮影された被験者画像Ｐを感染性疾患、非感染性疾患、正常、のいずれかの状態であるかを判定が得られる。

【0066】

また本実施例の画像診断支援システム１０によれば、前記被験者画像Ｐから、角膜の位置を検出するとともに、前記角膜の位置を含むように画像を切り出す画像切出部３４を有し、前記判定部３６は、前記画像切出部３４が切り出した切出画像Ｐ’から前眼部の状態を判定するので、画像を撮影する際に、前眼部を含むように撮影すればよく、取り扱うことのできる画像の自由度が増す。

【0067】

また本実施例の画像診断支援システム１０によれば、前記画像処理判定装置１２と、その画像処理判定装置１２と情報通信可能な端末装置１４とを含んで構成され、前記端末装置１４は、被験者の前眼部を含む画像を撮影するカメラ４８と、前記カメラ４８によって撮影された被験者画像Ｐを前記画像診断支援装置１４に送信する通信装置５０を有すること、を有し、前記画像処理判定装置１２は、前記端末装置１４から送信された被験者画像Ｐを用いて前記被験者の前眼部の状態を判定するものであるので、前記カメラ４８を有する前記端末装置１４と前記画像処理判定装置１２とは、情報通信可能であればよく、物理的に離れた位置にあることが可能となる。言い換えれば、離れた位置において撮影された画像の診断支援が可能となる。

【0068】

また本実施例の画像診断支援システム１０によれば、前記カメラ４８は、可視光下における可視画像を撮影するものであるので、さまざまなデバイス、例えばスマートフォン、カメラ付き携帯電話、タブレットＰＣ、通信機能付デジタルカメラなどに装備されている汎用のカメラ装置を利用することが可能である。

【0069】

続いて、本発明の別の実施例について説明する。以下の説明において、実施例相互に共通する部分については、同一の符号を付して説明を省略する。

【実施例2】

【0070】

図８は、本発明の別の実施例である画像診断支援装置１１０の構成を説明する図である。前述の実施例においては、画像診断支援システム１０は、画像処理判定装置１２と端末装置１４によって構成されたが、本実施例においては、単独の画像診断支援装置１１０によって画像診断支援システム１０と同等の機能が実現される。

【0071】

画像診断支援装置１１０は、図８に示すように、ＣＰＵ１２０、ＲＯＭ１２２、ＲＡＭ１２４、記憶装置１２６、カメラ１４８、出力装置としての表示装置１５２、入力装置としてのタッチパネル１５４を含んで構成されている。好適には、画像診断支援装置１１０として、タブレットＰＣやスマートフォン、ＰＤＡなどの、カメラ１４８やタッチパネル１５４内蔵のディスプレイ１５２を備えたハードウェアが用いられることができ、かかる場合には可搬性において優位となる。

【0072】

ＣＰＵ１２０、ＲＯＭ１２２、ＲＡＭ１２４、記憶装置１２６、カメラ１４８、表示装置１５２、および、タッチパネル１５４は、それぞれ、前述の実施例におけるＣＰＵ２０，４０、ＲＯＭ２２，４２、ＲＡＭ２４，４４、記憶装置２６，４６、カメラ４８、表示装置５２、入力装置５４と同様の機能を有しているので、説明を省略する。

【0073】

図９は、図１の前記画像診断支援装置１１０に備えられた制御機能の要部を説明する機能ブロック図である。図９に示すように、画像診断支援装置１１０は、撮影部１６２、画像読出部１３２、画像切出部１３４、学習部１３５、判定部１３６、および、表示制御部１３８を機能的に備えている。

【0074】

撮影部１６２は、前述の実施例における撮影部６２に対応するものであって、前述の入力装置１５４を介した操作者の操作により、カメラ１４８を制御して被験者の前眼部を含む画像（以下、被験者画像Ｐという。）を撮影する。また、撮影された被験者画像Ｐを記憶装置１２６やＲＡＭ１２４などに保存させる。このとき、例えばカメラ１４８のプレビュー画面を表示装置１５２に表示させつつ撮影を行うことにより、撮影者の利便性が向上する。

【0075】

画像読出部１３２は、前述の実施例における画像読出部３２に対応するものであって、ＲＡＭ１２４や記憶装置１２６などに記憶された被験者画像Ｐを読み出す。この被験者画像Ｐは例えば、撮影部１６２によって撮影され、記憶装置１２６などに記憶されたものである。

【0076】

画像切出部１３４は、前述の実施例における画像切出部３４に対応するものであって、同様の作動を行う。すなわち、画像切出部１３４は、画像読出部１３２によって読み出された被験者画像Ｐから、前眼部、すなわち、より具体的には角膜が、画像の大部分を占めるよう、所定の形状、例えば長方形状に切り出し、切出画像Ｐ’として保存する。

【0077】

学習部１３５は、前述の実施例における学習部３５に対応するものであって、同様の作動を行う。すなわち、学習部１３５は、学習用データベース１３０に記憶された学習用画像ＰＬから、それら学習用画像ＰＬの状態ごとに、すなわち、感染性疾患、非感染性疾患、正常のそれぞれについて、特徴量を算出する。

【0078】

判定部１３６は、前述の実施例における判定部３６に対応するものであって、同様の作動を行う。すなわち、判定部１３６は、画像切出部１３４によって切り出された切出画像Ｐ’における前眼部の画像が、感染性疾患、非感染性疾患、正常のいずれの状態であるかを、学習部１３５によって算出された各状態についての特徴量に基づいて判定する。

【0079】

表示制御部１３８は、判定部１３６によってなされた判定の結果を、画像診断支援装置１１０の表示装置１５２に表示する。この表示は例えば、判定部１３６による判定結果に応じて、被験者画像Ｐは感染性疾患のものである可能性が高い旨、非感染性疾患のものである可能性が高い旨、正常状態のものである可能性が高い旨、それぞれ表示することができる。また、判定部１３６によって、被験者画像Ｐが感染性疾患あるいは非感染性疾患のものであると判定される場合には、被験者に対して眼科受診を促すメッセージを表示することもできる。

【0080】

図１０は、本実施例の画像診断支援装置１１０の制御作動の一例を説明するフローチャートであり、前述の実施例の図５に対応する図である。

【0081】

まず、撮影部１６２に対応するＳ１１においては、操作者の操作に基づき、被験者の前眼部の画像が被験者画像Ｐとして撮影され、Ｓ１２においてＲＡＭ１２４または記憶装置１２６などに保存される。このとき、操作者は被験者と同一であってもよいし、別であってもよい。なお、被験者画像Ｐは、前述のように前眼部のみを含む画像である必要がなく、前眼部を含むものであれば、例えば顔全体や、顔の一部とともに写る画像であってもよい。

【0082】

続いて画像切出部１３４に対応するＳ１３においては、Ｓ１２で保存された被験者画像Ｐから、前眼部に特化した画像として切出画像Ｐ’が切り出される。この切出画像Ｐ’は、被験者画像Ｐにおいて前眼部、すなわち、角膜を含み、可及的それ以外の部分が少なくなるように、例えば矩形のように予め定められた所定の形状となるように切り出されることで得られる。

【0083】

判定部１３６に対応するＳ１４においては、Ｓ１３で切り出された切出画像Ｐ’における前眼部の状態が機械学習により判定される。すなわち、切出画像Ｐ’において複数の矩形領域Ｒが設定され、それら複数の矩形領域Ｒのそれぞれについて、画像データベース１３０に記憶されている複数の学習用画像ＰＬのそれぞれと比較され、類似度が判定値として算出される。そして、判定値のもっとも高い学習用画像ＰＬの状態が、切出画像Ｐ’の状態として判定される。

【0084】

Ｓ１５においては、Ｓ１４における被験者画像Ｐの判定結果についての情報が、表示装置１５２に表示される。

【0085】

本実施例の画像診断支援装置１１０によれば、前述の実施例と同様の効果が得られるとともに、画像診断支援装置１１０には被験者の前眼部を含む被験者画像Ｐを撮影するカメラ１４８を有し、そのカメラ１４８により被験者画像Ｐが撮影されるので、ネットワークなどを要せず、画像の撮影とその画像についての判定を同一の画像診断支援装置１１０によって行うことができる。特に画像診断支援装置１１０をタブレットＰＣやスマートフォンなどによって実装する場合には、可搬性に優れた画像診断支援装置を提供しうる。

【実施例3】

【0086】

本実施例は、学習部３５および判定部３６の別の作動にかかるものである。前述の実施例１、２においては、判定部３６は、切出画像Ｐ’に対して複数の矩形領域Ｒｉを設定し、それら複数の矩形領域Ｒｉに対し、各状態についての判定値を算出し、最も高い判定値に対応する状態を切出画像Ｐ’の状態と判定した。本実施例の学習部３５および判定部３６においては、前述の実施例と同様に矩形領域Ｒｉを複数設定し、それら複数の矩形領域Ｒｉに対し、各状態についての判定値を算出し、算出された判定値に基づいて、評価値、もしくは評価値に基づいた文言を出力するものである。以下、フローチャートに基づいて、本実施例における学習部３５および判定部３６の作動を説明する。

【0087】

図１１は、本実施例における学習部３５および判定部３６の作動の一例を説明するフローチャートである。このフローチャートは、たとえば、前述の実施例における判定部の作動、具体的には図５のＳ５、あるいは、図１０のＳ１４に代えて実行される。

【0088】

Ｓ２１においては、切出画像Ｐ’から一つの矩形領域Ｒｉが設定される。Ｓ２２においては、Ｓ２１で設定された矩形領域Ｒｉに対して、各状態、すなわち、感染性、非感染性、正常の３つの状態について、教師画像との類似度である判定値（尤度）が算出される。これらＳ２１、Ｓ２２における作動は、前述の実施例におけるものと同様であるので説明を省略する。

【0089】

図１２は、切出画像Ｐ’に対する矩形領域Ｒｉの設定の一例を説明する図である。図１２においては、３つの矩形領域であるＲ１，Ｒ２，Ｒ３が設定されている。なお、設定される矩形領域の数が３に限定されるものではない。図１２における矩形領域Ｒ１，Ｒ２，Ｒ３のそれぞれに対して、学習部３５により、判定値の算出が行われる。判定値は、本実施例における３つの状態、すなわち、感染性、非感染性、および正常のそれぞれについて算出される。このように、感染性、非感染性のそれぞれについて判定値（尤度）と対応する判定領域が出力または表示されることで、感染性か非感染性かで大きく治療方針の異なる前眼部の病態について、感染性か非感染性か（もしくは正常か）を診断する為の情報が、眼科医に提供される。

【0090】

図１３は、矩形領域Ｒ１，Ｒ２，Ｒ３に対して、３つの状態、すなわち、感染性、非感染性、および正常のそれぞれについて算出された判定値の例を説明する図である。算出された判定値は、たとえば図１３に示すような表形式にて、図示しない記憶装置に記憶される。

【0091】

図１１に戻って、Ｓ２３においては、矩形領域Ｒｉの設定が十分な数だけ行われたか否かが判断される。ここで前記十分な数は、予め判定部の精度を適切なものとするように所定数が設定されており、この判断は、設定した矩形領域Ｒｉの数が前記所定数に達したか否かに基づいて行われる。本ステップの判断が肯定された場合には、十分な数の矩形領域Ｒｉに対して判定値の算出が完了したとして、続いてＳ２４が実行される。本ステップの判断が否定された場合には、引き続き矩形領域Ｒｉの設定と設定した矩形領域Ｒｉに対する判定値の算出を行うため、Ｓ２１、Ｓ２２の実行が反復される。

【0092】

Ｓ２４においては、各状態に対応する判定値が決定される。Ｓ２１乃至Ｓ２３を反復した結果、複数の矩形領域Ｒｉのそれぞれに対して、各状態の判定値が算出されている。各状態のそれぞれについて、算出された判定値のうち最も高い値を、その状態の判定値として決定する。このようにして、切出画像Ｐ’に対して、感染性、非感染性、正常の各判定値が決定される。

【0093】

図１３を用いて、Ｓ２４における作動の概要を説明する。Ｓ２１乃至Ｓ２３を反復した結果、複数の矩形領域Ｒｉ（ｉ＝１，２，…）のそれぞれに対して、感染性、非感染性、正常の各状態のそれぞれの判定値が算出されている。そこで各状態のそれぞれにつき、すなわち、表の感染性、非感染性、正常の列のそれぞれについて、最大値を探し、その最大値を判定値として決定する。

【0094】

図１１に戻って、Ｓ２５においては、評価値の算出が行われる。評価値の算出は、Ｓ２４で決定された各状態の判定値を用いて行われる。具体的にはたとえば、評価値はＳｏｆｔｍａｘ関数を用いて算出される。したがって、評価値は最小を０、最大を１として得られる。なお、Ｓｏｆｔｍａｘ関数は、一般には、次式（１）で表される。

【数1】

ここで、ｅは自然対数の底、ｘｊは決定された判定値のそれぞれであり、ｙｊが算出される評価値である。また、本実施例における各状態である、感染性、非感染性、正常が、それぞれｊ＝１，２，３のように対応する。なお、本実施例においては、各判定値が負の値を取ることがないため、次式（２）を用いてもよい。式（２）により算出した場合、算出した評価値は、確率値（％）といえる。

【数2】

【0095】

このようにすると、感染性、非感染性、正常のすべての状態に対する感染性、非感染性、正常のそれぞれの状態の評価を各評価値として算出しうる。

【0096】

なお、評価値は、評価の方法に応じて複数のものが適宜用いられる。前述の式（１）および（２）においては、感染性、非感染性、正常のすべての状態に対する感染性、非感染性、正常のそれぞれの状態の評価を行う評価値であったが、たとえば、式（１）に代えて次式（３）を、式（２）に代えて次式（４）をそれぞれ用いることで、感染性および非感染性の２つの状態に対する感染性、非感染性のそれぞれの状態の評価を行う評価値として算出することができる。

【数3】

【数4】

あるいは、式（１）に代えて次式（５）を、式（２）に代えて次式（６）をそれぞれ用いることで、感染性、非感染性、正常のすべての状態に対する感染性および非感染性の２つの状態の評価、言い換えれば正常でない評価を行う評価値として算出することができる。

【数5】

【数6】

【0097】

図１１に戻って、Ｓ２６においては、Ｓ２４で決定された判定値や、Ｓ２５で算出された評価値に基づいて、表示内容の生成が行われる。表示内容はたとえば、各状態について評価値を算出した場合にそれらのうちで最も高い評価値に対応する状態を表示することができる。図１４（ａ）はこの表示内容を表示装置に表示した例である。また、最も高い評価値とそれに対応する状態とを表示内容としてもよい。図１４（ｂ）はこの表示内容を表示した例である。あるいは、上述の評価値を各状態ごとに表示してもよい。図１５は評価値を上記式（１）にて算出した場合の表示内容を表示した例であり、図１６は、評価値を上記式（２）にて算出した場合の表示内容を表示した例である。また、上述の式（５）や式（６）を用いて評価値が算出される場合、当該評価値の定義などと評価値の値が表示内容とされてもよい。図１７はこの表示内容を表示した例である。

【0098】

図１２～図１６に示されるように、感染性、非感染性のそれぞれについて判定値（尤度）や評価値が出力され表示されることで、感染性か非感染性かで大きく治療方針の異なる前眼部の病態について、感染性か非感染性か（もしくは正常か）を診断する為の情報が、眼科医に提供される。

【0099】

さらに、図１２～図１６では、複数の異なる矩形領域の中から、感染性、非感染性、正常の各状態のそれぞれについての最大値を各状態の判定値として決定して、表示している。すなわち、感染性、非感染性、正常の各状態の判定値は、それぞれ異なった判定領域（矩形領域）から算出されたものでもよい。これにより、矩形領域の選択に依存しない判定用画像の固有の情報として、前眼部の状態として、感染性、非感染性、正常の状態のそれぞれの尤度または評価値の情報が出力され、眼科医に提供される。例えば、図１２，図１３，図１５の例では、感染性である判定値が０．８と高いことが分かるのみでなく、非感染性と正常の判定値がそれぞれ０．３、０．２と低いことが同時に分かるので、眼科医は感染性の疾患に効果のある薬剤を選べるだけでなく、非感染性の場合に適用すると副作用等の観点から好ましくない薬剤を避ける、という判断に本出力情報を利用することが可能となる。

【0100】

また、Ｓ２６においては、予め用意された複数の文章から選択される１または複数の文章が表示内容とされてもよい。前記複数の文章は、たとえば、予め作成されるとともに、図示しない記憶手段に記憶させられている。また、前記評価値を用いた条件が予め設定され、たとえば前述の、感染性、非感染性、正常のすべての状態に対する感染性および非感染性の２つの状態の評価を行う評価値が予め定められた閾値を上回った場合に、「異常の可能性が高く、受信を勧めます」のような文章が選択され、表示内容とされることができる。この閾値が前記条件に対応する。また、閾値はたとえば、予め本発明の画像診断支援システム１０による評価値の値と、実際の医師により異常と診断される症例との関係を評価することで、より具体的には、医師が異常と診断する症例が含まれるように、それら症例に対応する評価値よりも小さい値が閾値とされる。図１８はこの表示内容を表示した例である。また、感染性、非感染性、正常のすべての状態に対する感染性および非感染性の２つの状態の評価を行う評価値が予め定められた正常であると判定しうる閾値を下回った場合には、「問題ありません」のような文章が選択されてもよい。その他、評価値に応じて、適切な文章が選択される。また、文章の選択は、一つの評価値がその評価値に対して設定される閾値に基づいて行われるのみならず、二つ以上の評価値によって定義される複数次元の空間もしくは平面において設定される領域ごとに、対応する文章が選択されてもよいし、評価値と判定値とによって定義される複数次元の空間もしくは平面において設定される領域ごとに、対応する文章が選択されてもよい。

【0101】

前述の実施例の画像診断支援装置１０、１１０によれば、判定部３６（Ｓ２４、Ｓ２５）は、感染性、非感染性、正常の状態のそれぞれについて算出された前記判定用画像Ｐ’の特徴量に基づいて、前記判定用画像Ｐ’を評価するための評価値を算出するので、特徴量とは異なる判定用画像Ｐ’を評価するための評価値を算出することができる。特に、複数である３つの特徴量に基づいて一の評価値を算出するので、評価を容易に行うことができる。

【0102】

前述の実施例の画像診断支援装置１０、１１０によれば、判定部３６（Ｓ２４、Ｓ２５）は、前記状態のそれぞれについて算出された前記判定用画像の特徴量をＳｏｆｔｍａｘ関数に適用することより評価値を算出するので、評価値が０から１の間の値として算出され、評価値を用いた評価が容易になる。

【0103】

前述の実施例の画像診断支援装置１０、１１０によれば、判定部３６（Ｓ２６）は、予め記憶された複数の文章から評価値に応じて少なくとも１つを選択し、出力するので、評価値に応じた文章が出力されるので、評価を直感的に得ることができる。

【0104】

以上、本発明の実施例を図面に基づいて詳細に説明したが、本発明はその他の態様においても適用される。

【0105】

例えば、前述の実施例における判定部３６、１３６は、機械学習の方式としてＹＯＬＯｖ３を用いたが、これに限定されるものではなく、切出画像Ｐ’と学習用画像との尤度を算出しうるものであれば他の方式を用いても良い。

【0106】

また、前述の実施例における画像データベース３０、１３０においては、学習用画像ＰＬのそれぞれについて、ラベルとしてその画像の状態についての情報、すなわち、感染性であるか、非感染性であるか、正常であるかについての情報が記憶されていたが、これに限定されるものではない。例えば、学習用画像ＰＬが感染性や、非感染性である場合において、感染性であるか、非感染性であるか、についての情報に加え、より具体的な疾病名を記憶させておくこともできる。この場合、判定部３６、１３６は、前述の実施例における判定、すなわち、判定に用いる切出画像Ｐ’が感染性であるか、非感染性であるか、正常であるかの判定に代えて、あるいは加えて、蓋然性の高い疾病名を判定するようにしてもよい。具体的には例えば、判定部３６、１３６は、切出画像Ｐ’との類似度が最も高いとされた学習用画像ＰＬについて、画像データベース３０、１３０に格納された疾病名についての情報を読み出し、その切出画像Ｐ’がその疾病である蓋然性が高いと判定してもよい。このようにすれば、判定部３６、１３６は、切出画像Ｐ’に基づいて、感染性であるか、非感染性であるか、正常であるかの判定に代えて、あるいは加えて、蓋然性の高い疾病名を判定することができる。

【0107】

ここで、感染性疾患には例えば、細菌性角膜炎・真菌性角膜炎・ヘルペスウイルス角膜炎・アメーバ角膜炎が含まれ、非感染性疾患には例えば、周辺部角膜潰瘍・カタル性角膜潰瘍・フリクテン性角膜炎などが含まれる。

【0108】

なお、細菌性角膜炎については、それを引き起こす原因として黄色ブドウ球菌や緑膿菌など、多くの菌種がある。また、真菌性角膜炎についても、その原因として、カンジダやアスペルギウスなど複数の菌種がある。そこで、学習用画像ＰＬが細菌性角膜炎や真菌性角膜炎である場合には、それを引き起こしている原因菌についての情報を合わせて画像データベース３０、１３０に記憶しておくこともできる。そして、判定部３６、１３６が切出画像Ｐ’との類似度が最も高いとされた学習用画像ＰＬが細菌性角膜炎や真菌性角膜炎であると判断した場合については、判定部３６、１３６はそれに加えて、該類似度が最も高いとされた学習用画像ＰＬの原因菌についての情報を読み出し、その切出画像Ｐ’がその原因菌による蓋然性が高いと判定してもよい。この判定は、細菌性角膜炎や真菌性角膜炎およびそれらの原因となる原因菌に限定されるものではなく、原因菌と症例における画像上の特徴とに相関が見られる場合に有効である。

【0109】

また、前述の実施例においては、判定部３６、１３６は、切出画像Ｐ’が感染性であるか、非感染性であるか、正常であるかの判定を行ったが、これに加えて、治療方法の提案を行う機能を有していてもよい。具体的には例えば、判定部３６、１３６は、切出画像Ｐ’が感染性であるとの判定を行う場合には、該切出画像Ｐ’に対応する患部は、微生物による角膜の炎症を生じている可能性が高い状態であり、前記微生物としては、細菌（いわゆるバクテリア）・真菌（いわゆるカビ）・ウイルス・アメーバが代表的である。そのため、前記切出画像Ｐ’が感染性であるとの判定を行う場合には、微生物を退治する抗生物質、抗真菌薬などを投与する、との治療方法の提案（示唆）するように出力させることができる。一方、切出画像Ｐ’が非感染性であるとの判定を行う場合には、該切出画像Ｐ’に対応する患部は、患者自身の免疫機構が暴発した角膜の炎症（例えば花粉症などのアレルギー反応）を生じている可能性が高い状態であり、特に害はない物質を標的として勝手に免疫機構が暴発している状態である。例えばリウマチもこの一種であり、角膜に『周辺部角膜潰瘍』を来たすことが知られている。そのため、前記切出画像Ｐ’が非感染性であるとの判定を行う場合には、免疫を抑える薬（免疫抑制剤）を投与する、との治療方法の提案（示唆）するように出力させることができる。

【0110】

また、前述の実施例においては、判定部３６、１３６は、前眼部画像における炎症である角膜浸潤が、感染性であるか、非感染性であるか、正常であるかの判定を行ったが、かかる疾患に限定されるものではない。すなわち、外見上類似した疾患であるが、その原因や状態によってその外見に相違が生ずる疾患であれば、本発明の画像診断支援装置により同様に判定が可能である。具体的には、学習用画像ＰＬおよび被験者画像Ｐが、角膜浸潤に代えて、あるいは加えて、炎症の痕の病変である角膜瘢痕や、異常な物質が沈着する角膜変性などの症例である場合においても判定をすることが可能である。

【0111】

なお、前述の実施例においては、判定部３６、１３６は、切出画像Ｐ’が感染性であるか、非感染性であるか、正常であるかの判定を行ったが、これに限定されない。例えば、切出画像Ｐ’が感染性角膜浸潤であるか、非感染性角膜浸潤であるか、角膜浸潤以外の症例であるか、正常であるかの判定を行うこともできる。かかる場合においては、予め画像データベース３０、１３０において、感染性角膜浸潤、非感染性角膜浸潤、角膜浸潤以外の症例、正常のそれぞれの学習用画像ＰＬがその状態を示す情報（ラベル）とともに機械学習に必要な数だけ記憶させられて、機械学習が行われる。

【0112】

また、前述の実施例においては、画像切出部３４、１３４は、角膜がその大部分を占めるように切出画像Ｐ’を生成したが、かかる態様に限定されるものではない。具体的には例えば、角膜全体および一部の結膜や眼瞼を含むようにしてもよい。また、好適には被験者画像Ｐは可視光下で撮影されたカラー画像である。このようにすれば、特殊な撮影機器や撮影環境を要することなく撮影された画像から切り出された切出画像Ｐ’を判定に用いることができる。

【0113】

また、前述の実施例においては、判定部３６、１３６は、切出画像Ｐ’について、最も高い判定値に対応する状態を切出画像Ｐ’における判定結果としたが、かかる態様に限定されない。例えば、最も高い判定値とそれに対応する状態とを合わせて判定結果するようにしてもよい。このようにすれば、判定結果の確信度について得ることができる。あるいは、感染性、非感染性、正常の状態のうちの少なくとも１つについて、対応する最も高い判定値を判定結果に含むようにしてもよい。このようにすれば、複数の状態間で判断が分かれる可能性があることを把握できる。

【0114】

また、前述の実施例においては、判定部３６、１３６における特徴量の算出は、予め画像データベース３０、１３０に記憶された学習用画像ＰＬについて行われたが、かかる態様に限定されない。例えば、切出画像Ｐ’について一旦判定部３６、１３６によって判定が行われた後、診察や検査によりその状態が確定された場合には、判定の対象となった切出画像Ｐ’とその切出画像Ｐ’の状態についての確定された情報とを新たに画像データベース３０、１３０に加え、特徴量の算出を再度実行してもよい。このようにすれば、画像データベース３０、１３０を適宜更新することができる。あるいは、判定の対象となった切出画像Ｐ’についての判定部３６、１３６における判断の適否についての情報、を画像データベース３０、１３０に与え、特徴量の算出を再度実行してもよい。このようにすれば、いわゆる強化学習による学習を行うことができる。

【0115】

また、前述の実施例においては、画像処理判定装置１２、画像診断支援装置１１０は、予め画像データベース３０、１３０における学習用画像ＰＬのそれぞれから、その特徴を表す特徴量を算出する学習工程に対応する学習部３５、１３５と、切出画像Ｐ’と学習済み特徴量との類似度を判定値（尤度）として算出することを含む判定工程に対応する判定部３６、１３６とを有するものとされたが、このような態様に限定されない。すなわち、前記学習済み特徴量が予め算出されて与えられる場合においては、その与えられた学習済み特徴量を記憶装置２６、１２６などに記憶しておくとともに、その記憶された学習済み特徴量を用いて前記判定工程に対応する作動のみを行えばよいので、学習部３５、１３５を有さず、判定部３６、１３６を有する構成であってもよい。かかる場合における学習済み特徴量の算出は、それら画像処理判定装置１２、画像診断支援装置１１０とは別個の装置としての学習装置において行われてもよい。かかる場合において、当該学習装置は、判定部３６、１３６を備える画像処理判定装置１２、画像診断支援装置１１０との間で前記学習済み特徴量を含む情報を送受信可能に接続される。かかる接続は、ＬＡＮやインターネットなどの情報通信回線によってもよいし、バス接続のような接続態様であってもよい。また、有線であるか無線であるかを問わない。このようにすれば、前記学習工程に対応する機能と判定工程に対応する機能とを異なるハードウェア（コンピュータ）により分散して処理することができる。

【0116】

また、前述の実施例においては、前記学習用画像ＰＬおよびその画像の状態についての情報を記憶する画像データベース３０、１３０は画像処理判定装置１２、画像診断支援装置１１０内に設けられたが、かかる態様に限定されない。すなわち、画像データベース３０、１３０を備える記憶装置２６、１２６が画像処理判定装置１２、画像診断支援装置１１０とは別個の記憶装置として設けられてもよい。かかる場合において、別個の記憶装置は、学習部３５、１３５を備える画像処理判定装置１２、画像診断支援装置１１０、もしくは、前記別個の装置としての学習装置との間で、前記画像データベース３０、１３０に記憶された情報などを送受信可能に接続される。かかる接続は、ＬＡＮやインターネットなどの情報通信回線によってもよいし、バス接続のような接続態様であってもよい。また、有線であるか無線であるかを問わない。

【0117】

言い換えれば、前記別個の記憶装置が設けられる場合においては、画像処理判定装置１２、画像診断支援装置１１０は、画像データベース３０、１３０を有する必要がなく、その構成を簡易なものとすることができる。また、別個の装置としての学習装置が設けられる場合においては、学習部３５、１３５を有する必要がないので、その負荷に見合った演算装置（ＣＰＵなど）を搭載すればよく、必ずしも高機能なものを搭載する必要がなくなる。

【0118】

また、前述の実施例においては、１枚の被験者画像Ｐが撮影される毎に判定部３６、１３６による判定が行われていたが、このような態様に限定されない。すなわち、複数枚の被験者画像Ｐを読み出した後で、それら複数枚の被験者画像Ｐに対して判定をまとめて行ってもよい。

【0119】

また、前述の実施例１においては、画像処理判定装置１２と端末装置１４とは無線ＬＡＮにより接続されたが、かかる方式に限定されず、他の無線方式によって接続されてもよいし、有線ＬＡＮケーブルやシリアルケーブルなどにより有線接続されてもよい。また、端末装置１４から画像処理判定装置１２に直接被験者画像Ｐの送受信が行われたが、かかる態様に限られず、例えば端末装置１４が同一のネットワークにある第３の装置に被験者画像Ｐをアップロードし、画像処理判定装置１２がそれを第３の装置からダウンロードするなど、間接的な送受信であってもよい。

【0120】

また、前述の実施例においては、評価値の算出を行うにあたってＳｏｆｔｍａｘ関数が用いられたが、これに限定されるものではない。すなわち、評価値の値を０乃至１の間で算出する、言い換えれば、評価値の値を正規化する関数が用いられてもよいし、０乃至１以外に限定されず予め定められた所定の範囲の値を取るような評価値を算出する関数が用いられうる。また、０乃至１の間で算出された値を任意の範囲の値、たとえば０乃至１００のような範囲に換算して評価値として用いることも可能である。

【符号の説明】

【0121】

１０：画像診断支援システム
１２：画像処理判定装置
１４：端末装置
３０：画像データベース（画像格納部）
３４，１３４：画像切出部
３６，１３６：判定部
４８，１４８：カメラ
５０：通信装置
１１０：画像診断支援装置
Ｐ：被験者画像
ＰＬ：学習用画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】