(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023163300
(43)【公開日】2023-11-10
(54)【発明の名称】眼科装置、眼科画像処理方法、プログラム、及び記録媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20231102BHJP
G06T 7/11 20170101ALI20231102BHJP
A61B 3/10 20060101ALI20231102BHJP
【FI】
G06T7/00 614
G06T7/00 350B
G06T7/11
A61B3/10
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022074096
(22)【出願日】2022-04-28
(71)【出願人】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100124626
【弁理士】
【氏名又は名称】榎並 智和
(72)【発明者】
【氏名】小野 佑介
【テーマコード(参考)】
4C316
5L096
【Fターム(参考)】
4C316AA02
4C316AB16
4C316FB22
4C316FB26
4C316FZ01
5L096AA06
5L096BA06
5L096BA13
5L096CA04
5L096DA02
5L096EA07
5L096FA19
5L096FA32
5L096FA69
5L096GA55
5L096HA11
5L096KA04
5L096MA01
(57)【要約】
【課題】マイボグラフィーの検査結果を迅速に提供する。
【解決手段】例示的な実施形態に係る眼科装置1000は、画像取得部1010と、画像処理部1020と、評価処理部1030とを含んでいる。画像取得部1010は、被検者の眼瞼の動画像を取得する。画像処理部1020は、画像取得部1010により取得された被検者の眼瞼の動画像の少なくとも1つのフレームからマイボーム腺領域を特定する。評価処理部1030は、画像処理部1020により特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
被検者の眼瞼の動画像を取得する動画像取得部と、
前記動画像の少なくとも1つのフレームからマイボーム腺領域を特定する画像処理部と、
前記マイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する評価処理部と
を含む、眼科装置。
【請求項2】
前記画像処理部は、前記動画像の複数のフレームを逐次に処理することによって前記複数のフレームのそれぞれからマイボーム腺領域を特定する、
請求項1の眼科装置。
【請求項3】
前記画像処理部は、前記動画像のフレームからマイボーム腺領域を特定する処理の少なくとも一部を、眼瞼画像を含む訓練データを用いた機械学習により構築された学習済みモデルを用いて実行する、
請求項1の眼科装置。
【請求項4】
前記画像処理部は、前記フレームから解析対象領域を決定する処理を前記学習済みモデルを用いて実行し、前記解析対象領域に基づいてマイボーム腺領域を特定する、
請求項3の眼科装置。
【請求項5】
前記画像処理部は、前記フレームの少なくとも一部を複数の画像領域に分割するためのセグメンテーションを前記学習済みモデルを用いて実行し、前記複数の画像領域に基づいてマイボーム腺領域を特定する、
請求項3の眼科装置。
【請求項6】
前記画像処理部は、前記フレームの一部からマイボーム腺領域を特定する処理を前記学習済みモデルを用いて実行する、
請求項3の眼科装置。
【請求項7】
前記画像処理部は、前記フレームの全体からマイボーム腺領域を特定する処理を前記学習済みモデルを用いて実行する、
請求項3の眼科装置。
【請求項8】
眼科画像を処理する方法であって、
被検者の眼瞼の動画像の少なくとも1つのフレームからマイボーム腺領域を特定し、
前記マイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する、
方法。
【請求項9】
眼科画像の処理をコンピュータに実行させるプログラムであって、
前記コンピュータに、
被検者の眼瞼の動画像の少なくとも1つのフレームからマイボーム腺領域を特定する処理と、
前記マイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する処理と
を実行させるプログラム。
【請求項10】
眼科画像の処理をコンピュータに実行させるプログラムが記録されたコンピュータ可読な非一時的記録媒体であって、
前記プログラムは、前記コンピュータに、
被検者の眼瞼の動画像の少なくとも1つのフレームからマイボーム腺領域を特定する処理と、
前記マイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する処理と
を実行させる、記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、眼科装置、眼科画像処理方法、プログラム、及び記録媒体に関する。
【背景技術】
【0002】
ドライアイは、涙液及び角結膜上皮の慢性疾患である。ドライアイには様々な原因があるが、代表的なものとして、マイボーム腺機能不全による油層の異常、シェーグレン症候群による水層の異常、スティーブンス・ジョンソン症候群や眼類天疱瘡によるムチン層の異常などがある。
【0003】
ドライアイの診断においてはマイボーム腺の検査が行われる。マイボーム腺は、眼瞼に存在する皮脂腺であり、上眼瞼には約50本、下眼瞼には約25本存在する。マイボーム腺から供給される皮脂(油性物質)により涙液の表面に油層が形成され、涙液の過剰な蒸発が防止される。マイボーム腺の検査としてマイボグラフィーが知られている(例えば、特許文献1及び2を参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009-285447号公報
【特許文献2】特開2012-217621号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来のマイボグラフィーを用いた検査は、眼瞼の裏面を撮影する工程、得られた静止画像を保存する工程、及び、この静止画像を解析し評価する工程を含んでおり、検査結果を迅速に提供することは難しかった。
【0006】
本開示の1つの目的は、マイボグラフィーの検査結果の提供を迅速化することにある。
【課題を解決するための手段】
【0007】
例示的な実施形態に係る眼科装置は、動画像取得部と、画像処理部と、評価処理部とを含んでいる。動画像取得部は、被検者の眼瞼の動画像を取得するように構成されている。画像処理部は、動画像取得部により取得された被検者の眼瞼の動画像の少なくとも1つのフレームからマイボーム腺領域を特定するように構成されている。評価処理部は、画像処理部により特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成するように構成されている。
【0008】
例示的な実施形態に係る眼科装置において、画像処理部は、動画像取得部により取得された被検者の眼瞼の動画像の複数のフレームを逐次に処理することによって当該複数のフレームのそれぞれからマイボーム腺領域を特定するように構成されていてもよい。
【0009】
例示的な実施形態に係る眼科装置において、画像処理部は、動画像取得部により取得された被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の少なくとも一部を、眼瞼画像を含む訓練データを用いた機械学習により構築された学習済みモデルを用いて実行するように構成されていてもよい。
【0010】
例示的な実施形態に係る眼科装置において、画像処理部は、動画像取得部により取得された被検者の眼瞼のフレームから解析対象領域を決定する処理を学習済みモデルを用いて実行し、更に、決定された解析対象領域に基づいてマイボーム腺領域を特定するように構成されていてもよい。
【0011】
例示的な実施形態に係る眼科装置において、画像処理部は、動画像取得部により取得された被検者の眼瞼のフレームの少なくとも一部を複数の画像領域に分割するためのセグメンテーションを学習済みモデルを用いて実行し、更に、得られた複数の画像領域に基づいてマイボーム腺領域を特定するように構成されていてもよい。
【0012】
例示的な実施形態に係る眼科装置において、画像処理部は、動画像取得部により取得された被検者の眼瞼のフレームの一部からマイボーム腺領域を特定する処理を学習済みモデルを用いて実行するように構成されていてもよい。
【0013】
例示的な実施形態に係る眼科装置において、画像処理部は、動画像取得部により取得された被検者の眼瞼のフレームの全体からマイボーム腺領域を特定する処理を学習済みモデルを用いて実行するように構成されていてもよい。
【0014】
例示的な実施形態に係る眼科画像処理方法は、被検者の眼瞼の動画像の少なくとも1つのフレームからマイボーム腺領域を特定する工程と、特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する工程とを含んでいる。
【0015】
例示的な実施形態に係るプログラムは、眼科画像の処理をコンピュータに実行させるプログラムであって、当該コンピュータに、被検者の眼瞼の動画像の少なくとも1つのフレームからマイボーム腺領域を特定する処理と、特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する処理とを実行させるように構成されている。
【0016】
例示的な実施形態に係る記録媒体は、眼科画像の処理をコンピュータに実行させるプログラムが記録されたコンピュータ可読な非一時的記録媒体であって、当該プログラムは、コンピュータに、被検者の眼瞼の動画像の少なくとも1つのフレームからマイボーム腺領域を特定する処理と、前記マイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する処理とを実行させるように構成されている。
【発明の効果】
【0017】
例示的な実施形態によれば、マイボグラフィーの検査結果の提供の迅速化を図ることが可能になる。
【図面の簡単な説明】
【0018】
【
図1】実施形態の例示的な態様に係る眼科装置の構成を表すブロック図である。
【
図2】実施形態の例示的な態様に係る眼科装置が実行する処理を表すフローチャートである。
【
図3】実施形態の例示的な態様に係る眼科装置が実行する処理を表すフローチャートである。
【
図4】第1の実施例に係る眼科装置の構成を表すブロック図である。
【
図5】第1の実施例に係る眼科装置の構成を説明するためのブロック図である。
【
図6】第1の実施例に係る眼科装置が実行する処理を表すフローチャートである。
【
図7】第2の実施例に係る眼科装置の構成を表すブロック図である。
【
図8】第2の実施例に係る眼科装置が実行する処理を表すフローチャートである。
【
図9】第3の実施例に係る眼科装置の構成を表すブロック図である。
【
図10】第3の実施例に係る眼科装置が実行する処理を表すフローチャートである。
【
図11】第4の実施例に係る眼科装置の構成を表すブロック図である。
【
図12】第4の実施例に係る眼科装置が実行する処理を表すフローチャートである。
【
図13】第5の実施例に係る眼科装置の構成を表すブロック図である。
【
図14】第5の実施例に係る眼科装置が実行する処理を表すフローチャートである。
【
図15】第6の実施例に係る眼科装置の構成を表すブロック図である。
【
図16】第6の実施例に係る眼科装置が実行する処理を表すフローチャートである。
【発明を実施するための形態】
【0019】
本開示に係る例示的な実施形態について、図面を参照しながら詳細に説明する。
【0020】
本開示に係る実施形態に任意の公知技術を組み合わせることができる。例えば、本開示で引用する文献に記載された任意の事項など、本開示に関連する技術分野に係る任意の公知技術を、本開示に係る実施形態に組み合わせることができる。
【0021】
また、本開示に関連する技術について本願の出願人により開示された任意の事項(特許出願、論文などにおいて開示された事項)を、本開示に係る実施形態に組み合わせることができる。
【0022】
また、本開示に係る実施形態の様々な例示的態様のうちのいずれか2つ以上を組み合わせることができる。
【0023】
なお、2つ以上の技術事項の組み合わせは、それらの技術事項の全体的な組み合わせでもよいし、部分的な組み合わせでもよい。
【0024】
本開示に係る実施形態において説明される要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。
【0025】
回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。
【0026】
プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。
【0027】
本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本開示に係る実施形態に記載されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
【0028】
本開示に係る実施形態において説明される要素の機能の少なくとも一部は、機械学習等の人工知能技術を利用して構成されてもよい。
【0029】
本開示では、眼科装置の実施形態、眼科画像処理方法の実施形態、プログラムの実施形態、及び記録媒体の実施形態について説明するが、実施形態はこれらのカテゴリに限定されるものではない。
【0030】
<眼科装置>
眼科装置の実施形態について、幾つかの例示的な態様を説明する。1つの例示的な態様に係る眼科装置の構成を
図1に示す。本態様の眼科装置1000は、少なくともマイボグラフィーに使用可能である。
【0031】
眼科装置1000は、画像取得部1010と、画像処理部1020と、評価処理部1030とを含んでいる。眼科装置1000は、任意的な要素として、出力部1040と、操作部1050とを含んでいてよい。
【0032】
図示は省略するが、眼科装置1000は、制御プロセッサ、演算プロセッサ、処理プロセッサなどのプロセッサを含んでいてよく、また、RAM、ROM、ハードディスクドライブ、ソリッドステートドライブなどの記憶装置を含んでいてよい。更に、眼科装置1000は、これら以外の要素を含んでいてもよい。
【0033】
<画像取得部1010>
画像取得部1010は、被検者の画像を取得するように構成されている。本態様の画像取得部1010により取得される画像は、眼科において取得される画像(眼科画像)であり、特に、マイボーム腺の検査に使用される画像である。より具体的には、本態様の眼科画像は、マイボーム腺の像が描出されている動画像の1つ以上のフレームであり、特に、眼瞼の裏面(眼球に接している面)を動画撮影して得られた1つ以上のフレームである。
【0034】
画像取得部1010は、撮影装置及び受付装置の一方又は双方を含んでいてよい。
【0035】
撮影装置は、被検者を撮影して画像を生成する機能を有する。撮影装置は、眼科撮影装置であってよい。1つの例示的な態様に係る撮影装置は、赤外光を出力可能な照明系と、動画撮影が可能なデジタルカメラを含む撮影系とを含む。1つの例示的な態様に係る撮影装置は、従来のマイボグラフィーに使用される眼科撮影装置であってよい。画像取得部1010が撮影装置を含む場合、撮影装置による動画撮影に対してほぼリアルタイムで画像処理部1020による処理及び評価処理部1030による処理を実行することが可能である。
【0036】
受付装置は、外部装置又は外部デバイスから被検者の画像を受け付ける機能を有する。1つの例示的な態様に係る受付装置は、撮影装置から画像を受信する受信デバイスを含む。この受付装置は、例えば、撮影装置による動画撮影と並行して、この動画撮影により時系列で収集される複数のフレームの少なくとも1つを受け付ける。この例示的な態様では、撮影装置によるフレームの取得から受付装置による当該フレームの受信までのレイテンシーは非常に低く、撮影装置による動画撮影に対してほぼリアルタイムで画像処理部1020による処理及び評価処理部1030による処理を実行することが可能である。
【0037】
他の例示的な態様に係る受付装置は、撮影装置により生成された画像を他の機器(中継機器)を介して受け付ける。この中継機器は、任意の機器を含んでいてよく、例えば、通信機器、記憶装置、記録媒体、医療機器、及びコンピュータのいずれかを含んでいてよい。この例示的な態様においても、撮影装置によるフレームの取得から受付装置による当該フレームの受信までのレイテンシーが非常に低くなるように構成することによって、撮影装置による動画撮影に対してほぼリアルタイムで画像処理部1020による処理及び評価処理部1030による処理を実行することが可能である。
【0038】
上記したように、幾つかの例示的な態様は、撮影と処理との間のレイテンシーが非常に低くなるように構成されるが、本開示に係る実施形態はこのような構成に限定されない。例えば、幾つかの例示的な態様では、被検者の撮影(動画撮影又は静止画撮影)に対する処理のリアルタイム性よりも、機械学習の利用による処理品質(処理の正確度、精度など)の向上を重視した構成を採用することができる。そのような例示的な態様として、撮影装置により取得された画像を所定の機器(例えば、医療情報管理システム、医療情報アーカイビングシステムなど)に格納し、所望の画像を当該機器から読み出して眼科装置1000で処理することができる。
【0039】
<画像処理部1020>
画像処理部1020は、画像取得部1010により取得された画像からマイボーム腺領域を特定するように構成されている。画像処理部1020の機能は、画像処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
【0040】
1つの例示的な態様において、画像取得部1010は被検者の眼瞼(例えば、眼瞼の裏面)の動画像を取得し、画像処理部1020はこの動画像の少なくとも1つのフレームからマイボーム腺領域を特定する。
【0041】
被検者の眼瞼画像中のマイボーム腺領域を特定するために画像処理部1020が実行する処理については、その幾つかの例を後述する。この処理は、例えば、人工知能技術を少なくとも部分的に利用したものであってもよいし、人工知能技術を利用しないものであってもよい。人工知能技術を利用する実施形態については、その幾つかの例示的な態様を後述する。
【0042】
人工知能技術を利用しない実施形態については、1つの例示的な態様に係る画像処理部1020は、特開2012-217621号公報(特許文献2)に開示された処理を実行するように構成されている。
【0043】
本態様の画像処理部1020は、眼瞼画像に対して解析対象領域を指定する処理と、この解析対象領域の各画素の輝度値に基づいて眼瞼画像からマイボーム腺領域を抽出する処理とを実行するように構成されている。解析対象領域は、眼瞼の所定領域であってマイボーム腺領域の抽出が行われる範囲を示す領域であり、眼瞼画像に描出されている眼瞼の像の一部又は全体であってよい。
【0044】
解析対象領域の指定は、眼瞼画像の画素値に基づき実行される。例えば、本態様の画像処理部1020は、眼瞼画像の各画素の輝度値に基づいて、眼瞼裏面に相当する画像領域の外縁を特定し、この外縁に囲まれた領域を解析対象領域として指定することができる。或いは、本態様の画像処理部1020は、眼瞼画像に描出されている眼瞼の像の全体から比較的輝度が比較的高い部分を特定することにより、マイボーム腺が含まれる可能性の高い領域を解析対象領域として指定する。
【0045】
更に、本態様の画像処理部1020は、指定された解析対象領域の各画素の輝度に基づいてマイボーム腺領域を抽出することができる。マイボーム腺領域を抽出する処理は、任意の画像処理技術を含んでいてよく、例えば、セグメンテーション(領域分割)、フィルタリング、リージョングローイングなどを含んでいてよい。
【0046】
マイボーム腺領域抽出の前処理として、コントラスト強調、鮮鋭化などを実行してもよい。
【0047】
本態様の画像処理部1020は、人工知能技術を利用することなく、このような処理によって眼瞼画像からマイボーム腺領域を特定することができる。
【0048】
1つの例示的な態様において、画像取得部1010は被検者の眼瞼(例えば、眼瞼の裏面)の動画像を取得し、画像処理部1020はこの動画像の複数のフレームを逐次に処理することによってこれら複数のフレームのそれぞれからマイボーム腺領域を特定するように構成される。
【0049】
複数のフレーム(複数の眼瞼画像)からマイボーム腺領域を特定することにより、マイボーム腺の描出状態が良好な眼瞼画像を選択的に採用することが可能となり、マイボーム腺の検査の品質(正確度、精度など)の向上を図ることが可能になる。また、瞬目などに起因する再撮影の可能性を低減することが可能になる。
【0050】
<評価処理部1030>
評価処理部1030は、画像処理部1020により眼瞼画像から特定されたマイボーム腺領域に基づいてドライアイに関する評価情報を生成する。評価情報は、ドライアイの診断のために提供され、より広義には、マイボーム腺の状態に基づく任意の疾患の診断のために提供される。評価処理部1030の機能は、評価処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
【0051】
評価処理部1030は、予め決定された1つ以上の種類の評価情報を生成する。2つ以上の種類の評価情報を生成する場合、評価処理部1030は、常に2つ以上の種類の評価情報を生成してもよいし、2つ以上の種類の評価情報を選択的に生成してもよいし、常に1つ以上の種類の評価情報を生成するとともに他の1つ以上の種類の評価情報を任意的及び/又は選択的に生成してもよい。評価情報の種類について、幾つかの例を以下に説明する。
【0052】
幾つかの例示的な態様において、評価処理部1030は、マイボーム腺の消失面積(脱落面積)を定量化した評価情報を生成する。このような評価情報としてマイボスコアやマイボスケールがある。これらの評価情報はドライアイの診断に用いられている。
【0053】
これらの評価情報は、マイボグラフィーによって眼瞼裏面の画像を取得し、この画像からマイボーム腺の消失面積の割合を算出し、算出された割合に応じたグレードを割り当てることによって生成される。評価法ごとに、グレードの個数や、各グレードに対応した消失面積の割合の範囲に違いがあるが、評価処理部1030によって実行される処理は基本的に同様である。
【0054】
これらの評価法については、例えば、次の文献を参照されたい:Reiko Arita、“Meibography:A Japanese Perspective”、Investigative Ophthalmology & Visual Science、November 2018、Volume 59、Issue 14。
【0055】
なお、これらの評価情報を生成するための従来の手法は、本実施形態のように動画像のフレームを処理するものではなく、眼瞼の裏面を撮影する工程、得られた静止画像を保存する工程、及び、この静止画像を解析し評価する工程を含んでいるため、検査結果を迅速に提供できないという問題があった。
【0056】
マイボーム腺の異常には、消失に加えて、短縮、屈曲、拡張などがある。マイボーム腺の異常に関する知見としては、例えば、加齢によりマイボーム腺の消失面積が大きくなること、閉塞性マイボーム腺機能不全の患者のマイボーム腺は正常眼と比べて有意に消失、短縮、屈曲、拡張すること、コンタクトレンズ装用眼のマイボーム腺は正常眼と比べて有意に短縮していること、通年性アレルギー性結膜炎の患者のマイボーム腺は正常眼と比べて有意に屈曲が多いこと、抗緑内障点眼薬を長期に投与している患者のマイボーム腺は有意に消失が多いこと、眼部放射線治療後や線維柱帯切除術(緑内障手術)後の患者のマイボーム腺には萎縮や消失が生じること、顆粒状角膜ジストロフィ(II型)の患者のマイボーム腺は消失が多いこと、霰粒腫の患者のマイボーム腺はマイボグラフィーによって低反射に描出されること、脂腺癌の患者のマイボーム腺はマイボグラフィーによって高反射に描出されること、などがある。
【0057】
このような知見に基づいて評価情報や評価方法を設計することができる。そのような評価情報及び評価方法の幾つかの例が特開2012-217621号公報(特許文献2)に開示されているが、それら以外の評価情報及び評価方法についても同様又は類似の方法によって設計できることは当業者であれば理解できるであろう。
【0058】
<出力部1040>
出力部1040は、情報の出力を行うように構成されている。例えば、出力部1040は、画像取得部1010により取得された画像の出力、画像処理部1020により生成された情報の出力、評価処理部1030により生成された情報の出力などを実行することができる。
【0059】
出力部1040は、例えば、図示しないプロセッサ(制御ユニット)の制御の下に動作する。このプロセッサは、例えば、図示しない制御プログラムによって出力部1040の制御を実行するように構成されている。
【0060】
出力部1040は、例えば、通信デバイス、表示デバイス、音声出力デバイス、印刷デバイス、及びメディアドライブのうちの少なくとも1つを含んでいる。
【0061】
通信デバイスは、モデム、ルーター、通信回路などを含んでいてよい。通信デバイスは、出力対象の情報を他の装置又は他のシステムに向けて送信する。通信デバイスは、所定のコンピュータの通信機能によって実現されてもよい。このコンピュータは、例えば、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、IoTデバイス(Internet of Things デバイス)などであってよい。
【0062】
表示デバイスは、液晶ディスプレイ、表示回路などを含んでいてよい。表示デバイスは、出力対象の情報に基づく視覚情報を表示する。
【0063】
音声出力デバイスは、アンプ、スピーカー、音声出力回路などを含んでいてよい。音声出力デバイスは、出力対象の情報に基づく聴覚情報を発する。
【0064】
印刷デバイスは、プリンター、印刷回路などを含んでいてよい。印刷デバイスは、出力対象の情報に基づく視覚情報を紙葉類上に形成する。
【0065】
メディアドライブは、コンピュータ可読な非一時的記録媒体にデータを書き込むデータライター、データ書き込み回路などを含んでいてよい。メディアドライブは、出力対象の情報を記録媒体に記録する。この記録媒体は任意の形態であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
【0066】
<操作部1050>
操作部1050は、眼科装置1000の操作及び/又は情報の入力を行うための構成を有している。操作部1050は、例えば、キーボード、ポインティングデバイス、コンソールなど、操作デバイスや入力デバイスを含んでいる。
【0067】
<動作>
眼科装置1000の動作について説明する。以下に説明する異なる動作例を少なくとも部分的に組み合わせることが可能である。
【0068】
眼科装置1000の動作の1つの例を
図2に示す。本動作例では、まず、眼科装置1000は、ユーザーからの指示を受けたことに対応し、画像取得部1010による被検者の眼瞼(裏面)の動画撮影を開始する(S1)。この動画撮影は、例えば、赤外光を照明に用いた赤外動画撮影である。眼科装置1000は、例えば、この動画撮影によって生成される動画像(観察画像などと呼ばれる)を、出力部1040の表示デバイスにリアルタイムで表示する。
【0069】
次に、眼科装置1000は、画像処理部1020により、ステップS1で開始された動画撮影によって生成される動画像の1つ以上のフレームのそれぞれからマイボーム腺領域を特定する(S2)。以下、ステップS2で実行される処理について、幾つかの例を説明する。
【0070】
ステップS2の第1の例を説明する。ユーザーは、表示デバイスに表示されている観察画像を参照しつつ、所望のタイミングで操作部1050を用いて指示を入力する。眼科装置1000は、観察画像として逐次に取得されているフレーム群のうちから当該指示の入力タイミングに対応する1つ以上のフレームを選択する。画像処理部1020は、選択された各フレームを処理することによって、選択された1つ以上のフレームのそれぞれからマイボーム腺領域を特定する。
【0071】
本例によれば、ユーザーは、表示されている観察画像を参照することにより、被検者の眼瞼裏面が好適に描出されているタイミングで上記指示を入力することができる。これにより、評価に適したマイボーム腺領域が得られる可能性を高めることが可能になる。
【0072】
ステップS2の第2の例を説明する。本例の眼科装置1000(画像処理部1020又は図示しないプロセッサ)は、ステップS1で開始された動画撮影において逐次に生成されるフレームを解析し、所定の画像品質条件を満足するフレームが得られたことを検出する。画像処理部1020は、このフレームを含む1つ以上のフレームを処理することによって、当該1つ以上のフレームのそれぞれからマイボーム腺領域を特定する。
【0073】
本例によれば、所定の画像品質条件を満足するフレームからマイボーム腺領域を自動で特定することができるので、評価に適したマイボーム腺領域が得られる可能性を高めることが可能になる。
【0074】
なお、画像品質条件は、マイボーム腺領域の特定を好適に実行できるように予め設定され、例えば任意の画像パラメータ(例えば、輝度、コントラスト、信号対雑音比、鮮鋭度など)に基づき設定されてよい。
【0075】
ステップS2の第3の例を説明する。本例の眼科装置1000は、ステップS1で開始された動画撮影で生成されている観察画像を画像処理部1020でリアルタイム処理することによりマイボーム腺領域のリアルタイム特定及びリアルタイム表示を行う。ユーザーは、表示デバイスに表示されているマイボーム腺領域のリアルタイム像を参照しつつ、所望のタイミングで操作部1050を用いて指示を入力する。眼科装置1000は、当該指示の入力タイミングに対応する1つ以上のマイボーム腺領域を選択して評価処理部1030に送る。
【0076】
本例によれば、ユーザーは、表示されているマイボーム腺領域のリアルタイム像を参照することにより、マイボーム腺が好適に描出されているタイミングで上記指示を入力することができる。これにより、評価に適したマイボーム腺領域が評価処理部1030に提供される可能性を高めることが可能になる。
【0077】
ステップS2の第4の例を説明する。本例の眼科装置1000(画像処理部1020又は図示しないプロセッサ)は、ステップS1で開始された動画撮影で生成されている観察画像をリアルタイム処理することによりマイボーム腺領域のリアルタイム特定を行うとともに、逐次に特定されるマイボーム腺領域を解析して所定の画像品質条件を満足するマイボーム腺領域が得られたことを検出する。更に、眼科装置1000は、このようにして検出された所定の画像品質条件を満足するマイボーム腺領域を含む1つ以上のマイボーム腺領域を選択して評価処理部1030に送る。
【0078】
本例によれば、所定の画像品質条件を満足するマイボーム腺領域を自動で特定することができるので、評価に適したマイボーム腺領域が得られる可能性を高めることが可能になる。
【0079】
続いて、眼科装置1000は、評価処理部1030により、ステップS2で特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する(S3)。
【0080】
最後に、眼科装置1000は、出力部1040により、ステップS3で生成された評価情報を出力する(S4)。このとき、ステップS1で開始された動画撮影によって取得された1つ以上のフレーム、ステップS2で特定されたマイボーム腺領域に関する情報、これらの以外の所定の情報などを、ステップS3で生成された評価情報とともに出力してもよい。以上で、
図2の動作例は終了となる(エンド)。
【0081】
図2の動作例を実行可能な本実施形態によれば、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定して評価情報を生成することができる。これに対し、従来のマイボグラフィーを用いた検査では、眼瞼の裏面を撮影する工程、得られた静止画像を保存する工程、及び、この静止画像を解析し評価する工程を経る必要があった。したがって、
図2の動作例を実行可能な本実施形態によれば、従来の技術と比較して、マイボーム腺に関する検査結果をより迅速に提供することが可能である。
【0082】
眼科装置1000の動作の他の例を
図3に示す。本動作例では、まず、眼科装置1000は、ユーザーからの指示を受けたことに対応し、被検者の眼瞼(裏面)の動画撮影を開始する(S11)。
【0083】
この動画撮影は、例えば、赤外光を照明に用いた赤外動画撮影である。眼科装置1000は、例えば、この動画撮影によって生成される動画像(観察画像などと呼ばれる)を、出力部1040の表示デバイスにリアルタイムで表示する。
【0084】
幾つかの例示的な態様では、ユーザーは、表示デバイスに表示されている観察画像を参照しつつ、所望のタイミングで、マイボーム腺の評価を開始するための指示(評価開始指示)を操作部1050を用いて入力する。
【0085】
他の幾つかの例示的な態様では、眼科装置1000(画像処理部1020又は図示しないプロセッサ)は、ステップS1で開始された動画撮影で生成されている観察画像をリアルタイム処理することにより、観察画像のフレームが所定の画像品質条件を満足しているかリアルタイムで判定を行う。この画像品質条件は、
図2の動作例における画像品質条件と同様であってもよいし、相違していてもよい。眼科装置1000(画像処理部1020又は図示しないプロセッサ)は、画像品質条件を満足するフレームが取得されたことに対応して所定の信号(評価開始指示)を発する。
【0086】
評価開始指示は上記した2つの例に限定されない。眼科装置1000は、いずれかの評価開始指示を受領すると(S12)、次のステップS13の処理を開始する。
【0087】
評価開始指示を受領した眼科装置1000は、画像処理部1020により、ステップS11で開始された動画撮影によって当該評価開始指示の後に生成された1つのフレームからマイボーム腺領域を特定する(S13)。この処理は、
図2の動作例のステップS2で実行される処理と同様であってもよいし、相違していてもよい。
【0088】
次に、眼科装置1000は、評価処理部1030により、ステップS13において当該フレームから特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する(S14)。
【0089】
ステップS13の処理及びステップS14の処理は、ステップS15において「評価終了」と判断されるまで繰り返し実行される(S15:No)。より具体的には、ステップS15で「No」と判断されると、眼科装置1000は、新たに生成された1つのフレームからマイボーム腺領域を特定し(S13:画像処理部1020)、この新たなフレームから特定された新たなマイボーム腺領域に基づいて評価情報を生成する(S14:評価処理部1030)。
【0090】
このようなマイボーム腺領域特定及び評価情報生成を繰り返し実行することにより、観察画像の取得(動画撮影)と並行して逐次に且つリアルタイムで評価情報が生成されていく。このようにして生成された複数の評価情報は、図示しない記憶装置に保存される。
【0091】
幾つかの例示的な態様のステップS15において、ユーザーが所定の指示(評価終了指示)を操作部1050を用いて入力し、この評価終了指示を受けた眼科装置1000が「評価終了」と判断する(S15:Yes)。
【0092】
他の幾つかの例示的な態様のステップS15において、眼科装置1000は、ステップS11で開始された動画撮影で取得された1つ以上のフレーム、ステップS13で特定された1つ以上のマイボーム腺領域、及び、ステップS14で生成された1つ以上の評価情報のうちの少なくとも1つに基づいて、評価終了か否かの判断を行うことができる。この判断の幾つかの例を以下に説明する。
【0093】
眼科装置1000は、所定の画像品質条件を満足するフレームが取得されたことに対応して「評価終了」と判断するように構成されてよい。また、眼科装置1000は、所定の画像品質条件を満足するフレームが所定個数連続して取得されたことに対応して「評価終了」と判断するように構成されてよい。また、眼科装置1000は、所定の画像品質条件を満足するマイボーム腺領域が取得されたことに対応して「評価終了」と判断するように構成されてよい。また、眼科装置1000は、所定の画像品質条件を満足するマイボーム腺領域が所定個数のフレームにわたり連続して取得されたことに対応して「評価終了」と判断するように構成されてよい。また、眼科装置1000は、所定個数のフレームにわたり連続して安定した評価情報が取得されたことに対応して「評価終了」と判断するように構成されてよい。その具体例として、眼科装置1000は、所定個数のフレームにわたり連続して同じグレードのマイボスコアが得られたことに対応して「評価終了」と判断するように構成されてよい。また、ここに説明した複数の例のうちのいずれか2つ以上を少なくとも部分的に組み合わせることによって評価終了の判断を行ってもよい。また、ここに説明した複数の例のうちのいずれか1つ以上と他の処理とを少なくとも部分的に組み合わせることによって評価終了の判断を行ってもよい。また、ここに説明した複数の例のいずれとも異なる処理によって評価終了の判断を行ってもよい。
【0094】
ステップS15において評価終了の判断がなされた後(S15:Yes)、眼科装置1000は、被検者の眼瞼(裏面)の静止画像を取得するための撮影(静止画撮影)の指示を受領する(S16)。
【0095】
幾つかの例示的な態様では、ユーザーが操作部1050を用いて静止画撮影の指示を入力する。他の幾つかの例示的な態様では、眼科装置1000が、観察画像が所定の画像品質条件を満足するか否か判定し、満足すると判定されたときに静止画撮影の指示を発する。なお、静止画撮影の指示はこれらの例に限定されない。
【0096】
静止画撮影の指示を受領した眼科装置1000は、画像取得部1010によって眼瞼の静止画像を取得する(S17)。前述したように、画像取得部1010は撮影装置及び受付装置の一方又は双方を含んでいてよい。
【0097】
画像取得部1010が撮影装置を含んでいる場合、眼科装置1000は、静止画撮影の指示を受領したことに対応して撮影装置の制御を行うことにより被検者の眼瞼の静止画像を生成することができる。
【0098】
画像取得部1010が受付装置を含んでいる場合、眼科装置1000は、静止画撮影の指示を受領したことに対応して受付装置(通信デバイス等)を介して外部撮影装置に静止画撮影指示を送信し、この指示に対応して外部撮影装置により生成された静止画像を受付装置を介して受信することができる。
【0099】
眼科装置1000は、出力部1040により、ステップS14で生成された評価情報と、ステップS17で取得された静止画像とを出力する(S18)。
【0100】
本動作例では、ステップS13の処理及びステップS14の処理の繰り返しにより複数の評価情報が取得される。ステップS18で出力される評価情報は、取得された複数の評価情報の全てでもよいし(第1のケース)、複数の評価情報のうちの一部でもよいし(第2のケース)、複数の評価情報のうちの一部又は全部から生成された評価情報でもよい(第3のケース)。
【0101】
第1のケースでは、眼科装置1000は、例えば、取得された複数の評価情報のリストを出力部1040により出力することができる。幾つかの例示的な態様では、眼科装置1000は、取得された複数のマイボスコアのリストを出力することができる。
【0102】
第2のケースでは、眼科装置1000は、例えば、取得された複数の評価情報のうちから所定の基準にしたがって1つ以上の評価情報を選択し、選択された1つ以上の評価情報を出力部1040により出力することができる。具体例として、眼科装置1000は、複数の評価情報の平均に最も近い評価情報を選択することや、複数の評価情報のうち最も頻度の高い情報を選択することや、複数の評価情報を所定の基準にしたがって配列したときに中間に位置する情報を選択することができる。幾つかの例示的な態様では、眼科装置1000は、取得された複数のマイボスコアのうちから1つ以上のマイボスコアを選択し、選択された1つ以上のマイボスコアを出力することができる。
【0103】
第3のケースでは、眼科装置1000は、例えば、取得された複数の評価情報に統計演算を適用して評価情報を生成することができる。この統計演算で得られる評価情報は、任意の統計情報であってよく、例えば、平均値、最頻値、中間値、最大値、最小値などであってよい。幾つかの例示的な態様では、眼科装置1000は、取得された複数のマイボスコアに統計演算を施し、それにより算出された統計量を出力することができる。
【0104】
【0105】
図3の動作例を実行可能な本実施形態によれば、被検者の眼瞼の動画像のフレームからリアルタイムでマイボーム腺領域を特定して評価情報を生成することができる。これに対し、従来のマイボグラフィーを用いた検査では、眼瞼の裏面を撮影する工程、得られた静止画像を保存する工程、及び、この静止画像を解析し評価する工程を経る必要があった。したがって、
図3の動作例を実行可能な本実施形態によれば、従来の技術と比較して、マイボーム腺に関する検査結果をより迅速に提供することが可能である。
【0106】
更に、
図3の動作例を実行可能な本実施形態によれば、評価情報に加えて、眼瞼の静止画像を提供することができる。眼科装置(眼科撮影装置)において、静止画像の品質は動画像の各フレームの品質よりも高いのが一般的である。また、マイボグラフィーで取得される動画像の各フレームは赤外画像であり、したがってモノクロ画像であるのに対し、静止画像はカラー画像であってもよい。また、静止画像として、高品質のモノクロ画像と、カラー画像とを取得するようにしてもよい。このように、
図3の動作例を実行可能な本実施形態によれば、評価情報を迅速に提供できるだけでなく、診断や観察に適した静止画像を提供できるという有利な効果もある。
【0107】
<画像処理の実施例>
前述したように、被検者の眼瞼画像中のマイボーム腺領域を特定するために画像処理部1020が実行する処理は、人工知能技術を少なくとも部分的に利用したものであってよい。幾つかの実施例を以下に説明する。
【0108】
前述した眼科装置1000に関する任意の事項を少なくとも部分的に実施例に組み合わせることができる。また、異なる実施例を少なくとも部分的に組み合わせることが可能である。
【0109】
<第1の実施例>
第1の実施例について説明する。
図4に示す眼科装置2000は、
図1の眼科装置1000と同様の画像取得部1010及び評価処理部1030を備えている。
図4の画像処理部1021は、学習済みモデル1022を含んでいる。なお、幾つかの実施例では、学習済みモデルが画像処理部1021に含まれているが、他の幾つかの実施例では、学習済みモデルは画像処理部により直接的又は間接的にアクセス可能な記憶装置に格納されていてもよい。例えば、実施例に係る眼科装置と通信回線を介して接続されたコンピュータ(例えばサーバー)に学習済みモデルを配置することができる。
【0110】
眼科装置2000は、任意的な要素として、
図1の眼科装置1000と同様の出力部1040及び操作部1050を含んでいてよい。図示は省略するが、眼科装置2000は、制御プロセッサ、演算プロセッサ、処理プロセッサなどのプロセッサを含んでいてよく、また、RAM、ROM、ハードディスクドライブ、ソリッドステートドライブなどの記憶装置を含んでいてよい。更に、眼科装置2000は、これら以外の要素を含んでいてもよい。
【0111】
画像処理部1021は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の少なくとも一部を、学習済みモデル1022を用いて実行するように構成されている。
【0112】
学習済みモデル1022は、眼瞼画像を含む訓練データ(教師データ)を用いた機械学習によって構築される。学習済みモデル1022は、定期的又は不定期的に更新されてもよい。眼瞼画像は、例えば、生体(ヒト)の眼瞼(裏面)を撮影することで取得される。例示的な訓練データは、多数の生体から収集された多数の眼瞼画像を含んでいる。また、例示的な訓練データは、生体から収集された眼瞼画像をコンピュータで加工して得られた加工画像を含んでいてもよい(データ拡張、data augmentation)。
【0113】
訓練データは、専門医により行われたアノテーションによって眼瞼画像に付された情報(ラベル)を含んでいてもよい。また、訓練データは、コンピュータにより実行されたアノテーションによって眼瞼画像に付された情報(ラベル)を含んでいてもよい。ラベルは、学習済みモデル1022に入力される情報の種類及び学習済みモデル1022から出力される情報の種類に対応した情報である。
【0114】
このような訓練データを用いて構築された学習済みモデル1022は、入力データに基づき推論を実行してデータを出力するものである。入力データと出力データとの組み合わせは、例えば、次のいずれかであってよい:入力データとしての眼瞼画像と、出力データとしての解析対象領域との組み合わせ;入力データとしての眼瞼画像の少なくとも一部(例えば、眼瞼画像の全体、解析対象領域など)と、出力データとしての複数の対象領域(例えば、セグメンテーションによって特定される生体組織の領域(マイボーム腺領域、角膜領域、睫毛領域などとして同定されるべき画像領域))との組み合わせ;入力データとしての眼瞼画像の一部(例えば、解析対象領域)と、出力データとしてのマイボーム腺領域;入力データとしての眼瞼画像の全体とマイボーム腺領域との組み合わせ。これらの例のいずれにおいても、入力データは、眼瞼画像(被検者の眼瞼の動画像のフレーム)、又は、眼瞼画像から得られた画像である。
【0115】
本実施例の画像処理部1021は、学習済みモデル1022により生成された出力データの少なくとも一部、及び/又は、学習済みモデル1022により生成された出力データの少なくとも一部を処理して生成されたデータ(処理データ)を、評価処理部1030に送る。
【0116】
学習済みモデル1022(その少なくとも一部)は、画像を処理するための数理モデルであり、例えば、
図5に示す例示的なモデル構築部2100によって構築される。本例のモデル構築部2100は、学習処理部2110と、ニューラルネットワーク2120とを含んでいる。
【0117】
ニューラルネットワーク2120は、例えば、畳み込みニューラルネットワーク(CNN)を含んでいる。
図5の符号2130は、畳み込みニューラルネットワークの構造の一例を示している。なお、ニューラルネットワーク2120は、他の種類のニューラルネットワークを含んでいてもよい。
【0118】
本例の畳み込みニューラルネットワーク2130の入力層には、画像が入力される。入力層の後ろには、畳み込み層とプーリング層とのペアが複数配置されている。本例の畳み込みニューラルネットワーク2130は、畳み込み層とプーリング層とのペアを3つ含んでいるが、畳み込み層とプーリング層とのペアの個数は任意であってよい。
【0119】
畳み込み層では、画像から特徴(輪郭など)を把握するための畳み込み演算が行われる。畳み込み演算は、入力された画像に対する、この画像と同じ次元のフィルタ関数(重み係数、フィルタカーネル)の積和演算である。畳み込み層では、入力された画像の複数の部分にそれぞれ畳み込み演算を適用する。より具体的には、畳み込み層では、フィルタ関数が適用された部分画像の各ピクセルの値に、そのピクセルに対応するフィルタ関数の値(重み)を乗算して積を算出し、この部分画像の複数のピクセルにわたって積の総和を求める。このように得られた積和値は、出力される画像における対応ピクセルに代入される。フィルタ関数を適用する箇所(部分画像)を移動させながら積和演算を行うことで、入力された画像の全体についての畳み込み演算結果が得られる。このような畳み込み演算によれば、多数の重み係数を用いて様々な特徴が抽出された画像が多数得られる。つまり、平滑化画像やエッジ画像などの多数のフィルタ処理画像が得られる。畳み込み層により生成される多数の画像は特徴マップと呼ばれる。
【0120】
プーリング層では、直前の畳み込み層により生成された特徴マップの圧縮(データの間引きなど)が行われる。より具体的には、プーリング層では、特徴マップ内の注目ピクセルの所定の近傍ピクセルにおける統計値を所定のピクセル間隔ごとに算出し、入力された特徴マップよりも小さな寸法の画像を出力する。なお、プーリング演算に適用される統計値は、例えば、最大値(max pooling)又は平均値(average pooling)である。また、プーリング演算に適用されるピクセル間隔は、ストライド(stride)と呼ばれる。
【0121】
一般に、畳み込みニューラルネットワークは、畳み込み層とプーリング層との複数のペアによって処理を行うことにより、入力された画像から多くの特徴を抽出することができる。
【0122】
畳み込み層とプーリング層との最後のペアの後ろには、全結合層が設けられている。本例の畳み込みニューラルネットワーク2130は、2つの全結合層を含んでいるが、全結合層の個数は任意であってよい。全結合層では、畳み込みとプーリングとの組み合わせによって圧縮された特徴量を用いて、所定の処理(例えば、画像分類、画像セグメンテーション、回帰などの情報生成)を行う。最後の全結合層の後ろには、出力結果を提供する出力層が設けられている。
【0123】
幾つかの例示的な態様において、畳み込みニューラルネットワークは、全結合層を含まなくてもよいし(例えば、全層畳み込みネットワーク(FCN))、サポートベクターマシンや再帰型ニューラルネットワーク(RNN)などを含んでいてもよい。また、ニューラルネットワーク2120に対する機械学習は、転移学習を含んでいてもよい。つまり、ニューラルネットワーク2120は、他の訓練データ(訓練画像など)を用いた学習が既に行われてパラメータ調整が為されたニューラルネットワークを含んでいてもよい。また、モデル構築部2100(学習処理部2110)は、学習済みのニューラルネットワーク(ニューラルネットワーク2120)にファインチューニングを適用可能に構成されてもよい。ニューラルネットワーク2120は、公知のオープンソースのニューラルネットワークアーキテクチャを用いて構築されたものであってもよい。
【0124】
学習処理部2110は、訓練データを用いた機械学習をニューラルネットワーク2120に適用する。ニューラルネットワーク2120が畳み込みニューラルネットワーク(例えば、畳み込みニューラルネットワーク2130)を含んでいる場合、学習処理部2110によって調整されるパラメータは、例えば、畳み込み層のフィルタ係数と、全結合層の結合重み及びオフセットとを含む。
【0125】
学習済みモデル1022に含まれるニューラルネットワーク2120を構築するための訓練の手法(機械学習の手法)は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2つ以上の組み合わせであってよい。
【0126】
ニューラルネットワーク2120の特定のユニットに処理が集中することを避けるために、学習処理部2110は、ニューラルネットワーク2120の幾つかのユニットをランダムに選んで無効化し、残りのユニットを用いて学習を実行してもよい(ドロップアウト)。
【0127】
幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像に対して、その画像に基づき決定されたラベルが付される。
【0128】
第1の例のアノテーションでは、眼瞼画像に対して、この眼瞼画像の部分領域である解析対象領域を示すラベルが付される。
【0129】
第2の例のアノテーションでは、眼瞼画像の全体に対して、この眼瞼画像の部分領域である複数の対象領域(例えば、マイボーム腺領域、角膜領域、睫毛領域などとして同定されるべき画像領域)のそれぞれを示すラベルが付される。
【0130】
第3の例のアノテーションでは、眼瞼画像の部分領域(例えば、解析対象領域)に対して、この部分領域の部分領域である複数の対象領域(例えば、マイボーム腺領域、角膜領域、睫毛領域などとして同定されるべき画像領域)のそれぞれを示すラベルが付される。
【0131】
第4の例のアノテーションでは、眼瞼画像の部分領域(例えば、解析対象領域)に対して、この部分領域の部分領域であるマイボーム腺領域を示すラベルが付される。
【0132】
第5の例のアノテーションでは、眼瞼画像の全体に対して、この眼瞼画像の部分領域であるマイボーム腺領域を示すラベルが付される。
【0133】
このようなラベルの付与(ラベリング)は、例えば、医師、コンピュータ、及び、他の数理モデルのうちの少なくとも1つによって実行されてよい。学習処理部2110は、このような訓練データを用いた教師あり学習をニューラルネットワーク2120に適用することによって、訓練されたニューラルネットワーク2120を構築することができ、この訓練されたニューラルネットワーク2120を用いて学習済みモデル1022を作成することができる。
【0134】
学習済みモデル1022の構築に用いられる手法は、ここに示した例に限定されない。例えば、サポートベクターマシン、ベイズ分類器、ブースティング、k平均法、カーネル密度推定、主成分分析、独立成分分析、自己組織化写像、ランダムフォレスト、敵対的生成ネットワーク(GAN)といった任意の手法を、学習済みモデル1022を構築するために利用することが可能である。
【0135】
学習済みモデル1022に含まれる数理モデルは、畳み込みニューラルネットワークに限定されない。学習済みモデル1022に含まれる数理モデルは、畳み込みニューラルネットワーク、畳み込みニューラルネットワーク以外の種類のニューラルネットワーク、及び、ニューラルネットワーク以外の種類の数理モデルのうちの1つ以上の数理モデルを含んでいてよい。
【0136】
前述したように、本実施例に係る画像処理部1021は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の少なくとも一部を、学習済みモデル1022を用いて実行するものである。
【0137】
前述した第1~第4の例のアノテーションを用いて生成された学習済みモデル1022は、画像処理部1021によるマイボーム腺特定処理の一部のみにおいて使用されるが、第5のアノテーションを用いて生成された学習済みモデル1022は、画像処理部1021によるマイボーム腺特定処理の全体において使用される。
【0138】
より具体的には、各学習済みモデル1022は次のように使用される:第1の例のアノテーションを用いて生成された学習済みモデル1022は、フレーム全体における解析対象領域を決定する処理において使用される;第2の例のアノテーションを用いて生成された学習済みモデル1022は、フレーム全体における複数のセグメント(複数の画像領域)を決定する処理において使用される;第3の例のアノテーションを用いて生成された学習済みモデル1022は、フレームの一部(例えば解析対象領域)における複数のセグメント(複数の画像領域)を決定する処理において使用される;第4の例のアノテーションを用いて生成された学習済みモデル1022は、フレームの一部(例えば解析対象領域)におけるマイボーム腺領域を決定する処理において使用される;第5の例のアノテーションを用いて生成された学習済みモデル1022は、フレーム全体におけるマイボーム腺領域を決定する処理において使用される。
【0139】
このように、本実施例の画像処理部1021は、機械学習を用いて訓練された数理モデルを用いた処理のみを実行するように構成されてもよいし、機械学習を用いて訓練された数理モデルを用いた処理と既定のアルゴリズムにしたがうルールベース処理との双方を実行するように構成されてよい。
【0140】
なお、特開2012-217621号公報(特許文献2)に開示された発明では、眼瞼裏面の静止画像(撮影画像)からマイボーム腺領域を特定する処理を、ルールベース処理のみを使用して行っている。つまり、特開2012-217621号公報(特許文献2)に開示された発明では、機械学習を用いて訓練された数理モデルを用いることなく、眼瞼裏面の静止画像(撮影画像)からマイボーム腺領域を特定している。
【0141】
本実施例に係る眼科装置2000の動作について説明する。動作の例を
図6に示す。眼科装置2000は、まず、
図2のステップS1と同じ要領で、画像取得部1010による被検者の眼瞼の動画撮影を開始する(S21)。
【0142】
次に、眼科装置2000は、画像処理部1021により、ステップS21で開始された動画撮影によって生成される動画像の1つ以上のフレームのそれぞれからマイボーム腺領域を特定する(S22)。
【0143】
本実施例のマイボーム腺領域特定の少なくとも一部の処理は、学習済みモデル1022を用いて実行される。学習済みモデル1022を用いて実行されるマイボーム腺領域特定については、その幾つかの例を後述する(第2~第6の実施例を参照)。
【0144】
次に、眼科装置2000は、
図2のステップS3と同じ要領で、評価処理部1030により、ステップS22で特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する(S23)。
【0145】
本動作例において、
図3の動作例のように、マイボーム腺領域特定(S22)及び評価情報生成(S23)を繰り返し実行するようにしてもよい。これにより、観察画像の取得(動画撮影)と並行して逐次に且つリアルタイムで評価情報を生成することができる。このようにして生成された複数の評価情報は、図示しない記憶装置に保存される。複数の評価情報の利用方法は任意であってよく、例えば
図3の動作例で説明した利用方法であってよい。
【0146】
最後に、眼科装置2000は、出力部1040により、ステップS23で生成された評価情報を出力する(S24)。このとき、ステップS21で開始された動画撮影によって取得された1つ以上のフレーム、ステップS22で特定されたマイボーム腺領域に関する情報、これらの以外の所定の情報などを、ステップS23で生成された評価情報とともに出力してもよい。以上で、
図6の動作例は終了となる(エンド)。
【0147】
図6の動作例を実行可能な本実施例によれば、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定して評価情報を生成することができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査結果をより迅速に提供することが可能である。
【0148】
更に、
図6の動作例を実行可能な本実施例によれば、機械学習により構築された学習済みモデルを用いてマイボーム腺領域の特定を行うことができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査をより高い品質(より高い正確度、より高い精度など)で実行することが可能である。
【0149】
<第2の実施例>
第2の実施例について説明する。
図7に示す眼科装置2100は、
図1の眼科装置1000と同様の画像取得部1010及び評価処理部1030を備えている。本実施例に係る画像処理部2110は、第1の学習済みモデル2111を含んでいる。
【0150】
第1の学習済みモデル2111は、画像処理部2110の内部に配置されている必要はなく、画像処理部2110により直接的又は間接的にアクセス可能な記憶装置に格納されていてもよい。
【0151】
第1の学習済みモデル2111は、第1の実施例の学習済みモデル1022の1つの例である。第1の学習済みモデル2111は、第1の実施例の学習済みモデル1022の一部であってもよい。
【0152】
眼科装置2100は、任意的な要素として、
図1の眼科装置1000と同様の出力部1040及び操作部1050を含んでいてよい。図示は省略するが、眼科装置2100は、各種のプロセッサ、各種の記憶装置、他の要素などを含んでいてもよい。
【0153】
画像処理部2110は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の一部を、第1の学習済みモデル2111を用いて実行する。
【0154】
より具体的には、画像処理部2110は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームから解析対象領域を決定する処理を、第1の学習済みモデル2111を用いて実行するように構成されている。更に、画像処理部2110は、第1の学習済みモデル2111を用いて特定された解析対象領域に基づいて、この解析対象領域からマイボーム腺領域を特定するように構成されている。
【0155】
解析対象領域からマイボーム腺領域を特定する処理については、その全体を学習済みモデルを用いずに実行してもよいし、その一部又は全体を学習済みモデルを用いて実行してもよい。
【0156】
解析対象領域からマイボーム腺領域を特定する処理を学習済みモデルを用いずに実行する場合、例えば、特開2012-217621号公報(特許文献2)に開示された前述の技術を用いることによって、解析対象領域からマイボーム腺領域を抽出してもよい。
【0157】
解析対象領域からマイボーム腺領域を特定する処理の一部又は全体を学習済みモデルを用いて実行する場合については、その幾つかの例を後述する(第4及び第5の実施例を参照)。
【0158】
本実施例に係る第1の学習済みモデル2111について説明する。第1の学習済みモデル2111は、眼瞼画像を含む訓練データを用いた機械学習によって構築される。本実施例の訓練データは、例えば、アノテーションによって眼瞼画像に付されたラベルを含む。このラベルは、例えば、眼瞼画像中の解析対象領域を示す情報を含む。
【0159】
このような訓練データを用いて構築された第1の学習済みモデル2111は、画像取得部1010により取得された被検者の眼瞼の動画像のフレーム(眼瞼画像)の入力を受けて、このフレーム中の解析対象領域(解析対象領域の範囲を示す情報)を出力するように機械学習が施された数理モデルである。
【0160】
本実施例の画像処理部2110は、第1の学習済みモデル2111を用いて決定された解析対象領域に基づいて、このフレーム中のマイボーム腺領域を特定する。
【0161】
本実施例に係る眼科装置2100の動作について説明する。動作の例を
図8に示す。眼科装置2100は、まず、
図2のステップS1と同じ要領で、画像取得部1010による被検者の眼瞼の動画撮影を開始する(S31)。
【0162】
次に、眼科装置2100は、画像処理部2110により、第1の学習済みモデル2111を用いて、ステップS31で開始された動画撮影によって生成される動画像の1つ以上のフレームのそれぞれから解析対象領域を決定する(S32)。
【0163】
次に、眼科装置2100は、画像処理部2110により、ステップS32で決定された解析対象領域に基づいて、この解析対象領域中のマイボーム腺領域を特定する(S33)。
【0164】
次に、眼科装置2100は、
図2のステップS3と同じ要領で、評価処理部1030により、ステップS33で特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する(S34)。
【0165】
本動作例において、
図3の動作例のように、解析対象領域の決定(S32)、マイボーム腺領域の特定(S33)、及び評価情報の生成(S34)を繰り返し実行するようにしてもよい。これにより、観察画像の取得(動画撮影)と並行して逐次に且つリアルタイムで評価情報を生成することができる。このようにして生成された複数の評価情報は、図示しない記憶装置に保存される。複数の評価情報の利用方法は任意であってよく、例えば
図3の動作例で説明した利用方法であってよい。
【0166】
最後に、眼科装置2100は、出力部1040により、ステップS34で生成された評価情報を出力する(S35)。このとき、ステップS31で開始された動画撮影によって取得された1つ以上のフレーム、ステップS32で決定された解析対象領域に関する情報、ステップS33で特定されたマイボーム腺領域に関する情報、これらの以外の所定の情報などを、ステップS34で生成された評価情報とともに出力してもよい。以上で、
図8の動作例は終了となる(エンド)。
【0167】
図8の動作例を実行可能な本実施例によれば、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定して評価情報を生成することができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査結果をより迅速に提供することが可能である。
【0168】
更に、
図8の動作例を実行可能な本実施例によれば、機械学習により構築された学習済みモデルを用いて解析対象領域を決定し、この解析対象領域に基づいてマイボーム腺領域の特定を行うことができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査をより高い品質(より高い正確度、より高い精度など)で実行することが可能である。
【0169】
<第3の実施例>
第3の実施例について説明する。
図9に示す眼科装置2200は、
図1の眼科装置1000と同様の画像取得部1010及び評価処理部1030を備えている。本実施例に係る画像処理部2210は、第2の学習済みモデル2211を含んでいる。
【0170】
なお、第2の学習済みモデル2211は、画像処理部2210の内部に配置されている必要はなく、画像処理部2210により直接的又は間接的にアクセス可能な記憶装置に格納されていてもよい。
【0171】
第2の学習済みモデル2211は、第1の実施例の学習済みモデル1022の1つの例である。第2の学習済みモデル2211は、第1の実施例の学習済みモデル1022の一部であってもよい。
【0172】
眼科装置2200は、任意的な要素として、
図1の眼科装置1000と同様の出力部1040及び操作部1050を含んでいてよい。図示は省略するが、眼科装置2200は、各種のプロセッサ、各種の記憶装置、他の要素などを含んでいてもよい。
【0173】
画像処理部2210は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の一部を、第2の学習済みモデル2211を用いて実行する。
【0174】
より具体的には、画像処理部2210は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームを複数の画像領域(複数のセグメント)に分割するためのセグメンテーションを、第2の学習済みモデル2211を用いて実行するように構成されている。更に、画像処理部2210は、第2の学習済みモデル2211を用いたセグメンテーションにより得られた複数の画像領域に基づいて、このフレームからマイボーム腺領域を特定するように構成されている。
【0175】
複数の画像領域からマイボーム腺領域を特定する処理については、その全体を学習済みモデルを用いずに実行してもよいし、その一部又は全体を学習済みモデルを用いて実行してもよい。
【0176】
複数の画像領域からマイボーム腺領域を特定する処理を学習済みモデルを用いずに実行する場合、例えば、特開2012-217621号公報(特許文献2)に開示された前述の技術を用いることによって、第2の学習済みモデル2211を用いたセグメンテーションにより得られた複数の画像領域からマイボーム腺領域を特定してもよい。
【0177】
複数の画像領域からマイボーム腺領域を特定する処理を学習済みモデルを用いて実行する場合、この学習済みモデルは、例えば、画像領域の態様(形状、サイズ、位置、相対位置など)に基づき画像領域がマイボーム腺領域であるか否か判定するように訓練された数理モデルであってよい。
【0178】
この学習済みモデルを構築するための機械学習は、例えば、1つ以上の画像領域を含む訓練用画像と、この訓練用画像中の画像領域に対して付されたラベル(その画像領域はマイボーム腺領域であることを示すラベル、又は、その画像領域はマイボーム腺領域でないことを示すラベル)とを含む訓練データを用いて実行される。
【0179】
本実施例に係る第2の学習済みモデル2211について説明する。第2の学習済みモデル2211は、公知のセグメンテーション法を実行するための数理モデルであってよい。このセグメンテーション法は、例えば、セマンティックセグメンテーション、パノプティックセグメンテーション、及び、インスタンスセグメンテーションのいずれか1つ、又は、いずれか2つ以上の組み合わせであってよいし、他のセグメンテーション法を少なくとも部分的に利用したものであってもよい。第2の学習済みモデル2211を構築するための機械学習において用いられる訓練データは、適用されるセグメンテーション法に応じて作成された訓練データであってよい。
【0180】
このようにして構築された第2の学習済みモデル2211は、画像取得部1010により取得された被検者の眼瞼の動画像のフレーム(眼瞼画像)の入力を受けて、このフレーム中の複数の画像領域(各画像領域の範囲を示す情報)を出力するように機械学習が施された数理モデルである。
【0181】
本実施例の画像処理部2210は、第2の学習済みモデル2211を用いて決定された複数の画像領域に基づいて、このフレーム中のマイボーム腺領域を特定する。
【0182】
本実施例に係る眼科装置2200の動作について説明する。動作の例を
図10に示す。眼科装置2200は、まず、
図2のステップS1と同じ要領で、画像取得部1010による被検者の眼瞼の動画撮影を開始する(S41)。
【0183】
次に、眼科装置2200は、画像処理部2210により、第2の学習済みモデル2211を用いて、ステップS41で開始された動画撮影によって生成される動画像の1つ以上のフレームのそれぞれにセグメンテーションを適用することにより、フレームを複数の画像領域(複数のセグメント)に分割する(S42)。
【0184】
次に、眼科装置2200は、画像処理部2210により、ステップS42で得られた複数の画像領域に基づいて、そのフレーム中のマイボーム腺領域を特定する(S43)。
【0185】
次に、眼科装置2200は、
図2のステップS3と同じ要領で、評価処理部1030により、ステップS43で特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する(S44)。
【0186】
本動作例において、
図3の動作例のように、セグメンテーション(S42)、マイボーム腺領域の特定(S43)、及び評価情報の生成(S44)を繰り返し実行するようにしてもよい。これにより、観察画像の取得(動画撮影)と並行して逐次に且つリアルタイムで評価情報を生成することができる。このようにして生成された複数の評価情報は、図示しない記憶装置に保存される。複数の評価情報の利用方法は任意であってよく、例えば
図3の動作例で説明した利用方法であってよい。
【0187】
最後に、眼科装置2200は、出力部1040により、ステップS44で生成された評価情報を出力する(S45)。このとき、ステップS41で開始された動画撮影によって取得された1つ以上のフレーム、ステップS42で得られた複数の画像領域に関する情報、ステップS43で特定されたマイボーム腺領域に関する情報、これらの以外の所定の情報などを、ステップS44で生成された評価情報とともに出力してもよい。以上で、
図10の動作例は終了となる(エンド)。
【0188】
図10の動作例を実行可能な本実施例によれば、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定して評価情報を生成することができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査結果をより迅速に提供することが可能である。
【0189】
更に、
図10の動作例を実行可能な本実施例によれば、機械学習により構築された学習済みモデルを用いたセグメンテーションによってフレームを複数の画像領域に分割し、得られた複数の画像領域に基づいてマイボーム腺領域の特定を行うことができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査をより高い品質(より高い正確度、より高い精度など)で実行することが可能である。
【0190】
<第4の実施例>
第4の実施例について説明する。
図11に示す眼科装置2300は、
図1の眼科装置1000と同様の画像取得部1010及び評価処理部1030を備えている。本実施例に係る画像処理部2310は、第3の学習済みモデル2311を含んでいる。
【0191】
なお、第3の学習済みモデル2311は、画像処理部2310の内部に配置されている必要はなく、画像処理部2310により直接的又は間接的にアクセス可能な記憶装置に格納されていてもよい。
【0192】
第3の学習済みモデル2311は、第1の実施例の学習済みモデル1022の1つの例である。第3の学習済みモデル2311は、第1の実施例の学習済みモデル1022の一部であってもよい。
【0193】
眼科装置2300は、任意的な要素として、
図1の眼科装置1000と同様の出力部1040及び操作部1050を含んでいてよい。図示は省略するが、眼科装置2300は、各種のプロセッサ、各種の記憶装置、他の要素などを含んでいてもよい。
【0194】
画像処理部2310は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の一部を、第3の学習済みモデル2311を用いて実行する。
【0195】
より具体的には、画像処理部2310は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームから解析対象領域を決定する処理を実行するように構成されている。更に、画像処理部2310は、この解析対象領域を複数の画像領域(複数のセグメント)に分割するためのセグメンテーションを、第3の学習済みモデル2311を用いて実行するように構成されている。加えて、画像処理部2310は、第3の学習済みモデル2311を用いたセグメンテーションにより得られた複数の画像領域に基づいて、この解析対象領域からマイボーム腺領域を特定するように構成されている。
【0196】
フレームから解析対象領域を決定する処理については、その全体を学習済みモデルを用いずに実行してもよいし、その一部又は全体を学習済みモデルを用いて実行してもよい。
【0197】
フレームから解析対象領域を決定する処理を学習済みモデルを用いずに実行する場合、例えば、特開2012-217621号公報(特許文献2)に開示された前述の技術を用いることができる。
【0198】
フレームから解析対象領域を決定する処理を学習済みモデルを用いて実行する場合、例えば、第2の実施例に係る構成を用いることができる。
【0199】
複数の画像領域からマイボーム腺領域を特定する処理についても、その全体を学習済みモデルを用いずに実行してもよいし、その一部又は全体を学習済みモデルを用いて実行してもよい。
【0200】
複数の画像領域からマイボーム腺領域を特定する処理を学習済みモデルを用いずに実行する場合、例えば、特開2012-217621号公報(特許文献2)に開示された前述の技術を用いることによって、第3の学習済みモデル2311を用いたセグメンテーションにより得られた複数の画像領域からマイボーム腺領域を特定してもよい。
【0201】
複数の画像領域からマイボーム腺領域を特定する処理を学習済みモデルを用いて実行する場合、この学習済みモデルは、例えば、第3の実施例で説明した同様の場合のように、画像領域の態様(形状、サイズ、位置、相対位置など)に基づき画像領域がマイボーム腺領域であるか否か判定するように訓練された数理モデルであってよい。この学習済みモデルを構築するための機械学習は、例えば、1つ以上の画像領域を含む訓練用画像と、この訓練用画像中の画像領域に対して付されたラベル(その画像領域はマイボーム腺領域であることを示すラベル、又は、その画像領域はマイボーム腺領域でないことを示すラベル)とを含む訓練データを用いて実行される。
【0202】
本実施例に係る第3の学習済みモデル2311について説明する。第3の学習済みモデル2311は、公知のセグメンテーション法を実行するための数理モデルであってよい。このセグメンテーション法は、例えば、セマンティックセグメンテーション、パノプティックセグメンテーション、及び、インスタンスセグメンテーションのいずれか1つ、又は、いずれか2つ以上の組み合わせであってよいし、他のセグメンテーション法を少なくとも部分的に利用したものであってもよい。第3の学習済みモデル2311を構築するための機械学習において用いられる訓練データは、適用されるセグメンテーション法に応じて作成された訓練データであってよい。
【0203】
このようにして構築された第3の学習済みモデル2311は、画像取得部1010により取得された被検者の眼瞼の動画像のフレーム(眼瞼画像)中の解析対象領域の入力を受けて、この解析対象領域中の複数の画像領域(各画像領域の範囲を示す情報)を出力するように機械学習が施された数理モデルである。
【0204】
本実施例の画像処理部2310は、第3の学習済みモデル2311を用いて決定された複数の画像領域に基づいて、この解析対象領域中のマイボーム腺領域を特定する。
【0205】
本実施例に係る眼科装置2300の動作について説明する。動作の例を
図12に示す。眼科装置2300は、まず、
図2のステップS1と同じ要領で、画像取得部1010による被検者の眼瞼の動画撮影を開始する(S51)。
【0206】
次に、眼科装置2300は、画像処理部2310により、ステップS51で開始された動画撮影によって生成される動画像の1つ以上のフレームのそれぞれにおける解析対象領域を決定する(S52)。
【0207】
次に、眼科装置2300は、画像処理部2310により、第3の学習済みモデル2311を用いて、ステップS52で決定された解析対象領域にセグメンテーションを適用することにより、この解析対象領域を複数の画像領域(複数のセグメント)に分割する(S53)。
【0208】
次に、眼科装置2300は、画像処理部2310により、ステップS53で得られた複数の画像領域に基づいて、その解析対象領域中のマイボーム腺領域を特定する(S54)。
【0209】
次に、眼科装置2300は、
図2のステップS3と同じ要領で、評価処理部1030により、ステップS54で特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する(S55)。
【0210】
本動作例において、
図3の動作例のように、解析対象領域の決定(S52)、セグメンテーション(S53)、マイボーム腺領域の特定(S54)、及び評価情報の生成(S55)を繰り返し実行するようにしてもよい。これにより、観察画像の取得(動画撮影)と並行して逐次に且つリアルタイムで評価情報を生成することができる。このようにして生成された複数の評価情報は、図示しない記憶装置に保存される。複数の評価情報の利用方法は任意であってよく、例えば
図3の動作例で説明した利用方法であってよい。
【0211】
最後に、眼科装置2300は、出力部1040により、ステップS55で生成された評価情報を出力する(S56)。このとき、ステップS51で開始された動画撮影によって取得された1つ以上のフレーム、ステップS52で決定された解析対象領域に関する情報、ステップS53で得られた複数の画像領域に関する情報、ステップS54で特定されたマイボーム腺領域に関する情報、これらの以外の所定の情報などを、ステップS55で生成された評価情報とともに出力してもよい。以上で、
図12の動作例は終了となる(エンド)。
【0212】
図12の動作例を実行可能な本実施例によれば、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定して評価情報を生成することができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査結果をより迅速に提供することが可能である。
【0213】
更に、
図12の動作例を実行可能な本実施例によれば、機械学習により構築された学習済みモデルを用いたセグメンテーションによってフレーム中の解析対象領域を複数の画像領域に分割し、得られた複数の画像領域に基づいてマイボーム腺領域の特定を行うことができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査をより高い品質(より高い正確度、より高い精度など)で実行することが可能である。
【0214】
<第5の実施例>
第5の実施例について説明する。
図13に示す眼科装置2400は、
図1の眼科装置1000と同様の画像取得部1010及び評価処理部1030を備えている。本実施例に係る画像処理部2410は、第4の学習済みモデル2411を含んでいる。
【0215】
なお、第4の学習済みモデル2411は、画像処理部2410の内部に配置されている必要はなく、画像処理部2410により直接的又は間接的にアクセス可能な記憶装置に格納されていてもよい。
【0216】
第4の学習済みモデル2411は、第1の実施例の学習済みモデル1022の1つの例である。第4の学習済みモデル2411は、第1の実施例の学習済みモデル1022の一部であってもよい。
【0217】
眼科装置2400は、任意的な要素として、
図1の眼科装置1000と同様の出力部1040及び操作部1050を含んでいてよい。図示は省略するが、眼科装置2400は、各種のプロセッサ、各種の記憶装置、他の要素などを含んでいてもよい。
【0218】
画像処理部2410は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の一部を、第4の学習済みモデル2411を用いて実行する。
【0219】
より具体的には、画像処理部2410は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームから解析対象領域を決定する処理を実行するように構成されている。更に、画像処理部2410は、この解析対象領域からマイボーム腺領域を特定する処理を、第4の学習済みモデル2411を用いて実行するように構成されている。
【0220】
フレームから解析対象領域を決定する処理については、その全体を学習済みモデルを用いずに実行してもよいし、その一部又は全体を学習済みモデルを用いて実行してもよい。
【0221】
フレームから解析対象領域を決定する処理を学習済みモデルを用いずに実行する場合、例えば、特開2012-217621号公報(特許文献2)に開示された前述の技術を用いることができる。
【0222】
フレームから解析対象領域を決定する処理を学習済みモデルを用いて実行する場合、例えば、第2の実施例に係る構成を用いることができる。
【0223】
本実施例に係る第4の学習済みモデル2411について説明する。第4の学習済みモデル2411は、公知のセグメンテーション法を実行するための数理モデルであってよい。このセグメンテーション法は、例えば、セマンティックセグメンテーション、パノプティックセグメンテーション、及び、インスタンスセグメンテーションのいずれか1つ、又は、いずれか2つ以上の組み合わせであってよいし、他のセグメンテーション法を少なくとも部分的に利用したものであってもよい。第4の学習済みモデル2411を構築するための機械学習において用いられる訓練データは、適用されるセグメンテーション法に応じて作成された訓練データであってよい。
【0224】
このようにして構築された第4の学習済みモデル2411は、画像取得部1010により取得された被検者の眼瞼の動画像のフレーム(眼瞼画像)中の解析対象領域の入力を受けて、この解析対象領域中のマイボーム腺領域(マイボーム腺領域の範囲を示す情報)を出力するように機械学習が施された数理モデルである。
【0225】
本実施例に係る眼科装置2400の動作について説明する。動作の例を
図14に示す。眼科装置2400は、まず、
図2のステップS1と同じ要領で、画像取得部1010による被検者の眼瞼の動画撮影を開始する(S61)。
【0226】
次に、眼科装置2400は、画像処理部2410により、ステップS61で開始された動画撮影によって生成される動画像の1つ以上のフレームのそれぞれにおける解析対象領域を決定する(S62)。
【0227】
次に、眼科装置2400は、画像処理部2410により、第4の学習済みモデル2411を用いて、ステップS62で決定された解析対象領域中のマイボーム腺領域を特定する(S63)。
【0228】
次に、眼科装置2400は、
図2のステップS3と同じ要領で、評価処理部1030により、ステップS63で特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する(S64)。
【0229】
本動作例において、
図3の動作例のように、解析対象領域の決定(S62)、マイボーム腺領域の特定(S63)、及び評価情報の生成(S64)を繰り返し実行するようにしてもよい。これにより、観察画像の取得(動画撮影)と並行して逐次に且つリアルタイムで評価情報を生成することができる。このようにして生成された複数の評価情報は、図示しない記憶装置に保存される。複数の評価情報の利用方法は任意であってよく、例えば
図3の動作例で説明した利用方法であってよい。
【0230】
最後に、眼科装置2400は、出力部1040により、ステップS64で生成された評価情報を出力する(S65)。このとき、ステップS61で開始された動画撮影によって取得された1つ以上のフレーム、ステップS62で決定された解析対象領域に関する情報、ステップS63で特定されたマイボーム腺領域に関する情報、これらの以外の所定の情報などを、ステップS64で生成された評価情報とともに出力してもよい。以上で、
図14の動作例は終了となる(エンド)。
【0231】
図14の動作例を実行可能な本実施例によれば、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定して評価情報を生成することができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査結果をより迅速に提供することが可能である。
【0232】
更に、
図14の動作例を実行可能な本実施例によれば、機械学習により構築された学習済みモデルを用いてフレーム中の解析対象領域からマイボーム腺領域を特定することができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査をより高い品質(より高い正確度、より高い精度など)で実行することが可能である。
【0233】
<第6の実施例>
第6の実施例について説明する。
図15に示す眼科装置2500は、
図1の眼科装置1000と同様の画像取得部1010及び評価処理部1030を備えている。本実施例に係る画像処理部2510は、第5の学習済みモデル2511を含んでいる。
【0234】
なお、第5の学習済みモデル2511は、画像処理部2510の内部に配置されている必要はなく、画像処理部2510により直接的又は間接的にアクセス可能な記憶装置に格納されていてもよい。
【0235】
第5の学習済みモデル2511は、第1の実施例の学習済みモデル1022の1つの例である。第5の学習済みモデル2511は、第1の実施例の学習済みモデル1022の一部であってもよい。
【0236】
眼科装置2500は、任意的な要素として、
図1の眼科装置1000と同様の出力部1040及び操作部1050を含んでいてよい。図示は省略するが、眼科装置2500は、各種のプロセッサ、各種の記憶装置、他の要素などを含んでいてもよい。
【0237】
画像処理部2510は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の全体を、第5の学習済みモデル2511を用いて実行する。これに対し、第2~第4の実施例では、画像取得部1010により取得された被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の一部のみを、学習済みモデルを用いて実行する。
【0238】
本実施例に係る第5の学習済みモデル2511について説明する。第5の学習済みモデル2511は、公知のセグメンテーション法を実行するための数理モデルであってよい。このセグメンテーション法は、例えば、セマンティックセグメンテーション、パノプティックセグメンテーション、及び、インスタンスセグメンテーションのいずれか1つ、又は、いずれか2つ以上の組み合わせであってよいし、他のセグメンテーション法を少なくとも部分的に利用したものであってもよい。第5の学習済みモデル2511を構築するための機械学習において用いられる訓練データは、適用されるセグメンテーション法に応じて作成された訓練データであってよい。
【0239】
第5の学習済みモデル2511は、2つ以上の数理モデル(学習済みモデル)を含んでいてもよい。そのような第5の学習済みモデル2511について、幾つかの例を以下に説明する。
【0240】
1つの例において、第5の学習済みモデル2511は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームから解析対象領域を決定するように訓練された学習済みモデルと、決定された解析対象領域にセグメンテーションを適用することによってマイボーム腺領域を特定するように訓練された学習済みモデルとを含んでいてよい。
【0241】
他の例において、第5の学習済みモデル2511は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームから解析対象領域を決定するように訓練された学習済みモデルと、決定された解析対象領域にセグメンテーションを適用することによってこの解析対象領域を複数の画像領域に分割するように訓練された学習済みモデルと、得られた複数の画像領域に基づいてマイボーム腺領域を特定するように訓練された学習済みモデルとを含んでいてよい。
【0242】
更に他の例において、第5の学習済みモデル2511は、画像取得部1010により取得された被検者の眼瞼の動画像のフレームにセグメンテーション適用することによってこのフレームを複数の画像領域に分割するように訓練された学習済みモデルと、得られた複数の画像領域に基づいてマイボーム腺領域を特定するように訓練された学習済みモデルとを含んでいてよい。
【0243】
このようにして構築された第5の学習済みモデル2511は、画像取得部1010により取得された被検者の眼瞼の動画像のフレーム(眼瞼画像)の入力を受けて、このフレームの全体におけるマイボーム腺領域(マイボーム腺領域の範囲を示す情報)を出力するように機械学習が施された数理モデルである。
【0244】
本実施例に係る眼科装置2500の動作について説明する。動作の例を
図16に示す。眼科装置2500は、まず、
図2のステップS1と同じ要領で、画像取得部1010による被検者の眼瞼の動画撮影を開始する(S71)。
【0245】
次に、眼科装置2500は、画像処理部2510により、第5の学習済みモデル2511を用いて、ステップS71で開始された動画撮影によって生成される動画像の1つ以上のフレームの全体からマイボーム腺領域を特定する(S72)。
【0246】
次に、眼科装置2500は、
図2のステップS3と同じ要領で、評価処理部1030により、ステップS72で特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する(S73)。
【0247】
本動作例において、
図3の動作例のように、マイボーム腺領域の特定(S72)、及び評価情報の生成(S73)を繰り返し実行するようにしてもよい。これにより、観察画像の取得(動画撮影)と並行して逐次に且つリアルタイムで評価情報を生成することができる。このようにして生成された複数の評価情報は、図示しない記憶装置に保存される。複数の評価情報の利用方法は任意であってよく、例えば
図3の動作例で説明した利用方法であってよい。
【0248】
最後に、眼科装置2500は、出力部1040により、ステップS73で生成された評価情報を出力する(S74)。このとき、ステップS71で開始された動画撮影によって取得された1つ以上のフレーム、ステップS72で特定されたマイボーム腺領域に関する情報、これらの以外の所定の情報などを、ステップS73で生成された評価情報とともに出力してもよい。以上で、
図16の動作例は終了となる(エンド)。
【0249】
図16の動作例を実行可能な本実施例によれば、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定して評価情報を生成することができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査結果をより迅速に提供することが可能である。
【0250】
更に、
図16の動作例を実行可能な本実施例によれば、機械学習により構築された学習済みモデルを用いてフレームの全体からマイボーム腺領域を特定することができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査をより高い品質(より高い正確度、より高い精度など)で実行することが可能である。
【0251】
<効果>
実施形態に係る眼科装置(1000、2000、2100、2200、2300、2400、2500)の幾つかの有利な効果について説明する。なお、実施形態に係る眼科装置の有利な効果は本開示において説明する事項には限定されない。
【0252】
実施形態に係る眼科装置(1000、2000、2100、2200、2300、2400、2500)は、動画像取得部(画像取得部1010)と、画像処理部(画像処理部1020、1021、2110、2210、2310、2410、2510)と、評価処理部(評価処理部1030)とを含んでいる。
【0253】
動画像取得部は、被検者の眼瞼の動画像を取得するように構成されている。
【0254】
画像処理部は、動画像取得部により取得された動画像の少なくとも1つのフレームからマイボーム腺領域を特定するように構成されている。
【0255】
評価処理部は、画像処理部により特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成するように構成されている。
【0256】
このように構成された実施形態に係る眼科装置によれば、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定して評価情報を生成することが可能である。これに対し、従来のマイボグラフィーを用いた検査においては、眼瞼の裏面を撮影する工程、得られた静止画像を保存する工程、及び、この静止画像を解析し評価する工程を経る必要があった。そのような一連の工程を要する従来の技術との比較において、実施形態に係る眼科装置は、マイボーム腺に関する検査結果をより迅速に提供することができるという有利な効果を奏するものである。
【0257】
実施形態に係る眼科装置(1000、2000、2100、2200、2300、2400、2500)において、画像処理部(1020、1021、2110、2210、2310、2410、2510)は、動画像取得部(画像取得部1010)により取得された被検者の眼瞼の動画像の複数のフレームを逐次に処理することによって、これら複数のフレームのそれぞれからマイボーム腺領域を特定するように構成されていてもよい。
【0258】
なお、このマイボーム腺領域特定処理が適用される複数のフレームは、動画像取得部により取得される全てのフレームであってもよいし、全てのフレームから選択(例えば、間引き)されてもよい。
【0259】
このように構成された実施形態に係る眼科装置によれば、被検者の眼瞼の動画像のフレームからリアルタイムでマイボーム腺領域を特定して評価情報を生成することができるので、前述した一連の工程を要する従来の技術との比較において、マイボーム腺に関する検査結果をより迅速に提供することが可能である。
【0260】
実施形態に係る眼科装置(2000、2100、2200、2300、2400、2500)において、画像処理部(1021、2110、2210、2310、2410、2510)は、動画像取得部(画像取得部1010)により取得された被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の少なくとも一部を、眼瞼画像を含む訓練データを用いた機械学習により構築された学習済みモデル(1022、2111、2211、2311、2411、2511)を用いて実行するように構成されていてもよい。
【0261】
このように構成された実施形態に係る眼科装置によれば、従来のマイボグラフィーを用いた検査技術よりも迅速にマイボーム腺に関する検査結果を提供することができるという有利な効果に加えて、機械学習により構築された学習済みモデルを用いてマイボーム腺領域の特定を行うことができるので、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査をより高い品質(より高い正確度、より高い精度など)で実行することができるという有利な効果を奏することが可能である。
【0262】
幾つかの例示的な態様に係る画像処理部(2110)は、動画像取得部(画像取得部1010)により取得された被検者の眼瞼の動画像のフレームから解析対象領域を決定する処理を学習済みモデル(2111)を用いて実行し、更に、決定された解析対象領域に基づいてマイボーム腺領域を特定するように構成されている。本態様は、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の一部のみを学習済みモデルを用いて実行する場合の1つの例である。
【0263】
幾つかの例示的な態様に係る画像処理部(2210、2310)は、動画像取得部(画像取得部1010)により取得された被検者の眼瞼の動画像のフレームの少なくとも一部を複数の画像領域に分割するためのセグメンテーションを学習済みモデル(2211、2311)を用いて実行し、更に、得られた複数の画像領域に基づいてマイボーム腺領域を特定するように構成されている。本態様は、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の一部のみを学習済みモデルを用いて実行する場合の1つの例である。
【0264】
幾つかの例示的な態様に係る画像処理部(2410)は、動画像取得部(画像取得部1010)により取得された被検者の眼瞼の動画像のフレームの一部からマイボーム腺領域を特定する処理を学習済みモデル(2411)を用いて実行するように構成されている。本態様は、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の一部のみを学習済みモデルを用いて実行する場合の1つの例である。
【0265】
幾つかの例示的な態様に係る画像処理部(2510)は、動画像取得部(画像取得部1010)により取得された被検者の眼瞼の動画像のフレームの全体からマイボーム腺領域を特定する処理を学習済みモデル(2511)を用いて実行するように構成されている。本態様は、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の全体を学習済みモデルを用いて実行する場合の1つの例である。
【0266】
<眼科画像処理方法>
上記した様々な態様の眼科装置によれば、眼科画像処理方法を実現することが可能である。
【0267】
この眼科画像処理方法は、被検者の眼瞼の動画像の少なくとも1つのフレームからマイボーム腺領域を特定し、特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成するように構成される。ここで、マイボーム腺領域を特定する工程は第1のコンピュータにより実行され、評価情報を生成する工程も第2のコンピュータを用いて実行される。第1のコンピュータと第2のコンピュータとは、同一のコンピュータであってもよいし、異なるコンピュータであってもよい。
【0268】
本開示において眼科装置に関して説明した任意の事項を本実施形態の眼科画像処理方法に援用することや組み合わせることが可能である。
【0269】
例えば、幾つかの例示的な態様では、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する工程において、この動画像の複数のフレームを逐次に処理することによってこれら複数のフレームのそれぞれからマイボーム腺領域を特定することができる。
【0270】
また、幾つかの例示的な態様では、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定する処理の少なくとも一部を、眼瞼画像を含む訓練データを用いた機械学習により構築された学習済みモデルを用いて実行することができる。
【0271】
また、幾つかの例示的な態様では、被検者の眼瞼の動画像のフレームから解析対象領域を決定する処理を学習済みモデルを用いて実行し、更に、決定された解析対象領域に基づいてマイボーム腺領域を特定することができる。
【0272】
また、幾つかの例示的な態様では、被検者の眼瞼の動画像のフレームの少なくとも一部を複数の画像領域に分割するためのセグメンテーションを学習済みモデルを用いて実行し、更に、得られた複数の画像領域に基づいてマイボーム腺領域を特定することができる。
【0273】
また、幾つかの例示的な態様では、被検者の眼瞼の動画像のフレームの一部からマイボーム腺領域を特定する処理を学習済みモデルを用いて実行することができる。
【0274】
また、幾つかの例示的な態様では、被検者の眼瞼の動画像のフレームの全体からマイボーム腺領域を特定する処理を学習済みモデルを用いて実行することができる。
【0275】
このように構成された本実施形態に係る眼科画像処理方法によれば、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定して評価情報を生成することが可能である。これに対し、従来のマイボグラフィーを用いた検査においては、眼瞼の裏面を撮影する工程、得られた静止画像を保存する工程、及び、この静止画像を解析し評価する工程を経る必要があった。そのような一連の工程を要する従来の技術との比較において、本実施形態に係る眼科画像処理方法は、マイボーム腺に関する検査結果をより迅速に提供することができるという有利な効果を奏するものである。
【0276】
加えて、機械学習により構築された学習済みモデルを用いてマイボーム腺領域特定を実行するように構成された本実施形態に係る眼科画像処理方法によれば、従来のマイボグラフィーを用いた検査技術と比較して、マイボーム腺に関する検査をより高い品質(より高い正確度、より高い精度など)で実行することができるという有利な効果を奏することが可能である。
【0277】
本開示において眼科装置について説明した任意の事項を本実施形態の眼科画像処理方法に組み合わせることで、組み合わせた事項に対応した有利な効果を奏することが可能になる。
【0278】
<プログラム>
本開示で説明された任意の1つ以上の処理をコンピュータに実行させるプログラムを構成することが可能である。
【0279】
例えば、実施形態に係るプログラムは、眼科画像の処理をコンピュータに実行させるプログラムであって、このコンピュータに、被検者の眼瞼の動画像の少なくとも1つのフレームからマイボーム腺領域を特定する処理と、特定されたマイボーム腺領域に基づいて所定の疾患に関する評価情報を生成する処理とを実行させるように構成されている。
【0280】
このように構成された本実施形態に係るプログラムによれば、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定して評価情報を生成することが可能になるため、従来のマイボグラフィーを用いた検査技術よりも迅速にマイボーム腺に関する検査結果を提供することが可能になる。
【0281】
本開示において眼科装置及び/又は眼科画像処理方法について説明した任意の事項を本実施形態のプログラムに組み合わせることが可能である。そのようなプログラムは、組み合わせた事項に対応した有利な効果を奏することが可能になる。
【0282】
例えば、機械学習により構築された学習済みモデルを用いてマイボーム腺領域特定を実行するようにプログラムを構成することによって、従来のマイボグラフィーを用いた検査技術よりも高い品質(より高い正確度、より高い精度など)でマイボーム腺に関する検査を実行することが可能になる。
【0283】
<記録媒体>
本開示で説明された任意の1つ以上の処理をコンピュータに実行させるプログラムを記録した記録媒体を作成することが可能である。記録媒体は、コンピュータによって読み取り可能な非一時的記録媒体である。このような記録媒体の形態は任意であり、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
【0284】
このように構成された本実施形態に係る記録媒体によれば、被検者の眼瞼の動画像のフレームからマイボーム腺領域を特定して評価情報を生成することが可能になるため、従来のマイボグラフィーを用いた検査技術よりも迅速にマイボーム腺に関する検査結果を提供することが可能になる。
【0285】
本開示において眼科装置、眼科画像処理方法、及びプログラムのいずれかについて説明した任意の事項を本実施形態のプログラムに組み合わせることが可能である。そのようなプログラムは、組み合わせた事項に対応した有利な効果を奏することが可能になる。
【0286】
例えば、機械学習により構築された学習済みモデルを用いてマイボーム腺領域特定を実行するように構成されたプログラムが記録された記録媒体によれば、従来のマイボグラフィーを用いた検査技術よりも高い品質(より高い正確度、より高い精度など)でマイボーム腺に関する検査を実行することが可能になる。
【0287】
本開示は、実施形態の幾つかの例示的な態様を提示するものである。これらの態様は、本発明の例示に過ぎない。したがって、本発明の要旨の範囲内における任意の変形(省略、置換、付加など)を本開示に適用することが可能である。
【符号の説明】
【0288】
1000 眼科装置
1010 画像取得部
1020 画像処理部
1030 評価処理部