IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > 株式会社ニコン

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧

特許7585800画像処理方法、画像処理装置、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】画像処理方法、画像処理装置、及びプログラム
(51)【国際特許分類】
   A61B 3/10 20060101AFI20241112BHJP
   A61B 3/14 20060101ALI20241112BHJP
   A61B 5/055 20060101ALI20241112BHJP
【ＦＩ】
A61B3/10 300
A61B3/10 100
A61B3/14
A61B5/055 390
【請求項の数】 22
(21)【出願番号】P 2021005188
(22)【出願日】2021-01-15
(65)【公開番号】P2022109721
(43)【公開日】2022-07-28
【審査請求日】2023-10-10
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】田邉 泰士
(72)【発明者】
【氏名】田中 大士
(72)【発明者】
【氏名】石田 誠
(72)【発明者】
【氏名】向井 真梨子
【審査官】後藤 昌夫
(56)【参考文献】
【文献】特開２０１２－０７５６４０（ＪＰ，Ａ）
【文献】特開２０１８－０７５２２９（ＪＰ，Ａ）
【文献】特開２００６－０６１１９６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０２７３５５８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００－３／１８
(57)【特許請求の範囲】
【請求項1】
コンピュータに、
被検眼の三次元画像と、前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、を備える画像処理方法を実行させるプログラムであり、
前記三次元画像に重畳される前記二次元画像は、第１被検眼画像と前記第１被検眼画像とは異なる時期に撮影された第２被検眼画像との差分である、プログラム。
【請求項2】
コンピュータに、
被検眼の前眼部及び後眼部を含む被検眼全体の三次元画像と、前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、を備える画像処理方法を実行させるプログラムであり、
前記二次元画像は第１被検眼画像と前記第１被検眼画像とは異なる時期に撮影された第２被検眼画像とを含み、
前記重畳した画像を生成するステップは、前記三次元画像に前記第１被検眼画像及び前記第２被検眼画像を重畳した画像を生成することを含み、
前記三次元画像に重畳した画像から前記第１被検眼画像と前記第２被検眼画像との差分を抽出するステップを含む、プログラム。
【請求項3】
コンピュータに、
前記重畳した画像を出力するステップを更に含む前記画像処理方法を実行させる、請求項１または請求項２に記載のプログラム。
【請求項4】
前記三次元画像の少なくとも一部に重畳される前記二次元画像は、眼底の少なくとも一部領域を撮像した画像である、請求項１から請求項３の何れか１項に記載のプログラム。
【請求項5】
前記三次元画像の少なくとも一部に重畳される前記二次元画像は、眼底の血管が可視化された画像である、請求項１から請求項４の何れか１項に記載のプログラム。
【請求項6】
前記三次元画像の少なくとも一部に重畳される前記二次元画像は、渦静脈が可視化された画像である、請求項１から請求項５の何れか１項に記載のプログラム。
【請求項7】
前記二次元画像は、広角光学系を介して眼底を撮像することにより得られた眼底画像である、請求項１から請求項６の何れか１項に記載のプログラム。
【請求項8】
前記第一基準点及び前記第二基準点は、前記三次元画像と前記二次元画像とに共通する構造的特徴を含む、請求項１から請求項７の何れか１項に記載のプログラム。
【請求項9】
前記三次元画像において、互いに異なる位置に位置する複数の第一基準点を特定し、
前記二次元画像において、互いに異なる位置に位置する複数の第二基準点を特定し、
前記複数の第二基準点は、各々前記複数の第一基準点に対応する構造的特徴である、
請求項１から請求項８の何れか１項に記載のプログラム。
【請求項10】
前記第一基準点及び前記第二基準点は、黄斑、視神経乳頭、及び瞳孔の何れかの位置である、
請求項１から請求項９の何れか１項に記載のプログラム。
【請求項11】
前記重畳した画像を生成するステップは、
前記二次元画像を三次元仮想球面上に投影するステップと、
前記三次元仮想球面上に投影された前記二次元画像の第二基準点と前記三次元画像の第一基準点とが一致するように、前記三次元仮想球面上に投影された前記二次元画像と前記三次元画像とを重畳するステップと、
を含む、請求項１から請求項１０の何れか１項に記載のプログラム。
【請求項12】
前記重畳した画像を生成するステップは、
前記三次元画像の少なくとも一部に前記第１被検眼画像を重畳した第１重畳画像を生成するステップと、
前記第１重畳画像の少なくとも一部に前記第２被検眼画像を重畳した第２重畳画像を生成するステップと、
を含む、請求項２に記載のプログラム。
【請求項13】
前記三次元画像は、前記被検眼の前眼部および後眼部を含む被検眼全体の三次元画像である、請求項１から請求項１２の何れか１項に記載のプログラム。
【請求項14】
前記二次元画像は、ＳＬＯ画像及び後眼部ＯＣＴ画像であり、
前記重畳した画像を生成するステップは、
前記三次元画像の少なくとも一部に、前記ＳＬＯ画像及び前記後眼部ＯＣＴ画像を重畳するステップ
を含む、請求項１から請求項１３の何れか１項に記載のプログラム。
【請求項15】
前記二次元画像は、眼底画像及び前眼部ＯＣＴ画像であり、
前記重畳した画像を生成するステップは、
前記三次元画像の少なくとも一部に、前記眼底画像及び前記前眼部ＯＣＴ画像を重畳した画像を生成するステップを含む、請求項１から請求項１３の何れか１項に記載のプログラム。
【請求項16】
前記二次元画像は、眼底画像及び被検眼全体のＯＣＴ画像であり、
前記重畳した画像を生成するステップは、前記三次元画像の少なくとも一部に、前記眼底画像及び前記被検眼全体のＯＣＴ画像を重畳した画像を生成するステップを含む、請求項１から請求項１３の何れか１項に記載のプログラム。
【請求項17】
前記三次元画像に重畳される前記二次元画像は、病変部を示す領域を含む画像である、請求項１から請求項１６の何れか１項に記載のプログラム。
【請求項18】
前記三次元画像は、ＭＲＩ三次元眼球画像である、請求項１から請求項１７の何れか１項に記載のプログラム。
【請求項19】
メモリと、前記メモリに接続するプロセッサと、を備え、
前記プロセッサは、
被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、を含むプログラムを実行する画像処理装置であり、
前記三次元画像に重畳される前記二次元画像は、第１被検眼画像と前記第１被検眼画像と異なる時期に撮影された第２被検眼画像との差分である、画像処理装置。
【請求項20】
メモリと、前記メモリに接続するプロセッサと、を備え、
前記プロセッサは、
被検眼の前眼部及び後眼部を含む被検眼全体の三次元画像と、前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、を含むプログラムを実行する画像処理装置であり、
前記二次元画像は第１被検眼画像と前記第１被検眼画像とは異なる時期に撮影された第２被検眼画像とを含み、
前記重畳した画像を生成するステップは、前記三次元画像に前記第１被検眼画像及び前記第２被検眼画像を重畳した画像を生成することを含み、
前記三次元画像に重畳した画像から前記第１被検眼画像と前記第２被検眼画像との差分を抽出するステップを含む、画像処理装置。
【請求項21】
被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、含み、
前記三次元画像に重畳される前記二次元画像は、第１被検眼画像と前記第１被検眼画像とは異なる時期に撮影された第２被検眼画像との差分である、画像処理方法。
【請求項22】
被検眼の前眼部及び後眼部を含む被検眼全体の三次元画像と、前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成する
ステップとを含み、
前記二次元画像は第１被検眼画像と前記第１被検眼画像とは異なる時期に撮影された第２被検眼画像とを含み、
前記重畳した画像を生成するステップは、前記三次元画像に前記第１被検眼画像及び前記第２被検眼画像を重畳した画像を生成することを含み、
前記三次元画像に重畳した画像から前記第１被検眼画像と前記第２被検眼画像との差分を抽出するステップを含む、画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、画像処理方法、画像処理装置、及びプログラムに関する。
【背景技術】
【0002】
ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ（磁気共鳴撮像））画像から眼球モデルを構築することが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１３－０３１５３６号
【発明の概要】
【0004】
本開示の技術の第１の態様の画像処理方法は、被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、前記三次元画像において第一基準点を特定するステップと、前記二次元画像において第二基準点を特定するステップと、前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、を備える。
【0005】
本開示の技術の第２の態様の画像処理装置は、メモリと、前記メモリに接続するプロセッサと、を備え、前記プロセッサは、被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、前記三次元画像において第一基準点を特定するステップと、前記二次元画像において第二基準点を特定するステップと、前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、を含む画像処理方法を実行する。
【0006】
本開示の技術の第３の態様のプログラムは、コンピュータに、被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、前記三次元画像において第一基準点を特定するステップと、前記二次元画像において第二基準点を特定するステップと、前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、を含む画像処理方法を実行させる。
【0007】
本開示の技術の第４の態様の画像処理方法は、被検眼を第１のモダリティで撮像した、三次元画像である第１画像を取得するステップと、前記第１のモダリティとは異なる第２のモダリティで前記被検眼を撮像した第２画像を取得するステップと、前記第１画像において第一構造的特徴を特定するステップと、前記第２画像において前記第一構造的特徴に対応する第二構造的特徴を特定するステップと、前記第一構造的特徴及び前記第二構造的特徴を基準にして、前記第１画像の少なくとも一部に前記第２画像の少なくとも一部を重畳した画像を生成するステップと、を備える。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係る眼科システム１００の構成を示すブロック図である。
【図2】ＵＷＦ眼科装置１１０の電気系の構成を示すブロック図である。
【図3】管理サーバ１４０の電気系の構成を示すブロック図である。
【図4】画像ビューワ１５０の電気系の構成を示すブロック図である。
【図5】管理サーバ１４０のＣＰＵ１６２の機能ブロック図である。
【図6】管理サーバ１４０が実行する画像処理プログラムのフローチャートである。
【図7】ＵＷＦ二次元眼底画像３５０において視神経乳頭３５２と黄斑３５６とが検出された様子を示す図である。
【図8】ＵＷＦ二次元眼底画像３５０において視神経乳頭３５２、黄斑３５６、及び瞳孔３５４が検出された様子を示す図である。
【図9】ＭＲＩ三次元眼球画像３７０において視神経乳頭３７３が検出された様子を示す図である。
【図10】ＭＲＩ三次元眼球画像３７０において視神経乳頭３７３が検出された様子を示す図である。
【図11A】ＭＲＩ三次元眼球画像３７０において角膜中心３７６が検出された様子を示す図である。
【図11B】ＭＲＩ三次元眼球画像３７０において角膜中心３７６及び瞳孔３７８が検出された様子を示す図である。
【図12】眼底３５１を撮影したＵＷＦ二次元眼底画像３５０に瞳孔が存在しない様子を示す図である。
【図13A】ＵＷＦ二次元眼底画像をＭＲＩ三次元眼球画像に重畳する様子を示す図である。
【図13B】ＵＷＦ二次元眼底画像３５０を重畳する様子を説明する図である。
【図14】ディスプレイ・スクリーン４００を示す図である。
【図15】ＭＲＩ三次元眼球画像にＵＷＦ二次元眼底画像を重畳した画像と、前眼部ＯＣＴ画像と後眼部ＯＣＴ画像を含む被検眼全体のＯＣＴ断層画像とを重畳する様子を示す図である。
【図16】ＭＲＩ三次元眼球画像３７０に眼底画像の一部の領域の画像３８２、３８４を重畳する様子を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して本開示の技術の実施の形態を詳細に説明する。
【0010】
図１を参照して、本開示の技術の実施の形態に係る眼科システム１００の構成について説明する。図１は、本実施形態に係る眼科システム１００の構成を示すブロック図である。図１に示すように、眼科システム１００は、ＵＷＦ（Ｕｌｔｒａ Ｗｉｄｅ Ｆｉｅｌｄ（超広角））眼科装置１１０と、ＭＲＩ画像取得装置１２０と、ネットワーク１３０と、管理サーバ装置（以下、「管理サーバ」という）１４０と、画像表示装置（以下、「画像ビューワ」という）１５０とを備えて構成される。
【0011】
ＵＷＦ眼科装置１１０、ＭＲＩ画像取得装置１２０、管理サーバ１４０、及び画像ビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。ネットワーク１３０は、ＬＡＮ、ＷＡＮ、インターネットや広域イーサ網等の任意のネットワークである。例えば、眼科システム１００が１つの病院に構築される場合には、ネットワーク１３０にＬＡＮを採用することができる。
【0012】
ＭＲＩ画像取得装置１２０は、被検眼を強力な静磁場（超電導、常電導、又は永久磁石による）に置き、各種のパルス系列の電磁波を被検眼に与えた後、核磁気共鳴現象を応用して水素原子核の生化学情報を信号として処理し、画像化する装置である（非特許文献１）。画像構成要素は緩和時間（Ｔ，Ｔ２）と水素原子核密度である。適当なパルス系列を選ぶことにより、緩和時間Ｔ１，Ｔ２や水素原子核密度を強調した画像（ＭＲＩ三次元眼球画像）が得られる。パルス系列として飽和回復法（Ｓａｔｕｒａｔｉｏｎ Ｒｅｃｏｖｅｒｙ， ＳＲ）、反復回復法（Ｉｎｖｅｒｓｉｏｎ Ｒｅｃｏｖｅｒｙ， ＩＲ）、スピンエコー法（Ｓｐｉｎ Ｅｃｈｏ， ＳＥ）、又はＳＴＩＲ法などを用いることができる。なお、ＭＲＩ画像取得装置１２０により得られるＭＲＩ三次元眼球画像は、三次元形状をモデリングして得られるサーフェスの画像（球面画像）である。ＭＲＩ三次元眼球画像は、眼球及び視神経の各々の構造部分を有する。
（非特許文献１）中 尾 雄 三，”眼 科 に お け る磁 気 共 鳴 画 像（ＭＲＩ）検 査” ，第１頁，［ｏｎｌｉｎｅ］，日本視能訓練士協会第５回 講 演 会，インターネット ＜ｈｔｔｐｓ：／／ｗｗｗ．ｊｓｔａｇｅ．ｊｓｔ．ｇｏ．ｊｐ／ａｒｔｉｃｌｅ／ｊｏｒｔｈｏｐｔｉｃ１９７７／１８／０／１８＿０＿１／＿ｐｄｆ／－ｃｈａｒ／ｊａ＞
【0013】
管理サーバ１４０は、ＵＷＦ眼科装置１１０により眼底が撮影されて得られた後述する各種ＵＷＦ眼底画像及びＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）画像と、ＭＲＩ画像取得装置１２０により取得された被検眼のＭＲＩ三次元眼球画像とを、患者ＩＤに対応して、ネットワーク１３０を介して受信し、メモリ１６４（図３も参照）に格納する。よって、管理サーバ１４０のメモリ１６４には、各患者の患者ＩＤに対応して、各種ＵＷＦ眼底画像及びＯＣＴ画像とＭＲＩ三次元眼球画像とが記憶されている。また、管理サーバ１４０は、画像ビューワ１５０に、ネットワーク１３０を介して各種画像を送信する。
【0014】
画像ビューワ１５０は、タッチパネルやディスプレイ等であり、通信機能を有する。画像ビューワ１５０は、管理サーバ１４０により取得した眼底画像を表示する。
【0015】
なお、他の眼科機器（視野測定、眼圧測定などの検査機器）や人工知能を用いた画像解析を行う診断支援装置がネットワーク１３０を介して、ＵＷＦ眼科装置１１０、ＭＲＩ画像取得装置１２０、管理サーバ１４０、及び画像ビューワ１５０に接続されていてもよい。
【0016】
次に、図２を参照してＵＷＦ眼科装置１１０の構成を説明する。図２は、本実施形態に係るＵＷＦ眼科装置１１０のハードウェア構成を示すブロック図である。図２に示すように、ＵＷＦ眼科装置１１０は、撮影装置１４及び制御装置１６を含む。
【0017】
なお、ＵＷＦ眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、撮影光学系１９の光軸方向を「Ｚ方向」とする。方向の光軸上に被検眼の瞳孔２７の中心が位置するように装置が被検眼１２に対して配置される。Ｘ方向、Ｙ方向、及びＺ方向は互いに垂直である。
【0018】
制御装置１６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（中央処理装置））１６Ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６Ｂ、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ ｍｅｍｏｒｙ）１６Ｃ、入出力（Ｉ／Ｏ）ポート１６Ｄ、入力／表示装置１６Ｅ、及び通信インターフェース（Ｉ／Ｆ）１６Ｆを有するコンピュータを備える。制御装置１６の各構成は、バスを介して相互に通信可能に接続されている。
【0019】
ＣＰＵ１６Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１６Ａは、ＲＯＭ１６Ｃからプログラムを読み出し、ＲＡＭ１６Ｂを作業領域としてプログラムを実行する。ＣＰＵ１６Ａは、ＲＯＭ１６Ｃに記憶されているプログラムに従って、各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１６Ｃには、スキャン処理を実行するためのスキャンプログラムが記憶されている。
【0020】
ＲＡＭ１６Ｂは、作業領域として一時的にプログラム又はデータを記憶する。ＲＯＭ１６Ｃは、各種プログラム及び各種データを記憶する。なお、制御装置１６は、更に、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成されるストレージを備える構成としてもよい。この場合、ストレージには、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。
【0021】
入力／表示装置１６Ｅは、Ｉ／Ｏポート１６Ｄを介してＣＰＵ１６Ａに接続される。入力／表示装置１６Ｅは、被検眼１２の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィカルユーザインターフェース（ＧＵＩ）を有する。ＧＵＩとしては、タッチパネルやディスプレイを採用することができる。また、制御装置１６は、Ｉ／Ｏポート１６Ｄに接続された画像処理装置１７を備えている。
【0022】
制御装置１６は、通信インターフェース１６Ｆを介してネットワーク１３０に接続する。通信インターフェース１６Ｆは、他の機器と通信するためのインターフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
【0023】
なお、図２では、ＵＷＦ眼科装置１１０の制御装置１６が入力／表示装置１６Ｅを備えているが、本開示の技術はこれに限定されない。例えば、ＵＷＦ眼科装置１１０の制御装置１６は入力／表示装置１６Ｅを備えず、ＵＷＦ眼科装置１１０とは物理的に独立した別個の入力／表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置１６のＣＰＵ１６Ａの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、ＣＰＵ１６Ａが出力指示した画像信号に基づいて、取得した画像等を表示するようにしてもよい。
【0024】
画像処理装置１７は、撮影装置１４によって得られたデータに基づき被検眼１２の画像を生成する。なお、画像処理装置１７を省略し、ＣＰＵ１６Ａが、撮影装置１４によって得られたデータに基づき被検眼１２の画像を生成するようにしてもよい。
【0025】
撮影装置１４は、被検眼１２の画像を撮影する。撮影装置１４は、制御装置１６の制御下で作動する。説明の便宜上、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌを「ＳＬＯ」と称する。撮影装置１４は、撮影光学系１９、ＳＬＯユニット１８及びＯＣＴユニット２０を含む。ＳＬＯユニット１８は被検眼１２の眼底１２Ａの画像を取得する。ＯＣＴユニット２０は被検眼１２の断層画像を取得する。
【0026】
以下では、ＳＬＯユニット１８により取得されたＳＬＯデータに基づいて作成された網膜の正面視画像をＳＬＯ画像と称し、ＯＣＴユニット２０により取得されたＯＣＴデータに基づいて作成された網膜の断層画像や正面画像（ｅｎ－ｆａｃｅ画像）等をＯＣＴ画像と称する。なお、ＳＬＯ画像は、二次元眼底画像と言及されることもある。また、ＯＣＴ画像は、被検眼１２の撮影部位に応じて、眼底断層画像、前眼部断層画像と言及されることもある。
【0027】
撮影光学系１９自体は、ＣＰＵ１６Ａの制御下で、図示しない撮影光学系駆動部によりＸ、Ｙ、Ｚ方向に移動される。撮影装置１４と被検眼１２とのアラインメント（位置合わせ）は、例えば、撮影装置１４のみばかりではなく、ＵＷＦ眼科装置１１０全体をＸ、Ｙ、Ｚ方向に移動させることにより、行われてもよい。
【0028】
撮影光学系１９は、光路合成素子２１、第１スキャナ２２、第２スキャナ２４、及び対物光学系２６を含む。光路合成素子２１はハーフミラー又はビームスプリッタであり、第１スキャナ２２及び第２スキャナ２４は、光学スキャナである。
【0029】
対物光学系２６は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。
【0030】
楕円鏡を含むシステムを用いる場合には、国際公開ＷＯ２０１６／１０３４８４あるいは国際公開ＷＯ２０１６／１０３４８９に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開ＷＯ２０１６／１０３４８４の開示および国際公開ＷＯ２０１６／１０３４８９の開示の各々は、その全体が参照により本明細書に取り込まれる。
【0031】
撮影光学系１９によって、眼底において広い視野（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）での観察が実現される。ＦＯＶは、撮影装置１４によって撮影可能な範囲を示している。ＦＯＶは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、ＵＷＦ眼科装置１１０から被検眼へ照射される光束の照射角を、瞳孔を基準として規定した照射角である。また、内部照射角とは、眼底１２Ａへ照射される光束の照射角を、眼球中心Ｏを基準として規定した照射角である。外部照射角と内部照射角は、対応関係にある。例えば、外部照射角が１２０度の場合、内部照射角は約１６０度に相当する。本実施の形態では、内部照射角は２００度としている。
【0032】
ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＳＬＯ眼底画像をＵＷＦ－ＳＬＯ眼底画像と称する。
【0033】
まず、ＳＬＯ画像取得について説明する。
【0034】
ＳＬＯユニット１８は、複数の光源を備えている。図２に示すように、ＳＬＯユニット１８は、Ｂ光（青色光）の光源４０、Ｇ光（緑色光）の光源４２、Ｒ光（赤色光）の光源４４、及びＩＲ光（赤外線（例えば、近赤外光））の光源４６と、各光源４０、４２、４４、４６から出射された光を、反射又は透過して１つの光路に導く光学系４８、５０、５２、５４、５６とを備えている。光学系４８、５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタ―である。Ｂ光は、光学系４８で反射し、光学系５０を透過し、光学系５４で反射し、Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５２、５６で反射して、それぞれ１つの光路に導かれる。
【0035】
なお、光源４０、４２、４４、４６としては、ＬＥＤ光源や、レーザ光源を用いることができる。なお、以下には、レーザ光源を用いた例を説明する。光学系４８、５６として、全反射ミラーを用いることができる。また、光学系５０、５２、５４として、ダイクロイックミラー、ハーフミラー等を用いることができる。
【0036】
ＳＬＯユニット１８は、Ｇ光、Ｒ光、Ｂ光およびＩＲ光をそれぞれ個別に発する発光モードや、それらすべてを同時にもしくは幾つかを同時に発する発光モードなど、各種発光モードを切り替え可能に構成されている。図２に示す例では、Ｂ光（青色光）の光源４０、Ｇ光の光源４２、Ｒ光の光源４４、およびＩＲ光の光源４６の４つの光源を備えるが、本開示の技術は、これに限定されない。例えば、ＳＬＯユニット１８は、更に、白色光の光源を更に備えていてもよい。この場合、上記各種発光モードに加えて、白色光のみを発する発光モード等を設定してもよい。
【0037】
ＳＬＯユニット１８から撮影光学系１９に入射されたレーザ光は、撮影光学系１９の第１スキャナ２２及び第２スキャナ２４によってＸ方向およびＹ方向に走査される。走査光は瞳孔２７を経由して、被検眼１２の後眼部（例えば、眼底１２Ａ）に照射される。眼底１２Ａにより反射された反射光は、撮影光学系１９を経由してＳＬＯユニット１８へ入射される。
【0038】
眼底１２Ａで反射された反射光は、ＳＬＯユニット１８に設けられた光検出素子７０、７２、７４、７６で検出される。本実施形態では、複数の光源、すなわち、Ｂ光源４０、Ｇ光源４２、Ｒ光源４４およびＩＲ光源４６に対応させて、ＳＬＯユニット１８は、Ｂ光検出素子７０、Ｇ光検出素子７２、Ｒ光検出素子７４およびＩＲ光検出素子７６を備える。Ｂ光検出素子７０は、ビームスプリッタ６４で反射されたＢ光を検出する。Ｇ光検出素子７２は、ビームスプリッタ６４を透過し、ビームスプリッタ５８で反射されたＧ光を検出する。Ｒ光検出素子７４は、ビームスプリッタ６４、５８を透過し、ビームスプリッタ６０で反射されたＲ光を検出する。ＩＲ光検出素子７６は、ビームスプリッタ６４、５８、６０を透過し、ビームスプリッタ６２で反射されたＩＲ光を検出する。光検出素子７０、７２、７４、７６として、例えば、ＡＰＤ（ａｖａｌａｎｃｈｅ ｐｈｏｔｏｄｉｏｄｅ：アバランシェ・フォトダイオード）が挙げられる。
【0039】
画像処理装置１７は、ＣＰＵ１６Ａの制御のもと、Ｂ光検出素子７０、Ｇ光検出素子７２、Ｒ光検出素子７４、およびＩＲ光検出素子７６のそれぞれで検出された信号を用いて、各色に対応するＳＬＯ画像を生成する。各色に対応するＳＬＯ画像には、Ｂ光検出素子７０で検出された信号を用いて生成されたＢ－ＳＬＯ画像、Ｇ光検出素子７２で検出された信号を用いて生成されたＧ－ＳＬＯ画像、Ｒ光検出素子７４で検出された信号を用いて生成されたＲ－ＳＬＯ画像、及びＩＲ光検出素子７６で検出された信号を用いて生成されたＩＲ－ＳＬＯ画像である。また、Ｂ光源４０、Ｇ光源４２、Ｒ光源４４が同時に発光する発光モードの場合、Ｒ光検出素子７４、Ｇ光検出素子７２、及びＢ光検出素子７０で検出されたそれぞれの信号を用いて生成されたＢ－ＳＬＯ画像、Ｇ－ＳＬＯ画像およびＲ－ＳＬＯ画像から、ＲＧＢ－ＳＬＯ画像を合成してもよい。また、Ｇ光源４２、Ｒ光源４４が同時に発光する発光モードの場合、Ｒ光検出素子７４及びＧ光検出素子７２で検出されたそれぞれの信号を用いて生成されたＧ－ＳＬＯ画像およびＲ－ＳＬＯ画像から、ＲＧ－ＳＬＯ画像を合成してもよい。
【0040】
ビームスプリッタ５８、６０、６２、６４には、ダイクロイックミラー、ハーフミラー等を用いることができる。
【0041】
次にＯＣＴ画像取得について説明する。ＯＣＴシステムは、図２に示す制御装置１６、ＯＣＴユニット２０、および撮影光学系１９によって実現される三次元画像取得装置である。ＯＣＴユニット２０は、光源２０Ａ、センサ（検出素子）２０Ｂ、第１の光カプラ２０Ｃ、参照光学系２０Ｄ、コリメートレンズ２０Ｅ、および第２の光カプラ２０Ｆを含む。
【0042】
光源２０Ａは、光干渉断層撮影のための光を発生する。光源２０Ａとしては、例えば、スーパールミネセントダイオード（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ；ＳＬＤ）を用いることができる。光源２０Ａは、広いスペクトル幅をもつ広帯域光源の低干渉性の光を発生する。光源２０Ａから射出された光は、第１の光カプラ２０Ｃで分割される。分割された一方の光は、測定光として、コリメートレンズ２０Ｅで平行光にされた後、撮影光学系１９に入射される。測定光は、撮影光学系１９の第１スキャナ２２及び第２スキャナ２４によってＸ方向およびＹ方向に走査される。走査光は、被検眼の前眼部や、瞳孔２７を経由して後眼部に照射される。前眼部又は後眼部で反射された測定光は、撮影光学系１９を経由してＯＣＴユニット２０へ入射され、コリメートレンズ２０Ｅおよび第１の光カプラ２０Ｃを介して、第２の光カプラ２０Ｆに入射する。なお、本実施形態では、光源２０ＡとしてＳＬＤを用いるＳＤ－ＯＣＴが例示されているが、これに限定されず、ＳＬＤに替えて波長掃引光源を用いるＳＳ－ＯＣＴが採用されてもよい。
【0043】
光源２０Ａから射出され、第１の光カプラ２０Ｃで分岐された他方の光は、参照光として、参照光学系２０Ｄへ入射され、参照光学系２０Ｄを経由して、第２の光カプラ２０Ｆに入射する。
【0044】
被検眼１２で反射および散乱された測定光（戻り光）と、参照光とは、第２の光カプラ２０Ｆで合成されて干渉光が生成される。干渉光はセンサ２０Ｂで検出される。画像処理装置１７は、センサ２０Ｂからの検出信号（ＯＣＴデータ）に基づいて、被検眼１２の断層画像を生成する。
【0045】
ＯＣＴシステムは、被検眼１２の前眼部又は後眼部の断層画像を生成する。
【0046】
被検眼１２の前眼部は、前眼セグメントとして、例えば、角膜、虹彩、隅角、水晶体、毛様体、および硝子体の一部を含む部分である。被検眼１２の後眼部は、後眼セグメントとして、例えば、硝子体の残りの一部、網膜、脈絡膜、及び強膜を含む部分である。なお、前眼部に属する硝子体は、硝子体の内、水晶体の最も眼球中心に近い点を通るＸ－Ｙ平面を境界として、角膜側の部分であり、後眼部に属する硝子体は、硝子体の内、前眼部に属する硝子体以外の部分である。
【0047】
ＯＣＴシステムは、被検眼１２の前眼部が撮影対象部位である場合、例えば、角膜の断層画像を生成する。また、被検眼１２の後眼部が撮影対象部位である場合、ＯＣＴシステムは、例えば、網膜の断層画像を生成する。以下、角膜の断層画像を前眼部ＯＣＴ画像、網膜の断層画像を後眼部ＯＣＴ画像、と称することもある。前眼部ＯＣＴ画像と後眼部ＯＣＴ画像とを含むＯＣＴ画像を、Ｗｈｏｌｅ－ＥｙｅＯＣＴ画像（被検眼全体のＯＣＴ画像）と称することもある。
【0048】
ＯＣＴユニット２０から射出され、光路合成素子２１を通過した光を、第１スキャナ２２によりＸ軸方向に走査する。第２スキャナ２４は、ＯＣＴユニット２０から射出された光をＹ方向に走査する。第１スキャナ２２及び第２スキャナ２４は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。なお、第１スキャナ２２及び第２スキャナ２４を１つの光学スキャナとして構成してもよい。
【0049】
対物光学系２６は、第１スキャナ２２及び第２スキャナ２４により導かれた光を、被検眼１２に導く光学系である。なお、対物光学系２６は、楕円鏡などの凹面ミラーを用いた反射光学系、広角レンズ等を用いた屈折光学系、又は凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。
【0050】
そして、ＯＣＴユニット２０から測定光のフォーカス調整を行うフォーカス調整機構２８を備える。フォーカス調整機構２８は、後述する光学調整機構の１つである。
【0051】
光源２０Ａから射出された光は、第１の光カプラ２０Ｃで分岐される。分岐された一方の光は、測定光として、コリメートレンズ２０Ｅで平行光にされた後、撮影光学系１９に入射される。測定光は、第１スキャナ２２及び第２スキャナ２４によってＸ方向及びＹ方向に走査される。走査光は対物光学系２６及び瞳孔２７を経由して、眼底に照射される。眼底により反射された測定光は、対物光学系２６、第２スキャナ２４及び第１スキャナ２２を経由してＯＣＴユニット２０へ入射され、コリメートレンズ２０Ｅ及び第１の光カプラ２０Ｃを介して、第２の光カプラ２０Ｆに入射する。
【0052】
光源２０Ａから射出され、第１の光カプラ２０Ｃで分岐された他方の光は、参照光として、参照光学系２０Ｄへ入射され、参照光学系２０Ｄを経由して、第２の光カプラ２０Ｆに入射する。第２の光カプラ２０Ｆに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第２の光カプラ２０Ｆで干渉されて干渉光を生成する。干渉光はセンサ２０Ｂで受光される。画像処理部１８２（図５も参照）の制御下で動作する画像処理装置１７は、センサ２０Ｂで検出されたＯＣＴデータに基づいて断層画像やｅｎ－ｆａｃｅ画像等のＯＣＴ画像を生成する。
【0053】
図３を参照して、管理サーバ１４０の構成を説明する。図３に示すように、管理サーバ１４０は、制御ユニット１６０、及び表示／操作ユニット１７０を備えている。制御ユニット１６０は、ＣＰＵ１６２を含むコンピュータ、記憶装置であるメモリ１６４、及び通信インターフェース（Ｉ／Ｆ）１６６等を備えている。なお、メモリ１６４には、図６に示す画像処理プログラムが記憶されている。表示／操作ユニット１７０は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ１７２及びタッチパネル１７４を備えている。
【0054】
制御ユニット１６０は、本開示の技術の「コンピュータープログラム製品」の一例である。
【0055】
メモリ１６４は、本開示の技術の「メモリ」の一例である。ＣＰＵ１６２は、本開示の技術の「プロセッサ」の一例である。画像処理プログラムは、本開示の技術の「プログラム」の一例である。
【0056】
図４を参照して、画像ビューワ１５０の電気系の構成を説明する。図４に示すように、画像ビューワ１５０は、コンピュータ本体２５２を備えている。
【0057】
コンピュータ本体２５２は、バス２７０を介して相互に接続されたＣＰＵ２６２、ＲＡＭ２６６、ＲＯＭ２６４、および入出力（Ｉ／Ｏ）ポート２６８を有する。入出力（Ｉ／Ｏ）ポート２６８には、記憶装置２５４、ディスプレイ２５６、マウス２５５Ｍ、キーボード２５５Ｋ、および通信インターフェース（Ｉ／Ｆ）２５８が接続されている。記憶装置２５４は、例えば、不揮発メモリで構成される。入出力（Ｉ／Ｏ）ポート２６８は、通信インターフェース（Ｉ／Ｆ）２５８を介して、ネットワーク１３０に接続されている。従って、画像ビューワ１５０は、ＵＷＦ眼科装置１１０および管理サーバ１４０と通信することができる。記憶装置２５４は、後述するデータ作成プログラムが記憶されている。
【0058】
管理サーバ１４０のＣＰＵ１６２は図５に示すように、画像処理部１８２、表示制御部１８４、及び出力部１８６として機能する。
【0059】
画像処理部１８２は、本開示の技術の「取得部」、「特定部」、及び「生成部」の一例である。
【0060】
次に、図６を用いて、管理サーバ１４０による画像処理を詳細に説明する。管理サーバ１４０のＣＰＵ１６２が画像処理プログラムを実行することで、図６のフローチャートに示された画像処理（画像処理方法）が実現される。画像処理プログラムは、オペレータによりタッチパネル１７４を介してスタートする指示がされると、スタートする。
【0061】
画像処理プログラムをスタートする指示をする際、オペレータは、タッチパネル１７４を介して患者ＩＤを入力する。
【0062】
ステップ３０２で、画像処理部１８２は、タッチパネル１７４を介して入力された患者ＩＤを特定する。
【0063】
上記のようにメモリ１６４には、患者ＩＤに対応して、ＵＷＦ二次元眼底画像と、ＯＣＴ画像と、ＭＲＩ三次元眼球画像とが対応して記憶されている。尚、ＵＷＦ二次元眼底画像は、眼底の後極部及び周辺部の血管を撮像した画像、即ち、眼底の血管が可視化された画像である。ＵＷＦ二次元眼底画像は、網膜及び／又は脈絡膜の血管が可視化された画像である。周辺部まで撮像された画像であるため、ＵＷＦ二次元眼底画像は渦静脈の画像を有する。
ＵＷＦ二次元眼底画像は、本開示の技術の「二次元画像」の一例である。ＭＲＩ三次元眼球画像は、本開示の技術の「三次元画像」の一例である。
【0064】
ステップ３０４で画像処理部１８２は、メモリ１６４から、上記特定した患者ＩＤに対応して記憶されているＵＷＦ二次元眼底画像を取得し、ステップ３０６で、画像処理部１８２は、上記患者ＩＤに対応して記憶されたＭＲＩ三次元眼球画像を取得する。尚、ステップ３０４とステップ３０６との実行する順番はこれに限定されず、その逆でもよい。ステップ３０４とステップ３０６との何れかにおいて、画像処理部１８２は、ＯＣＴ画像を取得する。
【0065】
ステップ３０８で、画像処理部１８２は、ＵＷＦ二次元眼底画像とＭＲＩ三次元眼球画像とに互いに対応する基準点を特定する。一例として、基準点は、共通して撮像される被検眼の眼底における構造的特徴である。よって、基準点は、ＵＷＦ二次元眼底画像とＭＲＩ三次元眼球画像とに共通する構造的特徴である。基準点は一つであっても複数であってもよい。基準点が複数である場合には、ＵＷＦ二次元眼底画像及びＭＲＩ三次元眼球画像の一方の画像において互いに異なる位置に位置する複数の構造的特徴の位置をそれぞれの基準点として特定する。そして、他方の画像においても、ＵＷＦ二次元眼底画像において複数の基準点が特定された複数の構造的特徴について、複数の基準点を特定する。なお、構造的特徴とは、第１に、視神経乳頭、瞳孔、及び黄斑などの被検眼の解剖学的特徴、第２に、渦静脈などの血管構造、第３に、ぶどう膜炎などで見られる不均一な眼底陥没構造などの構造要素があげられる。
【0066】
ここで、複数の基準点は、第１構造的特徴と、第１構造的特徴とは異なる位置に位置する第２構造的特徴とに設定される。第１構造的特徴及び第２構造的特徴は、例えば、視神経乳、瞳孔、及び黄斑の中から選択される。例えば、第１構造的特徴は、視神経乳頭であり、第２構造的特徴は、例えば、黄斑である。複数の基準点は、２つ以上であればよく、例えば、３つでもよく、４つでもよく、５つでもよい。複数の基準点は、第１構造的特徴と、第１構造的特徴とは異なる位置に位置する第２構造的特徴と、さらに第１構造的特徴及び第２構造的特徴とは異なる位置に位置する第３構造的特徴とに設定されてもよい。例えば、第１構造的特徴は視神経乳頭であり、第２構造的特徴は黄斑であり、第３構造的特徴は瞳孔である。この場合、第１構造的特徴である視神経乳頭ついて、ＭＲＩ三次元眼球画像においては第一基準点を特定し、ＵＷＦ二次元眼底画像においては第二基準点を特定する。第２構造的特徴である黄斑について、ＭＲＩ三次元眼球画像においては第２の第一基準点を特定し、ＵＷＦ二次元眼底画像においては第２の第二基準点を特定する。そして、第３構造的特徴である瞳孔について、ＵＷＦ二次元眼底画像においては第３の第一基準点を特定し、ＭＲＩ三次元眼球画像においては第３の第二基準点を特定する。
【0067】
ＵＷＦ二次元眼底画像とＭＲＩ三次元眼球画像とにおいて上記複数の基準点を特定する方法には、まず、ＵＷＦ二次元眼底画像とＭＲＩ三次元眼球画像との何れか一方において複数の基準点を特定し、次に、特定した複数の基準点に対応する点を、ＵＷＦ二次元眼底画像とＭＲＩ三次元眼球画像との何れか他方において特定する第１の方法と、ＵＷＦ二次元眼底画像とＭＲＩ三次元眼球画像との各々において互いに独立して、複数の基準点を特定する第２の方法と、がある。なお、第２の方法では、複数の基準点を特定する順番としては、まず、ＵＷＦ二次元眼底画像から特定し、次に、ＭＲＩ三次元眼球画像から特定する順番でもよい、その逆の順番でもよい。
【0068】
まず、第１の方法を説明する。画像処理部１８２は、図７に示すように、ＵＷＦ二次元眼底画像３５０において最も明るい点を検出することにより、視神経乳頭３５２を検出する。また、画像処理部１８２は、ＵＷＦ二次元眼底画像３５０において最も暗い点を検出することにより、黄斑３５６を検出する。
【0069】
次に、画像処理部１８２は、ＵＷＦ二次元眼底画像３５０において検出した視神経乳頭３５２と黄斑３５６との各々に対応する点を、図８に示すように、ＭＲＩ三次元眼球画像３７０から検出する。以下、当該検出方法を説明する。
【0070】
例えば、まず、画像処理部１８２は、ＵＷＦ二次元眼底画像３５０を、ステレオ画像投影法の関係式を基に三次元仮想球面上に投影させる。これにより、ＵＷＦ二次元眼底画像３５０が投影された球面画像が得られる。この場合、画像処理部１８２は、視神経乳頭の位置を三次元仮想球面上の例えば北極に位置させる。そして、画像処理部１８２は、黄斑の三次元仮想球面上の緯度及び経度の座標を算出する。
【0071】
画像処理部１８２は、ＭＲＩ三次元眼球画像３７０上において視神経乳頭３７３の位置を検出する。具体的には、画像処理部１８２は、予め定められた視神経構造部の三次元形状を用いて、ＭＲＩ三次元眼球画像３７０において、三次元ボリューム画像の解析により、当該三次元形状に対応する三次元形状を、視神経構造部として検出する。画像処理部１８２は、視神経構造部を２値画像化し、細線化処理を行って中心線を算出し、当該中心線とＭＲＩ三次元眼球画像の交点部分を、視神経乳頭３７３の位置として求める。画像処理部１８２は、ＭＲＩ三次元眼球画像３７０において、北極を、視神経乳頭３７３の位置として設定する。画像処理部１８２は、ＵＷＦ二次元眼底画像３５０が投影された上記球面画像において算出された緯度及び経度の位置を、ＭＲＩ三次元眼球画像３７０において検出し、検出された位置を黄斑３７５の位置として設定する。
【0072】
以上のように、本開示の技術は、ＵＷＦ二次元眼底画像３５０において視神経乳頭３５２と黄斑３５６とを検出した後、視神経乳頭３５２と黄斑３５６との各々に対応する点を、ＭＲＩ三次元眼球画像３７０から検出する方法を用いることに限定されない。その逆の方法を用いてもよい。即ち、ＭＲＩ三次元眼球画像３７０から視神経乳頭３７３と黄斑３７５とを検出した後、視神経乳頭３７３と黄斑３７５との各々に対応する点を、ＵＷＦ二次元眼底画像３５０から検出するようにしてもよい。
【0073】
具体的には、画像処理部１８２は、図９及び図１０に示すように、予め定められた視神経の経路及び眼球の各々の三次元形状を用いて、ＭＲＩ三次元眼球画像３７０において、三次元ボリューム画像の解析により、当該三次元形状に対応する三次元形状を抽出する。抽出された三次元形状は、視神経の経路３７４及び眼球面である。画像処理部１８２は、視神経の経路３７４と眼球との交点を視神経乳頭３７３として検出する。
【0074】
画像処理部１８２は、予め定められた網膜の三次元形状を用いて、ＭＲＩ三次元眼球画像３７０において、三次元ボリューム画像の解析により、当該三次元形状に対応する三次元形状を抽出する。抽出された三次元形状は、網膜である。画像処理部１８２は、網膜の中心部を検出することにより、黄斑を検出する。黄斑は網膜の中央に位置するのが一般的であるからである。
【0075】
次に、画像処理部１８２は、ＭＲＩ三次元眼球画像３７０において抽出された視神経乳頭３７３と黄斑との各々に対応する点を、ＵＷＦ二次元眼底画像３５０から検出する。具体的には、画像処理部１８２は、上記のようにＵＷＦ二次元眼底画像３５０において視神経乳頭３５２を検出すると共に、ＵＷＦ二次元眼底画像３５０を、ステレオ画像投影法の関係式を基に球面上に投影させる。この場合、画像処理部１８２は、視神経乳頭の位置を球面上の例えば北極に位置させる。ＭＲＩ三次元眼球画像３７０において抽出された視神経乳頭３７３と黄斑との各々に対応する点の位置関係を、当該球面上に適用する。この適用により、当該球面上の黄斑の位置を検出する。画像処理部１８２は、当該球面上で検出された黄斑の位置に対応する位置を、ステレオ画像投影法の関係式の逆関係式を用いて、ＵＷＦ二次元眼底画像３５０において、検出する。
【0076】
なお、ＭＲＩ三次元眼球画像３７０から視神経乳頭を検出する方法は、ＵＷＦ二次元眼底画像３５０において視神経乳頭３５２を検出する方法と同様に、ＭＲＩ三次元眼球画像３７０画像の明度を用いて行うようにしてもよい。
【0077】
次に、第２の方法を説明する。第１の方法で説明した方法により、画像処理部１８２は、ＵＷＦ二次元眼底画像３５０において、視神経乳頭３５２及び黄斑３５６を検出し、ＭＲＩ三次元眼球画像において、視神経乳頭の位置を検出する。画像処理部１８２は、ＭＲＩ三次元眼球画像において、眼球凸部の頂点を角膜中心の位置とし、その対極にある点を黄斑として検出する。
【0078】
次に、ＭＲＩ三次元眼球画像３７０において、基準点として瞳孔を検出する方法を説明する。
画像処理部１８２は、図８に示すように、ＭＲＩ三次元眼球画像３７０において黄斑３７５と眼球中心とを検出する。具体的には、眼球中心は、ＭＲＩ三次元眼球画像３７０に内接する球体を算出し、その重心等を算出する方法等により求められる。そして、画像処理部１８２は、黄斑３７５に対して、眼球中心を挟んで、反対側の点を検出することにより、瞳孔３５４を検出する。
あるいは、画像処理部１８２は、図１１Ａ及び図１１Ｂに示すように、局所的に凸極大となっている部分を角膜中心３７６として検出する。通常、ＭＲＩ三次元眼球画像３７０（三次元のサーフェス球面画像）上での角膜中心３７６の位置は、硝子体よりもさらに曲率半径の小さい凸部構造部の頂点として検出できる。次に、ＭＲＩ三次元眼球画像３７０から水晶体に当たる仮想面を外挿し、外挿した面に角膜中心３７６から下した垂線３７７と上記仮想面との交点を瞳孔３５４として設定する。なお、角膜手術等により角膜３７９の形状が平坦化している場合や不正乱視や円錐角膜などの角膜形状異常がある場合など、角膜の頂点が角膜中心に位置しない場合がある。このような場合には、得られたＭＲＩ三次元眼球画像３７０から正常な場合の角膜形状を推定して、仮想の角膜頂点を特定してもよく、あるいは角膜の平坦部の中心点を角膜中心として特定してもよい。
【0079】
ところで、ＭＲＩ三次元眼球画像３７０（図９及び図１０参照）においてぶどう腫３７５Ｂ等が角膜にあたる凸部として検出される場合がある。しかし、ぶどう腫３７５Ｂと瞳孔３５４（図８も参照）とは曲面の曲率が異なる。そこで、画像処理部１８２は、凸部が検出された後、各々の凸部の曲面の曲率を計算し、所定の閾値より大きい曲率の部分を、ぶどう腫３７５Ｂとして、角膜から除去する。また、ぶどう腫３７５Ｂと瞳孔３５４とはＭＲＩ三次元眼球画像３７０において位置する座標が異なる。そこで、画像処理部１８２は、凸部が検出された後、各々の凸部の三次元座標を特定し、黄斑や視神経乳頭など他の構造的特徴物との相対的位置関係からぶどう腫３７５Ｂを判定し、ぶどう腫３７５Ｂと判定された場合除去する。
【0080】
次に、ＵＷＦ二次元眼底画像３５０において、基準点として瞳孔を検出する方法を説明する。瞳孔は、図１２に示すように、眼底３５１を撮影することにより得られたＵＷＦ二次元眼底画像３５０には存在しない。そのため、ＵＷＦ二次元眼底画像３５０上での瞳孔の位置は、ＵＷＦ二次元眼底画像３５０をステレオ画像投影法の関係式に基づき球面に投影した後、黄斑と眼球中心を挟んで対極側にある点を瞳孔３７８の位置とする。あるいは、ＵＷＦ二次元眼底画像３５０をステレオ画像投影法の関係式に基づき球面に投影した近似球面から外挿して、瞳孔の位置を求める。
【0081】
ＵＷＦ二次元眼底画像３５０上の瞳孔位置と、ＭＲＩ三次元眼球画像３７０上の瞳孔３５４の位置と対応させるには、両者の球面上の緯度及び経度情報を用いて対応させる。瞳孔の位置は、位置合わせを行うための基準点として用いることができる。
【0082】
なお、基準点は、渦静脈でもよい。渦静脈は眼底の周辺部に位置しており、被検眼の二次元画像がＵＷＦ眼底画像である場合には眼底の周辺部まで撮像されているため、渦静脈が撮像されている。ＵＷＦ二次元眼底画像において渦静脈を検出するには、画像処理部１８２は、まず、血管を検出する。そして、血管が放射状になっており、放射の中心位置を、渦静脈として検出する。ＵＷＦ二次元眼底画像は、渦静脈が可視化された画像である。
なお、国際公開（ＷＯ）第２０１９／２０３３０９号パンフレットに記載された内容は、本明細書に具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。
【0083】
ＭＲＩ三次元眼球画像においては、脈絡膜静脈が眼外に流出する流出路を特定することにより、渦静脈を特定してもよい。また、渦静脈を検出するには、ＭＲＩ三次元眼球画像を解析し、血管が集中する部分を渦静脈として検出してもよい。具体的にはＭＲＩ三次元眼球画像（三次元のサーフェス球面画像）上で赤道周辺に存在する血管集中構造物を渦静脈の位置として検出することができる。位置の検出方法は血管集中構造の三次元構造部分を２値画像化し、細線化処理を行って中心線を算出し、当該中心線とＭＲＩ三次元眼球画像（三次元のサーフェス球面画像）の交点部分として求めることができる。
なお、三次元画像がＭＲＩではなくＯＣＴボリューム画像である場合などには、血管が集中する部分を渦静脈として検出できる。
【0084】
ステップ３１０で、画像処理部１８２は、図１３Ａに示すように、ＵＷＦ二次元眼底画像とＭＲＩ三次元眼球画像とに共通する基準点を対応させ、ＵＷＦ二次元眼底画像をＭＲＩ三次元眼球画像の少なくとも一部、例えば、全部に重畳する。基準点は上記の通り、少なくとも２以上あることが好ましい。
【0085】
具体的には、まず、画像処理部１８２は、上述の通り、図１３Ｂに示すように、ＵＷＦ二次元眼底画像を三次元仮想球面３９２にステレオ投影する。なお、三次元仮想球面３９２は、例えば、直径が２４ｍｍの球である。図１３Ｂに示す例では、黄斑３５６、瞳孔３７８、渦静脈３５７が検出されている。
【0086】
次に、ＵＷＦ二次元眼底画像とＭＲＩ三次元眼球画像との各々における上記複数の基準点、例えば、黄斑３５６、３７５、瞳孔３７８、３５４、及び渦静脈３５７、３７９を用いて、ＵＷＦ二次元眼底画像を投影した三次元仮想球面３９２及びＭＲＩ三次元眼球画像３７０の各々において相対的な位置を対応させる。より詳細には、画像処理部１８２は、三次元仮想球面の緯度及び経度と、ＭＲＩ三次元眼球画像の緯度及び経度を互いに対応させる。図１３Ｂには、ＭＲＩ三次元眼球画像３７０の眼球面が強調して示されている。
【0087】
そして、画像処理部１８２は、ＵＷＦ二次元眼底画像が投影された三次元仮想球面３９２上の点と、ＭＲＩ三次元眼球画像３７０上の点とが対応するように、ＵＷＦ二次元眼底画像をＭＲＩ三次元眼球画像に重畳する。すなわち、三次元仮想球面３９２に投影されたＵＷＦ二次元眼底画像の各点を、ＭＲＩ三次元眼球画像３７０の眼球面に存在する各画素の位置座標に関する情報を用いて正しい位置に再投影する。より詳細には、画像処理部１８２は、ＵＷＦ球面投影画像球面上の各点において、その点の緯度及び経度と同じ緯度及び経度を有するＭＲＩ三次元眼球画像の点を探索し、探索された点にＵＷＦ球面投影画像球面上の点の画素を投影する。以上を、ＵＷＦ球面投影画像の全ての点に対して実行する。
【0088】
上記のステップ３１０の三次元仮想球面及びＭＲＩ三次元眼球画像の各々において相対的な位置を対応させる処理で必要な情報は、三次元仮想球面及びＭＲＩ三次元眼球画像における緯度及び経度の情報であり、長さ、サイズ及び縮尺の情報は必ずしも必要ない。よって、三次元仮想球面及びＭＲＩ三次元眼球画像の各々において互いに長さが異なる場合もある。例えば、黄斑３５６と瞳孔３５４との間の距離は、三次元仮想球面とＭＲＩ三次元眼球画像とでは異なる場合もある。しかし、眼軸長計測により計測された眼軸長の値又は超音波装置により測定された赤道径などの値を用いて、三次元仮想球面とＭＲＩ三次元眼球画像との大きさを同じにしてもよい。
【0089】
ステップ３１２で、表示制御部１８４は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のための、後述する情報や画像を表示するためのディスプレイ・スクリーン４００を作成する。
【0090】
ステップ３１４で、出力部１８６は、ディスプレイ・スクリーン４００のデータを出力する。具体的には、メモリ１６４に患者ＩＤに対応して記憶し、患者ＩＤと共に画像ビューワ１５０に送信する。
ステップ３１４が終了すると、画像処理プログラムが終了する。
【0091】
次に、図１４を参照して、ディスプレイ・スクリーン４００を説明する。図１４に示すように、ディスプレイ・スクリーン４００は、インフォメーションエリア４０２と、イメージディスプレイエリア４０４とを有する。インフォメーションエリア４０２には、患者ＩＤディスプレイフィールド４０６、患者名ディスプレイフィールド４０８、年齢ディスプレイフィールド４１０、視力ディスプレイフィールド４１２、右眼／左眼ディスプレイフィールド４１４、及び眼軸長ディスプレイフィールド４１６を有する。患者ＩＤディスプレイフィールド４０６から眼軸長ディスプレイフィールド４１６の各ディスプレイフィールドには、画像ビューワ１５０が、管理サーバ１４０から受信した情報に基づいて、各々の情報を表示する。
【0092】
イメージディスプレイエリア４０４のレイアウトは、眼科医が興味を持ちそうな画面のレイアウトである。具体的には、以下の通りである。
【0093】
イメージディスプレイエリア４０４は、ＵＷＦ二次元眼底画像を表示するための第１のセクション４２０と、ＵＷＦ二次元眼底画像をＭＲＩ三次元眼球画像に重畳した画像を表示するための第２のセクション４２２と、を有する。
【0094】
第２のセクション４２２に表示される、ＵＷＦ二次元眼底画像をＭＲＩ三次元眼球画像に重畳した画像は、例えば、眼球中心を基準に、係員の操作に従って回転可能である。
【0095】
イメージディスプレイエリア４０４は、ＵＷＦ二次元眼底画像とＯＣＴ断層画像とによる後眼部断層画像を表示するための第３のセクション４２４と、眼底のＯＣＴ断層像を表示する第４のセクション４２６と、脈絡膜のｅｎ－ｆａｃｅ（ＯＣＴによる測定光軸に対して垂直な面）のパノラマ画像（即ち、二次元正面画像）を表示する第５のセクション４２８と、を有する。
【0096】
イメージディスプレイエリア４０４は、コメントを表示するための第６のセクション４３０を有する。
【0097】
以上説明したように、本実施の形態では、ＭＲＩ三次元眼球画像に、ＵＷＦ二次元眼底画像を重畳した画像を生成するので、眼底の様子、例えば、眼底の血管や渦静脈の様子を、三次元的に認識することができる画像を生成することができる。よって、眼科医の診断に役立つ。従って、眼科医は、精度の高い診断や疾患評価が可能になる。
【0098】
例えば、ＭＲＩ三次元眼球画像に、ＵＷＦ二次元眼底画像を重畳するので、斜視の診断の際、関連する網膜疾患の状態と結び付けて斜視を診断できる。
【0099】
また、広角光学系を介して眼底を撮影することにより、ＵＷＦ二次元眼底画像を取得しているので、眼底のより広い部分の様子を、三次元的に認識することができる。
【0100】
次に、本実施の形態の変形例を説明する。
【0101】
第１の変形例を説明する。上記実施の形態では、図１４のディスプレイ・スクリーン４００のイメージディスプレイエリア４０４の第２のセクション４２２に、ＵＷＦ二次元眼底画像をＭＲＩ三次元眼球画像に重畳した画像を表示するようにしている。本開示の技術は、これに限定されない。例えば、図１５に示すように、ＵＷＦ二次元眼底画像をＭＲＩ三次元眼球画像に重畳した画像を、前眼部と後眼部の被検眼全体のＯＣＴ断層画像に重畳するようにしてもよい。眼底の様子を、その断層の様子との関係で、三次元的に認識することができる。
【0102】
第２の変形例を説明する。上記実施の形態では、図１４の第２のセクション４２２に、ＵＷＦ二次元眼底画像の全体をＭＲＩ三次元眼球画像に重畳した画像を表示するようにしている。本開示の技術は、これに限定されない。例えば、図１６に示すように、ＭＲＩ三次元眼球画像３７０に重畳されるＵＷＦ二次元眼底画像は、ＵＷＦ二次元眼底画像の一部領域画像３８２、３８４である。一部の領域としては、例えば、二次元画像の一部をトリミングした画像であってもよく、病変部画像でもよく、また、眼底画像から血管だけを抽出した眼底血管画像でもよい。
病変部画像は、例えば眼底画像において、医師やＡＩにより特定された領域を切り出した画像である。病変部の例として、網膜剥離部がある。網膜剥離部の画像３８２は、例えば、緑色で表示される。血管の部分の画像３８４は、例えば、赤色で表示される。ＭＲＩ三次元眼球画像３７０は、半透明で表示される。なお、病変部の画像及び血管の部分の画像の何れを選択的に順次に表示するようにしてもよい。よって、半透明で表示されているＭＲＩ三次元眼球画像３７０に、病変部の画像のみが表示されたり、血管の部分の画像のみが表示されたりする。
【0103】
第３の変形例を説明する。上記のようにメモリ１６４には、患者ＩＤに対応して、ＵＷＦ二次元眼底画像と、ＭＲＩ三次元眼球画像とが対応して記憶されている。本開示の技術は、これに限定されない。例えば、メモリ１６４には、患者ＩＤに対応して、ＵＷＦ二次元眼底画像、後眼部ＯＣＴ画像、及び前眼部ＯＣＴ画像を対応して記憶する。ステップ３０４で、画像処理部１８２は、患者ＩＤに対応して記憶されているＵＷＦ二次元眼底画像、後眼部ＯＣＴ画像、及び前眼部ＯＣＴ画像をメモリ１６４から取得する。
【0104】
ステップ３１０で、画像処理部１８２は、ＭＲＩ三次元眼球画像の少なくとも一部にＵＷＦ二次元眼底画像を重畳した第１重畳画像を生成し、後眼部ＯＣＴ画像に第１重畳画像を重畳した第２重畳画像を生成する。第２セクション４２２は、第１重畳画像及び第２重畳画像が表示される。また、後眼部ＯＣＴ画像から被検眼の後眼部の形状データを取得し、形状データに基づいて第１重畳画像を、例えば、被検眼の後眼部の形状に対応するように、変形する画像処理を行ってもよい。
又は、ステップ３１０で、画像処理部１８２は、ＭＲＩ三次元眼球画像にＵＷＦ二次元眼底画像を重畳した画像を、前眼部ＯＣＴ画像に重畳した画像を生成する。第２セクションには、ＭＲＩ三次元眼球画像の少なくとも一部にＵＷＦ二次元眼底画像を重畳した画像を、前眼部ＯＣＴ画像に重畳した画像が表示される。また、前眼部ＯＣＴ画像から被検眼の角膜の形状データを取得し、形状データに基づいて第１重畳画像を変形する画像処理を行ってもよい。
【0105】
第４の変形例を説明する。上記のようにメモリ１６４に患者ＩＤに対応して記憶されている二次元画像は、ある時期に得られた１つの二次元画像である。本開示の技術は、これに限定されない。例えば、メモリ１６４には、二次元画像として、第１被検眼眼底画像と、第１被検眼画像とは異なる時期に眼底を撮像することにより得られた第２被検眼眼底画像とを含む複数の被検眼眼底画像を患者ＩＤに対応して記憶するようにしてもよい。第１被検眼画像が得られた時と、第２被検眼画像が得られた時との間には所定のイベントが生じている。所定のイベントは、例えば、被検眼に対する手術である。以下、例として、二次元画像が第１ＵＷＦ二次元眼底画像及び第２ＵＷＦ二次元眼底画像である場合を記す。
第１ＵＷＦ二次元眼底画像及び第２ＵＷＦ二次元眼底画像は、本開示の技術の「第一の二次元画像」及び「第二の二次元画像」の一例である。
【0106】
ステップ３０４で、画像処理部１８２は、メモリ１６４から患者ＩＤに対応する第１ＵＷＦ二次元眼底画像と第２ＵＷＦ二次元眼底画像とを取得する。
【0107】
ステップ３１０で、画像処理部１８２は、ＭＲＩ三次元眼球画像に、第１ＵＷＦ二次元眼底画像と第２ＵＷＦ二次元眼底画像とを重畳する。この場合、画像処理部１８２は、ＭＲＩ三次元眼球画像に、第１ＵＷＦ二次元眼底画像と第２ＵＷＦ二次元眼底画像と差分を重畳してもよい。又は、画像処理部１８２は、ＭＲＩ三次元眼球画像に、第１ＵＷＦ二次元眼底画像と第２ＵＷＦ二次元眼底画像との各々を重畳し、画像処理部１８２は、ＭＲＩ三次元眼球画像に重畳された第１ＵＷＦ二次元眼底画像と第２ＵＷＦ二次元眼底画像との差分を抽出してもよい。
【0108】
このように、ＭＲＩ三次元眼球画像に、第１ＵＷＦ二次元眼底画像と第２ＵＷＦ二次元眼底画像とを重畳するので、被検眼に対する手術前後の眼底の様子を、三次元的に認識することができる。なお、ＭＲＩ三次元眼球画像に重畳する第１ＵＷＦ二次元眼底画像と第２ＵＷＦ二次元眼底画像と差分と、ＭＲＩ三次元眼球画像に重畳する第１ＵＷＦ二次元眼底画像と第２ＵＷＦ二次元眼底画像との各々は、手術の部分を含む所定領域のみの画像でもよい。
【0109】
上記手術としては、例えば、強膜バックリング手術、即ち、眼球の外側（強膜）からシリコンを押し付けることで裂孔原性網膜剥離が進行するのを防ぐ治療がある。
【0110】
ＭＲＩ三次元眼球画像に、手術前の第１ＵＷＦ二次元眼底画像を重畳するので、網膜剥離が眼球の外側から見てどの位置にあるのか、把握するのに役立つ。また、ＭＲＩ三次元眼球画像に、手術後の第２ＵＷＦ二次元眼底画像を重畳するので、網膜剥離部にシリコンが押し付けられていることを確認できる。
【0111】
以下、更に種々の変形例を説明する。
以上の例では、被検眼の三次元画像としてＭＲＩ三次元眼球画像を用いているが、本開示の技術はこれに限定されない。三次元画像としては、被検眼の三次元画像データを生成する装置を用いて得られた画像であればよい。三次元画像としては、他にも例えば、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）三次元眼球画像、超音波三次元眼球画像、被検眼全体のＯＣＴ画像（Ｗｈｏｌｅ－ｅｙｅ ＯＣＴ画像）、被検眼全体のＯＣＴアンギオグラフィー（ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ）画像（ＯＣＴＡ画像）などがあげられる。また、被検眼の三次元画像は、被検眼の三次元画像データを生成する第１のモダリティ（医用画像診断装置）の第１装置である、ＭＲＩ装置、Ｘ線ＣＴ装置、超音波撮影装置、ＯＣＴ装置などを用いて得られた被検眼の三次元画像と言い換えることもできる。三次元画像としてＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）三次元眼球画像、超音波三次元眼球画像を用いた場合、基準点としては、視神経乳頭、渦静脈、瞳孔などを用いることができる。また、被検眼の三次元画像が後極部を含むＯＣＴ画像である場合には、画像上の視神経乳頭、渦静脈を用いることができる。また、後極部のみを撮像したＯＣＴ画像である場合には、実形状表示から推定した瞳孔の位置を基準点として用いることができる。
ところで、上記各三次元画像は、被検眼の三次元画像データを生成する装置（ＭＲＩ装置、Ｘ線ＣＴ装置、超音波撮影装置、ＯＣＴ装置など）を用いて得られた画像であるので、三次元的に(立体的に)表示されていないものも含む。本開示の技術はこれに限定されない。
例えば、被検眼の三次元画像としては、立体的印象をもつように平面に描かれた画像であり、両眼視差を利用して脳において立体として再構築させ認識させる画像でもよい。
また、被検眼の三次元画像としては、三次元画像に対して画像処理（セグメンテーションなど）を施して得られた立体画像を用いてもよい。被検眼の立体画像は、被検眼の少なくとも一部を、立体的に（三次元的に）表示する画像である。
【0112】
以上の例では、ＭＲＩ三次元眼球画像に重畳する被検眼の二次元画像としては、ＵＷＦ二次元眼底画像を用いているが、本開示の技術はこれに限定されない。二次元画像としては、他にも例えば、眼底カメラ画像、ｅｎ－ｆａｃｅ ＯＣＴ、ｅｎ－ｆａｃｅ ＯＣＴＡ画像などがあげられる。二次元画像はＯＣＴボリュームデータを用いて作られた二次元断層像等であってもよい。また、眼底画像は、被検眼の二次元画像データを生成する第２のモダリティの第２装置である、ＳＬＯ装置、ＯＣＴ装置（ＯＣＴボリュームデータからｅｎ－ｆａｃｅ画像を生成する）や眼底カメラなどを用いて得られた被検眼の二次元画像（平面画像や正面画像ともいわれる）と言い換えることもできる。
また、ＭＲＩ三次元眼球画像に重畳する被検眼の画像は、ＭＲＩとは異なるモダリティの装置で取得された画像であればよく、必ずしも二次元画像でなくてもよい。例えば、被検眼全体のＯＣＴボリュームデータなどの三次元画像であってもよく、被検眼全体のＯＣＴアンギオグラフィー画像などの三次元画像に時間情報が付加された画像データであってもよい。ＭＲＩ三次元眼球画像にＯＣＴボリュームデータを重畳することにより、被検眼の三次元情報を互いに補完可能である。具体的には、ＭＲＩ三次元眼球画像にＯＣＴボリュームデータを重畳することにより、ＯＣＴ装置では光走査されない領域についてはＭＲＩ三次元眼球画像によるラフな情報が得られ、ＯＣＴ装置では光走査された領域については詳細な血管情報が得られる、被検眼の三次元画像が取得される。ＭＲＩ画像にＯＣＴボリューム画像を重畳する場合にも、基準点として渦静脈、瞳孔、ＯＮＨを用いることができる。同様に、被検眼のＣＴ画像や超音波画像に、ＯＣＴボリューム画像を重畳してもよい。
【0113】
以上の例では、管理サーバ１４０が画像処理プログラムを実行しているが、本開示の技術はこれに限定されず、例えば、ＵＷＦ眼科装置１１０、ＭＲＩ画像取得装置１２０、画像ビューワ１５０、他の眼科機器（視野測定、眼圧測定などの検査機器）、及び人工知能を用いた画像解析を行う診断支援装置の何れかが実行してもよい。
【0114】
ＵＷＦ眼科装置１１０は、ＯＣＴユニット２０を省略することが可能である。この場合、撮影光学系１９のフォーカス調整機構２８及び光路合成素子２１も省略される。
【0115】
本開示において、各構成要素（装置等）は、矛盾が生じない限りは、１つのみ存在しても２つ以上存在してもよい。
【0116】
以上説明した各例では、コンピュータを利用したソフトウェア構成により画像処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
【0117】
このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合とされない場合とを含むので、以下の技術を含む。
【0118】
（第１の技術）
被検眼の三次元画像と前記被検眼の二次元画像とを取得する取得部と、
前記三次元画像において第一基準点と、前記二次元画像において第二基準点と、を特定する特定部と、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成する生成部と、
を備える画像処理装置。
【0119】
（第２の技術）
取得部が、被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
特定部が、前記三次元画像において第一基準点と、前記二次元画像において第二基準点と、を特定するステップと、
生成部が、前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、
を含む、画像処理方法。
【0120】
以上の開示内容から以下の技術が提案される。
（第３の技術）
画像処理するためのコンピュータープログラム製品であって、
前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、
コンピュータに、
被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、
を実行させる、コンピュータープログラム製品。
【0121】
以上の開示内容から以下の技術が提案される。
（第４の技術）
被検眼の三次元画像と前記被検眼の二次元画像とを取得するステップと、
前記三次元画像において第一基準点を特定するステップと、
前記二次元画像において第二基準点を特定するステップと、
前記三次元画像における前記第一基準点と前記二次元画像における前記第二基準点とを対応させ、前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像を生成するステップと、
前記三次元画像の少なくとも一部に前記二次元画像を重畳した画像に基づいて、前記被検眼を診断するステップと、
を備える被検眼診断方法。
【0122】
以上説明した画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0123】
本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。
【符号の説明】
【0124】
１４０ 管理サーバ
１６０ 制御ユニット
１６２ ＣＰＵ
１６４ メモリ
１８２ 画像処理部
１８４ 表示制御部
１８６ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16】
Copyright © 2010-2024 Science Impact Inc. All Rights Reserved.