IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > 株式会社ニコン

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧

特許7472914画像処理方法、画像処理装置、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-15
(45)【発行日】2024-04-23
(54)【発明の名称】画像処理方法、画像処理装置、及びプログラム
(51)【国際特許分類】
   A61B 3/14 20060101AFI20240416BHJP
   A61B 3/10 20060101ALI20240416BHJP
   A61B 3/12 20060101ALI20240416BHJP
【ＦＩ】
A61B3/14
A61B3/10 100
A61B3/10 300
A61B3/12
【請求項の数】 35
(21)【出願番号】P 2021553267
(86)(22)【出願日】2019-10-25
(86)【国際出願番号】 JP2019041982
(87)【国際公開番号】W WO2021079504
(87)【国際公開日】2021-04-29
【審査請求日】2022-04-25
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】廣川 真梨子
(72)【発明者】
【氏名】田邉 泰士
【審査官】牧尾 尚能
(56)【参考文献】
【文献】特開２０００－２１０２６０（ＪＰ，Ａ）
【文献】特開２００２－０３４９２４（ＪＰ，Ａ）
【文献】特開２００９－０２２３０８（ＪＰ，Ａ）
【文献】特開２０１０－２５６９８８（ＪＰ，Ａ）
【文献】特開２００６－０６１１９６（ＪＰ，Ａ）
【文献】国際公開第２０１９／０７４０７７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００－ ３／１８
(57)【特許請求の範囲】
【請求項1】
プロセッサが行う画像処理方法であって、
２次元眼底画像を取得し、
前記２次元眼底画像を構成する画素のそれぞれの画素に対応する点の少なくとも１つである第１の点と、前記２次元眼底画像上の前記第１の点に対応する眼球モデル上の第２の点とを取得し、
前記第１の点が前記第２の点まで移動する経路を設定し、
前記経路上の前記画素の所定位置においてフレームを生成する、
画像処理方法。
【請求項2】
前記所定位置は、前記第１の点が移動する前記経路上において所定時間毎に複数設定され、
前記フレームを生成することは、前記所定時間毎に複数のフレームを生成することを含む、
請求項１に記載の画像処理方法。
【請求項3】
前記複数のフレームを生成することは、前記複数のフレームから構成される動画データを作成することを含む、
請求項２に記載の画像処理方法。
【請求項4】
前記動画データは、前記第１の点におけるフレーム、前記第１の点から前記第２の点までの間に複数設定される中間位置におけるフレーム、及び前記第２の点におけるフレームを含む、
請求項３に記載の画像処理方法。
【請求項5】
前記移動には、複数の移動パターンが予め定められており、
前記経路は、前記複数の移動パターンの中の選択された移動パターンに従った経路を示す、
請求項１から請求項４の何れか１項に記載の画像処理方法。
【請求項6】
前記移動には、複数の移動パターンが予め定められており、
前記移動パターンは、前記第１の点と前記第２の点とを結ぶ３次元空間における前記経路である、
請求項１から請求項４の何れか一項に記載の画像処理方法。
【請求項7】
前記経路は、前記第１の点と前記第２の点を結ぶ直線の経路である、
請求項１から請求項５の何れか一項に記載の画像処理方法。
【請求項8】
前記移動パターンは、前記第１の点が、前記第２の点まで移動する移動速度に関するデータが含まれる、
請求項５又は請求項６に記載の画像処理方法。
【請求項9】
前記第１の点は、前記２次元眼底画像上の複数の画素に対応する複数の点の中から選択された点である、
請求項１から請求項８の何れか１項に記載の画像処理方法。
【請求項10】
前記第１の点が、前記２次元眼底画像における指定された領域内の各画素に対応する各点である、
請求項１から請求項９の何れか１項に記載の画像処理方法。
【請求項11】
前記第１の点が、前記２次元眼底画像全体を構成する全ての画素の各画素に対応する各点である、
請求項１から請求項１０の何れか１項に記載の画像処理方法。
【請求項12】
前記眼球モデルは、デフォルトの眼球モデルを、眼軸長に従って補正されたモデルである、
請求項１から請求項１１の何れか１項に記載の画像処理方法。
【請求項13】
前記２次元眼底画像は、被検眼の視線を第１方向に向けた状態で撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を合成したモンタージュ画像である、
請求項１から請求項１２の何れか１項に記載の画像処理方法。
【請求項14】
動画データを作成することは、前記動画データを出力することを含み、
前記出力することは、前記動画データを前記２次元眼底画像に重畳した状態で出力することを含む、
請求項３から請求項１３の何れか一項に記載の画像処理方法。
【請求項15】
前記２次元眼底画像は正面視の画像であり、
前記重畳した状態で出力することは、
前記正面視の２次元眼底画像を斜視の２次元眼底画像に変換させる第１過程と、
前記動画データを前記斜視の２次元眼底画像に重畳した状態で出力することを含む、
請求項１４に記載の画像処理方法。
【請求項16】
メモリと、前記メモリに接続するプロセッサとを備え、
前記プロセッサは、
２次元眼底画像を取得し、
前記２次元眼底画像を構成する画素のそれぞれの画素に対応する点の少なくとも１つである第１の点と、前記２次元眼底画像上の前記第１の点の位置に対応する眼球モデル上の第２の点とを取得し、
前記第１の点が前記第２の点まで移動する経路を設定し、
前記経路上の前記画素の所定位置においてフレームを生成する、
画像処理装置。
【請求項17】
コンピュータに、
２次元眼底画像を取得し、
前記２次元眼底画像を構成する画素のそれぞれの画素に対応する点の少なくとも１つである第１の点と、前記２次元眼底画像上の前記第１の点の位置に対応する眼球モデル上の第２の点とを取得し、
前記第１の点が前記第２の点まで移動する経路を設定し、
前記経路上の前記画素の所定位置においてフレームを生成する
ことを実行させるプログラム。
【請求項18】
前記所定位置は、前記第１の点が移動する前記経路上において所定時間毎に複数設定され、
前記フレームを生成することは、前記所定時間毎に複数のフレームを生成することを含む、
請求項１７に記載のプログラム。
【請求項19】
前記複数のフレームを生成することは、前記複数のフレームから構成される動画データを作成することを含む、
請求項１８に記載のプログラム。
【請求項20】
前記動画データは、前記第１の点におけるフレーム、前記第１の点から前記第２の点までの間に複数設定される中間位置におけるフレーム、及び前記第２の点におけるフレームを含む、
請求項１９に記載のプログラム。
【請求項21】
前記移動には、複数の移動パターンが予め定められており、
前記経路は、前記複数の移動パターンの中の選択された移動パターンに従った経路を示す、
請求項１７から請求項２０の何れか１項に記載のプログラム。
【請求項22】
プロセッサが行う画像処理方法であって、
２次元眼底画像を取得し、
前記２次元眼底画像を構成する画素のそれぞれの画素に対応する点の少なくとも１つである第１の点と、前記２次元眼底画像上の前記第１の点の位置に対応する眼球モデル上の第２の点とを取得し、
前記第１の点が、前記第２の点から前記第１の点まで移動する経路を設定し、
前記経路上の前記画素の所定位置においてフレームを生成する、
画像処理方法。
【請求項23】
前記フレームを出力することを更に含む、請求項２２に記載の画像処理方法。
【請求項24】
プロセッサが行う画像処理方法であって、
３次元眼底画像を取得し、
前記３次元眼底画像を構成する画素のそれぞれの画素に対応する点の少なくとも１つの点である第１の点と、前記３次元眼底画像における第１の点の位置に対応する２次元眼底画像上の第２の点とを取得し、
前記第１の点が前記第２の点まで移動する経路を設定し、
前記経路上の前記画素の所定位置においてフレームを生成する、
画像処理方法。
【請求項25】
前記２次元眼底画像は、前記３次元眼底画像をステレオ投影変換した画像である、
請求項２４に記載の画像処理方法。
【請求項26】
プロセッサが行う画像処理方法であって、
３次元眼底画像を取得し、
前記３次元眼底画像を構成する画素のそれぞれの画素に対応する点の少なくとも１つの点である第１の点と、前記３次元眼底画像における第１の点の位置に対応する２次元眼底画像上の第２の点とを取得し、
前記第２の点が前記第１の点まで移動する経路を設定し、
前記経路上の前記画素の所定位置においてフレームを生成する、
画像処理方法。
【請求項27】
前記２次元眼底画像は、前記３次元眼底画像をステレオ投影変換した画像である、請求項２６に記載の画像処理方法。
【請求項28】
プロセッサが行う画像処理であって、
被検眼の２次元眼底画像を取得し、
前記２次元眼底画像を３次元眼底画像に変換する際に、前記２次元眼底画像に重畳された状態で、前記２次元眼底画像の全ての点の画素が、各画素の点に対応する３次元眼底画像上の点まで移動する過程を示す動画を生成する、ことを含む、
画像処理方法。
【請求項29】
前記３次元眼底画像は、前記被検眼に対応した眼球モデルに基づいて生成されることを特徴とする
請求項２８に記載の画像処理方法。
【請求項30】
前記２次元眼底画像は正面視の画像であり、
前記動画は、
前記正面視の２次元眼底画像を斜視の２次元眼底画像に変化させる第１過程と、
前記斜視の２次元眼底画像に重畳された状態で、前記２次元眼底画像を前記３次元眼底画像に変換する第２過程と、を含む、
請求項２８又は請求項２９に記載の画像処理方法。
【請求項31】
前記動画は、前記正面視の２次元眼底画像と前記変換が完了した３次元眼底画像とを一体画像として回転させる第３過程をさらに含む、
請求項３０に記載の画像処理方法。
【請求項32】
メモリと、前記メモリに接続するプロセッサとを備え、
前記プロセッサは、
被検眼の２次元眼底画像を取得し、
前記２次元眼底画像を３次元眼底画像に変換する際に、前記２次元眼底画像に重畳された状態で、前記２次元眼底画像の全ての点の画素が、各画素の点に対応する３次元眼底画像上の点まで移動する過程を示す動画を生成する、ことを含む、
画像処理装置。
【請求項33】
コンピュータに、
被検眼の２次元眼底画像を取得し、
前記２次元眼底画像を３次元眼底画像に変換する際に、前記２次元眼底画像に重畳された状態で、前記２次元眼底画像の全ての点の画素が、各画素の点に対応する３次元眼底画像上の点まで移動する過程を示す動画を生成する、ことを含む、
ことを実行させるプログラム。
【請求項34】
前記２次元眼底画像は正面視の画像であり、
前記動画は、
前記正面視の２次元眼底画像を斜視の２次元眼底画像に変化させる第１過程と、
前記斜視の２次元眼底画像に重畳された状態で、前記２次元眼底画像を前記３次元眼底画像に変換する第２過程と、を含む、
請求項３３に記載のプログラム。
【請求項35】
前記動画は、前記正面視の２次元眼底画像と前記変換が完了した３次元眼底画像とを一体画像として回転させる第３過程をさらに含む、
請求項３４に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理方法、画像処理装置、及びプログラムに関する。
【背景技術】
【0002】
米国特許出願公開第２００９／０１３６１００号には、パノラマ眼底画像合成装置及び方法が開示されており、眼底を解析したり診断したりするために適切な画像表示方法が求められている。
【発明の概要】
【0003】
本開示の技術の第１の態様は、プロセッサが行う画像処理であって、２次元眼底画像を取得し、前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、前記第１の点が前記第２の点まで移動する過程を示すデータを作成する。
【0004】
本開示の技術の第２の態様の画像処理装置は、メモリと、前記メモリに接続するプロセッサとを備え、前記プロセッサは、２次元眼底画像を取得し、前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、前記第１の点が前記第２の点まで移動する過程を示すデータを作成する。
【0005】
本開示の技術の第３の態様のプログラムは、コンピュータに、２次元眼底画像を取得し、前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、前記第１の点が前記第２の点まで移動する過程を示すデータを作成する、ことを実行させる。
【図面の簡単な説明】
【0006】
【図1】眼科システム１００のブロック図である。
【図2】眼科装置１１０の全体構成を示す概略構成図である。
【図3】サーバ１４０の電気系の構成のブロック図である。
【図4】第１実施の形態のサーバ１４０のＣＰＵ２６２の機能のブロック図である。
【図5】第１実施の形態のサーバ１４０による画像処理のフローチャートである。
【図6】図５のステップ５０４の３Ｄ加工処理のフローチャートである。
【図7A】ＵＷＦ眼底画像Ｇ１を示す図である。
【図7B】眼球と撮影画角を示す図である。
【図8】ＵＷＦ眼底画像Ｇ１の点ｇ１と、点ｇ１に対応する眼球モデルＭ上の点ｍ１とを示す図である。
【図9】ＵＷＦ眼底画像Ｇ１の点ｍｇ１の画素が、点ｇ１に対応する眼球モデルＭ上の点ｍ１まで移動する経路Ｌ１を示す図である。
【図10】ＵＷＦ眼底画像Ｇ１の点ｇ１の画素が、経路Ｌ１に沿って、点ｍｄ、・・・、ｍｈ、・・・ｍｍ、・・・ｍ１まで、等速Ｖ０で移動する様子を示す図である。
【図11】動画データの各フレームを示す図である。
【図12】表示画面４００Ａの第１の表示パターンを示す図である。
【図13】動画データ表示部４５５Ａに表示される画像を示す図である。
【図14】表示画面４００Ａの第２の表示パターンを示す図である。
【図15】表示画面４００Ａの第３の表示パターンを示す図である。
【図16】第２実施の形態のサーバ１４０のＣＰＵ２６２の機能のブロック図である。
【図17】第２実施の形態のサーバ１４０のサーバ１４０による画像処理のフローチャートである。
【図18】図１７のステップ３２４の画像間の位置合わせ処理のフローチャートである。
【図19A】ＵＷＦ上方視眼底画像ＧＵに線分ＬＧＵが設定された様子を示す図である。
【図19B】ＵＷＦ下方視眼底画像ＧＤＣに線分ＬＧＤが設定された様子を示す図である。
【図20】モンタージュ画像ＧＭの生成を説明するための図である。
【図21】表示画面４００Ｂの第１の表示態様を示す図である。
【図22】表示画面４００Ｂの第２の表示態様を示す図である。
【図23】表示画面４００Ｂの第３の表示態様を示す図である。
【図24】第１変形例のサーバ１４０による画像処理のフローチャートである。
【図25】第２変形例のサーバ１４０による画像処理のフローチャートである。
【図26】第３変形例のサーバ１４０による画像処理のフローチャートである。
【発明を実施するための形態】
【0007】
[第１実施の形態]
【0008】
以下、図面を参照して本開示の技術の第１の実施の形態を詳細に説明する。
【0009】
図１を参照して、眼科システム１００の構成を説明する。図１に示すように、眼科システム１００は、眼科装置１１０と、眼軸長測定器１２０と、管理サーバ装置（以下、「サーバ」という）１４０と、画像表示装置（以下、「ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。眼軸長測定器１２０は、患者の眼軸長を測定する。サーバ１４０は、眼科装置１１０によって患者の眼底が撮影されることにより得られた眼底画像を、患者のＩＤに対応して記憶する。ビューワ１５０は、サーバ１４０から取得した眼底画像などの医療情報を表示する。
【0010】
眼科装置１１０、眼軸長測定器１２０、サーバ１４０、およびビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。
【0011】
次に、図２を参照して、眼科装置１１０の構成を説明する。
【0012】
説明の便宜上、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を「ＳＬＯ」と称する。また、光干渉断層計（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を「ＯＣＴ」と称する。
【0013】
なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、およびＺ方向は互いに垂直である。
【0014】
眼科装置１１０は、撮影装置１４および制御装置１６を含む。撮影装置１４は、ＳＬＯユニット１８、ＯＣＴユニット２０、および撮影光学系１９を備えており、被検眼１２の眼底の眼底画像を取得する。以下、ＳＬＯユニット１８により取得された二次元眼底画像をＳＬＯ画像と称する。また、ＯＣＴユニット２０により取得されたＯＣＴデータに基づいて作成された網膜の断層画像や正面画像（ｅｎ－ｆａｃｅ画像）などをＯＣＴ画像と称する。
【0015】
制御装置１６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（中央処理装置））１６Ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６Ｂ、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ ｍｅｍｏｒｙ）１６Ｃ、および入出力（Ｉ／Ｏ）ポート１６Ｄを有するコンピュータを備えている。
【0016】
制御装置１６は、Ｉ／Ｏポート１６Ｄを介してＣＰＵ１６Ａに接続された入力／表示装置１６Ｅを備えている。入力／表示装置１６Ｅは、被検眼１２の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
【0017】
また、制御装置１６は、Ｉ／Ｏポート１６Ｄに接続された画像処理装置１６Ｇを備えている。画像処理装置１６Ｇは、撮影装置１４によって得られたデータに基づき被検眼１２の画像を生成する。制御装置１６はＩ／Ｏポート１６Ｄに接続された通信インターフェース（Ｉ／Ｆ）１６Ｆを備えている。眼科装置１１０は、通信インターフェース（Ｉ／Ｆ）１６Ｆおよびネットワーク１３０を介して眼軸長測定器１２０、サーバ１４０、およびビューワ１５０に接続される。
【0018】
上記のように、図２では、眼科装置１１０の制御装置１６が入力／表示装置１６Ｅを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置１１０の制御装置１６は入力／表示装置１６Ｅを備えず、眼科装置１１０とは物理的に独立した別個の入力／表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置１６のＣＰＵ１６Ａの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、ＣＰＵ１６Ａが出力指示した画像信号に基づいて、ＳＬＯ画像等を表示するようにしてもよい。
【0019】
撮影装置１４は、制御装置１６のＣＰＵ１６Ａの制御下で作動する。撮影装置１４は、ＳＬＯユニット１８、撮影光学系１９、およびＯＣＴユニット２０を含む。撮影光学系１９は、第１光学スキャナ２２、第２光学スキャナ２４、および広角光学系３０を含む。
【0020】
第１光学スキャナ２２は、ＳＬＯユニット１８から射出された光をＸ方向、およびＹ方向に２次元走査する。第２光学スキャナ２４は、ＯＣＴユニット２０から射出された光をＸ方向、およびＹ方向に２次元走査する。第１光学スキャナ２２および第２光学スキャナ２４は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
【0021】
広角光学系３０は、共通光学系２８を有する対物光学系（図２では不図示）、およびＳＬＯユニット１８からの光とＯＣＴユニット２０からの光を合成する合成部２６を含む。
【0022】
なお、共通光学系２８の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、視神経乳頭や黄斑が存在する眼底中心部だけでなく眼球の赤道部や渦静脈が存在する眼底周辺部の網膜を撮影することが可能となる。
【0023】
楕円鏡を含むシステムを用いる場合には、国際公開ＷＯ２０１６／１０３４８４あるいは国際公開ＷＯ２０１６／１０３４８９に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開ＷＯ２０１６／１０３４８４の開示および国際公開ＷＯ２０１６／１０３４８９の開示の各々は、その全体が参照により本明細書に取り込まれる。
【0024】
広角光学系３０によって、眼底において広い視野（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）１２Ａでの観察が実現される。ＦＯＶ１２Ａは、撮影装置１４によって撮影可能な範囲を示している。ＦＯＶ１２Ａは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置１１０から被検眼１２へ照射される光束の照射角を、瞳孔２７を基準として規定した照射角である。また、内部照射角とは、眼底へ照射される光束の照射角を、眼球中心Ｏを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が１２０度の場合、内部照射角は約１６０度に相当する。本実施の形態では、内部照射角は２００度としている。
【0025】
内部照射角の２００度は、本開示の技術の「所定値」の一例である。
【0026】
ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＳＬＯ眼底画像をＵＷＦ－ＳＬＯ眼底画像（図７Ａを参照）と称する。なお、ＵＷＦとは、ＵｌｔｒａＷｉｄｅ Ｆｉｅｌｄ（超広角）の略称を指す。もちろん、内部照射角で１６０度未満の撮影画角で眼底を撮影することにより、ＵＷＦではないＳＬＯ画像を取得することができる。
眼科装置１１０の広角光学系で撮影されたＵＷＦ－ＳＬＯ眼底画像は、眼球の網膜像を二次元平面にステレオ投影変換した画像である。眼底周辺部はステレオ投影変換によって眼底中心部に比べて距離や面積の歪が大きくなっている。よって、例えば渦静脈の眼底構造物や網膜剥離など、眼底周辺部や眼底赤道部に存在する構造物や病変領域の面積や形状が歪んで見える結果、これらの対象が周囲との関係において眼球上どの位置にあるのか、二次元眼底画像であるＵＷＦ－ＳＬＯ眼底画像では把握しづらいという課題がある。
図７Ｂを用いて眼底赤道部１７４の説明をする。眼球（被検眼１２）は、直径約２４ｍｍの眼球中心１７０とした球状の構造物である。その前極１７５と後極１７６を連ねる直線を眼球軸１７２と言い、眼球軸１７２に直交する平面が眼球表面と交わる線を緯線といい、緯線長が最大のものが赤道１７４である。赤道１７４の位置に相当する網膜や脈絡膜の部分を赤道部１７８とする。赤道部１７８は眼底周辺部の一部である。
【0027】
ＳＬＯシステムは、図２に示す制御装置１６、ＳＬＯユニット１８、および撮影光学系１９によって実現される。ＳＬＯシステムは、広角光学系３０を備えるため、広いＦＯＶ１２Ａでの眼底撮影を可能とする。
【0028】
ＳＬＯユニット１８は、複数の光源、例えば、Ｂ光（青色光）の光源４０、Ｇ光（緑色光）の光源４２、Ｒ光（赤色光）の光源４４、およびＩＲ光（赤外線（例えば、近赤外光））の光源４６と、光源４０、４２、４４、４６からの光を、反射または透過して１つの光路に導く光学系４８、５０、５２、５４、５６とを備えている。光学系４８、５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタ―である。Ｂ光は、光学系４８で反射し、光学系５０を透過し、光学系５４で反射し、Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５６、５２で反射して、それぞれ１つの光路に導かれる。
【0029】
ＳＬＯユニット１８は、Ｇ光、Ｒ光、およびＢ光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図２に示す例では、Ｂ光（青色光）の光源４０、Ｇ光の光源４２、Ｒ光の光源４４、およびＩＲ光の光源４６の４つの光源を備えるが、本開示の技術は、これに限定されない。例えば、ＳＬＯユニット１８は、さらに、白色光の光源をさらに備え、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
【0030】
ＳＬＯユニット１８から撮影光学系１９に入射された光は、第１光学スキャナ２２によってＸ方向およびＹ方向に走査される。走査光は広角光学系３０および瞳孔２７を経由して、被検眼１２の後眼部に照射される。眼底により反射された反射光は、広角光学系３０および第１光学スキャナ２２を経由してＳＬＯユニット１８へ入射される。
【0031】
ＳＬＯユニット１８は、被検眼１２の後眼部（例えば、眼底）からの光の内、Ｂ光を反射し且つＢ光以外を透過するビームスプリッタ６４、ビームスプリッタ６４を透過した光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット１８は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット１８は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。
【0032】
ＳＬＯユニット１８は、複数の光源に対応して複数の光検出素子を備えている。ＳＬＯユニット１８は、ビームスプリッタ６４により反射したＢ光を検出するＢ光検出素子７０、およびビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２を備えている。ＳＬＯユニット１８は、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、およびビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。
【0033】
広角光学系３０および第１光学スキャナ２２を経由してＳＬＯユニット１８へ入射された光（眼底により反射された反射光）は、Ｂ光の場合、ビームスプリッタ６４で反射してＢ光検出素子７０により受光され、Ｇ光の場合、ビームスプリッタ６４を透過し、ビームスプリッタ５８で反射してＧ光検出素子７２により受光される。上記入射された光は、Ｒ光の場合、ビームスプリッタ６４、５８を透過し、ビームスプリッタ６０で反射してＲ光検出素子７４により受光される。上記入射された光は、ＩＲ光の場合、ビームスプリッタ６４、５８、６０を透過し、ビームスプリッタ６２で反射してＩＲ光検出素子７６により受光される。ＣＰＵ１６Ａの制御下で動作する画像処理装置１６Ｇは、Ｂ光検出素子７０、Ｇ光検出素子７２、Ｒ光検出素子７４、およびＩＲ光検出素子７６で検出された信号を用いてＵＷＦ－ＳＬＯ画像を生成する。
【0034】
ＵＷＦ－ＳＬＯ画像（後述するようにＵＷＦ眼底画像、オリジナル眼底画像ともいう）には、眼底がＧ色で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｇ色眼底画像）と、眼底がＲ色で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｒ色眼底画像）とがある。ＵＷＦ－ＳＬＯ画像には、眼底がＢ色で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｂ色眼底画像）と、眼底がＩＲで撮影されて得られたＵＷＦ－ＳＬＯ画像（ＩＲ眼底画像）とがある。
【0035】
また、制御装置１６が、同時に発光するように光源４０、４２、４４を制御する。Ｂ光、Ｇ光およびＲ光で同時に被検眼１２の眼底が撮影されることにより、各位置が互いに対応するＧ色眼底画像、Ｒ色眼底画像、およびＢ色眼底画像が得られる。Ｇ色眼底画像、Ｒ色眼底画像、およびＢ色眼底画像からＲＧＢカラー眼底画像が得られる。制御装置１６が、同時に発光するように光源４２、４４を制御し、Ｇ光およびＲ光で同時に被検眼１２の眼底が撮影されることにより、各位置が互いに対応するＧ色眼底画像およびＲ色眼底画像が得られる。Ｇ色眼底画像およびＲ色眼底画像からＲＧカラー眼底画像が得られる。
【0036】
このようにＵＷＦ－ＳＬＯ画像として、具体的には、Ｂ色眼底画像、Ｇ色眼底画像、Ｒ色眼底画像、ＩＲ眼底画像、ＲＧＢカラー眼底画像、ＲＧカラー眼底画像がある。ＵＷＦ－ＳＬＯ画像の各画像データは、入力／表示装置１６Ｅを介して入力された患者の情報と共に、通信インターフェース（Ｉ／Ｆ）１６Ｆを介して眼科装置１１０からサーバ１４０へ送信される。ＵＷＦ－ＳＬＯ画像の各画像データと患者の情報とは、記憶装置２５４に、対応して記憶される。なお、患者の情報には、例えば、患者名ＩＤ、氏名、年齢、視力、右眼／左眼の区別等がある。患者の情報はオペレータが入力／表示装置１６Ｅを介して入力する。
【0037】
ＯＣＴシステムは、図２に示す制御装置１６、ＯＣＴユニット２０、および撮影光学系１９によって実現される。ＯＣＴシステムは、広角光学系３０を備えるため、上述したＳＬＯ眼底画像の撮影と同様に、広いＦＯＶ１２Ａでの眼底撮影を可能とする。ＯＣＴユニット２０は、光源２０Ａ、センサ（検出素子）２０Ｂ、第１の光カプラ２０Ｃ、参照光学系２０Ｄ、コリメートレンズ２０Ｅ、および第２の光カプラ２０Ｆを含む。
【0038】
光源２０Ａから射出された光は、第１の光カプラ２０Ｃで分岐される。分岐された一方の光は、測定光として、コリメートレンズ２０Ｅで平行光にされた後、撮影光学系１９に入射される。測定光は、第２光学スキャナ２４によってＸ方向およびＹ方向に走査される。走査光は広角光学系３０および瞳孔２７を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系３０および第２光学スキャナ２４を経由してＯＣＴユニット２０へ入射され、コリメートレンズ２０Ｅおよび第１の光カプラ２０Ｃを介して、第２の光カプラ２０Ｆに入射する。
【0039】
光源２０Ａから射出され、第１の光カプラ２０Ｃで分岐された他方の光は、参照光として、参照光学系２０Ｄへ入射され、参照光学系２０Ｄを経由して、第２の光カプラ２０Ｆに入射する。
【0040】
第２の光カプラ２０Ｆに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第２の光カプラ２０Ｆで干渉されて干渉光を生成する。干渉光はセンサ２０Ｂで受光される。ＣＰＵ１６Ａの制御下で動作する画像処理装置１６Ｇは、センサ２０Ｂで検出されたＯＣＴデータに基づいて断層画像やｅｎ－ｆａｃｅ画像などのＯＣＴ画像を生成する。
【0041】
ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＯＣＴ眼底画像をＵＷＦ－ＯＣＴ画像と称する。もちろん、内部照射角で１６０度未満の撮影画角でＯＣＴデータを取得することができる。
【0042】
ＵＷＦ－ＯＣＴ画像の画像データは、患者の情報と共に、通信インターフェース（Ｉ／Ｆ）１６Ｆを介して眼科装置１１０からサーバ１４０へ送信される。ＵＷＦ－ＯＣＴ画像の画像データと患者の情報とは、記憶装置２５４に、対応して記憶される。
【0043】
なお、本実施の形態では、光源２０Ａが波長掃引タイプのＳＳ－ＯＣＴ（Ｓｗｅｐｔ－Ｓｏｕｒｃｅ ＯＣＴ）を例示するが、ＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ－Ｄｏｍａｉｎ ＯＣＴ）、ＴＤ－ＯＣＴ（Ｔｉｍｅ－Ｄｏｍａｉｎ ＯＣＴ）など、様々な方式のＯＣＴシステムであってもよい。
【0044】
次に、眼軸長測定器１２０を説明する。眼軸長測定器１２０は、被検眼１２の眼軸方向の長さである眼軸長を測定する第１のモードと第２のモードとの２つのモードを有する。第１のモードは、図示しない光源からの光を被検眼１２に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第２のモードは、図示しない超音波を用いて眼軸長を測定するモードである。
【0045】
眼軸長測定器１２０は、第１のモードまたは第２のモードにより測定された眼軸長をサーバ１４０に送信する。第１のモードおよび第２のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長としてサーバ１４０に送信する。サーバ１４０は、患者の眼軸長を患者名ＩＤに対応して記憶する。
【0046】
次に、図３を参照して、サーバ１４０の電気系の構成を説明する。図３に示すように、サーバ１４０は、コンピュータ本体２５２を備えている。コンピュータ本体２５２は、バス２７０により相互に接続されたＣＰＵ２６２、ＲＡＭ２６６、ＲＯＭ２６４、および入出力（Ｉ／Ｏ）ポート２６８を有する。入出力（Ｉ／Ｏ）ポート２６８には、記憶装置２５４、ディスプレイ２５６、マウス２５５Ｍ、キーボード２５５Ｋ、および通信インターフェース（Ｉ／Ｆ）２５８が接続されている。記憶装置２５４は、例えば、不揮発メモリで構成される。入出力（Ｉ／Ｏ）ポート２６８は、通信インターフェース（Ｉ／Ｆ）２５８を介して、ネットワーク１３０に接続されている。従って、サーバ１４０は、眼科装置１１０、およびビューワ１５０と通信することができる。記憶装置２５４には、後述する画像処理プログラムが記憶されている。なお、画像処理プログラムを、ＲＯＭ２６４に記憶してもよい。
【0047】
画像処理プログラムは、本開示の技術の「プログラム」の一例である。記憶装置２５４、ＲＯＭ２６４は、本開示の技術の「メモリ」、「コンピュータ可読記憶媒体」の一例である。ＣＰＵ２６２は、本開示の技術の「プロセッサ」の一例である。
【0048】
サーバ１４０の後述する処理部２０８（図５も参照）は、眼科装置１１０から受信した各データを、記憶装置２５４に記憶する。具体的には、処理部２０８は記憶装置２５４に、ＵＷＦ－ＳＬＯ画像の各画像データおよびＵＷＦ－ＯＣＴ画像の画像データと患者の情報（上記のように患者名ＩＤ等）とを対応して記憶する。また、患者の被検眼に病変がある場合や病変部分に手術がされた場合には、眼科装置１１０の入力/表示装置１６Ｅを介して病変の情報が入力され、サーバ１４０に送信され、記憶装置２５４に記憶される。病変の情報は患者の情報と対応付けられて記憶装置２５４に記憶される。病変の情報には、病変部分の位置の情報、病変の名称、病変部分に手術がされている場合には手術名や手術日時等がある。
【0049】
ビューワ１５０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えたコンピュータとディスプレイとを備え、ＲＯＭには、画像処理プログラムがインストールされており、ユーザの指示に基づき、コンピュータは、サーバ１４０から取得した眼底画像などの医療情報が表示されるようにディスプレイを制御する。
【0050】
次に、図４を参照して、第１実施の形態のサーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、画像取得機能、画像処理機能（３Ｄ動画生成機能、３Ｄ眼球画像生成機能、保存機能、および特徴部取得機能）、表示制御機能、および出力機能を備えている。ＣＰＵ２６２がこの各機能を有する画像処理プログラムを実行することで、ＣＰＵ２６２は、図４に示すように、画像取得部１４１０、画像処理部１４２０（３Ｄ動画生成部１４２１、３Ｄ眼球画像生成部１４２２、保存部１４２３、および特徴部取得部１４２４）、表示制御部１４３０、および出力部１４４０として機能する。
【0051】
次に、図５を用いて、サーバ１４０による画像処理を詳細に説明する。サーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで、図５のフローチャートに示された画像処理が実現される。当該画像処理は、眼科装置１１０によりＵＷＦ眼底画像（ＵＷＦ－ＳＬＯ画像）が、取得され、患者名ＩＤと共にサーバ１４０に送信され、サーバ１４０が、患者名ＩＤおよびＵＷＦ眼底画像を受信した場合に、スタートする。
【0052】
ステップ５０２で、画像取得部１４１０は、記憶装置２５４から、患者名ＩＤに対応するＵＷＦ眼底画像Ｇ１を取得する。ＵＷＦ眼底画像Ｇ１は、例えば、ＲＧＢカラー眼底画像（図７Ａ参照）である。
【0053】
ステップ５０４で、画像処理部１４２０は、ＵＷＦ眼底画像Ｇ１に対し、詳細には後述する３Ｄ加工処理（図６も参照）を実行する。
【0054】
ステップ５０６で、表示制御部１４３０は、詳細には後述する表示画面（図１２、図１４、図１５も参照）を生成する。
【0055】
次に、図６を用いて、ステップ５０４の３Ｄ加工処理を説明する。
【0056】
ステップ６０２で、３Ｄ動画生成部１４２１は、ＵＷＦ眼底画像Ｇ１の各点に対応する眼球モデルＭ上の各点を取得する。
【0057】
具体的には、３Ｄ動画生成部１４２１は、図８に示すように、ＵＷＦ眼底画像Ｇ１を眼球モデルＭへ投影する過程を示す複数のフレームからなる動画データを生成する。球面を平面に投影する方法はステレオ投影であるが、本実施の形態では、３Ｄ動画生成部１４２１は、平面から球面へのステレオ逆投影の過程を示す動画データを生成する。
【0058】
具体的には、３Ｄ動画生成部１４２１は、まず、ＵＷＦ眼底画像Ｇ１と眼球モデルＭとの位置合わせを行う。具体的には、３Ｄ動画生成部１４２１は、ＵＷＦ眼底画像Ｇ１の投影中心と眼球モデルＭの投影中心が一致し、かつ、眼球モデルＭの中心から投影面が水平になるように配置する。ＵＷＦ眼底画像Ｇ１の中心ｇｃを中心としたＸＹ方向と、眼球モデルＭの瞳孔中心ｍｃを中心としたＸＹ方向とを一致させる。
【0059】
眼球モデルＭとＵＷＦ眼底画像Ｇ１との位置合わせが完了後、３Ｄ動画生成部１４２１は、ＵＷＦ眼底画像Ｇ１の各点を識別するタイムステップに関連する変数ｇを０にセットし、変数ｇを１インクリメントし、変数ｇで識別されるＵＷＦ眼底画像Ｇ１の点を、以下の変換式に従って、眼球モデルＭ上の点に変換する。これにより、変数ｇで識別されるＵＷＦ眼底画像Ｇ１の点に対応する眼球モデルＭ上の点が取得される。本実施例では、Ｚ＝－１の平面にＵＷＦ眼底画像Ｇ１を配置する。ＵＷＦ眼底画像Ｇ１の点を（Ｘｇ，Ｙｇ、－１）とし、ＵＷＦ眼底画像Ｇ１の点（Ｘｇ，Ｙｇ, －１）に対応する眼球モデルＭの上の点を（Ｘｍｇ，Ｙｍｇ，Ｚｍｇ）とすると、変換式は次の通りである。
【0060】
Ｘｍｇ＝４Ｘｇ／（４＋Ｘｇ２＋Ｙｇ２）
Ｙｍｇ＝４Ｙｇ／（４＋Ｘｇ２＋Ｙｇ２）
Ｚｍｇ＝（－４＋Ｘｇ２＋Ｙｇ２）／（４＋Ｘｇ２＋Ｙｇ２）
【0061】
例えば、図８に示すように、変数ｇ＝１により識別されるＵＷＦ眼底画像Ｇ１の点ｇ１（Ｘ１，Ｙ１, －１）が眼球モデルＭ上の点ｍ１（Ｘｍ１，Ｙｍ１，Ｚｍ１）に変換される。以上の変換を、ＵＷＦ眼底画像Ｇ１の全ての点について実行する。ここで、点ｇ１はＵＷＦ眼底画像Ｇ１の画素ごとに設定される。上記の変換は、ＵＷＦ眼底画像Ｇ１の全ての画素について実行される。
なお、ＵＷＦ眼底画像Ｇ１の全ての点（画素）ではなく、ユーザにより選択されたＵＷＦ眼底画像Ｇ１の網膜剥離などの病変を含む領域や、渦静脈を含む領域に対して、上記の変換を行ってもよい。
【0062】
ステップ６０２で用いる眼球モデルは、デフォルトの眼球モデルを用いてもよい。しかし、本実施の形態では、３Ｄ動画生成部１４２１は、患者名ＩＤに対応する眼軸長を記憶装置２５４から読み出し、デフォルトの眼球モデルの大きさを、読み出した眼軸長に応じて予め補正している。
【0063】
また、本実施の形態では、３Ｄ動画生成部１４２１は、変換式を用いて、ＵＷＦ眼底画像Ｇ１の各点に対応する眼球モデルＭ上の点を取得している。本開示の技術はこれに限定されない。予め眼球モデルに対する変換ルックアップテーブルを準備しておき、３Ｄ動画生成部１４２１は、当該テーブルを参照してＵＷＦ眼底画像Ｇ１の各点に対応する眼球モデルＭ上の点を取得するようにしてもよい。
【0064】
ステップ６０４で、３Ｄ動画生成部１４２１は、ＵＷＦ眼底画像の各点の画素が、眼球モデル上の対応する各点まで移動する軌跡を取得する。
【0065】
具体的には、３Ｄ動画生成部１４２１は、変数ｇを０にセットし、変数ｇを１インクリメントし、変数ｇで識別されるＵＷＦ眼底画像Ｇ１の点と当該点に対応する眼球モデルＭ上の点とを結ぶ線を、経路として設定する。３Ｄ動画生成部１４２１は、変数ｇで識別されるＵＷＦ眼底画像Ｇ１の点の画素の所定時間毎の位置を算出する。なお、この所定時間は、後述する動画データにおけるフレームレートに従う時間である。
【0066】
ここで、上記移動のパターンには、ＵＷＦ眼底画像Ｇ１の各点の画素の移動の経路及び移動する速度の少なくとも一方が異なる複数のパターンがある。
【0067】
上記経路は、直線でも曲線でもよいが、本実施の形態では直線としている。なお、ユーザに、直線、および曲線（例えば、上に凸の曲率が異なる複数の曲線、下に凸の曲率が異なる複数の曲線）の中から選択させてもよい。
【0068】
また、速度は、上記移動中一定でも変化させてもよい。本実施の形態では、速度は、上記移動中、予め定められた速度Ｖ０で一定としている。速度についても、等速（複数の速度）、徐々に早くなる複数のパターン、徐々に遅くなる複数のパターンなどからオペレータに選択させてもよい。
【0069】
より具体的には、例えば、変数ｇ＝１の場合、３Ｄ動画生成部１４２１は、変数ｇ＝１により識別されるＵＷＦ眼底画像Ｇ１の点ｇ１を、図９に示すように、眼球モデルＭのＸＹＺ座標系の点ｍｇ１として、点ｇ１の座標（Ｘ１，Ｙ１）を、点ｍｇ１の座標（Ｘ１，Ｙ１，－１）に変換する。一般的なステレオ投影変換ではＺ＝０にＵＷＦ眼底画像Ｇ１を配置するが、ここでは、図１３のようにＵＷＦ眼底画像Ｇ１を残したまま変換動画を生成するので、意図的にＺ＝－１にＵＷＦ眼底画像Ｇ１を配置している。
【0070】
３Ｄ動画生成部１４２１は、ＸＹＺ座標系において、点ｍｇ１（Ｘ１，Ｙ１，－１）と、点ｍ１（Ｘｍ１，Ｙｍ１，Ｚｍ１）との線分Ｌ１を設定する。
【0071】
後述するように、本実施の形態では、点ｍｇ１（Ｘ１，Ｙ１，－１）の画素が、点ｍ１（Ｘｍ１，Ｙｍ１，Ｚｍ１）まで移動する過程を表す動画データが作成される。動画データが再生されると、点ｍｇ１（Ｘ１，Ｙ１，－１）の画素が、線分Ｌ１を通って点ｍ１（Ｘｍ１，Ｙｍ１，Ｚｍ１）まで移動することが表示される。よって、線分Ｌ１は、点ｍｇ１（Ｘ１，Ｙ１，－１）の画素の移動の軌跡となる。なお、線分Ｌ１は経路Ｌ１とも言う。
【0072】
本実施の形態では、ＵＷＦ眼底画像Ｇ１の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで、対応する経路に沿って、等速直線移動するパターンが予め定められている。当該パターンでは、例えば、図１０に示すように、点ｍｇ１（Ｘ１，Ｙ１，０）の画素が、経路Ｌ１に沿って、点ｍｄ、・・・、ｍｈ、・・・ｍｍ、・・・ｍ１まで、等速Ｖ０で移動する。３Ｄ動画生成部１４２１は、経路Ｌ１と速度Ｖ０とから、点ｍｇ１（Ｘ１，Ｙ１，－１）の画素の所定時間毎の位置（ＸＹＺ座標系）を算出する。
【0073】
３Ｄ動画生成部１４２１は、以上の処理を、変数ｇが、ＵＷＦ眼底画像Ｇ１の点の総数になるまで実行する。これにより、ＵＷＦ眼底画像Ｇ１の全ての点の画素の移動の経路に沿った位置が取得される。
【0074】
なお、ＵＷＦ眼底画像Ｇ１の各点の画素毎に、移動のパターンが異なるようにしてもよい。例えば、ＵＷＦ眼底画像Ｇ１のある点の画素は、等速直線移動であるが、他の点の画素は、徐々に速度が遅くなりかつ上に凸の曲線の経路に沿って移動するようにしてもよい。
【0075】
ステップ６０６で、３Ｄ動画生成部１４２１は、ＵＷＦ眼底画像Ｇ１の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで移動する過程を示す動画データを生成する。
具体的には、まず、ＵＷＦ眼底画像Ｇ１の各画素をデータ点とし、３次元座標のＺ＝－１となるＸＹ平面に配置し、初期フレームが生成される（図１１のｆ１に相当する処理である。図１１は動画データの複数のフレームを説明するための図である。）。
次に、ステップ６０４で設定された軌跡のデータから、所定時間（Δｔ）経過後の位置に当該データ点を配置する。ＵＷＦ眼底画像Ｇ１のデータ点すべてに対して当該データ点を配置することにより平面（曲面）を定義する。この平面のデータ点に対して画素データ（色と輝度のデータ）を入力し、所定時間（Δｔ）経過後の中間フレームが生成される（図１１のｆｄ、ｆｈ、ｆｍに相当）。
続いて、中間フレームの生成を所定時間Δｔ１からΔｔｎ（ｎは最終位置ｎとなるまでに生成されるフレーム数である）まで、同様に、フレーム作成を繰り返す。図１１ではｆｎが最終フレームであり、各データ点が眼球モデルＭ上の点まで移動した状態のフレームである。
そして、フレーム１からｎが完成したのち、フレーム番号、動画ファイル番号などを付加し、動画データが生成される。
平面の算出方法は線形補間、スプライン補間などを用いてもよい。平面の形状モデルは、サーフェイスモデルや空間格子モデルなどを用いてもよい。平面を算出せず、データ点に大きさをもたせ、散布図として表示してもよい。
【0076】
上記のように本実施の形態では、ＵＷＦ眼底画像Ｇ１の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで、経路Ｌに沿って等速Ｖ０で移動する等速直線移動するパターンが予め定められている。よって、ステップ６０６では、動画データとして、ＵＷＦ眼底画像Ｇ１の各点の画素が、各画素の点に対応する眼球モデルＭ上の点まで当該等速直線移動することを表す所定時間毎の複数のフレーム（静止画像）が生成される。
【0077】
例えば、図１１に示すように、最初のフレームＦ１は、ＵＷＦ眼底画像Ｇ１と一致する。３Ｄ動画生成部１４２１は、計算された移動後の位置に、対応する各画素を配置することにより、所定時間後のフレームを生成する。３Ｄ動画生成部１４２１は、以上の処理を繰り返すことにより、図１１に示すように、ＵＷＦ眼底画像Ｇ１の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで移動するまでの、所定時間毎のフレームｆｄ、・・・、ｆｈ、・・・、ｆｍ、・・・ｆｒが生成される。
【0078】
ステップ６０８で、３Ｄ眼球画像生成部１４２２は、３Ｄ眼球画像データを生成する。
３Ｄ眼底画像データは、ＵＷＦ眼底画像Ｇ１を所定の眼球モデルに張り合わせるように変換し、変換したＵＷＦ眼底画像Ｇ１に虹彩や水晶体などの前眼部画像を合成して得られる、眼球のイメージ画像データである。３Ｄ眼球画像生成部１４２２は、ＵＷＦ眼底画像Ｇ１の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで移動した後の画像（動画の最終フレーム）を３Ｄ眼球画像としてもよい。
【0079】
図５の画像処理とは別の処理で、特徴部取得部１４２４が、特徴部の情報を取得しておく。特徴部としては、眼底構造物として血管（例えば、網膜血管、脈絡膜血管等）、視神経乳頭、黄斑、渦静脈などがある。３Ｄ眼球画像生成部１４２２は、ＵＷＦ眼底画像Ｇ１の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで移動した後の画像に、特徴部取得部１４２４により取得された特徴部の画像を強調させることにより、３Ｄ眼底画像データを生成する。また、特徴部には病変領域も含まれる。病変領域は眼科医の診断により特定される。例えば、網膜剥離を含む領域を示すマークがＵＷＦ眼底画像Ｇ１に重畳表示されている。
このような特徴物の位置や領域は、ＵＷＦ眼底画像Ｇ１上の座標データとして病変名や特徴物名と座標データを組み合わせて記憶装置２５４に保持されている。
ステップ６０６で、動画データを作成する際に、特徴物や病変の位置をマークしたＵＷＦ眼底画像Ｇ１から動画データを作成するようにしてもよい。
【0080】
ステップ６１０で、保存部１４２３は、各データ（動画データ及び３Ｄ眼底画像データ）を、記憶装置２５５４に保存（記憶）する。
【0081】
ステップ６１０の各データの保存処理が終了すると、図５のステップ５０４の３Ｄ加工処理が終了し、画像処理は、ステップ５０６に進み、表示制御部１４３０は、表示画面（図１２、図１４、および図１５も参照）を生成し、画像処理が終了する。
【0082】
ユーザ（例えば、眼科医等）は、患者の被検眼を診察する際、患者名ＩＤをビューワ１５０に入力する。ビューワ１５０はサーバ１４０に、患者名ＩＤに対応する被検眼の画像データ等を送信するように指示する。サーバ１４０の出力部１４４０は、患者名ＩＤに対応する、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長、撮影日、および画像データ等を、患者名ＩＤと共に、ビューワ１５０に送信する。
【0083】
画像データ等には、ＵＷＦ眼底画像、動画データ、３Ｄ眼底画像データ、特徴部の情報が含まれる。
【0084】
患者名ＩＤ、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長、撮影日、および画像データを受信したビューワ１５０は、図１２に示す表示画面４００Ａをディスプレイに表示する。
【0085】
図１２に示すように、表示画面４００Ａは、情報表示領域４０２と、画像表示領域４０４Ａとを有する。
【0086】
情報表示領域４０２には、患者ＩＤ表示領域４１２、患者名表示領域４１４、年令表示領域４１６、右眼／左眼表示領域４１８、眼軸長表示領域４２０、視力表示領域４２２、及び撮影日時表示領域４２４を有する。ビューワ１５０は、受信した情報に基づいて、患者ＩＤ表示領域４１２から撮影日時表示領域４２４の各表示領域に各々の情報を表示する。
【0087】
画像表示領域４０４Ａは、ＳＬＯ画像表示領域４５２Ａと、動画データ表示領域４５４Ａ１とを有する。動画データ表示領域４５４Ａ１は、動画データ表示部４５５Ａ、再生ボタン４５６、及び表示経過表示部４５８を有する。
【0088】
ＳＬＯ画像表示領域４５２Ａには、ＵＷＦ眼底画像が表示される。再生ボタン４５６が操作されると、動画データ表示部４５５Ａに動画データが表示されると共に、表示経過表示部４５８における、全体の動画データの中の既に表示された割合に対応する部分が、所定の色で塗りつぶされる。
【0089】
動画データ表示部４５５Ａにおける動画データの再生を説明する。再生ボタン４５６が操作される前は、図１２、図１３に示すように、ＵＷＦ眼底画像Ｇ１が表示される。
【0090】
再生ボタン４５６が操作されると、図１３に示すように、まず、ＵＷＦ眼底画像Ｇ１の正面視が表示され（映像ａ）、次に、ＵＷＦ眼底画像Ｇ１が所定角度傾いた画像Ｇｄが表示され（映像ｂ）、更に、ＵＷＦ眼底画像Ｇ１が更に傾いた斜視の画像Ｇｈが表示（映像ｃ）される。映像ａ、映像ｂ、そして映像ｃが表示されていく過程は、２次元眼底画像の正面視から斜視への変換する第１過程である。
【0091】
その後、画像Ｇｈをそのまま残したうえで、ステレオ投影逆変換の初期状態を示した３次元眼底画像ｆｈが重畳された映像ｄが表示される。そして、ステレオ投影逆変換の様子を示した映像が表示され、具体的には、最初のフレームｆ１、・・・フレームｆｈ、・・・フレームｆｒまで表示される。そして、画像Ｇｈ上にステレオ投影逆変換の完了状態を示した３次元画像ｆｒが重畳した映像ｅが表示される。映像ｄから映像ｅが表示されていく過程は、水平視の２次元眼底画像に、ステレオ投影逆変換される３次元眼底画像が変化していく第２過程である。
【0092】
最後に、映像ｅを回転させ、正面視のＵＷＦ眼底画像Ｇ１に正面視の三次元眼底画像ｆｒ重畳された画像Ｇｚが表示される（映像ｆ）。映像ｅから映像ｆが表示されていく過程は、水平視の２次元眼底画像と前記変換が完了した三次元眼底画像とを一体画像として回転させる第３過程である。
【0093】
なお、動画データは、図１１に示したように、ＵＷＦ眼底画像Ｇ１がステレオ投影逆変換される過程だけの動画（図１３のように画像Ｇｈをそのまま残した動画ではなく、画像Ｇｈを残さない動画）であってもよい。
【0094】
動画データが表示される場合、予め定められた点、図１３に示す例えでは、上下の各々の最外部の予め選択された４点について、各点の経路が表示される（図のＬ１、Ｌ２、Ｌ３とＬ４）。また、渦静脈や網膜剥離などの上述した特徴部の位置の経路を表示するようにしてもよい。
【0095】
動画データ表示部４５５Ａに動画データが表示され、画像Ｇｚが表示されると、図１４に示すように、動画データ表示領域４５４Ａ１に、３Ｄ眼球画切替ボタン４６０が表示される。
３Ｄ眼球画切替ボタン４６０が操作されると、図１５に示すように、動画データ表示領域４５４Ａ１は、３Ｄ眼底画像表示領域４５４Ａ２に切り替わる。３Ｄ眼底画像表示領域４５４Ａ２には、３Ｄ眼球画像が表示される。上記のように、ＵＷＦ眼底画像Ｇ１を所定の眼球モデルに張り合わせるように変換し、変換したＵＷＦ眼底画像Ｇ１に虹彩や水晶体などの前眼部画像を合成して得られる、眼球のイメージ画像データである。
３Ｄ眼底画像表示領域４５４Ａ２には、３Ｄ動画切替ボタン４６２が表示される。３Ｄ動画切替ボタン４６２が操作されると、図１２の表示画面４００Ａに切り替わる。
【0096】
以上説明したように第１実施の形態は、ＵＷＦ眼底画像の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データを作成する。よって、ユーザは、ＵＷＦ眼底画像の各点が、眼球モデル上の対応する各点まで、どのように移動するのかを知ることができる。従って、ユーザは、眼球モデル上の対応する各点は、ＵＷＦ眼底画像のどの点なのかを知ることができる。
よって、ＵＷＦ眼底画像から生成された動画データをユーザ（眼科医）が閲覧することにより、眼底周辺部や眼底赤道部の眼球上での位置や病変の大きさ（病変領域の面積）を、ユーザが直感的に把握することができる。また、眼科医が被検者（患者）に対して病変の位置や大きさなどの診断結果をわかりやすく説明できる。
【0097】
また、第１実施の形態では、２次元のＵＷＦ眼底画像を眼球モデルに基づいて３次元眼底画像に変換する過程の動画を生成することを示した。これに限らず、前眼部の２次元の撮影された画像を眼球モデルに基づいて３次元前眼部画に変換する過程の動画を生成するようにしてもよい。例えば、水晶体の２次元平面画像を三次元の水晶体モデルに基づいて変換する動画を生成するようにしてもよい。水晶体の色素沈着などの部位を立体的にわかりやすく認識させ、緑内障手術の術式のプラニングに活用することができる。
【0098】
[第２実施の形態]
【0099】
次に、本開示の技術の第２実施の形態を説明する。第２実施の形態の構成は、第１の実施の形態の構成と略同様であるので、異なる部分（眼科装置１１０の固視機能とサーバ１４０のモンタージュ画像生成）のみを説明する。
【0100】
まず、第２実施の形態の眼科装置１１０の固視機能を説明する。
眼科装置１１０の撮影装置１４は、制御装置１６により制御され、図示しない上固視灯及び下固視灯（さらに図示せぬ中央固視灯を含む）を点灯させる固視標制御装置を備えている。中央固視灯、上固視灯及び下固視灯の何れかを点灯させることにより被検眼１２の向き（視線方向）を変えることができる。
【0101】
次に、第２実施の形態のサーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで実現されるモンタージュ画像生成機能について説明する。
図１６には、第２実施の形態のサーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで実現される各種機能のブロック図が示されている。第２実施の形態の画像処理プログラムは、第１実施の形態と比較すると、画像処理機能において、モンタージュ画像生成機能が追加されている。よって、ＣＰＵ２６２がこの各機能を有する画像処理プログラムを実行することで、ＣＰＵ２６２は、モンタージュ画像生成部１４２５として更に機能する。
【0102】
眼科装置１１０は、患者の視線を斜め上方向に向けるために、固視標制御装置を制御して上固視灯を点灯させる。これにより、患者の視線が斜め上方向、即ち、眼球中心から上固視灯に向かう方向に向けられる。上固視灯を点灯させるだけでなく、眼科装置１１０のオペレータが「上を向いてください」など患者の視線を斜め上方向にする指示を出すことで、被検眼の視線を斜め上方向に向いた状態にしてもよい。
【0103】
眼科装置１１０は、患者の視線が斜め上方向に向けられている上方視の状態で、眼底を撮影する。ＵＷＦ上方視眼底画像ＧＵが得られる（図１９Ａも参照）。
【0104】
眼科装置１１０は、患者の視線を斜め下方向に向けるために、固視標制御装置を制御して下固視灯を点灯させる。これにより、患者の視線が斜め下方向、即ち、眼球中心から下固視灯に向かう方向に向けられる。上固視灯を点灯させるだけでなく、眼科装置１１０のオペレータが「下を向いてください」など患者の視線を斜め下方向にする指示を出すことで、被検眼の視線を斜め下方向に向いた状態にしてもよい。
【0105】
眼科装置１１０は、患者の視線が斜め下方向に向けられている下方視の状態で、眼底を撮影する。ＵＷＦ下方視眼底画像ＧＤが得られる。なお、図１９Ｂには、後述する位置合わせされたＵＷＦ下方視眼底画像ＧＤＣが示されている。
【0106】
ＵＷＦ上方視眼底画像ＧＵには、第１実施の形態と同様に、Ｂ色眼底画像（ＵＷＦ上方視眼底画像Ｂ）、Ｇ色眼底画像（ＵＷＦ上方視眼底画像Ｇ）、Ｒ色眼底画像（ＵＷＦ上方視眼底画像Ｒ）、ＩＲ眼底画像（ＵＷＦ上方視眼底画像ＩＲ）、ＲＧＢカラー眼底画像（ＵＷＦ上方視眼底画像ＲＧＢ）、ＲＧカラー眼底画像（ＵＷＦ上方視眼底画像ＲＧ）がある。
ＵＷＦ下方視眼底画像ＧＤも同様に、Ｂ色眼底画像（ＵＷＦ下方視眼底画像Ｂ）、Ｇ色眼底画像（ＵＷＦ下方視眼底画像Ｇ）、Ｒ色眼底画像（ＵＷＦ下方視眼底画像Ｒ）、ＩＲ眼底画像（ＵＷＦ下方視眼底画像ＩＲ）、ＲＧＢカラー眼底画像（ＵＷＦ下方視眼底画像ＲＧＢ）、ＲＧカラー眼底画像（ＵＷＦ下方視眼底画像ＲＧ）がある。
ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤとが、眼科装置１１０によりサーバ１４０に送信され、記憶装置２５４に記憶される。
【0107】
図１７には、第２実施の形態の画像処理のフローチャートが示されている。第２実施の形態の画像処理は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤとをサーバ１４０が受信した場合に、スタートする。
【0108】
ステップ３２０で、画像取得部１４１０は、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像を、記憶装置２５４から取得する。ステップ３２２で、モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像に対して血管を強調する処理を施す。そして、所定の閾値で二値化する二値化処理を実行する。二値化処理により、眼底の血管が白く強調される。
【0109】
ステップ３２４で、モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像の位置合わせを行う。ステップ３２４の位置合わせ処理について、図１８のフローチャートを用いて説明する。ここでは、ＵＷＦ上方視眼底画像を基準としてＵＷＦ下方視眼底画像を変換する場合（つまり、ＵＷＦ上方視眼底画像は変換しないで、ＵＷＦ下方視眼底画像のみを変換する場合）を例に取り説明する。
【0110】
図１８のステップ３４０で、モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像ＧＵから画像処理により、上記位置合わせのための特徴点群１を抽出する。
特徴点群１は、眼底画像における複数の特徴点であり、図１９Ａに示すように、視神経乳頭ＯＮＨＵ、黄斑ＭＵ、および網膜血管の分岐点である。なお、脈絡膜血管の分岐点も特徴点として抽出するようにしてもよい。
【0111】
特徴点は、視神経乳頭ＯＮＨＵ領域の最大輝度の画素、黄斑ＭＵ領域の最小輝度の画素、網膜血管や脈絡膜血管の分岐点に位置する画素であり、それらの画素の座標が特徴点データとして抽出される、また、網膜血管や脈絡膜血管の分岐点だけでなく、特徴的な血管走行パターンを含む領域を抽出し、該パターンを含む領域の中心点を特徴点としてもよい。
【0112】
なお、網膜血管や脈絡膜血管の端点、屈曲点あるいは蛇行点を特徴点として抽出するようにしてもよい。
【0113】
また特徴点は、特徴点検出を行うアルゴリズムであるＳＩＦＴ(Ｓｃａｌｅ Ｉｎｔｅｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ)やＳＵＲＦ（Ｓｐｅｅｄ Ｕｐｐｅｄ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）などを用いて行うことができる。
【0114】
ここで、位置合わせを高精度で行うために、抽出される特徴点の数は４つ以上が好ましい。ＵＷＦ上方視眼底画像ＧＵには、視神経乳頭と黄斑は被検眼に１つだけしか存在しない。よって、網膜血管や脈絡膜血管の分岐点を２か所以上抽出することにより、ＵＷＦ上方視眼底画像ＧＵから特徴点１を４つ以上抽出することができる。
【0115】
眼底中心部に存在する視神経乳頭、黄斑、網膜血管や脈絡膜血管は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤの双方に撮影されているため位置合わせ用の特徴点の選択対象として好適である。すなわち、特徴点はＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤとの共通領域である眼底中心部から選択するのが良い。
【0116】
そこで、ステップ３４０で、モンタージュ画像生成部１４２５は、眼底中心部であるＵＷＦ上方視眼底画像ＧＵの中心より下側の領域を対象として、画像処理により特徴点群１を抽出する。
【0117】
眼底周辺部に存在しているＵＷＦ上方視眼底画像ＧＵに存在する渦静脈は、上記位置合わせ用の特徴点として選択対象から除外される。眼底周辺部はＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤとの共通領域ではないため、眼底周辺部の構造物は特徴点の選択対象から除外される。
【0118】
ステップ３４２で、モンタージュ画像生成部１４２５は、特徴点群１に対応する特徴点群２をＵＷＦ下方視眼底画像ＧＤから抽出する。特徴点群２は、図１９Ｂに示すように、視神経乳頭ＯＮＨＤ、黄斑ＭＤ、網膜血管の分岐点がある。同一眼であるので、視神経乳頭ＯＮＨＤは視神経乳頭ＯＮＨＵに対応し、黄斑ＭＤは黄斑ＭＵに対応している。ＵＷＦ上方視眼底画像ＧＵにおける上記分岐点は、ＵＷＦ下方視眼底画像ＧＤにおける血管の分岐点に対応している。ＵＷＦ上方視眼底画像ＧＵにおける分岐点の分岐パターンと同一の分岐パターンを持つ分岐個所が、画像認識処理などによりＵＷＦ下方視眼底画像ＧＤから抽出される。
【0119】
ステップ３４４で、モンタージュ画像生成部１４２５は、特徴点群１と特徴点群２を用いて、ＵＷＦ下方視眼底画像ＧＤを幾何変換する射影変換行列を生成する。この射影変換行列は、ＵＷＦ下方視眼底画像ＧＤをＵＷＦ上方視眼底画像ＧＵに対応させるための行列である。 少なくとも４個の特徴点により射影変換行列が定まる。
【0120】
ステップ３４６で、生成された射影変換行列を用いてＵＷＦ下方視眼底画像ＧＤを変換し、変換後のＵＷＦ下方視眼底画像ＧＤＣ（図１９Ｂ参照）を得る。射影変換行列を用いた変換後では、特徴点群１と特徴点群２は同一位置に来ており、位置合わせ処理が実行されたこととなる。この変換によりＵＷＦ下方視眼底画像ＧＤに比べてＵＷＦ下方視眼底画像ＧＤＣが大きくなっている（面積が増大している）。
【0121】
上述では、ＵＷＦ下方視眼底画像ＧＤをＵＷＦ上方視眼底画像ＧＵに対応させるための射影変換行列を生成し、ＵＷＦ下方視眼底画像ＧＤを変換した。この逆で、ＵＷＦ上方視眼底画像ＧＵをＵＷＦ下方視眼底画像ＧＤに対応させるための射影変換行列を生成し、ＵＷＦ上方視眼底画像ＧＵを変換するようにしてもよい。
【0122】
これで画像間の位置合わせ処理である図１７のステップ３２４が完了し、画像処理はステップ３２６に進む。
【0123】
図１７のステップ３２６で、モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像ＧＵ及び変換後のＵＷＦ下方視眼底画像ＧＤＣを合成し、モンタージュ画像ＧＭを生成する。
【0124】
具体的には、まず、モンタージュ画像生成部１４２５は、図１９Ａに示すように、ＵＷＦ上方視眼底画像ＧＵに視神経乳頭ＯＮＨＵと黄斑ＭＵとを通る線分ＬＧＵを設定する。同様に、モンタージュ画像生成部１４２５は、図１９Ｂに示すように、変換後のＵＷＦ下方視眼底画像ＧＤＣに視神経乳頭ＯＮＨＤと黄斑ＭＤとを通る線分ＬＧＤを設定する。
【0125】
次に、モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣとが重複する領域の重み付け処理を行う。図２０に示すように、モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像ＧＵの線分ＬＧＵよりも上側領域である上側のＵＷＦ上方視眼底画像ＧＵｘ領域の重みを「１」とする。モンタージュ画像生成部１４２５は、線分ＬＧＵよりも下側領域の重みを「０」とする。そして、モンタージュ画像生成部１４２５は、変換後のＵＷＦ下方視眼底画像の線分ＬＧＤよりも下側領域である下側のＵＷＦ下方視眼底画像ＧＤＣｘの重みを「１」とし、線分ＬＧＤよりも上側領域出の重みを「０」する。
【0126】
モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣに対して、このような重み付け処理を行うことにより、ＵＷＦ上方視眼底画像ＧＵｘとＵＷＦ下方視眼底画像ＧＤＣｘとが合成されたモンタージュ画像ＧＭを生成する。図２０に示されるように、線分ＬＧは視神経乳頭ＯＭＨと黄斑Ｍを結ぶ線分であり、線分ＬＧより上側がＵＷＦ上方視眼底画像ＧＵｘであり、線分ＬＧより下側がＵＷＦ下方視眼底画像ＧＤＣｘである。モンタージュ画像は、本開示の技術の「モンタージュ画像」の一例である。
【0127】
なお、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣの重複部分に関する重み付けは、上述の例に限らず、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣの混合割合をさまざまな値に設定することができる。
【0128】
このように、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣの位置合わせを行い合成をする。この合成による、眼底の血管が不連続でなく、眼底周辺部または眼底赤道部に位置する渦静脈や渦静脈周辺の脈絡膜血管を解析、あるいは異常部や病変部などの解析のための眼底画像を得ることができる。
【0129】
次にステップ３２８で、特徴部取得部１４２４は、モンタージュ画像ＧＭを用いて渦静脈の位置や渦静脈付近の血管の血管径を解析する。解析によって得られた渦静脈情報としては、渦静脈の個数、渦静脈の位置、渦静脈につながる血管の本数、渦状膜周囲の血管の血管径などに関する情報が含まれる。
【0130】
ステップ３２８の処理の後、ステップ５０４Ｓで、３Ｄ加工処理が実行される。第１実施の形態のステップ５０４では、画像処理部１４２０は、ＵＷＦ眼底画像Ｇ１に対し３Ｄ加工処理（図６も参照）を実行する。これに対し、第２実施の形態のステップ５０４では、画像処理部１４２０は、モンタージュ画像ＧＭに対し３Ｄ加工処理（図６も参照）を実行する。このように、処理の対象の画像が異なるだけなので、ステップ５０４Ｓの３Ｄ加工処理の説明を省略する。
【0131】
ステップ５０４Ｓの後、ステップ５０６Ｓで、表示画面の生成処理が実行される。第２実施の形態の表示画面の詳細については後述する。
【0132】
ステップ３３２で、出力部１４４０は、モンタージュ画像ＧＭと渦静脈解析により得られた渦静脈解析情報とを、サーバ１４０の記億装置２５４に出力する。モンタージュ画像ＧＭと渦静脈解析により得られた渦静脈解析情報とがサーバ１４０の記億装置２５４に記憶される。
【0133】
ステップ３３２では更に、出力部１４４０は、表示画面４００Ｂに対応する画像データをビューワ１５０へ出力する。
【0134】
なお、表示制御部１４３０は、ディスプレイ２５６にモンタージュ画像ＧＭを表示するように出力してもよい。
【0135】
次に、第２実施の形態の表示画面４００Ｂを説明する。第２実施の形態の表示画面４００Ｂは、第１実施の形態の表示画面４００Ａと略同様であるので、異なる部分のみを説明する。
【0136】
表示画面４００Ｂは、画像表示領域４０４Ａに代えて画像表示領域４０４Ｂを有する。画像表示領域４０４Ｂは、モンタージュ画像表示領域４５２Ｂと、動画データ表示領域４５４Ｂ１とを有する。
【0137】
モンタージュ画像表示領域４５２Ｂには、モンタージュ画像が表示される。
【0138】
再生ボタン４５６が操作されると、動画データ表示部４５５Ｂに動画データが表示され、表示経過表示部４５８に、全体の動画データの中の既に表示された割合を棒グラフで表示する。
【0139】
動画データ表示部４５５Ｂにおける動画データの再生は、第１実施の形態と同様であるので、その説明を省略する。
【0140】
動画データ表示部４５５に動画データが表示され、画像Ｇｚが表示されると、図２２に示すように、動画データ表示領域４５４Ｂ１に、３Ｄ眼球画切替ボタン４６０が表示される。３Ｄ眼球画切替ボタン４６０が操作されると、図２３に示すように、動画データ表示領域４５４Ｂ１に代えて、３Ｄ眼底画像表示領域４５４Ｂ２に切り替わる。３Ｄ眼底画像表示領域４５４Ｂ２には、３Ｄ眼底画像が表示される。上位のように、モンタージュ画像の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで移動した後の画像に、特徴部が強調された３Ｄ眼底画像が表示される。
【0141】
以上説明したように第１実施の形態は、モンタージュ画像の各点から眼球モデル上の対応する各点まで移動する過程を表す動画データを作成する。よって、モンタージュ画像の各点が、眼球モデル上の対応する各点まで、どのように移動するのかを知ることができる。従って、眼球モデル上の対応する各点は、モンタージュ画像のどの点なのかを知ることができる。
【0142】
また、モンタージュ画像は、第１実施の形態のＵＷＦ眼底画像よりも広い領域を有するので、眼球モデル上の対応する各点は、ＵＷＦ眼底画像よりも広い領域のモンタージュ画像のどの点なのかを知ることができる。よって、モンタージュ画像から生成された動画データをユーザが閲覧することにより、渦静脈や網膜剥離などの病変の眼球上での位置を、ユーザが直感的に把握することができる。眼科医が被検者（患者）に対して眼底周辺部の病変の位置や大きさなどの診断結果をわかりやすく説明できる。
【0143】
ＵＷＦ上方視眼底画像及びＵＷＦ下方視眼底画像の取得、モンタージュ画像の作成の各方法としては、国際出願ＰＣＴ／ＪＰ２０１９／０２１８６８に記載された方法でもよい。２０１９年０５月３１日に国際出願された国際出願ＰＣＴ／ＪＰ２０１９／０２１８６８の開示は、その全体が参照により本明細書に取り込まれる。
【0144】
次に、本開示の技術の種々の変形例を説明する。
以下の各変形例の構成は、第１実施の形態の構成と同様であるので、その説明を省略する。各変形例の作用は、第１実施の形態の作用と略同様であるので、以下、主として異なる部分を説明する。第１実施の形態では、ＵＷＦ眼底画像の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成される。本開示の技術はこれに限定されない。
【0145】
（第１変形例）
図２４を用いて、第１変形例の画像処理を説明する。
ステップ２４０２で、画像取得部１４１０が、記憶装置２５４から、患者名ＩＤに対応する２次元眼底画像（ＵＷＦ眼底画像Ｇ１又はモンタージュ画像）を取得する。
ステップ２４０４で、３Ｄ動画生成部１４２１は、２次元眼底画像の各第１の点に対応する、眼軸長により補正された眼球モデルＭ上の各第２の点を取得する。
ステップ２４０６で、３Ｄ動画生成部１４２１は、各第１の点が、対応する第２の点から当該第１の点まで移動する過程を示すデータ（動画データ）を作成する。
ユーザは、ＵＷＦ眼底画像の各第１の点が眼球モデル上の対応する各第２の点から第１の点まで、どのように移動するのかを知ることができる。
【0146】
（第２変形例）
図２５を用いて、第２変形例の画像処理を説明する。
第２変形例では、眼軸長により補正された眼球モデル上に２次元眼底画像（ＵＷＦ眼底画像Ｇ１又はモンタージュ画像）がステレオ逆投影されることにより３次元眼底画像のデータが、予め生成され、患者名ＩＤに対応して記憶装置２４５に記憶されている。
ステップ２５０２で、画像取得部１４１０が、記憶装置２５４から、患者名ＩＤに対応する３次元眼底画像のデータを取得する。
ステップ２５０４で、３Ｄ動画生成部１４２１は、３次元眼底画像の各第１の点に対応する２次元眼底画像上の各第２の点を取得する。
ステップ２５０６で、３Ｄ動画生成部１４２１は、各第１の点が対応する第２の点まで移動する過程を示すデータ（動画データ）を作成する。
ユーザは、３次元眼底画像の各第１の点が、２次元眼底画像上の対応する各第２の点まで、どのように移動するのかを知ることができる。
【0147】
（第３変形例）
図２６を用いて、第３変形例の画像処理を説明する。
第３変形例では、第２変形例と同様に、３次元眼底画像のデータが、予め生成され、患者名ＩＤに対応して記憶装置２４５に記憶されている。
ステップ２６０２で、画像取得部１４１０が、記憶装置２５４から、患者名ＩＤに対応する３次元眼底画像のデータを取得する。
ステップ２６０４で、３Ｄ動画生成部１４２１は、３次元眼底画像の各第１の点に対応する２次元眼底画像上の各第２の点を取得する。
ステップ２６０６で、３Ｄ動画生成部１４２１は、各第１の点が、対応する第２の点から当該第１の点まで移動する過程を示すデータ（動画データ）を作成する。
ユーザは、３次元眼底画像の各第１の点が、２次元眼底画像上の対応する各第２の点から第１の点まで、どのように移動するのかを知ることができる。
【0148】
（その他の変形例）
上記各例における３次元眼底画像のデータは、眼球モデル上に２次元眼底画像（ＵＷＦ眼底画像Ｇ１又はモンタージュ画像）がステレオ逆投影されることによりえられる。本開示の技術はこれに限定されない。例えば、ＯＣＴボリュームデータ、ＯＣＴアンジオグラフィデータ、ＭＲＩ、超音波で得られた三次元眼底画像データあるいは前眼部などの三次元画像データであってもよい。
【0149】
第１実施の形態では、ＵＷＦ眼底画像の全ての点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成され、第２実施の形態では、モンタージュ画像の全ての画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成される。本開示の技術はこれに限定されない。
ユーザにより選択された少なくとも１つの点の画素の上記移動する動画データが作成されてもよい。
この場合、ユーザは、ＵＷＦ眼底画像又はモンタージュ画像の領域を指定することにより、当該領域の複数の点を選択するようにしてもよい。
さらに、ユーザは、上記領域として、眼球の上記特徴部を指定することができる。具体的には、ユーザは、特徴部として、例えば、水晶体、眼底構造物、および病変部分等を指定することができる。
【0150】
第１実施の形態では、ＵＷＦ眼底画像（ＵＷＦ－ＳＬＯ眼底画像）の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成される。第２実施の形態では、モンタージュ画像（ＵＷＦ－ＳＬＯ眼底画像の合成画像）の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成される。本開示の技術はこれに限定されない。
ＵＷＦ－ＳＬＯ画像またはモンタージュ画像（ＵＷＦ－ＳＬＯ眼底画像の合成画像）から得られた網膜血管画像または脈絡膜血管画像の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成されてもよい。
また、ＵＷＦ－ＳＬＯ画像ではない、例えば、眼底カメラにより得られた眼底画像の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成されてもよい。
【0151】
第１実施の形態及び第２実施の形態では、動画データが作成される。本開示の技術はこれに限定されない。例えば、ＵＷＦ眼底画像の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す少なくとも１枚の画像を作成するようにしてもよい。例えば、少なくともＵＷＦ眼底画像の点と眼球モデル上の対応する点との間の中間の位置に、ＵＷＦ眼底画像の点の画素が位置する画像が作成されてもよい。
【0152】
以上説明した各例では、図５及び図１７の画像処理は、サーバ１４０が実行しているが、本開示の技術はこれに限定されない。例えば、眼科装置１１０またはビューワ１５０が実行したり、ネットワーク１３０に更に別の画像処理装置を接続させ、当該画像処理装置が実行したり、してもよい。
【0153】
以上説明した各例では、コンピュータを利用したソフトウェア構成により画像処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
【0154】
このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合と、コンピュータを利用したソフトウェア構成でない構成で画像処理が実現される場合とを含むので、以下の第１技術および第２技術を含む。
【0155】
（第１技術）
【0156】
２次元眼底画像を取得する画像取得部と、
前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得する点取得部と、
前記第１の点の画素が前記第２の点まで移動する過程を示すデータを作成する作成部と、
を含む画像処理装置。
【0157】
なお、３Ｄ動画生成部１４２１は、「点取得部」、及び「作成部」の一例である。
【0158】
（第２技術）
【0159】
画像取得部が、２次元眼底画像を取得することと、
点取得部が、前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得することと、
作成部が、前記第１の点の画素が前記第２の点まで移動する過程を示すデータを作成することと、
を含む画像処理方法。
【0160】
以上の開示内容から以下の第３技術が提案される。
（第３技術）
【0161】
画像処理するためのコンピュータープログラム製品であって、
前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、
コンピュータに、
２次元眼底画像を取得し、
前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、
前記第１の点の画素が前記第２の点まで移動する過程を示すデータを作成する、
ことを実行させる、
コンピュータープログラム製品。
【0162】
以上説明した画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0163】
本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
Copyright © 2010-2025 Science Impact Inc. All Rights Reserved.