知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023120308
(43)【公開日】2023-08-29
(54)【発明の名称】画像処理方法、画像処理装置、及び画像処理プログラム
(51)【国際特許分類】
A61B 3/10 20060101AFI20230822BHJP
【ＦＩ】
A61B3/10 300
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
(21)【出願番号】P 2023097994
(22)【出願日】2023-06-14
(62)【分割の表示】P 2021522602の分割
【原出願日】2019-05-31
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】廣川 真梨子
(72)【発明者】
【氏名】田邉 泰士
(57)【要約】 （修正有）
【課題】眼底赤道部や眼底周辺部の領域が撮影されたモンタージュ画像により、患者の被検眼をより正確に診断する画像処理方法を提供する。
【解決手段】画像処理方法は、被検眼を第１方向に向けた状態で撮影した第１方向眼底画像と、被検眼を第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像とを取得することと、第１方向眼底画像と第２方向眼底画像とを合成することにより、被検眼の眼底周辺部の解析を行うための合成画像を生成することと、合成画像を出力することと、を含む。
【選択図】図１３
【解決手段】画像処理方法は、被検眼を第１方向に向けた状態で撮影した第１方向眼底画像と、被検眼を第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像とを取得することと、第１方向眼底画像と第２方向眼底画像とを合成することにより、被検眼の眼底周辺部の解析を行うための合成画像を生成することと、合成画像を出力することと、を含む。
【選択図】図１３
【特許請求の範囲】
【請求項1】
被検眼の視線を第１方向に向けた状態で撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を取得することと、
前記第１方向眼底画像および前記第２方向眼底画像の一方の眼底画像を変換し変換画像を生成することと、
前記変換画像と、前記第１方向眼底画像および前記第２方向眼底画像の他方の眼底画像と、を合成し、合成画像を生成することと、
前記合成画像を出力することと、
を含み、
前記変換画像を生成することでは、
前記被検眼の眼底上の少なくとも４つの特徴点を、前記第１方向眼底画像と前記第２方向眼底画像とからそれぞれ抽出することと、
前記一方の眼底画像を射影変換し、前記他方の眼底画像上の前記４つの特徴点の位置と前記一方の眼底画像上の前記４つの特徴点の位置とを一致させた前記変換画像を生成することと、を含み、
前記合成画像を生成することでは、
前記変換画像における、前記変換画像と前記他方の眼底画像とが重畳する第１領域に対して第１の重みづけを行うことと、
前記他方の眼底画像における、前記変換画像と前記他方の眼底画像とが重畳する第２領域に対して第２の重みづけを行うことと、
前記第１の重みづけを行ことと、前記第２の重みづけを行うことと、に基づいて、前記変換画像と前記他方の眼底画像とを合成することと、を含む、
画像処理方法。
前記第１方向眼底画像および前記第２方向眼底画像の一方の眼底画像を変換し変換画像を生成することと、
前記変換画像と、前記第１方向眼底画像および前記第２方向眼底画像の他方の眼底画像と、を合成し、合成画像を生成することと、
前記合成画像を出力することと、
を含み、
前記変換画像を生成することでは、
前記被検眼の眼底上の少なくとも４つの特徴点を、前記第１方向眼底画像と前記第２方向眼底画像とからそれぞれ抽出することと、
前記一方の眼底画像を射影変換し、前記他方の眼底画像上の前記４つの特徴点の位置と前記一方の眼底画像上の前記４つの特徴点の位置とを一致させた前記変換画像を生成することと、を含み、
前記合成画像を生成することでは、
前記変換画像における、前記変換画像と前記他方の眼底画像とが重畳する第１領域に対して第１の重みづけを行うことと、
前記他方の眼底画像における、前記変換画像と前記他方の眼底画像とが重畳する第２領域に対して第２の重みづけを行うことと、
前記第１の重みづけを行ことと、前記第２の重みづけを行うことと、に基づいて、前記変換画像と前記他方の眼底画像とを合成することと、を含む、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理方法、画像処理装置、及び画像処理プログラムに関する。
【背景技術】
【0002】
米国特許出願公開第２００９／０１３６１００号には、パノラマ眼底画像合成装置及び方法が開示されており、眼底周辺部の構造を解析するために好適な画像合成方法が望まれている。
【発明の概要】
【0003】
本開示の技術の第１の態様の画像処理方法は、被検眼を第１方向に向けた状態で撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を取得することと、前記第１方向眼底画像と前記第２方向眼底画像とを合成することにより、前記被検眼の眼底周辺部の解析を行うための合成画像を生成することと、前記合成画像を出力することと、を含む。
【0004】
本開示の技術の第２の態様の画像処理装置は、被検眼を第１方向に向けた状態撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を取得する取得部と、前記第１方向眼底画像と前記第２方向眼底画像とを合成することにより、前記被検眼の眼底周辺部の解析を行うための合成画像を生成する生成部と、前記合成画像を出力する出力部と、を備える。
【0005】
本開示の技術の第３の態様の画像処理プログラムは、コンピュータを、被検眼を第１方向に向けた状態で撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を取得する取得部、前記第１方向眼底画像と前記第２方向眼底画像とを合成することにより、前記被検眼の眼底周辺部の解析を行うための合成画像を生成する生成部、及び前記合成画像を出力する出力部として機能させる。
【図面の簡単な説明】
【0006】
【図1】眼科システム１００のブロック図である。
【図2】眼科装置１１０の全体構成を示す概略構成図である。
【図3A】眼科装置１１０による被検眼１２の眼底の撮影範囲を示す第１の図である。
【図3B】眼科装置１１０による被検眼１２の眼底の撮影範囲を示す第２の図であり、当該撮影により得られた眼底の画像である。
【図3C】眼科装置１１０による被検眼１２の眼底の撮影範囲を示す第３の図である。
【図4】眼科装置１１０のＣＰＵ２２の機能のブロック図である。
【図5】眼科装置１１０のＣＰＵ２２が実行する被検眼１２の眼底の撮影処理を示すフローチャートである。
【図6A】眼科システム１００を基準として被検眼１２の光軸が斜め上方向に向いた場合の瞳孔及び眼球中心を通る上下方向に平行な面における眼底の撮影範囲（Ｕ１からＤ１）を示した図である。
【図6B】眼科システム１００を基準として被検眼１２の光軸が斜め下方向に向いた場合の瞳孔及び眼球中心を通る上下方向に平行な面における眼底の撮影範囲（Ｕ２からＤ２）を示した図である。
【図8】サーバ１４０の電気系の構成のブロック図である。
【図9】サーバ１４０のＣＰＵ２６２の機能のブロック図である。
【図10】サーバ１４０のＣＰＵ２６２が実行するモンタージュ画像作成処理を示すフローチャートである。
【図12A】ＵＷＦ上方視眼底画像ＧＵに線分ＬＧＵが設定された様子を示す図である。
【図12B】ＵＷＦ下方視眼底画像ＧＤに線分ＬＧＤが設定された様子を示す図である。
【図13】モンタージュ画像ＧＭの生成を説明するための図である。
【図14】ビューワ１５０のディスプレイ２５６の表示画面４００の第１の表示態様を示す図である。
【図15】ビューワ１５０のディスプレイ２５６の表示画面４００の第２の表示態様を示す図である。
【図16】ビューワ１５０のディスプレイ２５６の表示画面４００の第３の表示態様を示す図である。
【図17】ビューワ１５０のディスプレイ２５６の表示画面４００の第４の表示態様を示す図である。
【発明を実施するための形態】
【0007】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0008】
図１を参照して、眼科システム１００の構成を説明する。図１に示すように、眼科システム１００は、眼科装置１１０と、眼軸長測定器１２０と、サーバ装置（以下、「サーバ」という）１４０と、表示装置（以下、「ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。眼軸長測定器１２０は、患者の眼軸長を測定する。サーバ１４０は、眼科装置１１０によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のＩＤに対応して記憶する。ビューワ１５０は、サーバ１４０により取得した眼底画像や解析結果を表示する。
サーバ１４０は、本開示の技術の「画像処理装置」の一例である。
サーバ１４０は、本開示の技術の「画像処理装置」の一例である。
【0009】
眼科装置１１０、眼軸長測定器１２０、サーバ１４０、ビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。
【0010】
なお、他の眼科機器（視野測定、眼圧測定などの検査機器）やＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた画像解析を行う診断支援装置がネットワーク１３０を介して、眼科装置１１０、眼軸長測定器１２０、サーバ１４０、及びビューワ１５０に接続されていてもよい。
【0011】
次に、図２を参照して、眼科装置１１０の構成を説明する。図２に示すように、眼科装置１１０は、制御ユニット２０、表示／操作ユニット３０、及びＳＬＯユニット４０を備える。被検眼１２の後眼部（眼底）を撮影する。さらに、眼底のＯＣＴデータを取得する図示せぬＯＣＴユニットを備えていてもよい。ここで、「ＳＬＯ」とは、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）である。「ＯＣＴ」とは、光干渉断層計（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）である。
【0012】
制御ユニット２０は、ＣＰＵ２２、メモリ２４、及び通信インターフェース（Ｉ／Ｆ）２６等を有するコンピュータを備えている。表示／操作ユニット３０は、撮影されて得られた画像を表示したり、撮影の指示を含む各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ３２及び入力／指示デバイス３４を備えている。
ＣＰＵ２２が撮影処理プログラムを実行することで、図４に示すように、ＳＬＯ制御機部１８０（固視灯制御部１８０２、ＳＬＯ光源制御部１８０４、スキャナ制御部１８０６を含む）、画像処理部１８２、表示制御部１８４、および処理部１８６として、ＣＰＵ２２が機能する。
ＣＰＵ２２が撮影処理プログラムを実行することで、図４に示すように、ＳＬＯ制御機部１８０（固視灯制御部１８０２、ＳＬＯ光源制御部１８０４、スキャナ制御部１８０６を含む）、画像処理部１８２、表示制御部１８４、および処理部１８６として、ＣＰＵ２２が機能する。
【0013】
メモリ２４には、後述する被検眼１２の眼底の撮影処理の撮影処理プログラムが記憶されている。
【0014】
ＳＬＯユニット４０は、Ｇ光（緑色光：波長５３０ｎｍ）の光源４２、Ｒ光（赤色光：波長６５０ｎｍ）の光源４４、ＩＲ光（赤外線（近赤外光）：波長８００ｎｍ）の光源４６を備えている。光源４２、４４、４６は、制御ユニット２０により命令されて、各光を発する。なお、光源４２、４４、４６としては、ＬＥＤ光源や、レーザ光源を用いることができる。なお、以下には、レーザ光源を用いた例を説明する。
【0015】
ＳＬＯユニット４０は、光源４２、４４、４６からの光を、反射又は透過して１つの光路に導く光学系５０、５２、５４、５６を備えている。光学系５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタであり、具体的には、ダイクロイックミラー、ハーフミラー等である。
【0016】
Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５２、５６で反射して、それぞれ１つの光路に導かれる。
【0017】
ＳＬＯユニット４０は、光源４２、４４、４６からの光を、被検眼１２の後眼部（眼底）に渡って、２次元状に走査する広角光学系８０を備えている。ＳＬＯユニット４０は、被検眼１２の後眼部（眼底）からの光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット４０は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット４０は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。ビームスプリッタ５８、６０、６２として、ダイクロイックミラー、ハーフミラー等を用いることができる。
【0018】
ＳＬＯユニット４０は、ビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、及びビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。光検出素子７２、７４、７６として、例えば、ＡＰＤ（ａｖａｌａｎｃｈｅ ｐｈｏｔｏｄｉｏｄｅ：アバランシェ・フォトダイオード）が挙げられる。
また、ＳＬＯユニット４０は、制御ユニット２０により制御され、上固視灯９２Ｕ及び下固視灯９２Ｄ（さらに図示せぬ中央固視灯を含む）を点灯させる固視標制御装置９０を備えている。中央固視灯、上固視灯９２Ｕ及び下固視灯９２Ｄの何れかを点灯させることにより被検眼１２の向き（視線方向）を変えることができる。
また、ＳＬＯユニット４０は、制御ユニット２０により制御され、上固視灯９２Ｕ及び下固視灯９２Ｄ（さらに図示せぬ中央固視灯を含む）を点灯させる固視標制御装置９０を備えている。中央固視灯、上固視灯９２Ｕ及び下固視灯９２Ｄの何れかを点灯させることにより被検眼１２の向き（視線方向）を変えることができる。
【0019】
広角光学系８０は、光源４２、４４、４６からの光を、Ｘ方向に走査するポリゴンミラーで構成されたＸ方向走査装置８２、Ｙ方向に走査するガルバノミラーで構成されたＹ方向走査装置８４、走査された光を、超広角（ＵＷＦ：Ｕｌｔｒａ ＷｉｄｅＦｉｅｌｄ）で照射できる楕円鏡などの凹面鏡や複数のレンズからなるレンズ系で構成された光学系８６を備えている。 Ｘ方向走査装置８２及びＹ方向走査装置８４の各走査装置はＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）ミラーを用いてもよい。また、Ｘ方向とＹ方向でそれぞれスキャナを設けることなく１つのＭＥＭＳミラーで２次元走査を行うようにしてもよい。なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、およびＺ方向は互いに垂直である。
【0020】
広角光学系８０により、眼底の視野角（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）を超広角な角度とし、被検眼１２の眼底の後極部から赤道部を超える領域を撮影することができる。
【0021】
図３Ａを用いて赤道部１７８の説明をする。眼球（被検眼１２）は、直径約 ２４ｍｍ の眼球中心１７０とした球状の構造物である。その前極１７５と後極１７６を連ねる直線を眼球軸１７２と言い、眼球軸１７２に直交する平面が眼球表面と交わる線を緯線といい、緯線長が最大のものが赤道１７４である。赤道１７４の位置に相当する網膜や脈絡膜の部分を赤道部１７８とする。赤道部１７８は眼底周辺部の一部である。
眼科装置１１０は、被検眼１２の眼球中心１７０を基準位置として内部照射角が２００°の領域を撮影することができる。なお、２００°の内部照射角は、被検眼１２の眼球の瞳孔を基準とした外部照射角では１６７°である。つまり、広角光学系８０は外部照射角１６７°の画角で瞳からレーザ光を照射させ、内部照射角で２００°の眼底領域を撮影する。
眼科装置１１０は、被検眼１２の眼球中心１７０を基準位置として内部照射角が２００°の領域を撮影することができる。なお、２００°の内部照射角は、被検眼１２の眼球の瞳孔を基準とした外部照射角では１６７°である。つまり、広角光学系８０は外部照射角１６７°の画角で瞳からレーザ光を照射させ、内部照射角で２００°の眼底領域を撮影する。
【0022】
図３Ｂには、内部照射角が２００°で走査できる眼科装置１１０で撮影されて得られたＳＬＯ画像１７９が示されている。図３Ｂに示すように、赤道部１７８は内部照射角で１８０°に相当し、ＳＬＯ画像１７９においては点線１７８ａで示された個所が赤道部１７８に相当する。このように、眼科装置１１０は、後極１７６を含む後極部から赤道部１７８を超えた眼底周辺領域を一括で（一回の撮影で、あるいは、一回のスキャンで）撮影することができる。つまり、眼科装置１１０は、眼底中心部から眼底周辺部までを一括で撮影することができる。
【0023】
図３Ｃは、眼球における脈絡膜１２Ｍと渦静脈（Ｖｏｒｔｅｘ Ｖｅｉｎ）１２Ｖ１、Ｖ２との位置関係を示す図である。
図３Ｃにおいて、網目状の模様は脈絡膜１２Ｍの脈絡膜血管を示している。脈絡膜血管は脈絡膜全体に血液をめぐらせる。そして、被検眼１２に複数（通常４つから６つ）存在する渦静脈から眼球の外へ血液が流れる。図３Ｃでは眼球の片側に存在する上側渦静脈Ｖ１と下側渦静脈Ｖ２が示されている。渦静脈は、赤道部１７８の近傍に存在する場合が多い。そのため、被検眼１２に存在する渦静脈及び渦静脈周辺の脈絡膜血管を撮影するには、上述した内部照射角が２００°で眼底周辺部を広範囲に走査できる眼科装置１１０を用いて行われる。
図３Ｃにおいて、網目状の模様は脈絡膜１２Ｍの脈絡膜血管を示している。脈絡膜血管は脈絡膜全体に血液をめぐらせる。そして、被検眼１２に複数（通常４つから６つ）存在する渦静脈から眼球の外へ血液が流れる。図３Ｃでは眼球の片側に存在する上側渦静脈Ｖ１と下側渦静脈Ｖ２が示されている。渦静脈は、赤道部１７８の近傍に存在する場合が多い。そのため、被検眼１２に存在する渦静脈及び渦静脈周辺の脈絡膜血管を撮影するには、上述した内部照射角が２００°で眼底周辺部を広範囲に走査できる眼科装置１１０を用いて行われる。
【0024】
被検眼１２の眼を、内部照射角が２００°で走査できる眼科装置１１０で撮影して得られたＳＬＯ眼底画像をＵＷＦ眼底画像と称する。
【0025】
このような広角光学系を備えた眼科装置１１０の構成としては、国際出願ＰＣＴ／ＥＰ２０１７／０７５８５２に記載された構成を用いてもよい。２０１７年１０月１０日に国際出願された国際出願ＰＣＴ／ＥＰ２０１７／０７５８５２（国際公開ＷＯ２０１８／０６９３４６）の開示は、その全体が参照により本明細書に取り込まれる。
【0026】
眼科装置１１０によって上方視／下方視によるＵＷＦ眼底画像の撮影について説明する。
まず、入力／指示デバイス３４を介して、患者ＩＤ、患者名などの患者属性情報、撮影する被検眼が右眼か左眼かの情報などが眼科装置１１０に入力される。診察歴のある患者であれば、患者ＩＤを入力してサーバ１４０に記録されている患者属性情報を読み出す。
次に、眼科装置１１０は、中央固視灯を点灯させて眼底の広範囲を撮影する通常撮影モードと、眼底周辺部の構造（例えば、渦静脈及び渦静脈周辺の脈絡膜血管など）を解析するためのモンタージュ画像撮影モードを選択させるメニュー画面をディスプレイ３２に表示する。ディスプレイ３２に表示されたメニュー画面から、ユーザが入力／指示デバイス３４を介してモードを選択できる。
まず、入力／指示デバイス３４を介して、患者ＩＤ、患者名などの患者属性情報、撮影する被検眼が右眼か左眼かの情報などが眼科装置１１０に入力される。診察歴のある患者であれば、患者ＩＤを入力してサーバ１４０に記録されている患者属性情報を読み出す。
次に、眼科装置１１０は、中央固視灯を点灯させて眼底の広範囲を撮影する通常撮影モードと、眼底周辺部の構造（例えば、渦静脈及び渦静脈周辺の脈絡膜血管など）を解析するためのモンタージュ画像撮影モードを選択させるメニュー画面をディスプレイ３２に表示する。ディスプレイ３２に表示されたメニュー画面から、ユーザが入力／指示デバイス３４を介してモードを選択できる。
【0027】
ユーザがモンタージュ画像撮影モードを選択すると、眼科装置１１０のＣＰＵ２２が撮影処理プログラムを実行することで、図５のフローチャートに示された撮影処理が実現される。
【0028】
ユーザがモンタージュ画像撮影モードを選択すると、ＳＬＯ制御部１８０は、アライメントやフォーカス調整を行う。
そして、図５のステップ３０２で、固視灯制御部１８０２は、患者の視線を斜め上方向に向けるために、固視標制御装置９０を制御して上固視灯９２Ｕを点灯させる。これにより、図６Ａに示すように、患者の視線が斜め上方向、即ち、眼球中心から上固視灯９２Ｕに向かう方向に向けられる。上固視灯９２Ｕを点灯させるだけでなく、眼科装置１１０のオペレータが「上を向いてください」など患者の視線を斜め上方向にする指示を出すことで、被検眼の視線を斜め上方向に向いた状態にしてもよい。
斜め上方向は、本開示の技術の「第１方向」の一例である。
そして、図５のステップ３０２で、固視灯制御部１８０２は、患者の視線を斜め上方向に向けるために、固視標制御装置９０を制御して上固視灯９２Ｕを点灯させる。これにより、図６Ａに示すように、患者の視線が斜め上方向、即ち、眼球中心から上固視灯９２Ｕに向かう方向に向けられる。上固視灯９２Ｕを点灯させるだけでなく、眼科装置１１０のオペレータが「上を向いてください」など患者の視線を斜め上方向にする指示を出すことで、被検眼の視線を斜め上方向に向いた状態にしてもよい。
斜め上方向は、本開示の技術の「第１方向」の一例である。
【0029】
ステップ３０４で、患者の視線が斜め上方向に向けられている上方視の状態で、眼底を撮影する。具体的には、ＳＬＯ光源制御部１８０４は、Ｇ光の光源４２及びＲ光の光源４４からＧ光及びＲ光を発生させる。スキャナ制御部１８０６は、Ｘ方向走査装置８２及びＹ方向走査装置８４を制御する。Ｘ方向及びＹ方向に走査されたＧ光及びＲ光は被検眼の眼底で反射する。
【0030】
緑色に相当する波長のＧ光は網膜で反射するので、網膜の構造情報を含んでいる。被検眼１２から反射されたＧ光はＧ光検出素子７２により検出される。画像処理部１８２は、Ｇ光検出素子７２からの信号からＵＷＦ上方視眼底画像Ｇの画像データを生成する。同様に、被検眼１２から反射されたＲ光がＲ光検出素子７４により検出される。赤色レーザ光（Ｒ光）は網膜より深い脈絡膜で反射するので、脈絡膜の構造情報を含んでいる。画像処理部１８２は、Ｒ光検出素子７４からの信号からＵＷＦ上方視眼底画像Ｒの画像データを生成する。画像処理部１８２は、ＵＷＦ上方視眼底画像とＵＷＦ上方視眼底画像Ｒとを所定の混合比で合成したＵＷＦ上方視眼底画像ＲＧの画像データを生成する。
なお、ＵＷＦ上方視眼底画像Ｇ、ＵＷＦ上方視眼底画像Ｒ及びＵＷＦ上方視眼底画像ＲＧを区別しないときは、ＵＷＦ上方視眼底画像と称する。
ＵＷＦ上方視眼底画像は、本開示の技術の「第１方向眼底画像」の一例である。
なお、ＵＷＦ上方視眼底画像Ｇ、ＵＷＦ上方視眼底画像Ｒ及びＵＷＦ上方視眼底画像ＲＧを区別しないときは、ＵＷＦ上方視眼底画像と称する。
ＵＷＦ上方視眼底画像は、本開示の技術の「第１方向眼底画像」の一例である。
【0031】
ところで、眼科システム１００の光軸に被検眼１２の光軸が一致した状態で、眼底を撮影して得られる、被検眼１２の眼底のＵＷＦ正面視眼底画像には、図６Ａに示すＹ－Ｚ平面における眼底の上位置Ｕ０と下位置Ｄ０との間の領域が撮影される。
【0032】
上方視の状態で眼底を撮影して得られた各上方視眼底画像には、図６Ａに示すように、患者の視線が斜め上方向に向けられるので、上位置Ｕ０よりも上側の上側位置Ｕ１と下側位置Ｄ１との間の領域の画像が存在する。よって、各上方視眼底画像には、正面視画像にはない領域ＭＵ０１の画像が存在する。図７Ａは右眼のＵＷＦ上方視眼底画像を示す。ＵＷＦ上方視眼底画像ＧＵには、眼球上側の赤道部付近に存在する鼻側（紙面右）の渦静脈１２Ｖ１と耳側（紙面左）の渦静脈１２Ｖ３がＵＷＦ上側眼底画像ＧＵの上側に位置する。さらに、眼底中心部に存在する視神経乳頭ＯＮＨおよび黄斑ＭがＵＷＦ上側眼底画像ＧＵの下側に位置している。
【0033】
ステップ３０６で、固視灯制御部１８０２は、患者の視線を斜め下方向に向けるために、固視標制御装置９０を制御して下固視灯９２Ｄを点灯させる。これにより、図６Ｂに示すように、患者の視線が斜め下方向、即ち、眼球中心から下固視灯９２Ｄに向かう方向に向けられる。上固視灯９２Ｄを点灯させるだけでなく、眼科装置１１０のオペレータが「下を向いてください」など患者の視線を斜め下方向にする指示を出すことで、被検眼の視線を斜め下方向に向いた状態にしてもよい。
斜め下方向は、本開示の技術の「第２方向」の一例である。
斜め下方向は、本開示の技術の「第２方向」の一例である。
【0034】
ステップ３０８で、患者の視線が斜め下方向に向けられている下方視の状態で、眼底を撮影する。ステップ３０４と同様に、ＳＬＯ光源制御部１８０４は、Ｇ光の光源４２及びＲ光の光源４４からＧ光及びＲ光を発生させ、スキャナ制御部１８０６は、Ｘ方向走査装置８２及びＹ方向走査装置８４を制御して、Ｇ光及びＲ光を、Ｘ方向及びＹ方向に走査する。ステップ３０４と同様に、画像処理部１８２は、ＵＷＦ下方視眼底画像Ｇ、ＵＷＦ下方視眼底画像ＲおよびＵＷＦ下方視眼底画像ＲＧの画像データを生成する。
なお、ＵＷＦ下方視眼底画像Ｇ、ＵＷＦ下方視眼底画像Ｒ及びＵＷＦ下方視眼底画像ＲＧを区別しないときは、ＵＷＦ下方視眼底画像と称する。
ＵＷＦ下方視眼底画像は、本開示の技術の「第２方向眼底画像」の一例である。
なお、ＵＷＦ下方視眼底画像Ｇ、ＵＷＦ下方視眼底画像Ｒ及びＵＷＦ下方視眼底画像ＲＧを区別しないときは、ＵＷＦ下方視眼底画像と称する。
ＵＷＦ下方視眼底画像は、本開示の技術の「第２方向眼底画像」の一例である。
【0035】
下方視の状態で眼底を撮影して得られた各下方視眼底画像には、図６Ｂに示すように、患者の視線が斜め下方向に向けられるので、下位置Ｄ０よりも下側の下側位置Ｄ２と上側位置Ｕ２との間の領域の画像が存在する。よって、下方視眼底画像にはＵＷＦ正面視眼底画像にはない領域ＭＤ０２の画像が存在する。図７Ｂは右眼のＵＷＦ下方視眼底画像ＧＤを示す。ＵＷＦ下方視眼底画像ＧＤには、眼球上側の赤道部付近に存在する鼻側（紙面右）の渦静脈１２Ｖ２と耳側（紙面左）の渦静脈１２Ｖ４がＵＷＦ下側眼底画像ＧＤの下側に位置する。さらに、眼底中心部に存在する視神経乳頭ＯＮＨおよび黄斑ＭがＵＷＦ下側眼底画像ＧＤの上側に位置している。
【0036】
ステップ３１０で、処理部１８６は、通信インターフェース（Ｉ／Ｆ）２６を介して、ＵＷＦ上方視眼底画像と、ＵＷＦ下方視眼底画像との各画像データをサーバ１４０に送信する。処理部１８６は、画像データをサーバ１４０に送信する際、患者ＩＤ、患者属性情報（患者名、年齢、各眼底画像が右眼か左眼からの情報、視力および撮影日時など）もサーバ１４０に送信する。
【0037】
サーバ１４０は、受信した上記画像データ、患者ＩＤ、患者属性情報を関連付けて後述する記憶装置２５４に記憶する。
【0038】
なお、表示制御部１８４は、ＵＷＦ上方視眼底画像と、ＵＷＦ下方視眼底画像とを、ディスプレイ３２に表示してもよい。
【0039】
また、ユーザが眼底の広範囲を正面視で撮影する通常撮影モードを選択した場合、ＳＬＯ制御部１８０は、アライメントやフォーカス調整を行う。そして、固視灯制御部１８０２は、固視標制御装置９０を制御して中央固視灯を点灯させる。これにより患者の視線は正面に固定され、図３ＢのようなＵＷＦ正面視眼底画像が撮影される。
ＵＷＦ正面視眼底画像を取得した場合には、ステップ３１０で、処理部１８６は、ＵＷＦ正面視眼底画像の画像データも、上記と同様に送信する。
なお、ＵＷＦ上方視眼底画像及びＵＷＦ下方視眼底画像と同様に、ＵＷＦ正面視眼底画像として、ＵＷＦ正面視眼底画像Ｇ、ＵＷＦ正面視眼底画像Ｒ、及びＵＷＦ正面視眼底画像ＲＧが生成される。
ＵＷＦ正面視眼底画像を取得した場合には、ステップ３１０で、処理部１８６は、ＵＷＦ正面視眼底画像の画像データも、上記と同様に送信する。
なお、ＵＷＦ上方視眼底画像及びＵＷＦ下方視眼底画像と同様に、ＵＷＦ正面視眼底画像として、ＵＷＦ正面視眼底画像Ｇ、ＵＷＦ正面視眼底画像Ｒ、及びＵＷＦ正面視眼底画像ＲＧが生成される。
【0040】
眼底周辺部の構造（例えば、渦静脈及び渦静脈周辺の脈絡膜血管など）を解析するためには、赤道部の周辺や、赤道部を前眼部方向に超える眼底領域を撮像することが求められる。正面視による広画角の撮影では、被検者の瞼、まつ毛や眼科装置１１０の筐体などが写り込み眼底周辺部が撮影できていない場合がある。この場合、渦静脈や渦静脈周辺の脈絡膜血管を撮影できず、眼底周辺部あるいは赤道部周辺の渦静脈をすべて含む画像を取得することができない。
【0041】
そこで、本実施の形態は、患者の視線が上方に向いた状態で、ＵＷＦ上方視眼底画像ＧＵを取得し、患者の視線が下方に向いた状態で、ＵＷＦ下方視眼底画像ＧＤを取得する。そして、双方の画像を合成することにより、ＵＷＦ正面視眼底画像１枚よりも広い領域が確実に撮影されたモンタージュ画像を生成できる。このモンタージュ画像を用いることにより、渦静脈と渦静脈周辺の脈絡膜血管が含まれることから被検者の瞼、まつ毛や眼科装置１１０の筐体などが写り込みの影響を除去したモンタージュ画像を得ることができる。このモンタージュ画像は、眼底周辺部の病変や異常領域、あるいは渦静脈や渦静脈周辺の脈絡膜血管の検出に好適である。
【0042】
以下、モンタージュ画像をサーバ１４０で生成する場合について説明する。
【0043】
図８を参照して、サーバ１４０の構成を説明する。図８に示すように、サーバ１４０は、コンピュータ本体２５２を備えている。コンピュータ本体２５２は、ＣＰＵ２６２、ＲＡＭ２６６、ＲＯＭ２６４、入出力（Ｉ／Ｏ）ポート２６８を有する。入出力（Ｉ／Ｏ）ポート２６８には、記憶装置２５４、ディスプレイ２５６、マウス２５５Ｍ、キーボード２５５Ｋ、および通信インターフェース（Ｉ／Ｆ）２５８が接続されている。記憶装置２５４は、例えば、不揮発メモリで構成される。入出力（Ｉ／Ｏ）ポート２６８は、通信インターフェース（Ｉ／Ｆ）２５８を介して、ネットワーク１３０に接続されている。従って、サーバ１４０は、眼科装置１１０、眼軸長測定器１２０、およびビューワ１５０と通信することができる。記憶装置２５４には、後述するモンタージュ画像作成処理プログラムが記憶されている。なお、モンタージュ画像作成処理プログラムを、ＲＯＭ２６４に記憶してもよい。
モンタージュ画像作成処理プログラムは、本開示の技術の「画像処理プログラム」の一例である。
モンタージュ画像作成処理プログラムは、本開示の技術の「画像処理プログラム」の一例である。
【0044】
サーバ１４０のＣＰＵ２６２がモンタージュ画像作成処理プログラムを実行することで、図９に示すように、画像取得部１４１０、画像処理部１４２０（位置合わせ部１４２１、二値化処理部１４２２、合成画像生成部１４２４、渦静脈解析部１４２５を含む）、表示制御部１４３０、および出力部１４４０として、ＣＰＵ２６２が機能する。
画像取得部１４１０は、本開示の技術の「取得部」の一例である。画像処理部１４２０は、本開示の技術の「生成部」の一例である。出力部１４４０は、本開示の技術の「出力部」の一例である。
画像取得部１４１０は、本開示の技術の「取得部」の一例である。画像処理部１４２０は、本開示の技術の「生成部」の一例である。出力部１４４０は、本開示の技術の「出力部」の一例である。
【0045】
次に、図１０を用いて、サーバ１４０のＣＰＵ２６２によるモンタージュ画像作成処理を詳細に説明する。サーバ１４０のＣＰＵ２６２がモンタージュ画像作成処理プログラムを実行することで、図１０のフローチャートに示されたモンタージュ画像作成処理が実現される。
モンタージュ画像作成処理は、本開示の技術の「画像処理方法」の一例である。
モンタージュ画像作成処理は、本開示の技術の「画像処理方法」の一例である。
【0046】
ユーザ（例えば、眼科医）が、ビューワ１５０に、患者の被検眼１２の診断のため、被検眼１２の眼底画像（モンタージュ画像）の表示を、図示しないモンタージュ画像表示ボタンをオンすることにより、指示する。このとき、オペレータは、患者ＩＤを、ビューワ１５０に入力する。ビューワ１５０は、患者ＩＤとともに、モンタージュ画像作成指示データを、サーバ１４０に出力する。モンタージュ画像作成指示データ及び患者ＩＤを受信したサーバ１４０は、モンタージュ画像作成処理プログラムを実行する。
なお、モンタージュ画像作成処理プログラムは、眼科装置１１０で撮影されたＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像がサーバ１４０に送信された時点で実行されるようにしてもよい。
なお、モンタージュ画像作成処理プログラムは、眼科装置１１０で撮影されたＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像がサーバ１４０に送信された時点で実行されるようにしてもよい。
【0047】
図１０のフローチャートの、ステップ３２０で、画像取得部１４１０は、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像を、記憶装置２５４から取得する。ステップ３２２で、二値化処理部１４２２は、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像に対して血管を強調する処理を施す。そして、所定の閾値で二値化する二値化処理を実行する。二値化処理により、眼底の血管が白く強調される。
【0048】
ステップ３２４で、位置合わせ部１４２１は、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像の位置合わせを行う。ステップ３２４の位置合わせ処理について、図１１のフローチャートを用いて説明する。ここでは、ＵＷＦ上方視眼底画像を基準としてＵＷＦ下方視眼底画像を変換する場合（つまり、ＵＷＦ上方視眼底画像は変換しないで、ＵＷＦ下方視眼底画像のみを変換する場合）を例に取り説明する。
【0049】
図１１のステップ３４０で、位置合わせ部１４２１は、ＵＷＦ上方視眼底画像ＧＵから画像処理により特徴点群１を抽出する。特徴点群１は、眼底画像における複数の特徴点であり、図７Ａに示すように、視神経乳頭ＯＮＨＵ、黄斑ＭＵや網膜血管の分岐点ＶＢＵである。なお、脈絡膜血管の分岐点も特徴点として抽出するようにしてもよい。位置合わせ部１４２１は、網膜の構造情報を含んでいるＵＷＦ上方視眼底画像Ｇと、脈絡膜の構造情報をも含んでいるＵＷＦ上方視眼底画像Ｒとから、ＵＷＦ上方視眼底画像Ｒから網膜の構造情報を除去することにより脈絡膜のみの構造情報を抽出する。位置合わせ部１４２１は、ＵＷＦ上方視眼底画像Ｇから網膜血管の分岐点を抽出し、脈絡膜のみの構造情報から脈絡膜血管の分岐点を抽出する。 特徴点は、視神経乳頭ＯＮＨＵ領域の最大輝度の画素、黄斑ＭＵ領域の最小輝度の画素、網膜血管や脈絡膜血管の分岐点に位置する画素であり、それらの画素の座標が特徴点データとして抽出される、また、網膜血管や脈絡膜血管の分岐点だけでなく、特徴的な血管走行パターンを含む領域を抽出し、該パターンを含む領域の中心点を特徴点としてもよい。
なお、網膜血管や脈絡膜血管の端点、屈曲点あるいは蛇行点を特徴点として抽出するようにしてもよい。
また特徴点は、特徴点検出を行うアルゴリズムであるＳＩＦＴ(Ｓｃａｌｅ Ｉｎｔｅｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ)やＳＵＲＦ（Ｓｐｅｅｄ Ｕｐｐｅｄ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）などを用いて行うことができる。
なお、網膜血管や脈絡膜血管の端点、屈曲点あるいは蛇行点を特徴点として抽出するようにしてもよい。
また特徴点は、特徴点検出を行うアルゴリズムであるＳＩＦＴ(Ｓｃａｌｅ Ｉｎｔｅｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ)やＳＵＲＦ（Ｓｐｅｅｄ Ｕｐｐｅｄ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）などを用いて行うことができる。
【0050】
ここで、位置合わせを高精度で行うために、抽出される特徴点の数は４つ以上が好ましい。ＵＷＦ上方視眼底画像ＧＵには、視神経乳頭と黄斑は被検眼に１つだけしか存在しない。よって、網膜血管や脈絡膜血管の分岐点ＶＢＵを２か所以上抽出することにより、ＵＷＦ上方視眼底画像ＧＵから特徴点を４つ以上抽出することができる。
【0051】
眼底中心部に存在する視神経乳頭、黄斑、網膜血管や脈絡膜血管は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤの双方に撮影されているため位置合わせ用の特徴点の選択対象として好適である。すなわち、特徴点はＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤとの共通領域である眼底中心部から選択するのが良い。
そこで、ステップ３４０で、位置合わせ部１４２１は、眼底中心部であるＵＷＦ上方視眼底画像ＧＵの中心より下側の領域を対象として、画像処理により特徴点群１を抽出する。
そこで、ステップ３４０で、位置合わせ部１４２１は、眼底中心部であるＵＷＦ上方視眼底画像ＧＵの中心より下側の領域を対象として、画像処理により特徴点群１を抽出する。
【0052】
眼底周辺部に存在しているＵＷＦ上方視眼底画像ＧＵに存在する渦静脈１２Ｖ１と１２Ｖ３は特徴点として選択対象から除外される。眼底周辺部はＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤとの共通領域ではないため、眼底周辺部の構造物は特徴点の選択対象から除外される。
【0053】
ステップ３４２で、位置合わせ部１４２１は、特徴点群１に対応する特徴点群２をＵＷＦ下方視眼底画像ＧＤから抽出する。特徴点群２は、図７Ｂに示すように、視神経乳頭ＯＮＨＤと黄斑ＭＤ、そして、網膜血管の分岐点ＶＢＤである。同一眼であるので、視神経乳頭ＯＮＨＤは視神経乳頭ＯＮＨＵに対応し、黄斑ＭＤは黄斑ＭＵに対応している。分岐点ＶＢＤは血管の分岐点ＶＢＵに対応しており、分岐点ＶＢＵの分岐パターンと同一の分岐パターンを持つ分岐個所が画像認識処理などにより抽出される。
【0054】
ステップ３４４で、位置合わせ部１４２１は、特徴点群１と特徴点群２を用いて、ＵＷＦ下方視眼底画像ＧＤを幾何変換する射影変換行列を生成する。この射影変換行列は、ＵＷＦ下方視眼底画像ＧＤをＵＷＦ上方視眼底画像ＧＵに対応させるための行列である。 少なくとも４個の特徴点により射影変換行列が定まる。
ステップ３４６で、生成された射影変換行列を用いてＵＷＦ下方視眼底画像ＧＤ（図７Ｂ参照）を変換し、変換後のＵＷＦ下方視眼底画像ＧＤＣ（図１２Ｂ参照）を得る。射影変換行列を用いた変換後では、特徴点群１と特徴点群２は同一位置に来ており、位置合わせ処理が実行されたこととなる。この変換によりＵＷＦ下方視眼底画像ＧＤに比べてＵＷＦ下方視眼底画像ＧＤＣが大きくなっている（面積が増大している）。
上述では、ＵＷＦ下方視眼底画像ＧＤをＵＷＦ上方視眼底画像ＧＵに対応させるための射影変換行列を生成し、ＵＷＦ下方視眼底画像ＧＤを変換した。この逆で、ＵＷＦ上方視眼底画像ＧＵをＵＷＦ下方視眼底画像ＧＤに対応させるための射影変換行列を生成し、ＵＷＦ上方視眼底画像ＧＵを変換するようにしてもよい。
これで画像間の位置合わせ処理である図１０のステップ３２４が完了し、モンタージュ画像作成処理はステップ３２６に進む。
ステップ３４６で、生成された射影変換行列を用いてＵＷＦ下方視眼底画像ＧＤ（図７Ｂ参照）を変換し、変換後のＵＷＦ下方視眼底画像ＧＤＣ（図１２Ｂ参照）を得る。射影変換行列を用いた変換後では、特徴点群１と特徴点群２は同一位置に来ており、位置合わせ処理が実行されたこととなる。この変換によりＵＷＦ下方視眼底画像ＧＤに比べてＵＷＦ下方視眼底画像ＧＤＣが大きくなっている（面積が増大している）。
上述では、ＵＷＦ下方視眼底画像ＧＤをＵＷＦ上方視眼底画像ＧＵに対応させるための射影変換行列を生成し、ＵＷＦ下方視眼底画像ＧＤを変換した。この逆で、ＵＷＦ上方視眼底画像ＧＵをＵＷＦ下方視眼底画像ＧＤに対応させるための射影変換行列を生成し、ＵＷＦ上方視眼底画像ＧＵを変換するようにしてもよい。
これで画像間の位置合わせ処理である図１０のステップ３２４が完了し、モンタージュ画像作成処理はステップ３２６に進む。
【0055】
図１０のステップ３２６で、合成画像生成部１４２４は、ＵＷＦ上方視眼底画像ＧＵ及び変換後のＵＷＦ下方視眼底画像ＧＤＣを合成し、モンタージュ画像ＧＭを生成する。
まず、図１２Ａに示すように、ＵＷＦ上方視眼底画像ＧＵに視神経乳頭ＯＮＨＵと黄斑ＭＵとを通る線分ＬＧＵを設定する。同様に、図１２Ｂに示すように、変換後のＵＷＦ下方視眼底画像ＧＤＣに視神経乳頭ＯＮＨＤと黄斑ＭＤとを通る線分ＬＧＤを設定する。
まず、図１２Ａに示すように、ＵＷＦ上方視眼底画像ＧＵに視神経乳頭ＯＮＨＵと黄斑ＭＵとを通る線分ＬＧＵを設定する。同様に、図１２Ｂに示すように、変換後のＵＷＦ下方視眼底画像ＧＤＣに視神経乳頭ＯＮＨＤと黄斑ＭＤとを通る線分ＬＧＤを設定する。
【0056】
次に、合成画像生成部１４２４は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣとが重複する領域の重み付け処理を行う。図１３に示すように、合成画像生成部１４２４は、ＵＷＦ上方視眼底画像ＧＵの線分ＬＧＵよりも上側領域である上側のＵＷＦ上方視眼底画像ＧＵｘ領域の重みを「１」とする。合成画像生成部１４２４は、線分ＬＧＵよりも上側領域の重みを「０」とする。そして、合成画像生成部１４２４は、変換後のＵＷＦ下方視眼底画像の線分ＬＧＤよりも下側領域である下側のＵＷＦ下方視眼底画像ＧＤＣｘの重みを「１」とし、線分ＬＧＤよりも上側領域出の重みを「０」する。
【0057】
合成画像生成部１４２４は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣに対して、このような重み付け処理を行うことにより、ＵＷＦ上方視眼底画像ＧＵｘとＵＷＦ下方視眼底画像ＧＤＣｘとが合成されたモンタージュ画像ＧＭを生成する。図１３に示されるように、線分ＬＧは視神経乳頭ＯＮＨＤと黄斑Ｍを結ぶ線分であり、線分ＬＧより上側がＵＷＦ上方視眼底画像ＧＵｘであり、線分ＬＧより下側がＵＷＦ下方視眼底画像ＧＤＣｘである。モンタージュ画像は、本開示の技術の「合成画像」の一例である。
【0058】
なお、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣの重複部分に関する重み付けは、上述の例に限らず、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣの混合割合をさまざまな値に設定することができる。
【0059】
このように、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣの位置合わせを行い合成をする。この合成による、眼底の血管が不連続でなく、眼底周辺部または眼底赤道部に位置する渦静脈や渦静脈周辺の脈絡膜血管を解析、あるいは異常部や病変部などの解析のための眼底画像を得ることができる。
【0060】
次にステップ３２８で、渦静脈解析部１４２５は、モンタージュ画像ＧＭを用いて渦静脈の位置や渦静脈付近の血管の血管径を解析する。解析によって得られた渦静脈情報としては、渦静脈の個数、渦静脈の位置、渦静脈につながる血管の本数、渦静脈周囲の血管の血管径などに関する情報が含まれる。
【0061】
ステップ３３０で、表示制御部１４３０は、モンタージュ画像とともに、患者ＩＤに対応した患者属性情報（患者名、年齢、各眼底画像が右眼か左眼からの情報、視力および撮影日時など）を反映させた、後述する表示画面４００を生成する。
ステップ３３２で、出力部１４４０は、モンタージュ画像ＧＭと渦静脈解析により得られた渦静脈解析情報とを、サーバ１４０の記億装置２５４に出力する。モンタージュ画像ＧＭと渦静脈解析により得られた渦静脈解析情報とがサーバ１４０の記億装置２５４に記憶される。
ステップ３３２では更に、出力部１４４０は、表示画面４００に対応する画像データをビューワ１５０へ出力する。
なお、表示制御部１４３０は、ディスプレイ２５６にモンタージュ画像ＧＭを表示するように出力してもよい。
ステップ３３２で、出力部１４４０は、モンタージュ画像ＧＭと渦静脈解析により得られた渦静脈解析情報とを、サーバ１４０の記億装置２５４に出力する。モンタージュ画像ＧＭと渦静脈解析により得られた渦静脈解析情報とがサーバ１４０の記億装置２５４に記憶される。
ステップ３３２では更に、出力部１４４０は、表示画面４００に対応する画像データをビューワ１５０へ出力する。
なお、表示制御部１４３０は、ディスプレイ２５６にモンタージュ画像ＧＭを表示するように出力してもよい。
【0062】
図１０、図１１のフローチャートでは、ＵＷＦ上方視眼底画像を基準としてＵＷＦ下方視眼底画像を変換する場合を説明したが、これに限らず、ＵＷＦ下方視眼底画像を基準としてＵＷＦ上方視眼底画像を変換するようにしてもよい。
また、二値化画像を用いてモンタージュ画像生成したが、二値化前のカラーのＵＷＦ上方視眼底画像ＲＧとＵＷＦ下方視眼底画像ＲＧを用いてモンタージュ画像を生成することも、同様の手法で可能である。この場合は、モンタージュ合成処理のあとモンタージュ画像の二値化処理がなされる。
また、二値化画像を用いてモンタージュ画像生成したが、二値化前のカラーのＵＷＦ上方視眼底画像ＲＧとＵＷＦ下方視眼底画像ＲＧを用いてモンタージュ画像を生成することも、同様の手法で可能である。この場合は、モンタージュ合成処理のあとモンタージュ画像の二値化処理がなされる。
【0063】
以下、モンタージュ画像を用いたグラフィックユーザインターフェース（ＧＵＩ）について説明する。
上記のように図１０のステップ３３２では、サーバ１４０は、表示画面４００に対応する画像データをビューワ１５０に出力する。
サーバ１４０から出力された画像データを受信したビューワ１５０は、図示せぬディスプレイ（モニター）に、表示画面４００を表示する。
表示画面４００は、図１４に示すように、情報表示領域４０２と、画像表示領域４０４（４０４Ａ）とを有する。なお、図１４には、画像表示領域４０４の第１の表示態様の画像表示領域４０４Ａが示されている。情報表示領域４０２には、患者ＩＤ表示領域４１２、患者名表示領域４１４、年令表示領域４１６、右眼／左眼表示領域４１８、眼軸長表示領域４２０、視力表示領域４２２、及び撮影日時表示領域４２４を有する。ビューワ１５０は、受信した情報に基づいて、患者ＩＤ表示領域４１２から撮影日時表示領域４２４の各表示領域に各々の情報を表示する。
上記のように図１０のステップ３３２では、サーバ１４０は、表示画面４００に対応する画像データをビューワ１５０に出力する。
サーバ１４０から出力された画像データを受信したビューワ１５０は、図示せぬディスプレイ（モニター）に、表示画面４００を表示する。
表示画面４００は、図１４に示すように、情報表示領域４０２と、画像表示領域４０４（４０４Ａ）とを有する。なお、図１４には、画像表示領域４０４の第１の表示態様の画像表示領域４０４Ａが示されている。情報表示領域４０２には、患者ＩＤ表示領域４１２、患者名表示領域４１４、年令表示領域４１６、右眼／左眼表示領域４１８、眼軸長表示領域４２０、視力表示領域４２２、及び撮影日時表示領域４２４を有する。ビューワ１５０は、受信した情報に基づいて、患者ＩＤ表示領域４１２から撮影日時表示領域４２４の各表示領域に各々の情報を表示する。
【0064】
情報表示領域４０２には、画像選択アイコン４３０と表示切替アイコン４４０とが設けられている。
【0065】
画像表示領域４０４Ａは、モンタージュ画像表示領域４５０と、関連画像表示領域４６０とを有する。画像選択アイコン４３０がオンされると、プルダウンメニューが表示される。画像選択アイコン４３０がオンされて表示されるプルダウンメニューは、関連画像表示領域４６０に表示する関連画像を選択するためのメニューを有する。例えば、プルダウンメニューには、既に取得されている被検眼１２の眼底の蛍光画像（たとえば、ＩＡ画像 Ｉｎｄｏｃｙａｎｉｎｅ ｇｒｅｅｎ ａｎｇｉｏｇｒａｐｈｙによる画像）の動画や、ＩＡ画像の静止画、ＵＷＦ正面視眼底画像などが選択候補として表示される。図１４には、モンタージュ画像表示領域４５０にはモンタージュ画像ＧＭが表示され、関連画像表示領域４６０には、ＩＡ画像の動画ＧＡが表示されている様子が示されている。
また、線分ＬＧは、モンタージュ画像ＧＭの視神経乳頭ＯＮＨと黄斑Ｍを結ぶ線分である。関連画像表示領域４６０に表示されるＩＡ画像の動画ＧＡは、動画ＧＡの視神経乳頭と黄斑が線分ＬＧ上になるように位置合わせされて表示される。
線分ＬＧはユーザにより、表示する/しないを選択可能としてもよい。
また、線分ＬＧは、モンタージュ画像ＧＭの視神経乳頭ＯＮＨと黄斑Ｍを結ぶ線分である。関連画像表示領域４６０に表示されるＩＡ画像の動画ＧＡは、動画ＧＡの視神経乳頭と黄斑が線分ＬＧ上になるように位置合わせされて表示される。
線分ＬＧはユーザにより、表示する/しないを選択可能としてもよい。
【0066】
さらに、モンタージュ画像及び関連画像には、渦静脈を示すマークを、渦静脈に対応する位置に表示するようにしてもよい。
【0067】
例えば、図１４に示すように、モンタージュ画像ＧＭにおいて、渦静脈１２Ｖ１、１２Ｖ２、１２Ｖ３、１２Ｖ４の位置を検出し、モンタージュ画像ＧＭにおいて、検出した位置に渦静脈を示すマークを表示するようにしてもよい。
また、渦静脈解析情報（渦静脈の個数、渦静脈の位置、渦静脈につながる血管の本数、渦静脈周囲の血管の血管径など）を、表示画面４００に表示させるようにしてもよい。
また、渦静脈解析情報（渦静脈の個数、渦静脈の位置、渦静脈につながる血管の本数、渦静脈周囲の血管の血管径など）を、表示画面４００に表示させるようにしてもよい。
【0068】
表示切替アイコン４４０がオンされると、プルダウンメニューが表示される。プルダウンメニューは、画像表示領域４０４に表示する画像のメニューを有する。具体的には、モンタージュ画像とＩＡ画像とを並列に表示するメニュー、モンタージュ画像とＩＡ画像とを各々を分割し合成して表示するメニュー、モンタージュ画像とモンタージュ画像を、３次元モデルを用いて３次元モデルに投影した３次元画像とを並列に表示するメニューを有する。図１４には、モンタージュ画像とＩＡ画像とを並列に表示するメニューが選択された場合の様子が示されている。
【0069】
一方、図１５には、表示切替アイコン４４０のプルダウンメニューのうち、モンタージュ画像とＩＡ画像とを分割し合成して表示するメニューが選択された場合の様子が示されている。図１５に示すように、画像表示領域４０４Ｂには、分割ラインＬＫを基準に、分割ラインＬＫよりも上側にＩＡ画像（動画又は静止画）ＧＡが表示され、分割ラインＬＫよりも下側にモンタージュ画像ＧＭが表示される。分割ラインＬＫは、アイコンＩを上下に移動することにより、ＩＡ画像ＧＡとモンタージュ画像ＧＭとの表示される領域が変更される。例えば、アイコンＩが上側に移動すると、分割ラインＬＫが上側に移動し、ＩＡ画像ＧＡの内、上側に移動した分割ラインＬＫから上側の部分のみが表示され、モンタージュ画像ＧＭの、分割ラインＬＫの元の位置と分割ラインＬＫの現在の位置との間の部分も表示される。
【0070】
また、図１６には、表示切替アイコン４４０のプルダウンメニューにおいて、モンタージュ画像と３次元画像とを並列に表示するメニューが選択された場合の様子が示されている。図１６に示すように、画像表示領域４０４Ｃには、モンタージュ画像表示領域４５０と、モンタージュ画像を、眼球の３次元モデルに投影した３次元画像を表示する３次元画像表示領域４７０とを有する。なお、モンタージュ画像を被検眼の３次元モデルに投影する前に、眼球の３次元モデルを、サーバ１４０から受信した患者の眼軸長のデータに基づいて補正してもよい。
なお、表示切替アイコン４４０のプルダウンメニューに全てを表示するメニューを追加し、１つの画面に、図１４から図１６の画像表示領域４０４Ａから４０４Ｃの２つ以上を同時又は順に連続して表示するようにしてもよい。
なお、表示切替アイコン４４０のプルダウンメニューに全てを表示するメニューを追加し、１つの画面に、図１４から図１６の画像表示領域４０４Ａから４０４Ｃの２つ以上を同時又は順に連続して表示するようにしてもよい。
【0071】
３次元モデルには、二値化後のモンタージュ画像ＧＭに代えて、二値化前のＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像を合成したモンタージュ画像を表示するようにしてもよい。
【0072】
以上説明したように、本実施形態では、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像とを合成してモンタージュ画像を生成するので、眼科医は、眼底赤道部や眼底周辺部の領域が撮影されたモンタージュ画像により、患者の被検眼をより正確に診断することができる。特に、瞼、まつ毛、装置の映り込みなどが無いモンタージュ画像を生成することができる。よって、眼科医は、上下の各渦静脈の状態を把握できる。さらに、眼底赤道部や眼底周辺部の病変があるか否かの診断を行うことができる。さらに、眼底赤道部や眼底周辺部の病変だけでなく、眼底中心部の病変の予兆も上下の各渦静脈の状態から推定することもできる。
【0073】
次に、種々の変形例を説明する。
【0074】
（第１の変形例）
上記実施の形態では、モンタージュ画像作成処理をサーバ１４０のＣＰＵ２６２が実行するようにしているが、本開示の技術は、これに限定されない。例えば、眼科装置１１０のＣＰＵ２２が実行したり、ビューワ１５０のＣＰＵが実行したり、更には、ネットワーク１３０に接続された他のコンピュータのＣＰＵが実行したりしてもよい。
上記実施の形態では、モンタージュ画像作成処理をサーバ１４０のＣＰＵ２６２が実行するようにしているが、本開示の技術は、これに限定されない。例えば、眼科装置１１０のＣＰＵ２２が実行したり、ビューワ１５０のＣＰＵが実行したり、更には、ネットワーク１３０に接続された他のコンピュータのＣＰＵが実行したりしてもよい。
【0075】
（第２の変形例）
上記実施の形態では、ＵＷＦ上方視眼底画像及びＵＷＦ下方視眼底画像は、次のように取得されている。即ち、上固視灯９２Ｕが点灯され、患者の視線が上方に向いた状態で、被検眼１２のＵＷＦ上方視眼底画像ＧＵが取得され、下固視灯９２Ｄが点灯され、患者の視線が下方に向いた状態で、被検眼１２ＵＷＦ下方視眼底画像ＧＤが取得される。本開示の技術はこれに限定されない。例えば、ＳＬＯユニット４０を、被検眼１２の瞳孔中心を中心に、上下方向に回動可能に構成する。
上記実施の形態では、ＵＷＦ上方視眼底画像及びＵＷＦ下方視眼底画像は、次のように取得されている。即ち、上固視灯９２Ｕが点灯され、患者の視線が上方に向いた状態で、被検眼１２のＵＷＦ上方視眼底画像ＧＵが取得され、下固視灯９２Ｄが点灯され、患者の視線が下方に向いた状態で、被検眼１２ＵＷＦ下方視眼底画像ＧＤが取得される。本開示の技術はこれに限定されない。例えば、ＳＬＯユニット４０を、被検眼１２の瞳孔中心を中心に、上下方向に回動可能に構成する。
【0076】
上方画像を取得する際、ＳＬＯユニット４０を、被検眼１２の瞳孔中心を中心に、下側に回動させる。この状態で、ＳＬＯユニット４０が、下側から上側に向けて、被検眼１２の瞳孔を介して眼底の画像を取得する。この場合、更に、上固視灯９２Ｕを点灯させ、患者の視線を上方に向かせるようにしてもよい。
【0077】
下方画像を取得する際、ＳＬＯユニット４０を、被検眼１２の瞳孔中心を中心に、上側に回動させる。この状態で、ＳＬＯユニット４０が、上側から下側に向けて、被検眼１２の瞳孔を介して眼底の画像を取得する。この場合、更に、下固視灯９２Ｄを点灯させ、患者の視線を下方に向かせるようにしてもよい。
【0078】
更に、患者の視線を上下方向に向かせたり、ＳＬＯユニット４０を、被検眼１２の瞳孔中心を中心に、上下方向に回動させたりすることに限定されない。
【0079】
例えば、右斜め上、左斜め上、右斜め下、左斜め下側に、被検眼１２の視線を導く各固視灯を設け、各視線の状態で眼底画像を取得し、これらを合成してモンタージュ画像を生成するようにしてもよい。
【0080】
更に、ＳＬＯユニット４０を、被検眼１２の瞳孔中心を中心に、右斜め上、左斜め上、右斜め下、左斜め下側から、被検眼１２の瞳孔を介して眼底を撮影できるように、回動可能に構成する。ＳＬＯユニット４０が各方向から眼底を撮影することにより、各方向にＵＷＦ眼底画像を取得し、これらを合成してモンタージュ画像を生成するようにしてもよい。この場合、更に、右斜め上、左斜め上、右斜め下、左斜め下側に配置された各固視灯を点灯させ、被検眼１２の視線を各方向に導くようにしてもよい。
【0081】
（第３の変形例）
サーバ１４０で生成されたモンタージュ画像を、渦静脈の可視化だけでなく、眼底周辺部（眼底赤道部）の網膜の構造解析、血管解析、あるいは異常領域（病変部）を検出する処理を行うようにしてもよい。また、生成されたモンタージュ画像を用いて、糖尿病網膜症、加齢性黄斑変性など眼底中心部に生じる病変（あるいは発病する可能性）を推定するようにしてもよい。モンタージュ画像の眼底周辺部（眼底赤道部）の画像情報を加味することにより、眼底中心部の画像を用いた画像解析より、眼底周辺部の情報も考慮されて病変の推定を行うことができる。
また、構造解析や血管解析、あるいは病変の推定などの解析はＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）で解析するようにしてもよい。
眼底周辺部（眼底赤道部）の網膜の構造解析、血管解析、あるいは異常領域（病変部）を検出する処理は、渦静脈解析部１４２５がその機能を担ってもよいし、別の図示せぬ画像解析部によって処理されるようにしてもよい。
サーバ１４０で生成されたモンタージュ画像を、渦静脈の可視化だけでなく、眼底周辺部（眼底赤道部）の網膜の構造解析、血管解析、あるいは異常領域（病変部）を検出する処理を行うようにしてもよい。また、生成されたモンタージュ画像を用いて、糖尿病網膜症、加齢性黄斑変性など眼底中心部に生じる病変（あるいは発病する可能性）を推定するようにしてもよい。モンタージュ画像の眼底周辺部（眼底赤道部）の画像情報を加味することにより、眼底中心部の画像を用いた画像解析より、眼底周辺部の情報も考慮されて病変の推定を行うことができる。
また、構造解析や血管解析、あるいは病変の推定などの解析はＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）で解析するようにしてもよい。
眼底周辺部（眼底赤道部）の網膜の構造解析、血管解析、あるいは異常領域（病変部）を検出する処理は、渦静脈解析部１４２５がその機能を担ってもよいし、別の図示せぬ画像解析部によって処理されるようにしてもよい。
【0082】
（第４の変形例）
上記実施の形態では、モンタージュ画像作成処理をサーバ１４０のＣＰＵ２６２が実行し、位置合わせ処理を自動で行っている。モンタージュ画像作成処理をビューワ１５０で行う場合は、ＵＷＦ上方視眼底画像の特徴点群１の抽出と、ＵＷＦ下方視眼底画像の特徴点群２の抽出とを、ユーザが手動で行うようにしてもよい。
具体的には、図１１のステップ３４０、３４２に代えて、以下の処理が実行される。
サーバ１４０からビューワ１５０に、ＵＷＦ上方視眼底画像ＧＵ及びＵＷＦ下方視眼底画像ＧＤの各画像データを送信する。
上記実施の形態では、モンタージュ画像作成処理をサーバ１４０のＣＰＵ２６２が実行し、位置合わせ処理を自動で行っている。モンタージュ画像作成処理をビューワ１５０で行う場合は、ＵＷＦ上方視眼底画像の特徴点群１の抽出と、ＵＷＦ下方視眼底画像の特徴点群２の抽出とを、ユーザが手動で行うようにしてもよい。
具体的には、図１１のステップ３４０、３４２に代えて、以下の処理が実行される。
サーバ１４０からビューワ１５０に、ＵＷＦ上方視眼底画像ＧＵ及びＵＷＦ下方視眼底画像ＧＤの各画像データを送信する。
【0083】
上記各画像データを受信したビューワ１５０は、ＵＷＦ上方視眼底画像ＧＵ及びＵＷＦ下方視眼底画像ＧＤの各々において黄斑ＭＵ、ＭＤと視神経乳頭ＯＮＨＵ、ＯＮＨＤとを検出する。ビューワ１５０は、図１７に示すように、ＵＷＦ上方視眼底画像ＧＵにおける黄斑ＭＵと視神経乳頭ＯＮＨＵとを結ぶ線分と、ＵＷＦ下方視眼底画像ＧＤにおける黄斑ＭＤと視神経乳頭ＯＮＨＤとを結ぶ線分が、線分ＬＧＭとして一致するように、ＵＷＦ上方視眼底画像ＧＵ及びＵＷＦ下方視眼底画像ＧＤの位置を合わせ且つ並列に表示する。ビューワ１５０は、線分ＬＧＭから上側及び下側に、所定距離離間した位置に、線分ＬＧＭと平行な特徴点抽出領域の上限ＬＵ及び特徴点抽出領域の下限ＬＤを設定する。
【0084】
ユーザは、上限ＬＵと下限ＬＤとの間のＵＷＦ上方視眼底画像ＧＵから特徴点群１を設定する。そしてユーザは特徴点群１に対応する特徴点群２を、上限ＬＵと下限ＬＤとの間のＵＷＦ下方視眼底画像ＧＤから抽出する。ビューワ１５０は、特徴点群１及び特徴点群２の位置の各データをサーバ１４０に送信する。特徴点群１及び特徴点群２の位置の各データを受信したサーバ１４０の位置合わせ部１４２１は、ステップ３４４（図１１）で、受信した特徴点群１と特徴点群２を用いて上記射影変換行列を作成する。
【0085】
（その他の変形例）
以上説明したモンタージュ画像生成処理、モンタージュ画像表示処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、眼科装置１１０は被検眼１２の眼球中心１７０を基準位置として内部照射角が２００°の領域（被検眼１２の眼球の瞳孔を基準とした外部照射角では１６７°）を撮影する機能を持つが、この画角に限らない。内部照射角が２００度以上（外部照射角が１６７度以上１８０度以下）であってもよい。
さらに、内部照射角が２００度未満（外部照射角が１６７度未満）のスペックであってもよい。例えば、内部照射角が約１８０度（外部照射角が約１４０度）、内部照射角が約１５６度（外部照射角が約１２０度）、内部照射角が約１４４度（外部照射角が約１１０度）などの画角でも良い。数値は一例であり、渦静脈などが存在する眼底周辺部と眼底中心部を一括で撮影できる画角であれば良い。
以上説明したモンタージュ画像生成処理、モンタージュ画像表示処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、眼科装置１１０は被検眼１２の眼球中心１７０を基準位置として内部照射角が２００°の領域（被検眼１２の眼球の瞳孔を基準とした外部照射角では１６７°）を撮影する機能を持つが、この画角に限らない。内部照射角が２００度以上（外部照射角が１６７度以上１８０度以下）であってもよい。
さらに、内部照射角が２００度未満（外部照射角が１６７度未満）のスペックであってもよい。例えば、内部照射角が約１８０度（外部照射角が約１４０度）、内部照射角が約１５６度（外部照射角が約１２０度）、内部照射角が約１４４度（外部照射角が約１１０度）などの画角でも良い。数値は一例であり、渦静脈などが存在する眼底周辺部と眼底中心部を一括で撮影できる画角であれば良い。
【0086】
以上説明した各例では、コンピュータを利用したソフトウェア構成により処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア構成のみによって、処理が実行されるようにしてもよい。処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13】
【図14】
【図15】
【図16】
【図17】
