特許 6438216 画像生成装置および画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6438216

(24)【登録日】2018年11月22日

(45)【発行日】2018年12月12日

(54)【発明の名称】画像生成装置および画像生成方法

(51)【国際特許分類】

   A61B 3/10 20060101AFI20181203BHJP

【ＦＩ】

   A61B3/10 R

【請求項の数】16

【全頁数】19

(21)【出願番号】特願2014-106233(P2014-106233)

(22)【出願日】2014年5月22日

(65)【公開番号】特開2015-221089(P2015-221089A)

(43)【公開日】2015年12月10日

【審査請求日】2017年5月19日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100101498

【弁理士】

【氏名又は名称】越智 隆夫

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤 弘司

(74)【代理人】

【識別番号】100128668

【弁理士】

【氏名又は名称】齋藤 正巳

(72)【発明者】

【氏名】恩田 賢

(72)【発明者】

【氏名】今村 裕之

【審査官】 佐藤 秀樹

(56)【参考文献】

【文献】 特表２００９−５４４３７７（ＪＰ，Ａ）

【文献】 特表２００９−５３３９２４（ＪＰ，Ａ）

【文献】 特開平０６−３１９０３４（ＪＰ，Ａ）

【文献】 特開２０１３−０６３２１６（ＪＰ，Ａ）

【文献】 特開２００２−０５８６４７（ＪＰ，Ａ）

【文献】 特開２０１３−０５８１２４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／００−３／１２

３／１３−３／１６

Ｇ０６Ｔ １／００−１／４０

３／００−５／５０

９／００−９／４０

(57)【特許請求の範囲】

【請求項1】

複数の画像から選ばれた基準画像に対する前記複数の画像の他の画像各々の相関度、前記複数の画像各々から血管に関する第１の特徴量、及び、前記複数の画像各々の前記血管の領域以外の領域から視細胞に関する第２の特徴量を算出する算出手段と、
前記算出手段の算出結果に基づいて、前記複数の画像を貼り合わせて生成するパノラマ画像を生成するための位置合わせを行うときの前記複数の画像各々の順番を決定する順番決定手段と、を備え、
前記順番決定手段は、前記算出された前記基準画像に対する相関度が第１の所定値より大きい画像に対して、前記第１の特徴量が第２の所定値より大きい画像の場合には、前記第１の特徴量の大きい画像が先になるように前記順番を決定し、前記第１の特徴量が前記第２の所定値より小さい画像の場合には、前記第２の特徴量に基づいて前記順番を決定することを特徴とする画像生成装置。

【請求項2】

前記画像各々のシフト量を算出する演算手段と、
前記演算手段が算出したシフト量に基づいて前記画像各々を変形させ、変形後の画像を前記順番決定手段が決定した前記順番に応じて貼り合わせて前記パノラマ画像を生成する貼り合わせ手段と、をさらに備えることを特徴とする請求項１に記載の画像生成装置。

【請求項3】

前記算出手段は、複数の前記画像にまたがる血管の画像端と交わる箇所の数を前記特徴量として算出することを特徴とする請求項１又は２に記載の画像生成装置。

【請求項4】

前記算出手段は、複数の前記画像にまたがる血管の画像端と交わる個所の大きさを前記特徴量として算出することを特徴とする請求項１乃至３の何れか一項に記載の画像生成装置。

【請求項5】

前記算出手段は、複数の前記画像にまたがる血管の面積を前記特徴量として算出することを特徴とする請求項１乃至４の何れか一項に記載の画像生成装置。

【請求項6】

前記算出手段は、前記画像内の血管の鮮鋭度を前記特徴量として算出することを特徴とする請求項１乃至５の何れか一項に記載の画像生成装置。

【請求項7】

前記算出手段は、少なくとも二つ以上の前記画像間での位置合わせを行うための、前記相関度、前記第１の特徴量、及び前記第２の特徴量を算出することを特徴とする請求項１乃至６の何れか一項に記載の画像生成装置。

【請求項8】

前記算出手段は、前記複数の画像間での位置合わせに際し、前記画像間において最も前記相関度の良くなる位置及び前記相関度を、位相限定相関関数を用いることで算出することを特徴とする請求項７に記載の画像生成装置。

【請求項9】

前記演算手段は、前記画像同士の位相限定相関関数を用いることで前記シフト量を算出することを特徴とする請求項２に記載の画像生成装置。

【請求項10】

前記演算手段は、前記画像を小画像に分割してそれぞれの位置合わせを行うことを特徴とする請求項２に記載の画像生成装置。

【請求項11】

前記演算手段は、前記分割した小画像の位置合わせの際に用いる前記シフト量を、位相限定相関関数を用いることで算出することを特徴とする請求項１０に記載の画像生成装置。

【請求項12】

前記演算手段は、前記画像における一画像を小画像に分割してそれぞれの位置合わせを行った後、前記小画像各々についてのアフィン変換係数を取得することを特徴とする請求項２に記載の画像生成装置。

【請求項13】

前記複数の画像を貼り合わせる貼り合わせ手段をさらに有し、
前記貼り合わせ手段は、前記画像各々の端部に対してアルファブレンディングを行うことで前記貼り合わせを行うことを特徴とする請求項１に記載の画像生成装置。

【請求項14】

前記複数の画像を貼り合わせる貼り合わせ手段をさらに有し、
前記貼り合わせ手段は、前記画像の貼り合わせに際して、前記画像毎の輝度調整を行うことを特徴とする請求項１に記載の画像生成装置。

【請求項15】

請求項１乃至１４の何れか一項に記載の画像生成装置をコンピュータで実現させるためのプログラム。

【請求項16】

複数の画像から選ばれた基準画像に対する前記複数の画像の他の画像各々の相関度、前記複数の画像各々から血管に関する第１の特徴量、及び、前記複数の画像各々の前記血管の領域以外の領域から視細胞に関する第２の特徴量を算出する工程と、
算出された結果に基づいて、前記複数の画像を貼り合わせて生成するパノラマ画像を生成するための位置合わせを行うときの前記複数の画像各々の順番を決定する決定工程と、
を含み、
前記決定工程において、前記算出された前記基準画像に対する相関度が第１の所定値より大きい画像に対して、前記第１の特徴量が第２の所定値より大きい画像の場合には、前記第１の特徴量の大きい画像が先になるように前記順番を決定し、前記第１の特徴量が前記第２の所定値より小さい画像の場合には、前記第２の特徴量に基づいて前記順番を決定することを特徴とする画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置及び画像生成方法に関する。

【背景技術】

【0002】

生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、眼底部の検査が広く行われている。一例として、共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）がある。該ＳＬＯは、測定光であるレーザーを眼底に対してラスタースキャンを行い、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。

【0003】

また、近年、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ（ＡＯ−ＳＬＯ：ａｄａｐｔｉｖｅ Ｏｐｔｉｃｓ ＳＬＯ）が開発され、高横分解能な平面画像（以下ＡＯ−ＳＬＯ像という場合がある）の取得を可能にしている。

【0004】

ここで、高横分解能な平面画像を取得する場合、装置自体の光学収差や撮像時間の長時間化等の問題から、一度に撮像する撮像範囲、つまり画角が狭くなってしまう。このため、診断や検査等に必要な情報を得ようとする場合には眼底をある程度の広い範囲の複数位置で撮影を行う必要がある。また、高倍率の撮影画像ではなくても被検者眼の局所的な部位を撮影する場合、全体を把握するために所定の範囲で複数回撮影を行う場合もある。

【0005】

しかしこれらの場合では、診断や検査等に必要とされる領域を撮影したとしても、得られた複数の撮影画像同士の関連性が把握されなければならない。つまり撮影した複数の画像を、それぞれの画像同士の位置関係を明らかにして、その位置に応じてこれら画像の貼り合わせを行うことで、一枚の高精細パノラマ画像を生成することが求められる。

【0006】

このような課題を解決するために、特許文献１では、広画角なＳＬＯ装置と小画角であるが高解像度なＳＬＯ装置とを組み合わせた複合装置が提案され、その問題の解決が試みられている。また、被検眼の所望の位置を撮像する場合、被検眼を固視するための固視灯がよく用いられている。特許文献２においては、被検眼の視度に応じて固視灯の表示位置を調整し、眼底の所望の位置の平面画像を取得することなどが試みられている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１０−２５９５４３号公報

【特許文献2】特開２０１３−１６９３３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

複数画像の位置合わせを行い、パノラマを作成するということは一般的な手法である。しかし、眼底の小画角の高精細画像等の特徴が、視細胞や毛細血管など非常に小さな構造物である場合、それらは広画角画像には解像できないことが起こり得る。この場合、特許文献１の方法では、特徴の少ない小画角画像と広画角画像の二つの組み合わせが容易ではなくなり、画像がマッチングしないケースが生じる。さらには、小画角画像同士でも、特徴が少ない画像から先に位置合わせをした場合には、次に位置合わせする画像がマッチングしないケースが生じることもあり得る。観察対象の眼に疾患などがある場合に、たとえば白内障の影響で信号強度が弱くなることや、他の病気で正常な解剖構造が消失する場合に、このようにマッチングしない画像が顕著となる傾向がある。

【0009】

上記課題があるため、少なくとも何かしらの構造物である特徴点が双方に存在する領域の重なり（オーバーラップ）があるように複数の小画角を撮影する必要がある。たとえば、眼底の観察したい部位をタイル状や血管や特徴となるような病変部（浮腫や出血）などの構造物の形状に合わせて、順次撮影したとする。しかし、少しの固視微動などによってでも被検眼が動いてしまうため、想定している場所がずれてしまい、それまでに撮影した画像と重なり領域がない画像や一つ前に撮影した画像にある特徴点が存在しない画像を撮影してしまうことが起こりうる。このような時に撮影順に順次小画角の画像を貼り合わせていくと、貼り合わせ順番によっては位置を決定できない画像が生じる恐れがある。

【0010】

ここで、撮影している位置が撮影条件等からわかれば、位置合わせの誤検出を抑えることも可能である。しかし、特許文献２のように、固指標を用いて撮影位置を調整する場合、一般的に被検眼には固視微動がある上に、特に固視の悪い患眼の場合や固視灯が見えない被験者や動物などの場合に、撮影位置を精度良く特定することが非常に難しくなる。

【0011】

本発明は以上の状況に鑑みて為されたものであって、従来に比べて画像の貼り合わせの失敗を減らすことを可能とする画像生成装置及び画像生成方法の提供を目的とする。

【課題を解決するための手段】

【0012】

前記課題を解決するため、本発明の一実施態様に係る画像生成装置は、
複数の画像から選ばれた基準画像に対する前記複数の画像の他の画像各々の相関度、前記複数の画像各々から血管に関する第１の特徴量、及び、前記複数の画像各々の前記血管の領域以外の領域から視細胞に関する第２の特徴量を算出する算出手段と、
前記算出手段の算出結果に基づいて、前記複数の画像を貼り合わせて生成するパノラマ画像を生成するための位置合わせを行うときの前記複数の画像各々の順番を決定する順番決定手段と、を備え、
前記順番決定手段は、前記算出された前記基準画像に対する相関度が第１の所定値より大きい画像に対して、前記第１の特徴量が所定値より大きい画像の場合には、前記第１の特徴量の大きい画像が先になるように前記順番を決定し、前記第１の特徴量が前記所定値より小さい画像の場合には、前記第２の特徴量に基づいて前記順番を決定することを特徴とする。

【発明の効果】

【0013】

本発明によれば、自動で貼り合わせの失敗を減らすことが可能である。

【図面の簡単な説明】

【0014】

【図1】本発明に係る画像生成装置の機能構成を示すブロック図である。

【図2】本発明に係る補償光学ＳＬＯの構成を示す概略図である。

【図3】本発明に係る画像生成装置の処理手順を示すフローチャートである。

【図4】図３に示すフローチャートにおいて画像特徴の算出の工程を詳細に説明するフローチャートである。

【図5】図３に示すフローチャートにおいて画像相関度の算出の工程を詳細に説明するフローチャートである。

【図6】図３に示すフローチャートにおいて画像位置合わせの工程を詳細に説明するフローチャートである。

【図7】図４に示すフローチャートにおいて第一の特徴量の算出の工程を説明する図である。

【図8】図４に示すフローチャートにおいて第二の特徴量の算出の工程を説明する図である。

【図9】本発明に係るユーティリティアプリケーションのＵＩ画面の例を示した図である。

【図10】本発明の位置合わせ順序の一例を説明する図である。

【発明を実施するための形態】

【0015】

本実施例では、補償光学ＳＬＯにより網膜を平面で撮影した複数の画像（網膜の平面像）を取得した後に、それぞれの画像位置合わせを行い、パノラマ画像を生成する処理について説明する。ここで網膜の平面画像とは、被検眼を正面から眼底カメラ等で撮影する際に得られる、正面像のことを言う。

【0016】

具体的には、それぞれの画像の特徴量と複数の画像間の相関度を算出して、特徴量の大きさと相関度の大きさを考慮して、位置合わせの順番を決定する。こうして決定した順番を用いて、順次画像の位置合わせと貼り合わせとを行い、パノラマ画像を生成する。このような工程を用いることにより、画像の正確な位置情報がわからなくても、眼底画像のような特徴が少ない小画角の画像群を精度よく貼り合わせ、貼り合わせ失敗画像数を低減することができる。

【0017】

＜画像生成装置の構成＞
図１は、本実施例に係る画像生成装置１０の機能構成を示したものであり、図２の補償光学ＳＬＯ装置と接続されている。図１において、信号取得部１００は、補償光学ＳＬＯ装置から網膜からの反射信号や画像生成に必要な他の情報を取得する。取得した情報は制御部１２０を通じて記憶部１３０に記憶される。１４０は画像生成部であり、取得した情報を用いて反射信号を画像化する。そして生成した画像を用いて、画像特徴算出部１５１は生成した画像を用いてそれぞれの画像の特徴量を算出し、画像相関算出部１５２は各画像間の相関度を算出する。位置合わせ部１５３は、それらの演算結果を用いて位置合わせの順番を決定する。また、位置合わせ部１５３は、決定した順番に従って、順次位置合わせと画像貼り合わせとを行う。このようにして画像処理部１５０が演算を行い、パノラマ画像を生成する。出力部１６０は、生成した画像を不図示のモニタ等に出力する。

【0018】

次に、図２を用いて補償光学系を備えたＳＬＯ像撮像装置の構成を説明する。光源２０１として、ＳＬＤ光源（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）を用いた。なお、本実施例では撮像と波面測定のための光源を共用しているが、それぞれを別光源とし、途中で合波する構成としても良い。光源２０１から照射された光は、単一モード光ファイバー２０２を通って、コリメータ２０３により、平行な測定光２０５として照射される。照射された測定光２０５はビームスプリッタからなる光分割部２０４を透過し、補償光学の光学系に導光される。

【0019】

補償光学系は、光分割部２０６、波面センサー２１５、波面補正デバイス２０８および、それらに導光するための反射ミラー２０７−１〜４から構成される。ここで、反射ミラー２０７−１〜４は、少なくとも眼の瞳と波面センサー２１５及び波面補正デバイス２０８とが光学的に共役関係になるように設置されている。また、光分割部２０６として、本実施例ではビームスプリッタを用いる。また、本実施例では波面補正デバイス２０８として液晶素子を用いた空間位相変調器を用いる。なお、波面補正デバイスとして可変形状ミラーを用いる構成としてもよい。

【0020】

補償光学系を通過した光は、走査光学系２０９によって、１次元もしくは２次元に眼底上で走査される。走査光学系２０９として、本実施形態では主走査用（眼底水平方向）と副走査用（眼底垂直方向）に２つのガルバノスキャナを用いた。なお、スキャナとして、より高速な撮影のために、走査光学系２０９の主走査側に共振スキャナを用いてもよい。走査光学系２０９で走査された測定光２０５は、接眼レンズ２１０−１および２１０−２を通して眼２１１に照射される。

【0021】

眼２１１に照射された測定光２０５は眼底で反射もしくは散乱される。接眼レンズ２１０−１および２１０−２の位置を調整することによって、眼２１１の視度にあわせて最適な照射を行うことが可能となる。ここでは、接眼部にレンズを用いたが、球面ミラー等でこれを構成しても良い。眼２１１の網膜から反射もしくは散乱された反射散乱光（戻り光）は、入射した時と同様の経路を逆向きに進行する。戻り光は、光分割部２０６によってその一部が波面センサー２１５に反射され、光線の波面を測定するために用いられる。

【0022】

波面センサー２１５は補償光学制御部２１６に接続され、受光した波面を補償光学制御部２１６に伝える。波面補正デバイス２０８も補償光学制御部２１６に接続されており、補償光学制御部２１６から指示された変調を測定光若しくは戻り光に対して行う。補償光学制御部２１６は、波面センサー２１５の測定結果による取得された波面を基に収差のない波面へと補正するような変調量（補正量）を計算する。補償光学制御部２１６は、さらに波面補正デバイス２０８に対して、測定光若しくは戻り光に該変調量をあたえるように指令する。なお、波面の測定と波面補正デバイス３０８への指示は繰り返し行われ、戻り光が常に最適な波面となるようにフィードバック制御が行われる。

【0023】

光分割部２０６を透過した反射散乱光は光分割部２０４によって一部が反射され、コリメータ２１２、光ファイバー２１３を通して光強度センサー２１４に導光される。光強度センサー２１４で光は電気信号に変換され、制御部２１７によって該データを画像生成装置１０へ伝送し、画像データ（動画像もしくは静止画像）を形成する。

【0024】

なお、図２の構成で走査光学系の振り角を大きくし、補償光学制御部２１６が収差補正を行わないよう指示することによってＳＬＯ像撮像装置２０は通常のＳＬＯ装置としても動作し、広画角なＳＬＯ画像（ＷＦＳＬＯ像）を撮像できる。なお、広画角なＳＬＯ画像は補償光学を備えたＳＬＯ像撮像装置２０以外の装置によって撮像することとしてもよい。また、固視微動と呼ばれる不随意的な眼球運動や固視不良による眼球運動あるいは顔の動きに伴う眼の動きの影響を軽減するために、眼の動きを追尾（トラッキング）する場合がある。眼底の動きの計測には、画像生成装置によって生成した眼底画像を用いて、不図示の計算部によって特徴を持った小領域の画像であるテンプレート画像を抽出し、テンプレート画像と最も似た部位を探すパターン・マッチングによって眼底の動きを計測する方法等がある。該方法では、光学系内に不図示のスキャナを設置し、不図示の制御部を前記スキャナと計算部を接続する位置に設置することで、照射光の位置を前記スキャナによって計測した眼底の動きに追従させることができる。これによって、１動画像内の各フレーム間の撮影位置がずれることを軽減できる。

【0025】

＜画像処理装置の処理手順＞
次に、図３のフローチャートを参照して、本実施形態の画像生成装置１０の処理手順を説明する。

【0026】

＜ステップＳ３１０＞
ステップＳ３１０において、信号取得部１００は、画像生成装置１０に接続される補償光学ＳＬＯ装置から取得された複数の画像、または動画の信号情報を取得する。信号情報は、網膜の撮影に用いられるガルバノスキャナ、共振スキャナの位置信号、及び撮影によって取得された網膜からの反射信号などである。取得された信号情報は、制御部１２０を通じて記憶部１３０に保存される。

【0027】

またこのとき、取得された信号情報に付随するハードウェアの制御情報を取得し、制御部１２０を通じて記憶部１３０に記憶する。ここで制御情報とは、網膜の反射信号を取得する際のサンプリング周波数やガルバノスキャナの周波数に相当するフレームレートなどである。これらの制御情報は、信号情報に付加している撮影情報ファイルに記載されている場合もあれば、信号情報のタグ情報として含まれている場合もある。

【0028】

＜ステップＳ３２０＞
ステップＳ３２０において、画像生成部１４０は、記憶部１３０に保存されている補償光学ＳＬＯ装置により取得された信号情報からそれぞれの画像、または動画を生成する。すなわち、画像生成部１４０はＷＦＳＬＯ像およびＷＦＳＬＯ像よりも小画角な収差が補正された画像（ＡＯＳＬＯ像）を生成する。取得された画像、または動画は、制御部１２０を通じて記憶部１３０に保存される。本実施例では、取得画像、または動画は一般的な四角形の形状を取るが、これに限定されるものではない。

【0029】

＜ステップＳ３３０＞
ステップＳ３３０において、画像特徴算出部１５１は、ステップＳ３２０で取得されたそれぞれの画像、または動画における特徴領域の特徴量を算出する。そうして算出した特徴量を、制御部１２０を通じて記憶部１３０に保存する。すなわち、画像処理部１５０（画像特徴算出部１５１）は、本実施例での複数の画像の特徴量を算出する算出手段として機能する。

【0030】

図４に画像特徴量の算出（ステップＳ３３０）の詳細を説明するためのフローチャートを示す。本実施例のように眼底グレースケール画像の場合、血管や浮腫や出血部などの病変部は複数の小画角画像にまたがるケースが多い。このため、本実施例では、これらの領域を特徴領域とし、ここより第一の特徴量として算出する。他にも、複数の画像にまたがる大きな構造物があれば、これを第一の特徴量の算出のための特徴領域としても良い。

【0031】

またこれ以外にも複数の画像にまたがるほどの大きさはないが、周りの画素と大きな差のある構造物を第二の特徴領域とし、ここより第二の特徴量として算出する。本実施例では、構造物として視細胞や小さな病変部などを対象とする。但し、特徴量を算出する構造物はこれに限定されるものではない。
なお、第一の特徴量および第２の特徴量のどちらかの特徴量のみを、算出しても十分な結果を得られる場合は、計算量を減らすために、片方の特徴量のみを対象にしてよい。また特徴量算出の方法は、ここに書かれている対象や方法のみならず、画像位置合わせを行うことができる画像内構造物であれば類を問わない。また上記の二つ以上の特徴量を用いてもよい。

【0032】

＜ステップＳ４１０＞
ステップＳ４１０において、画像特徴算出部１５１は、ステップＳ３２０で取得された画像、または動画のうち特徴量算出に使用する少なくとも１枚の画像を選択する。例えば、画像特徴算出部１５１はステップＳ３２０で取得された全てのＷＦＳＬＯ像を選択する。また、ＷＦＳＬＯ像を選択する際に予め画像の輝度を取得し、輝度が所定値以下の場合には選択しないこととしてもよい。輝度が所定値以下の画像からは後述するステップＳ４２０，４３０で十分な特徴量が検出できない虞があり、輝度が所定値以下の画像を選択しないことで無駄な処理を省くことが可能となる。なお、ＷＦＳＬＯ像だけではなくＡＯＳＬＯ像を選択することとしてもよいし、ＡＯＳＬＯ像のみを選択することとしてもよい。
また、動画の場合、少なくとも１動画内の画像のうち後述のステップＳ４２０、４３０で算出される特徴量の最も大きいものを選択してもよい。これはどちらかのみを用いてもよいし、どちらかに優先順位をつけて選定するなどしてもよい。また少なくとも１動画内の各フレームの画像間位置合わせを行い、瞬きにより輝度が極端に低いフレームや固視微動により画像歪みが生じているフレーム、収差補正不良によりＳ／Ｎ比が低いフレームを例外フレームとしてこれらを除き、残りの画像を用いて平均化画像を生成して、これを用いてもよい。

【0033】

なお、フレーム間位置合わせと平均化画像の取得の方法については、任意の公知の位置合わせ法を用いることができる。もし、固視が良い被検眼の場合、同一固視の画像同士が、比較的同じ位置の画像であれば、同じ位置の複数の動画間で上記のいずれかの方法を用いて少なくともひとつの画像を選定してもよい。またユーザーが画像を選ぶ、もしくはマニュアルで平均化画像を作成してそれを用いてもよい。
なお、画角が所定値以上の画像においてはステップＳ４２０，４３０を省略することとしてもよい。例えば、ＷＦＳＬＯ像がステップＳ４１０で選択された場合にはステップＳ４２０，４３０を省略することとしてもよい。

【0034】

＜ステップＳ４２０＞
ステップＳ４２０において、画像特徴算出部１５１は、ステップＳ４１０で選ばれた少なくとも一つ以上の画像の第一の特徴量を算出する。図７に血管を対象とした第一の特徴量を算出する画像の例を提示する。図の下に眼底の画角の広い画像を示し、左側に乳頭があり、画像中上から下にかけて右方向に伸びるアーケード血管がみられる。そして、図上に広画角の画像上に四角でかこってあるアーケード血管近傍の太い血管の上を撮影した小画角の画像を示した。当該ステップでは、まず各画像における平均輝度値Ａｉ及び血管領域Ｖｉを取得する。

【0035】

血管領域の取得方法は任意の公知の血管抽出法を用いることができ、本実施形態では輝度値が閾値Ｔ１以下の領域とし、図７の画像の色が暗い領域がそれに相当する。また、前記血管領域Ｖｉを細線化して得られる点列の画像端と画像の周囲を規定する枠線とが交差する点をＣｏｕｔｎ(ｎ＝１，．．．，ｎ２)として取得する。本実施例では、Ｃｏｕｔｎは３点存在する。また、それぞれの前記の交差する点近傍の血管の幅をＷｏｕｔｎ(ｎ＝１，．．．，ｎ２)も取得する。これは血管径が太いほうが長く伸びているケースが多いため、複数の画像にまたがる可能性があるためこの指標も用いる。これらＣｏｕｔｎやＷｏｕｔｎが第一の特徴量に対応する。

【0036】

不図示であるが、眼底の病変部で特徴的な構造をもつ浮腫や出血部などを対象とする場合も考えられる。例えば、それらの領域の輝度が低い場合は、上記と同様の方法で特徴量を算出する。また、輝度が高い場合は、閾値Ｔ２以上の領域のうち、視細胞のスポットよりも大きいもののみを検出して、任意の公知のエッジ抽出方法などを用いて、同様に画像端と交差する面の個数とその幅を取得する。網膜の画像の場合、上記のような方法で行うが、その他の画像などの場合、その画像に適した大きな構造物を対象として行ってもよい。更に、ＲＧＢ画像であったとしても、任意の公知のセグメンテーション方法によって、構造物が画像端に接している面の数とその幅を算出すればよい。

【0037】

＜ステップＳ４３０＞
ステップＳ４３０において、画像特徴算出部１５１は、ステップＳ４１０で選ばれた少なくとも一つ以上の画像の第二の特徴量を算出する。ステップＳ４２０で検出した大きな構造物である領域Ｖｉ以外の構造物を、第二の特徴量を検出するための第二の特徴領域として検出する。例えば、上記の領域Ｖｉである血管や病変部の中には視細胞ははっきりと観察されないので、第二の特徴量の算出対象は、網膜画像中の視細胞に相当する。

【0038】

図８に視細胞を対象とした第二の特徴量を算出する法を説明する図を提示する。図の下に眼底の画角の広い画像を示し、上に１本の血管の上を撮影した小画角の画像を示した。実際に毛細血管も含まれない小画角の画像は、視細胞のみが撮影されることがある。するとフォーカスによっては視細胞がはっきり映っておらず、特徴が非常に少なくなるので、これを特徴量として算出する。そのために、第二の特徴量の算出に関しては、第一の特徴量などで取り扱った、血管や病変部など以外の領域で解析を行う。なお、図７，８は説明のために異なる画像を用いているが、ステップＳ４２０，４３０は同一の画像に対して逐次実行される。

【0039】

ここでは、図８のように画像を複数分割して、ステップＳ４２０で検出した血管領域Ｖｉ（病変部なども含む）が含まれていない分割エリアを複数選択する。そして選ばれた複数の分割画像それぞれの輝度値のヒストグラムを作成して、その半値幅を算出して、それが大きい分割画像の半値幅を取得する。これはヒストグラムの画像半値幅が大きいということは、画素値の分布が広いことを示し、画像中に視細胞のような輝度の高い蛍光スポットのみが存在している場合、画像のシャープネスを表していると考えられるからである。この半値幅は、たとえばガウシアンフィッティングを行って算出するなど、任意の公知の方法で取得してもよい。

【0040】

ヒストグラムのピークが複数ある場合は、複数のピークに対して半値幅を求め、その和を、画像の半値幅として取得しても良い。他にも任意の公知の視細胞カウント方法によって視細胞の密度や、視細胞一つの蛍光スポットの鮮鋭感を尺度化する方法などによって、小さな構造物の形状のシャープネス、つまりはっきりと特徴的な形状が存在する程度を評価してもよい。

【0041】

以上述べたように、画像特徴算出部１５１は、複数の画像にまたがる大きな構造物についての特徴量、より詳細には、該構造物と画像端と交わる個所の数、大きさ、或いは構造物の該画像内の面積を特徴量として算出することが好ましい。或いは、画像内の構造物に関して、その鮮鋭度を特徴量として算出することも可能である。

【0042】

＜ステップＳ３４０＞
ステップＳ３４０において、画像相関算出部１５２は、ステップＳ３２０で取得された画像のうちステップＳ４１０によって選択された画像間の相関情報を例えば相関度として算出する。そうして算出した各画像間の相関についての情報を、制御部１２０を通じて記憶部１３０に保存する。画像処理部１５０（画像相関算出部１５２）は、本実施例において、複数の画像各々の間の相関度を算出する算出手段として機能する。
図５に画像の相関の算出（ステップＳ３４０）の詳細を説明するためのフローチャートを示す。少なくとも２つ以上の組み合わせの画像間の相関の度合いを算出して、画像間の関連性を評価する。

【0043】

＜ステップＳ５１０＞
ステップＳ５１０において、画像相関算出部１５２は、ステップＳ４１０によって取得された画像のうち、少なくとも一つの画像を選択する。なお、ステップＳ４１０によって取得された画像のうち全ての画像を選択することとしてもよいし、ＷＦＳＬＯ像のみを選択することとしてもよい。また、ＡＯＳＬＯ像のみを選択することとしてもよい。
なお、すべての画像が同じ画角である場合、それらのすべて、もしくは複数の組み合わせの相関の程度、例えば相関度を算出するので、どれを選択してもよい。また、ステップＳ４１０によって選択した画像のうち特徴量の大きな画像のみを基準画像として選んでもよい。また複数の画角の画像が含まれる場合、一番初めは最大画角とすると、より多くの画像の相関度を算出できる可能性がある。またこれらはユーザーの指定の画像のみを選択してもよい。

【0044】

＜ステップＳ５２０＞
ステップＳ５２０において、画像相関算出部１５２は、ステップＳ５１０で選択された基準画像に対して、組み合わせ画像としてその他の画像を少なくとも一つずつ選択する。すべての画像が同じ画角である場合、ここではどれを選んでもよい。また複数の画角の画像が含まれる場合、画角が同じ、もしくは近いもののみを選ぶほうが、計算量を減らすことができるが、その選択方法は限定されない。なお、ステップＳ５１０においてＷＦＳＬＯ像を選択し、ステップＳ５２０において同一画角の画像のみを選択することとしてもよいし、ステップＳ５２０においてＡＯＳＬＯ像等のＷＦＳＬＯ像よりも狭い画角の画像を選択することとしてもよい。

【0045】

＜ステップＳ５３０＞
ステップＳ５３０において、画像相関算出部１５２は、ステップＳ５１０、５２０で選択された少なくとも二つずつ、即ち少なくとも二つ以上の画像間の粗位置合わせを行う。固視の良い被検眼の場合で、固視灯を用いた場合など、精度は保証されないが、ある程度位置のわかる画像については、その予想される位置を探索の初期位置とすると計算量が減る可能性がある。すなわち、各画像に対応付けられた固視に関する情報に基づいて位置合わせを行うこととしてもよい。

【0046】

ここでは基準画像に対して、組み合わせ画像を、任意の公知の方法であるパターンマッチング手法によって画像間の相関度を算出する。。本実施例では、位相限定相関関数を計算して、最大相関ピーク値を相関度として、またその時の座標を租位置合わせの位置として求める。そして、制御部１２０を通じて相関度と粗位置合わせの位置情報を記憶部１３０に保存する。

【0047】

また他には、同様のピクセル値を用いて、ＳＡＤ（輝度値の差の絶対値の合計）や、ＳＳＤ（輝度値の差の２乗の合計）、正規化相互相関など、一般的なパターンパッチングの手法を用いてもよい。ここで画像の二組の画像のみを用いた位置合わせでは、重なり領域（オーバーラップ）が見つからない程、相関が低い場合は、制御部１２０を通じてマッチングしない画像であるという情報を記憶部１３０に保存する。すなわち、画像間の相関を示す情報を取得できる手法であればよく、パターンマッチング等の手法に限定されるものではない。

【0048】

以上述べたように、画像相関算出部１５２は、画像間の位置合わせに際して、画像間において最も相関の良くなる位置及び相関度を、位相限定相関関数を用いて算出することが好ましい。なお、この位置合わせは、ユーザーの指定した画像間で行われてよく、その際に相関度を算出することとしてもよい。或いは、少なくとも複数の画像同士の組み合わせの間で相関度の算出を行うことが好ましい。

【0049】

＜ステップＳ５４０＞
ステップＳ５４０において、画像相関算出部１５２は、ステップＳ５３０で相関度を算出した組み合わせ画像について位置合わせを行った回数が、Ｍ回目である場合、ステップＳ５５０に進む。本実施例では、Ｍは基準画像に対してすべての画像の組み合わせの数に対応するが、これは限定されない。また、ステップＳ５３０で相関度を算出した組み合わせ画像について位置合わせを行った回数がＭ回目より小さい場合は、ステップＳ５２０に戻って、まだ行っていない組み合わせ画像を選択してステップＳ５３０を繰り返す。

【0050】

＜ステップＳ５５０＞
ステップＳ５５０において、基準画像すべてに対して粗位置合わせが行われたか否かを判定する。ここでステップＳ５１０で相関度を算出するために選択した基準画像がＮ枚であるとする。画像相関算出部１５２は、ステップＳ５２０から５４０で取得した、ある基準画像に対してすべての組み合わせ画像での相関度が算出される。粗位置合わせを行った回数が選択された基準画像の数であるＮと等しいＮ回目である場合、この工程は終了する。本実施例では、Ｎはすべての基準画像の数であるが、これは限定されない。ここでステップＳ５２０から５４０で取得したすべての組み合わせ画像での相関度が算出された基準画像の数が、Ｎより小さい場合は、ステップＳ５１０に戻って、まだ行っていない基準画像を選択してステップＳ５２０から５４０を繰り返す。

【0051】

＜ステップＳ３５０＞
ステップＳ３５０において、位置合わせ部１５３は、ステップＳ３３０、３４０で取得された各画像の特徴量と画像間相関情報に基づき画像位置合わせと画像貼り合わせを順次行う。そして位置合わせを行った画像の位置情報とパノラマ画像とを、制御部１２０を通じて記憶部１３０に保存する。即ち、位置合わせ部１５３は、本実施例において、画像特徴算出部１５１と画像相関算出部１５２との算出結果に基づいて複数の画像を貼り合せてパノラマ画像を生成するための複数の画像の位置合わせを行う際の順番を決定する順番決定手段として機能する。

【0052】

図６に画像位置合わせ（ステップＳ３５０）の詳細を説明するためのフローチャートを示す。ここでそれぞれの画像が、順次位置合わせが行われ、それぞれの位置情報が制御部１２０を通じて記憶部１３０に保存される。

【0053】

＜ステップＳ６１０＞
ステップＳ６１０において、位置合わせ部１５３は、ステップＳ３３０、３４０で取得された各画像の特徴量と画像間相関情報に基づき、位置合わせの順番を決定する。本実施例では、すべての画像が同じ画角である場合の順番の決定法を以下に述べる。

【0054】

始めに位置合わせの基準となるリファレンスフレームを一つ決定する。リファレンスフレーム選択法は、（１）ステップＳ５３０で算出した相関度が大きい組み合わせに多く含まれる画像であり、（２）ステップＳ４２０で算出された、Ｃｏｕｔｎの数が多く、Ｗｏｕｔｎの平均値が大きい、（３）ステップＳ４３０で算出したヒストグラムの半値幅が広い、これらの３つの条件を満たす画像をリファレンスフレームとして選ぶ。なお、リファレンスフレームを選択するための条件は３つ未満でも４つ以上であってもよい。また、条件（１）は他の画像に対する相関度の合計が大きい画像であるという条件であってもよい。なお、上記の条件において値が大きいか否かの基準となる固定の閾値を設けることとしてもよいし、取得した画像内で相対的に大きな値となるように可変の閾値を設けることとしてもよい。
本実施例では、画像の関連性が多く、複数の画像にまたがる大きな特徴を持ち、画像のシャープネスの高い画像を選びたいので、優先順位を（１）、（２）、（３）としてリファレンスフレームを選択するが、これは限定されるものではなくユーザーが選択してもよい。また、（１）−（３）の条件に重み付けをして、全ての条件を考慮してリファレンスフレームを選択することとしてもよいし、（１）−（３）の条件のうち一つの条件のみに基づいてリファレンスアームを選択することとしてもよい。例えば、他の画像との相関度の合計が最も高い画像をリファレンスフレームとしてもよい。

【0055】

その後、次に位置合わせを行う画像を選択する。一番初めは、選ばれたリファレンスフレームに対して、相関度が所定値より大きい画像の中から、ステップＳ４２０で算出された第一の特徴量が所定値より大きな画像を選択する。さらに選択された画像の中から第二の特徴量が所定値よりも大きな画像を選択する。次の画像を選ぶ基準については、本実施例では、優先順位を先の（１）、（２）、（３）の順番で該当する画像を同様に選択する。また、順次選ばれる画像は、リファレンスフレームと、これまでに位置合わせを行った画像を用いて生成したパノラマ画像に対して位置合わせを行う。従って、（１）において用いられる条件はリファレンスフレームとこれまでに位置合わせを行った画像双方に対して相関のある画像の合計となる。ここで、位置合わせ順序の決定が進むとパノラマ画像に対して相関度が所定値より大きくなる画像がなくなってしまう場合があるため位置合わせ順序の決定状況に伴い閾値を下げることとしてもよいし、所定値以上の相関度をもつ画像がない場合には、残りの画像のうちパノラマ画像に対して最も相関の高い画像を選択することとしてもよい。
なお、例えば、ＷＦＳＬＯ像のみで位置合わせを行う場合には他のＷＦＳＬＯ像に対して最も相関の高い画像をリファレンスフレームとして選択し、その後次に他のＷＦＳＬＯ像に対して相関の高い画像を位置合わせする処理を繰り返す。このように、ＡＯＳＬＯ像であっても条件（１）のみを用いて位置合わせ順序を決定することとしてもよい。

【0056】

また他の選択法として、たとえばステップＳ５３０でリファレンスフレームに対して算出した位置が、離れているものを優先して選択してもよい。これは、位置合わせの度にできるだけ大きなパノラマを作成して、広い範囲で位置合わせを行うためである。さらに、Ｗｏｕｔの大きな血管近傍で位置の合う画像を優先的に選んでもよく、この画像の選択方法は、これらに限定されるのもではない。上記順番は、初めにすべての順番を決めてもよいが、一画像ずつ順次決定してもよい。さらにリファレンスフレームや、いくつかの画像同士の順番は、ユーザーの指定の画像や順番を選択してもよい。即ち、前述したように、順番決定手段として機能するモジュール領域は、画像特徴算出部１５１が算出した前述した複数種類の特徴量について、少なくとも一つの種類以上の特徴量を順不同で用いることが好ましい。

【0057】

また、複数の画角の画像が含まれる場合、一番初めは最大画角とすると、より多くの相関度の高い画像を選択できる可能性がある。また順次画像を選択する際は、画角の大きい順に行ってもよく、また画角の順不同や前後の大きさの近い画角ごとの順番で選択してもよい。これらは限定されず、すべてもしくはいくつかの画像位置合わせの順番を決定することが、本発明の特徴である。
例えば図１０を用いて位置合わせ順序の決定方法を説明する。図１０はＷＦＳＬＯ像上に３枚のＡＯＳＬＯ像が位置合わせされた状態を示している。画角の異なる画像が含まれているため上述の如く最初にリファレンスフレームとしてＷＦＳＬＯ像が選択される。なお、図１０においてＡＯＳＬＯ像５０１は血管等の特徴部分が不鮮明であるものとする。図１０の上方における図において、点線は血管を示すものである。
大きな血管が含まれているＡＯＳＬＯ像５００はＡＯＳＬＯ像５０１、５０２よりもＷＦＳＬＯ像に対して相関度が高くなる。また、ＡＯＳＬＯ像５０２はＡＯＳＬＯ像５０１よりも鮮明であるためＷＦＳＬＯ像に対して相関度が高くなる。従って、位置合わせ順序はＷＦＳＬＯ像に対して相関度の高い順に、ＡＯＳＬＯ像５００、ＡＯＳＬＯ像５０２、ＡＯＳＬＯ像５０１の順序で行われる。このようにするとＷＦＳＬＯ像に対して相関度が低く位置合わせが難しいＡＯＳＬＯ像５０１もＡＯＳＬＯ像５００、５０２の特徴部分を手掛かりに位置合わせを行うことが可能となる。また、ＡＯＳＬＯ像５００をＷＦＳＬＯ像に位置合わせした後にＡＯＳＬＯ像５０１を位置合わせする場合に比べて、ＡＯＳＬＯ像５０２も位置合わせの基準として用いることが可能なため位置合わせの精度が向上し失敗を避けることが可能となる。なお、図１０の下方のＡＯＳＬＯ像は上方におけるＡＯＳＬＯ像を拡大したものである。図１０の下方のＡＯＳＬＯ像５０１の血管は位置合わせが行われていることを示すために明確に図示しているが、上述したように実際は不鮮明になっている。

【0058】

＜ステップＳ６２０＞
ステップＳ６２０において、位置合わせ部１５３は、ステップＳ６１０で選択されたリファレンスフレーム、もしくはこれまで位置合わせを行ったパノラマ画像に対して、次に選ばれた位置合わせを行う画像についての粗位置合わせを行う。本実施例ではステップＳ５３０で算出された位置を探索の初期位置とする。また探索範囲は、ある程度限定するほうが計算は速く行えるが、全検索してもよい。また粗位置合わせの方法は、ステップＳ５３０と同様であり、制御部１２０を通じて、粗位置合わせの位置情報を記憶部１３０に保存する。またここである程度相関が低い場合は、マッチングしない画像として制御部１２０を通じて記憶部１３０に保存して、ステップＳ６６０に進んでよい。

【0059】

＜ステップＳ６３０＞
ステップＳ６４０において、位置合わせ部１５３は、ステップＳ６１０で選択されたリファレンスフレーム、もしくはこれまで位置合わせを行ったパノラマ画像に対して、選択画像を分割することで得られる各小画像による位置合わせを行う。ここで画像の分割は、画像の特徴によって決めることができ、本実施例では１２×１２分割で行ったが、この数に限定されるものではない。

【0060】

リファレンスフレーム、もしくはこれまで位置合わせを行ったパノラマ画像に対して、各小画像の位置合わせを行う方法は、ステップＳ６２０で設定された粗位置合わせの位置を初期位置として、それぞれ任意の公知の方法で位置合わせを行う。本実施例では、ステップＳ６２０と同様に、位相限定相関関数を計算して、それぞれの小画像の最も相関ピーク値の高い位置を取得した。

【0061】

ここである程度相関が低い画像が多い場合は、マッチングしない画像として制御部１２０を通じて記憶部１３０に保存して、ステップＳ６６０にすすんでよい。

【0062】

＜ステップＳ６４０＞
ステップＳ６４０において、位置合わせ部１５３は、ステップＳ６３０で取得した、リファレンスフレームもしくはこれまで位置合わせを行ったパノラマ画像に対して、位置合わせを行った組み合わせ画像の分割したそれぞれの小画像の位置に基づいて、任意の公知の方法で組み合わせ画像のアフィン係数を決定する。本実施例では、まずステップＳ６３０で取得した位置に基づいて、それぞれの小画像の中心位置を平面上に並べた点群Ｓｉを作成する。そして、組み合わせ画像の初期に分割のみ行ったそれぞれの小画角の中心位置を点群Ａｉとする。

【0063】

次に、点群Ｓｉの各小画角の同じ位置に相当する点群Ａｉの各座標同士の距離の総和が最も小さくなるように、最小二乗法を用いて、アフィン係数を変化させる。そうして、距離の総和が最も小さくなる時のアフィン係数を取得してこれを位置情報とする。また、このアフィン変形により変化させた画像の、リファレンスフレームもしくはこれまで位置合わせを行ったパノラマ画像への貼り合わせを行う。貼り合わせた画像は、制御部１２０を通じて記憶部１３０に保存する。

【0064】

以上述べた画像各々のシフト量の算出は、本実施例における位置合わせ部１５３において演算手段として機能するモジュール領域により実行される。また、該位置合わせ部１５３は貼り合せ手段として機能するモジュール領域も有し、該貼り合せ手段は、演算手段が算出したシフト量に基づいて画像各々を変形させ、変形後の画像を順番決定手段が決定した順番に応じて貼り合わせてパノラマ画像を生成する。なお、前述したように、ここで述べた演算手段として機能するモジュール領域は、画像同士の位相限定相関関数を用いてシフト量の演算を行うことが好ましい。

【0065】

この貼り合わせ画像は次の画像の位置合わせに用いられ、その都度更新される。さらに、貼り合わせの合成の方法は、任意の公知の方法でよく、たとえばブレンディングをエッジ部のみ行ってもよい。即ち、画像各々の端部に対してアルファブレンディングを行うことで貼り合せを行うことが好ましい。或いは、画像の貼り合せに際して、画像毎の輝度調整として、輝度値の調整などを行ってもよい。

【0066】

また、貼り合わせの際に、テップＳ４２０で算出されたＣｏｕｔｎの数、Ｗｏｕｔｎの平均値、あるいはステップＳ４３０で算出したヒストグラムの半値幅等の特徴量を、リファレンスフレーム、もしくはこれまで位置合わせを行ったパノラマ画像の特徴量と比較して、より特徴量の高いほうを上側の画像として選択してもよい。また、いずれの画像を上とするかを後にユーザーが選択してもよい。

【0067】

ここで、このシフト量の総和がある程度以上大きい場合や、多くの小画角が変形後の組み合わせ画像内に収まらない場合は、これをマッチングしない画像とすることが好ましい。この場合、マッチングしないとされた画像は、制御部１２０を通じて記憶部１３０に保存して、ステップＳ６６０にすすんでよい。また本実施例ではアフィンによる簡易な変形のみ取り扱ったが、その他任意の公知の画像変換法や補正方法を用いて行ったり、たとえば光学歪みなどを補正したりしてもよく、本実施例はこの方法に限定されない。

【0068】

また、前述したように、この場合に演算手段として機能するモジュール領域は、画像における一画像を小画角に分割してそれぞれの位置合わせを行うことが好ましい。或いは、分割した小画角の位置合わせの際に用いるシフト量を、位相限定相関関数を用いることで演算することが好ましい。更には、画像における一画像を小画角に分割してそれぞれの位置合わせを行った後、小画角の画像各々についてのアフィン変換係数を取得する態様が好ましい。

【0069】

＜ステップＳ６５０＞
ステップＳ６５０において、位置合わせ部１５３は、位置合わせを行った画像の数が、Ｌ回目である場合、ステップＳ６６０に進む。本実施例では、Ｌはすべての画像の数であるが、これは限定されない。ここで、ステップＳ６５０で位置合わせを行った画像の数が、Ｌ回目より小さい場合は、ステップＳ６１０に戻って、次に位置合わせを行う画像を選択してステップＳ６１０から６４０を繰り返す。あらかじめ位置合わせの順番が決定されている場合は、Ｓ６２０に戻ってもよい。

【0070】

＜ステップＳ６６０＞
ステップＳ６５０において、位置合わせ部１５３は、ステップＳ６１０から６５０で取得した、すべての画像の位置合わせが終了したのち、ステップＳ６２０から６４０でマッチングしなかった画像についてステップＳ６１０から６４０の工程を繰り返し、これら画像について再度位置合わせを行う。マッチングしないエラー画像の数に再度位置合わせを行う回数をかけた数をＸとして、ステップＳ６１０に戻り、再度位置合わせを行う。ここで、再度の位置合わせの操作を何度か繰り返して位置が合わなくなるまで行ってよいし、その回数や実施するかどうかも限定されない。最終的に位置の合わせでマッチングした画像は、その画像のアフィン値と最終的なパノラマ画像とが制御部１２０を通じて記憶部１３０に保存される。また、マッチングしない画像は、不適合画像としての情報としてパノラマ画像に貼り合わせずに、最も相関の近い位置のアフィン値のみを制御部１２０を通じて記憶部１３０に保存する。再度位置合わせを実施する場合それが設定されたＸ回目である場合、この工程は終了する。

【0071】

＜ステップＳ３６０＞
ステップＳ３６０において、出力部１６０は、ステップＳ３５０において記憶部１３０に保存された網膜のパノラマ画像を、出力部１６０を通じてモニタ等に表示する。さらに、ステップＳ３１０からステップＳ３５０で記憶部１３０に保存された各画像の特徴量と画像間相関情報などのパラメータ、或いは各画像の位置を特定したアフィン係数をデータベースに保存する。さらにもしユーザーかたの指定があれば、選択された画像のみ貼り合わせを行いパノラマ画像として再出力してもよく、また不適合画像を、最も相関の高い位置にアフィン変形して貼り合わせてもよい。

【0072】

他にも、その不適合画像を、モニタ上の端に並べて、ＵＩ上でユーザーがマニュアルで位置合わせを行うような、ユーティリティアプリケーションを付属してもよい。図９にユーティリティアプリケーションのＵＩ画面の例を示す。メイン画面９１０に生成したパノラマ画像のレイヤー表示部９２０とアフィンパラメータ変更コマンドウィンドウ９３０が表示されている。またこの実施例では、不適合画像は、上記のようにアプリケーションの左上に置いており、パノラマ画像上に貼り合わせられた画像とともに、表示／非表示可能な枠が表記されており、すべての画像をマニュアルで位置合わせを行うことができる。

【0073】

このマニュアル位置合わせは、任意の公知の方法で行い、平行移動や回転、拡大縮小、せん断などを行ってもよい。またアフィンパラメータ変更コマンドウィンドウ９３０を用いて、パラメータを直接調整したり、一括で変形したりも可能である。このマニュアル位置合わせのユーティリティアプリケーションは画像の位置合わせを手動で調整できればよく、上記の方法に限定されない。

【0074】

以上のべたように、眼底の高精細画像のように特徴の少ない、かつ撮影位置の情報を精度よく推定するのが難しい画像群を貼り合わせてパノラマ画像を生成する場合、位置合わせを行う順番を考慮することにより、精度よく位置合わせを行えない画像を削減し、貼り合わせ失敗画像の少ないパノラマ画像の生成が可能となる。

【0075】

以上の構成により、補償光学ＳＬＯ装置により取得された網膜の画像を用いて、画像位置を特定する特別なハードウェア構成を持たなくても、精度良く画像間位置合わせを行い、貼り合わせ失敗画像の少ないパノラマ画像を生成することが可能になる。

【0076】

（その他の実施形態）
上記実施例では、特徴量が少なく、高精細で画角の小さい網膜の平面画像についてのものであったが、その他の高解像度の網膜断層撮影装置であるＯＣＴなどの異なるモダリティでの、網膜の断層画像同士による位置合わせや、ＯＣＴなどの断層画像の積算によって生成される三次元積算画像の一つの面と本実施例のＡＯ−ＳＬＯのような平面画像との位置合わせを行うことも可能である。ここで網膜断層像というのは、被検眼を正面から眼底カメラなどで撮影する際に得られる、正面像に対して垂直である、深さ方向の平面像のことを言う。このように複数のモダリティの画像同士の組み合わせでもよく、２次元、３次元の位置合わせに対しても、同様に画像特有の特徴点をもとに位置合わせの順番を設定することで、位置合わせを行うことが可能であるため、撮影モダリティに限定されない。

【0077】

また、本件は上記の実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、種々の変形、変更して実施することができる。例えば、上記の実施例では、被測定物が眼の場合について述べているが、眼以外の皮膚や臓器等の被測定物に本発明を適用することも可能である。この場合、本発明は眼科装置以外の、例えば内視鏡等の医療機器としての態様を有する。従って、本発明は眼科装置に例示される検査装置として把握され、被検眼は被検査物の一態様として把握されることが望ましい。

【0078】

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

【符号の説明】

【0079】

１０ 画像生成装置
１００ 信号取得部
１２０ 制御部
１３０ 記憶部
１４０ 画像生成部
１５０ 画像処理部
１５１ 画像特徴算出部
１５２ 画像相関算出部
１５３ 位置合わせ部
１６０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】