知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6167518
(24)【登録日】2017年7月7日
(45)【発行日】2017年7月26日
(54)【発明の名称】画像処理装置および方法、並びにプログラム
(51)【国際特許分類】
A61B 3/14 20060101AFI20170713BHJP
G06T 1/00 20060101ALN20170713BHJP
【ＦＩ】
A61B3/14 M
!G06T1/00 290Z
【請求項の数】9
【全頁数】64
(21)【出願番号】特願2012-530745(P2012-530745)
(86)(22)【出願日】2011年8月26日
(86)【国際出願番号】JP2011069339
(87)【国際公開番号】WO2012026597
(87)【国際公開日】20120301
【審査請求日】2014年8月22日
(31)【優先権主張番号】特願2010-258556(P2010-258556)
(32)【優先日】2010年11月19日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2010-190353(P2010-190353)
(32)【優先日】2010年8月27日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(72)【発明者】
【氏名】相坂 一樹
(72)【発明者】
【氏名】小林 誠司
(72)【発明者】
【氏名】岸本 拓哉
(72)【発明者】
【氏名】大月 知之
【審査官】
九鬼 一慶
(56)【参考文献】
【文献】
特開平０９−２５３０５２（ＪＰ，Ａ）
【文献】
特表２００９−５０２２２０（ＪＰ，Ａ）
【文献】
特開２００３−２９９６２０（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ａ６１Ｂ ３／００−３／１８
(57)【特許請求の範囲】
【請求項1】
低量の可視光、または低量の可視光と赤外光を照射しながら眼底を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせることにより、重ね合わせ画像を生成する重ね合わせ部と、
前記重ね合わせ部により生成された前記重ね合わせ画像内の前記眼底の特徴部位を含む領域が所定の条件を満たすか否かに基づいて、輝度値の階調補正を行うためのトーンカーブを算出するための階調補正パラメータを決定する階調補正パラメータ決定部と、
前記階調補正パラメータ決定部により決定された前記階調補正パラメータを用いて算出されたトーンカーブを用いて、前記重ね合わせ画像を、前記撮像画像よりも高輝度な画像に補正する画像補正部と
を備える画像処理装置。
前記重ね合わせ部により生成された前記重ね合わせ画像内の前記眼底の特徴部位を含む領域が所定の条件を満たすか否かに基づいて、輝度値の階調補正を行うためのトーンカーブを算出するための階調補正パラメータを決定する階調補正パラメータ決定部と、
前記階調補正パラメータ決定部により決定された前記階調補正パラメータを用いて算出されたトーンカーブを用いて、前記重ね合わせ画像を、前記撮像画像よりも高輝度な画像に補正する画像補正部と
を備える画像処理装置。
【請求項2】
前記画像補正部により生成された前記画像を高解像度化する高解像度化部をさらに備える
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記高解像度化部は、前記画像補正部により生成された前記画像を前記眼底の特徴部位に応じて高解像度化する
請求項２に記載の画像処理装置。
請求項２に記載の画像処理装置。
【請求項4】
前記重ね合わせ部は、前記眼底の特徴部位としての血管を用いて、前記重ね合わせ画像を生成する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項5】
前記重ね合わせ部は、前記特徴部位としてさらに前記血管の交叉点を用いて、前記重ね合わせ画像を生成する
請求項４に記載の画像処理装置。
請求項４に記載の画像処理装置。
【請求項6】
前記高解像度化部は、
前記重ね合わせ部により生成された前記重ね合わせ画像内の前記眼底の特徴部位を認識する部位認識部と、
前記認識された部位毎に所定の条件を満たすか否かの評価を行う評価部と
をさらに備え、
前記評価部は、前記重ね合わせ画像を、前記部位認識部により認識された部位毎に、各部位の画像の特徴に応じた方法で評価する
請求項２に記載の画像処理装置。
前記重ね合わせ部により生成された前記重ね合わせ画像内の前記眼底の特徴部位を認識する部位認識部と、
前記認識された部位毎に所定の条件を満たすか否かの評価を行う評価部と
をさらに備え、
前記評価部は、前記重ね合わせ画像を、前記部位認識部により認識された部位毎に、各部位の画像の特徴に応じた方法で評価する
請求項２に記載の画像処理装置。
【請求項7】
前記複数の画像は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記眼底に照射しながら前記眼底を複数撮像することにより得られた画像であることを特徴とする
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項8】
画像処理装置の画像処理方法であって、
重ね合わせ部が、低量の可視光、または低量の可視光と赤外光を照射しながら眼底を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせことにより、重ね合わせ画像を生成し、
階調補正パラメータ決定部が、生成された前記重ね合わせ画像内の前記眼底の特徴部位を含む領域が所定の条件を満たすか否かに基づいて、輝度値の階調補正を行うためのトーンカーブを算出するための階調補正パラメータを決定し、
画像補正部が、決定された前記階調補正パラメータを用いて算出されたトーンカーブを用いて、前記重ね合わせ画像を、前記撮像画像よりも高輝度な画像に補正する
画像処理方法。
重ね合わせ部が、低量の可視光、または低量の可視光と赤外光を照射しながら眼底を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせことにより、重ね合わせ画像を生成し、
階調補正パラメータ決定部が、生成された前記重ね合わせ画像内の前記眼底の特徴部位を含む領域が所定の条件を満たすか否かに基づいて、輝度値の階調補正を行うためのトーンカーブを算出するための階調補正パラメータを決定し、
画像補正部が、決定された前記階調補正パラメータを用いて算出されたトーンカーブを用いて、前記重ね合わせ画像を、前記撮像画像よりも高輝度な画像に補正する
画像処理方法。
【請求項9】
コンピュータを、
低量の可視光、または低量の可視光と赤外光を照射しながら眼底を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせることにより、重ね合わせ画像を生成する重ね合わせ部と、
前記重ね合わせ部により生成された前記重ね合わせ画像内の前記眼底の特徴部位を含む領域が所定の条件を満たすか否かに基づいて、輝度値の階調補正を行うためのトーンカーブを算出するための階調補正パラメータを決定する階調補正パラメータ決定部と、
前記階調補正パラメータ決定部により決定された前記階調補正パラメータを用いて算出されたトーンカーブを用いて、前記重ね合わせ画像を、前記撮像画像よりも高輝度な画像に補正する画像補正部と
して機能させるためのプログラム。
低量の可視光、または低量の可視光と赤外光を照射しながら眼底を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせることにより、重ね合わせ画像を生成する重ね合わせ部と、
前記重ね合わせ部により生成された前記重ね合わせ画像内の前記眼底の特徴部位を含む領域が所定の条件を満たすか否かに基づいて、輝度値の階調補正を行うためのトーンカーブを算出するための階調補正パラメータを決定する階調補正パラメータ決定部と、
前記階調補正パラメータ決定部により決定された前記階調補正パラメータを用いて算出されたトーンカーブを用いて、前記重ね合わせ画像を、前記撮像画像よりも高輝度な画像に補正する画像補正部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像処理装置および方法、並びにプログラムに関し、特に、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮影画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【0002】
従来、瞳孔を通じて眼球内の網膜や視神経乳頭等の眼底を観察する、所謂眼底検査が行われている。【0003】
眼底検査は、例えば、眼底鏡や眼底カメラといった専用の装置を用いて行われる。例えば、観察者は、観察対象である、被験者の眼球内の眼底を、眼底カメラで撮像し、得られた撮像画像をモニタ等に表示し、観察を行う。【0004】
この観察をより正確に行うためには、眼底の撮像画像（眼底画像）を高画質化する必要がある。【0005】
眼底画像を高画質化する方法として、例えば、眼底を撮像する際に、眼底に照射する光量を増加させることが考えられる。【0006】
また、眼底を撮像して得られた撮像画像に対して画像処理を行うことにより、高画質な眼底画像を得ることが考えられる。【0007】
例えば、特許文献１には、複数枚の眼底画像からノイズリダクションを行う方法が記載されている。また、例えば、特許文献２には、周期的なパターンを照射して高解像度画像を得る方法が記載されている。さらに、例えば、特許文献３にも、複数枚の眼底画像からノイズリダクションを行う方法が記載されている。また、非特許文献１には、Wavefront sensingとWiener Filterを組み合わせたボケ除去方法が記載されている。【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０１０−１１０３９２号公報
【特許文献2】特開２００８−２７２４８９号公報
【特許文献3】特開平０９−２５３０５２号公報
【非特許文献】
【0009】
【非特許文献1】“Hybrid technique for high resolution imaging of the eye fundus”, Justo Arines and Salvador Bara, 2003
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、撮像時に被験者の眼底により多くの光量を照射すると、被験者に与える負荷が増大してしまい、観察対象に対して不要な影響を及ぼしたり、被験者の心理的な負担を増大させたりする恐れがあった。また、撮像時に被験者の眼底により多くの光量を照射されることにより、被験者が、所謂、眩しいと感じ、瞼を閉じたり、動いたりしてしまい、高画質な撮像画像を得ることが出来ない恐れがあった。【0011】
また、特許文献１に記載の方法では、位置ずれを表示し、ユーザにずれを補正してもらう必要があった。また、この方法はノイズ除去に関する方法であり、この方法で輪郭を強調させることは困難であった。【0012】
さらに、特許文献２に記載の方法では、撮像時に、互いに異なるパターンで光が照射され、その情報が利用されるので、各照射において光量を落とすことが困難であった。【0013】
また、特許文献３に記載の方法は、ノイズ除去に関する方法であり、この方法で輪郭を強調させることは困難であった。【0014】
さらに非特許文献１に記載の方法は、画像のボケ除去に関する処理であり、この方法で輪郭を強調させることは困難であった。【0015】
本技術は、このような状況に鑑みてなされたものであり、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることを目的とする。【課題を解決するための手段】
【0016】
本技術の一側面の画像処理装置は、低量の可視光、または低量の可視光と赤外光を照射しながら眼底を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせることにより、重ね合わせ画像を生成する重ね合わせ部と、前記重ね合わせ部により生成された前記重ね合わせ画像内の前記眼底の特徴部位を含む領域が所定の条件を満たすか否かに基づいて、輝度値の階調補正を行うためのトーンカーブを算出するための階調補正パラメータを決定する階調補正パラメータ決定部と、前記階調補正パラメータ決定部により決定された前記階調補正パラメータを用いて算出されたトーンカーブを用いて、前記重ね合わせ画像を、前記撮像画像よりも高輝度な画像に補正する画像補正部とを備える
【0017】
前記画像補正部により生成された前記画像を高解像度化する高解像度化部をさらに備えるようにすることができる。
【0018】
前記高解像度化部は、前記画像補正部により生成された前記画像を前記眼底の特徴部位に応じて高解像度化するようにすることができる。
【0019】
前記重ね合わせ部は、前記眼底の特徴部位としての血管を用いて、前記重ね合わせ画像を生成するようにすることができる。
【0020】
前記重ね合わせ部は、前記特徴部位としてさらに前記血管の交叉点を用いて、前記重ね合わせ画像を生成するようにすることができる。
【0021】
前記高解像度化部は、前記重ね合わせ部により生成された前記重ね合わせ画像内の前記眼底の特徴部位を認識する部位認識部と、前記認識された部位毎に所定の条件を満たすか否かの評価を行う評価部とをさらに備え、前記評価部は、前記重ね合わせ画像を、前記部位認識部により認識された部位毎に、各部位の画像の特徴に応じた方法で評価するようにすることができる。
【0022】
前記複数の画像は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記眼底に照射しながら前記眼底を複数撮像することにより得られた画像であることを特徴とするようにすることができる。
【0023】
本技術の一側面の画像処理方法は、画像処理装置の画像処理方法であって、重ね合わせ部が、低量の可視光、または低量の可視光と赤外光を照射しながら眼底を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせことにより、重ね合わせ画像を生成し、階調補正パラメータ決定部が、生成された前記重ね合わせ画像内の前記眼底の特徴部位を含む領域が所定の条件を満たすか否かに基づいて、輝度値の階調補正を行うためのトーンカーブを算出するための階調補正パラメータを決定し、画像補正部が、決定された前記階調補正パラメータを用いて算出されたトーンカーブを用いて、前記重ね合わせ画像を、前記撮像画像よりも高輝度な画像に補正する。
【0024】
本技術の一側面のプログラムは、コンピュータを、低量の可視光、または低量の可視光と赤外光を照射しながら眼底を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせることにより、重ね合わせ画像を生成する重ね合わせ部と、前記重ね合わせ部により生成された前記重ね合わせ画像内の前記眼底の特徴部位を含む領域が所定の条件を満たすか否かに基づいて、輝度値の階調補正を行うためのトーンカーブを算出するための階調補正パラメータを決定する階調補正パラメータ決定部と、前記階調補正パラメータ決定部により決定された前記階調補正パラメータを用いて算出されたトーンカーブを用いて、前記重ね合わせ画像を、前記撮像画像よりも高輝度な画像に補正する画像補正部として機能させる。
【0025】
本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、低量の可視光、または低量の可視光と赤外光を照射しながら眼底が撮像され、その撮影により得られた複数の撮像画像が互いに重ね合わせられることにより、重ね合わせ画像が生成され、生成された重ね合わせ画像内の眼底の特徴部位を含む領域が所定の条件を満たすか否かに基づいて、輝度値の階調補正を行うためのトーンカーブを算出するための階調補正パラメータが決定され、決定された階調補正パラメータが用いられ算出されたトーンカーブが用いられて、重ね合わせ画像が、撮像画像よりも高輝度な画像になるように補正される。
【発明の効果】
【0067】
本技術によれば、画像を処理することができる。特に、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。【図面の簡単な説明】
【0068】
【図1】本技術を適用した眼底画像処理装置の主な構成例を示すブロック図である。
【図2】眼底画像生成処理の流れの例を説明したフローチャートである。
【図3】本技術を適用した眼底画像処理装置の他の構成例を示すブロック図である。
【図4】全体の処理の流れの例を説明する図である。
【図5】生体情報位置合わせ処理部の主な構成例を示すブロック図である。
【図6】生体情報を使った位置合わせの処理の流れの例を説明する図である。
【図7】血管位置合わせ処理部の主な構成例を示すブロック図である。
【図8】血管位置合わせ処理の流れの例を説明する図である。
【図9】超解像処理部の主な構成例を示すブロック図である。
【図10】超解像処理の流れの例を説明する図である。
【図11】血管画像を用いたPSF推定処理の流れの例を説明する図である。
【図12】眼底画像生成処理の流れの例を説明するフローチャートである。
【図13】生体情報位置合わせ処理の流れの例を説明するフローチャートである。
【図14】血管位置合わせ処理の流れの例を説明するフローチャートである。
【図15】超解像処理の流れの例を説明するフローチャートである。
【図16】本技術を適用した眼底画像処理装置の、さらに他の構成例を示すブロック図である。
【図17】全体の処理の流れの例を説明する図である。
【図18】トーンリプロダクション処理部の主な構成例を示すブロック図である。
【図19】トーンカーブの例を説明する図である。
【図20】パラメータ決定部の主な構成例を示すブロック図である。
【図21】超解像処理部の主な構成例を示すブロック図である。
【図22】眼底画像生成処理の流れの他の例を説明するフローチャートである。
【図23】トーンリプロダクション処理の流れの例を説明するフローチャートである。
【図24】パラメータ決定処理の流れの例を説明するフローチャートである。
【図25】超解像処理の流れの例を説明するフローチャートである。
【図26】パラメータ決定部の他の構成例を示すブロック図である。
【図27】パラメータ決定処理の流れの他の例を説明するフローチャートである。
【図28】第４の実施の形態の概要について説明する図である。
【図29】本技術を適用した眼底画像処理装置の、さらに他の構成例を示すブロック図である。
【図30】撮像部の主な構成例を示す図である。
【図31】画像処理部による処理の流れについて説明する図である。
【図32】赤外光画像位置合わせ処理部の主な構成例を示すブロック図である。
【図33】血管位置合わせ処理部の主な構成例を示すブロック図である。
【図34】眼底画像生成処理の流れの他の例を説明するフローチャートである。
【図35】眼底画像処理装置の他の構成例を示すブロック図である。
【図36】眼底画像生成処理の流れの他の例を説明するフローチャートである。
【図37】眼底画像生成処理の流れの他の例を説明するフローチャートである。
【図38】眼底画像生成処理の流れの他の例を説明するフローチャートである。
【図39】血管位置合わせ処理の流れの他の例を説明する。
【図40】眼底画像生成処理の流れの他の例を説明するフローチャートである。
【図41】遠隔診察システムの構成例について説明する図である。
【図42】遠隔診察処理の流れの例について説明するフローチャートである。
【図43】本技術を適用したパーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【0069】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。１．第１の実施の形態（眼底画像処理装置）
２．第２の実施の形態（眼底画像処理装置）
３．第３の実施の形態（眼底画像処理装置）
４．第４の実施の形態（眼底画像処理装置）
５．第５の実施の形態（眼底画像処理装置）
６．第６の実施の形態（遠隔診断システム）
７．第７の実施の形態（パーソナルコンピュータ）
【0070】
＜１．第１の実施の形態＞［眼底画像処理装置の構成］
図１は、本技術を適用した眼底画像処理装置の主な構成例を示すブロック図である。図１に示される眼底画像処理装置１００は、観察対象である被験者の、眼球内の網膜や視神経乳頭等の眼底を撮像し、その撮像画像である眼底の画像（眼底画像）を得る装置である。
【0071】
眼底画像処理装置１００は、被写体（被験者の眼底）への負荷の増大を抑制するために、被写体に照射する光量を抑制して撮像を行う。また、眼底画像処理装置１００は、より高画質な眼底画像を得るために、撮像を複数回行い、複数の撮像画像を得、それらを用いて超解像処理を行う。【0072】
眼底画像処理装置１００は、撮像部１０１、画像処理部１０２、記憶部１０３、および出力部１０４を有する。【0073】
撮像部１０１は、例えばCCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）等を用いた撮像素子を有し、所定の位置の被験者の眼底を撮像する。撮像部１０１は、被験者の眼底を撮像し、眼底画像を得ることが出来るのであれば、どのようなものであってもよい。ただし、撮像部１０１は、より高画質な眼底画像を得るために、撮像の際に被写体に光を照射する機能を有する。【0074】
一般的に、より高画質な眼底画像を得るためには、照射する光（照射光）の光量を増大させる（より強い照射光を照射し、眼底をより明るくする）ことが望ましいが、単に照射光の光量を増大させると被写体への負荷を増大させ、観察対象に対して不要な影響を及ぼしたり、被験者の心理的な負担を増大させたりする恐れがあった。また、被験者が、所謂、眩しいと感じ、瞼を閉じたり、動いたりしてしまい、結果として高画質な眼底画像を得ることが出来ない恐れがあった。【0075】
そこで撮像部１０１は、照射光の光量を増大させる代わりに、複数回撮像を行う。つまり、撮像部１０１は、照射光を低光量で照射させながら眼底の撮像を複数回繰り返す。したがって撮像部１０１は、撮像により得られる各眼底画像をできるだけ互いに近似させることができるように、できるだけ短時間に複数回撮像することができる方が望ましい。【0076】
このような撮像により得られる各眼底画像は、照射光が弱い（暗い）ため、低画質である。撮像部１０１は、このように得られた複数の低画質な眼底画像を画像処理部１０２に供給する。【0077】
画像処理部１０２は、撮像部１０１から供給される複数の低画質な眼底画像を用いて、１枚の、より高画質な眼底画像を生成し、それを記憶部１０３に記憶させたり、出力部１０４から出力させたりする。【0078】
記憶部１０３は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM（Random Access Memory）等の任意の記憶媒体を有し、画像処理部１０２から供給される、より高画質な眼底画像を記憶する。記憶部１０３に記憶された眼底画像は、図示せぬ再生部等により読み出され、出力部１０４に表示されたり、他の装置に伝送されたり、図示せぬ画像処理部により画像処理されたりする。【0079】
出力部１０４は、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等の任意のモニタ、または、出力端子等を有し、画像処理部１０２から供給される眼底画像を、そのモニタに表示したり、眼底画像処理装置１００の外部の装置に出力したりする。【0080】
図１に示されるように、画像処理部１０２は、入力画像バッファ１１１、超解像処理部１１２、SR（Super Resolution）画像バッファ１１３、および演算部１１４を有する。【0081】
入力画像バッファ１１１は、例えばハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、撮像部１０１から供給される、複数の低画質な眼底画像（撮像画像）を入力画像として保持し、その各入力画像を、所定のタイミングでLR（Low Resolution）画像として超解像処理部１１２に供給する。【0082】
［超解像処理部の構成］超解像処理部１１２は、例えば、特開２００９−０９３６７６号公報（以下、特許文献４と称する）に記載の超解像処理器と同様の超解像処理を行う。すなわち、超解像処理部１１２は、入力画像バッファ１１１から供給されるLR画像と、SR画像バッファ１１３から供給される、過去に生成したSR画像とを用いて、新たなSR画像を生成するためのフィードバック値を算出して出力する超解像処理を再帰的に繰り返す。超解像処理部１１２は、超解像処理結果として、算出したフィードバック値を演算部１１４に供給する。
【0083】
SR画像バッファ１１３は、例えばハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、生成されたSR画像を保持し、そのSR画像を所定のタイミングで超解像処理部１１２や演算部１１４に供給する。【0084】
演算部１１４は、超解像処理部１１２から供給されるフィードバック値を、SR画像バッファ１１３から供給される、過去に生成したSR画像に加算することにより、新たなSR画像を生成する。演算部１１４は、生成した、新たなSR画像をSR画像バッファ１１３に供給して保持させ、そのSR画像を次の超解像処理（新たなSR画像の生成）に利用させる。また、演算部１１４は、生成したSR画像を、記憶部１０３に供給して記憶させたり、出力部１０４に供給して表示させたり、外部の装置等に出力させたりする。【0085】
図１に示されるように、超解像処理部１１２は、動きベクトル検出部１２１、動き補償部１２２、ダウンサンプリングフィルタ１２３、演算部１２４、アップサンプリングフィルタ１２５、および逆方向動き補償部１２６を有する。【0086】
SR画像バッファ１１３から読み出されたSR画像は動きベクトル検出部１２１と動き補償部１２２に供給され、入力画像バッファ１１１から読み出されたLR画像は動きベクトル検出部１２１と演算部１２４に供給される。【0087】
動きベクトル検出部１２１は、入力されたSR画像とLR画像に基づいて、SR画像を基準とした動きベクトルを検出し、検出した動きベクトルを動き補償部１２２と逆方向動き補償部１２６に供給する。【0088】
動き補償部１２２は、動きベクトル検出部１２１から供給された動きベクトルに基づいてSR画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリングフィルタ１２３に供給する。動き補償を施して得られた画像に写るオブジェクトの位置は、LR画像に写るオブジェクトの位置に近い位置になる。【0089】
ダウンサンプリングフィルタ１２３は、動き補償部１２２から供給された画像をダウンサンプリングすることによってLR画像と同じ解像度の画像を生成し、生成した画像を演算部１２４に供給する。【0090】
このように、SR画像とLR画像から動きベクトルを求め、求めた動きベクトルによって動き補償して得られた画像をLR画像と同じ解像度の画像にすることは、撮像して得られる眼底画像（LR画像）を、SR画像バッファ１１３に記憶されているSR画像に基づいてシミュレートすることに相当する。【0091】
演算部１２４は、LR画像と、そのようにしてシミュレートされた画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリングフィルタ１２５に供給する。【0092】
アップサンプリングフィルタ１２５は、演算部１２４から供給された差分画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償部１２６に出力する。【0093】
逆方向動き補償部１２６は、動きベクトル検出部１２１から供給された動きベクトルに基づいて、アップサンプリングフィルタ１２５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像を表すフィードバック値を演算部１１４に供給する。逆方向の動き補償を施して得られた画像に写るオブジェクトの位置は、SR画像バッファ１１３に記憶されているSR画像に写るオブジェクトの位置に近い位置になる。【0094】
画像処理部１０２は、超解像処理部１１２を用いてこのような超解像処理を入力画像バッファ１１１に保持させた複数の眼底画像（LR画像）のそれぞれについて行い、最終的に１枚の、より高画質なSR画像を生成する。【0096】
より高画質な眼底画像を得るために眼底画像生成処理が開始されると、撮像部１０１は、ステップＳ１０１において、光量を落として複数回、被験者の眼底（被写体）を撮像する。【0097】
ステップＳ１０２において、画像処理部１０２は、ステップＳ１０１の処理により得られた撮像画像を入力画像バッファ１１１に記憶させる。ステップＳ１０３において、画像処理部１０２は、任意の方法で最初のSR画像である初期画像を生成し、それをSR画像バッファ１１３に記憶させる。例えば、画像処理部１０２は、最初に得られた撮像画像（LR画像）をSR画像と同じ解像度の画像にアップサンプリングすることによって初期画像を生成する。【0098】
ステップＳ１０４において、入力画像バッファ１１１は、保持している未処理の撮像画像（LR画像）を１枚選択し、それを超解像処理部１１２に供給する。動きベクトル検出部１２１は、ステップＳ１０５において、SR画像とLR画像とから動きベクトルを検出する。その動きベクトルを用いて、動き補償部１２２は、ステップＳ１０６において、SR画像に動き補償を施す。【0099】
ステップＳ１０７において、ダウンサンプリングフィルタ１２３は、動き補償を施したSR画像をLR画像と同じ解像度にダウンサンプリングする。ステップＳ１０８において、演算部１２４は、SR画像のダウンサンプリング結果と入力LR画像との差分画像を求める。【0100】
ステップＳ１０９において、アップサンプリングフィルタ１２５は、その差分画像をアップサンプリングする。ステップＳ１１０において、逆方向動き補償部１２６は、ステップＳ１０５の処理により検出された動きベクトルを用いて、差分画像のアップサンプリング結果に逆方向の動き補償を施す。【0101】
ステップＳ１１１において、演算部１１４は、ステップＳ１１０の処理により算出された差分画像のアップリング結果であるフィードバック値を、SR画像バッファ１１３により保持される過去に生成されたSR画像に加算する。画像処理部１０２は、ステップＳ１１２において、新たに生成されたSR画像を、記憶部１０３に記憶させたり、出力部１０４から出力させたりするとともに、SR画像バッファ１１３に記憶させる。【0102】
ステップＳ１１３において、入力画像バッファ１１１は、全ての撮像画像（LR画像）を処理したか否かを判定し、未処理の撮像画像（LR画像）が存在すると判定された場合、処理をステップＳ１０４に戻し、新たな撮像画像を処理対象として選択し、その撮像画像について、それ以降の処理を繰り返させる。【0103】
ステップＳ１１３において、撮像部１０１により複数回撮像され得られた複数の撮像画像の全てが処理され、１枚の、より高画質な眼底画像が得られたと判定された場合、入力画像バッファ１１１は、眼底画像生成処理を終了する。【0104】
このようにすることにより、眼底画像処理装置１００は、眼底への照射光の光量を増大させずに、より高画質な眼底画像を得ることが出来る。つまり、眼底画像処理装置１００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。【0105】
以上においては、超解像処理を行うことにより、より高画質な眼底画像として、撮像画像（LR画像）よりも高解像度のSR画像を得るように説明したが、これに限らず、解像度は撮像画像と同じであっても良い。その場合、図１の眼底画像処理装置１００において、ダウンサンプリングフィルタ１２３およびアップサンプリングフィルタ１２５は省略される。【0106】
基本的に、撮像部１０１において得られる複数の眼底画像を重ね合わせることにより、ダイナミックレンジが拡張されるので、より高画質な眼底画像が得られる。ただし、この撮像部１０１において得られる複数の眼底画像は、撮像が複数回行われることにより得られるものであり、互いに全く同一な画像であるとは限らない。例えば、画像の一部または全部において、位置がずれたり、変形したりすることが考えられる。したがって、単純に、これら複数の眼底画像を重ね合わせると、位置ずれ等により画像がボケたり２重になったりする恐れがあり、高画質になるとは限らない。【0107】
超解像処理部１１２は、動きベクトル検出部１２１において動き検出を行い、動き補償部１２２や逆方向動き補償部１２６により適宜動き補償を行うので、重ね合わせる画像間の差（位置ずれ等）を低減させることができる。したがって、眼底画像処理装置１００は、超解像処理において解像度を上げるようにしなくても、より高画質な被写体の撮像画像を得ることが出来る。【0108】
以上の超解像処理は、任意の単位で行うことができる。例えば、撮像画像全体で行うようにしてもよいし、マクロブロックと称される所定の大きさの部分画像毎に行うようにしてもよい。【0109】
＜２．第２の実施の形態＞［眼底画像処理装置の構成］
ところで、眼底画像は、基本的に画像全体が略均一な色により構成されることが多い。また、照射光の光量が落とされているので、眼底画像は比較的暗い画像である。さらに、一般的に、撮像部１０１による複数回の撮像は比較的短時間に、極力同条件下で行われる。したがって、画像間の動き量は比較的小さいことが多い。また、動きがある場合も、画像の一部が他の部分に比べて極端に大きく動くことは少なく、略全体が略均一に動くことが多い。
【0110】
したがって、眼底画像処理装置１００のように、所定の単位毎に画像を比較し、動き検出を行う方法では、動き検出が困難になる恐れがあった。【0111】
そこで、所定の領域毎に動きベクトルの検出を行う代わりに、画像全体について、被写体の生体情報を用いて画像の位置合わせを行うようにしてもよい。【0112】
図３は、その場合の、眼底画像処理装置の主な構成例を示すブロック図である。図３に示される眼底画像処理装置２００は、図１の眼底画像処理装置１００と同様の装置であり、基本的に眼底画像処理装置１００と同様の構成を有するが、画像処理部１０２の代わりに画像処理部２０２を有する。【0113】
画像処理部２０２は、比較的低画質の複数の眼底画像を、被写体の生体情報を用いて位置合わせを行ってから重ね合わせを行うことにより、より高画質な１枚の眼底画像を生成する。【0114】
図３に示されるように、画像処理部２０２は、入力画像バッファ１１１、生体情報位置合わせ処理部２１２、超解像処理部２１３、および超解像結果画像バッファ２１４を有する。【0115】
生体情報位置合わせ処理部２１２は、被写体の生体情報を用いて、入力画像バッファ１１１から供給される眼底画像（入力画像）と、超解像結果画像バッファ２１４から供給される眼底画像（超解像処理部２１３により重ね合わせされた画像）との間で画像の位置合わせを行う。【0116】
生体情報位置合わせ処理部２１２は、位置合わせに利用する生体情報として、例えば、血管、神経、若しくは視神経乳頭等を用いる。もちろん、この生体情報は、任意であり、これら以外のものであってもよい。例えば、組織や細胞を被写体とし、その観察を行う場合、被写体の生体情報として、細胞やその核の形状等を画像の位置合わせに利用するようにしてもよい。また、複数種類の生体情報（例えば血管と視神経乳頭等）が用いられるようにしてもよい。【0117】
超解像処理部２１３は、超解像結果画像バッファ２１４から、過去に生成した超解像処理結果画像（超解像処理結果として得られる画像）を取得し、その超解像結果画像と、生体情報位置合わせ処理部２１２より位置合わせされた入力画像とを重ね合わせ、新たな超解像結果画像を生成する。超解像処理部２１３は、その超解像結果画像を記憶部１０３に記憶させたり、出力部１０４より出力させたりするとともに、超解像結果画像バッファ２１４に供給し、記憶させる。【0118】
超解像結果画像バッファ２１４は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、超解像処理部２１３により生成された超解像結果画像を保持し、所定のタイミングにおいてその超解像結果画像を、生体情報位置合わせ処理部２１２や超解像処理部２１３に供給する。【0119】
つまり、撮像部１０１は、図１の場合と同様に、図４の四角２３１に示されるように、光量を落として眼２２１の眼底を複数回撮像し、複数枚の眼底画像２２２を生成する。図４の四角２３２に示されるように、入力画像バッファ１１１は、その暗くて低画質な複数枚の眼底画像２２２を記憶し、所定のタイミングで１枚ずつその眼底画像２２２を生体情報位置合わせ処理部２１２に提供する。【0120】
生体情報位置合わせ処理部２１２は、図４の四角２３３に示されるように、眼の情報（生体情報）を使って、その眼底画像２２２と超解像結果画像との位置合わせを行う。超解像処理部２１３は、図４の四角２３４に示されるように、その位置合わせされた眼底画像２２２（入力画像）を用いて画像の重ね合わせによる超解像処理およびハイダイナミックレンジ処理を行い、超解像結果画像を生成する。【0121】
このような位置合わせと超解像処理が繰り返されて生成された、より高解像度かつダイナミックレンジの大きな眼底画像２２３は、記憶部１０３に記憶されたり、出力部１０４より出力されたりする。なお、ここで高解像度とは、ボケが除去され、よりシャープな画像であることを示しており、実際に解像度が高くなくてもよい。【0122】
つまり、眼底画像処理装置２００は、被写体への負荷の増大を抑制しながら、撮像により得られた撮像画像よりも高画質な（ボケが抑制され、ダイナミックレンジが大きな）眼底画像を得ることができる。【0123】
［生体情報位置合わせ処理部の構成］図５は、図３の生体情報位置合わせ処理部２１２の主な構成例を示すブロック図である。図５に示されるように、生体情報位置合わせ処理部２１２は、入力画像血管抽出部２４１、超解像結果画像血管抽出部２４２、入力画像交叉点抽出部２４３、超解像結果画像交叉点抽出部２４４、交叉点位置合わせ処理部２４５、および血管位置合わせ処理部２４６を有する。
【0124】
入力画像血管抽出部２４１は、図６に示されるように、入力画像バッファ１１１から供給される入力画像２５１（低画質の眼底画像）から血管の部分を抽出し（処理２６１）、それを血管位置合わせ処理部２４６に供給する。例えば、入力画像血管抽出部２４１は、入力画像から、“血管特徴を用いた眼底画像合成法”，田邊 勝義，壷内 鉄郎，奥田 英範，奥 雅博，2007（以下、非特許文献２と称する）に記載の方法のように、RGB成分のR成分を使って血管を抽出する。【0125】
同様に、超解像結果画像血管抽出部２４２は、図６に示されるように、超解像結果画像バッファ２１４から供給される、前回の超解像結果画像２５２（高画質の眼底画像）から血管の部分を抽出し（処理２６２）、それ（血管抽出結果２５３）を血管位置合わせ処理部２４６に供給する。【0126】
血管位置合わせ処理部２４６は、図６に示されるように、各画像から抽出された血管抽出結果を用いて、入力画像２５１と前回の超解像結果画像２５２との間で血管の位置合わせを行い（処理２６６）、その位置合わせされた入力画像２５４を血管抽出結果２５３とともに超解像処理部２１３に供給する。【0127】
なお、血管抽出結果（血管全体の形状や位置）による位置合わせ処理（処理２６６）の前に、血管の交叉点の位置による簡易的な位置合わせを行うようにしてもよい。なお、血管の交叉点とは、撮像画像において血管が交わる（実際にはねじれの位置である場合も含む）部分や、分岐する部分である。【0128】
その場合、入力画像血管抽出部２４１は、図６に示されるように、処理２６１により得られる、入力画像２５１（低画質の眼底画像）からの血管抽出結果を、入力画像交叉点抽出部２４３に供給する。【0129】
入力画像交叉点抽出部２４３は、図６に示されるように、入力画像血管抽出部２４１から供給される血管抽出結果から交叉点を抽出し（処理２６３）、その交叉点抽出結果を交叉点位置合わせ処理部２４５に供給する。【0130】
また、超解像結果画像血管抽出部２４２は、図６に示されるように、処理２６２により得られる、前回の超解像結果画像２５２（高画質の眼底画像）からの血管抽出結果２５３を、超解像結果画像交叉点抽出部２４４に供給する。【0131】
超解像結果画像交叉点抽出部２４４は、図６に示されるように、超解像結果画像血管抽出部２４２から供給される血管抽出結果２５３から交叉点を抽出し（処理２６４）、その交叉点抽出結果を交叉点位置合わせ処理部２４５に供給する。【0132】
交叉点位置合わせ処理部２４５は、図６に示されるように、各画像から抽出された交叉点抽出結果を用いて、入力画像２５１と前回の超解像結果画像２５２との間で交叉点の位置合わせを行う（処理２６５）。そしてその交叉点位置合わせ結果が血管位置合わせ処理部２４６に供給される。【0133】
血管位置合わせ処理部２４６は、交叉点位置合わせ処理部２４５から供給される、交叉点位置合わせ結果を初期状態とし、血管抽出結果を用いて血管を用いた入力画像の位置合わせ（処理２６６）を行う。つまり、交叉点位置合わせ結果にしたがって、交叉点の位置合わせと同様に位置合わせを行いながら各血管抽出結果を重畳し、それを初期状態とする。【0134】
このようにすることにより、血管位置合わせ処理部２４６は、交叉点を用いて簡易的に位置合わせされた状態から、位置合わせを開始することができるので、より容易かつ高速に位置合わせを行うことができる。【0135】
なお、さらに他の生体情報を用いた位置合わせを併用するようにしてもよい。例えば、最初に、視神経乳頭の位置で位置合わせを行いながら、入力画像２５１と前回の超解像結果画像２５２とを重畳し、その重畳画像を初期値として交叉点による位置合わせを行うようにしてもよい。【0136】
［血管位置合わせ処理部の構成］次に、血管全体の位置や形状等を用いた位置合わせについて説明する。図７は、血管位置合わせ処理部２４６の主な構成例を示すブロック図である。図７に示されるように、血管位置合わせ処理部２４６は、重畳処理部２７１、シフト処理部２７２、伸ばし処理部２７３、回転処理部２７４、拡大縮小処理部２７５、および収束判定部２７６を有する。
【0137】
重畳処理部２７１は、入力画像血管抽出部２４１と超解像結果画像血管抽出部２４２とから供給される各血管抽出結果を重畳する。交叉点による位置合わせを行う場合、重畳処理部２７１は、交叉点位置合わせ処理部２４５から供給される交叉点位置合わせ結果を用いて、交叉点の位置合わせと同様の位置合わせを行いながら、各血管抽出結果を重畳する。重畳処理部２７１は、重畳結果をシフト処理部２７２に供給する。【0138】
なお、血管位置合わせ処理部２４６は、図８に示されるように、入力画像血管抽出部２４１から供給される、入力画像から抽出された血管抽出結果２９１を基準（Source）とし、超解像結果画像血管抽出部２４２から供給される、前回の超解像結果画像から抽出された血管抽出結果２９２を目標（Target）として位置合わせを行う。つまり、血管抽出結果２９１を血管抽出結果２９２に近づけるように位置合わせが行われる。【0139】
シフト処理部２７２は、図８に示されるように、縦方向や横方向等任意の方向に、血管抽出結果２９１全体を移動（シフト）させる縦横シフト２８１を行い、血管抽出結果２９１が血管抽出結果２９２に最も近づいた状態で、重畳結果を伸ばし処理部２７３に供給する。血管抽出結果２９１と血管抽出結果２９２とがどれくらい近づいたかの判定方法は任意であるが、例えば、両画像の絶対値差分により判定する。つまり、シフト処理部２７２は、血管抽出結果２９１全体を移動（シフト）させ、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる位置を検索する。この判定方法は以下の処理部においても同様である。【0140】
伸ばし処理部２７３は、図８に示されるように、縦方向や横方向等任意の方向に、血管抽出結果２９１を伸ばす（変形させる）縦横伸ばし２８２を行い、血管抽出結果２９１が血管抽出結果２９２に最も近づいた状態で、重畳結果を回転処理部２７４に供給する。例えば、伸ばし処理部２７３は、血管抽出結果２９１を任意の方向に伸ばし（変形させ）、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる形状を検索する。【0141】
回転処理部２７４は、図８に示されるように、血管抽出結果２９１を左右に回転させる回転２８３を行い、血管抽出結果２９１が血管抽出結果２９２に最も近づいた状態で、重畳結果を拡大縮小処理部２７５に供給する。例えば、回転処理部２７４は、血管抽出結果２９１を左右に回転させ、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる向きを検索する。【0142】
拡大縮小処理部２７５は、図８に示されるように、血管抽出結果２９１を拡大したり縮小したりする拡大縮小２８４を行い、血管抽出結果２９１が血管抽出結果２９２に最も近づいた状態で、重畳結果を収束判定部２７６に供給する。例えば、回転処理部２７４は、血管抽出結果２９１を拡大したり縮小したりし、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる大きさを検索する。【0143】
収束判定部２７６は、供給された重畳結果に基づいて、位置合わせが収束したか否かを判定する。例えば、収束判定部２７６は、上述した各処理を複数回繰り返し行わせ、今回得られた位置合わせ結果を、前回の位置合わせ結果と比較し、前回より血管抽出結果２９１が血管抽出結果２９２に近づいた場合、収束していないと判定し、前回より血管抽出結果２９１が血管抽出結果２９２に近づいていない場合（例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が前回より小さくならない場合）、収束したと判定する。【0144】
収束していないと判定した場合（例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が前回より小さくなる場合）、収束判定部２７６は、その重畳結果をシフト処理部２７２に戻し、再度、位置合わせを行わせる。また、位置合わせが収束したと判定した場合、収束判定部２７６は、位置合わせ結果となる血管抽出結果の重畳結果（例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となるときの重畳結果）に基づいて、入力画像２５１の位置合わせを行い、位置合わせされた入力画像２５１と、血管抽出結果とを超解像処理部２１３に供給する。【0145】
なお、以上においては、位置合わせの具体例として、縦横シフト２８１、縦横伸ばし２８２、回転２８３、および拡大縮小２８４の４つの処理をこの順に行うように説明したが、これに限らず、上述した処理以外の処理をさらに行うようにしてもよいし、上述した処理の一部を省略するようにしてもよい。また、上述したように処理を複数行う場合、各処理の実行順は任意である。【0146】
また、生体情報位置合わせ処理部２１２が、例えば、“Shape Matching and Object Recognition Using Shape Contexts”，Serge Belongie, Jitendra Malik, Jan Puzicha, 2002（以下、非特許文献３と称する）に記載されているような、エッジ部分のヒストグラムを使った位置合わせを行うようにしてもよい。【0147】
さらに、収束したか否かの判定方法は、任意であり、上述した以外の方法であってもよい。例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が所定の閾値以下になる場合、収束したと判定されるようにしてもよい。【0148】
なお、血管の交叉点による位置合わせも、この血管全体による位置合わせと基本的に同様に行われる。つまり、交叉点位置合わせ処理部２４５は、血管位置合わせ処理部２４６と基本的に同様の構成を有し、位置合わせに用いる生体情報が血管全体か、その交叉点かの違い以外は、基本的に同様の処理を行う。【0149】
以上のように、眼底画像処理装置２００は、眼底画像は生体の画像であるので、その画像の特徴を活かし、眼底画像に含まれる生体情報を用いて画像全体で位置合わせを行う。このようにすることにより、眼底画像処理装置２００は、より容易かつ正確な位置合わせを実現することができる。【0150】
［超解像処理部の構成］図９は、超解像処理部２１３の主な構成例を示すブロック図である。この場合、位置合わせは、生体情報位置合わせ処理部２１２において行われるので、超解像処理部２１３は、入力画像のボケ除去と重ね合わせのみを行う。
【0151】
図９に示されるように、超解像処理部２１３は、PSF（Point Spread Function）推定部３０１、ボケ除去処理部３０２、および重ね合わせ処理部３０３を有する。【0152】
PSF推定部３０１は、生体情報位置合わせ処理部２１２から供給される血管抽出結果を用いてPSF（点拡がり関数）の推定（図１０の処理３１１）を行う。このPSFの推定は、例えば、図１１に示されるような方法で行われる。【0153】
つまり、PSF推定部３０１は、図１１の四角３３２に示されるように、予めガウス分布から求めたエッジ周辺の画素値のモデルを保持している。PSF推定部３０１は、四角３３１に示されるように、位置合わせされた血管抽出結果３２２からエッジ部分を特定し、その各エッジ周辺の画素値を取り出し、それを保持しているモデルと照合し、一致または近似するモデルを特定する。そして、PSF推定部３０１は、特定したモデルの中で一番多かったモデルを、推定したPSFとしてボケ除去処理部３０２に供給する。【0154】
ボケ除去処理部３０２は、PSF推定部３０１から供給された、PSFの推定情報を用い、そのモデルに応じた方法で、位置合わせされた入力画像のボケ除去を行う。つまり、ボケ除去処理部３０２は、画像のボケ方（点拡がりのパターン）に応じた方法でそのボケ除去を行う。【0155】
ボケ除去処理部３０２は、例えば、ウィナーフィルタを用いてボケ除去を行う。なお、“High-quality Motion Deblurring from a Single Image”, Qi Shan, Jiava Jia, Aseem Agarwala, 2008（以下、非特許文献４と称する）に記載されているような動きボケを除去する方法が用いられるようにしてもよい。【0156】
ボケ除去処理部３０２は、ボケ除去を行った入力画像を重ね合わせ処理部３０３に供給する。【0157】
重ね合わせ処理部３０３は、ボケ除去処理部３０２から供給された入力画像（位置合わせとボケ除去が行われた入力画像）を、超解像結果画像バッファ２１４から供給された前回の超解像結果画像に足し込むことにより両画像を重ね合わせ、その重ね合わせた結果を新たな超解像結果画像として出力し、記憶部１０３に記憶させたり、出力部１０４から外部に出力させたりするとともに、超解像結果画像バッファ２１４に記憶させる。【0158】
眼底画像は、上述したように照射光の光量を落として撮像されるため、基本的に全体が暗くて赤い略均一な画像となる。また、撮像時に被写体が動くことも考えられる。したがって、合焦させることが容易ではなく、焦点ずれ（所謂ピンボケ）が発生し易い。しかも、画像全体が略均一であるため、ボケ具合も一様になりやすい。【0159】
したがって、上述したようにPSF推定結果を利用してボケ除去を行うことにより、超解像処理部２１３は、効率よくボケを除去し、より高画質な眼底画像を容易に得ることができる。【0160】
なお、例えば、PSF推定部３０１が、特開２００９−１６９９４３号公報（以下、特許文献５と称する）に記載のようにエッジ部分のボケ具合を判定し、そのボケ具合に応じたPSFを適用するようにしてもよい。【0161】
また、重ね合わせ処理部３０３は、入力画像と前回の超解像結果画像とを重ね合わせる際に、図１の場合と同様にダウンサンプリングやアップサンプリングを行い、解像度を上げるようにしてもよい。【0162】
なお、より厳密には、眼底は球状である。また、視神経乳頭が周囲に比べて盛り上がる等、眼底には凹凸も存在する。したがって、例えば眼底の一部の領域において合焦し、他の一部において合焦しない等、領域によってボケ具合が異なる可能性が高い。【0163】
そこで、PSF推定部３０１が、PSF推定を、眼底画像の所定の部分領域毎に行い、ボケ除去処理部３０２が、その推定結果に基づいて、その部分領域毎にフィルタ関数を設定し、ボケ除去を行うようにしてもよい。つまり、眼底画像の場所（領域）や絵柄に応じたフィルタ関数でボケ除去が行われるようにしてもよい（領域の位置や眼底の形状等によってボケ除去の方法（例えばフィルタ関数）が異なるようにしてもよい）。【0164】
このようにすることにより、より正確にボケ除去を行うことができるので、眼底画像処理装置２００は、より高画質な眼底画像を得ることができる。【0166】
眼底画像生成処理が開始されると、ステップＳ２０１乃至ステップＳ２０４の各処理が、図２のステップＳ１０１乃至ステップＳ１０４の各処理と同様に実行される。ただし、ステップＳ２０３において、初期画像は超解像結果画像バッファ２１４に記憶される。また、ステップＳ２０４において、未処理の撮像画像が入力画像として１枚選択される。【0167】
処理対象が決定されると、生体情報位置合わせ処理部２１２は、ステップＳ２０５において生体情報位置合わせ処理を行う。ステップＳ２０６において、超解像処理部２１３は、その位置合わせ結果を用いて、超解像処理を行う。【0168】
ステップＳ２０７において、超解像処理部２１３は、超解像処理により得られた新たな超解像結果画像を記憶部１０３や出力部１０４に出力するとともに、超解像結果画像バッファ２１４に記憶させる。【0169】
ステップＳ２０８において、入力画像バッファ１１１は、全ての撮像画像を処理したか否かを判定し、未処理の撮像画像が存在すると判定された場合、処理をステップＳ２０４に戻し、それ以降の処理を実行させる。【0170】
ステップＳ２０８において、全ての撮像画像を処理したと判定された場合、入力画像バッファ１１１は、眼底画像生成処理を終了する。【0172】
生体情報位置合わせ処理が開始されると、入力画像血管抽出部２４１は、ステップＳ２２１において、入力画像から血管部分の画像を抽出する。ステップＳ２２２において、超解像結果画像血管抽出部２４２は、前回の超解像結果画像から血管部分の画像を抽出する。【0173】
ステップＳ２２３において、生体情報位置合わせ処理部２１２は、交叉点の位置合わせを行うか否かを判定する。交叉点の位置合わせを行うと判定された場合、生体情報位置合わせ処理部２１２は、処理をステップＳ２２４に進める。【0174】
ステップＳ２２４において、入力画像交叉点抽出部２４３は、入力画像の血管抽出結果から交叉点を抽出する。ステップＳ２２５において、超解像結果画像交叉点抽出部２４４は、前回の超解像結果画像の血管抽出結果から交叉点を抽出する。【0175】
ステップＳ２２６において、交叉点位置合わせ処理部２４５は、ステップＳ２２４およびステップＳ２２５において生成された交叉点抽出結果を用いて、交叉点の位置合わせを行う。【0176】
交叉点の位置合わせが終わると、交叉点位置合わせ処理部２４５は、処理をステップＳ２２７に進める。また、ステップＳ２２４において、交叉点の位置合わせを行わないと判定された場合、処理をステップＳ２２７に進める。【0177】
ステップＳ２２７において、血管位置合わせ処理部２４６は、血管の位置合わせを行う。【0178】
ステップＳ２２７の処理が終了すると、血管位置合わせ処理部２４６は、生体情報位置合わせ処理を終了し、処理を図１２のステップＳ２０５に戻し、ステップＳ２０６以降の処理を実行させる。【0180】
血管位置合わせ処理が開始されると、ステップＳ２４１において、重畳処理部２７１は、交叉点位置合わせが行われたか否かを判定し、行われたと判定した場合、処理をステップＳ２４２に進め、交叉点位置合わせ結果を重畳結果とし、その重畳結果に従って、入力画像血管抽出部２４１において抽出された血管抽出結果と、超解像結果画像血管抽出部２４２において抽出された血管抽出結果とを重畳し、処理をステップＳ２４４に進める。【0181】
ステップＳ２４１において、交叉点位置合わせを行っていないと判定された場合、重畳処理部２７１は、処理をステップＳ２４３に進め、入力画像血管抽出部２４１において抽出された血管抽出結果と、超解像結果画像血管抽出部２４２において抽出された血管抽出結果とを重畳し、処理をステップＳ２４４に進める。【0182】
ステップＳ２４４において、シフト処理部２７２は、入力画像の血管抽出結果をシフトするシフト位置合わせを行う。ステップＳ２４５において、伸ばし処理部２７３は、入力画像の血管抽出結果を伸縮させる伸ばし位置合わせを行う。ステップＳ２４６において、回転処理部２７４は、入力画像の血管抽出結果を回転させる回転位置合わせを行う。ステップＳ２４７において、拡大縮小処理部２７５は、入力画像の血管抽出結果を拡大したり縮小したりする拡大縮小位置合わせを行う。【0183】
ステップＳ２４８において、収束判定部２７６は、位置合わせが収束したか否かを判定し、収束していないと判定された場合、処理をステップＳ２４４に戻し、それ以降の処理を行う。ステップＳ２４８において収束したと判定された場合、収束判定部２７６は、ステップＳ２４９において、位置合わせ結果に基づいて入力画像の位置合わせを行い、その位置合わせされた入力画像と血管抽出結果とを超解像処理部２１３に出力する。【0184】
ステップＳ２４９の処理が終了すると、収束判定部２７６は、血管位置合わせ処理を終了し、処理を図１３のステップＳ２２７に戻し、生体情報位置合わせ処理を終了し、処理を図１２のステップＳ２０５に戻し、ステップＳ２０６以降の処理を実行させる。【0185】
なお、図１３のステップＳ２２６において実行される交叉点位置合わせ処理は、血管全体の代わりに血管の交叉点を位置合わせに利用すること以外、図１４を参照して説明した血管位置合わせ処理と同様に実行される。【0187】
超解像処理が開始されると、PSF推定部３０１は、ステップＳ２６１において、血管抽出結果を用いて点拡がり関数（PSF）を推定する。ステップＳ２６２において、ボケ除去処理部３０２は、推定した点拡がり関数を用いて、位置合わせした入力画像のボケ除去を行う。【0188】
ステップＳ２６３において、重ね合わせ処理部３０３は、前回の超解像結果に、ボケ除去後の位置合わせした入力画像を重ね合わせ、それを新たな超解像結果画像として出力する。【0189】
ステップＳ２６３の処理が終了すると、重ね合わせ処理部３０３は、超解像処理を終了し、処理を図１２のステップＳ２０６に戻し、ステップＳ２０７以降の処理を実行させる。【0190】
以上のように、各処理を実行することにより、眼底画像処理装置２００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。【0191】
＜３．第３の実施の形態＞［眼底画像処理装置の構成］
図３は、眼底画像処理装置の他の構成例を示すブロック図である。図３に示される眼底画像処理装置４００は、眼底画像に含まれる生体情報（血管や視神経乳頭に関する情報等）を、トーンリプロダクション処理や超解像処理に利用し、より高画質な眼底画像を生成する。
【0192】
眼底画像処理装置４００は、図３の眼底画像処理装置２００と同様の装置であり、基本的に眼底画像処理装置２００と同様の構成を有し、同様の処理を行う。ただし、眼底画像処理装置４００は、眼底画像処理装置２００が有する画像処理部２０２の代わりに画像処理部４０２を有する。【0193】
画像処理部４０２は、画像処理部２０２と基本的に同様の構成を有し、同様の処理を行うが、眼底画像処理装置２００が有する超解像処理部２１３および超解像結果画像バッファ２１４の代わりに、ノイズ削減処理部４１３、ノイズ削減結果画像バッファ４１４、トーンリプロダクション処理部４１５、および超解像処理部４１６を有する。【0194】
すなわち、画像処理部４０２は、図１７の四角４３１に示されるように、光量を落として眼２２１の眼底を複数回撮像し、複数枚の低画質な眼底画像２２２を生成する。図１７の四角４３２に示されるように、入力画像バッファ１１１は、その暗くて低画質な複数枚の眼底画像２２２を記憶し、生体情報位置合わせ処理部２１２の要求に基づいて、若しくは所定のタイミングにおいて、１枚ずつその眼底画像２２２を生体情報位置合わせ処理部２１２に提供する。【0195】
生体情報位置合わせ処理部２１２は、図１７の四角２３３に示されるように、眼の情報（生体情報）を使って、その眼底画像２２２と超解像結果画像との位置合わせを行う。ノイズ削減処理部４１３は、図１７の四角４３４に示されるように、その位置合わせされた眼底画像２２２（入力画像）の重ね合わせを行うことにより、ノイズの低減やダイナミックレンジの拡張（ノイズリダクションおよびワイドダイナミックレンジ処理）を行う。ノイズ削減結果画像バッファ４１４を用いてこれらの処理が繰り返され、複数の低画質の眼底画像から１枚の眼底画像が生成される。【0196】
生成された１枚の眼底画像は、トーンリプロダクション処理部４１５により、トーンリプロダクション処理（Tone Reproduction）４３５（図１７）される。トーンリプロダクション処理４３５の処理方法は任意である。例えば、特開２００９−１７７５５８号公報（以下、特許文献６と称する）に記載の方法によりトーンリプロダクション処理４３５が行われるようにしてもよい。【0197】
なお、トーンリプロダクション処理４３５における、トーンカーブ算出のためのパラメータの決定は、より明るくより高画質な画像が得られるように、生体としての特徴に適するように行われる。【0198】
トーンリプロダクション処理４３５により補正された眼底画像は、超解像処理部４１６により、超解像処理４３６（図１７）される。この超解像処理４３６の処理方法は任意である。例えば、特開２０１０−１０２６９６号公報（以下、特許文献７と称する）に記載の方法や、特開２０１０−１０３９８１号公報（以下、特許文献８と称する）に記載の方法により超解像処理４３６が行われるようにしてもよい。ただし、この超解像処理４３６は、ノイズがより少ない、より高解像度な画像が得られるように、生体としての特徴に応じた処理が行われる。【0199】
つまり、画像処理部４０２は、生体としての特徴に応じた処理を行うことにより、複数の低画質の眼底画像から、１枚の、より高画質かつ高解像度な眼底画像を生成する。【0200】
このように、画像処理部４０２においては、トーンリプロダクション処理と超解像処理は、画像の重ね合わせ後に（生成された１枚の眼底画像に対して）行われる。【0201】
以上のように、ノイズ削減処理部４１３は、生体情報位置合わせ処理部２１２により位置合わせが行われた眼底画像を、ノイズ削減結果画像バッファ４１４に保持される前回の重ね合わせ結果（つまり、ノイズ削減結果）の画像と重ね合わせることにより、眼底画像のダイナミックレンジを拡張し、ノイズを低減させる。画像の重ね合わせによるノイズリダクションの方法は、任意であるが、例えば、特開２００８−２９４６０１号公報（以下、特許文献９と称する）や特開２００９−１６５１６８号公報（以下、特許文献１０と称する）に記載されている方法を用いるようにしてもよい。【0202】
ノイズ削減結果画像バッファ４１４は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、ノイズ削減処理部４１３により生成されたノイズ削減結果画像（重ね合わせ結果画像）を記憶し、生体情報位置合わせ処理部２１２やノイズ削減処理部４１３の要求に基づいて、若しくは所定のタイミングにおいて、そのノイズ削減結果画像を、生体情報位置合わせ処理部２１２やノイズ削減処理部４１３に供給する。【0203】
つまり、生体情報位置合わせ処理部２１２による位置合わせや、ノイズ削減処理部４１３による重ね合わせは、繰り返し行われる。生体情報位置合わせ処理部２１２およびノイズ削減処理部４１３は、入力画像バッファ１１１に蓄積される複数の眼底画像を１枚ずつ処理対象とし、その処理対象画像を、前回の処理結果に対して、位置合わせしたり重ね合わせしたりする。このようにして、撮像部１０１において撮像されて得られた複数の眼底画像が全て処理され、１枚の眼底画像が生成される。【0204】
［トーンリプロダクション処理部］図１８は、トーンリプロダクション処理部の主な構成例を示すブロック図である。図１８に示されるように、トーンリプロダクション処理部４１５は、画像バッファ４５１、パラメータ決定部４５２、トーンカーブ算出部４５３、およびマッピング部４５４を有する。
【0205】
画像バッファ４５１は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、ノイズ削減処理部４１３から供給される眼底画像を記憶する。画像バッファ４５１は、パラメータ決定部４５２やマッピング部４５４の要求に基づいて、若しくは所定のタイミングにおいて、その眼底画像を、パラメータ決定部４５２やマッピング部４５４に供給する。【0206】
パラメータ決定部４５２は、画像バッファ４５１から供給される眼底画像の生体としての特徴に基づいて、トーンリプロダクション処理に用いられるトーンカーブを算出するためのパラメータを決定する。トーンカーブは、例えば図１９に示されるような、輝度値の階調補正を行うための曲線である。【0207】
なお、図１９のグラフの横軸方向は、階調補正する前の入力輝度の対数値を表し、縦軸方向は、トーンカーブＣＬによる階調補正後の出力輝度の対数値を表している。【0208】
眼底画像は、トーンリプロダクション処理において、このようなトーンカーブに従って階調補正され、より明るくなるように処理される。その際、ノイズや白とびの発生はできるだけ抑制することが望ましい。つまり、パラメータ決定部４５２は、ノイズを出来るだけ低減し、白とびの発生をできるだけ抑制しながら、眼底画像をより明るくするように階調補正するトーンカーブが得られるように、眼底画像に含まれる生体としての特徴に応じてパラメータを設定する。【0209】
例えば、眼底画像には、血管、神経、視神経乳頭等の、生体としての部位の画像が含まれるが、このような各部位の画像は、互いに異なる特徴を有する。例えば、一般的に、血管や神経等の部位ではエッジ成分が周囲よりも強く表れやすい。また、例えば、視神経乳頭は白色になりやすい。さらに、例えば、眼底の周縁部（眼底のより端に近い部分）は、中心部よりも暗くなりやすい。【0210】
このように、眼底画像は、生体としての眼底の各部位の特徴を含む画像である。したがって、パラメータ決定部４５２は、このような各部位の特徴を考慮しながら、より望ましい（ノイズや白とびの発生を抑制しながら、画像をできるだけ明るくする）トーンカーブが得られるようにパラメータの設定を行う。【0211】
このパラメータは、トーンカーブを算出するためのものであればどのようなパラメータであってもよい。例えば、トーンリプロダクション処理の入力や出力の、ノイズとされるレベルの設定値であってもよい。【0212】
パラメータ決定部４５２は、値を決定したパラメータをトーンカーブ算出部４５３に供給する。トーンカーブ算出部４５３は、パラメータ決定部４５２から供給されたパラメータを用いてトーンカーブを算出し、それをマッピング部４５４に供給する。例えば、トーンカーブ算出部４５３は、図１９に示されるトーンカーブＣＬのコントロールポイント（図１９の例の場合、Ｐ１乃至Ｐ９）を設定し、それをマッピング部４５４に供給する。この場合、処理対象画素ごとのトーンカーブＣＬの形状は、例えば、コントロールポイントＰ１乃至コントロールポイントＰ９に基づいて、各入力輝度値に対する出力輝度値（トーンカーブ値）をB-Spline補間処理により求めることにより定められる。【0213】
マッピング部４５４は、トーンカーブ算出部４５３から供給されたトーンカーブを用いて、画像バッファ４５１から供給される眼底画像をマッピングする（補正する）。マッピング部４５４は、補正後の眼底画像を、超解像処理部４１６に供給する。【0214】
［パラメータ決定部］図２０は、パラメータ決定部４５２の主な構成例を示すブロック図である。図２０に示されるように、パラメータ決定部４５２は、調整対象パラメータ選択部４６１、パラメータ初期値記憶部４６２、パラメータ記憶部４６３、補正前明るさ値算出部４６４、および明るさ値記憶部４６５を有する。また、パラメータ決定部４５２は、部位認識部４６６、パラメータ調整部４６７、トーンカーブ算出部４６８、マッピング部４６９、部位別検査部４７０、補正後明るさ値算出部４７１、比較部４７２、およびデータ出力部４７３を有する。
【0215】
調整対象パラメータ選択部４６１は、今回調整を行うパラメータを選択する。例えばトーンカーブ算出のためのパラメータが複数存在する場合、パラメータ決定部４５２が、全てのパラメータを一度に調整するようにしてもよいが、複数回に分けて調整を行うようにしてもよい。例えば、パラメータ決定部４５２が、各パラメータを１つずつ調整するようにしてもよい。また、例えば、パラメータ決定部４５２が、複数のパラメータの値の組み合わせの集合を複数用意し、最適なパラメータの値の組み合わせを各集合について決定し、さらに、その選ばれた各集合の最適なパラメータの値の組み合わせの中で、最適なパラメータの値の組み合わせを求めるようにしてもよい。【0216】
パラメータ初期値記憶部４６２は、例えば、ハードディスク、フラッシュメモリ、RAM、若しくは、ROM（Read Only Memory）等の任意の記憶媒体を有し、トーンカーブの算出に必要なパラメータの（パラメータが複数存在する場合はそれぞれの）初期値を記憶する。この初期値は任意の値であり、予め定められている。【0217】
パラメータ記憶部４６３は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、調整対象パラメータ選択部４６１により選択されたパラメータ（調整対象パラメータ）の初期値を、パラメータ初期値記憶部４６２から取得し、記憶する。【0218】
また、パラメータ記憶部４６３は、比較部４７２から供給される値を使って、保持する調整対象パラメータの値を更新する。つまり、パラメータ記憶部４６３は、比較部４７２から供給される調整対象パラメータの値を記憶する。【0219】
さらに、パラメータ記憶部４６３は、パラメータ調整部４６７の要求に基づいて、若しくは所定のタイミングにおいて、各パラメータの、その時点において保持する値を、パラメータ調整部４６７に供給する。なお、パラメータ記憶部４６３は、調整対象でない非調整対象パラメータが存在する場合、調整対象パラメータの値だけでなく、その非調整対象パラメータの値もパラメータ調整部４６７に供給する。【0220】
非調整対象パラメータの値を記憶していない場合、パラメータ記憶部４６３は、その非調整対象パラメータの値をパラメータ初期値記憶部４６２から取得して記憶し、パラメータ調整部４６７に供給する。また、過去にパラメータ初期値記憶部４６２から取得した非調整対象パラメータの値は、パラメータ記憶部４６３に既に記憶されているので、パラメータ記憶部４６３は、その値をパラメータ調整部４６７に供給する。さらに、過去に調整が行われた非調整対象パラメータ（過去に調整対象とされ、今回は非調整対象とされるパラメータ）の値は、その調整後の値がパラメータ記憶部４６３に既に記憶されているので、パラメータ記憶部４６３は、その調整後の値をパラメータ調整部４６７に供給する。【0221】
また、パラメータ記憶部４６３は、データ出力部４７３の要求に基づいて、若しくは所定のタイミングにおいて、各パラメータの値（その時点で保持する値）をデータ出力部４７３に供給する。【0222】
補正前明るさ値算出部４６４は、ノイズ削減処理部４１３から供給される眼底画像（複数の眼底画像が重ね合わせられて生成された１枚の眼底画像）について、その明るさを示すパラメータである明るさ値を算出する。明るさ値は、画像の明るさを示すことができるものであればどのような内容（算出方法）であってもよい。例えば、画像の全体若しくは一部の輝度値の総和や平均値等を明るさ値としてもよい。また、例えば、画像を複数の領域に分割し、各領域毎に輝度値の総和を算出し、各値に領域毎に定められる重み係数を乗算し、その各乗算結果の総和を明るさ値としてもよい。【0223】
補正前明るさ値算出部４６４は、算出した明るさ値を明るさ値記憶部４６５に供給し、記憶させる。明るさ値記憶部４６５は、例えば、ハードディスク、フラッシュメモリ、若しくは、半導体メモリ等の任意の記憶媒体を有し、補正前明るさ値算出部４６４や比較部４７２から供給される明るさ値を記憶する。例えば、明るさ値記憶部４６５は、補正前明るさ値算出部４６４から供給される補正前の眼底画像の明るさ値を記憶し、補正後明るさ値算出部４７１により算出された補正後の眼底画像の明るさ値が比較部４７２から供給されると、その明るさ値を記憶する（保持する明るさ値を更新する）。【0224】
明るさ値記憶部４６５は、比較部４７２の要求に基づいて、若しくは所定のタイミングにおいて、保持する明るさ値を比較部４７２に供給する。【0225】
部位認識部４６６は、ノイズ削減処理部４１３から供給される眼底画像（複数の眼底画像が重ね合わせられて生成された１枚の眼底画像）を解析し、その眼底画像に含まれる、例えば、血管、神経、および視神経乳頭等の、生体（眼底）としての部位を認識する。【0226】
この部位認識方法（画像解析方法）は任意である。例えば、生体情報位置合わせ処理部２１２が行う血管抽出等と同様の方法により行われるようにしてもよい。例えば、非特許文献２や、“眼底画像診断支援システムのための血管消去画像を用いた視神経乳頭の自動認識および疑似立体視画像生成への応用”，中川 俊明，林 佳典，畑中 裕司，青山 陽，水草 豊，藤田 明宏，加古川 正勝，原 武史，藤田 広志，山本 哲也，2006（以下、非特許文献５と称する）等に記載の方法で行われるようにしてもよい。【0227】
例えば、血管や神経は、その周囲との境界にエッジ成分が強く検出される。また、例えば、視神経乳頭は、周囲よりも輝度が高く白色となる傾向がある。また、ある程度形状や大きさが限定される。部位認識部４６６は、例えばこのような画像の特徴を用いて、眼底画像内に含まれる各部位を特定する。【0228】
部域認識部４６６は、眼底画像に含まれる生体としての部位を特定すると、その特定した各部位の領域、つまり、例えば血管や神経や視神経乳頭等がそれぞれ画像内の何処にあるかを示す情報を部位別検査部４７０に供給する。【0229】
パラメータ調整部４６７は、パラメータ記憶部４６３から読み出したパラメータの値を予め定められた所定の方法で調整する。例えば、パラメータ調整部４６７は、パラメータの値を所定量増大させたり、減少させたりする。パラメータ調整部４６７は、調整後の値を、非調整対象パラメータの値とともにトーンカーブ算出部４６８に供給する。【0230】
トーンカーブ算出部４６８は、トーンカーブ算出部４５３と同様に、供給されたパラメータを用いてトーンカーブを算出し、算出したトーンカーブを示す情報、および、調整対象パラメータをマッピング部４６９に供給する。【0231】
マッピング部４６９は、トーンカーブ算出部４６８により算出されたトーンカーブを用いて、マッピング部４５４と同様に、ノイズ削減処理部４１３から供給される眼底画像（複数の眼底画像が重ね合わせられて生成された１枚の眼底画像）の輝度値を階調補正する。マッピング部４６９は、その補正後の画像と、トーンカーブ算出部４６８から供給された調整対象パラメータとを部位別検査部４７０に供給する。【0232】
部位別検査部４７０は、部位認識部４６６から供給される各部位の領域を示す情報を用いて、マッピング部４６９から供給される補正後の画像に含まれる各部位を特定し、その各部位の画像を、各部位の画像の特徴に応じた方法で検査する。つまり、部位別検査部４７０は、各部位の画像の特徴の違いを考慮し、どの部位についても適切な階調補正となるように、補正後の画像に含まれる各部位の画像を、その部位用に定められた方法で検査する。【0233】
例えば、一般的に、眼底の周縁部では画像が比較的暗い傾向がある。つまり、眼底の周縁部では、ノイズ成分が大きくなり易い。そこで、部位別検査部４７０は、例えば、眼底の周縁部においてノイズ成分が所定の許容量を超えたか否かを検査し、ノイズ成分が許容量以下であれば合格とし、許容量を超えていれば不合格とする。【0234】
また、一般的に、視神経乳頭の画像は比較的明るくなる傾向がある。つまり、眼底画像を明るくすると視神経乳頭において白とびが発生し易い。そこで、部位別検査部４７０は、例えば、視神経乳頭において白とびが発生したか否かを検査し、白とびが発生していければ合格とし、白とびが発生していれば不合格とする。【0235】
このように各部位の検査内容は互いに独立している。なお、この各部位の検査の内容や合否判定基準等は任意である。例えば、上述した例以外にも、周波数成分を検査するようにしてもよいし、所定のレベルより低い輝度値が検出されたか否か等を検査するようにしてもよい。また、１つの部位に対して、複数の項目について検査を行うようにしてもよい。【0236】
部位別検査部４７０は、このような部位毎の判定結果を、マッピング部４６９から供給される補正後の画像および調整対象パラメータとともに、補正後明るさ値算出部４７１に供給する。【0237】
補正後明るさ値算出部４７１は、部位別検査部４７０において各部位の検査が全て合格であった場合、補正後の画像について明るさ値を算出する。この明るさ値の算出方法は、補正前明るさ値算出部４６４による補正前の画像の明るさ値の算出方法と同様である。【0238】
明るさ値を算出すると、補正後明るさ値算出部４７１は、算出したその明るさ値と、部位別検査部４７０から供給された調整対象パラメータとを比較部４７２に供給する。また、部位別検査部４７０による各部位の検査結果に不合格が含まれる場合、補正後明るさ値算出部４７１は、その検査結果を比較部４７２に供給する。【0239】
比較部４７２は、補正後明るさ値算出部４７１から補正後の画像の明るさ値を取得すると、明るさ値記憶部４６５が保持する明るさ値を取得し、それらを比較する。【0240】
補正後明るさ値算出部４７１から供給された明るさ値の方が、明るさ値記憶部４６５から供給された明るさ値より大きい場合、比較部４７２は、補正後明るさ値算出部４７１から供給された調整対象パラメータを、パラメータ記憶部４６３に供給し、記憶させる（保持する調整対象パラメータの値を更新させる）。また、この場合、比較部４７２は、補正後明るさ値算出部４７１から供給された明るさ値を、明るさ値記憶部４６５に供給し、記憶させる（明るさ値記憶部４６５が保持する明るさ値を更新させる）。【0241】
このように、各パラメータの調整は、パラメータ記憶部４６３乃至比較部４７２のループにより繰り返し行われる（ループ処理される）。つまり、例えば、パラメータ初期値記憶部４６２が、眼底画像が最も暗くなるような値をパラメータの初期値として記憶し、パラメータ調整部４６７は、眼底画像がより明るくなるように調整対象パラメータの値を調整し、その調整後の値を利用して、トーンカーブ算出部４６８およびマッピング部４６９が眼底画像を補正し、部位別検査部４７０乃至比較部４７２が、その補正後の画像を検査する。部位毎の検査に合格しながらより明るい画像が得られる場合、このループ処理がさらに繰り返される。【0242】
そして、部位毎の検査に合格しなくなった場合、若しくは、部位毎の検査に合格しても、より明るい画像が得られなかった場合、すなわち、補正後明るさ値算出部４７１を介して部位別検査部４７０による不合格を含む検査結果が供給された場合、若しくは、補正後明るさ値算出部４７１から供給された明るさ値が、明るさ値記憶部４６５から供給された明るさ値より大きくない場合、比較部４７２は、データ出力部４７３にその旨を通知する（パラメータ記憶部４６３および明るさ値記憶部４６５の情報は更新させない）。【0243】
例えば、その値が大きいほどより明るい眼底画像が得られるパラメータを調整対象パラメータとする場合、パラメータ初期値記憶部４６２は、そのパラメータの最小値を初期値として記憶し、パラメータ調整部４６７は、入力されたそのパラメータの値を所定量増大させる。【0244】
また、例えば、その値が小さいほどより明るい眼底画像が得られるパラメータを調整対象パラメータとする場合、パラメータ初期値記憶部４６２は、そのパラメータの最大値を初期値として記憶し、パラメータ調整部４６７は、入力されたそのパラメータの値を所定量減少させる。【0245】
なお、パラメータの初期値や調整方法は任意であり、上述した例以外であってもよい。例えば、トーンリプロダクション処理に使用されるパラメータのとり得る値（若しくはその代表値）の全てについて補正が行われ、得られた全補正画像の中から最良の画像が選択され、その画像に対応する各パラメータの値が最良の値として選択されるようにしてもよい。この場合、得られた全補正画像について各部位の検査と明るさ値の算出が行われ、全ての検査結果と明るさ値が評価され、各部位の検査に全て合格し、かつ、最も明るい画像が得られる各パラメータの値が最良の値として選択される。【0246】
また、画像が明るくなったか否かの判断は、単純にどちらの明るさ値が大きいかということで判断するようにしてもよいが、その他の基準に基づいて判断するようにしてもよい。例えば、今回の補正後の画像の明るさ値が、今回の補正前の画像の明るさ値に対して所定量以上大きい場合のみ、今回の補正により画像が明るくなったと判定されるようにしてもよい。また、例えば、今回の補正後の画像の明るさ値が、今回の補正前の画像の明るさ値より小さくても、予め定められた所定の範囲内であれば、今回の補正により画像が明るくなったと判定されるようにしてもよい。【0247】
データ出力部４７３は、部位別検査部４７０による検査の不合格通知、若しくは、今回の階調補正後の画像が、その階調補正前の画像と比べて明るくならなかった旨の通知を比較部４７２から供給された場合、その旨を調整対象パラメータ選択部４６１に通知し、他のパラメータを調整対象パラメータとして選択させる。つまり、他のパラメータについての調整が開始される。【0248】
このようにして調整すべきパラメータが全て調整されると、データ出力部４７３は、パラメータ記憶部４６３に記憶されている各パラメータの値を取得し、超解像処理部４１６に供給する。【0249】
以上のようにして各パラメータの値を決定することにより、パラメータ決定部４５２は、各パラメータの値を、ノイズや白とびの発生等の不具合を抑制しながら、より明るい画像を得ることができる値に設定することができる。つまり、トーンリプロダクション処理部４１５は、トーンリプロダクション処理を、生体としての画像の特徴に応じてより適切に行うことができる。【0251】
図２１に示されるように、超解像処理部４１６は、学習辞書記憶部４８１、画像処理部４８２、部位認識部４８３、部位別評価基準記憶部４８４、部位別画像評価部４８５、および画像選択部４８６を有する。【0252】
学習辞書記憶部４８１は、例えば、ハードディスク、フラッシュメモリ、若しくは、半導体メモリ等の任意の記憶媒体を有し、超解像処理において行われる学習の方法を示す学習辞書を複数記憶する。学習辞書記憶部４８１は、画像処理部４８２の要求に基づいて、若しくは所定のタイミングにおいて、各学習辞書を、画像処理部４８２に供給する。【0253】
画像処理部４８２は、トーンリプロダクション処理部４１５から供給される眼底画像に対して、学習辞書記憶部４８１から供給された学習辞書を用いて、学習により解像度を向上させる超解像処理を行う。つまり、画像処理部４８２により行われた超解像処理により得られる超解像結果画像は、学習辞書記憶部４８１から供給される学習辞書によって異なる。画像処理部４８２は、全ての学習辞書について超解像処理を行わせる。画像処理部４８２は、算出した、各学習結果に対応する超解像結果画像を、部位認識部４８３に供給する。【0254】
部位認識部４８３は、部位認識部４６６の場合と同様に、供給された各超解像結果画像を解析し、各超解像結果画像に含まれる、例えば、血管、神経、および視神経乳頭等の、生体（眼底）としての部位を認識する。部位認識部４８３は、例えば、非特許文献２や非特許文献４に記載の方法で各部位を認識する。【0255】
部位認識部４８３は、各超解像結果画像に含まれる生体としての部位を特定すると、その特定した各部位の領域、つまり、例えば血管や神経や視神経乳頭等がそれぞれ画像内の何処にあるかを示す情報を、その情報に対応する超解像結果画像とともに、部位別画像評価部４８５に供給する。【0256】
部位別評価基準記憶部４８４は、例えば、ハードディスク、フラッシュメモリ、RAM、若しくは、ROM等の任意の記憶媒体を有し、部位別画像評価部４８５が行う部位別の画像評価の方法や基準を示す情報（例えば眼底画像の何処の部分のどのような情報をどのように評価するか等）を記憶する。【0257】
部位別評価基準記憶部４８４は、部位別画像評価部４８５の要求に基づいて、若しくは所定のタイミングにおいて、保持する各部位の画像評価の基準を示す情報を、部位別画像評価部４８５に供給する。【0258】
部位別画像評価部４８５は、部位別評価基準記憶部４８４から供給される画像評価の基準を示す情報を用いて、各超解像結果画像の、部位認識部４８３により認識された各部位の画像を評価する。【0259】
例えば、部位別画像評価部４８５は、各超解像結果画像について、血管の画像を周波数成分解析し、その血管の画像に含まれる高周波成分量（所定の周波数帯域成分のスペクトルの大きさ）、および、その高周波成分量が予め定められた所定の目標範囲内に含まれるか否か等を評価する。【0260】
また、例えば、部位別画像評価部４８５は、各超解像結果画像について、周縁部等の平坦部の画像を周波数成分解析し、その平坦部の画像に含まれるノイズ成分量（所定の周波数帯域成分のスペクトルの大きさ）の少なさを評価する。【0261】
部位別画像評価部４８５は、各超解像結果画像について、このように求められた各部位の評価結果を、超解像結果画像とともに画像選択部４８６に供給する。【0262】
画像選択部４８６は、部位別画像評価部４８５から供給された画像評価結果に基づいて、部位別画像評価部４８５から供給された超解像結果画像群の中から、最適な超解像結果画像を選択する。例えば、画像選択部４８６は、血管の画像の高周波成分が、予め定められた所定の目標範囲内で出来るだけ大きく、かつ、平坦部の画像のノイズ成分ができるだけ小さい超解像結果画像を選択する。【0263】
なお、この画像選択方法や画像選択基準は任意である。例えば、血管の画像の評価結果のみに従って画像選択が行われるようにしてもよいし、上述した以外の評価結果も考慮して画像選択が行われるようにしてもよい。【0264】
以上のように、画像選択部４８６は、互いに異なる学習辞書を用いて生成された複数の超解像結果画像の中から最適な超解像結果画像を選択する。つまり、画像選択部４８６は、超解像処理結果が最も良好となる学習辞書を選択する。【0265】
画像選択部４８６は、選択した超解像結果画像を画像処理部４０２の外部（記憶部１０３や出力部１０４）に出力する。【0266】
このように、超解像処理部４１６は、互いに異なる学習辞書を用いて学習を伴う超解像処理を行い、各超解像結果画像について、生体としての部位毎に画像評価を行い、その評価結果に基づいて、最適な学習辞書を用いて生成された超解像結果画像を選択することができる。【0267】
一般に、超解像処理に用いられる適切な学習辞書は、画像の内容によって異なる。つまり、ある画像に対して最適な学習辞書が、その他の画像に対して最適となるとは限らない。しかしながら、超解像処理部４１６は、上述したように、生成された超解像結果画像を評価するので、任意の眼底画像に対して最適な学習辞書を選択することができる。また、超解像処理部４１６は、生体（眼底）としての部位毎に画像評価を行うので、眼底画像に対してより適切な学習辞書を選択することができる。【0268】
つまり、超解像処理部４１６は、よりノイズ成分が少なく、かつ、より高解像度な眼底画像（より高画質かつ高解像度な眼底画像）を得ることができる。【0270】
眼底画像生成処理が開始されると、ステップＳ４０１において、撮像部１０１は、図１２のステップＳ２０１の場合と同様に、光量を落として複数回眼底を撮像する。ステップＳ４０２において、入力画像バッファ１１１は、図１２のステップＳ２０２の場合と同様に、ステップＳ４０１の撮像により得られた撮像画像（眼底画像）を記憶する。【0271】
ステップＳ４０３において、ノイズ削減結果画像バッファ４１４は、図１２のステップＳ２０３の場合と同様に、最初の撮像画像を初期画像として記憶する。【0272】
ステップＳ４０４において、生体情報位置合わせ処理部２１２は、図１２のステップＳ２０４の場合と同様に、入力画像バッファ１１１に記憶される未処理の撮像画像を１枚選択する。ステップＳ４０５において、生体情報位置合わせ処理部２１２は、ステップＳ４０４において選択された撮像画像（眼底画像）と、ノイズ削減結果画像バッファ４１４から供給された前回の重ね合わせ結果となる撮像画像（眼底画像）との間で、図１２のステップＳ２０５の場合と同様に、生体情報を用いた位置合わせ処理（生体情報位置合わせ処理）を行う。この生体情報位置合わせ処理の詳細は、図１３および図１４のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。【0273】
ステップＳ４０６において、ノイズ削減処理部４１３は、ステップＳ４０５の処理により位置合わせされた両撮像画像（眼底画像）を重ね合わせ、ノイズを低減させる。【0274】
ステップＳ４０７において、ノイズ削減処理部４１３は、全ての撮像画像（眼底画像）を処理したか否かを判定する。入力画像バッファ１１１に未処理の撮像画像が存在すると判定された場合、ノイズ削減処理部４１３は、処理をステップＳ４０８に進める。【0275】
ステップＳ４０８において、ノイズ削減結果画像バッファ４１４は、ステップＳ４０６の処理により得られるノイズ削減処理結果画像、つまり、重ね合わせされた撮像画像を記憶する。撮像画像を記憶すると、ノイズ削減結果画像バッファ４１４は、処理をステップＳ４０４に戻し、それ以降の処理を繰り返す。【0276】
ステップＳ４０４乃至ステップＳ４０８の処理が繰り返され、ステップＳ４０７において、全ての撮像画像を処理したと判定された場合、ノイズ削減処理部４１３は、処理をステップＳ４０９に進める。【0277】
ステップＳ４０９において、トーンリプロダクション処理部４１５は、生成された１枚の撮像画像（眼底画像）に対してトーンリプロダクション処理を行う。ステップＳ４１０において、超解像処理部４１６は、トーンリプロダクション処理された画像について、超解像処理を行い、より高解像度な眼底画像を得、眼底画像生成処理を終了する。【0278】
このように処理を行うことにより、眼底画像処理装置４００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。【0280】
トーンリプロダクション処理が開始されると、ステップＳ４３１において、トーンリプロダクション処理部４１５の画像バッファ４５１は、１枚に重ね合わせられた撮像画像（眼底画像）を記憶する。【0281】
ステップＳ４３２において、パラメータ決定部４５２は、生体情報に基づいてパラメータを決定する。ステップＳ４３３において、トーンカーブ算出部４５３は、ステップＳ４３２の処理により値が決定されたパラメータを用いてトーンカーブを算出する。ステップＳ４３４において、マッピング部４５４は、ステップＳ４３３において生成されたトーンカーブを用いて撮像画像（眼底画像）を補正する。【0282】
ステップＳ４３４の処理を終了すると、マッピング部４５４は、トーンリプロダクション処理を終了し、処理を図２２のステップＳ４０９に戻し、ステップＳ４１０に処理を進める。【0284】
パラメータ決定処理が開始されると、調整対象パラメータ選択部４６１は、ステップＳ４５１において、調整するパラメータを選択する。ステップＳ４５２において、パラメータ記憶部４６３は、各パラメータの初期値をパラメータ初期値記憶部４６２から取得し、記憶する。【0285】
ステップＳ４５３において、補正前明るさ値算出部４６４は、図２２のステップＳ４０６の処理により生成された撮像画像（眼底画像）の明るさ値を算出する。ステップＳ４５４において、明るさ値記憶部４６５は、ステップＳ４５３の処理により算出された明るさ値を記憶する。ステップＳ４５５において、部位認識部４６６は、図２２のステップＳ４０６の処理により生成された撮像画像（眼底画像）に含まれる生体としての各部位を認識する。【0286】
ステップＳ４５６において、パラメータ調整部４６７は、調整対象パラメータの値を調整する。ステップＳ４５７において、トーンカーブ算出部４６８は、調整された調整対象パラメータを含む各種パラメータを用いて、トーンカーブを算出する。ステップＳ４５８において、マッピング部４６９は、ステップＳ４５７の処理により算出されたトーンカーブを用いて、図２２のステップＳ４０６の処理により生成された撮像画像（眼底画像）を補正する。【0287】
ステップＳ４５９において、部位別検査部４７０は、ステップＳ４５８の処理により補正された撮像画像（眼底画像）について、ステップＳ４５５の処理により認識された生体としての部位毎の検査を行う。【0288】
ステップＳ４６０において、部位別検査部４７０は、ステップＳ４５９において行われる各部位の検査を全て合格したか否か（すなわち、全ての条件を満たすか否か）を判定する。全ての条件を満たすと判定された場合、部位別検査部４７０は、処理をステップＳ４６１に進める。【0289】
ステップＳ４６１において、補正後明るさ値算出部４７１は、ステップＳ４５８において補正された撮像画像（眼底画像）の明るさ値を算出する。ステップＳ４６２において、比較部４７２は、ステップＳ４５８において行われる今回の補正の前と後で、撮像画像の明るさ値を比較する。ステップＳ４６３において、比較部４７２は、補正後の撮像画像の明るさ値の方が明るいか否かを判定する。【0290】
補正後の撮像画像の明るさ値の方が大きく、今回のステップＳ４５８の補正により撮像画像が明るくなったと判定された場合、比較部４７２は、処理をステップＳ４６４に進める。ステップＳ４６４において、パラメータ記憶部４６３は、調整対象パラメータの、今回のステップＳ４５６の調整後の値を記憶する（調整対象パラメータの値を更新する）。【0291】
ステップＳ４６５において、明るさ値記憶部４６５は、今回のステップＳ４５８の補正後の撮像画像の明るさ値を記憶する（明るさ値を更新する）。ステップＳ４６５の処理を終了すると、明るさ値記憶部４６５は、処理をステップＳ４５６に戻し、それ以降の処理を繰り返す。【0292】
ステップＳ４６０において、全ての条件を満たさないと判定された場合、部位別検査部４７０は、処理をステップＳ４６６に進める。また、ステップＳ４６３において、補正後の撮像画像の明るさ値が補正前の撮像画像の明るさ値以下であり、今回のステップＳ４５８の補正により撮像画像が明るくなっていないと判定された場合、比較部４７２は、処理をステップＳ４６６に進める。【0293】
ステップＳ４６６において、データ出力部４７３は、調整すべきパラメータを全て処理したか否かを判定し、未処理のパラメータが存在すると判定された場合、処理をステップＳ４５１に戻し、新たな未処理のパラメータについて、それ以降の処理を繰り返す。つまり、調整対象パラメータ選択部４６１は、未処理のパラメータを新たに調整対象パラメータとして選択し、ステップＳ４５２以降の処理を実行させる。【0294】
ステップＳ４６６において、調整すべきパラメータが全て処理されたと判定した場合、データ出力部４７３は、処理をステップＳ４６７に進め、パラメータ記憶部４６３に記憶されているパラメータを取得し、出力する。ステップＳ４６６の処理を終了すると、データ出力部４７３は、パラメータ決定処理を終了し、処理を図２３のステップＳ４３２に戻し、ステップＳ４３３以降の処理を実行させる。【0296】
超解像処理が開始されると、画像処理部４８２は、ステップＳ４８１において、学習辞書記憶部４８１に記憶されている学習辞書の中から未処理の学習辞書を選択する。ステップＳ４８２において、画像処理部４８２は、学習により求めた係数を用いて画像を高解像度化する。【0297】
ステップＳ４８３において、部位認識部４８３は、画像に含まれる生体としての部位を認識する。ステップＳ４８４において、部位別画像評価部４８５は、部位毎に画像を評価する。ステップＳ４８５において、部位別画像評価部４８５は、画像および評価結果を記憶する。【0298】
ステップＳ４８６において、部位別画像評価部４８５は、全ての学習辞書について処理を行ったか否かを判定する。未処理の学習辞書が存在すると判定された場合、部位別画像評価部４８５は、処理をステップＳ４８１に戻し、新たな学習辞書についてそれ以降の処理を実行させる。すなわち、画像処理部４８２は、未処理の学習辞書を新たに選択し、ステップＳ４８２以降の処理を実行させる。【0299】
ステップＳ４８６において、全ての学習辞書について処理を行ったと判定された場合、部位別画像評価部４８５は、処理をステップＳ４８７に進める。【0300】
ステップＳ４８７において、画像選択部４８６は、以上のように各学習辞書を用いて生成された超解像結果画像群の中から、ステップＳ４８４において行われた評価において最も高評価であった超解像結果画像を選択する。超解像結果画像を選択すると、画像選択部４８６は、超解像処理を終了し、処理を図２２のステップＳ４１０に戻し、眼底画像生成処理を終了する。【0301】
以上のように、各処理を実行することにより、眼底画像処理装置４００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。【0302】
［パラメータ決定部の他の構成例］なお、以上においては、パラメータ決定部４５２において、撮像画像（眼底画像）全体が補正されるように説明したが、これに限らず、生体としての各部位の画像がそれぞれ補正されるようにしてもよい。このようにすることにより、部位別検査において不要な、撮像画像に含まれる眼底の部位として認識されない部分（例えば撮像画像の周縁部等）の処理を省略することができ、パラメータ決定に関する負荷を低減させることができる。
【0303】
図２６は、その場合のパラメータ決定部の主な構成例を示すブロック図である。図２６に示される例の場合、パラメータ決定部４５２は、図２０に示される例の補正前明るさ値算出部４６４の代わりに補正前明るさ値算出部５６４を有し、明るさ値記憶部４６５の代わりに明るさ値記憶部４６５を有する。また、図２６に示されるパラメータ決定部４５２は、図２０に示される例の部位認識部４６６の代わりに部位認識部５６６を有し、マッピング部４６９の代わりにマッピング部５６９を有する。【0304】
さらに、図２６に示されるパラメータ決定部４５２は、図２０に示される例の部位別検査部４７０の代わりに部位別検査部５７０を有し、補正後明るさ値算出部４７１の代わりに補正後明るさ値算出部５７１を有する。また、図２６に示されるパラメータ決定部４５２は、図２０に示される例の比較部４７２の代わりに比較部５７２を有する。【0305】
部位認識部５６６は、部位認識部４６６と同様に、ノイズ削減処理部４１３から供給される眼底画像（複数の眼底画像が重ね合わせられて生成された１枚の眼底画像）に含まれる生体（眼底）としての部位を認識する。部位認識部５６６は、その眼底画像から、特定した各部位の画像を抽出し、抽出した各部位の画像を補正前明るさ値算出部５６４およびマッピング部５６９に供給する。【0306】
補正前明るさ値算出部５６４は、供給された各部位の画像について、補正前明るさ値算出部４６４の場合と同様の方法で明るさ値をそれぞれ算出する。補正前明るさ値算出部５６４は、算出した各部位の明るさ値を明るさ値記憶部５６５に供給し、記憶させる。【0307】
明るさ値記憶部５６５は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、明るさ値記憶部４６５の場合と同様に、補正前明るさ値算出部５６４や比較部５７２から供給される各部位の画像の明るさ値を記憶する。【0308】
マッピング部５６９は、トーンカーブ算出部４６８により算出されたトーンカーブを用いて、部位認識部５６６から供給される各部位の画像の輝度値を階調補正する。この補正方法は、マッピング部４６９の場合と同様である。マッピング部５６９は、その補正後の各部位の画像と、トーンカーブ算出部４６８から供給された調整対象パラメータとを部位別検査部５７０に供給する。【0309】
部位別検査部５７０は、マッピング部５６９から供給される補正後の各部位の画像を、各部位の画像の特徴の違いを考慮し、どの部位についても適切な階調補正となるように、その部位の画像の特徴に応じた方法で検査する。各部位の検査の方法は、部位別検査部４７０の場合と同様である。【0310】
部位別検査部５７０は、このような部位毎の判定結果を、マッピング部４６９から供給される補正後の各部位の画像および調整対象パラメータとともに、補正後明るさ値算出部５７１に供給する。【0311】
補正後明るさ値算出部５７１は、部位別検査部５７０において各部位の検査が全て合格であった場合、補正後の各部位の画像について明るさ値を算出する。この明るさ値の算出方法は、補正前明るさ値算出部５６４の場合と同様である。明るさ値を算出すると、補正後明るさ値算出部５７１は、算出した各部位の画像の明るさ値と、部位別検査部５７０から供給された調整対象パラメータとを比較部５７２に供給する。【0312】
また、部位別検査部５７０による各部位の検査結果に不合格が含まれる場合、補正後明るさ値算出部５７１は、補正後明るさ値算出部４７１の場合と同様に、その検査結果を比較部５７２に供給する。【0313】
比較部５７２は、補正後明るさ値算出部５７１から補正後の各部位の画像の明るさ値を取得すると、明るさ値記憶部５６５が保持する各部位の画像の明るさ値を取得し、それらを比較する。【0314】
各部位の画像について、補正後明るさ値算出部５７１から供給された明るさ値の方が、明るさ値記憶部５６５から供給された明るさ値より大きい場合、比較部５７２は、補正後明るさ値算出部５７１から供給された調整対象パラメータを、パラメータ記憶部４６３に供給し、記憶させる（パラメータ記憶部４６３が保持する調整対象パラメータの値を更新させる）。また、この場合、比較部５７２は、補正後明るさ値算出部５７１から供給された各部位の画像の明るさ値を、明るさ値記憶部５６５に供給し、記憶させる（明るさ値記憶部５６５が保持する最新の明るさ値を更新させる）。【0315】
逆に、より明るい画像が得られなかった場合、すなわち、各部位の画像について、補正後明るさ値算出部５７１から供給された明るさ値が、明るさ値記憶部５６５から供給された明るさ値より大きくない場合、比較部５７２は、データ出力部４７３にその旨を通知する（パラメータ記憶部４６３および明るさ値記憶部５６５の情報は更新させない）。【0316】
なお、比較部５７２は、今回の補正前後の各部位の画像の明るさ値の比較方法は任意である。例えば、比較部５７２は、今回の補正前後について、各部位の画像の明るさ値をそれぞれ比較するようにしてもよいし、各部位の画像の明るさ値の総和や平均値等の統計値を算出し、その総和を比較するようにしてもよい。また、比較部５７２は、今回の補正前後について、各部位の画像の明るさ値にそれぞれの部位用の重み係数を乗算し、その各乗算結果の総和を算出し、その総和を比較するようにしてもよい。【0318】
この場合も、パラメータ決定処理の流れは、基本的に、図２４のフローチャートを参照して説明した場合と同様である。ただし、図２７の例の場合、部位認識部５６６が、ステップＳ５５３において、撮像画像に含まれる生体としての各部位を認識し、各部位の画像を抽出する。【0319】
そして、補正前明るさ値算出部５６４は、ステップＳ５５４において、抽出された各部位の画像の明るさ値を算出し、明るさ値記憶部５６５は、ステップＳ５５５において、算出された各明るさ値を記憶する。【0320】
また、マッピング部５６９は、ステップＳ５５８において、各部位の画像を、ステップＳ５５７において算出されたトーンカーブを用いて補正する。【0321】
さらに、補正後明るさ値算出部５７１は、ステップＳ５６１において、ステップＳ５５８において得られた補正後の各部位の画像の明るさ値を算出する。ステップＳ５６２において、比較部５７２は、今回の補正前の各部位の画像と、今回の補正後の各部位の画像とで明るさ値を比較する。【0322】
以上のようにして各パラメータの値を決定することにより、パラメータ決定部４５２は、各パラメータの値を、ノイズや白とびの発生等の不具合を抑制しながら、より明るい画像を得ることができる値に設定することができる。【0323】
なお、さらに、各部位の画像の補正に使用されるトーンカーブが、各部位毎に独立して設定されるようにしてもよい。すなわち、パラメータ決定部４５２が、生体としての部位毎にパラメータを決定するようにしてもよい。この場合、図１８のトーンカーブ算出部４５３は、各部位の画像毎にトーンカーブを算出する。また、マッピング部４５４は、画像バッファ４５１から供給される撮像画像から、その撮像画像に含まれる生体としての部位を認識し、各部位の画像を抽出する。そしてマッピング部４５４は、抽出した各部位の画像を、それぞれ、トーンカーブ算出部４５３が算出したその部位用のトーンカーブを用いて補正する。【0324】
このようにすることにより、トーンリプロダクション処理部４１５は、生体としての画像の特徴に応じてより適切にトーンリプロダクション処理を行うことができる。【0325】
なお、第３の実施の形態においては、トーンリプロダクション処理部４１５および超解像処理部４１６の両方が、被写体の生体情報（眼底に関する情報）を用いてそれぞれの処理を行うように説明したが、これに限らず、例えば、トーンリプロダクション処理部４１５若しくは超解像処理部４１６のいずれか一方が被写体の生体情報を用いて処理を行い、他方が被写体の生体情報を用いずに処理を行うようにしてもよい。また、例えば、トーンリプロダクション処理部４１５若しくは超解像処理部４１６のいずれか一方を省略するようにしてもよい。【0326】
＜４．第４の実施の形態＞［眼底画像処理装置の構成］
ところで、上述したように、撮像部１０１は、撮像の際に被写体に光を照射する。この場合の照射光は可視光であることから、被験者への影響等を考慮して、照射光の光量が落とされている。その結果、可視光を照射して撮像された眼底画像は比較的暗い画像となる。
【0327】
そこで、本実施の形態においては、撮像部は、可視光の他に赤外光を含む照射光を用いて、被写体を撮像する。赤外光は人間の眼には見えないので、撮像部は、位置合わせを行うのに十分な光量を被写体に照射して、撮像することができる。これにより、位置合わせを行うのに十分な明るさの眼底画像が得られる。なお、本明細書でいう赤外光とは、一般的にいう、波長帯域が略７００乃至１０００ｎｍの波長帯域の赤外光のみならず、近赤外光等を含む広義な概念である。例えば、被験者が眩しいと感じない非侵襲の光も、本明細書でいう赤外光の一種である。【0328】
図２８は、本実施の形態の概要について説明する図である。図２８の枠６００に示されるように、位置合わせを行うのに十分な光量で赤外光を照射して撮像された画像６２１に対して、位置合わせが行われる。なお、画像６２１のように、赤外光を照射して撮像された画像を、以下、赤外光画像と称する。そして、枠６０１に示されるように、赤外光画像６２１における位置合わせの結果（以下、位置合わせ情報と称する）を用いて、低光量で可視光を照射して撮像された画像６２２に対して、位置合わせが行われる。なお、画像６２２のように、低光量で可視光を照射して撮像された画像を、以下、可視光画像と称する。これにより、より高画質な被写体の撮像画像を得ることが出来るようになる。【0329】
[眼底画像処理装置の構成]図２９は、眼底画像処理装置の構成例を示すブロック図である。図２９に示される眼底画像処理装置７００は、図３の眼底画像処理装置２００と基本的に同様の構成を有し、同様の処理を行う。ただし、眼底画像処理装置７００は、眼底画像処理装置２００が有する撮像部１０１および画像処理部２０２の代わりに、撮像部７０１および画像処理部７０２を有する。したがって、以下では、撮像部７０１および画像処理部７０２についてのみ説明する。
【0330】
撮像部７０１は、可視光の他に赤外光を含む照射光を被写体に照射させながら、可視光と赤外光で同時に眼底の撮像を複数回繰り返す。撮像部７０１の構成について図３０を参照して説明する。【0331】
[撮像部]図３０は、撮像部７０１の主な構成例を示す図である。図３０に示されるように、撮像部７０１は、光源７３１、ミラー７３２−１乃至７３２−３、レンズ７３３、可視光撮像部７３４、赤外光撮像部７３５、赤外光カットフィルタ７３６、および可視光カットフィルタ７３７を有する。
【0332】
光源７３１は、可視光の波長帯域および赤外光の波長帯域で発光する照明からなる。このとき、可視光は比較的低光量であり、赤外光は位置合わせを行うのに十分な光量であるとする。すなわち、赤外光は可視光よりも光量が高い。【0333】
ミラー７３２−１乃至７３２−３は、可視光および赤外光を反射または透過する。【0334】
レンズ７３３は、可視光撮像部７３４および赤外光撮像部７３５の受光面に被写体像を結像させる。【0335】
すなわち、光源７３１からの可視光および赤外光は、ミラー７３２−１，７３２−２の各々で反射されて光路の方向を変えてレンズ７３３を通過し、眼２２１の眼底に入射し、眼底を照明する。【0336】
眼２２１の眼底からの反射光すなわち眼底像は、ミラー７３２−３で反射して可視光撮像部７３４に入射すると共に、赤外光撮像部７３５に入射する。【0337】
ただし、可視光撮像部７３４に装着された赤外光カットフィルタ７３６は、赤外光を透過させずに可視光のみを透過させる。従って、眼２２１の眼底からの反射光すなわち眼底像のうち、可視光の眼底像は、可視光撮像部７３４に装着された赤外光カットフィルタ７３６を透過して、可視光撮像部７３４の受光面に結像される。一方、眼２２１の眼底からの反射光すなわち眼底像のうち、赤外光の眼底像は、可視光撮像部７３４の赤外光カットフィルタ７３６を透過しないため、可視光撮像部７３４の受光面には結像されない。したがって、可視光撮像部７３４は、可視光の眼底像のみを撮像し、その結果可視光画像のみを出力する。【0338】
また、赤外光撮像部７３５に装着された可視光カットフィルタ７３７は、可視光を透過させずに赤外光のみを透過させる。従って、眼２２１の眼底からの反射光すなわち眼底像のうち、赤外光の眼底像は、赤外光撮像部７３５に装着された可視光カットフィルタ７３７を透過して、赤外光撮像部７３５の受光面に結像される。一方、眼２２１の眼底からの反射光すなわち眼底像のうち、可視光の眼底像は、赤外光撮像部７３５の可視光カットフィルタ７３７を透過しないため、赤外光撮像部７３５の受光面には結像されない。したがって、赤外光撮像部７３５は、赤外光の眼底像のみを撮像し、その結果赤外光画像のみを出力する。【0339】
撮像部７０１は、可視光の他に赤外光を含む照射光を照射させながら、可視光と赤外光で同時に眼底の撮像を複数回繰り返す。撮像部７０１による撮像は、撮像により得られる各眼底画像が互いに近似するように、できるだけ短時間に複数回行われる方が望ましい。撮像部７０１の撮像により得られた比較的低画質の複数の可視光画像および複数の位置合わせを行うのに十分な画質の赤外光画像は、画像処理部７０２に供給される。【0340】
なお、撮像部７０１の構成は上述の例に限定されず、被写体の可視光画像および赤外光画像が得られる構成であればよい。例えば、可視光撮像部７３４および赤外光撮像部７３５のそれぞれに含まれる撮像素子に、可視光カットフィルタ７３６および赤外光カットフィルタ７３７の両方を配置して、可視光撮像部７３４および赤外光撮像部７３５のそれぞれで可視光画像と赤外光画像とが得られるようにしてもよい。【0341】
画像処理部７０２は、撮像部７０１から供給された複数の位置合わせを行うのに十分な画質の赤外光画像に対して位置合わせを行う。そして、画像処理部７０２は、赤外光画像における位置合わせ情報（詳細については後述する）を用いて、比較的低画質の複数の可視光画像に対して位置合わせを行ってから重ね合わせを行うことにより、より高画質な１枚の眼底画像を生成する。【0342】
図２９に示されるように、画像処理部７０２は、入力画像バッファ７１１、赤外光画像位置合わせ処理部７１２、初期画像バッファ７１３、位置合わせ情報バッファ７１４、可視光画像位置合わせ処理部７１５、超解像処理部７１６、および超解像結果画像バッファ７１７を有する。【0343】
入力画像バッファ７１１は、例えばハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体の少なくとも一部の領域に設けられ、撮像部７０１から供給される、比較的低画質の複数の可視光画像および複数の位置合わせを行うのに十分な画質の赤外光画像を入力画像として記憶する。そして、入力画像バッファ７１１は、必要に応じて適宜、赤外光画像を赤外光画像位置合わせ処理部７１２に供給し、可視光画像を可視光画像位置合わせ処理部７１５に供給する。【0344】
赤外光画像位置合わせ処理部７１２は、被写体の生体情報を用いて、入力画像バッファ７１１から供給される赤外光画像と、後述する初期画像バッファ７１３から供給される赤外光画像の初期画像との間で、被写体の位置を合わせるように位置合わせを行う。赤外光画像位置合わせ処理部７１２は、位置合わせが収束した場合、位置合わせ情報を位置合わせ情報バッファ７１４に供給する。なお、赤外光画像位置合わせ処理部７１２の詳細な構成については、図３１，図３２を参照して後述する。【0345】
位置合わせに利用する生体情報として、例えば、血管、神経、若しくは視神経乳頭等を採用することができる。もちろん、この生体情報は、任意であり、これら以外のものであってもよい。【0346】
初期画像バッファ７１３は、例えばハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体の少なくとも一部の領域に設けられ、赤外光画像位置合わせ処理部７１２を介して入力画像バッファ７１１から最初に供給されてきた赤外光画像を初期画像として記憶する。初期画像バッファ７１３は、必要に応じて適宜その初期画像を、赤外光画像位置合わせ処理部７１２に供給する。【0347】
位置合わせ情報バッファ７１４は、例えばハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体の少なくとも一部の領域に設けられ、赤外光画像位置合わせ処理部７１２から供給される位置合わせ情報を記憶する。【0348】
可視光画像位置合わせ処理部７１５は、位置合わせ情報バッファ７１４から読み出した位置合わせ情報を、入力画像バッファ７１１から供給される可視光画像に適用して、画像の位置合わせを行う。位置合わせされた可視光画像は、超解像処理部７１６に供給される。【0349】
超解像処理部７１６は、図３の超解像処理部２１３と基本的に同様の構成を有し、同様の処理を行う。すなわち、超解像処理部７１６は、超解像結果画像バッファ７１７から、過去に生成した超解像処理結果画像（すなわち、超解像処理結果として得られる画像）を取得し、その超解像結果画像と、可視光画像位置合わせ処理部７１５より位置合わせされた可視光画像との重ね合わせによる超解像処理およびハイダイナミックレンジ処理を行い、超解像結果画像を生成する。超解像処理部７１６は、このような位置合わせと超解像処理が繰り返されて生成された、より高解像度かつダイナミックレンジの大きな超解像結果画像を記憶部１０３に記憶させたり、出力部１０４より出力させたりするとともに、超解像結果画像バッファ７１７に供給し、記憶させる。【0350】
超解像結果画像バッファ７１７は、図３の超解像結果画像バッファ２１４と基本的に同様の構成を有し、同様の処理を行う。すなわち、超解像結果画像バッファ７１７は、超解像処理部７１６により生成された超解像結果画像を記憶し、必要に応じて適宜その超解像結果画像を、超解像処理部７１６に供給する。なお、超解像結果画像バッファ７１７は、超解像処理部７１６を介して可視光画像位置合わせ処理部７１５から最初に供給されてきた可視光画像を初期画像として記憶する。超解像結果画像バッファ７１７は、必要に応じて適宜その初期画像を、超解像処理部７１６に供給する。【0351】
[画像処理部の処理]図３１は、このような構成の画像処理部７０２による処理の流れについて説明する図である。図３１に示されるように、撮像部７０１により撮像された複数の赤外光画像６２１と複数の可視光画像６２２は、入力画像バッファ７１１に記憶される。入力画像バッファ７１１は、所定のタイミングで１枚ずつ赤外光画像６２１を赤外光画像位置合わせ処理部７１２に供給する。
【0352】
図３１の枠７４１に示されるように、赤外光画像位置合わせ処理部７１２は、入力画像バッファ７１１から供給される赤外光画像６２１と、初期画像バッファ７１３から供給される初期画像との、眼の情報（すなわち、生体情報）を使った画像の位置合わせを行う。赤外光画像位置合わせ処理部７１２は、位置合わせが収束した場合、赤外光画像での位置合わせ情報を位置合わせ情報バッファ７１４に供給する。このような処理が繰り返され、入力画像バッファ７１１に記憶された全ての赤外光画像についての位置合わせ情報が、位置合わせ情報バッファ７１４に記憶される。【0353】
そして、図３１の枠７４２に示されるように、可視光画像位置合わせ処理部７１５は、位置合わせ情報バッファ７１４から読み出した各赤外光画像についての位置合わせ情報を、入力画像バッファ７１１から供給される各赤外光画像に対応する可視光画像６２２に適用して、可視光画像の位置合わせを行う。その後、位置合わせされた可視光画像は、超解像処理部７１６に供給されて、画像の重ね合わせによる超解像処理が施される。【0355】
図３２は、図２９の赤外光画像位置合わせ処理部７１２の主な構成例を示すブロック図である。図３２に示されるように、赤外光画像位置合わせ処理部７１２は、赤外光画像血管抽出部７５１、初期画像血管抽出７５２、赤外光画像交叉点抽出部７５３、初期画像交叉点抽出部７５４、交叉点位置合わせ処理部７５５、および血管位置合わせ処理部７５６を有する。【0356】
赤外光画像血管抽出部７５１は、入力画像バッファ７１１から供給される赤外光画像から血管の部分を抽出し、血管位置合わせ処理部７５６に供給する。【0357】
同様に、初期画像血管抽出部７５２は、初期画像バッファ７１３から供給される初期画像から血管の部分を抽出し、血管位置合わせ処理部７５６に供給する。【0358】
血管位置合わせ処理部７５６は、各画像から抽出された血管抽出結果を用いて、赤外光画像と初期画像との間で血管の位置合わせを行い、位置合わせ情報を位置合わせ情報バッファ７１４に記憶させる。【0359】
なお、血管抽出結果（すなわち、血管全体の形状や位置）による位置合わせ処理の前に、血管の交叉点の位置による簡易的な位置合わせを行うようにしてもよい。その場合、赤外光画像血管抽出部７５１は、赤外光画像からの血管抽出結果を、赤外光画像交叉点抽出部７５３に供給する。【0360】
赤外光画像交叉点抽出部７５３は、赤外光画像血管抽出部７５１から供給される血管抽出結果から交叉点を抽出し、その交叉点抽出結果を交叉点位置合わせ処理部７５５に供給する。【0361】
また、初期画像血管抽出部７５２は、初期画像からの血管抽出結果を、初期画像交叉点抽出部７５４に供給する。【0362】
初期画像交叉点抽出部７５４は、初期画像血管抽出部７５２から供給される血管抽出結果から交叉点を抽出し、その交叉点抽出結果を交叉点位置合わせ処理部７５５に供給する。【0363】
交叉点位置合わせ処理部７５５は、各画像から抽出された交叉点抽出結果を用いて、赤外光画像と初期画像との間で交叉点の位置合わせを行う。そしてその交叉点位置合わせ結果が血管位置合わせ処理部７５６に供給される。【0364】
血管位置合わせ処理部７５６は、交叉点位置合わせ処理部７５５から供給される交叉点位置合わせ結果を初期状態とし、血管抽出結果を用いて赤外光画像の位置合わせを行う。つまり、血管位置合わせ処理部７５６は、交叉点位置合わせ結果にしたがって、交叉点の位置合わせと同様に位置合わせを行いながら各血管抽出結果を重畳し、それを初期状態とする。【0365】
このようにすることにより、血管位置合わせ処理部７５６は、交叉点を用いて簡易的に位置合わせされた状態から、位置合わせを開始することができるので、より容易かつ高速に位置合わせを行うことができる。【0366】
なお、血管位置合わせ処理部７５６は、さらに他の生体情報を用いた位置合わせを併用するようにしてもよい。例えば、血管位置合わせ処理部７５６は、最初に、視神経乳頭の位置で位置合わせを行いながら、赤外光画像と初期画像とを重畳し、その重畳画像を初期値として交叉点による位置合わせを行うようにしてもよい。【0368】
図３３は、血管位置合わせ処理部７５６の主な構成例を示すブロック図である。図３３に示されるように、血管位置合わせ処理部７５６は、重畳処理部７７１、シフト処理部７７２、伸ばし処理部７７３、回転処理部７７４、拡大縮小処理部７７５、および収束判定部７７６を有する。【0369】
重畳処理部７７１は、赤外光画像血管抽出部７５１による血管抽出結果（以下、赤外光画像血管抽出結果と称する）と、初期画像血管抽出部７５２による血管抽出結果（以下、初期画像血管抽出結果と称する）とを重畳する。交叉点による位置合わせを行う場合、重畳処理部７７１は、交叉点位置合わせ処理部７５５から供給される交叉点位置合わせ結果を用いて、交叉点の位置合わせと同様の位置合わせを行いながら、赤外光画像血管抽出結果と初期画像血管抽出結果とを重畳する。重畳処理部７７１は、重畳結果をシフト処理部７７２に供給する。【0370】
なお、血管位置合わせ処理部７５６は、赤外光画像血管抽出結果を初期画像血管抽出結果に近づけるように位置合わせを行う。【0371】
シフト処理部７７２は、赤外光画像血管抽出結果全体を移動（シフト）させ、赤外光画像血管抽出結果と初期画像血管抽出結果との差分の絶対値が最小となる位置を検索し、差分の絶対値が最小となった状態で、重畳結果を伸ばし処理部７７３に供給する。【0372】
伸ばし処理部７７３は、赤外光画像血管抽出結果を任意の方向に伸ばし（変形させ）、赤外光画像血管抽出結果と初期画像血管抽出結果との差分の絶対値が最小となる形状を検索し、差分の絶対値が最小となった状態で、重畳結果を回転処理部７７４に供給する。【0373】
回転処理部７７４は、赤外光画像血管抽出結果を左右に回転させ、赤外光画像血管抽出結果と初期画像血管抽出結果との差分の絶対値が最小となる向きを検索し、差分の絶対値が最小となった状態で、重畳結果を拡大縮小処理部７７５に供給する。【0374】
拡大縮小処理部７７５は、赤外光画像血管抽出結果を拡大したり縮小したりし、赤外光画像血管抽出結果と初期画像血管抽出結果との差分の絶対値が最小となる大きさを検索し、差分の絶対値が最小となった状態で、重畳結果を収束判定部７７６に供給する。【0375】
収束判定部７７６は、供給された重畳結果に基づいて、位置合わせが収束したか否かを判定する。例えば、収束判定部７７６は、上述した各処理を複数回繰り返し行わせ、今回得られた位置合わせ結果を、前回の位置合わせ結果と比較し、前回より赤外光画像血管抽出結果が初期画像血管抽出結果に近づいた場合、収束していないと判定し、前回より赤外光画像血管抽出結果が初期画像血管抽出結果に近づいていない場合、収束したと判定する。【0376】
収束していないと判定した場合、収束判定部７７６は、その重畳結果をシフト処理部７７２に戻し、再度、位置合わせを行わせる。また、位置合わせが収束したと判定した場合、収束判定部７７６は、重畳結果（例えば、赤外光画像血管抽出結果と初期画像血管抽出結果との差分の絶対値が最小となるときの重畳結果）を位置合わせ情報として、位置合わせ情報バッファ７１４に記憶させる。【0377】
なお、交叉点位置合わせ処理部７５５は、血管位置合わせ処理部７５６と基本的に同様の構成を有し、位置合わせに用いる生体情報が血管全体かその交叉点かの違い以外は、基本的に同様の処理を行う。【0378】
全ての赤外光画像に対して位置合わせ処理が施され、各赤外光画像に対応する位置合わせ情報が位置合わせ情報バッファ７１４に記憶される。すると、可視光画像位置合わせ処理部７１５は、入力画像バッファ７１１から可視光画像を１枚ずつ読み出して、読み出した可視光画像に対応する赤外光画像の位置合わせ情報を、位置合わせ情報バッファ７１４から読み出す。そして、可視光画像位置合わせ処理部７１５は、可視光画像に位置合わせ情報を適用して位置合わせを行う。【0379】
位置合わせされた可視光画像は、超解像処理部７１６に供給されて、画像の重ね合わせによる超解像処理が施される。全ての可視光画像に対して、このような位置合わせと超解像処理が繰り返されて生成された、より高解像度かつダイナミックレンジの大きな眼底画像は、記憶部１０３に記憶されたり、出力部１０４より出力されたりする。なお、ここで高解像度とは、ボケが除去され、よりシャープな画像であることを示しており、実際に解像度が高くなくてもよい。【0381】
ステップＳ６０１において、撮像部７０１は、可視光と赤外光で同時に複数回、被験者の眼底（すなわち、被写体）を撮像する。このとき、可視光は低光量であり、赤外光は位置合わせを行うのに十分な光量である。【0382】
ステップＳ６０２において、画像処理部７０２は、ステップＳ６０１の処理により得られた撮像画像、すなわち可視光画像と赤外光画像とを入力画像バッファ７１１に記憶させる。【0383】
ステップＳ６０３において、赤外光画像位置合わせ処理部７１２は、最初の赤外光画像を初期画像として初期画像バッファ７１３に記憶させる。【0384】
ステップＳ６０４において、赤外光画像位置合わせ処理部７１２は、入力画像バッファ７１１から、未処理の赤外光画像を１枚選択して読み出す。【0385】
ステップＳ６０５において、赤外光画像位置合わせ処理部７１２は、位置合わせ処理を行う。なお、位置合わせ処理は、図１３および図１４のフローチャートを参照して説明した生体情報位置合わせ処理と基本的に同様である。ただし、図１３の生体情報位置合わせ処理においては、入力画像と前回の超解像結果画像とが用いられるのに対して、ステップＳ６０５の位置合わせ処理においては、赤外光画像と初期画像とが用いられる点が異なる。したがって、位置合わせ処理の説明は繰り返しになるので省略する。【0386】
ステップＳ６０６において、赤外光画像位置合わせ処理部７１２は、位置合わせ情報を位置合わせ情報バッファ７１４に記憶させる。【0387】
ステップＳ６０７において、赤外光画像位置合わせ処理部７１２は、全ての赤外光画像を処理したか否かを判定し、未処理の赤外光画像が存在すると判定した場合、処理をステップＳ６０４に戻し、それ以降の処理を実行させる。【0388】
ステップＳ６０７において、全ての赤外光画像が処理されたと判定された場合、処理はステップＳ６０８に進む。【0389】
ステップＳ６０８において、可視光画像位置合わせ処理部７１５は、最初の可視光画像を初期画像として超解像結果画像バッファ７１７に記憶させる。【0390】
ステップＳ６０９において、可視光画像位置合わせ処理部７１５は、入力画像バッファ７１１から、未処理の可視光画像を１枚選択して読み出す。【0391】
ステップＳ６１０において、可視光画像位置合わせ処理部７１５は、位置合わせ情報バッファ７１４に記憶された位置合わせ情報を読み出す。すなわち、可視光画像位置合わせ処理部７１５は、ステップＳ６０９で読み出した可視光画像に対応する赤外光画像の位置合わせ情報を読み出す。【0392】
ステップＳ６１１において、可視光画像位置合わせ処理部７１５は、位置合わせ情報を用いて可視光画像の位置合わせ処理を行う。【0393】
ステップＳ６１２において、超解像処理部７１６は、超解像処理を行う。なお、超解像処理は、図１５のフローチャートを参照して説明した超解像処理と基本的に同様である。ただし、図１５の超解像処理においては、位置合わせされた入力画像と前回の超解像結果画像とが重ね合わされるのに対して、ステップＳ６１２の超解像処理においては、位置合わせされた可視光画像と前回の超解像結果画像とが重ね合わされる点が異なる。したがって、超解像処理の説明は繰り返しになるので省略する。【0394】
ステップＳ６１３において、超解像処理部７１６は、超解像処理により得られた新たな超解像結果画像を記憶部１０３や出力部１０４に出力するとともに、超解像結果画像バッファ７１７に記憶させる。【0395】
ステップＳ６１４において、超解像処理部７１６は、全ての可視光画像を処理したか否かを判定し、未処理の可視光画像が存在すると判定された場合、処理をステップＳ６０９に戻し、それ以降の処理を実行させる。【0396】
ステップＳ６１４において、全ての可視光画像が処理されたと判定された場合、眼底画像生成処理は終了する。【0397】
以上のように、赤外光画像における位置合わせ情報を用いて、可視光画像に対して位置合わせが行われることより、より高画質な被写体の撮像画像を得ることが出来るようになる。【0398】
＜５．第５の実施の形態＞［眼底画像処理装置の他の構成］
次に、赤外光画像における位置合わせ情報を用いて、可視光画像に対して位置合わせが行われる場合の、眼底画像処理装置の他の構成例を説明する。
【0399】
図３５は、眼底画像処理装置の他の構成例を示すブロック図である。図３５に示される眼底画像処理装置８００は、赤外光画像における位置合わせ情報を用いて位置合わせが行われた可視光画像に含まれる生体情報を、トーンリプロダクション処理や超解像処理に利用し、より高画質な眼底画像を生成する。【0400】
眼底画像処理装置８００は、図２９の眼底画像処理装置７００と基本的に同様の構成を有し、同様の処理を行う。ただし、眼底画像処理装置８００は、眼底画像処理装置７００が有する画像処理部７０２の代わりに、画像処理部８０２を有する。したがって、以下では、画像処理部８０２についてのみ説明する。【0401】
画像処理部８０２は、画像処理部７０２と基本的に同様の構成を有し、同様の処理を行う。ただし、画像処理部８０２は、画像処理部７０２が有する超解像処理部７１６および超解像結果画像バッファ７１７の代わりに、ノイズ削減処理部８１１、ノイズ削減結果画像バッファ８１２、トーンリプロダクション処理部４１５、および超解像処理部４１６を有する。したがって、以下では、ノイズ削減処理部８１１、ノイズ削減結果画像バッファ８１２、トーンリプロダクション処理部４１５、および超解像処理部４１６についてのみ説明する。【0402】
ノイズ削減処理部８１１は、図１６のノイズ削減処理部４１３と基本的に同様の構成を有し、同様の処理を行う。ただし、ノイズ削減処理部８１１は、可視光画像位置合わせ処理部７１５により位置合わせが行われた可視光画像を、ノイズ削減結果画像バッファ８１２に保持される前回の重ね合わせ結果（つまり、ノイズ削減結果）の画像と重ね合わせることにより、眼底画像のダイナミックレンジを拡張し、ノイズを低減させる。【0403】
ノイズ削減結果画像バッファ８１２は、図１６のノイズ削減結果画像バッファ４１４と基本的に同様の構成を有し、同様の処理を行う。ただし、ノイズ削減結果画像バッファ８１２は、ノイズ削減処理部８１１により生成されたノイズ削減結果画像を記憶し、必要に応じて適宜そのノイズ削減結果画像を、ノイズ削減処理部８１１に供給する。なお、ノイズ削減結果画像バッファ８１２は、ノイズ削減処理部８１１を介して可視光画像位置合わせ処理部７１５から最初に供給されてきた位置合わせされた可視光画像を初期画像として記憶する。【0404】
トーンリプロダクション処理部４１５および超解像処理部４１６は、それぞれ図１６のトーンリプロダクション処理部４１５および超解像処理部４１６と基本的に同様の構成を有し、同様の処理を行う。したがって、その説明は繰り返しになるので省略する。【0406】
ステップＳ６４１乃至ステップＳ６５１の各処理は、図３４のステップＳ６０１乃至ステップＳ６１１の各処理と同様であるので、その説明は繰り返しになるので省略する。【0407】
ステップＳ６５２乃至ステップＳ６５６の各処理は、図２２のステップＳ４０６乃至ステップＳ４１０と基本的に同様である。ただし、ステップＳ６５２において、ノイズ削減処理部８１１は、ステップＳ６５１の処理により位置合わせされた可視光画像を重ね合わせ、ノイズを低減させる。【0408】
ステップＳ６５３において、ノイズ削減処理部８１１は、全ての可視光画像を処理したか否かを判定する。未処理の可視光画像が存在すると判定された場合、ノイズ削減処理部８１１は、処理をステップＳ６５４に進める。【0409】
ステップＳ６５４において、ノイズ削減結果画像バッファ８１２は、ステップＳ６５２の処理により得られるノイズ削減処理結果画像、つまり、重ね合わせされた可視光画像を記憶する。可視光画像を記憶すると、ノイズ削減結果画像バッファ８１２は、処理をステップＳ６４９に戻し、それ以降の処理を繰り返す。【0410】
ステップＳ６４９乃至ステップＳ６５４の処理が繰り返され、ステップＳ６５３において、全ての可視光画像が処理されたと判定された場合、ノイズ削減処理部８１１は、処理をステップＳ６５５に進める。【0411】
ステップＳ６５５において、トーンリプロダクション処理部４１５は、生成された１枚の可視光画像に対してトーンリプロダクション処理を行う。なお、トーンリプロダクション処理の詳細は、図２３および図２４のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。【0412】
ステップＳ６５６において、超解像処理部４１６は、トーンリプロダクション処理が施された可視光画像について、超解像処理を行う。なお、超解像処理の詳細は、図２５のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。【0413】
これにより高解像度な眼底画像が得られ、眼底画像生成処理は終了する。【0414】
以上のように、赤外光画像における位置合わせ情報を用いて、可視光画像に対して位置合わせが行われることより、より高画質な被写体の撮像画像を得ることが出来るようになる。【0415】
[他の構成の眼底画像処理装置への適用]ところで、撮像部により得られた可視光画像と赤外光画像との両画像を用いて、より高画質な被写体の撮像画像を得る第４，第５の実施の形態の手法は、上述した第１乃至第３の実施の形態の眼底画像処理装置１００，２００，４００の各々に適用することができる。
【0416】
第４，第５の実施の形態の手法が適用された眼底画像処理装置１００，２００，４００の各々の構成は、図１，図３，図１６のそれぞれに示す構成と基本的に同様の構成を有する。しかしながら、第４，第５の実施の形態の手法が適用された眼底画像処理装置１００，２００，４００各々は、可視光画像と赤外光画像との両画像を用いるため、第１乃至第３の実施の形態における処理とは異なる処理を実行する。したがって、以下では、眼底画像処理装置１００，２００，４００の順に、第４，第５の実施の形態の手法が適用された場合の処理について説明する。【0417】
はじめに、可視光画像および赤外光画像の両方を用いる場合の図１の眼底画像処理装置１００について説明する。【0419】
画像処理部１０２のうち、動きベクトル検出部１２１の処理においては、赤外光画像のみが用いられ、画像処理部１０２のその他の構成要素の処理においては、可視光画像および赤外光画像の両方が用いられる。【0420】
すなわち、入力画像バッファ１１１は、撮像部１０１から供給される、可視光画像および赤外光画像を入力画像として記憶する。【0421】
SR画像バッファ１１３は、生成された可視光画像および赤外光画像のSR画像を保持し、可視光画像および赤外光画像のSR画像を所定のタイミングで超解像処理部１１２や演算部１１４に供給する。【0422】
SR画像バッファ１１３に保持された赤外光画像のSR画像は動きベクトル検出部１２１と動き補償部１２２に供給され、入力画像バッファ１１１に保持された赤外光画像のLR画像は動きベクトル検出部１２１と演算部１２４に供給される。一方、SR画像バッファ１１３に保持された可視光画像のSR画像は動き補償部１２２のみに供給され、入力画像バッファ１１１に保持された可視光画像のLR画像は演算部１２のみに供給される。【0423】
動きベクトル検出部１２１は、入力された赤外光画像のSR画像とLR画像に基づいて、赤外光画像のSR画像を基準とした動きベクトルを検出し、検出した赤外光画像の動きベクトルを動き補償部１２２と逆方向動き補償部１２６に供給する。【0424】
動き補償部１２２は、動きベクトル検出部１２１から供給された赤外光画像の動きベクトルに基づいて、可視光画像および赤外光画像のSR画像に動き補償を施し、動き補償を施して得られた可視光画像および赤外光画像をダウンサンプリングフィルタ１２３に供給する。【0425】
ダウンサンプリングフィルタ１２３は、動き補償部１２２から供給された可視光画像および赤外光画像をダウンサンプリングすることによってLR画像と同じ解像度の可視光画像および赤外光画像を生成し、生成した可視光画像および赤外光画像を演算部１２４に供給する。【0426】
演算部１２４は、可視光画像および赤外光画像のそれぞれのLR画像と、ダウンサンプリングされた可視光画像および赤外光画像とのそれぞれの差分を表す差分画像を生成し、生成した可視光画像および赤外光画像のそれぞれの差分画像をアップサンプリングフィルタ１２５に供給する。【0427】
アップサンプリングフィルタ１２５は、演算部１２４から供給された可視光画像および赤外光画像のそれぞれの差分画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した可視光画像および赤外光画像を逆方向動き補償部１２６に出力する。【0428】
逆方向動き補償部１２６は、動きベクトル検出部１２１から供給された赤外高画像の動きベクトルに基づいて、アップサンプリングフィルタ１２５から供給された可視光画像および赤外光画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた可視光画像および赤外光画像を表すフィードバック値を演算部１１４に供給する。【0429】
演算部１１４は、逆方向動き補償部１２６から供給されるフィードバック値を、SR画像バッファ１１３から供給される、過去に生成した可視光画像および赤外光画像のSR画像に加算することにより、新たな可視光画像および赤外光画像のSR画像を生成する。演算部１１４は、生成した、新たな可視光画像および赤外光画像のSR画像をSR画像バッファ１１３に供給して保持させ、そのSR画像を次の超解像処理（すなわち、新たなSR画像の生成）に利用させる。また、演算部１１４は、生成した可視光画像のSR画像を、記憶部１０３に供給して記憶させたり、出力部１０４に供給して表示させたり、外部の装置等に出力させたりする。【0430】
画像処理部１０２は、超解像処理部１１２を用いてこのような超解像処理を入力画像バッファ１１１に保持させた複数の可視光画像および赤外光画像の眼底画像（すなわち、LR画像）のそれぞれについて行い、最終的に１枚の、より高画質な可視光画像のSR画像を生成する。【0431】
［眼底画像生成処理の流れ］図３７のフローチャートを参照して、このような眼底画像処理装置１００により実行される可視光画像および赤外光画像の両方を用いた眼底画像生成処理の流れの例を説明する。
【0432】
ステップＳ６８１において、撮像部１０１は、可視光と赤外光で同時に複数回、被験者の眼底（すなわち、被写体）を撮像する。【0433】
ステップＳ６８２において、画像処理部１０２は、ステップＳ１０１の処理により得られた可視光画像および赤外光画像を入力画像バッファ１１１に記憶させる。【0434】
ステップＳ６８３において、画像処理部１０２は、任意の方法で最初の可視光画像および赤外光画像のSR画像である初期画像を生成し、それをSR画像バッファ１１３に記憶させる。【0435】
ステップＳ６８４において、入力画像バッファ１１１は、保持している未処理の可視光画像および赤外光画像（すなわち、LR画像）を１枚ずつ選択し、それを超解像処理部１１２に供給する。【0436】
ステップＳ６８５において、動きベクトル検出部１２１は、赤外光画像のSR画像とLR画像とから動きベクトルを検出する。【0437】
ステップＳ６８６において、動き補償部１２２は、赤外光画像の動きベクトルを用いて、可視光画像および赤外光画像のSR画像に動き補償を施す。【0438】
ステップＳ６８７において、ダウンサンプリングフィルタ１２３は、動き補償を施した可視光画像および赤外光画像のSR画像をLR画像と同じ解像度にダウンサンプリングする。【0439】
ステップＳ６８８において、演算部１２４は、可視光画像および赤外光画像のSR画像のダウンサンプリング結果と、入力の可視光画像および赤外光画像のLR画像との差分画像を求める。【0440】
ステップＳ６８９において、アップサンプリングフィルタ１２５は、可視光画像および赤外光画像のそれぞれの差分画像をアップサンプリングする。【0441】
ステップＳ６９０において、逆方向動き補償部１２６は、ステップＳ６８５の処理により検出された赤外光画像の動きベクトルを用いて、可視光画像および赤外光画像のそれぞれの差分画像のアップサンプリング結果に逆方向の動き補償を施す。【0442】
ステップＳ６９１において、演算部１１４は、ステップＳ６９０の処理により算出された可視光画像および赤外光画像のそれぞれの差分画像のアップリング結果であるフィードバック値を、SR画像バッファ１１３により保持される過去に生成された可視光画像および赤外光画像のそれぞれのSR画像に加算する。【0443】
ステップＳ６９２において、画像処理部１０２は、新たに生成された可視光画像のSR画像を、記憶部１０３に記憶させたり、出力部１０４から出力させたりするとともに、可視光画像および赤外光画像をSR画像バッファ１１３に記憶させる。【0444】
ステップＳ６９３において、入力画像バッファ１１１は、全ての可視光画像および赤外光画像（すなわち、LR画像）を処理したか否かを判定し、未処理の可視光画像および赤外光画像（すなわち、LR画像）が存在すると判定された場合、処理をステップＳ６８４に戻し、新たな可視光画像および赤外光画像を処理対象として選択し、その可視光画像および赤外光画像について、それ以降の処理を繰り返させる。【0445】
ステップＳ６９３において、撮像部１０１により複数回撮像され得られた複数の可視光画像および赤外光画像の全てが処理され、１枚の、より高画質な可視光画像の眼底画像が得られたと判定された場合、眼底画像生成処理は終了する。【0446】
このようにすることにより、眼底画像処理装置１００は、眼底への可視光の照射光の光量を増大させずに、より高画質な眼底画像を得ることが出来る。つまり、眼底画像処理装置１００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。【0447】
次に、可視光画像および赤外光画像の両方を用いる場合の図３の眼底画像処理装置２００について説明する。【0449】
画像処理部２０２のうち、生体情報位置合わせ処理部２１２の処理においては、赤外光画像のみが用いられ、画像処理部２０２のその他の構成要素の処理においては、可視光画像および赤外光画像の両方が用いられる。【0450】
すなわち、入力画像バッファ１１１は、撮像部１０１から供給される、可視光画像および赤外光画像を入力画像として記憶する。【0451】
生体情報位置合わせ処理部２１２は、被写体の生体情報を用いて、入力画像バッファ１１１から供給される赤外光画像（すなわち、入力画像）と、超解像結果画像バッファ２１４から供給される赤外光画像（すなわち、超解像処理部２１３により重ね合わせされた画像）との間で画像の位置合わせを行う。そして、生体情報位置合わせ処理部２１２は、赤外光画像の位置合わせ結果を入力画像バッファ１１１から供給される可視光画像に反映させる。【0452】
超解像処理部２１３は、超解像結果画像バッファ２１４から、過去に生成した可視光画像および赤外光画像の超解像処理結果画像（すなわち、超解像処理結果として得られる画像）を取得し、その超解像結果画像と、生体情報位置合わせ処理部２１２より位置合わせされた可視光画像および赤外光画像の入力画像とを重ね合わせ、新たな可視光画像および赤外光画像の超解像結果画像を生成する。超解像処理部２１３は、可視光画像の超解像結果画像を記憶部１０３に記憶させたり、出力部１０４より出力させたりするとともに、可視光画像および赤外光画像を超解像結果画像バッファ２１４に供給し、記憶させる。【0453】
超解像結果画像バッファ２１４は、超解像処理部２１３により生成された可視光画像および赤外光画像の超解像結果画像を保持し、所定のタイミングにおいてその超解像結果画像を、生体情報位置合わせ処理部２１２や超解像処理部２１３に供給する。【0454】
［眼底画像生成処理の流れ］図３８のフローチャートを参照して、このような眼底画像処理装置２００により実行される可視光画像および赤外光画像の両方を用いた眼底画像生成処理の流れの例を説明する。
【0455】
ステップＳ７２１乃至ステップＳ７２４の各処理が、図３７のステップＳ６８１乃至ステップＳ６８４の各処理と同様に実行される。ただし、ステップＳ７２３において、可視光画像および赤外光画像の初期画像は超解像結果画像バッファ２１４に記憶される。また、ステップＳ７２４において、未処理の可視光画像および赤外光画像が入力画像として１枚ずつ選択される。【0456】
処理対象が決定されると、ステップＳ７２５において、生体情報位置合わせ処理部２１２は、赤外光画像に対して生体情報位置合わせ処理を行う。なお、生体情報位置合わせ処理の詳細は、図１３のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。ただし、図１３のフローチャートのうち、ステップＳ２２７の血管の位置合わせ処理の詳細についてのみ、図３９を参照して後述する。【0457】
ステップＳ７２６において、超解像処理部２１３は、可視光画像および赤外光画像の位置合わせ結果を用いて、超解像処理を行う。なお、超解像処理の詳細は、図１５のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。【0458】
ステップＳ７２７において、超解像処理部２１３は、超解像処理により得られた新たな可視光画像の超解像結果画像を記憶部１０３や出力部１０４に出力するとともに、可視光画像および赤外光画像を超解像結果画像バッファ２１４に記憶させる。【0459】
ステップＳ７２８において、入力画像バッファ１１１は、全ての可視光画像および赤外光画像を処理したか否かを判定し、未処理の可視光画像および赤外光画像が存在すると判定された場合、処理をステップＳ７２４に戻し、それ以降の処理を実行させる。【0460】
ステップＳ７２８において、全ての可視光画像および赤外光画像を処理したと判定された場合、眼底画像生成処理は終了する。【0461】
[血管位置合わせ処理の流れ]次に、図３９のフローチャートを参照して、図３８のステップＳ７２５の生体情報位置合わせ処理（すなわち、図１３の生体情報位置合わせ処理）のうち、ステップＳ２２７の血管の位置合わせ処理の流れの例を説明する。
【0462】
ステップＳ７４１乃至ステップＳ７４８の各処理が、図１４のステップＳ２４１乃至ステップＳ２４８の各処理と同様に実行される。ただし、ステップＳ７４１乃至ステップＳ７４８の各処理は、処理対象の赤外光画像に対して行われる。【0463】
ステップＳ７４８において収束したと判定された場合、ステップＳ７４９において、生体情報位置合わせ処理部２１２は、処理対象の赤外光画像に対応する可視光画像を入力画像バッファ１１１から読み出す。【0464】
ステップＳ７５０において、生体情報位置合わせ処理部２１２は、処理対象の赤外光画像の位置合わせ結果をステップＳ７４９で読み出した可視光画像に反映させる。すなわち、可視光画像に対して位置合わせを行う。【0465】
ステップＳ７５１において、生体情報位置合わせ処理部２１２は、赤外光画像の位置合わせ結果に基づいて赤外光画像の位置合わせを行い、位置合わせされた可視光画像および赤外光画像と血管抽出結果とを超解像処理部２１３に出力する。【0466】
これにより、血管位置合わせ処理は終了する。【0467】
このようにすることにより、眼底画像処理装置２００は、眼底への可視光の照射光の光量を増大させずに、より高画質な眼底画像を得ることが出来る。つまり、眼底画像処理装置２００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。【0468】
次に、可視光画像および赤外光画像の両方を用いる場合の図１６の眼底画像処理装置４００について説明する。【0470】
画像処理部４０２のうち、生体情報位置合わせ処理部２１２の処理においては、赤外光画像のみが用いられ、画像処理部４０２のその他の構成要素の処理においては、可視光画像および赤外光画像の両方が用いられる。【0471】
すなわち、入力画像バッファ１１１は、撮像部１０１から供給される、可視光画像および赤外光画像を入力画像として記憶する。【0472】
生体情報位置合わせ処理部２１２は、被写体の生体情報を用いて、入力画像バッファ１１１から供給される赤外光画像（すなわち、入力画像）と、ノイズ削減結果画像バッファ４１４から供給される赤外光画像（すなわち、ノイズ削減処理部４１３により重ね合わせされた画像）との間で画像の位置合わせを行う。そして、生体情報位置合わせ処理部２１２は、赤外光画像の位置合わせ結果を入力画像バッファ１１１から供給される可視光画像に反映させる。【0473】
ノイズ削減処理部４１３は、生体情報位置合わせ処理部２１２により位置合わせが行われた可視光画像および赤外光画像のそれぞれを、ノイズ削減結果画像バッファ４１４に保持される前回の重ね合わせ結果（つまり、ノイズ削減結果）の可視光画像および赤外光画像のそれぞれと重ね合わせることにより、可視光画像および赤外光画像のダイナミックレンジを拡張し、ノイズを低減させる。【0474】
ノイズ削減結果画像バッファ４１４は、ノイズ削減処理部４１３により生成された可視光画像および赤外光画像のノイズ削減結果画像（すなわち、重ね合わせ結果画像）を記憶し、生体情報位置合わせ処理部２１２やノイズ削減処理部４１３の要求に基づいて、若しくは所定のタイミングにおいて、その可視光画像および赤外光画像のノイズ削減結果画像を、生体情報位置合わせ処理部２１２やノイズ削減処理部４１３に供給する。【0475】
つまり、生体情報位置合わせ処理部２１２による赤外光画像の位置合わせや、ノイズ削減処理部４１３による重ね合わせは、繰り返し行われる。このようにして、撮像部１０１において撮像されて得られた複数の可視光画像および赤外光画像が全て処理され、１枚の可視光画像が生成される。【0476】
トーンリプロダクション処理部４１５および超解像処理部４１６は、図１６と同様の構成を有し、同様の処理を行う。すなわち、トーンリプロダクション処理部４１５および超解像処理部４１６の生成された１枚の可視光画像は、トーンリプロダクション処理部４１５によりトーンリプロダクション処理が施され、その後、超解像処理部４１６により超解像処理が施される。【0477】
［眼底画像生成処理の流れ］図４０のフローチャートを参照して、このような眼底画像処理装置４００により実行される可視光画像および赤外光画像の両方を用いた眼底画像生成処理の流れの例を説明する。
【0478】
ステップＳ７７１乃至ステップＳ７７４の各処理が、図３８のステップＳ７２１乃至ステップＳ７２４の各処理と同様に実行される。ただし、ステップＳ７７３において、可視光画像および赤外光画像の初期画像はノイズ削減結果画像バッファ４１４に記憶される。【0479】
処理対象が決定されると、ステップＳ７７５において、生体情報位置合わせ処理部２１２は、赤外光画像に対して生体情報位置合わせ処理を行う。なお、生体情報位置合わせ処理の詳細は、図１３のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。また、図１３のフローチャートのうち、ステップＳ２２７の血管の位置合わせ処理の詳細は、図３９のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。【0480】
ステップＳ７７６において、ノイズ削減処理部４１３は、ステップＳ７７５の処理により位置合わせされた可視光画像および赤外光画像のそれぞれの画像を重ね合わせ、ノイズを低減させる。【0481】
ステップＳ７７７において、ノイズ削減処理部４１３は、全ての可視光画像および赤外光画像を処理したか否かを判定する。入力画像バッファ１１１に未処理の可視光画像および赤外光画像が存在すると判定された場合、ノイズ削減処理部４１３は、処理をステップＳ７７８に進める。【0482】
ステップＳ７７８において、ノイズ削減結果画像バッファ４１４は、ステップＳ７７６の処理により得られる可視光画像および赤外光画像のノイズ削減処理結果画像、つまり、重ね合わせされた可視光画像および赤外光画像のそれぞれを記憶する。可視光画像および赤外光画像を記憶すると、ノイズ削減結果画像バッファ４１４は、処理をステップＳ７７４に戻し、それ以降の処理を繰り返す。【0483】
ステップＳ７７４乃至ステップＳ７７８の処理が繰り返され、ステップＳ７７７において、全ての可視光画像および赤外光画像を処理したと判定された場合、ノイズ削減処理部４１３は、処理をステップＳ７７９に進める。【0484】
ステップＳ７７９において、トーンリプロダクション処理部４１５は、生成された１枚の可視光画像に対してトーンリプロダクション処理を行う。なお、トーンリプロダクション処理の詳細は、図２３のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。【0485】
ステップＳ７８０において、超解像処理部４１６は、トーンリプロダクション処理された画像について、超解像処理を行う。なお、超解像処理の詳細は、図２５のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。【0486】
ステップＳ７８０の処理が終了すると、眼底画像生成処理は終了する。【0487】
このようにすることにより、眼底画像処理装置４００は、眼底への可視光の照射光の光量を増大させずに、より高画質な眼底画像を得ることが出来る。つまり、眼底画像処理装置４００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。【0488】
＜６．第６の実施の形態＞上述した眼底画像処理装置を、観察者が持ち運べるように小型化することにより、例えば、医師による被験者の眼底の遠隔診察が可能となる。この場合、眼底画像処理装置による眼底画像生成処理のうちの一部が、ネットワーク上で行われることにより、眼底画像処理装置の小型化が可能となる。
【0489】
図４１は、遠隔診察システムの構成例について説明する図である。図４１に示されるように、遠隔診察システム９００は、小型眼底カメラ９１１、医師用端末装置９１２、看護師用端末装置９１３、患者用端末装置９１４、ネットワーク９１５、画像処理装置９１６、およびデータベース９１７を有する。【0490】
小型眼底カメラ９１１は、被験者（すなわち患者）の眼底を被写体として複数回撮像し、その結果得られる複数の眼底画像のデータをネットワーク９１５に送信する。小型眼底カメラ９１１は、本実施の形態ではCCD撮像素子やCMOS撮像素子、撮像した眼底画像をネットワークに送信する送信部等を有する構成を有している。しかしながら、小型眼底カメラ９１１は、特に本実施形態の構成をとる必要はなく、撮像した複数の眼底画像のデータをネットワーク９１５に送信することが可能な構成であれば足りる。【0491】
なお、小型眼底カメラ９１１は、より高画質な眼底画像を出力するために、撮影中の被写体に光を照射する機能を有している。すなわち、小型眼底カメラ９１１は、上述した撮像部１０１または撮像部７０１と同様の構成を有し、同様の処理を実行することができる。小型眼底カメラ９１１は、観察者が持ち運び可能なサイズとなっており、看護師または患者自身により操作される。【0492】
医師用端末装置９１２は、ネットワーク９１５を介して、データベース９１７から眼底画像のデータおよび付加情報のデータを、診察用データとして取得する。データベース９１７からは、後述する画像処理装置９１６により生成された高画質な眼底画像のデータが取得される。また、データベース９１７から取得される付加情報には、例えば、眼底画像中の注目部位を示す情報、類似症例の情報等、医師による診察を補助する情報が含まれる。また、付加情報には、例えば、患者に関する他の情報、すなわち患者の体質、病歴等の情報が含まれてもよく、さらには任意の情報が含まれてもよい。【0493】
医師用端末装置９１２は、医師による撮像箇所の指示、診察結果、再撮像の指示等を、必要に応じて、ネットワーク９１５を介して看護師用端末装置９１３および患者用端末装置９１４に送信する。【0494】
看護師用端末装置９１３は、ネットワーク９１５を介して、医師用端末９１２から撮像箇所の指示、診察結果、再撮像の指示等を受信する。また、看護師用端末装置９１３は、ネットワーク９１５を介して、データベース９１７から眼底画像のデータ、および必要に応じて付加情報のデータを取得する。【0495】
患者用端末装置９１４は、ネットワーク９１５を介して、必要に応じて医師用端末９１２から撮像箇所の指示、診察結果、再撮像の指示等を受信する。また、患者用端末装置９１４は、ネットワーク９１５を介して、データベース９１７から眼底画像のデータを取得する。また、患者用端末装置９１４は、ネットワーク９１５を介して、データベース９１７から健康情報等を取得してもよい。【0496】
ネットワーク９１５は、クラウド型ネットワークであり、例えば本実施の形態ではインターネットである。【0497】
画像処理装置９１６は、上述した眼底画像装置１００，２００，４００，７００，８００のそれぞれにおける画像処理部１０２，２０２，４０２，７０２，８０２のいずれかと同様の構成を有し、同様の処理を実行することができる。すなわち、画像処理装置９１６は、ネットワーク９１５を介して小型眼底カメラ９１１から取得した複数の撮像画像から、より高画質な眼底画像を生成する。生成された眼底画像のデータは、ネットワーク９１５を介してデータベース９１７に記憶されたり、医師用端末装置９１２、看護師用端末装置９１３、または患者用端末装置に供給される。【0498】
データベース９１７は、画像処理装置９１６により生成された眼底画像のデータを記憶する。また、データベース９１７は、付加情報や、その他の情報を記憶する。その他の情報の内容は特に限定されず、例えば、健康情報等が含まれてもよい。なお、ネットワーク９１５を介して接続される機器の数は、図４１の例に限定されない。【0500】
ステップＳ８８１において、小型眼底カメラ９１１は、看護師または患者の操作に従って、眼底を複数回撮像する。すなわち、小型眼底カメラ９１１は、低光量の可視光の照射光、または低光量の可視光および位置合わせを行うのに十分な光量の赤外光を含む照射光で眼底を複数回撮像する。【0501】
ステップＳ８８２において、小型眼底カメラ９１１は、ステップＳ８８１で得られた眼底の撮像画像のデータをネットワーク９１５に送信する。【0502】
ステップＳ８８３において、画像処理装置９１６は、ネットワーク９１５を介して取得した眼底の撮像画像から、より高画質な眼底画像を生成する眼底画像生成処理を行う。なお、ステップＳ８８３の眼底画像生成処理は、図２，図１２，図２２，図３４，または図３６のフローチャートを参照して説明した眼底画像生成処理と基本的に同様である。ただし、図２，図１２，図２２，図３４，または図３６の各眼底画像生成処理の１番目に行われる眼底の撮像処理は、ステップＳ８８１で小型眼底カメラ９１１により行われるので、各眼底画像生成処理の２番目以降の処理が行われる。【0503】
ステップＳ８８４において、画像処理装置９１６は、生成した眼底画像のデータを、ネットワーク９１５を介してデータベース９１７に記憶させる。【0504】
ステップＳ８８５において、医師用端末装置９１２は、ネットワーク９１５を介して、眼底画像のデータと付加情報のデータを診察用データとしてデータベース９１７から取得する。その後、医師用端末装置９１２は、必要に応じて診察結果等をネットワーク９１５を介して、看護師用端末装置９１３や患者用端末装置９１４に送信する。【0505】
ステップＳ８８６において、医師用端末装置９１２は、再撮像の指示がされたか否かを判定する。再撮像の指示がされた場合、処理はステップＳ８８１に戻され、それ以降の処理が繰り返される。【0506】
ステップＳ８８６において、再撮像の指示がされなかった場合、遠隔診察処理は終了する。【0507】
このような遠隔診察システム９００によれば、看護師または患者により小型眼底カメラ９１１を用いて撮像された眼底の撮像画像を用いて、遠隔地にいる医師が診察を行うことができる。この場合、小型眼底カメラ９１１により撮像された撮像画像から、ネットワーク９１５上の画像処理装置９１６により高画質な被写体の撮像画像が生成されるので、医師は高画質な被写体の撮像画像を見ながら、遠隔診察を行うことができる。【0508】
＜７．第７の実施の形態＞［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図４３に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【0509】
図４３において、パーソナルコンピュータ１０００のCPU（Central Processing Unit）１００１は、ROM１００２に記憶されているプログラム、または記憶部１０１３からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。【0510】
CPU１００１、ROM１００２、およびRAM１００３は、バス１００４を介して相互に接続されている。このバス１００４にはまた、入出力インタフェース１０１０も接続されている。【0511】
入出力インタフェース１０１０には、キーボード、マウスなどよりなる入力部１０１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部１０１２、ハードディスクなどより構成される記憶部１０１３、モデムなどより構成される通信部１０１４が接続されている。通信部１０１４は、インターネットを含むネットワークを介しての通信処理を行う。【0512】
入出力インタフェース１０１０にはまた、必要に応じてドライブ１０１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１０２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０１３にインストールされる。【0513】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。【0514】
この記録媒体は、例えば、図４３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア１０２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM１００２や、記憶部１０１３に含まれるハードディスクなどで構成される。【0515】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。【0516】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。各ステップを異なる装置で処理してもよい。また、１つのステップを異なる処理で分担してもよい。【0517】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。【0518】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。【符号の説明】
【0521】
１００ 眼底画像処理装置， １０１ 撮像部， １０２ 画像処理部， １０３ 記憶部， １０４ 出力部， １１１ 入力画像バッファ， １１２ 超解像処理部， １１３ SR画像バッファ， １１４ 演算部， １２１ 動きベクトル検出部， １２２ 動き補償部， １２３ ダウンサンプリングフィルタ， １２４ 演算部， １２５ アップサンプリングフィルタ， １２６ 逆方向動き補償部， ２００ 眼底画像処理装置， ２０２ 画像処理部， ２１２ 生体情報位置合わせ処理部， ２１３ 超解像処理部， ２１４ 超解像結果画像バッファ， ２４１ 入力画像血管抽出部， ２４２ 超解像結果画像血管抽出部， ２４３ 入力画像交叉点抽出部， ２４４ 超解像結果画像交叉点抽出部， ２４５ 交叉点位置合わせ処理部， ２４６ 血管位置合わせ処理部， ２７１ 重畳処理部， ２７２ シフト処理部， ２７３ 伸ばし処理部， ２７４ 回転処理部， ２７５ 拡大縮小処理部， ２７６ 収束判定部， ３０１ PSF推定部， ３０２ ボケ除去処理部， ３０３ 重ね合わせ処理部， ４００ 眼底画像処理装置， ４０２ 画像処理部， ４１３ ノイズ削減処理部， ４１４ ノイズ削減結果画像バッファ， ４１５ トーンリプロダクション処理部， ４１６ 超解像処理部， ４５１ 画像バッファ， ４５２ パラメータ決定部， ４５３ トーンカーブ算出部， ４５４ マッピング部， ４６１ 調整対象パラメータ選択部， ４６２ パラメータ初期値記憶部， ４６３ パラメータ記憶部， ４６４ 補正前明るさ値算出部， ４６５ 明るさ値記憶部， ４６６ 部位認識部， ４６７ パラメータ調整部， ４６８ トーンカーブ算出部， ４６９ マッピング部， ４７０ 部位別検査部， ４７１ 補正後明るさ値算出部， ４７２ 比較部， ４７３ データ出力部， ４８１ 学習辞書記憶部， ４８２ 画像処理部， ４８３ 部位認識部， ４８４ 部位別評価基準記憶部， ４８５ 部位別画像評価部， ４８６ 画像選択部， ５６４ 補正前明るさ値算出部， ５６５ 明るさ値記憶部， ５６６ 部位認識部， ５６９ マッピング部， ５７０ 部位別検査部， ５７１ 補正後明るさ値算出部， ５７２ 比較部， ７００ 眼底画像処理装置， ７０２ 画像処理部， ７１１ 入力画像バッファ， ７１２ 赤外光画像位置合わせ処理部， ７１３ 初期画像バッファ， ７１４ 位置合わせ情報バッファ， ７１５ 可視光画像位置合わせ処理部， ７１６ 超解像処理部， ７１７ 超解像結果画像バッファ， ８００ 眼底画像処理装置， ７０２ 画像処理部， ７１１ 入力画像バッファ， ７１２ 赤外光画像位置合わせ処理部， ７１３ 初期画像バッファ， ７１４ 位置合わせ情報バッファ， ８１１ ノイズ削減処理部， ８１２ ノイズ削減結果画像バッファ， ９００ 遠隔診察システム， ９１１ 小型眼底カメラ， ９１２ 医師用端末装置， ９１３ 看護師用端末装置， ９１４ 患者用端末装置， ９１５ ネットワーク， ９１６ 画像処理装置， ９１７ データベース