(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024098943
(43)【公開日】2024-07-24
(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム
(51)【国際特許分類】
A61B 1/045 20060101AFI20240717BHJP
G06T 7/00 20170101ALI20240717BHJP
G06T 7/32 20170101ALI20240717BHJP
【ＦＩ】
A61B1/045 610
G06T7/00 612
G06T7/32
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023099490
(22)【出願日】2023-06-16
(31)【優先権主張番号】18/095,783
(32)【優先日】2023-01-11
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】304050923
【氏名又は名称】オリンパスメディカルシステムズ株式会社
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100142789
【弁理士】
【氏名又は名称】柳 順一郎
(74)【代理人】
【識別番号】100201466
【弁理士】
【氏名又は名称】竹内 邦彦
(72)【発明者】
【氏名】若菜 和明
【テーマコード（参考）】
4C161
5L096
【Ｆターム（参考）】
4C161CC06
4C161DD03
4C161HH51
4C161LL02
4C161NN05
4C161QQ02
4C161QQ04
4C161QQ07
4C161SS21
4C161WW04
4C161WW07
4C161WW17
5L096AA02
5L096AA06
5L096BA06
5L096CA04
5L096DA01
5L096DA02
5L096EA14
5L096FA10
5L096FA34
5L096FA69
5L096GA10
5L096JA09
(57)【要約】 （修正有）
【課題】被写体全体の高精度な位置合わせを画像レジストレーションを行い、視野の移動および被写体の変形をさらに正確に補正する。
【解決手段】画像処理装置は、プロセッサを備える。プロセッサは、一様に配列する複数の追跡点を時系列の画像の中の１つである第１画像内に設定し、各追跡点を第１画像と第２画像との間で追跡し、各追跡点の追跡の成否を判定し、第２画像は、時系列の画像の中の第１画像とは異なる時刻の画像であり、追跡に成功した追跡点を用いた透視投影変換によって第２画像の画像平面を推定し、追跡に失敗した追跡点の第２画像上の位置を、画像平面への逆投影によって補正し、画像レジストレーションを複数の追跡点に基づいて第２画像に行うことによってレジストレーション画像を生成する。
【選択図】図３
【解決手段】画像処理装置は、プロセッサを備える。プロセッサは、一様に配列する複数の追跡点を時系列の画像の中の１つである第１画像内に設定し、各追跡点を第１画像と第２画像との間で追跡し、各追跡点の追跡の成否を判定し、第２画像は、時系列の画像の中の第１画像とは異なる時刻の画像であり、追跡に成功した追跡点を用いた透視投影変換によって第２画像の画像平面を推定し、追跡に失敗した追跡点の第２画像上の位置を、画像平面への逆投影によって補正し、画像レジストレーションを複数の追跡点に基づいて第２画像に行うことによってレジストレーション画像を生成する。
【選択図】図３
【特許請求の範囲】
【請求項1】
被写体の時系列の画像を処理する画像処理装置であって、
プロセッサを備え、
該プロセッサは、
一様に配列する複数の追跡点を前記時系列の画像の中の１つである第１画像内に設定し、
各前記追跡点を前記第１画像と第２画像との間で追跡し、各前記追跡点の追跡の成否を判定し、前記第２画像は、前記時系列の画像の中の前記第１画像とは異なる時刻の画像であり、
追跡に成功した前記追跡点を用いた透視投影変換によって前記第２画像の画像平面を推定し、
追跡に失敗した前記追跡点の前記第２画像上の位置を、前記画像平面への逆投影によって補正し、
前記第２画像を前記第１画像に位置合わせする画像レジストレーションを前記複数の追跡点に基づいて前記第２画像に行うことによって、レジストレーション画像を生成する、画像処理装置。
プロセッサを備え、
該プロセッサは、
一様に配列する複数の追跡点を前記時系列の画像の中の１つである第１画像内に設定し、
各前記追跡点を前記第１画像と第２画像との間で追跡し、各前記追跡点の追跡の成否を判定し、前記第２画像は、前記時系列の画像の中の前記第１画像とは異なる時刻の画像であり、
追跡に成功した前記追跡点を用いた透視投影変換によって前記第２画像の画像平面を推定し、
追跡に失敗した前記追跡点の前記第２画像上の位置を、前記画像平面への逆投影によって補正し、
前記第２画像を前記第１画像に位置合わせする画像レジストレーションを前記複数の追跡点に基づいて前記第２画像に行うことによって、レジストレーション画像を生成する、画像処理装置。
【請求項2】
前記プロセッサは、さらに、
前記被写体または術式に関する情報を取得し、
前記情報に応じて前記追跡点の追跡の条件を設定し、該条件は、前記追跡の成否判定の閾値、前記追跡に使用されるテンプレートの更新の閾値、および、前記複数の追跡点の配置の内、少なくとも１つを含む、請求項１に記載の画像処理装置。
前記被写体または術式に関する情報を取得し、
前記情報に応じて前記追跡点の追跡の条件を設定し、該条件は、前記追跡の成否判定の閾値、前記追跡に使用されるテンプレートの更新の閾値、および、前記複数の追跡点の配置の内、少なくとも１つを含む、請求項１に記載の画像処理装置。
【請求項3】
前記時系列の画像が、前記被写体の時系列の白色光画像を含み、
前記プロセッサが、前記第１画像および前記第２画像として前記白色光画像を用いて、前記複数の追跡点を追跡し、前記画像平面を推定し、前記追跡に失敗した前記追跡点の位置を補正する、請求項１に記載の画像処理装置。
前記プロセッサが、前記第１画像および前記第２画像として前記白色光画像を用いて、前記複数の追跡点を追跡し、前記画像平面を推定し、前記追跡に失敗した前記追跡点の位置を補正する、請求項１に記載の画像処理装置。
【請求項4】
前記時系列の画像が、前記被写体の時系列の蛍光画像をさらに含み、
前記プロセッサが、
前記第２画像として前記蛍光画像を用いて前記画像レジストレーションを行い、
時系列の前記レジストレーション画像の蛍光強度に基づいて前記被写体の血流を分析する、請求項３に記載の画像処理装置。
前記プロセッサが、
前記第２画像として前記蛍光画像を用いて前記画像レジストレーションを行い、
時系列の前記レジストレーション画像の蛍光強度に基づいて前記被写体の血流を分析する、請求項３に記載の画像処理装置。
【請求項5】
前記プロセッサが、さらに、
前記第１画像に血流の分析結果が重ね合わされたオーバレイ画像を生成し、
前記オーバレイ画像を表示装置に表示させる、請求項４に記載の画像処理装置。
前記第１画像に血流の分析結果が重ね合わされたオーバレイ画像を生成し、
前記オーバレイ画像を表示装置に表示させる、請求項４に記載の画像処理装置。
【請求項6】
前記プロセッサが、前記第１画像内のマスク領域を検出し、該マスク領域を除いた領域に前記複数の追跡点を設定する、請求項３に記載の画像処理装置。
【請求項7】
被写体の時系列の画像を処理する画像処理方法であって、
一様に配列する複数の追跡点を前記時系列の画像の中の１つである第１画像内に設定し、
各前記追跡点を前記第１画像と第２画像との間で追跡し、各前記追跡点の追跡の成否を判定し、前記第２画像は、前記時系列の画像の中の前記第１画像とは異なる時刻の画像であり、
追跡に成功した前記追跡点を用いた透視投影変換によって前記第２画像の画像平面を推定し、
追跡に失敗した前記追跡点の前記第２画像上の位置を、前記画像平面への逆投影によって補正し、
前記第２画像を前記第１画像に位置合わせする画像レジストレーションを前記複数の追跡点に基づいて前記第２画像に行うことによって、レジストレーション画像を生成する、ことを含む画像処理方法。
一様に配列する複数の追跡点を前記時系列の画像の中の１つである第１画像内に設定し、
各前記追跡点を前記第１画像と第２画像との間で追跡し、各前記追跡点の追跡の成否を判定し、前記第２画像は、前記時系列の画像の中の前記第１画像とは異なる時刻の画像であり、
追跡に成功した前記追跡点を用いた透視投影変換によって前記第２画像の画像平面を推定し、
追跡に失敗した前記追跡点の前記第２画像上の位置を、前記画像平面への逆投影によって補正し、
前記第２画像を前記第１画像に位置合わせする画像レジストレーションを前記複数の追跡点に基づいて前記第２画像に行うことによって、レジストレーション画像を生成する、ことを含む画像処理方法。
【請求項8】
被写体の時系列の画像を処理する画像処理プログラムであって、
一様に配列する複数の追跡点を前記時系列の画像の中の１つである第１画像内に設定し、
各前記追跡点を前記第１画像と第２画像との間で追跡し、各前記追跡点の追跡の成否を判定し、前記第２画像は、前記時系列の画像の中の前記第１画像とは異なる時刻の画像であり、
追跡に成功した前記追跡点を用いた透視投影変換によって前記第２画像の画像平面を推定し、
追跡に失敗した前記追跡点の前記第２画像上の位置を、前記画像平面への逆投影によって補正し、
前記第２画像を前記第１画像に位置合わせする画像レジストレーションを前記複数の追跡点に基づいて前記第２画像に行うことによって、レジストレーション画像を生成する、ことをコンピュータに実行させる、画像処理プログラム。
一様に配列する複数の追跡点を前記時系列の画像の中の１つである第１画像内に設定し、
各前記追跡点を前記第１画像と第２画像との間で追跡し、各前記追跡点の追跡の成否を判定し、前記第２画像は、前記時系列の画像の中の前記第１画像とは異なる時刻の画像であり、
追跡に成功した前記追跡点を用いた透視投影変換によって前記第２画像の画像平面を推定し、
追跡に失敗した前記追跡点の前記第２画像上の位置を、前記画像平面への逆投影によって補正し、
前記第２画像を前記第１画像に位置合わせする画像レジストレーションを前記複数の追跡点に基づいて前記第２画像に行うことによって、レジストレーション画像を生成する、ことをコンピュータに実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【0002】
従来、ＩＣＧ（indocyanine
Green）等の蛍光造影剤を使用した血流評価が広く知られ実施されている（例えば、特許文献１参照。）。臓器において、蛍光造影剤からの蛍光強度は血流によって次第に強まる。血流は、蛍光強度の立ち上がりから最高強度までの時間Ｔｍａｘに基づいて評価される。
Green）等の蛍光造影剤を使用した血流評価が広く知られ実施されている（例えば、特許文献１参照。）。臓器において、蛍光造影剤からの蛍光強度は血流によって次第に強まる。血流は、蛍光強度の立ち上がりから最高強度までの時間Ｔｍａｘに基づいて評価される。
【0003】
一方、画像内の非剛体の物体を追跡する技術が知られている（例えば、特許文献２参照。）。特許文献２には、薄板スプライン（ＴＰＳ）変換を用いてオブジェクトの非剛体運動をモデル化するシステムおよび方法が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第１０２１９７４２号明細書
【特許文献2】特表２００８－５４４４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
血流評価において、臓器の同一位置の蛍光強度が一定時間（例えば１分～２分）にわたって計測される。しかし、生体の臓器は、拍動等によって変形する。また、手持ち式の内視鏡によって臓器を観察する場合、内視鏡と臓器との間の距離および角度の変動によって内視鏡の視野が移動する。したがって、同一位置の蛍光強度を計測し続けることが困難である。
【0006】
被写体の同一位置を計測する１つの技術として、画像内に設定された注目領域（ＲＯＩ）を追跡する方法がある。この方法において、ＲＯＩを設定することができる領域は、処置具および臓器等の特徴を有する領域に限られ、任意の位置の追跡は困難である。また、追跡時間が長い程、追跡が失敗する可能性が高くなり、例えば１分～２分という長時間にわたってＲＯＩを追跡し続けることは難しい。
被写体を追跡する他の技術として、特許文献２のような画像を変形させる方法がある。この方法において、画像内に設定された複数の制御点が追跡され、制御点に基づいて画像の変形が行われる。しかし、ＲＯＩと同様、制御点を長時間にわたって追跡し続けることは難しい。
被写体を追跡する他の技術として、特許文献２のような画像を変形させる方法がある。この方法において、画像内に設定された複数の制御点が追跡され、制御点に基づいて画像の変形が行われる。しかし、ＲＯＩと同様、制御点を長時間にわたって追跡し続けることは難しい。
【課題を解決するための手段】
【0007】
本発明の一態様は、被写体の時系列の画像を処理する画像処理装置であって、プロセッサを備え、該プロセッサは、一様に配列する複数の追跡点を前記時系列の画像の中の１つである第１画像内に設定し、各前記追跡点を前記第１画像と第２画像との間で追跡し、各前記追跡点の追跡の成否を判定し、前記第２画像は、前記時系列の画像の中の前記第１画像とは異なる時刻の画像であり、追跡に成功した前記追跡点を用いた透視投影変換によって前記第２画像の画像平面を推定し、追跡に失敗した前記追跡点の前記第２画像上の位置を、前記画像平面への逆投影によって補正し、前記第２画像を前記第１画像に位置合わせする画像レジストレーションを前記複数の追跡点に基づいて前記第２画像に行うことによって、レジストレーション画像を生成する、画像処理装置である。
【0008】
本発明の他の態様は、被写体の時系列の画像を処理する画像処理方法であって、一様に配列する複数の追跡点を前記時系列の画像の中の１つである第１画像内に設定し、各前記追跡点を前記第１画像と第２画像との間で追跡し、各前記追跡点の追跡の成否を判定し、前記第２画像は、前記時系列の画像の中の前記第１画像とは異なる時刻の画像であり、追跡に成功した前記追跡点を用いた透視投影変換によって前記第２画像の画像平面を推定し、追跡に失敗した前記追跡点の前記第２画像上の位置を、前記画像平面への逆投影によって補正し、前記第２画像を前記第１画像に位置合わせする画像レジストレーションを前記複数の追跡点に基づいて前記第２画像に行うことによって、レジストレーション画像を生成する、ことを含む画像処理方法である。
【0009】
本発明の他の態様は、被写体の時系列の画像を処理する画像処理プログラムであって、一様に配列する複数の追跡点を前記時系列の画像の中の１つである第１画像内に設定し、各前記追跡点を前記第１画像と第２画像との間で追跡し、各前記追跡点の追跡の成否を判定し、前記第２画像は、前記時系列の画像の中の前記第１画像とは異なる時刻の画像であり、追跡に成功した前記追跡点を用いた透視投影変換によって前記第２画像の画像平面を推定し、追跡に失敗した前記追跡点の前記第２画像上の位置を、前記画像平面への逆投影によって補正し、前記第２画像を前記第１画像に位置合わせする画像レジストレーションを前記複数の追跡点に基づいて前記第２画像に行うことによって、レジストレーション画像を生成する、ことをコンピュータに実行させる、画像処理プログラムである。
【図面の簡単な説明】
【0010】
【図1】本発明の一実施形態に係るシステムの全体構成図である。
【図2】本発明の一実施形態に係る画像処理装置のブロック図である。
【図3】画像処理装置が実行する画像処理方法のフローチャートである。
【図4A】追跡点を設定するステップＳ１のフローチャートである。
【図4B】追跡点を追跡するステップＳ２のフローチャートである。
【図4C】時系列のレジストレーション画像を分析するステップＳ９のフローチャートである。
【図5A】複数の追跡点が設定されたターゲット画像を示す図である。
【図5B】ターゲット画像から時間が経過したソース画を示す図である。
【図6A】ソース画像上の追跡点を示す図である。
【図6B】追跡に失敗した追跡点の位置を補正した後のソース画像上の追跡点を示す図である。
【図7】透視投影変換を説明する図である。
【図8】時系列のレジストレーション画像から得られる蛍光強度の時間変化のデータの一例を示す図である。
【図9】被写体および術式と、追跡の条件との間の関係の一例を示すテーブルである。
【発明を実施するための形態】
【0011】
以下に、本発明の一実施形態に係る画像処理装置、画像処理方法および画像処理プログラムについて図面を参照して説明する。
図１は、本実施形態に係る画像処理装置１が適用されるシステム１００の一例を示している。システム１００は、内視鏡２、観察装置３、計測装置４および表示装置５を備える内視鏡システムであり、画像処理装置１は、計測装置４に搭載される。観察装置３および計測装置４は、映像信号および制御信号等の信号を相互に送受信する。計測装置４は、物理サーバ６およびクラウドサーバ７等のサーバに接続され、計測装置４および画像処理装置１によって生成された分析結果がサーバ６，７に保存されてもよい。計測装置４は、観察装置３と一体であってもよい。
図１は、本実施形態に係る画像処理装置１が適用されるシステム１００の一例を示している。システム１００は、内視鏡２、観察装置３、計測装置４および表示装置５を備える内視鏡システムであり、画像処理装置１は、計測装置４に搭載される。観察装置３および計測装置４は、映像信号および制御信号等の信号を相互に送受信する。計測装置４は、物理サーバ６およびクラウドサーバ７等のサーバに接続され、計測装置４および画像処理装置１によって生成された分析結果がサーバ６，７に保存されてもよい。計測装置４は、観察装置３と一体であってもよい。
【0012】
内視鏡２は、生体内の被写体に白色光および励起光を同時にまたは交互に照射し、白色光で照明された被写体および励起光で照明された被写体を同時にまたは交互に撮影する。これにより、内視鏡２は、同時刻または略同時刻の白色光画像および蛍光画像のペアを時系列的に取得し出力する。被写体は、血流評価のためにＩＣＧのような蛍光造影剤が投与された生体内の臓器である。白色光画像は、被写体からの白色光の反射光を撮像した画像であり、蛍光画像は、励起光によって励起された蛍光造影剤からの蛍光を撮像した画像である。
【0013】
図２は、画像処理装置１のブロック図を示している。
画像処理装置１は、入力部１１と、中央演算処理装置のようなプロセッサ１２と、メモリ１３と、記憶部１４と、出力部１５とを備える。
入力部１１は、公知の入力インタフェースを有し、観察装置３と接続される。内視鏡２から出力された白色光画像および蛍光画像のペアは、入力部１１を通って画像処理装置１に時系列的に入力される。
出力部１５は、公知の出力インタフェースを有し、表示装置５と接続される。白色光画像および蛍光画像のペアは、出力部１５から表示装置５に時系列的に出力され、表示装置５に表示される。
画像処理装置１は、入力部１１と、中央演算処理装置のようなプロセッサ１２と、メモリ１３と、記憶部１４と、出力部１５とを備える。
入力部１１は、公知の入力インタフェースを有し、観察装置３と接続される。内視鏡２から出力された白色光画像および蛍光画像のペアは、入力部１１を通って画像処理装置１に時系列的に入力される。
出力部１５は、公知の出力インタフェースを有し、表示装置５と接続される。白色光画像および蛍光画像のペアは、出力部１５から表示装置５に時系列的に出力され、表示装置５に表示される。
【0014】
メモリ１３は、ＲＡＭのような揮発性の記憶装置からなり、プロセッサ１２の作業領域として使用される。
記憶部１４は、例えばＲＯＭ、フラッシュメモリまたはハードディスクドライブのような、コンピュータ読み取り可能な非一時的な記録媒体からなる。記憶部１４は、画像処理方法をプロセッサ１２に実行させるための画像処理プログラム１４ａを記憶している。プロセッサ１２は、画像処理装置１に時系列的に入力される白色光画像および蛍光画像のペアを画像処理プログラム１４ａに従って処理し、被写体Ｓの血流を分析する。
記憶部１４は、例えばＲＯＭ、フラッシュメモリまたはハードディスクドライブのような、コンピュータ読み取り可能な非一時的な記録媒体からなる。記憶部１４は、画像処理方法をプロセッサ１２に実行させるための画像処理プログラム１４ａを記憶している。プロセッサ１２は、画像処理装置１に時系列的に入力される白色光画像および蛍光画像のペアを画像処理プログラム１４ａに従って処理し、被写体Ｓの血流を分析する。
【0015】
次に、プロセッサ１２が実行する画像処理方法について説明する。
プロセッサ１２は、開始トリガに応答して画像処理方法を実行する。開始トリガは、例えば、計測装置４に設けられたスイッチ等の入力デバイス８をユーザが操作することによって、画像処理装置１に入力される。ユーザは、蛍光造影剤を生体に投与後、開始トリガを画像処理装置１に入力する。
プロセッサ１２は、開始トリガに応答して画像処理方法を実行する。開始トリガは、例えば、計測装置４に設けられたスイッチ等の入力デバイス８をユーザが操作することによって、画像処理装置１に入力される。ユーザは、蛍光造影剤を生体に投与後、開始トリガを画像処理装置１に入力する。
【0016】
図３に示されるように、本実施形態に係る画像処理方法は、ターゲット画像Ａ内に追跡点Ｐ１，Ｐ２，…．Ｐｎを設定するステップＳ１と、ターゲット画像Ａとソース画像Ｂとの間で各追跡点Ｐｉ（ｉ＝１，２，…，ｎ）を追跡するステップＳ２と、各追跡点Ｐｉの追跡の成否を判定するステップＳ３と、ソース画像Ｂの画像平面を推定するステップＳ４と、追跡に失敗した追跡点Ｐｉの位置を補正するステップＳ５と、ソース画像Ｂのレジストレーション画像を生成するステップＳ６と、追跡に失敗した追跡点Ｐｉの追跡用のテンプレートを更新するステップＳ７と、レジストレーション画像Ｃを記憶するステップＳ８と、レジストレーション画像Ｃを用いて血流を分析するステップＳ９と、分析結果を作成するステップＳ１０と、分析結果を出力するステップＳ１１と、を含む。
【0017】
図５Ａに示されるように、ターゲット画像（第１画像）Ａは、画像処理装置１に時系列に入力される被写体Ｓの画像の１つであり、本実施形態において白色光画像である。図５Ｂに示されるように、ソース画像（第２画像）Ｂは、画像処理装置１に時系列に入力される被写体Ｓの画像の内、ターゲット画像Ａとは異なる時刻における画像であり、本実施形態において白色光画像および蛍光画像である。
【0018】
プロセッサ１２は、所定の配列パターンで一様に配列する複数の追跡点Ｐ１，Ｐ２，…，Ｐｎをターゲット画像Ａ内に設定する（ステップＳ１）。
具体的には、図４Ａに示されるように、プロセッサ１２は、例えば開始トリガの入力後の最初の白色光画像を、ターゲット画像Ａに決定する（ステップＳ１０１）。そして、図５Ａに示されるように、プロセッサ１２は、複数の追跡点Ｐ１，Ｐ２，…，Ｐｎの位置を、ターゲット画像Ａの縦方向および横方向に等間隔で配列するグリッド線の交点に決定する（ステップＳ１０３）。したがって、複数の追跡点Ｐ１，Ｐ２，…，Ｐｎは、縦方向および横方向に等間隔で正方配列する。
具体的には、図４Ａに示されるように、プロセッサ１２は、例えば開始トリガの入力後の最初の白色光画像を、ターゲット画像Ａに決定する（ステップＳ１０１）。そして、図５Ａに示されるように、プロセッサ１２は、複数の追跡点Ｐ１，Ｐ２，…，Ｐｎの位置を、ターゲット画像Ａの縦方向および横方向に等間隔で配列するグリッド線の交点に決定する（ステップＳ１０３）。したがって、複数の追跡点Ｐ１，Ｐ２，…，Ｐｎは、縦方向および横方向に等間隔で正方配列する。
【0019】
白色光画像は、被写体Ｓを含む内視鏡２の視野Ｄの外側に、黒一色のマスク領域Ｅを含む。好ましくは、プロセッサ１２は、例えば色に基づいて、ターゲット画像Ａ内のマスク領域Ｅを検出し（ステップＳ１０２）、マスク領域Ｅを除いた他の領域の全体または略全体に複数の追跡点Ｐ１，Ｐ２，…，Ｐｎを設定する（ステップＳ１０３）。図５Ａにおいて、小さい白丸は、追跡点を示す。
プロセッサ１２は、ターゲット画像Ａ内に設定された計測領域Ｆ内に複数の追跡点Ｐ１，Ｐ２，…，Ｐｎを一様に設定してもよい。計測領域Ｆは、ターゲット画像Ａ内の被写体Ｓの全体または広範囲を含むことが好ましく、ユーザによって設定されてもよい。
プロセッサ１２は、ターゲット画像Ａ内に設定された計測領域Ｆ内に複数の追跡点Ｐ１，Ｐ２，…，Ｐｎを一様に設定してもよい。計測領域Ｆは、ターゲット画像Ａ内の被写体Ｓの全体または広範囲を含むことが好ましく、ユーザによって設定されてもよい。
【0020】
ステップＳ１の後、プロセッサ１２は、テンプレートマッチングによってターゲット画像Ａとソース画像Ｂとの間で各追跡点Ｐｉを追跡する（ステップＳ２）。
追跡に使用されるソース画像Ｂは、ターゲット画像Ａから時間が経過した白色光画像である。内視鏡２が手持ち式の場合、被写体Ｓに対して内視鏡２を長時間にわたって一定の位置に保持することは困難であり、内視鏡２の視野が被写体Ｓに対して３次元的に移動する。また、生体内の臓器である被写体Ｓは拍動等によって変形する。したがって、図５Ｂに示されるように、ソース画像Ｂ内の被写体Ｓは、ターゲット画像Ａ内の被写体Ｓに対して位置ずれし得る。
追跡に使用されるソース画像Ｂは、ターゲット画像Ａから時間が経過した白色光画像である。内視鏡２が手持ち式の場合、被写体Ｓに対して内視鏡２を長時間にわたって一定の位置に保持することは困難であり、内視鏡２の視野が被写体Ｓに対して３次元的に移動する。また、生体内の臓器である被写体Ｓは拍動等によって変形する。したがって、図５Ｂに示されるように、ソース画像Ｂ内の被写体Ｓは、ターゲット画像Ａ内の被写体Ｓに対して位置ずれし得る。
【0021】
具体例には、図４Ｂに示されるように、プロセッサ１２は、ターゲット画像Ａから各追跡点Ｐｉ用のテンプレートを作成する（ステップＳ２２）。各テンプレートは、ターゲット画像Ａ内の小領域であり、１つの追跡点Ｐｉを含む。
次に、プロセッサ１２は、テンプレートを使用したテンプレートマッチングによって、ソース画像Ｂ内の追跡点Ｐ１，Ｐ２，…，Ｐｎを決定する（ステップＳ２４）。具体的には、プロセッサ１２は、各テンプレートと最も類似するマッチング領域をソース画像Ｂ内で探索し、各テンプレート内の追跡点Ｐｉと対応するマッチング領域内の位置をソース画像Ｂ内の追跡点Ｐｉに決定する。
次に、プロセッサ１２は、テンプレートを使用したテンプレートマッチングによって、ソース画像Ｂ内の追跡点Ｐ１，Ｐ２，…，Ｐｎを決定する（ステップＳ２４）。具体的には、プロセッサ１２は、各テンプレートと最も類似するマッチング領域をソース画像Ｂ内で探索し、各テンプレート内の追跡点Ｐｉと対応するマッチング領域内の位置をソース画像Ｂ内の追跡点Ｐｉに決定する。
【0022】
プロセッサ１２は、ステップＳ２２，Ｓ２４の前に、構造強調およびノイズ除去等の画像処理をターゲット画像Ａおよびソース画像Ｂに施してもよい（ステップＳ２１，Ｓ２３）。画像処理が施されたターゲット画像Ａおよびソース画像ＢをステップＳ２２，Ｓ２４において使用することによって、追跡の精度を向上することができる。
ステップＳ２４において、プロセッサ１２は、テンプレートマッチング以外の手法、例えばオプティカルフローを用いて各追跡点Ｐｉを追跡してもよい。
ステップＳ２４において、プロセッサ１２は、テンプレートマッチング以外の手法、例えばオプティカルフローを用いて各追跡点Ｐｉを追跡してもよい。
【0023】
上述した視野の移動、被写体Ｓの変形およびオクルージョン等が原因で、追跡点Ｐｉの追跡が失敗することがある。特に、長時間、例えば１分～２分にわたって追跡する場合、追跡の失敗の可能性が高くなる
ステップＳ２の後、プロセッサ１２は、テンプレートとソース画像Ｂ内のマッチング領域との間の類似度に基づいて、各追跡点Ｐｉの追跡の成否を判定する。具体的には、図６Ａに示されるように、プロセッサ１２は、類似度が所定の第１閾値Ｔｈ１以上である場合、追跡に成功したと判定し、類似度が閾値Ｔｈ１未満である場合、追跡に失敗したと判定する。図６Ａおよび図６Ｂにおいて、白丸は、追跡に成功した追跡点である成功点を示し、黒丸は、追跡に失敗した追跡点である失敗点を示す。
ステップＳ２の後、プロセッサ１２は、テンプレートとソース画像Ｂ内のマッチング領域との間の類似度に基づいて、各追跡点Ｐｉの追跡の成否を判定する。具体的には、図６Ａに示されるように、プロセッサ１２は、類似度が所定の第１閾値Ｔｈ１以上である場合、追跡に成功したと判定し、類似度が閾値Ｔｈ１未満である場合、追跡に失敗したと判定する。図６Ａおよび図６Ｂにおいて、白丸は、追跡に成功した追跡点である成功点を示し、黒丸は、追跡に失敗した追跡点である失敗点を示す。
【0024】
類似度として、下式のＺＮＣＣ（Zero means Normalized Cross Correlation）が使用されてもよい。ＺＮＣＣは、正規化相互相関を使用して算出される画像の類似度の評価値である。ＺＮＣＣは、類似度が高い程、１に近づく。閾値Ｔｈ１は、例えば、０．８である。
上式において、I（ｘ，ｙ）はマッチング領域の画素値、Ｔ（ｘ，ｙ）は、テンプレートの画素値、μＩは、マッチング領域の画素値の平均、μＴは、テンプレートの画素値の平均である。
【数1】
【0025】
ステップＳ３の後、図７に示されるように、プロセッサ１２は、成功点のみを用いた透視投影変換によって、ソース画像Ｂの画像平面αを推定する（ステップＳ４）。透視投影変換は、内視鏡２のカメラの内部パラメータおよび外部パラメータを用いた下式に基づいて行われる。
【数2】
【0026】
（Ｘ，Ｙ，Ｚ）は、ワールド座標系Σｗでの３次元座標であり、（ｕ，ｖ）は、ソース画像の画像平面α上の座標である。ｃｘ，ｃｙは、カメラ主点（通常は、画像の中心）であり、ｆｘ，ｆｙは、ピクセル単位で表される焦点距離である。
内部パラメータｃｘ，ｃｙ，ｆｘ，ｆｙを含む行列は、内部パラメータ行列またはカメラ行列であり、焦点距離ｆｙ，ｆｙが不変である場合、カメラ行列は変化しない。
外部パラメータｒ，ｔを含む行列は、並進回転行列である外部パラメータ行列であり、座標（Ｘ，Ｙ，Ｚ）をカメラ座標系Σｃａｍｅｒａに変換する。外部パラメータ行列は、静的環境に対するカメラの動き、または、カメラに対する被写体の剛体運動を表す。
ソース画像Ｂの画像平面αを推定することは、すなわち、外部パラメータ行列を決定し、それにより、ソース画像Ｂの取得時のカメラの位置および姿勢を決定することである。
内部パラメータｃｘ，ｃｙ，ｆｘ，ｆｙを含む行列は、内部パラメータ行列またはカメラ行列であり、焦点距離ｆｙ，ｆｙが不変である場合、カメラ行列は変化しない。
外部パラメータｒ，ｔを含む行列は、並進回転行列である外部パラメータ行列であり、座標（Ｘ，Ｙ，Ｚ）をカメラ座標系Σｃａｍｅｒａに変換する。外部パラメータ行列は、静的環境に対するカメラの動き、または、カメラに対する被写体の剛体運動を表す。
ソース画像Ｂの画像平面αを推定することは、すなわち、外部パラメータ行列を決定し、それにより、ソース画像Ｂの取得時のカメラの位置および姿勢を決定することである。
【0027】
ステップＳ４の後、図６Ｂに示されるように、プロセッサ１２は、失敗点を推定された画像平面αへ逆投影することによって、ソース画像Ｂ上の失敗点の位置を補正する（ステップＳ５）。具体的には、プロセッサ１２は、ステップＳ４において推定された行列およびカメラ位置を用いて、ターゲット画像Ａ内の失敗点を画像平面α上に逆投影し、ソース画像Ｂ上の失敗点の位置を、逆投影された位置に補正する。これにより、追跡に失敗した追跡点Ｐｉが、ソース画像Ｂ上の適切な位置に、具体的にはグリッド線の交点に、復帰する。
【0028】
ステップＳ５の後、プロセッサ１２は、類似度が所定の第２閾値Ｔｈ２を下回る場合、失敗点用のテンプレートを、補正された位置の追跡点Ｐｉを含むターゲット画像Ａ内の小領域にテンプレートを更新する（ステップＳ７）。第２閾値Ｔｈ２は、第１閾値Ｔｈ１以下の値である。例えば、第１閾値Ｔｈ１が０．９である場合、第２閾値Ｔｈ２は０．８～０．９の範囲内の値である。したがって、追跡が成功した場合、プロセッサ１２は、次の追跡においても同一のテンプレートを使用する。一方、追跡が失敗した場合、プロセッサ１２は、次の追跡において更新されたテンプレートを使用する。これにより、被写体Ｓの色の変化やテクスチャの変化に応じてテンプレートが更新され、追跡に失敗した後もなお、更新されたテンプレートを使用して追跡点Ｐｉを追跡することができる。
【0029】
ステップＳ５の後、プロセッサ１２は、複数の追跡点Ｐ１，Ｐ２，…，Ｐｎに基づく画像レジストレーションをソース画像Ｂに行うことによって、ソース画像Ｂのレジストレーション画像Ｃを生成する（ステップＳ６）。画像レジストレーションが行われるソース画像Ｂは、ステップＳ２～Ｓ５においてソース画像Ｂとして使用された白色光画像とペアを成す蛍光画像である。画像レジストレーションは、ソース画像Ｂを変形させることによってソース画像Ｂ内の被写体Ｓをターゲット画像Ａ内の被写体Ｓに位置合わせする処理である。図５Ｃに示されるように、画像レジストレーションによって、視野の移動および被写体Ｓの変形に因るターゲット画像Ａに対するソース画像Ｂ内の被写体Ｓの位置ずれが補正または低減されたレジストレーション画像Ｃが生成される。図５Ｃにおいて、ハッチング領域は、蛍光領域を示している。
【0030】
画像レジストレーションは、追跡点Ｐ１，Ｐ２，…，Ｐｎを制御点とするＴＰＳ（Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ）変換を用いて行われる。具体的には、プロセッサ１２は、蛍光画像内に複数の追跡点Ｐ１，Ｐ２，…，Ｐｎを設定する。蛍光画像内の追跡点Ｐ１，Ｐ２，…，Ｐｎの位置は、失敗点の位置が補正された後の白色光画像内の追跡点Ｐ１，Ｐ２，…，Ｐｎの位置とそれぞれ同一である。次に、プロセッサ１２は、蛍光画像内の追跡点Ｐｉがターゲット画像Ａ内の対応する追跡点Ｐｉと一致するように蛍光画像を非線形的に歪めることによって、レジストレーション画像Ｃを生成する。
ステップＳ６の後、プロセッサ１２は、生成されたレジストレーション画像Ｃをメモリ１３または記憶部１４に記憶する（ステップＳ８）。
ステップＳ６の後、プロセッサ１２は、生成されたレジストレーション画像Ｃをメモリ１３または記憶部１４に記憶する（ステップＳ８）。
【0031】
ＴＰＳ変換は計算量が多いので、他の手法、例えば透視投影を用いた画像レジストレーションが用いられてもよい。
また、プロセッサ１２は、面積ゲイン補正、シェーディング補正、ＲＧＢからＩＲへの変換等の各種の画像処理を各ソース画像Ｂである蛍光画像に施し、画像処理が施された蛍光画像に画像レジストレーションを行ってもよい。
また、プロセッサ１２は、面積ゲイン補正、シェーディング補正、ＲＧＢからＩＲへの変換等の各種の画像処理を各ソース画像Ｂである蛍光画像に施し、画像処理が施された蛍光画像に画像レジストレーションを行ってもよい。
【0032】
プロセッサ１２は、白色光画像および蛍光画像の新しいペアが画像処理装置１に入力される度にステップＳ１～Ｓ８を繰り返し、それにより、時系列のレジストレーション画像Ｃがメモリ１３または記憶部１４に蓄積される。
プロセッサ１２は、終了トリガに応答してステップＳ１～Ｓ８の処理を終了し（ステップＳ１２のＹＥＳ）、次のステップＳ９に進む。例えば、終了トリガは、ユーザが入力デバイス８を操作することによって画像処理装置１に入力されるか、または、開始トリガから所定の計測時間が経過したことが終了トリガとして用いられる。
プロセッサ１２は、終了トリガに応答してステップＳ１～Ｓ８の処理を終了し（ステップＳ１２のＹＥＳ）、次のステップＳ９に進む。例えば、終了トリガは、ユーザが入力デバイス８を操作することによって画像処理装置１に入力されるか、または、開始トリガから所定の計測時間が経過したことが終了トリガとして用いられる。
【0033】
プロセッサ１２は、蓄積された時系列のレジストレーション画像Ｃを用いて血流を分析する（ステップＳ９）。
具体的には、図４Ｃに示されるように、プロセッサ１２は、時系列のレジストレーション画像Ｃ内の各位置の蛍光強度をサンプリングする（ステップＳ９１）。プロセッサ１２は、レジストレーション画像Ｃ内の各領域（例えば８画素×８画素）の蛍光強度の平均をサンプリングしてもよい。これにより、図８に示されるように、ターゲット画像Ａ内の被写体Ｓの各位置または各領域について、蛍光強度の時間変化のデータが得られる。
具体的には、図４Ｃに示されるように、プロセッサ１２は、時系列のレジストレーション画像Ｃ内の各位置の蛍光強度をサンプリングする（ステップＳ９１）。プロセッサ１２は、レジストレーション画像Ｃ内の各領域（例えば８画素×８画素）の蛍光強度の平均をサンプリングしてもよい。これにより、図８に示されるように、ターゲット画像Ａ内の被写体Ｓの各位置または各領域について、蛍光強度の時間変化のデータが得られる。
【0034】
次に、プロセッサ１２は、ターゲット画像Ａ内の被写体Ｓの各位置について、蛍光強度のデータを使用して血流の評価値を算出する（ステップＳ９３）。評価値の一例は、開始時刻Ｔ１から最大時刻Ｔ２までの時間の長さＴｍａｘである。開始時刻Ｔ１は、蛍光強度が立ち上がる時刻であり、最大時刻Ｔ２は、蛍光強度が最大になる時刻である。評価値の他の例は、計測時間にわたる蛍光強度の積分値Ｉである。
プロセッサ１２は、ノイズ除去、移動平均等を用いた平滑化、蛍光強度の正規化等の各種のデータ処理を蛍光強度のデータに施し（ステップＳ９２）、処理が施されたデータをステップＳ９３において使用してもよい。
次に、プロセッサ１２は、ターゲット画像Ａ内の被写体Ｓの各位置または各領域の評価値の大きさを色を用いて表現したカラーマップを作成する（ステップＳ９４）。
プロセッサ１２は、ノイズ除去、移動平均等を用いた平滑化、蛍光強度の正規化等の各種のデータ処理を蛍光強度のデータに施し（ステップＳ９２）、処理が施されたデータをステップＳ９３において使用してもよい。
次に、プロセッサ１２は、ターゲット画像Ａ内の被写体Ｓの各位置または各領域の評価値の大きさを色を用いて表現したカラーマップを作成する（ステップＳ９４）。
【0035】
、
ステップＳ９の後、プロセッサ１２は、表示装置５に表示するための少なくとも１つの分析結果を作成する（ステップＳ１０）。分析結果は、例えば、カラーマップをターゲット画像Ａに重ね合わせたオーバレイ画像である。分析結果は、カラーマップのみであってもよく、ターゲット画像Ａ内の任意の位置における蛍光強度の時間変化を表わすグラフであってもよい。分析結果は、被写体Ｓの各位置における血流の情報を表わす画像であってもよい。血流の情報は、例えば、時間Ｔｍａｘ、または、積分値Ｉから算出される時間平均血流量である。
ステップＳ１０の後、プロセッサ１２は、分析結果を表示装置５に出力し、表示装置５に表示させる（ステップＳ１１）。ユーザは、分析結果に基づいて、被写体Ｓの各位置の血流を認識することができる。
ステップＳ９の後、プロセッサ１２は、表示装置５に表示するための少なくとも１つの分析結果を作成する（ステップＳ１０）。分析結果は、例えば、カラーマップをターゲット画像Ａに重ね合わせたオーバレイ画像である。分析結果は、カラーマップのみであってもよく、ターゲット画像Ａ内の任意の位置における蛍光強度の時間変化を表わすグラフであってもよい。分析結果は、被写体Ｓの各位置における血流の情報を表わす画像であってもよい。血流の情報は、例えば、時間Ｔｍａｘ、または、積分値Ｉから算出される時間平均血流量である。
ステップＳ１０の後、プロセッサ１２は、分析結果を表示装置５に出力し、表示装置５に表示させる（ステップＳ１１）。ユーザは、分析結果に基づいて、被写体Ｓの各位置の血流を認識することができる。
【0036】
このように、本実施形態によれば、ターゲット画像Ａの後に取得された時系列のソース画像Ｂから時系列のレジストレーション画像Ｃが生成される。各レジストレーション画像Ｃは、ターゲット画像Ａに対して被写体Ｓの位置の誤差が無い、または少ない画像である。このような時系列のレジストレーション画像Ｃを使用することによって、被写体Ｓの同一位置の蛍光強度を一定時間にわたって計測することができ、被写体Ｓの各位置の血流を正確に分析することができる。
【0037】
また、本実施形態によれば、画像レジストレーションに使用される複数の追跡点Ｐ１，Ｐ２，…，Ｐｎは、プロセッサ１２によってターゲット画像Ａ内に自動的に設定される。すなわち、ユーザがＲＯＩ（region of interest）のような追跡点を設定する必要がない。
【0038】
また、本実施形態によれば、追跡点Ｐｉの追跡が失敗した後、追跡点Ｐｉのソース画像Ｂ上の位置が逆投影によって補正され、その後、位置が補正された追跡点Ｐｉが更新されたテンプレートを使用して追跡される。これにより、追跡が途中で破綻することなく、全ての追跡点Ｐ１，Ｐ２，…，Ｐｎを長時間（例えば、１分から２分）にわたって追跡することができる。
画像レジストレーションによってソース画像Ｂをターゲット画像Ａに対して正確に位置合わせするためには、ターゲット画像Ａ内の被写体Ｓの全体にわたって追跡点Ｐ１，Ｐ２，…，Ｐｎを正確に追跡することが必要である。仮に、失敗点Ｐｉの位置の補正が行われない場合、追跡に一度失敗した追跡点Ｐｉをその後正確に追跡することができず、その結果、画像レジストレーションの精度が低下する。
画像レジストレーションによってソース画像Ｂをターゲット画像Ａに対して正確に位置合わせするためには、ターゲット画像Ａ内の被写体Ｓの全体にわたって追跡点Ｐ１，Ｐ２，…，Ｐｎを正確に追跡することが必要である。仮に、失敗点Ｐｉの位置の補正が行われない場合、追跡に一度失敗した追跡点Ｐｉをその後正確に追跡することができず、その結果、画像レジストレーションの精度が低下する。
【0039】
また、追跡点として特徴点を追跡する従来の追跡方法において、追跡点を設定することができる位置は、処置具９および被写体Ｓの特徴的な構造等の位置に限られ、画像内の任意の位置に追跡点を設定することができない。したがって、血流を分析することができる位置も特徴点を設定することができる位置に限られる。
これに対し、本実施形態によれば、複数の追跡点Ｐ１，Ｐ２，…，Ｐｎは、特徴の有無に関係なく、ターゲット画像Ａ内に一様に設定される。これにより、ターゲット画像Ａ内の被写体Ｓ全体を追跡することができ、被写体Ｓ全体の高精度な位置合わせを画像レジストレーションによって行うことができる。また、それにより、ターゲット画像Ａ内の被写体Ｓ全体の血流を分析することができる。
これに対し、本実施形態によれば、複数の追跡点Ｐ１，Ｐ２，…，Ｐｎは、特徴の有無に関係なく、ターゲット画像Ａ内に一様に設定される。これにより、ターゲット画像Ａ内の被写体Ｓ全体を追跡することができ、被写体Ｓ全体の高精度な位置合わせを画像レジストレーションによって行うことができる。また、それにより、ターゲット画像Ａ内の被写体Ｓ全体の血流を分析することができる。
【0040】
また、本実施形態によれば、位置が補正される追跡点は、追跡に失敗した追跡点のみであり、追跡に成功したソース画像Ｂ上の追跡点は、位置が補正されることなく画像レジストレーションに使用される。したがって、図６Ｂに示されるように、追跡に成功した追跡点は、視野の移動および被写体Ｓの変形等に因る微細な位置ずれを有する。このような追跡点を用いて画像レジストレーションを行うことによって、視野の移動および被写体Ｓの変形をさらに正確に補正することができる。
【0041】
また、内視鏡２は、光軸に垂直な方向の移動および光軸回りの回転のみならず、光軸に沿う前後方向にも移動し得、前後方向の移動によって視野が大きく拡大縮小し得る。デジタルカメラ等に搭載される５軸手ぶれ補正は、光軸に垂直な方向の移動および光軸回りの回転による視野の移動および回転を補正することはできるが、被写体Ｓの拡大縮小を補正することはできない。
本実施形態によれば、透視投影変換によって、ソース画像Ｂの画像平面αの該画像平面αに沿う方向の移動および回転のみならず、カメラ位置から画像平面αまでの距離も推定される。したがって、被写体Ｓの拡大縮小に因るソース画像Ｂ上の追跡点Ｐｉの位置ずれも補正することができる。
本実施形態によれば、透視投影変換によって、ソース画像Ｂの画像平面αの該画像平面αに沿う方向の移動および回転のみならず、カメラ位置から画像平面αまでの距離も推定される。したがって、被写体Ｓの拡大縮小に因るソース画像Ｂ上の追跡点Ｐｉの位置ずれも補正することができる。
【0042】
また、マスク領域Ｅ内の追跡点の追跡は不要であり、かつ、マスク領域Ｅのサイズおよび形状は内視鏡２によって異なる。本実施形態によれば、ターゲット画像Ａ内のマスク領域Ｅを自動的に検出し、マスク領域Ｅを除いた領域に追跡点Ｐ１，Ｐ２，…，Ｐｎを設定することによって、追跡に係る計算量および時間を低減することができる。
【0043】
上記実施形態において、プロセッサ１２は、被写体Ｓまたは術式に関する情報を取得し、情報に基づいて追跡点の追跡の条件を変更してもよい。追跡の条件は、追跡の成否判定の閾値Ｔｈ１（成功値）、テンプレートの更新の閾値Ｔｈ２（更新判定値）および追跡点の配置の内、少なくとも１つを含む。追跡点の配置は、ターゲット画像Ａの横方向および縦方向の各々における追跡点の間隔または数、およびテンプレートのサイズの内、少なくとも１つを含む。図９は、被写体Ｓおよび術式と、条件との関係の一例を示している。
この場合、画像処理装置１は、前記情報を取得する取得部を備えていてもよい。取得部は、例えば、入力デバイス８であり、ユーザは、入力デバイス８を使用して被写体Ｓの種類および術式の少なくとも一方を画像処理装置１に入力することができる。
この場合、画像処理装置１は、前記情報を取得する取得部を備えていてもよい。取得部は、例えば、入力デバイス８であり、ユーザは、入力デバイス８を使用して被写体Ｓの種類および術式の少なくとも一方を画像処理装置１に入力することができる。
【0044】
上記実施形態において、画像処理装置１は、当該画像処理装置１にリアルタイムで入力される時系列の白色光画像および蛍光画像を処理することとしたが、これに代えて、過去に取得された時系列の白色光画像および蛍光画像を処理してもよい。例えば、画像処理装置１は、メモリ１３または記憶部１４に記録された被写体Ｓの動画を処理してもよい。
【0045】
上記実施形態において、ソース画像が、ターゲット画像の後に取得された画像であることとしたが、これに代えて、ターゲット画像の前に取得された画像であってもよい。
例えば、録画された動画を用いて時系列のレジストレーション画像Ｃを生成する場合、任意の時刻の１つの白色光画像をターゲット画像に決定し、他の時刻の白色光画像および蛍光画像をソース画像として用いてもよい。
例えば、録画された動画を用いて時系列のレジストレーション画像Ｃを生成する場合、任意の時刻の１つの白色光画像をターゲット画像に決定し、他の時刻の白色光画像および蛍光画像をソース画像として用いてもよい。
【0046】
上記実施形態において、画像処理装置１は、蛍光画像のレジストレーション画像Ｃを用いて血流を分析することとしたが、ステップＳ９～Ｓ１０を行わなくてもよい。この場合、画像処理装置１は、分析結果に代えて、時系列のレジストレーション画像Ｃを表示装置５に表示させてもよい。ユーザは、時系列のレジストレーション画像Ｃを見ることによって被写体Ｓの各位置における蛍光強度の正確な時間変化を認識することができ、各位置の血流を正確に評価することができる。
【0047】
上記実施形態において、プロセッサ１２は、蛍光画像のレジストレーション画像Ｃを生成することとしたが、これに代えて、またはこれに加えて、白色光画像のレジストレーション画像を生成してもよい。この場合、プロセッサ１２は、ステップＳ９～Ｓ１１に代えて、またはこれに加えて、白色光画像のレジストレーション画像を用いて被写体Ｓの分析を行ってもよい。
【0048】
上記実施形態において、プロセッサ１２は、正方配列する複数の追跡点Ｐ１，Ｐ２，…，Ｐｎをターゲット画像Ａ内に設定することとしたが、ターゲット画像Ａ内の複数の追跡点Ｐ１，Ｐ２，…，Ｐｎの配列はこれに限定されるものではなく、他の配列であってもよい。例えば、複数の追跡点Ｐ１，Ｐ２，…，Ｐｎは、任意の多角形の各頂点に幾何学的に配列されてもよい。また、複数の追跡点Ｐ１，Ｐ２，…，Ｐｎは、等間隔で規則的に配列することが好ましいが、不等間隔で不規則に配列してもよい。
【0049】
以上、本発明の実施形態および変形例について説明したが、本発明の範囲はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の改良が可能である。例えば、ターゲット画像およびソース画像は、白色光画像および蛍光画像以外の種類の画像であってもよい。また、ターゲット画像およびソース画像は、内視鏡画像以外の画像であってもよく、画像処理装置１は、内視鏡システム１００以外のシステムに適用されてもよい。
【符号の説明】
【0050】
１ 画像処理装置
５ 表示装置
１２ プロセッサ
１４ 記憶部（記録媒体）
Ｐｉ 追跡点
Ｓ 被写体
Ａ ターゲット画像（第１画像）
Ｂ ソース画像（第２画像）
Ｃ レジストレーション画像
Ｅ マスク領域
α 画像平面
５ 表示装置
１２ プロセッサ
１４ 記憶部（記録媒体）
Ｐｉ 追跡点
Ｓ 被写体
Ａ ターゲット画像（第１画像）
Ｂ ソース画像（第２画像）
Ｃ レジストレーション画像
Ｅ マスク領域
α 画像平面
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図7】
【図8】
【図9】