(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023168108
(43)【公開日】2023-11-24
(54)【発明の名称】画像形成装置
(51)【国際特許分類】
A61B 1/00 20060101AFI20231116BHJP
A61B 1/045 20060101ALI20231116BHJP
G01N 21/64 20060101ALI20231116BHJP
【ＦＩ】
A61B1/00 511
A61B1/045 610
G01N21/64 Z
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022079762
(22)【出願日】2022-05-13
(71)【出願人】
【識別番号】000133227
【氏名又は名称】株式会社タムロン
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】山下 直城
(72)【発明者】
【氏名】小野田 昭
(72)【発明者】
【氏名】瀬川 敏也
【テーマコード（参考）】
2G043
4C161
【Ｆターム（参考）】
2G043AA03
2G043BA16
2G043EA01
2G043FA01
2G043HA05
2G043HA09
2G043KA01
2G043KA02
2G043KA03
2G043KA09
2G043LA03
2G043NA01
2G043NA02
4C161AA00
4C161BB08
4C161CC06
4C161DD01
4C161FF40
4C161LL03
4C161NN01
4C161PP11
4C161QQ04
4C161QQ06
4C161WW04
4C161WW07
(57)【要約】
【課題】高輝度画像と高解像度画像との両方の特徴を兼ね備える画像を取得する新たな技術を提供する。
【解決手段】画像形成装置（１）は、観察対象を励起光で照射する光源（１０）、観察対象からの短波側ＮＩＲ光とＳＷＩＲ光とを分離して受光する撮像部（２０）、および、これらの光の画像から、短波側ＮＩＲ光の画像の画像濃度とＳＷＩＲ光の画像の明確さとを併せ持つ合成画像を生成する画像処理部（３０）とを有する。
【選択図】図１
【解決手段】画像形成装置（１）は、観察対象を励起光で照射する光源（１０）、観察対象からの短波側ＮＩＲ光とＳＷＩＲ光とを分離して受光する撮像部（２０）、および、これらの光の画像から、短波側ＮＩＲ光の画像の画像濃度とＳＷＩＲ光の画像の明確さとを併せ持つ合成画像を生成する画像処理部（３０）とを有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
観察対象に励起光を照射するための励起光源と、
前記励起光が照射されている前記観察対象からの光から、短波赤外領域の波長の光を含む第一の赤外光と、前記短波赤外領域よりも短波長側の波長領域の波長の光を含む第二の赤外光とを分離してそれぞれの光を受光する撮像部と、
前記撮像部で受光した前記第一の赤外光に応じた特定領域の境界を示す第一の画像と、前記撮像部で受光した前記第二の赤外光に応じた画像濃度を有する前記特定領域を含む第二の画像と、から合成される合成画像を生成する画像処理部と、
を有する画像形成装置。
前記励起光が照射されている前記観察対象からの光から、短波赤外領域の波長の光を含む第一の赤外光と、前記短波赤外領域よりも短波長側の波長領域の波長の光を含む第二の赤外光とを分離してそれぞれの光を受光する撮像部と、
前記撮像部で受光した前記第一の赤外光に応じた特定領域の境界を示す第一の画像と、前記撮像部で受光した前記第二の赤外光に応じた画像濃度を有する前記特定領域を含む第二の画像と、から合成される合成画像を生成する画像処理部と、
を有する画像形成装置。
【請求項2】
前記画像処理部は、前記撮像部で受光した前記第一の赤外光の光量の二値化による前記特定領域の像の輪郭を示す前記第一の画像を生成して前記第一の画像と前記第二の画像とを合成する赤外画像合成部を備える、請求項１に記載の画像形成装置。
【請求項3】
前記撮像部は、前記励起光が照射されている前記観察対象からの光から、前記第一の赤外光の成分および前記第二の赤外光の成分のそれぞれを分離する分離部を含む、請求項１に記載の画像形成装置。
【請求項4】
前記分離部は、前記励起光が照射されている前記観察対象からの光から、可視光波長の光をさらに分離する、請求項３に記載の画像形成装置。
【請求項5】
前記画像処理部は、前記撮像部で受光した前記可視光波長の光による可視光画像を生成する可視光画像処理部をさらに備え、
前記第一の画像と前記第二の画像とから合成される画像に前記可視光画像を特定の割合で加算して前記合成画像を生成する、請求項４に記載の画像形成装置。
前記第一の画像と前記第二の画像とから合成される画像に前記可視光画像を特定の割合で加算して前記合成画像を生成する、請求項４に記載の画像形成装置。
【請求項6】
前記撮像部は、前記励起光が照射されている前記観察対象からの、可視光から短波赤外までの領域の光のフォーカスシフトを補正する光学系を含む、請求項５に記載の画像形成装置。
【請求項7】
前記撮像部は、前記励起光が照射されている前記観察対象からの光から前記励起光をカットするフィルタを含む、請求項１に記載の画像形成装置。
【請求項8】
前記画像処理部は、前記第一の画像における前記特定領域外の領域の輝度信号がゼロに補正された前記合成画像を生成する、請求項１に記載の画像形成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像形成装置に関する。
【背景技術】
【0002】
生体組織中の腫瘍の有無や、腫瘍の位置を特定する医療用観察システムとして、蛍光イメージングが知られている。蛍光イメージングは、蛍光試薬を生体内に投与して生体内の腫瘍等に特異的に集積させた後、特定波長の光によって蛍光試薬を励起し、蛍光試薬が発する蛍光を撮像して画像表示する技術である。このように、生体内の蛍光を検出することで、腫瘍の有無および位置を把握することが可能となる。
【0003】
医療用の蛍光試薬としては、一般的にインドシアニングリーン（ＩＣＧ）が用いられる。ＩＣＧは、生体透過性に優れる近赤外光（ＮＩＲ）領域に含まれる波長の光（７５０～８５０ｎｍ）によって励起され、ＮＩＲ領域に含まれる、約８３５ｎｍをピーク波長とする蛍光を発する性質を有する。ＩＣＧの蛍光の波長領域は、より長波長側の短波赤外（ＳＷＩＲ、Ｓｈｏｒｔ ｗａｖｅｌｅｎｇｔｈ ｉｎｆｒａｒｅｄ）領域（９００～１６００ｎｍ）まで至ることが知られている。ＩＣＧの蛍光におけるＳＷＩＲ領域の成分は、ＮＩＲ領域（８３５ｎｍ）の成分に比べて、生体散乱の影響がさらに少ない。よって、皮膚下１ｃｍ以上の生体深部観察または高解像画像の取得が期待される。
【0004】
短波赤外領域の蛍光を検出する技術としては、ＳＷＩＲセンサを用いる９００ｎｍ以上のＩＣＧの蛍光を検出する技術が知られている（例えば、特許文献１参照）。また、上記の技術としては、ＳＷＩＲセンサを用いてＹｂ、ＮｄまたはＥｒなどの無機系蛍光物質の蛍光を検出する技術が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表２０１９－５１３２２９号公報
【特許文献2】特開２０１３－１６２９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ＩＣＧの蛍光のうちのピーク付近の波長の光は、高い輝度を有するが、通常、皮膚下数ｍｍ～１ｃｍ程度の生体のより深い部分で発生する場合では、生体組織によって散乱しやすく、このため当該光の像の解像度は低くなる。
【0007】
一方で、ＩＣＧのＳＷＩＲ領域の蛍光は、ピーク付近の波長の蛍光に比べて生体散乱の影響を受けにくいが、輝度が低い。加えてＳＷＩＲ域には水の吸収も含まれる。よって、生体のより深い部分で発生する場合では、当該蛍光の像の解像度は高いが、コントラストは低下する。
【0008】
画像のコントラストを高める方法には、露光時間または励起光量を増加させる方法が知られているが、前者は、それに伴いバックグラウンドも大きくなり、後者は、励起光の映り込みまたは励起光の生体への影響が強くなることがある。
【0009】
本発明の一態様は、高輝度画像と高解像度画像との両方の特徴を兼ね備える画像を取得する新たな技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記の課題を解決するために、本発明の一態様に係る画像形成装置は、観察対象に励起光を照射するための励起光源と、前記励起光が照射されている前記観察対象からの光から、短波赤外領域の波長の光を含む第一の赤外光と、前記短波赤外領域よりも短波長側の波長領域の波長の光を含む第二の赤外光とを分離してそれぞれの光を受光する撮像部と、前記撮像部で受光した前記第一の赤外光に応じた特定領域の境界を示す第一の画像と、前記撮像部で受光した前記第二の赤外光に応じた画像濃度を有する前記特定領域を含む第二の画像と、から合成される合成画像を生成する画像処理部と、を有する。
【発明の効果】
【0011】
本発明の一態様によれば、高輝度画像と高解像度画像との両方の特徴を兼ね備える画像を取得する新たな技術を提供することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態１に係る画像形成装置の機能的な構成を模式的に示す図である。
【図2】本発明の実施形態１に係る画像形成装置の画像処理部の機能的な構成を示すブロック図である。
【図3】本発明の実施形態１における観察対象例に含まれる試験体に励起光を照射したときの当該試験体を直接撮像した短波側ＮＩＲ画像、観察対象例の短波側ＮＩＲ画像、および観察対象例のＳＷＩＲ画像のそれぞれを示す写真を表す図である。
【図4】本発明の実施形態１における画像形成工程の一例を示すフローチャートである。
【図5】本発明の実施形態１におけるＳＷＩＲ画像のヒストグラムの一例を示す図である。
【図6】本発明の実施形態１における二値化されたＳＷＩＲ画像の一例を示す図である。
【図7】本発明の実施形態１における二値化されたＳＷＩＲ画像の輪郭と当該輪郭から形成したマスク画像の一例を示す図である。
【図8】本発明の実施形態１における短波側ＮＩＲ画像にマスク画像を重畳した合成画像の一例を示す図である。
【図9】本発明の実施形態２に係る画像形成装置の機能的な構成を模式的に示す図である。
【図10】本発明の実施形態２に係る画像形成装置におけるフォーカスシフト補正レンズの各波長におけるフォーカス位置の関係の一例を示す図である。
【図11】本発明の実施形態３に係る画像形成装置の機能的な構成を模式的に示す図である。
【図12】本発明の実施形態３におけるＮＩＲ－ＳＷＩＲフィルタの構成を模式的に示す図である。
【図13】本発明の実施形態４に係る画像形成装置の機能的な構成を模式的に示す図である。
【図14】本発明の実施形態４におけるＶＩＳ－ＮＩＲフィルタの構成を模式的に示す図である。
【図15】本発明の実施形態５に係る画像形成装置の機能的な構成を模式的に示す図である。
【図16】本発明の実施形態６に係る画像形成装置の機能的な構成を模式的に示す図である。
【図17】本発明の実施形態７に係る画像形成装置の機能的な構成を模式的に示す図である。
【図18】本発明の実施形態７におけるＳＷＩＲ－ＳＷＩＲフィルタの構成を模式的に示す図である。
【図19】本発明の実施形態８に係る画像形成装置の機能的な構成を模式的に示す図である。
【図20】本発明の実施形態８におけるＶＩＳ－ＮＩＲ－ＳＷＩＲフィルタの構成を模式的に示す図である。
【図21】本発明の実施形態８に係る画像形成装置の画像処理部の機能的な構成を示すブロック図である。
【図22】本発明の実施形態８に係る画像形成装置の動作例を説明するタイミングチャートを示す図である。
【図23】トップハット変換で合成画像を形成する画像処理の一例を示すフローチャートである。
【図24】トップハット変換で合成画像を形成する画像処理における原画像を模式的に示す図である。
【図25】トップハット変換で原画像を膨脹させた画像を模式的に示す図である。
【図26】トップハット変換で合成画像を形成する画像処理における抽出された境界部の画像を模式的に示す図である。
【図27】トップハット変換で合成画像を形成する画像処理における境界部の画像と第二の画像との重畳画像を模式的に示す図である。
【図28】ウェーブレット変換で合成画像を形成する画像処理の一例を示すフローチャートである。
【図29】ウェーブレット変換で合成画像を形成する画像処理における原画像を模式的に示す図である。
【図30】ウェーブレット変換によって分解された原画像の周波数成分の画像を模式的に示す図である。
【発明を実施するための形態】
【0013】
〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。本明細書において、「～」はその両端の数値を含む以上以下の範囲を表す。本発明の実施形態に係る画像形成装置は、蛍光試薬としてＩＣＧが体内に投与されている検査対象者を観察対象として説明する。
以下、本発明の一実施形態について、詳細に説明する。本明細書において、「～」はその両端の数値を含む以上以下の範囲を表す。本発明の実施形態に係る画像形成装置は、蛍光試薬としてＩＣＧが体内に投与されている検査対象者を観察対象として説明する。
【0014】
［画像形成装置の構成］
図１は、本発明の実施形態１に係る画像形成装置の機能的な構成を模式的に示す図である。画像形成装置１は、可視光による観察対象の撮影機能と、近赤外光などの励起光の照射によって観察対象に投与されたＩＣＧが励起して発する蛍光の撮影機能とを備えている。図１に示されるように、画像形成装置１は、光源１０、撮像部２０、画像処理部３０およびモニタ４０を有する。
図１は、本発明の実施形態１に係る画像形成装置の機能的な構成を模式的に示す図である。画像形成装置１は、可視光による観察対象の撮影機能と、近赤外光などの励起光の照射によって観察対象に投与されたＩＣＧが励起して発する蛍光の撮影機能とを備えている。図１に示されるように、画像形成装置１は、光源１０、撮像部２０、画像処理部３０およびモニタ４０を有する。
【0015】
光源１０は、可視光の光源と、ＩＣＧを励起するための近赤外光を励起光として発光する励起光源とを備える。励起光源は、例えば波長８０８ｎｍの光を発生するレーザである。励起光は、硬質挿入部２１の先端部に配置された光源１０から観察対象に可視光と同時に照射される。なお、同時に照射するとは、必ずしも照射期間が完全に一致している必要はなく、少なくとも一部の照射期間が重複していればよい。
【0016】
また、励起光は上記波長域の光に限定されず、蛍光試薬の種類によって適宜決定される。
【0017】
撮像部２０は、硬質挿入部（プローブ）２１と、撮像ユニット２２とを含む。硬質挿入部２１は、ＩＣＧが予め投与された状態の検査対象者の体内に挿入される部分であって、例えば、直径約５～１０ｍｍの円柱形状を有している。硬質挿入部２１は、光源１０と、第一光学系２１１とから構成される。第一光学系２１１は、例えば対物レンズである。
【0018】
なお、光源１０は、硬質挿入部２１の先端部に配置されていなくてもよい。たとえば、硬質挿入部２１は、光源１０に代えて、光源１０が発する光を導光する光ファイバを保持していてもよい。
【0019】
画像形成装置１では、硬質挿入部２１と、撮像ユニット２２とが着脱可能に接続されており、硬質挿入部２１が受光した光が撮像ユニット２２に導光されるように構成されている。導光可能な構成は、例えば、光による像をリレー形式で伝える、リレーレンズまたは瞳のリレーと言われる方法を実現する構成であってもよい。また、例えば、イメージガイドファイバのような画像情報を伝達可能な光ファイバであってもよい。
【0020】
撮像ユニット２２は、第二光学系２２１と、励起光カットフィルタ２２２と、ダイクロイックプリズム２２３と、第一の撮像部２２４と、第二の撮像部２２５と、第三の撮像部２２６とから構成される。
【0021】
第二光学系２２１は、例えば結像レンズである。励起光カットフィルタ２２２は、入射した励起光のみを反射または吸収して減衰させる光学フィルタであり、例えばノッチフィルタである。
【0022】
ダイクロイックプリズム２２３は、入射光中のＳＷＩＲ光の成分、短波側ＮＩＲ光の成分およびＶＩＳ光の成分のそれぞれを異なる方向へ分割するビームスプリッタであり、例えば互いに直交する二種の光学薄膜を有するキュービック型のビームスプリッタである。入射光は、検査対象者からの光である。入射光中のＳＷＩＲ光の成分は、検査対象者からの光における短波赤外領域の波長（例えば９００ｎｍ以上１６００ｎｍ以下）の光の成分である。入射光中の短波側ＮＩＲ光の成分は、検査対象者からの光における短波赤外領域よりも短波長側の波長領域の波長（例えば７５０ｎｍ以上９００ｎｍ未満）の赤外光の成分である。入射光中のＶＩＳ光の成分は、検査対象者からの光における可視光領域の波長（例えば４００ｎｍ以上７５０ｎｍ未満）の光の成分である。ダイクロイックプリズム２２３は、観察光のうちのＳＷＩＲ光の成分を観察光の入射方向に対して直交する一方の方向へ分割し、観察光のうちのＶＩＳ光の成分を観察光の入射方向に対して直交する他方の方向へ分割する。ダイクロイックプリズム２２３は、観察光のうちの短波側ＮＩＲ光の成分は透過（直進）させる。
【0023】
第一の撮像部２２４は、入射した光を露光し、露光した光を光電変換した画像信号を出力する撮像素子であって、可視領域に感度を有する撮像素子であり、ＶＩＳ光の成分の画像（ＶＩＳ画像）の信号を出力する。第一の撮像部２２４の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）、またはシアン（Ｃ）、マゼンタ（Ｍ）およびイエロー（Ｙ）のカラーフィルタがベイヤー配列またはハニカム配列で配置されている。
【0024】
第二の撮像部２２５は、入射した光を露光し、露光した光を光電変換した画像信号を出力する撮像素子であって、近赤外領域の光のうち、短波赤外領域よりも短波長側の波長領域に感度を有するモノクロの撮像素子である。第二の撮像部２２５は、短波側ＮＩＲ光の成分の画像（短波側ＮＩＲ画像）の信号を出力する。
【0025】
第三の撮像部２２６は、入射した光を露光し、露光した光を光電変換した画像信号を出力する撮像素子であって、近赤外領域の光のうちの短波赤外領域に感度を有するモノクロの撮像素子である。第三の撮像部２２６は、ＳＷＩＲ光の成分の画像（ＳＷＩＲ画像）の信号を出力する。
【0026】
なお、本実施形態では、第一の撮像部２２４、第二の撮像部２２５および第三の撮像部２２６の光路上における位置は、各センサが受光する光（ＶＩＳ光、短波側ＮＩＲ光およびＳＷＩＲ光）の成分のそれぞれの波長に応じて、フォーカス位置がセンサの位置（像面）となるように調整されている。
【0027】
画像処理部３０は、撮像ユニット２２から入力された画像信号に対して後述する画像処理を行って、観察対象の画像を生成する画像処理装置である。図２は、画像処理部３０の機能的な構成を示すブロック図である。図２に示されるように、画像処理部３０は、入力された可視光に応じた画像信号に対し、可視光画像に適した所定の画像処理を施して出力する可視光画像処理部３１と、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３２と、ＳＷＩＲ画像から輪郭成分を抽出しマスク画像を生成、そのマスク画像により短波側ＮＩＲ画像の暈けを補正する画像補正ユニット３３と、可視光画像処理部３１から出力される可視光画像信号に対し、画像補正ユニット３３から出力される蛍光画像信号を合成する画像合成部３４とを備える。
【0028】
また、画像補正ユニット３３は、ＳＷＩＲ画像信号を黒或いは白の二つの値に変換する二値化処理部３３１と、二値化した画像の外周をトレースし、トレースした内部を埋め、マスク画像を作成するマスク画像生成部３３２と、マスク画像で信号がない領域について明るい画像では信号値を０にする階調補正処理部３３３と、輝度信号を色信号に変換する色処理部３３４から構成される。
【0029】
モニタ４０は、画像処理部３０から入力された画像を表示する、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示装置である。
【0030】
［画像の形成］
まず、本実施形態に関する画像について説明する。図３は、本発明の実施形態１における観察対象例に含まれる試験体に励起光を照射したときの当該試験体を直接撮像した短波側ＮＩＲ画像、観察対象例の短波側ＮＩＲ画像、および観察対象例のＳＷＩＲ画像のそれぞれを示す写真を表す図である。図３の左から順に、励起光を照射している試験体を直接撮像した短波側ＮＩＲ画像、後述のロースハムを介して励起光を照射している観察対象例を撮像した短波側ＮＩＲ画像、および後述のロースハムを介して励起光を照射している観察対象例を撮像したＳＷＩＲ画像、を表している。また、図中の矢印は、試験体の画像の位置を示している。
まず、本実施形態に関する画像について説明する。図３は、本発明の実施形態１における観察対象例に含まれる試験体に励起光を照射したときの当該試験体を直接撮像した短波側ＮＩＲ画像、観察対象例の短波側ＮＩＲ画像、および観察対象例のＳＷＩＲ画像のそれぞれを示す写真を表す図である。図３の左から順に、励起光を照射している試験体を直接撮像した短波側ＮＩＲ画像、後述のロースハムを介して励起光を照射している観察対象例を撮像した短波側ＮＩＲ画像、および後述のロースハムを介して励起光を照射している観察対象例を撮像したＳＷＩＲ画像、を表している。また、図中の矢印は、試験体の画像の位置を示している。
【0031】
試験体は、ＩＣＧ溶液を封じたガラス製の細管である。試験体は、生体中のＩＣＧが集積される組織に相当し、前述の「特定領域」に該当する。図３中の直接撮像した短波側ＮＩＲ画像は、試験体に励起光を照射したときの画像である。８０８ｎｍの波長の励起光が照射されることでＩＣＧの励起効率が最大化され、最大蛍光波長が約８３５ｎｍ付近の近赤外蛍光を発する。試験体の蛍光は、図３に示されるように明瞭である。
【0032】
観察対象例は、試験体に厚さ１．５ｍｍのロースハムを２枚重ねた物である。ロースハムは、生体中のＩＣＧが集積される組織とプローブとの間に介在する生体組織に該当する。観察対象例は、血管中にＩＣＧが定着した生体組織を模している。
【0033】
上記観察対象例の短波側ＮＩＲ画像は、生体組織例側から観察対象例に励起光を照射し、生体組織例側から撮像した画像である。上記の短波側ＮＩＲ画像は、後述のＶＩＳ－ＳＷＩＲカメラに取り付けた後述のＶＩＳ－ＳＷＩＲ対応レンズの前にバンドパスフィルタを配置して８３０～９００ｎｍの波長の光を撮像した像である。観察対象例の短波側ＮＩＲ画像は、図３に示されるように、ＩＣＧの蛍光の一部が生体組織例で散乱するため、十分に明るい画像であるが、解像度が低い画像（高輝度低解像度画像）である。
【0034】
上記ＳＷＩＲ画像は、ＶＩＳ－ＳＷＩＲカメラに取り付けた後述のＶＩＳ－ＳＷＩＲ対応レンズの前に９００ｎｍロングパスフィルタを配置して撮像した像である。ＳＷＩＲ画像は、図３に示されるように、ＩＣＧの蛍光のうち生体組織例に散乱しにくい波長の像であるため、明るさは低いが高い解像度を有している（低輝度高解像度画像）。
【0035】
なお、本実施形態において、ＳＷＩＲ光は、９００～１６００ｎｍの一部の範囲の波長の光であってもよいし、９００～１６００ｎｍの全部の範囲の波長の光であってもよいし、９００～１６００ｎｍの全部の範囲を含むより広い範囲の波長の光であってもよい。同様に、本実施形態において、短波側ＮＩＲ光は、７５０ｎｍ以上９００ｎｍ未満の一部の範囲の波長の光であってもよいし、７５０ｎｍ以上９００ｎｍ未満の全部の範囲の波長の光であってもよいし、７５０ｎｍ以上９００ｎｍ未満の全部の範囲を含むより広い範囲の波長の光であってもよい。また、本実施形態において、ＶＩＳ光は、４００ｎｍ以上７５０ｎｍ未満の一部の範囲の波長の光であってもよいし、４００ｎｍ以上７５０ｎｍ未満の全部の範囲の波長の光であってもよいし、４００ｎｍ以上７５０ｎｍ未満の全部の範囲を含むより広い範囲の波長の光であってもよい。
【0036】
また、本実施形態において、短波側ＮＩＲ光の波長領域とＳＷＩＲ光の波長領域とが一部で重なってもよい。重なる波長領域において短波側ＮＩＲ光とＳＷＩＲ光とを設定する場合では、より短波長側の光またはより短波長側の波長領域が設定された光が短波側ＮＩＲ光であり、より長波長側の光またはより長波長側の波長領域が設定された光がＳＷＩＲ光である。より短波長側の波長領域とは、一部で重複する二つの波長領域のうち、その下限値が他方の波長領域の下限値よりも低く、かつその上限値が他方の波長領域の上限値よりも低い波長領域である。より長波長側の波長領域とは、一部で重複する二つの波長領域のうち、その下限値が他方の波長領域の下限値よりも高く、かつその上限値が他方の波長領域の上限値よりも高い波長領域である。
【0037】
［撮像］
次に、画像形成装置１における画像の形成を説明する。
次に、画像形成装置１における画像の形成を説明する。
【0038】
光源１０は、硬質挿入部２１の先端部から可視光および励起光を発し、検査対象者の観察対象を照射する。これにより、第一光学系２１１には、被検査体から反射した可視光および励起光と、励起光によってＩＣＧが励起して発光した蛍光とが入射する。第一光学系２１１は、入射した励起光、可視光および蛍光を、撮像ユニット２２に備えた第二光学系２２１に導光する。
【0039】
第二光学系２２１は、第一光学系２１１から入射した励起光、可視光および蛍光を励起光カットフィルタ２２２に出射する。励起光カットフィルタ２２２は、励起光を減衰させた光（可視光および蛍光）を、ダイクロイックプリズム２２３に出射する。ダイクロイックプリズム２２３は、励起光カットフィルタ２２２から出射されたＶＩＳ光成分と、上記の蛍光を含む短波側ＮＩＲ成分と、同じく上記の蛍光を含むＳＷＩＲ光成分とを、第一の撮像部２２４への光路と、第二の撮像部２２５への光路と、第三の撮像部２２６への光路とに分岐させる。
【0040】
第一の撮像部２２４は、ダイクロイックプリズム２２３から出射されたＶＩＳ光を露光し、ＶＩＳ光に応じた画像信号を画像処理部３０に出力する。第二の撮像部２２５は、ダイクロイックプリズム２２３から出射された短波側ＮＩＲ光を露光し、当該短波側ＮＩＲ光に応じた画像信号を画像処理部３０に出力する。第三の撮像部２２６は、ダイクロイックプリズム２２３から出射されたＳＷＩＲ光を露光し、ＳＷＩＲ光に応じた画像信号を画像処理部３０に出力する。このように、撮像ユニット２２に備えられた第一の撮像部２２４、第二の撮像部２２５および第三の撮像部２２６のそれぞれは、撮影して得た画像信号のそれぞれを、画像処理部３０に出力する。
【0041】
［合成画像の形成］
次に、上記のような画像を利用する本実施形態における画像の形成について説明する。図４は、本発明の実施形態１における画像形成工程の一例を示すフローチャートである。
次に、上記のような画像を利用する本実施形態における画像の形成について説明する。図４は、本発明の実施形態１における画像形成工程の一例を示すフローチャートである。
【0042】
ステップＳ１０１において、蛍光画像処理部３２は、ＳＷＩＲ画像のヒストグラムを作成する。図５は、本発明の実施形態１におけるＳＷＩＲ画像のヒストグラム一例を示す図である。
【0043】
具体的には、蛍光画像処理部３２は、撮像ユニット２２に備えられた第二の撮像部２２５から入力された短波側ＮＩＲ光に応じた画像信号に基づいた画像、つまり、高輝度であるが低解像な（生体散乱による暈けが多い）短波側ＮＩＲ画像を生成する。短波側ＮＩＲ画像は、短波側ＮＩＲ光に応じた画像濃度を有する画像であって、特定領域を含む第二の画像に該当する。また、蛍光画像処理部３２は、撮像ユニット２２に備えられた第三の撮像部２２６から入力されたＳＷＩＲ光に応じた画像信号に基づいた画像、つまり、低輝度であるが高解像な（生体散乱による暈けが少ない）ＳＷＩＲ画像を生成する。ＳＷＩＲ画像は、低輝度ながら高解像度の画像である。よって、第三の撮像部２２６が生成するＳＷＩＲ画像のヒストグラムは、試験体に対応する画素値の部分にピークを有する正規分布様の形状を示す。
【0044】
ステップＳ１０２において、二値化処理部３３１は、ＳＷＩＲ画像の残す信号値を指定する。二値化処理部３３１は、例えば、ヒストグラムを参照して、ヒストグラムにおける変化量の増減の大きな画素値の個数よりも大きい画素数の個数を、残すべき信号値として決定する。たとえば、二値化処理部３３１は、当該信号値の下限を上位０．５％の信号と仮定し、この信号に対応する信号値を図５のヒストグラムより求め、この値を閾値に設定する。
【0045】
ステップＳ１０３において、二値化処理部３３１は、ＳＷＩＲ画像を二値化する。図６は、本発明の実施形態１における二値化されたＳＷＩＲ画像の一例を示す図である。二値化処理部３３１は、二値化処理部３３１が設定した閾値で、ＳＷＩＲ画像を二値化した画像を作成する。二値化した画像は、前述の特定領域の境界を示す第一の画像に該当する。図３左の原画像と比較して、ＳＷＩＲ画像には原画像の主たる構造部分が残されていることがわかる。
【0046】
ステップＳ１０４において、マスク画像生成部３３２は、二値化したＳＷＩＲ画像によるマスク画像を作成する。図７は、本発明の実施形態１における二値化されたＳＷＩＲ画像の輪郭と当該輪郭から形成したマスク画像の一例を示す図である。マスク画像生成部３３２は、図６の二値化画像の信号に相当する部分を得るため、図６の画像の輪郭をトレースし（図７左図参照）、その内部を埋めることで、図７右図に示すマスク画像を作成する。マスク画像における輪郭の外部のうち、残す領域は、前述のヒストグラムの上位何パーセントまでを残すか、によって決めることができる。
【0047】
ステップＳ１０５において、階調補正処理部３３３は、マスク画像と短波側ＮＩＲ画像とを重畳して重畳画像を合成画像として作成する。図８は、本発明の実施形態１における短波側ＮＩＲ画像にマスク画像を重畳した合成画像の一例を示す図である。階調補正処理部３３３は、マスク画像生成部３３２が生成したマスク画像を短波側ＮＩＲ画像上へ重畳する。重畳画像（合成画像）は、低輝度高解像度の第一の画像から決められる輪郭の内部が、高輝度低解像度の第二の画像の部分で構成されている。よって、第一の画像の高解像度の情報と、第二の画像の高輝度の情報との両方を兼ね備える。
【0048】
画像処理部３０は、必要に応じて重畳画像を補正する。すなわち、ステップＳ１０６において、画像処理部３０は、重畳画像における信号値を適宜補正する。たとえば、階調補正処理部３３３は、マスク画像で信号がない領域について信号値を０にする。このような補正により、従来の装置と比較して、観察光における生体での散乱の影響が補正され、かつコントラストの高い合成画像を得ることができる。
【0049】
このようにして、画像補正ユニット３３は、第三の撮像部２２６から生成したＳＷＩＲ画像から輪郭成分を抽出し、輪郭内部を埋めて、マスク画像を作成する。そして、そのマスク画像を、第二の撮像部２２５から生成した短波側ＮＩＲ画像へ重畳し、マスク画像で信号がない領域について信号値を０にする。このようにして画像補正ユニット３３は、従来の装置と比較し生体散乱の影響が補正され、かつ高輝度な蛍光画像を合成する。
【0050】
蛍光画像は、そのままＶＩＳ画像と合成してもよいが、蛍光画像はモノクロ信号であるため、蛍光画像の輪郭の視認性が低下する可能性がある。そこで、色処理部３３４は、ステップＳ１０６において、蛍光画像の色を適宜に処理する。色処理部３３４は、輪郭の内部の画像に、種々の基準に基づいて色を設定する。たとえば、色処理部３３４は、視認性向上のため、輪郭内の画像の色を実際の生体組織の色に準ずる、もしくは、生体組織に存在しない色に設定してもよく、あるいは、ＩＣＧの蛍光の強度に応じた色に設定し、多値化してもよい。
【0051】
そして、画像合成部３４は、可視光画像処理部３１が取得したＶＩＳ画像と適宜に色処理された蛍光画像とを合成して合成画像を生成する。たとえば、画像処理部３０は、可視光画像処理部３１で生成したＶＩＳ画像と、画像補正ユニット３３で生成した蛍光画像を、画像合成部３４にて所定の割合で合成する。
【0052】
画像処理部３０は、画像合成部３４で合成した合成画像のデータをモニタ４０に出力する。モニタ４０は、当該合成画像を表示する。ユーザは、モニタ４０に表示された当該合成画像を視認し、観察対象の観察の目的を達成させる。
【0053】
このような構成によって、画像形成装置１は、検査対象者に投与されたＩＣＧを励起光によって励起させ、励起したＩＣＧが発光した蛍光による観察対象の画像を、検査実施者に提示する。
【0054】
［実施形態１のまとめ］
以上の説明から明らかなように、本実施形態の画像形成装置１は、観察対象に励起光を照射するための励起光源（光源１０）と、励起光が照射されている観察対象からの光から、短波赤外領域の波長の光を含む第一の赤外光（ＳＷＩＲ光）と、当該短波赤外領域よりも短波長側の波長領域の波長の光を含む第二の赤外光（短波側ＮＩＲ光）とを分離してそれぞれの光を受光する撮像部（２０）と、撮像部で受光した第一の赤外光に応じた特定領域の境界を示す第一の画像（ＳＷＩＲ画像）と、撮像部で受光した第二の赤外光に応じた画像濃度を有する特定領域を含む第二の画像（ＮＩＲ画像）と、から合成される合成画像を生成する画像処理部（３０）と、を有する。よって、画像形成装置１は、ＩＣＧ検査において、ＳＷＩＲによる高輝度画像とＮＩＲによる高解像度画像との両方の特徴を兼ね備える合成画像を取得することができる。
以上の説明から明らかなように、本実施形態の画像形成装置１は、観察対象に励起光を照射するための励起光源（光源１０）と、励起光が照射されている観察対象からの光から、短波赤外領域の波長の光を含む第一の赤外光（ＳＷＩＲ光）と、当該短波赤外領域よりも短波長側の波長領域の波長の光を含む第二の赤外光（短波側ＮＩＲ光）とを分離してそれぞれの光を受光する撮像部（２０）と、撮像部で受光した第一の赤外光に応じた特定領域の境界を示す第一の画像（ＳＷＩＲ画像）と、撮像部で受光した第二の赤外光に応じた画像濃度を有する特定領域を含む第二の画像（ＮＩＲ画像）と、から合成される合成画像を生成する画像処理部（３０）と、を有する。よって、画像形成装置１は、ＩＣＧ検査において、ＳＷＩＲによる高輝度画像とＮＩＲによる高解像度画像との両方の特徴を兼ね備える合成画像を取得することができる。
【0055】
画像処理部は、撮像部で受光した第一の赤外光の光量の二値化による特定領域の像の輪郭を示す第一の画像を生成して第一の画像と第二の画像とを合成する赤外画像合成部（蛍光画像処理部３２）を備えていてもよい。この構成は、ＳＷＩＲ画像の高解像度の特徴を合成画像に明確かつ簡易に反映させる観点からより一層効果的である。
【0056】
撮像部は、励起光が照射されている観察対象からの光から、第一の赤外光の成分および第二の赤外光の成分のそれぞれを分離する分離部（ダイクロイックプリズム２２３）を含んでいてもよい。この構成は、合成画像の処理に供される短波側ＮＩＲ画像のデータおよびＳＷＩＲ画像のそれぞれが同一の原画像に基づいて作成されるため、位置情報のずれを実質有さない精密な合成画像を容易に作成する観点からより一層効果的である。
【0057】
分離部は、励起光が照射されている観察対象からの光から、可視光波長の光（ＶＩＳ光）をさらに分離してもよい。この構成は、ＶＩＳ画像の情報を合成画像に反映させることが可能となり、観察対象の画像の確認および観察対象の観察を容易にする観点からより一層効果的である。
【0058】
画像処理部は、撮像部で受光した可視光波長の光による可視光画像を生成する可視光画像処理部（３１）をさらに備え、第一の画像と第二の画像とから合成される画像に可視光画像を特定の割合で加算して合成画像を生成してもよい。この構成は、可視光の情報を合成画像中に盛り込む（例えば第二の画像に基づく輪郭より外側の領域を可視光画像にするなど）ことが可能となる。よって、作成した合成画像に基づく検査結果をさらに分かりやすく示す観点からより一層効果的である。
【0059】
撮像部は、励起光が照射されている観察対象からの光から励起光をカットするフィルタ（励起光カットフィルタ２２２）を含んでいてもよい。この構成は、画像の合成における励起光の影響を低減させる観点からより一層効果的である。
【0060】
画像処理部は、第一の画像における特定領域外の領域の輝度信号がゼロに補正された合成画像を生成してもよい。この構成は、第一の画像と第二の画像とを重畳した重畳画像のみを明確に示すことが可能となり、よって、作成した合成画像に基づく検査結果を容易かつ明確に示す観点からより一層効果的である。
【0061】
本発明の他の実施形態について、以下に説明する。なお、以下の各実施形態の説明において、説明の便宜上、前述した実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0062】
〔実施形態２〕
図９は、本発明の実施形態２に係る画像形成装置の機能的な構成を模式的に示す図である。図９に示されるように、画像形成装置２は、硬質挿入部２１および撮像ユニット２２の構成が一部異なる以外は、前述した実施形態１の画像形成装置１と同様の構成を有している。
図９は、本発明の実施形態２に係る画像形成装置の機能的な構成を模式的に示す図である。図９に示されるように、画像形成装置２は、硬質挿入部２１および撮像ユニット２２の構成が一部異なる以外は、前述した実施形態１の画像形成装置１と同様の構成を有している。
【0063】
硬質挿入部２１は、第一光学系２１１に代えて第一光学系２１１２を有しており、撮像ユニット２２は、第二光学系２２１に代えて第二光学系２２１２を有している。第二光学系２２１２の対物レンズおよび第二光学系２２１２の結像レンズは、いずれも、ＶＩＳ光およびＮＩＲ光の波長領域（例えば４００～１６００ｎｍ）の光のフォーカスシフトが補正されている。
【0064】
撮像部２０には、ＶＩＳ光およびＮＩＲ光が透過する。このため、レンズにおける波長による屈折率の違いから波長による焦点のずれが発生することがある。よって、このような焦点のずれを防止する観点から、本実施形態では、可視光域から短波赤外域までの広い波長領域において良好に収差補正された結像性能の高い光学系が求められる。このような波長による焦点のずれを抑制して結合性能を高める観点から、本実施形態では、第一光学系２１１２および第二光学系２２１２がフォーカスシフト補正されている。
【0065】
より詳しくは、第一光学系２１１２および第二光学系２２１２は、いずれも、ＶＩＳ領域、短波側ＮＩＲ領域、ＳＷＩＲ領域でのバックフォーカス（ＢＦ）位置のズレが少なくなるように光学設計されている。本実施形態におけるフォーカス位置は、近軸光線（光軸に極めて近い高さを通過する光線）でのフォーカス位置である。なお、「バックフォーカス」（ＢＦ）は、光学系の最も像側の面から焦点位置までの距離であり、これらのフォーカス位置の値は、上記のレンズのＦ値が変わっても変化しない。
【0066】
本実施形態では、各センサで検出する画像の収差を良好に補正する観点から、第一光学系は下記式（１）を満たすことが好ましく、第二光学系は下記式（２）を満たすことが好ましい。下記式中、「ＢＦ＿５５０ｎｍ」は、５５０ｎｍの光学系全体でのバックフォーカスを表し、「ＢＦ＿８５０ｎｍ」は、８５０ｎｍの光学系全体でのバックフォーカスを表し、「ＢＦ＿１６００ｎｍ」は、１６００ｎｍの光学系全体でのバックフォーカスを表す。
｜ＢＦ＿５５０ｎｍ－ＢＦ＿８５０ｎｍ｜＜０．０３ （１）
｜ＢＦ＿５５０ｎｍ－ＢＦ＿１６００ｎｍ｜＜０．０５ （２）
｜ＢＦ＿５５０ｎｍ－ＢＦ＿８５０ｎｍ｜＜０．０３ （１）
｜ＢＦ＿５５０ｎｍ－ＢＦ＿１６００ｎｍ｜＜０．０５ （２）
【0067】
なお、本実施形態において、種々の製品を用いた場合の光学系全体でのバックフォーカスの値を表１に示す。また、表１中の製品Ｃのフォーカスシフト補正ありレンズと、フォーカスシフト補正なしレンズとの各波長におけるフォーカス位置の関係を図１０に示す。図１０中、実線はフォーカスシフト補正ありレンズのフォーカス位置を示し、破線はフォーカスシフト補正なしレンズのフォーカス位置を示している。図１０より、フォーカスシフト補正されている第一光学系および第二光学系を用いることにより、特に長波長側でのフォーカス位置のずれが補正されていることがわかる。
【0068】
【表1】
【0069】
撮像ユニット２２は、第二の撮像部２２５に代えて第二の撮像部２２５２を有しており、第三の撮像部２２６に代えて第三の撮像部２２６２を有している。第二の撮像部２２５２および第三の撮像部２２６２は、ＶＩＳ－ＳＷＩＲセンサを有する。ＶＩＳ－ＳＷＩＲセンサは、ＶＩＳ光からＳＷＩＲ光までを撮像可能にする素子である。第二の撮像部２２５２および第三の撮像部２２６２は、より具体的には、下記の構成を有し得る。
カメラ（撮像素子）：ＶＩＳ－ＳＷＩＲセンサ（感度４００～１７００ｎｍ）搭載カメラ ＢＨ－７１ＩＧＡ（ＢＩＴＲＡＮ社製）
レンズ：ＶＩＳ－ＳＷＩＲ対応レンズ（透過帯４００～１７００ｎｍ、フォーカスシフト補正あり）
カメラ（撮像素子）：ＶＩＳ－ＳＷＩＲセンサ（感度４００～１７００ｎｍ）搭載カメラ ＢＨ－７１ＩＧＡ（ＢＩＴＲＡＮ社製）
レンズ：ＶＩＳ－ＳＷＩＲ対応レンズ（透過帯４００～１７００ｎｍ、フォーカスシフト補正あり）
【0070】
本実施形態では、第二の撮像部２２５２および第三の撮像部２２６２がいずれもＶＩＳ光からＳＷＩＲ光までの光の画像を検出可能である。そして、第一の光学系２１１２および第二の光学系２２１２のいずれも、フォーカスシフトが補正されている。本実施形態では、撮像装置を共通化することが可能であり、また、フォーカスシフトに応じた各撮像装置の位置調整が不要である。よって、本実施形態は、前述した実施形態１の特徴に加えて、撮像部２０の光学設計の簡素化の観点からより好適である。
【0071】
〔実施形態３〕
図１１は、本発明の実施形態３に係る画像形成装置の機能的な構成を模式的に示す図である。図１１に示されるように、画像形成装置３は、撮像ユニット２２の構成が一部異なる以外は、前述した実施形態２の画像形成装置２と同様の構成を有している。
図１１は、本発明の実施形態３に係る画像形成装置の機能的な構成を模式的に示す図である。図１１に示されるように、画像形成装置３は、撮像ユニット２２の構成が一部異なる以外は、前述した実施形態２の画像形成装置２と同様の構成を有している。
【0072】
撮像ユニット２２は、ダイクロイックプリズム２２３に代えてダイクロイックプリズム２２３３を有している。また、撮像ユニット２２は、第三の撮像部２２６２を有しておらず、その代わりに第二の撮像部２２５２に対応するＮＩＲ－ＳＷＩＲフィルタ３０１をさらに有している。
【0073】
ダイクロイックプリズム２２３３は、入射光中のＶＩＳ光の成分を異なる方向へ分割するビームスプリッタである。ダイクロイックプリズム２２３３は、観察光のうちのＶＩＳ光の成分を観察光の入射方向に対して直交する一方の方向へ分割し、観察光のうちの短波側ＮＩＲ光およびＳＷＩＲ光の成分は透過（直進）させる。
【0074】
図１２は、本発明の実施形態３におけるＮＩＲ－ＳＷＩＲフィルタの構成を模式的に示す図である。図１２に示されるように、ＮＩＲ－ＳＷＩＲフィルタ３０１は、実質的に短波側ＮＩＲ光のみを透過させるＮＩＲフィルタと、実質的にＳＷＩＲ光のみを透過させるＳＷＩＲフィルタとによって構成されている。ＮＩＲ－ＳＷＩＲフィルタ３０１において、ＮＩＲフィルタとＳＷＩＲフィルタとは、例えば図示されているように市松模様で配置されている。
【0075】
本実施形態では、一つの第二の撮像部２２５２で短波側ＮＩＲ画像とＳＷＩＲ画像との両方が撮像される。したがって、本実施形態は、前述した実施形態２の特徴に加えて、撮像部２０の構成をより簡素化する観点から好適である。
【0076】
〔実施形態４〕
図１３は、本発明の実施形態４に係る画像形成装置の機能的な構成を模式的に示す図である。図１３に示されるように、画像形成装置４は、撮像ユニット２２の構成が一部異なる以外は、前述した実施形態３の画像形成装置３と同様の構成を有している。
図１３は、本発明の実施形態４に係る画像形成装置の機能的な構成を模式的に示す図である。図１３に示されるように、画像形成装置４は、撮像ユニット２２の構成が一部異なる以外は、前述した実施形態３の画像形成装置３と同様の構成を有している。
【0077】
撮像ユニット２２は、ダイクロイックプリズム２２３に代えてダイクロイックプリズム２２３４を有している。また、撮像ユニット２２は、第一の撮像部２２４に代えて第一の撮像部２２４４を有しており、さらに第一の撮像部２２４４に対応するＶＩＳ－ＮＩＲフィルタ４０１を有している。
【0078】
ダイクロイックプリズム２２３４は、入射光中のＶＩＳ光および短波側ＮＩＲ光の成分をＳＷＩＲ光とは異なる方向へ分割するビームスプリッタである。ダイクロイックプリズム２２３４は、観察光のうちのＶＩＳ光および短波側ＮＩＲ光の成分を観察光の入射方向に対して直交する一方の方向へ分割し、観察光のうちのＳＷＩＲ光の成分を透過（直進）させる。
【0079】
第一の撮像部２２４４は、ＶＩＳ－ＮＩＲセンサを有する。ＶＩＳ－ＮＩＲセンサは、ＶＩＳ光から短波側ＮＩＲ光までを撮像可能にする素子である。
【0080】
図１４は、本発明の実施形態４におけるＶＩＳ－ＮＩＲフィルタの構成を模式的に示す図である。図１４に示されるように、ＶＩＳ－ＮＩＲフィルタ４０１は、例えば図示されているように、ＶＩＳ光を透過させるためのＲＧＢの各色のフィルタと、実質的に短波側ＮＩＲ光のみを透過させるＮＩＲフィルタとがベイヤー配列で配置されて構成されている。
【0081】
本実施形態では、一つの第一の撮像部２２４４でＶＩＳ画像と短波側ＮＩＲ画像との両方が撮像される。したがって、本実施形態は、前述した実施形態２の特徴と同様に、撮像部２０の構成をより簡素化する観点から好適である。
【0082】
〔実施形態５〕
図１５は、本発明の実施形態５に係る画像形成装置の機能的な構成を模式的に示す図である。図１５に示されるように、画像形成装置５は、硬質挿入部２１および撮像ユニット２２の構成が一部異なる以外は、前述した実施形態１の画像形成装置１と同様の構成を有している。
図１５は、本発明の実施形態５に係る画像形成装置の機能的な構成を模式的に示す図である。図１５に示されるように、画像形成装置５は、硬質挿入部２１および撮像ユニット２２の構成が一部異なる以外は、前述した実施形態１の画像形成装置１と同様の構成を有している。
【0083】
硬質挿入部２１は、第一光学系２１１に代えて第一光学系２１１２を有しており、撮像ユニット２２は、第二光学系２２１に代えて第二光学系２２１２を有している。また、撮像ユニット２２は、第三の撮像部２２６に代えて、ダイクロイックプリズム２２３５および第三の撮像部２２６３、２２６４を有している。
【0084】
ダイクロイックプリズム２２３５は、入射光中のＳＷＩＲ光の成分をその波長に応じて異なる方向へ分割するビームスプリッタである。ダイクロイックプリズム２２３５は、ＳＷＩＲ光の成分のうちの長波長側の成分（例えば１０００～１６００ｎｍ）を光の入射方向に対して直交する一方の方向へ分割し、ＳＷＩＲ光の成分のうちのより短波長側の成分（例えば９００ｎｍ以上１０００ｎｍ未満）は透過（直進）させる。
【0085】
第三の撮像部２２６３、２２６４は、いずれもＳＷＩＲセンサを有する。第三の撮像部２２６３は、ダイクロイックプリズム２２３５から出射されたＳＷＩＲ光のうち９００ｎｍ以上１０００ｎｍ未満の光の成分を露光し、当該波長の光の成分に応じた画像信号を画像処理部３０に出力する。第三の撮像部２２６４は、ダイクロイックプリズム２２３５から出射されたＳＷＩＲ光のうち１０００～１６００ｎｍの光の成分を露光し、当該波長の光の成分に応じた画像信号を画像処理部３０に出力する。
【0086】
そして、蛍光画像処理部３２では、撮像ユニット２２に備えられた第三の撮像部２２６３および第三の撮像部２２６４から入力されたＳＷＩＲ光の成分に応じた画像信号に基づいて、それぞれの波長域のＳＷＩＲ画像を生成する。
【0087】
本実施形態では、第三の撮像部２２６３で９００ｎｍ以上１０００ｎｍ未満のＳＷＩＲ画像が撮像され、第三の撮像部２２６４で１０００～１６００ｎｍのＳＷＩＲ画像が撮像される。ＩＣＧの蛍光強度は、約８３５ｎｍを最大として１６００ｎｍにかけて徐々に低下する山形のピーク特性をもつ。よって、９００ｎｍ以上１０００ｎｍ未満のＳＷＩＲ光の成分からは、明るく高い解像度のＳＷＩＲ画像が得られる。また、１０００～１６００ｎｍのＳＷＩＲ光の成分からは、９００ｎｍ以上１０００ｎｍ未満のＳＷＩＲ光の成分と比較し、明るさは低いがより高い解像度のＳＷＩＲ画像を得ることができる。このため、例えば観察対象に投与されたＩＣＧの位置が体内の深い位置にある場合は、９００ｎｍ以上１０００ｎｍ未満のＳＷＩＲ画像を用いることで明るさを重視することができ、浅い位置にある場合は１０００～１６００ｎｍのＳＷＩＲ画像を用いることで解像度を重視することができる。
【0088】
このように、本実施形態は、観察対象に投与されたＩＣＧの位置により最適なＳＷＩＲ画像を選択できる観点から好適である。
【0089】
〔実施形態６〕
図１６は、本発明の実施形態６に係る画像形成装置の機能的な構成を模式的に示す図である。図１６に示されるように、画像形成装置６は、硬質挿入部２１および撮像ユニット２２の構成が一部異なる以外は、前述した実施形態１の画像形成装置１と同様の構成を有している。
図１６は、本発明の実施形態６に係る画像形成装置の機能的な構成を模式的に示す図である。図１６に示されるように、画像形成装置６は、硬質挿入部２１および撮像ユニット２２の構成が一部異なる以外は、前述した実施形態１の画像形成装置１と同様の構成を有している。
【0090】
硬質挿入部２１は、第一光学系２１１に代えて第一光学系２１１２を有しており、撮像ユニット２２は、第二光学系２２１に代えて第二光学系２２１２を有している。また、撮像ユニット２２は、ダイクロイックプリズム２２３に代えてダイクロイックプリズム２２３６を有し、第二の撮像部２２５に代えて第二の撮像部２２５２およびＮＩＲ－ＳＷＩＲフィルタ３０１を有している。
【0091】
ダイクロイックプリズム２２３６は、入射光中のＮＩＲ光の成分および可視光の成分のそれぞれを異なる方向へ分割するビームスプリッタである。ダイクロイックプリズム２２３６は、観察光のＮＩＲ光のうち、より短波長側の成分（例えば８００ｎｍ以上１０００ｎｍ未満）の波長の光の成分を透過（直進）させる。また、ダイクロイックプリズム２２３６は、観察光のＮＩＲ光のうち、１０００～１６００ｎｍの波長の光の成分を、観察光の入射方向に対して直交する一方の方向へ分割し、観察光のうちのＶＩＳ光の成分を観察光の入射方向に対して直交する他方の方向へ分割する。
【0092】
本実施形態では、入射光中のＮＩＲ光における８００ｎｍ以上１０００ｎｍ未満の波長の光の成分から、波長８００ｎｍ以上９００ｎｍ未満の光の成分による短波側ＮＩＲ画像の画像信号と、波長９００ｎｍ以上１０００ｎｍ未満の光の成分によるＳＷＩＲ画像の画像信号とが得られる。また、本実施形態では、さらに１０００～１６００ｎｍの波長の光の成分からもＳＷＩＲ画像の画像信号が得られる。ＩＣＧの蛍光の検出強度は、検出器の種類に応じて異なり、例えばＳｉ系の検出器に比べて、ＩｎＧａＡｓ系の検出器は、ＳＷＩＲ領域でより強い感度を有する。本実施形態は、第二の撮像部２２５２にこのようなＳＷＩＲ領域でより強い感度を有するセンサを用いる場合に、ＳＷＩＲ光の検出感度をより高める観点から好適である。
【0093】
〔実施形態７〕
図１７は、本発明の実施形態７に係る画像形成装置の機能的な構成を模式的に示す図である。図１７に示されるように、画像形成装置７は、硬質挿入部２１および撮像ユニット２２の構成が一部異なる以外は、前述した実施形態１の画像形成装置１と同様の構成を有している。
図１７は、本発明の実施形態７に係る画像形成装置の機能的な構成を模式的に示す図である。図１７に示されるように、画像形成装置７は、硬質挿入部２１および撮像ユニット２２の構成が一部異なる以外は、前述した実施形態１の画像形成装置１と同様の構成を有している。
【0094】
硬質挿入部２１は、第一光学系２１１に代えて第一光学系２１１２を有しており、撮像ユニット２２は、第二光学系２２１に代えて第二光学系２２１２を有している。また、撮像ユニット２２は、第三の撮像部２２６に対応するＳＷＩＲ－ＳＷＩＲフィルタ７０１をさらに有している。
【0095】
図１８は、本発明の実施形態７におけるＳＷＩＲ－ＳＷＩＲフィルタの構成を模式的に示す図である。図１８に示されるように、ＳＷＩＲ－ＳＷＩＲフィルタ７０１は、第一ＳＷＩＲフィルタと第二ＳＷＩＲフィルタとが、例えば図示されているように市松模様で配置されている。第一ＳＷＩＲフィルタは、実質的にＳＷＩＲ光のうちのより短波長側の波長（例えば９００ｎｍ以上１０００ｎｍ未満）の光の成分のみを透過させるフィルタである。第二ＳＷＩＲフィルタは、実質的にＳＷＩＲ光のうちのより長波長側の波長（例えば１０００～１６００ｎｍ）の光の成分のみを透過させるフィルタである。
【0096】
本実施形態は、実施形態６と同様に、ＳＷＩＲ領域でより強い感度を有するセンサを第三の撮像部２２６に用いる場合に、ＳＷＩＲ光の検出感度をより高める観点から好適である。
【0097】
〔実施形態８〕
図１９は、本発明の実施形態８に係る画像形成装置の機能的な構成を模式的に示す図である。図１９に示されるように、画像形成装置８は、硬質挿入部２１、撮像ユニット２２、画像処理部８０およびモニタ４０を有している。
図１９は、本発明の実施形態８に係る画像形成装置の機能的な構成を模式的に示す図である。図１９に示されるように、画像形成装置８は、硬質挿入部２１、撮像ユニット２２、画像処理部８０およびモニタ４０を有している。
【0098】
硬質挿入部２１は、光源１０１０と第一光学系２１１２とを有している。光源１０１０は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）および近赤外（ＮＩＲ）の各波長帯域の光を観察対象へ間欠的に照射する光源である。具体的には、光源１０１０は、赤光源１０１１（例えば、波長６３３ｎｍ）、緑光源１０１２（例えば、波長４７０ｎｍ）、青光源１０１３（例えば、波長５２５ｎｍ）、励起光源として近赤外光源１０１４（例えば、波長８０８ｎｍ）を備える。これらの光源は、図示しない制御部に接続されており、当該制御部からの制御信号に従って特定のタイミングで光を照射するように構成されている。
【0099】
撮像ユニット２２は、第二光学系２２１２、励起光カットフィルタ２２２、ＶＩＳ－ＮＩＲ－ＳＷＩＲフィルタ８０１および第二の撮像部２２５２を有している。図２０は、本発明の実施形態８におけるＶＩＳ－ＮＩＲ－ＳＷＩＲフィルタの構成を模式的に示す図である。図２０に示されるように、ＶＩＳ－ＮＩＲ－ＳＷＩＲフィルタ８０１は、実質的にＶＩＳ光のみを透過させるＶＩＳフィルタと、実質的に短波側ＮＩＲ光のみを透過させるＮＩＲフィルタと、実質的にＳＷＩＲ光のみを透過させるＳＷＩＲフィルタとによって構成されている。ＶＩＳ－ＮＩＲ－ＳＷＩＲフィルタ８０１において、ＶＩＳフィルタとＮＩＲフィルタとＳＷＩＲフィルタとは、互いに特定のパターンで、例えば図示されているように市松模様で配置されている。
【0100】
図２１は、本発明の実施形態８に係る画像形成装置の画像処理部の機能的な構成を示すブロック図である。図２１に示されるように、画像処理部８０は、第二の撮像部２２５２から入力されたＲ、ＧおよびＢに応じた画像信号を受信して、Ｒ、ＧおよびＢの各成分に応じた可視光の画像信号を生成して可視光画像処理部３１へ出力するＲＧＢ合成処理部８１をさらに備える。それ以外は、画像処理部８０は、前述した画像処理部３０と同様の機能的構成を有している。
【0101】
本実施形態では、第二の撮像部２２５２の撮像のタイミングと同期して、赤（Ｒ）、緑（Ｇ）、青（Ｂ）および近赤外（ＮＩＲ）の各波長帯域の光を、観察対象に対し間欠的に照射し、観察対象からの赤（Ｒ）、緑（Ｇ）、青（Ｂ）の反射光を時分割で露光し、ＲＧＢ合成処理によって可視光画像を生成する。図２２は、本発明の実施形態８に係る画像形成装置の動作例を説明するタイミングチャートを示す図である。なお、図２２中の撮像部２２５２における「ＮＩＲ＋ＳＷＩＲ蛍光」の「ＮＩＲ」は、「短波側ＮＩＲ」を意味している。
【0102】
図２２に示されるように、制御部は、光源１０１０の赤光源１０１１からの赤色光の照射時に第二の撮像部２２５２が受光したＶＩＳ－ＮＩＲ－ＳＷＩＲフィルタ８０１のＶＩＳフィルタを通過した光の成分のうちの赤色光の画像の信号を第二の撮像部２２５２に出力させる。同様に、制御部は、緑光源１０１２からの緑色光の照射時に緑色光の画像の信号を第二の撮像部２２５２に出力させ、青光源１０１３からの青色光の照射時に青色光の画像の信号を第二の撮像部２２５２に出力させる。そして、制御部は、光源１０１０の近赤外光源１０１４からのＮＩＲ光の照射時に第二の撮像部２２５２が受光した光の成分のうち、ＮＩＲフィルタを通過した短波側ＮＩＲ光の画像の信号を第二の撮像部２２５２に出力させ、また、ＳＷＩＲフィルタを通過したＳＷＩＲ光の画像の信号を第二の撮像部２２５２に出力させる。このようにして、光源１０１０から赤光源１０１１、緑光源１０１２、青光源１０１３、近赤外光源１０１４の出力と停止とが交互に繰り返され、第二の撮像部２２５２によって１フレーム分の赤画像信号、青画像信号、緑画像信号、短波側ＮＩＲ光に応じた画像信号、および、ＳＷＩＲ光に応じた画像信号、が取得される。
【0103】
これらの画像信号のうち、赤画像信号、青画像信号、緑画像信号は、画像処理部８０のＲＧＢ合成処理部８１に出力され、可視光画像を生成し、近赤外蛍光に応じた画像信号、短波赤外蛍光に応じた画像信号は画像処理部８０の蛍光画像処理部３２に出力される。
【0104】
本実施形態では、一つの第二の撮像部２２５２でＶＩＳ画像と短波側ＮＩＲ画像とＳＷＩＲ画像が撮像される。したがって、本実施形態は、撮像部２０の構成をより簡素化する観点から好適である。
【0105】
〔他の実施形態〕
以下、本発明における合成画像を作成する他の実施形態を説明する。
以下、本発明における合成画像を作成する他の実施形態を説明する。
【0106】
［境界復元処理による合成画像の作成］
明るい画像（短波側ＮＩＲ画像）でも、組織が違う場合には明確な境界線を持つはずだが、画像がぼやけているため、この組織間の境界線が不明瞭になる。一方、暗い画像（ＳＷＩＲ画像）の信号は小さいものの組織間の境界は鮮明である。暗い画像（ＳＷＩＲ画像）で境界線を抽出し、得られた境界線をぼやけた画像に重ねることで、画像が持っていた本来持っていた組織間の鮮明な境界線を再現することができる。
明るい画像（短波側ＮＩＲ画像）でも、組織が違う場合には明確な境界線を持つはずだが、画像がぼやけているため、この組織間の境界線が不明瞭になる。一方、暗い画像（ＳＷＩＲ画像）の信号は小さいものの組織間の境界は鮮明である。暗い画像（ＳＷＩＲ画像）で境界線を抽出し、得られた境界線をぼやけた画像に重ねることで、画像が持っていた本来持っていた組織間の鮮明な境界線を再現することができる。
【0107】
組織間の境界が鮮明な暗い画像（ＳＷＩＲ画像）を使用し、この画像に対してトップハット変換を適用する。図２３は、トップハット変換で合成画像を形成する画像処理の一例を示すフローチャートである。
【0108】
ステップＳ２０１において、画像処理部３０は、ＳＷＩＲ画像の範囲を選択して原画像を作成する。図２４は、トップハット変換で合成画像を形成する画像処理における原画像を模式的に示す図である。画像全体は組織の信号値の大きさに従って画像全体を２領域に分割できる。具体的には、図２４に示すような境界を有する画像である。例えばＩＣＧの蛍光を発している組織の領域をＩ２１とする。領域Ｉ２０は、当該組織外の部分の領域である。
【0109】
ステップＳ２０２において、画像処理部３０は、原画像を膨脹させた画像を作成する。図２５は、トップハット変換で原画像を膨脹させた画像を模式的に示す図である。たとえば、画像処理部３０は、領域Ｉ２１の境界において、当該境界に隣接する画素の画素値を、上下左右に当該境界に隣接する境界外の画素にコピーする。その結果、領域Ｉ２１からその境界に沿う一画素分だけ膨脹した領域Ｉ２２が作成される。図２５では、図中の領域Ｉ２２の左側と上下側は画像の端であるため、画素値に変化はなく、右側の領域だけが拡大する。
【0110】
ステップＳ２０３において、画像処理部３０は、膨脹前後の原画像の差から境界線の画像を作成する。図２６は、トップハット変換で合成画像を形成する画像処理における抽出された境界部の画像を模式的に示す図である。領域Ｉ２２から領域Ｉ２１が差し引かれることで、拡大した部分だけが残る。こうして組織の境界線に対応する境界部の領域Ｉ２３が作成される。
【0111】
ステップＳ２０４において、画像処理部３０は、短波側ＮＩＲ画像に境界線の画像を重畳する。図２７は、トップハット変換で合成画像を形成する画像処理における境界部の画像と第二の画像（短波側ＮＩＲ画像）との重畳画像を模式的に示す図である。画像Ｉ１０は短波側ＮＩＲ画像であり、領域Ｉ２４は、領域Ｉ２３の画素値を定数倍した、境界部を強調した画像である。
【0112】
このように、暗い画像（ＳＷＩＲ画像）にトップハット変換を適用して得られた境界線の信号に定数倍かけて、組織の境界が不明瞭な明るい画像（短波側ＮＩＲ画像）に加えることで、暗い画像（ＳＷＩＲ画像）が持っている組織間の鮮明な境界線を明るい画像（短波側ＮＩＲ画像）に反映させ、組織間の境界が鮮明な明るい画像（合成画像）が合成される。
【0113】
なお、画像の合成では、境界部の画像を短波側ＮＩＲ画像から引き算してもよい。この場合も、組織間の境界が鮮明な明るい画像（合成画像）が合成される。
【0114】
［エッジ強調による合成画像の作成］
図２８は、ウェーブレット（Ｗａｖｅｌｅｔ）変換で合成画像を形成する画像処理の一例を示すフローチャートである。図２９は、ウェーブレット変換で合成画像を形成する画像処理における原画像Ｉ０を模式的に示す図である。原画像Ｉ０は、例えばＩＣＧの蛍光を発している組織の像である。
図２８は、ウェーブレット（Ｗａｖｅｌｅｔ）変換で合成画像を形成する画像処理の一例を示すフローチャートである。図２９は、ウェーブレット変換で合成画像を形成する画像処理における原画像Ｉ０を模式的に示す図である。原画像Ｉ０は、例えばＩＣＧの蛍光を発している組織の像である。
【0115】
ステップＳ３０１において、画像処理部３０は、ＳＷＩＲ画像を二次元ウェーブレット変換する。
【0116】
ステップＳ３０２において、画像処理部３０は、ＳＷＩＲ画像のハイパス成分をランク付けする。図３０は、ウェーブレット変換によって分解された原画像Ｉ０の周波数成分の画像を模式的に示す図である。エッジの成分は、ハイパス成分に現れる。このように、暗い画像（ＳＷＩＲ画像）に対してウェーブレット変換を行うと、エッジに対応するハイパスフィルタの成分は大きな値を持つ。
【0117】
ステップＳ３０３において、画像処理部３０は、ＳＷＩＲ画像のランク上位のハイパス画像成分を選別する。このハイパスフィルタで大きな値を持つ成分を記録する。
【0118】
ステップＳ３０４において、画像処理部３０は、短波側ＮＩＲ画像を二次元ウェーブレット変換する。たとえば、明るい画像（短波側ＮＩＲ画像）に対してウェーブレット変換を適用する。ウェーブレット変換後の明るい画像（短波側ＮＩＲ画像）では、短波側ＮＩＲ画像が高輝度低解像度画像であるため、エッジに対応する成分は小さくなり、エッジ以外の成分に埋もれてしまう。
【0119】
ステップＳ３０５において、画像処理部３０は、ＳＷＩＲ画像の選択したハイパス成分（ステップＳ３０３で記録した大きな値を持つ成分）を、ウェーブレット変換した短波側ＮＩＲ画像において定数倍する。このようにして、ウェーブレット変換した短波側ＮＩＲ画像における当該成分を、ＳＷＩＲ画像のウェーブレット変換の成分を用いて復元する。その結果、ウェーブレット変換した短波側ＮＩＲ画像であって、エッジが明確な画像を作成する。
【0120】
ステップＳ３０６において、画像処理部３０は、ウェーブレット変換され、かつエッジが明確化された短波側ＮＩＲ画像を逆ウェーブレット変換する。その結果、暗い画像（ＳＷＩＲ画像）の明確なエッジが明るい画像（短波側ＮＩＲ画像）に反映された合成画像が得られる。
【0121】
〔変形例〕
本発明は、上述した各実施形態に限定されず、請求項に示した範囲で種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態も、本発明の技術的範囲に含まれる。
本発明は、上述した各実施形態に限定されず、請求項に示した範囲で種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態も、本発明の技術的範囲に含まれる。
【0122】
たとえば、本発明の実施形態において、励起光カットフィルタは、所望の波長の光を透過させるフィルタまたはその組み合わせであってもよい。たとえば、励起光カットフィルタは、ＩＣＧの蛍光における短波側ＮＩＲ成分を透過させるバンドパスフィルタ（透過帯８３０～９００ｎｍ）と、ＳＷＩＲ成分を透過させるロングパスフィルタ（透過帯９００～１６００ｎｍ）との組み合わせであってもよい。
【0123】
また、励起光カットフィルタは、観察対象から撮像素子までの間に配置されていればよく、ダイクロイックプリズム自体に励起光カットフィルタが設けられてもよい。
【0124】
本発明の実施形態における画像処理部３０の機能は、当該処理部としてコンピュータを機能させるためのプログラムであって、当該処理部の各制御ブロックとしてコンピュータを機能させるためのプログラムにより実現することができる。
【0125】
この場合、上記処理部は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0126】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記処理部が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記処理部に供給されてもよい。
【0127】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0128】
また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。
【0129】
また、本発明の画像形成装置は、作成した合成画像から組織を診断する診断部をさらに含んでもよい。当該診断部は、合成画像データを教師データとして学習した画像判定モデルにより画像を判定する判定部を含んでもよい。画像判定モデルの例には、ニューラルネットワークおよびサポートベクターマシンが含まれる。ニューラルネットワークの例には、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）および全結合型ニューラルネットワークが含まれる。
【0130】
当該画像判定モデルは、教師データを参照させて学習させることができる。当該教師データは、合成画像の画像データと、当該画像データに対応する画像中の部位に関する少なくとも一つの情報（部位の疾患など）とを含む。当該画像判定モデルの学習は、上記の教師データ（画像データとそれに対応する部位の情報）を十分数用意し、ニューラルネットワークに学習させ、画像データごとにパスの重みを決定させることにより作成可能である。当該画像判定モデルを学習させるためのアルゴリズムの例には、バックプロパゲーションおよびＩＤ３が含まれる。
【0131】
なお、画像判定モデルは、機械学習によるモデル以外であってもよい。例えば、画像判定モデルは、上記の画像データを目的変数とし、画像データの適否に関する情報を説明変数とする回帰モデルであってもよい。
【0132】
本発明では、第一の波長の光によって検出される十分な画像濃度を有する画像の鮮明さを、第二の波長の光によって検出される、画像濃度が十分ではないが高い解像度を有する画像によって補い、十分に明るく、かつ十分に鮮明な画像を得る。本発明では、赤外光における特定の波長領域の光を利用している。本発明は、上記のような画像の明るさと鮮明さとの特徴が得られる特定の波長領域が存在する場合に適用され得る。
【0133】
〔まとめ〕
以上の説明から明らかなように、本発明の第一の態様に係る画像形成装置は、観察対象に励起光を照射するための励起光源と、前記励起光が照射されている前記観察対象からの光から、短波赤外領域の波長の光を含む第一の赤外光と、前記短波赤外領域よりも短波長側の波長領域の波長の光を含む第二の赤外光とを分離してそれぞれの光を受光する撮像部と、前記撮像部で受光した前記撮像部で受光した第一の赤外光に応じた前記特定領域の境界を示す第一の画像と、前記第二の赤外光に応じた画像濃度を有する特定領域を含む第二の画像と、から合成される合成画像を生成する画像処理部と、を有する。当該第一の態様は、高輝度画像と高解像度画像との両方の特徴を兼ね備える画像を取得する新たな技術を提供することができる。
以上の説明から明らかなように、本発明の第一の態様に係る画像形成装置は、観察対象に励起光を照射するための励起光源と、前記励起光が照射されている前記観察対象からの光から、短波赤外領域の波長の光を含む第一の赤外光と、前記短波赤外領域よりも短波長側の波長領域の波長の光を含む第二の赤外光とを分離してそれぞれの光を受光する撮像部と、前記撮像部で受光した前記撮像部で受光した第一の赤外光に応じた前記特定領域の境界を示す第一の画像と、前記第二の赤外光に応じた画像濃度を有する特定領域を含む第二の画像と、から合成される合成画像を生成する画像処理部と、を有する。当該第一の態様は、高輝度画像と高解像度画像との両方の特徴を兼ね備える画像を取得する新たな技術を提供することができる。
【0134】
本発明の第二の態様に係る画像形成装置は、前述の第一の態様において、前記画像処理部が、前記撮像部で受光した前記第一の赤外光の光量の二値化による前記特定領域の像の輪郭を示す前記第一の画像を生成して前記第一の画像と前記第二の画像とを合成する赤外画像合成部を備えていてもよい。
【0135】
本発明の第三の態様に係る画像形成装置は、前述の第一または第二の態様において、前記撮像部が、前記励起光が照射されている前記観察対象からの光から、前記第一の赤外光の成分および前記第二の赤外光の成分のそれぞれを分離する分離部を含んでいてもよい。
【0136】
本発明の第四の態様に係る画像形成装置は、前述の第三の態様において、前記分離部が、前記励起光が照射されている前記観察対象からの光から、可視光波長の光をさらに分離してもよい。
【0137】
本発明の第五の態様に係る画像形成装置は、前述の第四の態様において、前記画像処理部が、前記撮像部で受光した前記可視光波長の光による可視光画像を生成する可視光画像処理部をさらに備え、前記第一の画像と前記第二の画像とから合成される画像に前記可視光画像を特定の割合で加算して前記合成画像を生成してもよい。
【0138】
本発明の第六の態様に係る画像形成装置は、前述の第四または第五の態様において、前記撮像部が、前記励起光が照射されている前記観察対象からの可視光から短波赤外までの光のフォーカスシフトを補正する光学系を含んでもよい。
【0139】
本発明の第七の態様に係る画像形成装置は、前述の第一から第六の態様のいずれかにおいて、前記撮像部が、前記励起光が照射されている前記観察対象からの光から前記励起光をカットするフィルタを含んでもよい。
【0140】
本発明の第八の態様に係る画像形成装置は、前述の第一から第七の態様のいずれかにおいて、画像処理部が、前記第一の画像における前記特定領域外の領域の輝度信号がゼロに補正された前記合成画像を生成してもよい。
【0141】
上記の通り、本発明は、蛍光物質を含む対象物による短波側近赤外光像と短波赤外光像との合成画像を取得可能な観察装置に関する。本発明の前述の実施形態によれば、第一の画像によるコントラストの高さと、第二の画像による画像濃度とが含まれる画像を形成することが可能であり、生体組織における対象領域をより精密に特定することが可能である。
【0142】
本発明によれば、生体内における蛍光を利用する検査の結果を鮮明に表示し得る。したがって、本発明は、健康的な生活の確保と福祉の推進に関する持続可能な開発目標（ＳＤＧｓ）の達成への貢献が期待される。
【符号の説明】
【0143】
１～８ 画像形成装置
１０、１０１０ 光源
２０ 撮像部
２１ 硬質挿入部
２２ 撮像ユニット
３０、８０ 画像処理部
３１ 可視光画像処理部
３２ 蛍光画像処理部
３３ 画像補正ユニット
３４ 画像合成部
４０ モニタ
８１ ＲＧＢ合成処理部
２１１、２１１２ 第一光学系
２２１、２２１２ 第二光学系
２２２ 励起光カットフィルタ
２２３、２２３３～２２３６ ダイクロイックプリズム
２２４、２２４４ 第一の撮像部
２２５、２２５２ 第二の撮像部
２２６、２２６２～２２６４ 第三の撮像部
３０１ ＮＩＲ－ＳＷＩＲフィルタ
３３１ 二値化処理部
３３２ マスク画像生成部
３３３ 階調補正処理部
３３４ 色処理部
４０１ ＶＩＳ－ＮＩＲフィルタ
７０１ ＳＷＩＲ－ＳＷＩＲフィルタ
８０１ ＶＩＳ－ＮＩＲ－ＳＷＩＲフィルタ
１０１１ 赤光源
１０１２ 緑光源
１０１３ 青光源
１０１４ 近赤外光源
Ｉ０ 原画像
Ｉ２０、Ｉ２１、Ｉ２２、Ｉ２３、Ｉ２４ 領域
１０、１０１０ 光源
２０ 撮像部
２１ 硬質挿入部
２２ 撮像ユニット
３０、８０ 画像処理部
３１ 可視光画像処理部
３２ 蛍光画像処理部
３３ 画像補正ユニット
３４ 画像合成部
４０ モニタ
８１ ＲＧＢ合成処理部
２１１、２１１２ 第一光学系
２２１、２２１２ 第二光学系
２２２ 励起光カットフィルタ
２２３、２２３３～２２３６ ダイクロイックプリズム
２２４、２２４４ 第一の撮像部
２２５、２２５２ 第二の撮像部
２２６、２２６２～２２６４ 第三の撮像部
３０１ ＮＩＲ－ＳＷＩＲフィルタ
３３１ 二値化処理部
３３２ マスク画像生成部
３３３ 階調補正処理部
３３４ 色処理部
４０１ ＶＩＳ－ＮＩＲフィルタ
７０１ ＳＷＩＲ－ＳＷＩＲフィルタ
８０１ ＶＩＳ－ＮＩＲ－ＳＷＩＲフィルタ
１０１１ 赤光源
１０１２ 緑光源
１０１３ 青光源
１０１４ 近赤外光源
Ｉ０ 原画像
Ｉ２０、Ｉ２１、Ｉ２２、Ｉ２３、Ｉ２４ 領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
