ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023164610
(43)【公開日】2023-11-10
(54)【発明の名称】画像処理装置、画像処理方法および画像処理システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20231102BHJP
A61B 1/00 20060101ALI20231102BHJP
【ＦＩ】
A61B1/045 615
A61B1/00 511
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023151636
(22)【出願日】2023-09-19
(62)【分割の表示】P 2019551890の分割
【原出願日】2018-08-27
(31)【優先権主張番号】P 2017218465
(32)【優先日】2017-11-13
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】深沢 健太郎
(72)【発明者】
【氏名】深澤 宇紀
(72)【発明者】
【氏名】菊地 大介
(72)【発明者】
【氏名】高橋 穂
(72)【発明者】
【氏名】池下 和樹
(57)【要約】
【課題】蛍光画像の視認性を向上させることが可能な技術が提供されることが望まれる。
【解決手段】ＩＣＧ蛍光法によって血管が撮像された第１の画像データの特徴を示す複数の指標を検出する特徴検出部と、前記複数の指標を統合した結果に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御する強調処理部と、を備える、画像処理装置が提供される。
【選択図】図３
【解決手段】ＩＣＧ蛍光法によって血管が撮像された第１の画像データの特徴を示す複数の指標を検出する特徴検出部と、前記複数の指標を統合した結果に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御する強調処理部と、を備える、画像処理装置が提供される。
【選択図】図３
【特許請求の範囲】
【請求項1】
ＩＣＧ蛍光法によって血管が撮像された第１の画像データの特徴を示す複数の指標を検出する特徴検出部と、
前記複数の指標を統合した結果に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御する強調処理部と、
を備える、画像処理装置。
前記複数の指標を統合した結果に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御する強調処理部と、
を備える、画像処理装置。
【請求項2】
前記複数の指標は、前記第１の画像データと白色光の照射時に前記血管が撮像された第２の画像データとの相関値、または、前記相関値に基づいて決定される散乱度を少なくとも含む、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記複数の指標は、前記第１の画像データに対して異なる強度で施される２つの画像処理の処理結果同士の差分値、または、前記差分値に基づいて決定される血管径を少なくとも含む、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項4】
前記複数の指標は、前記第１の画像データから算出されるヘッセ行列の固有値に基づいて決定される血管径を少なくとも含む、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項5】
前記複数の指標は、前記第１の画像データに基づいて決定される血管の密集度を少なくとも含む、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項6】
前記複数の指標は、前記第１の画像データと白色光の照射時に前記血管が撮像された第２の画像データとの相関値と、前記第１の画像データおよび前記２の画像データの少なくともいずれか一方に血管が存在するか否かを示す情報とに応じて決定される血管の深さを少なくとも含む、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項7】
前記強調処理部は、前記複数の指標に対応する係数が登録されている場合、前記係数に応じて前記強調処理を制御する、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項8】
前記強調処理部は、第１の指標に対応する係数が登録されている場合、かつ、前記第１の指標とは異なる第２の指標に対応する係数が登録されていない場合、前記係数に応じて前記強調処理を制御するとともに、前記第２の指標に基づいて、前記強調処理の度合いを制御する、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項9】
前記強調処理部は、単一の係数が登録されている場合、前記係数に応じて前記強調処理を制御するとともに、前記複数の指標に基づいて、前記強調処理の度合いを制御する、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項10】
ＩＣＧ蛍光法によって血管が撮像された第１の画像データの特徴を示す複数の指標を検出することと、
プロセッサにより、前記複数の指標を統合した結果に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御することと、
を含む、画像処理方法。
プロセッサにより、前記複数の指標を統合した結果に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御することと、
を含む、画像処理方法。
【請求項11】
ＩＣＧ蛍光法によって血管を撮像して第１の画像データを得る撮像部と、
前記第１の画像データの特徴を示す複数の指標を検出する特徴検出部と、
前記複数の指標を統合した結果に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御する強調処理部と、
を備える、画像処理システム。
前記第１の画像データの特徴を示す複数の指標を検出する特徴検出部と、
前記複数の指標を統合した結果に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御する強調処理部と、
を備える、画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法および画像処理システムに関する。
【背景技術】
【0002】
近年、医療現場において内視鏡が用いられることがある。内視鏡によって撮像が行われる場合、白色光の照射によって得られた通常画像を観察する通常観察が行われる場合がある。あるいは、励起光を照射することにより発生する蛍光により画像（蛍光画像）を得る蛍光観察が行われる場合もある。また、これらの通常画像と蛍光画像とが重ね合わされた合成画像をモニタに表示する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１１－５００２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このようにして得られる蛍光画像は、強調処理が施された上でモニタに表示される。このとき、カメラヘッドから入力された蛍光画像に対する強調処理の度合いを均一にしてしまうと、領域によっては強調処理の度合いが強くなりすぎてしまい、視認性が向上しない場合がある。一例として、散乱が大きい領域および細い血管に施される強調処理の度合いは強くてよいが、同じ強さの強調処理を他の領域に施してしまうと、強調処理の度合いが強くなりすぎてしまう場合がある。
【0005】
そこで、蛍光画像の視認性を向上させることが可能な技術が提供されることが望まれる。
【課題を解決するための手段】
【0006】
本開示によれば、ＩＣＧ蛍光法によって血管が撮像された第１の画像データの特徴を示す複数の指標を検出する特徴検出部と、前記複数の指標を統合した結果に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御する強調処理部と、を備える、画像処理装置が提供される。
【0007】
本開示によれば、ＩＣＧ蛍光法によって血管が撮像された第１の画像データの特徴を検出することと、プロセッサにより、前記特徴に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御することと、を含む、画像処理方法が提供される。
【0008】
本開示によれば、ＩＣＧ蛍光法によって血管を撮像して第１の画像データを得る撮像部と、前記第１の画像データの特徴を検出する特徴検出部と、前記特徴に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御する強調処理部と、を備える、画像処理システムが提供される。
【発明の効果】
【0009】
以上説明したように本開示によれば、蛍光画像の視認性を向上させることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0010】
【図1】内視鏡手術システムの概略的な構成の一例を示す図である。
【図3】本開示の第１の実施形態に係るＣＣＵの機能構成例を示すブロック図である。
【図4】被写体特徴検出部の詳細構成例を示す図である。
【図5】散乱度検出部の詳細構成例を示す図である。
【図6】相関値と散乱度との対応関係の例を示す図である。
【図7】血管径検出部の詳細構成例を示す図である。
【図8】ＩＣＧ画像に対して画像処理が異なる強度で施された場合について説明するための図である。
【図9】差分値と血管径との対応関係の例を示す図である。
【図10】ＩＣＧ画像の例を示す図である。
【図11】スケール「０．５」におけるＩＣＧ画像の例を示す図である。
【図12】スケール「５」におけるＩＣＧ画像の例を示す図である。
【図13】スケール「１０」におけるＩＣＧ画像の例を示す図である。
【図14】スケール「１５」におけるＩＣＧ画像の例を示す図である。
【図15】スケール「２０」におけるＩＣＧ画像の例を示す図である。
【図16】血管密集度検出部の詳細構成例を示す図である。
【図17】血管密集度について説明するための図である。
【図18】血管の割合と最多の血管径との組み合わせと血管密集度との対応関係の例を示す図である。
【図19】血管深さ検出部の詳細構成例を示す図である。
【図20】血管情報と相関値との組み合わせと血管深さとの対応関係の例を示す図である。
【図21】強調処理の度合いがＩＣＧ画像全体で均一である場合について説明するための図である。
【図22】血管径に応じて異なる度合いの強調処理が施された後のＩＣＧ画像の例を示す図である。
【図23】血管径に応じて異なる度合いの強調処理が施された後のＩＣＧ画像の例を示す図である。
【図24】被写体特徴に対応する係数が係数ＤＢに登録されている場合（第１の例）を示す図である。
【図25】被写体特徴の一部に対応する係数は係数ＤＢに登録されているが、被写体特徴の残りに対応する係数は係数ＤＢに登録されていない場合（第２の例）を示す図である。
【図26】単一の係数しか係数ＤＢに登録されていない場合（第３の例）を示す図である。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0013】
なお、説明は以下の順序で行うものとする。
１．システム構成例
２．概要
３．第１の実施形態
４．第２の実施形態
５．むすび
１．システム構成例
２．概要
３．第１の実施形態
４．第２の実施形態
５．むすび
【0014】
＜＜１．システム構成例＞＞
まず、図面を参照しながら、本開示の実施形態に係る医療用システム（画像処理システム）の一例の構成例について説明する。本開示の実施形態に係る医療用システムの例としては様々なシステムが想定される。ここでは、本開示の実施形態に係る医療用システムの一例として、内視鏡手術システムの構成例について主に説明する。
まず、図面を参照しながら、本開示の実施形態に係る医療用システム（画像処理システム）の一例の構成例について説明する。本開示の実施形態に係る医療用システムの例としては様々なシステムが想定される。ここでは、本開示の実施形態に係る医療用システムの一例として、内視鏡手術システムの構成例について主に説明する。
【0015】
図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
【0016】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
【0017】
内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
【0018】
（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
【0019】
（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
【0020】
鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【0021】
カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【0022】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
【0023】
（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
【0024】
表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
【0025】
光源装置５０４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
【0026】
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
【0027】
入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
【0028】
入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
【0029】
あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【0030】
処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0031】
以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
【0032】
（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
【0033】
関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
【0034】
例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
【0035】
また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
【0036】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【0037】
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
【0038】
（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0039】
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【0040】
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【0041】
（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
図２を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
【0042】
図２を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
【0043】
まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
【0044】
撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
【0045】
撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【0046】
また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
【0047】
また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
【0048】
駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
【0049】
通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
【0050】
また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
【0051】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５００１に搭載される。
【0052】
カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
【0053】
なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【0054】
次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
【0055】
また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【0056】
画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
【0057】
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
【0058】
制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【0059】
また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【0060】
カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【0061】
ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
【0062】
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
【0063】
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の構成例について説明した。
【0064】
＜＜２．概要＞＞
続いて、本開示に係る技術の概要について説明する。医療現場において内視鏡が用いられることがある。内視鏡によって撮像が行われる場合、白色光の照射によって得られた通常画像を観察する通常観察が行われる場合がある。あるいは、励起光を照射することにより発生する蛍光により画像（蛍光画像）を得る蛍光観察が行われる場合もある。また、これらの通常画像と蛍光画像とが重ね合わされた合成画像をモニタに表示する技術が開示されている。
続いて、本開示に係る技術の概要について説明する。医療現場において内視鏡が用いられることがある。内視鏡によって撮像が行われる場合、白色光の照射によって得られた通常画像を観察する通常観察が行われる場合がある。あるいは、励起光を照射することにより発生する蛍光により画像（蛍光画像）を得る蛍光観察が行われる場合もある。また、これらの通常画像と蛍光画像とが重ね合わされた合成画像をモニタに表示する技術が開示されている。
【0065】
このようにして得られる蛍光画像は、表示される場合がある。このとき、カメラヘッドから入力された蛍光画像に対する強調処理の度合いを均一にしてしまうと、領域によっては強調処理の度合いが強くなりすぎてしまい、視認性が向上しない場合がある。一例として、散乱が大きい領域および細い血管に施される強調処理の度合いは強くてよいが、同じ強さの強調処理を他の領域に施してしまうと、強調処理の度合いが強くなりすぎてしまう場合がある。
【0066】
そこで、本開示の実施形態においては、蛍光画像の視認性を向上させることが可能な技術を主に提案する。また、蛍光画像の視認性を向上させることが、観察対象の診断支援につながることが期待される。
【0067】
以上、本開示に係る技術の概要について説明した。
【0068】
＜＜３．第１の実施形態＞＞
続いて、本開示の第１の実施形態について説明する。
続いて、本開示の第１の実施形態について説明する。
【0069】
（ＣＣＵの機能構成例）
まず、本開示の第１の実施形態に係るＣＣＵの機能構成例について説明する。図３は、本開示の第１の実施形態に係るＣＣＵの機能構成例を示すブロック図である。図３に示すように、本開示の第１の実施形態に係るＣＣＵ５０３９は、被写体特徴検出部１１０および強調処理部１６０を有する。被写体特徴検出部１１０および強調処理部１６０は、上記した画像処理部５０６１に存在していてよい。
まず、本開示の第１の実施形態に係るＣＣＵの機能構成例について説明する。図３は、本開示の第１の実施形態に係るＣＣＵの機能構成例を示すブロック図である。図３に示すように、本開示の第１の実施形態に係るＣＣＵ５０３９は、被写体特徴検出部１１０および強調処理部１６０を有する。被写体特徴検出部１１０および強調処理部１６０は、上記した画像処理部５０６１に存在していてよい。
【0070】
上記したように、特殊光観察では、励起光を照射することにより発生する蛍光により画像（蛍光画像）を得る蛍光観察が行われ得る。蛍光観察では、インドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの（いわゆる、ＩＣＧ蛍光法による撮像）が行われ得る。以下では、蛍光画像の例として、ＩＣＧ蛍光法によって血管が撮像された第１の画像データ（以下、「ＩＣＧ画像」とも言う。）が、カメラヘッド５００５からＣＣＵ５０３９に入力される場合を主に想定する。
【0071】
また、上記したように、通常観察では、白色光の照射によって得られた通常画像の観察が行われる。以下では、通常画像の例として、白色光の照射時に血管が撮像された第２の画像データ（以下、「ＷＬＩ（Ｗｈｉｔｅ Ｌｉｇｈｔ Ｉｍａｇｅ）画像」とも言う。）が、カメラヘッド５００５からＣＣＵ５０３９に入力される場合を主に想定する。
【0072】
カメラヘッド５００５からＣＣＵ５０３９にＩＣＧ画像とＷＬＩ画像とが入力される場合、ＩＣＧ画像を撮像するイメージセンサとＷＬＩ画像を撮像するイメージセンサとは別であってもよい。あるいは、光源の種類の切り替えによって白色光を照射するタイミングと励起光を照射するタイミングとを切り替えることによって、ＩＣＧ画像とＷＬＩ画像とを共通のイメージセンサによって撮像してもよい。なお、ＣＣＵ５０３９には、ＩＣＧ画像が入力されればよく、ＷＬＩ画像は、必要に応じてＣＣＵ５０３９に入力されればよい。
【0073】
図３に示されるように、被写体特徴検出部１１０（特徴検出部）は、ＩＣＧ画像の特徴（以下、「被写体特徴情報」とも言う。）を検出する。そして、強調処理部１６０は、被写体特徴検出部１１０によって検出されたＩＣＧ画像の特徴（被写体特徴情報）に基づいて、ＩＣＧ画像に対して施される強調処理の度合いを制御する。かかる構成によれば、蛍光画像の一例としてのＩＣＧ画像の視認性を向上させることが可能となる。
【0074】
強調処理部１６０によって強調処理が施された後のＩＣＧ画像は、制御部５０６３を介して表示装置５０４１（表示部）に出力される。このとき、制御部５０６３は、強調処理が施された後のＩＣＧ画像が表示装置５０４１によって表示されるように表示装置５０４１を制御する。これによって、ユーザは、強調処理が施された後のＩＣＧ画像を視認することが可能となる。
【0075】
強調処理部１６０によって強調処理が施された後のＩＣＧ画像とともに、強調処理部１６０によって強調処理が施される前のＩＣＧ画像も、制御部５０６３を介して表示装置５０４１に出力されてもよい。このとき、制御部５０６３は、強調処理が施される前後のＩＣＧ画像がともに表示装置５０４１によって表示されるように表示装置５０４１を制御してもよい。これによって、ユーザは、強調処理が施される前後のＩＣＧ画像を見比べることが可能となる。
【0076】
強調処理部１６０によって施される強調処理の度合いは、ユーザからの操作に応じて変更可能であってもよい。すなわち、強調処理部１６０は、ユーザから入力された操作情報に基づいて、強調処理の度合いを制御してもよい。これによって、ＩＣＧ画像に施される強調処理の度合いを、ユーザの所望する度合いに調整することが可能となる。なお、ユーザは、入力装置５０４７を介して操作情報を入力可能であってよい。
【0077】
強調処理部１６０によって強調処理が施された後のＩＣＧ画像とともに、ＷＬＩ画像も、制御部５０６３を介して表示装置５０４１に出力されてもよい。このとき、制御部５０６３は、強調処理が施された後のＩＣＧ画像とＷＬＩ画像とがともに表示装置５０４１によって表示されるように表示装置５０４１を制御してもよい。このとき、強調処理が施された後のＩＣＧ画像とＷＬＩ画像とは、離れた位置に表示されてもよいし、強調処理が施された後のＩＣＧ画像がＷＬＩ画像に重畳されて表示されてもよい。
【0078】
以下では、被写体特徴検出部１１０および強調処理部１６０それぞれの機能詳細について順に説明する。
【0079】
（被写体特徴検出部１１０）
まず、被写体特徴検出部１１０の機能詳細について説明する。図４は、被写体特徴検出部１１０の詳細構成例を示す図である。図４に示されるように、被写体特徴検出部１１０は、散乱度検出部１１１、血管径検出部１１２、血管密集度検出部１１３、血管深さ検出部１１４および被写体特徴ベクトル化処理部１１５を有する。
まず、被写体特徴検出部１１０の機能詳細について説明する。図４は、被写体特徴検出部１１０の詳細構成例を示す図である。図４に示されるように、被写体特徴検出部１１０は、散乱度検出部１１１、血管径検出部１１２、血管密集度検出部１１３、血管深さ検出部１１４および被写体特徴ベクトル化処理部１１５を有する。
【0080】
後に詳細に説明するように、散乱度検出部１１１は、光の散乱度を検出し、血管径検出部１１２は、血管径を検出し、血管密集度検出部１１３は、血管密集度を検出し、血管深さ検出部１１４は、血管深さを検出する。
【0081】
本開示の第１の実施形態においては、被写体特徴検出部１１０が、散乱度検出部１１１、血管径検出部１１２、血管密集度検出部１１３および血管深さ検出部１１４の全部を有する場合を主に想定する。かかる場合、被写体特徴ベクトル化処理部１１５は、散乱度、血管径、血管密集度および血管深さを被写体特徴としてベクトル化すればよい。すなわち、被写体特徴は、散乱度、血管径、血管密集度および血管深さを含んでよい。
【0082】
しかし、被写体特徴検出部１１０は、被写体特徴検出部１１０は、散乱度検出部１１１、血管径検出部１１２、血管密集度検出部１１３および血管深さ検出部１１４の一部のみを有していてもよい。かかる場合には、当該一部を被写体特徴としてベクトル化すればよい。すなわち、被写体特徴は、散乱度、血管径、血管密集度および血管深さの一部を含んでよい。
【0083】
なお、被写体特徴検出部１１０が、散乱度検出部１１１、血管径検出部１１２、血管密集度検出部１１３および血管深さ検出部１１４のうちの一つしか有していない場合には、被写体特徴ベクトル化処理部１１５によるベクトル化はなされなくてよい。すなわち、被写体特徴は、散乱度、血管径、血管密集度および血管深さのうちの一つを含んでよい。
【0084】
（散乱度検出部１１１）
続いて、散乱度検出部１１１の機能詳細について説明する。図５は、散乱度検出部１１１の詳細構成例を示す図である。図５に示されるように、散乱度検出部１１１は、相関値算出部１１１１および散乱度割り当て部１１１２を有する。
続いて、散乱度検出部１１１の機能詳細について説明する。図５は、散乱度検出部１１１の詳細構成例を示す図である。図５に示されるように、散乱度検出部１１１は、相関値算出部１１１１および散乱度割り当て部１１１２を有する。
【0085】
ここで、ＩＣＧ画像は、生体内を透過した光の撮像によって得られる。そこで、ＩＣＧ画像は、ＷＬＩ画像と比較して、光の散乱によるぼけ度合いが大きくなりやすい。そこで、ＩＣＧ画像とＷＬＩ画像との相関値が小さいほど、ＩＣＧ画像における光の散乱によるぼけ度合いが大きいと考えられる。したがって、散乱度検出部１１１は、相関値算出部１１１１によって、ＩＣＧ画像とＷＬＩ画像との相関値を算出し、散乱度割り当て部１１１２によって、相関値に基づいて散乱度を決定する（相関値に散乱度を割り当てる）。
【0086】
より具体的に、相関値算出部１１１１は、ＩＣＧ画像とＷＬＩ画像との相関値を領域ごと（例えば、画素ごと、またはブロックごと）に算出する。相関値の算出としては、２つのデータ列の相関の度合いを測れる手法であれば、どのような手法が採用されてもよい。例えば、相関値の算出として、正規化相互相関が用いられてもよい。正規化相互相関の例としては、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）、および、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）などが挙げられる。
【0087】
あるいは、相関値算出部１１１１は、ＩＣＧ画像およびＷＬＩ画像それぞれの周波数特性を測定し、ＩＣＧ画像およびＷＬＩ画像それぞれの周波数特性の違いを相関値として算出してもよい。
【0088】
散乱度割り当て部１１１２は、ＩＣＧ画像とＷＬＩ画像との相関値に基づいて散乱度を決定する（相関値に散乱度を割り当てる）。上記したように、ＩＣＧ画像とＷＬＩ画像との相関値が小さいほど、ＩＣＧ画像における光の散乱によるぼけ度合いが大きいと考えられる。そのため、散乱度割り当て部１１１２は、相関値の絶対値が小さいほど、大きな散乱度を決定してよい（絶対値の小さい相関値に大きい散乱度を割り当ててよい）。
【0089】
図６は、相関値と散乱度との対応関係の例を示す図である。図６を参照すると、相関値の絶対値と散乱度との対応テーブル１１１３が示されている。散乱度は、数値が大きいほど散乱が大きいことを示している。図６に示されるように、散乱度割り当て部１１１２は、相関値の絶対値が小さいほど、大きい散乱度を決定してよい（絶対値の小さい相関値に大きい散乱度を割り当ててよい）。ただし、相関値と散乱度との対応関係は、図６に示された例に限定されない。
【0090】
なお、本開示の第１の実施形態においては、被写体特徴が散乱度を含む場合を主に想定する。すなわち、被写体特徴検出部１１０によって散乱度が検出される場合を主に想定する。しかし、被写体特徴は、散乱度の代わりに相関値自体を含んでもよい。すなわち、被写体特徴検出部１１０によって散乱度は検出されなくてもよい。かかる場合には、散乱度検出部１１１は、散乱度割り当て部１１１２を有していなくてよい。
【0091】
また、ＩＣＧ画像とＷＬＩ画像との相関値の代わりに、ＩＣＧ画像とＷＬＩ画像との差分値が用いられてもよい。このとき、ＩＣＧ画像とＷＬＩ画像との差分値が大きいほど、ＩＣＧ画像における光の散乱によるぼけ度合いが大きいと考えられる。そこで、散乱度割り当て部１１１２は、差分値の絶対値が大きいほど、大きい散乱度を決定してよい（絶対値が大きい差分値に大きい散乱度を割り当ててよい）。
【0092】
以上、散乱度検出部１１１の機能詳細について説明した。
【0093】
（血管径検出部１１２）
続いて、血管径検出部１１２の機能詳細について説明する。図７は、血管径検出部１１２の詳細構成例を示す図である。図７に示されるように、血管径検出部１１２は、第１の画像処理部１１２１、第２の画像処理部１１２２、差分算出部１１２３および血管径割り当て部１１２４を有する。
続いて、血管径検出部１１２の機能詳細について説明する。図７は、血管径検出部１１２の詳細構成例を示す図である。図７に示されるように、血管径検出部１１２は、第１の画像処理部１１２１、第２の画像処理部１１２２、差分算出部１１２３および血管径割り当て部１１２４を有する。
【0094】
ここで、ＩＣＧ画像に対して画像処理が異なる強度で施された場合、血管径が細いほど、２つの処理結果それぞれに写る血管の差分が大きくなる傾向がある。かかる傾向について、図８を参照しながら説明する。なお、本開示の第１の実施形態においては、ＩＣＧ画像に対して画像処理が施される場合について主に想定する。しかし、ＩＣＧ画像の代わりに、または、ＩＣＧ画像とともにＷＬＩ画像に対して画像処理が施されてもよい。
【0095】
図８は、ＩＣＧ画像に対して画像処理が異なる強度で施された場合について説明するための図である。図８に示された例では、ＩＣＧ画像に対して強調処理（例えば、アンシャープマスク処理など）が施される場合を主に想定する。しかし、ＩＣＧ画像に対して施される画像処理は、強調処理に限定されない。例えば、ＩＣＧ画像に対して施される画像処理は、平滑化処理（例えば、ガウシアンフィルタ処理など）であってもよい。すなわち、ＩＣＧ画像に対して施される画像処理は、血管径が細いほど、２つの処理結果それぞれに写る血管の差分が大きくなるような画像処理であればよい。
【0096】
図８を参照すると、強調処理が強く施された後のＩＣＧ画像Ｍ１１と、強調処理が弱く施された後のＩＣＧ画像Ｍ１２とが示されている。強調処理が強く施された後のＩＣＧ画像Ｍ１１には、細い血管Ｋ１１および他の血管（中程度の太さの血管、および、太い血管）が写っており、強調処理が弱く施された後のＩＣＧ画像Ｍ１２には、細い血管Ｋ１１に対応する血管Ｋ１２および他の血管（中程度の太さの血管、および、太い血管）が写っている。
【0097】
このとき、強調処理が強く施された後のＩＣＧ画像Ｍ１１と強調処理が弱く施された後のＩＣＧ画像Ｍ１２との差分画像Ｍ１３には、細い血管Ｋ１１のみが写っており、他の血管（中程度の太さの血管、および、太い血管）は写っていない。このような現象は、上記したように、血管径が細いほど、２つの処理結果それぞれに写る血管の差分は大きくなる傾向があることによる。
【0098】
したがって、第１の画像処理部１１２１は、第１の強度によってＩＣＧ画像に対して画像処理を施す。そして、第２の画像処理部１１２２は、第１の強度とは異なる第２の強度によってＩＣＧ画像に対して画像処理を施す。差分算出部１１２３は、第１の画像処理部１１２１による処理結果と、第２の画像処理部１１２２による処理結果との差分値を算出する。
【0099】
血管径割り当て部１１２４は、ＩＣＧ画像に対して異なる強度で施される２つの画像処理の処理結果同士の差分値に基づいて血管径を決定する（差分値に血管径を割り当てる）。上記したように、２つの画像処理の処理結果同士の差分値が大きいほど、血管径が細いと考えられる。そのため、血管径割り当て部１１２４は、２つの画像処理の処理結果同士の差分値が大きいほど、細い血管径を決定してよい（差分値に細い血管径を割り当ててよい）。
【0100】
図９は、差分値と血管径との対応関係の例を示す図である。図９を参照すると、差分値の絶対値と血管径との対応テーブル１１２５が示されている。ここで、血管径は、数値が大きいほど小さいことを示している。図９に示されるように、血管径割り当て部１１２４は、差分値の絶対値が大きいほど、細い血管径（数値の大きな血管径）を決定してよい（絶対値の大きい差分値に細い血管径を割り当ててよい）。ただし、差分値と血管径との対応関係は、図９に示された例に限定されない。
【0101】
なお、本開示の第１の実施形態においては、被写体特徴が血管径を含む場合を主に想定する。すなわち、被写体特徴検出部１１０によって血管径が検出される場合を主に想定する。しかし、被写体特徴は、血管径の代わりに差分値自体を含んでもよい。すなわち、被写体特徴検出部１１０によって血管径は検出されなくてもよい。かかる場合には、血管径検出部１１２は、血管径割り当て部１１２４を有していなくてよい。
【0102】
（血管径検出部１１２の変形例）
続いて、血管径検出部１１２の変形例について説明する。血管径検出部１１２は、他の手法によって血管径を決定してもよい。具体的に、血管径検出部１１２は、ＩＣＧ画像から算出されるヘッセ行列の固有値に基づいて、血管径を決定してもよい。以下では、かかる変形例について説明する。なお、かかる手法の詳細としては、参考文献「A. F. Frangi et. al., "Multiscale vessel enhancement
filtering", Proceedings of MICCAI, pp130-137, 1998.」の記載を参照することが可能である。
続いて、血管径検出部１１２の変形例について説明する。血管径検出部１１２は、他の手法によって血管径を決定してもよい。具体的に、血管径検出部１１２は、ＩＣＧ画像から算出されるヘッセ行列の固有値に基づいて、血管径を決定してもよい。以下では、かかる変形例について説明する。なお、かかる手法の詳細としては、参考文献「A. F. Frangi et. al., "Multiscale vessel enhancement
filtering", Proceedings of MICCAI, pp130-137, 1998.」の記載を参照することが可能である。
【0103】
図１０は、ＩＣＧ画像の例を示す図である。図１０を参照すると、血管径検出部１１２に入力されるＩＣＧ画像Ｇ１０が示されている。血管径検出部１１２は、ＩＣＧ画像Ｇ１０のヘッセ行列を画素ごとに算出する。ここで、画素ごとのヘッセ行列は、画素の座標を（ｘ，ｙ）とし、画素値をＩとすると、以下の（数式１）に示すように表される。
【0104】
【数1】
【0105】
続いて、血管径検出部１１２は、画素ごとのヘッセ行列の固有値を算出する。固有値は、以下の（数式２）に示すように表される。
【0106】
【数2】
【0107】
血管径検出部１１２は、固有値を用いた構造ベースの指標ＲＢと強度ベースの指標Ｓとに基づいて、血管抽出を行う。構造ベースの指標ＲＢおよび強度ベースの指標Ｓは、以下の（数式３）に示すように表される。
【0108】
【数3】
【0109】
具体的に、血管径検出部１１２は、構造ベースの指標ＲＢと強度ベースの指標Ｓとを用いた血管抽出のための式を用いて血管抽出を行う。血管抽出のための式は、構造ベースの指標ＲＢと強度ベースの指標Ｓとを用いて、以下の（数式４）に示すように表される。
【0110】
【数4】
【0111】
ここで、２つの固有値の差が大きいほど、構造ベースの指標ＲＢは小さくなり、Ｖ（ｓ）の値は大きくなるため、画素が血管であると判断されやすくなる。一方、画素値の変化が小さい画素（背景部の画素など）において強度ベースの指標Ｓは小さくなり、Ｖ（ｓ）の値は小さくなるため、画素が血管ではないと判断されやすくなる。
【0112】
より具体的な例を用いて説明する。上記したように、血管径検出部１１２は、ＩＣＧ画像Ｇ１０のヘッセ行列を画素ごとに算出する。ここで、画素ごとのヘッセ行列Ｈは、画素の座標を（ｘ，ｙ）とすると、以下の（数式５）に示すように表される。
【0113】
【数5】
【0114】
血管径検出部１１２は、このようにして表される画素ごとのヘッセ行列Ｈを用いて、上記したように固有値を算出し、血管抽出のための式を用いて血管抽出を行う。より具体的に、血管径検出部１１２は、ある画素において全スケール中で最大画素値をとるスケール（Ｖ（ｓ）が最大となるスケール）において当該画素が血管部であるとし、各スケールにおいて血管を抽出する。これによって、血管径のサイズごとに血管を抽出することが可能となる（血管径の大小を考慮して血管を抽出することが可能となる）。
【0115】
図１１～図１５は、各スケールにおけるＩＣＧ画像の例を示す図である。図１１には、スケールが「０．５」である場合におけるＩＣＧ画像Ｇ１１が示されている。図１２には、スケールが「５」である場合におけるＩＣＧ画像Ｇ１２が示されている。図１３には、スケールが「１０」である場合におけるＩＣＧ画像Ｇ１３が示されている。図１４には、スケールが「１５」である場合におけるＩＣＧ画像Ｇ１４が示されている。図１５には、スケールが「２０」である場合におけるＩＣＧ画像Ｇ１５が示されている。図１１～図１５を参照すると、スケールが大きくなるにつれて太い血管が抽出され得ることが把握される。
【0116】
以上、血管径検出部１１２の機能詳細について説明した。
【0117】
（血管密集度検出部１１３）
続いて、血管密集度検出部１１３の機能詳細について説明する。図１６は、血管密集度検出部１１３の詳細構成例を示す図である。図１６に示されるように、血管密集度検出部１１３は、血管密集度割り当て部１１３１を有する。なお、図１６に示されるように、血管密集度検出部１１３には、血管径検出部１１２によって検出された血管径に関する情報が入力され得る。
続いて、血管密集度検出部１１３の機能詳細について説明する。図１６は、血管密集度検出部１１３の詳細構成例を示す図である。図１６に示されるように、血管密集度検出部１１３は、血管密集度割り当て部１１３１を有する。なお、図１６に示されるように、血管密集度検出部１１３には、血管径検出部１１２によって検出された血管径に関する情報が入力され得る。
【0118】
血管密集度割り当て部１１３１は、ＩＣＧ画像に基づく血管密集度を決定する。以下では、血管密集度が、ＩＣＧ画像のある面積に占める血管の面積の割合（以下、「血管の割合」とも言う。）とその面積内に最も多い血管径（以下、「最多の血管径」とも言う。）との組み合わせである場合を主に想定する。しかし、血管密集度はどのように決定されてもよい。例えば、血管密集度は、ＩＣＧ画像のある面積内に存在する血管の本数（以下、単に「血管の本数」とも言う。）であってもよいし、血管の割合であってもよい。
【0119】
図１７は、血管密集度について説明するための図である。図１７を参照すると、細い血管が密に存在する場合と、太い血管が疎に存在する場合と、細い血管が疎に存在する場合が例として示されている。図１７に示された例において、太い血管が疎に存在する場合は、細い血管が疎に存在する場合よりも、血管密集度が高いと言える（血管の割合が大きいほど、血管密集度が高いと言える）。また、細い血管が密に存在する場合と細い血管が疎に存在する場合とは、ＩＣＧ画像のある面積に占める血管（の面積）の割合が同程度であるが、最も多い血管径が細い場合のほうが、最も多い血管径が太い場合よりも、血管密集度が高いと言える。
【0120】
血管密集度割り当て部１１３１は、血管の割合と最多の血管径との組み合わせに基づいて血管密集度を決定する（当該組み合わせに血管密集度を割り当てる）。上記したように、血管の割合が大きいほど、血管密集度が高いと考えられる。さらに、最多の血管径が細いほど、血管密集度が高いと考えられる。そのため、血管密集度割り当て部１１３１は、血管の割合が大きいほど、または、最多の血管径が細いほど、高い血管密集度を決定してよい（血管の割合と最多の血管径との組み合わせに高い血管密集度を割り当ててよい）。
【0121】
図１８は、血管の割合と最多の血管径との組み合わせと血管密集度との対応関係の例を示す図である。図１８を参照すると、血管の割合と最多の血管径との組み合わせと血管密集度との対応テーブル１１３２が示されている。ここで、血管密集度は、数値が大きいほど高いことを示している。図１８に示されるように、血管密集度割り当て部１１３１は、血管の割合が大きいほど、または、最多の血管径が細いほど、高い血管密集度を決定してよい（血管の割合と最多の血管径との組み合わせに高い血管密集度を割り当ててよい）。ただし、血管の割合と最多の血管径との組み合わせと血管密集度との対応関係は、図１８に示された例に限定されない。
【0122】
なお、上記したように、血管密集度は、血管の本数であってもよいし、血管の割合であってもよい。このとき、血管密集度割り当て部１１３１は、血管の本数が多いほど、高い血管密集度を決定してよい（血管の本数に高い血管密集度を割り当ててよい）。あるいは、血管密集度割り当て部１１３１は、血管の割合が大きいほど、高い血管密集度を決定してよい（血管の割合に高い血管密集度を割り当ててよい）。
【0123】
（血管深さ検出部１１４）
続いて、血管深さ検出部１１４の機能詳細について説明する。図１９は、血管深さ検出部１１４の詳細構成例を示す図である。図１９に示されるように、血管深さ検出部１１４は、血管検出部１１４１、相関値算出部１１４２および血管深さ割り当て部１１４３を有する。なお、相関値算出部１１４２は、散乱度検出部１１１における相関値算出部１１１１と同様に機能してよい。
続いて、血管深さ検出部１１４の機能詳細について説明する。図１９は、血管深さ検出部１１４の詳細構成例を示す図である。図１９に示されるように、血管深さ検出部１１４は、血管検出部１１４１、相関値算出部１１４２および血管深さ割り当て部１１４３を有する。なお、相関値算出部１１４２は、散乱度検出部１１１における相関値算出部１１１１と同様に機能してよい。
【0124】
ここで、ＷＬＩ画像に血管が写っておらず、ＩＣＧ画像に血管が写っている場合などのように、ＷＬＩ画像よりもＩＣＧ画像のほうがより鮮明に血管が写っている場合が想定される。かかる場合には、生体内の深い位置に血管が存在すると考えられる。そこで、ＩＣＧ画像とＷＬＩ画像との相関値が小さいほど、血管深さが大きいと考えられる。さらに、血管が検出されなかった場合には、血管が検出された場合よりも、血管深さが大きいと考えられる。
【0125】
したがって、血管深さ検出部１１４は、血管検出部１１４１によって、ＩＣＧ画像およびＷＬＩ画像の少なくともいずれか一方に血管が存在するか否かを検出し、相関値算出部１１４２によって、ＩＣＧ画像とＷＬＩ画像との相関値を算出し、血管深さ割り当て部１１４３によって、血管が存在するか否かを示す情報（以下、「血管情報」とも言う。）および相関値に基づいて散乱度を決定する（血管情報および相関値に血管深さを割り当てる）。
【0126】
より具体的に、血管検出部１１４１は、ＩＣＧ画像およびＷＬＩ画像の少なくともいずれか一方に（ＩＣＧ画像に、ＷＬＩ画像に、または、ＩＣＧ画像とＷＬＩ画像との双方に）血管が存在するか否かを領域ごと（例えば、画素ごと、またはブロックごと）に検出する。このとき、血管検出部１１４１は、色情報または信号帯域を算出し、色情報または信号帯域に基づいて血管が存在するか否かを検出すればよい。
【0127】
血管深さ割り当て部１１４３は、血管情報および相関値に基づいて散乱度を決定する（血管情報および相関値に血管深さを割り当てる）。上記したように、ＩＣＧ画像とＷＬＩ画像との相関値が小さいほど、血管深さが大きいと考えられる。そのため、散乱度割り当て部１１１２は、相関値の絶対値が小さいほど、大きい血管深さを決定してよい（絶対値の小さい相関値に大きい血管深さを割り当ててよい）。
【0128】
さらに、上記したように、血管が検出されなかった場合には、血管が検出された場合よりも、血管深さが大きいと考えられる。そのため、血管深さ割り当て部１１４３は、血管が検出されなかった場合には、血管が検出された場合よりも、大きい血管深さを決定してよい（血管が検出された場合よりも血管が検出されなかった場合に、大きい血管深さを割り当ててよい）。
【0129】
図２０は、血管情報と相関値との組み合わせと血管深さとの対応関係の例を示す図である。図２０を参照すると、血管情報と相関値との組み合わせと血管深さとの対応テーブル１１４４が示されている。血管深さは、数値が大きいほど生体内において血管が深い位置に存在することを示している。図２０に示されるように、血管深さ割り当て部１１４３は、血管が検出されなかった場合には血管が検出された場合よりも、大きい血管深さを決定してよく、相関値の絶対値が小さいほど、大きい血管深さを決定してよい。ただし、血管情報と相関値との組み合わせと血管深さとの対応関係は、図２０に示された例に限定されない。
【0130】
また、ＩＣＧ画像とＷＬＩ画像との相関値の代わりに、ＩＣＧ画像とＷＬＩ画像との差分値が用いられてもよい。このとき、ＩＣＧ画像とＷＬＩ画像との差分値が大きいほど、血管深さが大きいと考えられる。そこで、血管深さ割り当て部１１４３は、差分値の絶対値が大きいほど、大きい血管深さを決定してよい（絶対値が大きい差分値に大きい血管深さを割り当ててよい）。
【0131】
以上、血管深さ検出部１１４の機能詳細について説明した。
【0132】
（強調処理部１６０）
続いて、強調処理部１６０の機能詳細について説明する。ここで、強調処理の度合いがＩＣＧ画像全体で均一である場合について説明する。図２１は、強調処理の度合いがＩＣＧ画像全体で均一である場合について説明するための図である。図２１を参照すると、強調処理が施される前のＩＣＧ画像Ｍ２１と、弱い強調処理が施された後のＩＣＧ画像Ｍ２２と、強い強調処理が施された後のＩＣＧ画像Ｍ２３とが示されている。
続いて、強調処理部１６０の機能詳細について説明する。ここで、強調処理の度合いがＩＣＧ画像全体で均一である場合について説明する。図２１は、強調処理の度合いがＩＣＧ画像全体で均一である場合について説明するための図である。図２１を参照すると、強調処理が施される前のＩＣＧ画像Ｍ２１と、弱い強調処理が施された後のＩＣＧ画像Ｍ２２と、強い強調処理が施された後のＩＣＧ画像Ｍ２３とが示されている。
【0133】
ここで、強調処理が施される前のＩＣＧ画像Ｍ２１においては、細い血管Ｋ２１が細いままであり視認しづらくなってしまっている。一方、弱い強調処理が施された後のＩＣＧ画像Ｍ２２においては、細い血管Ｋ２２が少し太くなっているため、細い血管Ｋ２２の視認性が少し改善されている。また、強い強調処理が施された後のＩＣＧ画像Ｍ２３においては、細い血管Ｋ２３がさらに太くなっているため、細い血管Ｋ２３の視認性が大きく改善されている。しかし、強調処理の度合いが強くなるにつれて、画像全体のノイズも増えてしまっていることが把握される。
【0134】
そこで、強調処理部１６０は、被写体特徴検出部１１０によって検出された被写体特徴に応じて、強調処理の度合いを制御する。具体的に、強調処理部１６０は、被写体特徴検出部１１０によって検出された被写体の特徴量が大きいほど、強調処理の度合いを強くすればよい。これによって、強く強調されるべき領域には、強く強調処理が施され、過強調を防ぐべき領域には、弱く強調処理が施されてノイズが低減されるため、視認性の向上が向上される。
【0135】
具体的に、強調処理部１６０は、散乱度検出部１１１によって散乱度が検出された場合、散乱度が大きいほど、強調処理の度合いを強めてよい。また、強調処理部１６０は、散乱度検出部１１１によって相関値が検出された場合、相関値が低いほど、強調処理の度合いを強めてよい。これによって、蛍光の散乱が大きい領域に対して施される強調処理の度合いは強くなり、他の領域に対して施される強調処理の度合いは弱くなるため、視認性が向上される。
【0136】
また、強調処理部１６０は、血管径検出部１１２によって血管径が検出された場合、血管径が小さいほど、強調処理の度合いを強めてよい。また、強調処理部１６０は、血管径検出部１１２によってＩＣＧ画像とＷＬＩ画像との差分値が検出された場合、差分値の絶対値が小さいほど、強調処理の度合いを強めてよい。これによって、血管径の細い領域に対して施される強調処理の度合いは強くなり、他の領域に対して施される強調処理の度合いは弱くなるため、視認性が向上される。
【0137】
図２２は、血管径に応じて異なる度合いの強調処理が施された後のＩＣＧ画像の例を示す図である。図２２を参照すると、血管径に応じて異なる度合いの強調処理が施されたＩＣＧ画像Ｍ３１が示されている。径が細い血管Ｋ２３が存在する領域Ｒ１には、強い度合いの強調処理が施されている。一方、径が太い血管Ｋ３２が存在する領域Ｒ２には、弱い度合いの強調処理が施されている。かかる強調処理によって、径が細い血管Ｋ２３および径が太い血管Ｋ３２の視認性が向上される。
【0138】
図２１に戻って説明を続ける。強調処理部１６０は、血管密集度検出部１１３によって血管密集度が検出された場合、血管密集度が高いほど、強調処理の度合いを強めてよい。これによって、血管密集度が高い領域に対して施される強調処理の度合いは強くなり、他の領域に対して施される強調処理の度合いは弱くなるため、視認性が向上される。
【0139】
また、強調処理部１６０は、血管深さ検出部１１４によって血管深さが検出された場合、血管深さが大きいほど、強調処理の度合いを強めてよい。これによって、血管深さが大きい領域に対して施される強調処理の度合いは強くなり、他の領域に対して施される強調処理の度合いは弱くなるため、視認性が向上される。
【0140】
なお、本開示の第１の実施形態においては、ＩＣＧ画像に対して強調処理が施される場合を主に想定したが、強調処理の代わりにノイズ除去処理がＩＣＧ画像に施されてもよい。
【0141】
かかる場合、強調処理部１６０は、被写体特徴検出部１１０によって検出された被写体特徴に応じて、ノイズ除去の度合いを制御する。具体的に、強調処理部１６０は、被写体特徴検出部１１０によって検出された被写体の特徴量が大きいほど、ノイズ除去処理の度合いを強くすればよい。これによって、強くノイズ除去されるべき領域（より視認しづらい領域）には、強くノイズ除去処理が施され、その他の領域には、弱くノイズ除去処理が施されるため、視認性の向上が向上される。
【0142】
具体的に、散乱度検出部１１１によって散乱度が検出された場合、散乱度が大きいほど、ノイズ除去処理の度合いは強められてよい。また、散乱度検出部１１１によって相関値が検出された場合、相関値が低いほど、ノイズ除去処理の度合いは強められてよい。また、血管径検出部１１２によって血管径が検出された場合、血管径が小さいほど、ノイズ除去処理の度合いは強められてよい。また、血管径検出部１１２によってＩＣＧ画像とＷＬＩ画像との差分値が検出された場合、差分値の絶対値が小さいほど、ノイズ除去処理の度合いは強められてよい。
【0143】
また、血管密集度検出部１１３によって血管密集度が検出された場合、血管密集度が高いほど、ノイズ除去処理の度合いは強められてよい。また、血管深さ検出部１１４によって血管深さが検出された場合、血管深さが大きいほど、強調処理の度合いは強められてよい。
【0144】
なお、強調処理部１６０によって施される強調処理の具体的な手法は、特に限定されない。例えば、ＩＣＧ画像に対して強調処理が施される前の画素値をｘ０とし、ｘ０に対する強調処理に利用される周辺の画素値（画素値ｘ０を含む）をｘ０～ｘｎとし、強調度合いをｐとすると、ＩＣＧ画像に対して強調処理が施された後の画素値ｙは、以下の（数式６）に示すように表される。
【0145】
【数6】
【0146】
以上、本開示の第１の実施形態について説明した。
【0147】
＜＜４．第２の実施形態＞＞
続いて、本開示の第２の実施形態について説明する。
続いて、本開示の第２の実施形態について説明する。
【0148】
（ＣＣＵの機能構成例）
まず、本開示の第２の実施形態に係るＣＣＵの機能構成例について説明する。図２３は、本開示の第２の実施形態に係るＣＣＵの機能構成例を示すブロック図である。図２３に示すように、本開示の第２の実施形態に係るＣＣＵ５０３９は、本開示の第１の実施形態と同様に、被写体特徴検出部１１０および強調処理部１６０を有する。その他、本開示の第２の実施形態に係るＣＣＵ５０３９は、クラス分類部１２０、係数選択部１３０、係数ＤＢ（データベース）１４０を有する。
まず、本開示の第２の実施形態に係るＣＣＵの機能構成例について説明する。図２３は、本開示の第２の実施形態に係るＣＣＵの機能構成例を示すブロック図である。図２３に示すように、本開示の第２の実施形態に係るＣＣＵ５０３９は、本開示の第１の実施形態と同様に、被写体特徴検出部１１０および強調処理部１６０を有する。その他、本開示の第２の実施形態に係るＣＣＵ５０３９は、クラス分類部１２０、係数選択部１３０、係数ＤＢ（データベース）１４０を有する。
【0149】
係数ＤＢ１４０には、過去のＩＣＧ画像を用いた機械学習によって生成された、被写体特徴と強調処理の係数（以下、単に「係数」とも言う。）との対応付け（以下、「係数セット」とも言う。）が登録されている。より具体的には、過去のＩＣＧ画像から検出された被写体特徴と係数との複数の組み合わせに対する学習処理によって、被写体特徴と係数との対応付けが構築される。このように、被写体特徴のクラスごとに係数があらかじめ用意されている。
【0150】
クラス分類部１２０は、被写体特徴検出部１１０によって検出された被写体特徴の一部または全部が、どの係数セットの特徴にマッチするかを判定することによって、被写体特徴が属するクラスを判定する。係数選択部１３０は、係数ＤＢ１４０からクラスに対応する係数を選択する。なお、係数セットに含まれる特徴の種類としては、様々な場合が想定される。
【0151】
具体的に、第１の例として、被写体特徴検出部１１０によって検出された被写体特徴に対応する係数が係数ＤＢ１４０に登録されている場合が想定される。第２の例として、被写体特徴検出部１１０によって検出された被写体特徴の一部（第１の特徴）に対応する係数は係数ＤＢ１４０に登録されているが、被写体特徴検出部１１０によって検出された被写体特徴の残り（第１の特徴とは異なる第２の特徴）に対応する係数は係数ＤＢ１４０に登録されていない場合が想定される。第３の例として、単一の係数しか係数ＤＢ１４０に登録されていない場合が想定される。
【0152】
図２４は、被写体特徴に対応する係数が係数ＤＢ１４０に登録されている場合（第１の例）を示す図である。図２４に示されるように、係数セットＴ１０には、被写体特徴検出部１１０によって検出された被写体特徴（散乱度、血管径、・・・）と係数とが対応付けられた係数セットＴ１１～Ｔ１４が含まれている。
【0153】
このように、被写体特徴検出部１１０によって検出された被写体特徴に対応する係数が係数ＤＢ１４０に登録されている場合、被写体特徴の全部に対する係数が係数ＤＢ１４０から取得される。そのため、強調処理部１６０は、係数に応じて強調処理を制御すればよい。すなわち、強調処理部１６０による強調処理は、被写体特徴検出部１１０によって検出された被写体特徴によらず単一であってよい（Ｓ１１）。
【0154】
図２５は、被写体特徴の一部（第１の特徴）に対応する係数は係数ＤＢ１４０に登録されているが、被写体特徴の残り（第２の特徴）に対応する係数は係数ＤＢ１４０に登録されていない場合（第２の例）を示す図である。図２５に示されるように、係数セットＴ２０には、被写体特徴検出部１１０によって検出された被写体特徴の一部（散乱度）と係数とが対応付けられた係数セットＴ２１～Ｔ２２が含まれている。
【0155】
このように、被写体特徴検出部１１０によって検出された被写体特徴の一部（第１の特徴）に対応する係数が係数ＤＢ１４０に登録されている場合、かつ、被写体特徴の残り（第２の特徴）に対応する係数が係数ＤＢ１４０に登録されていない場合、被写体特徴の一部に対する係数だけが係数ＤＢ１４０から取得される。そのため、強調処理部１６０は、係数に応じて強調処理を制御するとともに、被写体特徴検出部１１０によって検出された被写体特徴の残り（第２の特徴）に基づいて、強調処理の度合いを制御すればよい。すなわち、強調処理部１６０による強調処理の度合いは、他の特徴（散乱度以外の特徴）に基づいて制御されてよい（Ｓ１２）。
【0156】
図２６は、単一の係数しか係数ＤＢ１４０に登録されていない場合（第３の例）を示す図である。図２６に示されるように、係数セットＴ３０には、１種類の係数を含む係数セットＴ３１が含まれている。このように、単一の係数が係数ＤＢ１４０に登録されている場合、単一の係数が係数ＤＢ１４０から取得される。そのため、強調処理部１６０は、単一の係数に応じて強調処理を制御するとともに、被写体特徴検出部１１０によって検出された被写体特徴に基づいて、強調処理の度合いを制御すればよい。すなわち、強調処理部１６０による強調処理の度合いは、被写体特徴の全部に基づいて制御されてよい（Ｓ１３）。
【0157】
なお、本開示の第２の実施形態に係る強調処理部１６０によって施される強調処理の具体的な手法も、特に限定されない。例えば、本開示の第１の実施形態と同様に、ＩＣＧ画像に対して強調処理が施される前の画素値をｘ０とし、ｘ０に対する強調処理に利用される周辺の画素値（画素値ｘ０を含む）をｘ０～ｘｎとし、強調度合いをｐとし、本開示の第２の実施形態において、係数ａｉとすると、ＩＣＧ画像に対して強調処理が施された後の画素値ｙは、以下の（数式７）に示すように表される。
【0158】
【数7】
【0159】
以上、本開示の第２の実施形態について説明した。
【0160】
＜５．むすび＞
以上説明したように、本開示の実施形態によれば、ＩＣＧ蛍光法によって血管が撮像された第１の画像データの例としてのＩＣＧ画像の特徴を検出する被写体特徴検出部１１０と、被写体特徴検出部１１０によって検出された特徴に基づいて、ＩＣＧ画像に対して施される強調処理の度合いを制御する強調処理部１６０と、を備える、画像処理装置の例としてのＣＣＵ５０３９が提供される。かかる構成によれば、蛍光画像の視認性が向上される。また、蛍光画像の視認性の向上によって観察対象の診断が支援され得る。
以上説明したように、本開示の実施形態によれば、ＩＣＧ蛍光法によって血管が撮像された第１の画像データの例としてのＩＣＧ画像の特徴を検出する被写体特徴検出部１１０と、被写体特徴検出部１１０によって検出された特徴に基づいて、ＩＣＧ画像に対して施される強調処理の度合いを制御する強調処理部１６０と、を備える、画像処理装置の例としてのＣＣＵ５０３９が提供される。かかる構成によれば、蛍光画像の視認性が向上される。また、蛍光画像の視認性の向上によって観察対象の診断が支援され得る。
【0161】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0162】
例えば、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した制御部５０６３が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【0163】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
【0164】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ＩＣＧ蛍光法によって血管が撮像された第１の画像データの特徴を検出する特徴検出部と、
前記特徴に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御する強調処理部と、
を備える、画像処理装置。
（２）
前記特徴は、前記第１の画像データと白色光の照射時に前記血管が撮像された第２の画像データとの相関値、または、前記相関値に基づいて決定される散乱度を含む、
前記（１）に記載の画像処理装置。
（３）
前記強調処理部は、前記相関値が低いほど、または、前記散乱度が大きいほど、前記強調処理の度合いを強める、
前記（２）に記載の画像処理装置。
（４）
前記特徴は、前記第１の画像データに対して異なる強度で施される２つの画像処理の処理結果同士の差分値、または、前記差分値に基づいて決定される血管径を含む、
前記（１）～（３）のいずれか一項に記載の画像処理装置。
（５）
前記強調処理部は、前記差分値の絶対値が小さいほど、または、前記血管径が小さいほど、前記強調処理の度合いを強める、
前記（４）に記載の画像処理装置。
（６）
前記特徴は、前記第１の画像データから算出されるヘッセ行列の固有値に基づいて決定される血管径を含む、
前記（１）～（３）のいずれか一項に記載の画像処理装置。
（７）
前記強調処理部は、前記血管径が小さいほど、前記強調処理の度合いを強める、
前記（６）に記載の画像処理装置。
（８）
前記特徴は、前記第１の画像データに基づいて決定される血管の密集度を含む、
前記（１）～（７）のいずれか一項に記載の画像処理装置。
（９）
前記強調処理部は、前記血管の密集度が高いほど、前記強調処理の度合いを強める、
前記（８）に記載の画像処理装置。
（１０）
前記特徴は、前記第１の画像データと白色光の照射時に前記血管が撮像された第２の画像データとの相関値と、前記第１の画像データおよび前記２の画像データの少なくともいずれか一方に血管が存在するか否かを示す情報とに応じて決定される血管の深さを含む、
前記（１）～（９）のいずれか一項に記載の画像処理装置。
（１１）
前記強調処理部は、前記血管の深さが大きいほど、前記強調処理の度合いを強める、
前記（１０）に記載の画像処理装置。
（１２）
前記強調処理部は、前記特徴に対応する係数が登録されている場合、前記係数に応じて前記強調処理を制御する、
前記（１）～（１１）のいずれか一項に記載の画像処理装置。
（１３）
前記強調処理部は、第１の特徴に対応する係数が登録されている場合、かつ、前記第１の特徴とは異なる第２の特徴に対応する係数が登録されていない場合、前記係数に応じて前記強調処理を制御するとともに、前記第２の特徴に基づいて、前記強調処理の度合いを制御する、
前記（１）～（１１）のいずれか一項に記載の画像処理装置。
（１４）
前記強調処理部は、単一の係数が登録されている場合、前記係数に応じて前記強調処理を制御するとともに、前記特徴に基づいて、前記強調処理の度合いを制御する、
前記（１）～（１１）のいずれか一項に記載の画像処理装置。
（１５）
前記係数は、機械学習によってあらかじめ生成される、
前記（１２）～（１４）のいずれか一項に記載の画像処理装置。
（１６）
前記画像処理装置は、前記強調処理が施された後の前記第１の画像データが表示されるように表示部を制御する制御部を備える、
前記（１）～（１５）のいずれか一項に記載の画像処理装置。
（１７）
前記制御部は、前記強調処理が施される前後の前記第１の画像データがともに表示されるように前記表示部を制御する、
前記（１６）に記載の画像処理装置。
（１８）
前記強調処理部は、ユーザから入力された操作情報に基づいて、前記強調処理の度合いを制御する、
前記（１）～（１７）のいずれか一項に記載の画像処理装置。
（１９）
ＩＣＧ蛍光法によって血管が撮像された第１の画像データの特徴を検出することと、
プロセッサにより、前記特徴に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御することと、
を含む、画像処理方法。
（２０）
ＩＣＧ蛍光法によって血管を撮像して第１の画像データを得る撮像部と、
前記第１の画像データの特徴を検出する特徴検出部と、
前記特徴に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御する強調処理部と、
を備える、画像処理システム。
（１）
ＩＣＧ蛍光法によって血管が撮像された第１の画像データの特徴を検出する特徴検出部と、
前記特徴に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御する強調処理部と、
を備える、画像処理装置。
（２）
前記特徴は、前記第１の画像データと白色光の照射時に前記血管が撮像された第２の画像データとの相関値、または、前記相関値に基づいて決定される散乱度を含む、
前記（１）に記載の画像処理装置。
（３）
前記強調処理部は、前記相関値が低いほど、または、前記散乱度が大きいほど、前記強調処理の度合いを強める、
前記（２）に記載の画像処理装置。
（４）
前記特徴は、前記第１の画像データに対して異なる強度で施される２つの画像処理の処理結果同士の差分値、または、前記差分値に基づいて決定される血管径を含む、
前記（１）～（３）のいずれか一項に記載の画像処理装置。
（５）
前記強調処理部は、前記差分値の絶対値が小さいほど、または、前記血管径が小さいほど、前記強調処理の度合いを強める、
前記（４）に記載の画像処理装置。
（６）
前記特徴は、前記第１の画像データから算出されるヘッセ行列の固有値に基づいて決定される血管径を含む、
前記（１）～（３）のいずれか一項に記載の画像処理装置。
（７）
前記強調処理部は、前記血管径が小さいほど、前記強調処理の度合いを強める、
前記（６）に記載の画像処理装置。
（８）
前記特徴は、前記第１の画像データに基づいて決定される血管の密集度を含む、
前記（１）～（７）のいずれか一項に記載の画像処理装置。
（９）
前記強調処理部は、前記血管の密集度が高いほど、前記強調処理の度合いを強める、
前記（８）に記載の画像処理装置。
（１０）
前記特徴は、前記第１の画像データと白色光の照射時に前記血管が撮像された第２の画像データとの相関値と、前記第１の画像データおよび前記２の画像データの少なくともいずれか一方に血管が存在するか否かを示す情報とに応じて決定される血管の深さを含む、
前記（１）～（９）のいずれか一項に記載の画像処理装置。
（１１）
前記強調処理部は、前記血管の深さが大きいほど、前記強調処理の度合いを強める、
前記（１０）に記載の画像処理装置。
（１２）
前記強調処理部は、前記特徴に対応する係数が登録されている場合、前記係数に応じて前記強調処理を制御する、
前記（１）～（１１）のいずれか一項に記載の画像処理装置。
（１３）
前記強調処理部は、第１の特徴に対応する係数が登録されている場合、かつ、前記第１の特徴とは異なる第２の特徴に対応する係数が登録されていない場合、前記係数に応じて前記強調処理を制御するとともに、前記第２の特徴に基づいて、前記強調処理の度合いを制御する、
前記（１）～（１１）のいずれか一項に記載の画像処理装置。
（１４）
前記強調処理部は、単一の係数が登録されている場合、前記係数に応じて前記強調処理を制御するとともに、前記特徴に基づいて、前記強調処理の度合いを制御する、
前記（１）～（１１）のいずれか一項に記載の画像処理装置。
（１５）
前記係数は、機械学習によってあらかじめ生成される、
前記（１２）～（１４）のいずれか一項に記載の画像処理装置。
（１６）
前記画像処理装置は、前記強調処理が施された後の前記第１の画像データが表示されるように表示部を制御する制御部を備える、
前記（１）～（１５）のいずれか一項に記載の画像処理装置。
（１７）
前記制御部は、前記強調処理が施される前後の前記第１の画像データがともに表示されるように前記表示部を制御する、
前記（１６）に記載の画像処理装置。
（１８）
前記強調処理部は、ユーザから入力された操作情報に基づいて、前記強調処理の度合いを制御する、
前記（１）～（１７）のいずれか一項に記載の画像処理装置。
（１９）
ＩＣＧ蛍光法によって血管が撮像された第１の画像データの特徴を検出することと、
プロセッサにより、前記特徴に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御することと、
を含む、画像処理方法。
（２０）
ＩＣＧ蛍光法によって血管を撮像して第１の画像データを得る撮像部と、
前記第１の画像データの特徴を検出する特徴検出部と、
前記特徴に基づいて、前記第１の画像データに対して施される強調処理の度合いを制御する強調処理部と、
を備える、画像処理システム。
【符号の説明】
【0165】
１１０ 被写体特徴検出部
１１１ 散乱度検出部
１１２ 血管径検出部
１１３ 血管密集度検出部
１１４ 血管深さ検出部
１１５ 被写体特徴ベクトル化処理部
１１１１ 相関値算出部
１１１２ 散乱度割り当て部
１１２１ 第１の画像処理部
１１２２ 第２の画像処理部
１１２３ 差分算出部
１１２４ 血管径割り当て部
１１４１ 血管検出部
１１４２ 相関値算出部
１１４３ 血管深さ割り当て部
１２０ クラス分類部
１３０ 係数選択部
１４０ 係数ＤＢ
１６０ 強調処理部
１１１ 散乱度検出部
１１２ 血管径検出部
１１３ 血管密集度検出部
１１４ 血管深さ検出部
１１５ 被写体特徴ベクトル化処理部
１１１１ 相関値算出部
１１１２ 散乱度割り当て部
１１２１ 第１の画像処理部
１１２２ 第２の画像処理部
１１２３ 差分算出部
１１２４ 血管径割り当て部
１１４１ 血管検出部
１１４２ 相関値算出部
１１４３ 血管深さ割り当て部
１２０ クラス分類部
１３０ 係数選択部
１４０ 係数ＤＢ
１６０ 強調処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】