特開 2023-65034 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023065034

(43)【公開日】2023-05-12

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20230502BHJP

   A61B 10/00 20060101ALI20230502BHJP

【ＦＩ】

G06T5/00 710

A61B10/00 E

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021175590

(22)【出願日】2021-10-27

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106518

【弁理士】

【氏名又は名称】松谷 道子

(74)【代理人】

【識別番号】100132241

【弁理士】

【氏名又は名称】岡部 博史

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100221556

【弁理士】

【氏名又は名称】金田 隆章

(72)【発明者】

【氏名】桐山 兼治

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA07

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE03

5B057CE08

5B057DA17

5B057DB02

5B057DB09

5B057DC30

(57)【要約】      （修正有）

【課題】画像内の被写体を鮮明化する画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置１００は、プロセッサ１と、記憶装置２と、を備える。プロセッサ１は、被写体が写る画像データを取得し、画像データに対して、第１の周波数以上の周波数帯の成分を増幅させる第１の高域強調処理を実行して第１の補正画像を生成し、画像データに対して、第１の周波数と異なる第２の周波数以上の周波数帯の成分を増幅させる第２の高域強調処理を実行して第２の補正画像を生成し、第１の補正画像から、所定の条件を満たす画素値を有する第１の複数の画素を抽出し、第２の補正画像から、所定の条件を満たす画素値を有する第２の複数の画素を抽出し、第１及び第２の複数の画素を画像データに合成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

プロセッサと、記憶装置とを備える画像処理装置であって、
前記プロセッサは、
被写体が写る画像データを取得し、
前記画像データに対して、第１の周波数以上の周波数帯の成分を増幅させる第１の高域強調処理を実行して第１の補正画像を生成し、
前記画像データに対して、前記第１の周波数と異なる第２の周波数以上の周波数帯の成分を増幅させる第２の高域強調処理を実行して第２の補正画像を生成し、
前記第１の補正画像から、所定の条件を満たす画素値を有する第１の複数の画素を抽出し、
前記第２の補正画像から、前記所定の条件を満たす画素値を有する第２の複数の画素を抽出し、
前記第１及び第２の複数の画素を前記画像データに合成する、
画像処理装置。

【請求項2】

前記プロセッサは、
前記画像データに対して直交変換を実行し、
直交変換された前記画像データにおいて前記第１の周波数以上の周波数帯の成分を増幅させ、前記直交変換の逆変換を実行することによって前記第１の補正画像を生成し、
直交変換された前記画像データにおいて前記第２の周波数以上の周波数帯の成分を増幅させ、前記直交変換の逆変換を実行することによって前記第２の補正画像を生成する、
請求項１に記載の画像処理装置。

【請求項3】

前記プロセッサは、
前記第１の補正画像から、所定の幅にわたって画素値が所定の下限閾値より大きく所定の上限閾値未満であるような画素群を抽出することにより、前記第１の複数の画素を抽出し、
前記第２の補正画像から、前記所定の幅にわたって画素値が前記所定の下限閾値より大きく前記所定の上限閾値未満であるような画素群を抽出することにより、前記第２の複数の画素を抽出する、
請求項１に記載の画像処理装置。

【請求項4】

前記プロセッサは、前記被写体の光に対するインパルス応答の検知結果に基づいて、前記第１及び第２の周波数を決定する、請求項１に記載の画像処理装置。

【請求項5】

プロセッサによって、記憶装置に記憶された被写体が写る画像データに対して画像処理を実行する画像処理方法であって、
前記画像データに対して、第１の周波数以上の周波数帯の成分を増幅させる第１の高域強調処理を実行して第１の補正画像を生成し、
前記画像データに対して、前記第１の周波数と異なる第２の周波数以上の周波数帯の成分を増幅させる第２の高域強調処理を実行して第２の補正画像を生成し、
前記第１の補正画像から、所定の条件を満たす画素値を有する第１の複数の画素を抽出し、
前記第２の補正画像から、前記所定の条件を満たす画素値を有する第２の複数の画素を抽出し、
前記第１及び第２の複数の画素を前記画像データに合成することを含む、
画像処理方法。

【請求項6】

前記第１の補正画像を生成することは、前記画像データに対して直交変換を実行し、直交変換された前記画像データにおいて前記第１の周波数以上の周波数帯の成分を増幅させ、前記直交変換の逆変換を実行することを含み、
前記第２の補正画像を生成することは、直交変換された前記画像データにおいて前記第２の周波数以上の周波数帯の成分を増幅させ、前記直交変換の逆変換を実行することを含む、
請求項５に記載の画像処理方法。

【請求項7】

前記第１の複数の画素を抽出することは、前記第１の補正画像から、所定の幅にわたって画素値が所定の下限閾値より大きく所定の上限閾値未満であるような画素群を抽出することを含み、
前記第２の複数の画素を抽出することは、前記第２の補正画像から、前記所定の幅にわたって画素値が前記所定の下限閾値より大きく前記所定の上限閾値未満であるような画素群を抽出することを含む、
請求項５に記載の画像処理方法。

【請求項8】

前記被写体の光に対するインパルス応答の検知結果に基づいて、前記第１及び第２の周波数を決定することを含む、
請求項５に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

画像内に映る不鮮明な被写体を鮮明化する技術が知られている。例えば、特許文献１は、２種類の波長の光を照射することによって２種類の画像を取得し、これらの画像の減算により、深層に存在する血管画像のみを適切に観察可能な深部画像を取得する画像取得方法および画像撮像装置を開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－１６７３３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、画像内の被写体を鮮明化する画像処理装置及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

本開示の一態様は、プロセッサと、記憶装置とを備える画像処理装置を提供する。前記プロセッサは、
被写体が写る画像データを取得し、
前記画像データに対して、第１の周波数以上の周波数帯の成分を増幅させる第１の高域強調処理を実行して第１の補正画像を生成し、
前記画像データに対して、前記第１の周波数と異なる第２の周波数以上の周波数帯の成分を増幅させる第２の高域強調処理を実行して第２の補正画像を生成し、
前記第１の補正画像から、所定の条件を満たす画素値を有する第１の複数の画素を抽出し、
前記第２の補正画像から、前記所定の条件を満たす画素値を有する第２の複数の画素を抽出し、
前記第１及び第２の複数の画素を前記画像データに合成する。

【0006】

本開示の他の態様は、プロセッサによって、記憶装置に記憶された被写体が写る画像データに対して画像処理を実行する画像処理方法を提供する。画像処理方法は、
前記画像データに対して、第１の周波数以上の周波数帯の成分を増幅させる第１の高域強調処理を実行して第１の補正画像を生成し、
前記画像データに対して、前記第１の周波数と異なる第２の周波数以上の周波数帯の成分を増幅させる第２の高域強調処理を実行して第２の補正画像を生成し、
前記第１の補正画像から、所定の条件を満たす画素値を有する第１の複数の画素を抽出し、
前記第２の補正画像から、前記所定の条件を満たす画素値を有する第２の複数の画素を抽出し、
前記第１及び第２の複数の画素を前記画像データに合成することを含む。

【発明の効果】

【0007】

本開示に係る画像処理装置及び画像処理方法によれば、画像内の被写体を鮮明化することができる。

【図面の簡単な説明】

【0008】

【図1】本開示の実施形態に係る画像処理装置の構成例を示すブロック図

【図2】図１の画像処理装置のプロセッサによって実行される画像処理の手順を例示するフローチャート

【図3】人の体表面を撮影することにより得られた撮像画像の一例を示す模式図

【図4】浅部血管補正画像の一例を示す模式図

【図5】深部血管補正画像の一例を示す模式図

【図6】ステップＳ５の浅部血管画素群の抽出方法を説明するための模式図

【図7】ステップＳ７で生成された合成画像の一例を示す模式図

【図8】本開示の実施形態に係るパラメータ決定システムの構成を例示する模式図

【図9】図８のパラメータ決定装置のプロセッサによって実行されるパラメータ決定処理の手順を例示するフローチャート

【図10】模擬浅部血管の特性を示す周波数応答Ｈ_１（ω）と、浅部血管用高域強調器の周波数特性Ｇ_１（ω）とを例示する模式的なグラフ

【図11】模擬深部血管の特性を示す周波数応答Ｈ_２（ω）と、深部血管用高域強調器の周波数特性Ｇ_２（ω）とを例示する模式的なグラフ

【図12】本開示の実施形態の変形例に係る画像処理装置の構成例を示すブロック図

【図13】互いに異なる深度に位置する２つの血管が通る生体の撮像の様子を説明するための模式図

【発明を実施するための形態】

【0009】

（本開示の基礎となった知見）
従来技術においては、図１３に示すようにカメラ５１等の撮像装置により生体内部の被写体を撮像して画像データを生成した場合、遮蔽物による光の減衰、散乱等のため、被写体が不鮮明に写ってしまうという課題がある。ここで、「被写体」の一例は、血管、骨、内臓等の組織であり、「遮蔽物」の一例は、被写体を覆う皮膚、脂肪、筋肉等の組織である。

【0010】

図１３は、体表面５０から互いに異なる深度に位置する２つの血管Ｖ１，Ｖ２が通る生体を模式的に示している。カメラ５１を基準とすると、血管Ｖ１，Ｖ２は、体表面５０に存在する皮膚等により遮蔽されている。したがって、カメラ５１によって撮像された撮像画像では、図３に示すように、体表面５０の近くにある浅部血管Ｖ１に比べて、深部にある深部血管Ｖ２が不鮮明となり、深部血管Ｖ２として明確に判別できないことがある。浅部血管Ｖ１も、皮膚等に覆われているため不鮮明となることがある。

【0011】

本発明者らは、上記課題を解決するために、画像内の被写体を鮮明化する画像処理装置及び画像処理方法を見出した。

【0012】

以下、適宜図面を参照しながら、本開示の実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

【0013】

（実施形態）
［１．構成］
図１は、本開示の実施形態に係る画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、プロセッサ１と、記憶装置２と、入力インタフェース（Ｉ／Ｆ）３と、出力インタフェース（Ｉ／Ｆ）４とを備える。

【0014】

プロセッサ１は、情報処理を行って後述する画像処理装置１００の機能を実現する。このような情報処理は、例えば、プロセッサ１が記憶装置２に格納されたプログラム２１の指令に従って動作することにより実現される。プロセッサ１は、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等の回路で構成される。

【0015】

記憶装置２は、画像処理装置１００の機能を実現するために必要なプログラム２１及びデータを含む種々の情報を記録する記録媒体である。記憶装置２は、例えば、フラッシュメモリ、ソリッド・ステート・ドライブ（ＳＳＤ）等の半導体記憶装置、ハードディスクドライブ（ＨＤＤ）等の磁気記憶装置、その他の記録媒体単独で又はそれらを組み合わせて実現される。記憶装置２は、ＳＲＡＭ、ＤＲＡＭ等の揮発性メモリを含んでもよい。

【0016】

入力インタフェース３は、撮像画像データ１１等の情報を画像処理装置１００に入力するために、画像処理装置１００と外部機器とを接続するインタフェース回路である。このような外部機器は、例えば、図示しない他の情報処理端末、撮像画像データ１１を取得するカメラ等の装置である。入力インタフェース３は、既存の有線通信規格又は無線通信規格に従ってデータ通信を行う通信回路であってもよい。

【0017】

出力インタフェース４は、画像処理装置１００から情報を出力するために、画像処理装置１００と外部の出力装置とを接続するインタフェース回路である。このような出力装置は、例えばディスプレイ５２である。出力インタフェース４は、既存の有線通信規格又は無線通信規格に従ってネットワーク５３に接続されてデータ通信を行う通信回路であってもよい。入力インタフェース３及び出力インタフェース４は、同様のハードウェアにより実現されてもよい。

【0018】

［２．動作］
図２は、図１の画像処理装置１００のプロセッサ１によって実行される画像処理の手順を例示するフローチャートである。

【0019】

図２のステップＳ１において、プロセッサ１は、被写体が写る撮像画像データ１１を取得し、記憶装置２に格納する。撮像画像データ１１は、図１に示すように入力インタフェース３を介してプロセッサ１に入力されてもよいし、記憶装置２に予め格納されていてもよい。なお、本明細書では、撮像画像データ１１によって表される画像についても、同じ参照符号を用いて「撮像画像１１」と表現することがある。

【0020】

図３は、人の体表面を撮影することにより得られた撮像画像１１の一例を示す模式図である。撮像画像１１には、体表面の近くにある浅部血管Ｖ１を示す浅部血管画像と、体表面から見て浅部血管Ｖ１より深部にある深部血管Ｖ２を示す深部血管画像とが例示されている。なお、本明細書では、浅部血管Ｖ１を示す浅部血管画像と、深部血管Ｖ２を示す深部血管画像についても、同じ参照符号を用いて「浅部血管画像Ｖ１」、「深部血管画像Ｖ２」と表現することがある。

【0021】

図３では、模式的に、血管画像の鮮明な部分を黒塗りで示し、不鮮明な部分は網掛けで示している。また、図３には、説明の便宜上、水平方向及び垂直方向の画像座標軸ｕ，ｖを示している。図３における撮像画像１１の上方の波形は、撮像画像１１の水平方向（ｕ方向）の座標に対応する画素値分布Ｐ１，Ｐ２を模式的に示している。画素値分布Ｐ１，Ｐ２は、血管画像Ｖ１，Ｖ２にそれぞれ対応している。なお画素値の一例は、輝度レベル、ＲＧＢ値、ＣＭＹＫ値、信号レベル等である。

【0022】

撮像画像１１では、皮下にある血管画像Ｖ１，Ｖ２は、皮膚、及び、皮膚と血管との間の皮下組織による光の減衰、散乱等のため画像がボケて不鮮明となっている。図３では、深部血管画像Ｖ２は、浅部血管画像Ｖ１に比べて特に不鮮明であり、コントラストが低い。

【0023】

ステップＳ２において、プロセッサ１は、ステップＳ１で取得された撮像画像データ１１に対して、高速フーリエ変換（Fast Fourier Transform、ＦＦＴ）処理を行う。

【0024】

ステップＳ３において、プロセッサ１は、ＦＦＴ出力に対して、周波数ω_ｃ１以上の帯域を強調（又は増幅）する浅部血管用高周波領域（以下、「高域」という。）強調処理を適用し、強調された信号に逆ＦＦＴ処理を適用し、図４に示すような浅部血管補正画像１２を生成する。本明細書では、周波数ω_ｃ１のように強調される帯域の基準となる周波数を「カットオフ周波数」又は「遮断周波数」と呼ぶことがある。カットオフ周波数は、高域強調処理後の信号の所定利得又は最大利得に比べて、利得が所定割合、例えば－３ｄＢとなる周波数を表す。なお、浅部血管補正画像１２は、周波数ω_ｃ１をカットオフ周波数とするハイパスフィルタを用いてフィルタリングした撮像画像データ１１の画素値を、撮像画像データ１１の画素値に足し合わせることによって生成されてもよい。カットオフ周波数ω_ｃ１は、本開示の「第１の周波数」の一例である。

【0025】

ＦＦＴ出力に浅部血管用高域強調処理を適用すると、ＦＦＴ出力の周波数成分のうち、カットオフ周波数ω_ｃ１以上の周波数帯の成分について、１より大きい利得が得られる。すなわち、浅部血管用高域強調処理により、カットオフ周波数ω_ｃ１以上の周波数帯の成分は、元の値よりも大きい値に増幅される。利得は、周波数ごとに異なってもよいし、カットオフ周波数ω_ｃ１以上の周波数において一定値であってもよい。

【0026】

図４では、図３と同様に、画素値分布Ｐ３，Ｐ４は、血管画像Ｖ１，Ｖ２にそれぞれ対応している。カットオフ周波数ω_ｃ１は、後述のように、特に浅部血管画像Ｖ１を鮮明化するように予め決定されている。したがって、図３の撮像画像１１と比較すると、図４の浅部血管補正画像１２では、特に浅部血管画像Ｖ１全体のコントラストが高くなり、鮮明化されている。なお、深部血管画像Ｖ２の画素値も浅部血管用高域強調処理の適用によって影響を受け、深部血管Ｖ２の深度によっては、鮮明化され得る。

【0027】

ステップＳ４において、プロセッサ１は、ステップＳ２で生成されたＦＦＴ出力に対して、カットオフ周波数ω_ｃ２以上の帯域を強調（又は増幅）する深部血管用高域強調処理を適用し、強調された信号に逆ＦＦＴ処理を適用し、図５に示すような深部血管補正画像１３を生成する。カットオフ周波数ω_ｃ２は、本開示の「第２の周波数」の一例である。カットオフ周波数ω_ｃ２は、後述のように、特に深部血管画像Ｖ２を鮮明化するように予め決定されている。したがって、図３の撮像画像１１と比較すると、図５の深部血管補正画像１３では、深部血管画像Ｖ２全体のコントラストが高くなり、鮮明化されている。前述のカットオフ周波数ω_ｃ１とカットオフ周波数ω_ｃ２との間には、例えばω_ｃ１＞ω_ｃ２の関係がある。なお、深部血管補正画像１３は、周波数ω_ｃ２をカットオフ周波数とするハイパスフィルタを用いてフィルタリングした撮像画像データ１１の画素値を、撮像画像データ１１の画素値に足し合わせることによって生成されてもよい。

【0028】

本明細書では、ステップＳ２のＦＦＴ処理と、ステップＳ３の浅部血管補正画像１２の生成処理とを組み合わせて「第１の高域強調処理」と呼ぶ場合がある。即ち、第１の高域強調処理は、撮像画像データ１１に対し、カットオフ周波数ω_ｃ１以上の周波数帯の成分を増幅させて浅部血管補正画像１２を生成する処理である。同様に、本明細書では、ステップＳ２のＦＦＴ処理と、ステップＳ４の深部血管補正画像１３の生成処理とを組み合わせて「第２の高域強調処理」と呼ぶ場合がある。即ち、第２の高域強調処理は、撮像画像データ１１に対し、カットオフ周波数ω_ｃ２以上の周波数帯の成分を増幅させて深部血管補正画像１３を生成する処理である。

【0029】

ステップＳ５において、プロセッサ１は、ステップＳ３で生成された浅部血管補正画像１２から、所定の幅Ｗにわたって画素値が下限閾値Ｐ_ｔｈ１より大きく上限閾値Ｐ_ｔｈ２未満であるような浅部血管画素群を抽出する。図４に示した例では、血管画像Ｖ１，Ｖ２のうち、上記条件を満たす画素値分布Ｐ３を有する浅部血管画像Ｖ１のみが、ステップＳ５において浅部血管画素群として抽出される。

【0030】

下限閾値Ｐ_ｔｈ１は、所定の幅Ｗにわたる画素群の画素値が下限閾値Ｐ_ｔｈ１以下の場合に当該画素群が不鮮明となる基準値として予め定められてもよい。このような下限閾値Ｐ_ｔｈ１は、例えば、観察者にとって所定の幅Ｗにわたる画素群が不鮮明に見えるか否かを、下限閾値を変更させながら実験することによって決定される。上限閾値Ｐ_ｔｈ２は、所定の幅Ｗにわたる画素群の画素値が下限閾値Ｐ_ｔｈ２より以上の場合に当該画素群がノイズを含むと判断される準値として予め定められてもよい。このような下限閾値Ｐ_ｔｈ２は、例えば、観察者にとって所定の幅Ｗにわたる画素群がノイズを含むように見えるか否かを、下限閾値を変更させながら実験することによって決定される。

【0031】

浅部血管補正画像１２から画素値が下限閾値Ｐ_ｔｈ１より大きい画素群を抽出することにより、下限閾値Ｐ_ｔｈ１以下の不鮮明な画像を抽出することを防ぐことができる。また、画素値が上限閾値Ｐ_ｔｈ２未満の画素群を抽出することにより、ノイズが乗った画像を抽出することを防ぐことができる。これにより、高域強調処理の適用により鮮明化された血管画像を抽出することができる。以下、図６を参照して、画素値分布が上記条件を満たすか否かをプロセッサ１によって判断する方法について説明する。

【0032】

図６は、ステップＳ５の浅部血管画素群の抽出方法を説明するための模式図である。図６のグラフは、横軸ｕに対する画素値分布Ｐ（ｕ）を示している。プロセッサ１は、以下の手順で画素値分布Ｐ（ｕ）が下限閾値Ｐ_ｔｈ１より大きく上限閾値Ｐ_ｔｈ２未満であるような画素群を抽出する。

【0033】

まず、プロセッサ１は、画素値分布Ｐ（ｕ）のピークｐを検出する。次に、プロセッサ１は、ピークｐの画素値Ｐ_ｐが下限閾値Ｐ_ｔｈ１より大きく上限閾値Ｐ_ｔｈ２未満であるか否かを判断する。画素値Ｐ_ｐがこの範囲にない場合、プロセッサ１は画素値分布Ｐ（ｕ）を抽出されるべき画素群としない。

【0034】

次に、プロセッサ１は、ピークｐからそれぞれＷ／２離れた点ｐ－，ｐ＋を設定し、ピークｐの画素値Ｐ_ｐと点ｐ－の画素値との差の絶対値Δｐ－、及びピークｐの画素値Ｐ_ｐと点ｐ＋の画素値との差の絶対値Δｐ＋が共に所定の閾値未満であるか否かを判断する。Δｐ－又はΔｐ＋が所定の閾値以上である場合、プロセッサ１は画素値分布Ｐ（ｕ）を抽出されるべき画素群としない。

【0035】

プロセッサ１は、以上のような条件を満たす画素群を決定することにより、所定の幅Ｗにわたって画素値が下限閾値Ｐ_ｔｈ１より大きく上限閾値Ｐ_ｔｈ２未満であるような浅部血管画素群を抽出することができる。これにより、ステップＳ５において不鮮明な血管画像、ノイズ等の不適切画像が抽出され、後述のステップＳ７でこのような不適切画像が撮像画像データ１１に合成されることを防止することができる。なお、所定の幅Ｗは、上記のように水平方向（ｕ方向）の幅に限定されず、垂直方向（ｖ方向）の幅又は斜め方向の幅であってもよい。

【0036】

図２のステップＳ６において、プロセッサ１は、ステップＳ４で生成された深部血管補正画像１３から、所定の幅Ｗにわたって画素値が下限閾値Ｐ_ｔｈ１より大きく上限閾値Ｐ_ｔｈ２未満であるような深部血管画素群を抽出する。深部血管画素群の抽出方法は、ステップＳ５で説明した浅部血管画素群の抽出方法と同様である。図５に示した例では、血管画像Ｖ１，Ｖ２のうち、上記条件を満たす画素値分布Ｐ６を有する深部血管画像Ｖ２のみが、ステップＳ６において深部血管画素群として抽出される。

【0037】

次のステップＳ７において、プロセッサ１は、ステップＳ５，Ｓ６でそれぞれ抽出された浅部血管画素群及び深部血管画素群を、撮像画像データ１１に合成して合成画像１４を生成する。合成処理においては、プロセッサ１は、抽出された浅部血管画素群及び深部血管画素群の情報を、位置については変更することなく、撮像画像データ１１に上書きする。具体的には、プロセッサ１は、浅部血管画素群の情報を撮像画像データ１１に上書きする場合、浅部血管画素群の各画素の座標を特定し、撮像画像データ１１の、特定された座標と同一の座標を有する画素の画素値を、特定された画素の画素値に書き換える。なお、浅部血管画素群の各画素の座標を特定する方法の一例としては、図６に示したピークｐに対応するｕ方向座標ｕ_ｐから算出されるｕ_ｐ＋Ｗ／２、ｕ_ｐ－Ｗ／２を元に特定する例が挙げられる。

【0038】

図７は、ステップＳ７で生成された合成画像１４の一例を示す模式図である。プロセッサ１は、抽出された浅部血管画素群及び深部血管画素群を、撮像画像データ１１に合成することにより、合成画像１４において、様々な深度にある浅部血管画像Ｖ１及び深部血管画像Ｖ２のいずれをも鮮明化することができる。

【0039】

なお、ステップＳ５，Ｓ６でそれぞれ抽出された浅部血管画素群及び深部血管画素群が競合する可能性がある。例えば、ステップＳ５，Ｓ６のいずれにおいても、同一の血管を示す画素群が抽出され得る。このような場合、プロセッサ１は、例えば浅部血管補正画像１２及び深部血管補正画像１３の両方をディスプレイ５２に表示し、ステップＳ７で浅部血管画素群及び深部血管画素群のいずれを撮像画像データ１１に合成するかをユーザに選択させてもよい。ユーザが選択した画素群の情報がマウス、キーボード等の外部装置から入力Ｉ／Ｆ３を介してプロセッサ１に入力されると、プロセッサ１は、入力情報に基づいて選択された画素群を撮像画像データ１１に合成する。

【0040】

あるいは、浅部血管画素群及び深部血管画素群が競合した場合に浅部血管画素群及び深部血管画素群のいずれを撮像画像データ１１に合成するかは、予め決定されていてもよい。この場合、プロセッサ１は、浅部血管画素群及び深部血管画素群が競合する場合、予め決定された画素群を撮像画像データ１１に合成する。あるいは、浅部血管画素群及び深部血管画素群が競合した場合、プロセッサ１は、浅部血管補正画像１２又は深部血管補正画像１３においてよりコントラストが高い方の画素群を選択し、選択された画素群を撮像画像データ１１に合成してもよい。

【0041】

上記の例では、ステップＳ７では、ステップＳ５，Ｓ６でそれぞれ抽出された浅部血管画素群及び深部血管画素群を、撮像画像データ１１に合成して合成画像１４を生成することを説明したが、本開示の「合成」はこれに限定されない。例えば、合成は、ステップＳ５，Ｓ６でそれぞれ抽出された浅部血管画素群及び深部血管画素群を単に並べて表示可能にすることを含む。この場合、並べられた浅部血管画素群及び深部血管画素群は、ディスプレイ５２に表示される。このような合成によっても、撮像画像１１内の血管は鮮明化され、ユーザは撮像画像１１内の血管を容易に識別することができるようになる。このように、本開示では、浅部血管画素群及び深部血管画素群の両方が表示可能であればよく、これらが１枚の画像に統合されることは必須ではない。

【0042】

以上のように、図２を用いて、プロセッサ１によって実行される画像処理の手順を例示したが、ステップＳ１～Ｓ７の実行順は、図２に示したものに限定されない。例えば、ステップＳ３及びＳ４は、ステップＳ２の後に実行されればよく、ステップＳ４は、図２の例と異なりステップＳ３より前に、又はステップＳ３と同時に実行されてもよい。また、ステップＳ５は、ステップＳ３の後に実行されればよく、図２の例と異なりステップＳ４より前に、又はステップＳ４と同時に実行されてもよい。さらに、ステップＳ６は、ステップＳ４の後に実行されればよく、図２の例と異なりステップＳ５より前に、又はステップＳ５と同時に実行されてもよい。

【0043】

本明細書では、浅部血管補正画像１２及び深部血管補正画像１３は、それぞれ第１の補正画像及び第２の補正画像と呼ばれることがある。さらに、本明細書では、浅部血管画素群は、第１の画素群又は第１の複数の画素と呼ばれることがあり、深部血管画素群は、第２の画素群又は第２の複数の画素と呼ばれることがある。

【0044】

［３．高域強調器の準備］
前述のように、浅部血管用高域強調処理及び深部血管用高域強調処理のカットオフ周波数ω_ｃ１，ω_ｃ２は、予め決定される。浅部血管用高域強調処理及び深部血管用高域強調処理のカットオフ周波数ω_ｃ１，ω_ｃ２には、予め設定された任意の値が採用されてもよい。ただし、以下に示すように、模擬生体Ｌｓを用いてカットオフ周波数ω_ｃ１，ω_ｃ２等の浅部血管用高域強調処理及び深部血管用高域強調処理に関するパラメータを決定すると、より鮮明な画像を得ることができる。以下、図８及び図９を参照して、模擬生体Ｌｓを用いてカットオフ周波数ω_ｃ１，ω_ｃ２等のパラメータを決定する方法の一例について説明する。

【0045】

図８は、カットオフ周波数ω_ｃ１，ω_ｃ２等の浅部血管用高域強調処理及び深部血管用高域強調処理に関するパラメータを決定するパラメータ決定システム２００の構成を例示する模式図である。パラメータ決定システム２００は、パラメータ決定装置２１０と、光源６０と、光センサ６２とを備える。パラメータ決定装置２１０は、プロセッサ２０１と、プログラム２２１を格納する記憶装置２と、入力Ｉ／Ｆ３と、出力Ｉ／Ｆ４とを備える情報処理装置である。パラメータ決定装置２１０は、図１の画像処理装置１００と同様の構成を有してもよい。また、パラメータ決定システム２００では、パラメータ決定装置２１０の代わりに画像処理装置１００に光源６０と光センサ６２を備えたものを用いてもよい。

【0046】

光源６０は、特定の波長を有するインパルス光を照射可能なインパルス光源であり、例えばレーザダイオード、発光ダイオードで構成される。光センサ６２は、光源６０から照射される特定の波長の光に対応する反射光を検出可能なセンサであり、例えばフォトダイオードを含む。「インパルス光」は、光源６０から超短時間で放射される光である。「超短時間」とは、次に説明する生体を模した模擬生体Ｌｓのインパルス応答を取得可能な程度の短い時間、という意味である。

【0047】

図９は、図８のプロセッサ２０１によって実行されるパラメータ決定処理の手順を例示するフローチャートである。まず、図９のステップＳ２１において、プロセッサ２０１は、光源６０に制御信号を送信し、光源６０に、生体を模した模擬生体Ｌｓに対してインパルス光を照射させる。模擬生体Ｌｓは、図８に示すように、血管を模した模擬血管Ｖｓの上に、皮膚等の遮蔽物を模した模擬遮蔽物Ｓｓの層を積層することによって実現される。模擬生体Ｌｓでは、模擬遮蔽物Ｓｓの厚さＴを調整することにより、浅部血管Ｖ１を模した模擬浅部血管、及び深部血管Ｖ２を模した模擬深部血管を実現することができる。

【0048】

図９のステップＳ２２において、プロセッサ２０１は、光センサ６２から、反射光の検知結果（インパルス応答）を取得する。

【0049】

次のステップＳ２３において、プロセッサ２０１は、ステップＳ２２で取得した反射光の検知結果に対してＦＦＴ処理を実行し、周波数応答Ｈ（ω）を得る。ここで、ωは角周波数又は周波数である。

【0050】

模擬浅部血管からの反射光の検知結果に対してＦＦＴ処理を実行すると、模擬浅部血管の特性を示す周波数応答Ｈ_１（ω）が得られる。周波数応答Ｈ_１（ω）は、模擬浅部血管の周波数特性を示す有限インパルス応答（Finite Impulse Response、ＦＩＲ）型ローパスフィルタともいえる。同様に、模擬深部血管からの反射光の検知結果に対してＦＦＴ処理を実行すると、模擬深部血管の特性を示す周波数応答Ｈ_２（ω）が得られる。周波数応答Ｈ_２（ω）は、模擬深部血管の周波数特性を示すＦＩＲ型ローパスフィルタともいえる。なお、本実施形態ではＦＩＲ型ローパスフィルタを取得する例を示したが、これに代えて無限インパルス応答（Infinite Impulse Response、ＩＩＲ）型ローパスフィルタを取得してもよい。

【0051】

次のステップＳ２４において、プロセッサ２０１は、ステップＳ２３で得られた周波数応答Ｈ（ω）の逆特性となるωの周波数特性Ｇ（ω）を求める。逆特性とは、周波数応答Ｈ（ω）に対応するＦＩＲ型ローパスフィルタで阻止域となっている周波数帯域の利得が、ＦＩＲ型ローパスフィルタで通過域となっている周波数帯域の利得より大きいような周波数特性を意味する。このようなＦＩＲ型ローパスフィルタの逆特性の周波数特性Ｇ（ω）は、ハイパスフィルタ又は高域強調器様の周波数特性を有するといえる。ステップＳ２４では、模擬浅部血管の特性を示す周波数応答Ｈ_１（ω）に対しては浅部血管用高域強調器の周波数特性Ｇ_１（ω）が得られ、模擬深部血管の特性を示す周波数応答Ｈ_２（ω）に対しては深部血管用高域強調器の周波数特性Ｇ_２（ω）が得られる。

【0052】

プロセッサ２０１は、浅部血管用高域強調器の周波数特性Ｇ_１（ω）と深部血管用高域強調器の周波数特性Ｇ_２（ω）とを記憶装置２０２に格納する。記憶装置２０２に格納された周波数特性は、例えば図１の画像処理装置１００の記憶装置２に移され、画像処理装置１００において利用される。

【0053】

図１０は、模擬浅部血管の特性を示す周波数応答Ｈ_１（ω）と、浅部血管用高域強調器の周波数特性Ｇ_１（ω）とを例示する模式的なグラフである。プロセッサ２０１は、例えば、周波数特性Ｇ_１（ω）の利得が最大利得Ｇ_{１，ｍａｘ}から３ｄＢ低下する周波数ω_ｃ１を浅部血管用高域強調器のカットオフ周波数とする。

【0054】

図１１は、模擬深部血管の特性を示す周波数応答Ｈ_２（ω）と、深部血管用高域強調器の周波数特性Ｇ_２（ω）とを例示する模式的なグラフである。プロセッサ２０１は、例えば、周波数特性Ｇ_２（ω）の利得が最大利得Ｇ_{２，ｍａｘ}から３ｄＢ低下する周波数ω_ｃ２を深部血管用高域強調器のカットオフ周波数とする。

【0055】

以上のように、図８に示すような模擬遮蔽物Ｓｓの厚さＴを異にする複数の模擬生体Ｌｓを準備し、各模擬生体Ｌｓに対して図９に例示した処理を実行することにより、各厚さＴに相当する深度の血管画像を明確化可能な複数の高域強調器を得ることができる。なお、上記の例では、複数の高域強調器のカットオフ周波数ω_ｃ１，ω_ｃ２は、それぞれ、周波数特性Ｇ_１（ω），Ｇ_２（ω）において利得が最大利得Ｇ_{１，ｍａｘ}、Ｇ_{２，ｍａｘ}から３ｄＢ低下する周波数としているが、本実施形態はこれに限定されない。例えば、周波数特性Ｇ_１（ω）において利得が最大値から設定した任意の利得分低下する周波数をカットオフ周波数ω_ｃ１としてもよい。同様に、周波数特性Ｇ_２（ω）において利得が最大値から設定した任意の利得分低下する周波数をカットオフ周波数ω_ｃ２としてもよい。

【0056】

［４．効果等］
以上のように、画像処理装置１００において、プロセッサ１は、血管が写る撮像画像データ１１に対して、カットオフ周波数ω_ｃ１以上の周波数帯の成分を増幅させる第１の高域強調処理を実行して浅部血管補正画像１２を生成する。また、プロセッサ１は、撮像画像データ１１に対して、カットオフ周波数ω_ｃ２以上の周波数帯の成分を増幅させる第２の高域強調処理を実行して深部血管補正画像１３を生成する。次に、プロセッサ１は、浅部血管補正画像１２から、所定の条件を満たす画素値を有する浅部血管画素群を抽出し、深部血管補正画像１３から、所定の条件を満たす画素値を有する深部血管画素群を抽出する。プロセッサ１は、浅部血管画素群及び深部血管画素群を撮像画像データ１１に合成する。

【0057】

この構成により、画像処理装置１００は、撮像画像データ１１において、浅部血管Ｖ１及び深部血管Ｖ２の両方を高域強調処理により鮮明化することができる。

【0058】

プロセッサ１は、撮像画像データ１１に対してＦＦＴ処理を実行してもよい。プロセッサ１は、ＦＦＴ出力においてカットオフ周波数ω_ｃ１以上の周波数帯の成分を増幅させ、逆ＦＦＴ処理を実行することによって浅部血管補正画像１２を生成してもよい。プロセッサ１は、ＦＦＴ出力においてカットオフ周波数ω_ｃ２以上の周波数帯の成分を増幅させ、逆ＦＦＴ処理を実行することによって深部血管補正画像１３を生成してもよい。この構成によると、画像内の被写体をより鮮明化することが可能である。

【0059】

プロセッサ１は、浅部血管補正画像１２から、所定の幅Ｗにわたって画素値が所定の下限閾値Ｐ_ｔｈ１より大きく所定の上限閾値Ｐ_ｔｈ２未満であるような画素群を抽出することにより、浅部血管画素群を抽出してもよい。プロセッサ１は、深部血管補正画像１３から、幅Ｗにわたって画素値が下限閾値Ｐ_ｔｈ１より大きく上限閾値Ｐ_ｔｈ２未満であるような画素群を抽出することにより、深部血管画素群を抽出してもよい。

【0060】

この構成により、画像処理装置１００は、浅部血管補正画像１２及び深部血管補正画像１３のそれぞれから、血管の深度に応じて適切に鮮明化された血管画素分を抽出することができる。特に、画像処理装置１００は、幅Ｗにわたって画素値が下限閾値Ｐ_ｔｈ１より大きく上限閾値Ｐ_ｔｈ２未満であるような画素群を抽出する。下限閾値Ｐ_ｔｈ１より大きい画素群を抽出することにより、下限閾値Ｐ_ｔｈ１以下の不鮮明な画像を抽出することを防ぐことができる。また、上限閾値Ｐ_ｔｈ２未満の画素群を抽出することにより、ノイズが乗った画像を抽出することを防ぐことができる。したがって、画像処理装置１００は、不鮮明な血管画像、ノイズ等の不適切画像が抽出されて撮像画像データ１１に合成されることを防止することができる。

【0061】

（他の実施形態）
以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。

【0062】

上記実施形態では、ステップＳ２のＦＦＴ処理、ステップＳ３，Ｓ４に含まれる高域強調処理及び逆ＦＦＴ処理が、プロセッサ１が記憶装置２に格納されたプログラム２１の指令に従って動作することにより実現されることについて説明した。しかしながら、これらの処理は、上記のようにハードウェア資源とソフトウェアとの協働により実現される必要はなく、専用のハードウェア資源によって実現されてもよい。あるいは、これらの処理の一部がプロセッサ１により実現され、残りの部分が専用のハードウェア資源によって実現されてもよい。

【0063】

図１２は、このような上記実施形態の変形例に係る画像処理装置１００ａの構成例を示すブロック図である。画像処理装置１００ａは、図１の画像処理装置１００と比較して、ＦＦＴ回路５と、互いに異なるカットオフ周波数を有する高域強調器６ａ，６ｂと、逆ＦＦＴ回路７とを更に備える。

【0064】

本変形例では、ステップＳ２のＦＦＴ処理は、プロセッサ１が撮像画像データ１１をＦＦＴ回路５に入力することによって行われてもよい。また、本変形例では、ステップＳ３に含まれる浅部血管用高域強調処理は、プロセッサ１がＦＦＴ回路５の出力を高域強調器６ａに入力することによって行われてもよい。ステップＳ３に含まれる逆ＦＦＴ処理は、プロセッサ１が高域強調器６ａの出力を逆ＦＦＴ回路７に入力することによって行われてもよい。

【0065】

同様に、本変形例では、ステップＳ４に含まれる深部血管用高域強調処理は、プロセッサ１がＦＦＴ回路５の出力を高域強調器６ｂに入力することによって行われてもよい。ステップＳ４に含まれる逆ＦＦＴ処理は、プロセッサ１が高域強調器６ｂの出力を逆ＦＦＴ回路７に入力することによって行われてもよい。

【0066】

上記実施形態では、プロセッサ１が２つの血管深度にそれぞれ対応する浅部血管用高域強調処理及び深部血管用高域強調処理を行う例について説明したが、本開示はこれに限定されず、プロセッサ１は３以上の種類の高域強調器処理を行ってもよい。この場合、３以上の様々な血管深度にそれぞれ対応した高域強調器が準備される。この構成によれば、撮像画像１１において、様々な血管深度を有する血管を鮮明化することができる。

【0067】

上記実施形態では、被写体として血管について説明し、特に、体表面の近くにある浅部血管Ｖ１と、浅部血管Ｖ１より深部にある深部血管Ｖ２とを鮮明化する例について説明した。しかしながら、本開示はこれに限定されず、被写体は、血管以外の物であってもよい。例えば、画像処理装置１００は、撮像画像においてピントの合っていない人、動物、建物、天体等の被写体を、図２の処理により鮮明化することにも適用可能である。また、撮像画像データ１１は、可視光、赤外光、紫外光を撮像することにより得られたものに限定されず、例えば超音波エコー信号に基づいて生成される超音波エコー画像であってもよい。

【0068】

上記実施形態では、図２のステップＳ２においてＦＦＴ処理を実行し、ステップＳ３，Ｓ４において逆ＦＦＴ処理を実行する例について説明したが、本開示はこれに限定されない。例えば、プロセッサ１は、ステップＳ２においてＦＦＴ以外の直交変換を実行し、ステップＳ３，Ｓ４において当該直交変換の逆変換を実行してもよい。直交変換は、例えば離散フーリエ変換（Discrete Fourier Transform、ＤＦＴ）を含む。

【0069】

上記実施形態では、図１０及び図１１に示すように、全周波数領域において１以上の利得を有する浅部血管用高域強調器及び深部血管用高域強調器について説明した。しかしながら、本開示の浅部血管用高域強調器、浅部血管用高域強調処理、深部血管用高域強調処理、及び深部血管用高域強調器はこれに限定されず、低周波領域（以下、「低域」という。）に比べて高域を強調又は増幅可能なものであればよい。このような構成によっても、撮像画像データ１１において低域に比べて高域を強調可能であり、浅部血管Ｖ１及び深部血管Ｖ２を鮮明化することができる。

【0070】

例えば、浅部血管用高域強調器の周波数特性Ｇ_１（ω）の利得（図１０参照）は、周波数ω_ｃ１以下の領域では１以下であり、周波数ω_ｃ１より高い領域では１より大きくてもよい。深部血管用高域強調器の周波数特性Ｇ_２（ω）の利得（図１１参照）についても同様であり、周波数ω_ｃ２以下の領域では１以下であり、周波数ω_ｃ２より高い領域では１より大きくてもよい。さらに、本開示の浅部血管用高域強調器及び深部血管用高域強調器は、周波数特性Ｇ_１（ω），Ｇ_２（ω）の利得が全周波数領域において１以下であるハイパスフィルタであってもよい。

【産業上の利用可能性】

【0071】

本開示は、画像処理技術に適用可能である。

【符号の説明】

【0072】

１ プロセッサ
２ 記憶装置
３ 入力Ｉ／Ｆ
４ 出力Ｉ／Ｆ
５ ＦＦＴ回路
６ａ，６ｂ 高域強調器
７ 逆ＦＦＴ回路
１１ 撮像画像データ
１２ 浅部血管補正画像
１３ 深部血管補正画像
１４ 合成画像
２１ プログラム
５０ 体表面
５１ カメラ
５２ ディスプレイ
５３ ネットワーク
６０ 光源
６２ 光センサ
１００ 画像処理装置
２００ パラメータ決定システム
２０１ プロセッサ
２０２ 記憶装置
２１０ パラメータ決定装置
２２１ プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】