ホーム > 特許ランキング > 国立大学法人山口大学
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-12
(45)【発行日】2024-04-22
(54)【発明の名称】画像処理装置、画像処理プログラム、画像処理方法
(51)【国際特許分類】
G06T 7/13 20170101AFI20240415BHJP
G06T 1/00 20060101ALI20240415BHJP
G06T 7/00 20170101ALI20240415BHJP
A61B 6/03 20060101ALI20240415BHJP
【ＦＩ】
G06T7/13
G06T1/00 290
G06T7/00 612
A61B6/03
【請求項の数】
8
(21)【出願番号】P 2020026450
(22)【出願日】2020-02-19
(65)【公開番号】P2021131703
(43)【公開日】2021-09-09
【審査請求日】2023-01-17
(73)【特許権者】
【識別番号】304020177
【氏名又は名称】国立大学法人山口大学
(74)【代理人】
【識別番号】100141173
【弁理士】
【氏名又は名称】西村 啓一
(72)【発明者】
【氏名】内野 英治
(72)【発明者】
【氏名】岡見 雄貴
(72)【発明者】
【氏名】向田 眞志保
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２００８－０７９６８２（ＪＰ，Ａ）
【文献】特開２０１８－１７１１７７（ＪＰ，Ａ）
【文献】特開２０１０－０６１４７８（ＪＰ，Ａ）
【文献】特開平０９－０２７０２８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ７／００－７／９０
Ａ６１Ｂ ６／０３
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
管体である特定被写体と、前記特定被写体とは異なる管体である非特定被写体と、が撮像されている撮像画像に基づいて、前記特定被写体のエッジ線を特定する画像処理装置であって、前記撮像画像と、
前記撮像画像内の前記特定被写体の領域に対応する特定被写体領域の特定エッジ線と、前記撮像画像内の前記非特定被写体の領域に対応する非特定被写体領域の非特定エッジ線と、が特定されたエッジ画像と、
前記特定被写体領域と前記非特定被写体領域のうち、前記特定被写体領域のみが強調領域として強調された強調画像と、
を記憶する記憶部と、
前記エッジ画像と前記強調画像とに基づいて、前記特定エッジ線と前記非特定エッジ線のうち、前記特定エッジ線のみが強調された特定エッジ画像を生成する特定エッジ画像生成部と、
を有してなり、
前記特定被写体領域は、
前記撮像画像内に分離して配置される複数の部分特定被写体領域、
を含み、
前記画像処理装置は、
前記撮像画像に基づいて、複数の前記部分特定被写体領域それぞれに対応する複数の部分領域を含む被マスク画像を生成する被マスク画像生成部と、
前記被マスク画像に対するマスク画像を用いたマスク処理により、前記マスク画像によりマスクされない非マスク領域を決定するマスク処理部と、
前記非マスク領域に基づいて、複数の前記部分領域のうち、２つの前記部分領域の一部を、互いに繋がる接続領域として特定する領域特定部と、
前記特定エッジ画像から前記被マスク画像に対応する範囲の範囲エッジ画像を抽出する範囲エッジ画像抽出部と、
前記範囲エッジ画像において、２つの前記部分領域それぞれに対応する部分エッジ線を特定する部分エッジ線特定部と、
前記部分エッジ線同士を結ぶ連結線を決定する連結線決定部と、
前記部分エッジ線に基づいて、前記範囲エッジ画像に重畳されるフィルタ画像を生成するフィルタ画像生成部と、
前記フィルタ画像に基づいて、前記範囲エッジ画像に含まれる画素のうち、所定の画素を前記部分エッジ線に対応する画素の候補であるエッジ線候補画素として選択する画素選択部と、
を有してなり、
前記フィルタ画像は、
前記範囲エッジ画像に含まれる画素のうち、１の起点画素を起点とする所定のフィルタ範囲、
を有して、
前記フィルタ画像生成部は、新たに選択された前記エッジ線候補画素を新たな前記起点画素とする新たな前記フィルタ画像を生成して、
前記画素選択部は、新たな前記フィルタ画像ごとに新たな前記エッジ線候補画素を選択して、
前記連結線決定部は、前記エッジ線候補画素の集合に基づいて、前記連結線を決定する、
ことを特徴とする画像処理装置。
【請求項2】
前記撮像画像の画素ごとに付与される値の集合であるマップに基づいて、前記強調画像を生成する強調画像生成部、を有してなり、
前記画素ごとに付与される値は、前記画素が前記特定被写体と前記非特定被写体とのいずれかである確率に応じた値であり、
前記マップは、
前記画素が前記特定被写体である確率に応じた値の集合である特定マップと、
前記画素が前記非特定被写体である確率に応じた値の集合である非特定マップと、
を含み、
前記強調画像生成部は、前記特定マップと前記非特定マップとに基づいて、前記強調画像を生成する、
請求項１記載の画像処理装置。
【請求項3】
前記撮像画像に基づいて、前記特定マップと前記非特定マップとを生成するマップ生成部、を有してなる、
請求項２記載の画像処理装置。
【請求項4】
前記部分エッジ線と前記連結線とに基づいて、前記特定被写体の輪郭線の一部を決定する輪郭線決定部、を有してなる、
請求項１記載の画像処理装置。
【請求項5】
前記撮像画像に含まれる画素の画素値に基づいて、前記輪郭線の補正をする輪郭線補正部、を有してなり、
前記輪郭線補正部は、
前記輪郭線を決定する画素の中から、補正の候補となる候補画素と、前記候補画素の隣に配置される２つの隣接画素と、を選択し、
前記撮像画像に含まれる画素のうち、２つの前記隣接画素それぞれから等距離の位置に配置された複数の画素の画素値に基づいて、前記候補画素の補正先の補正画素を決定し、
前記候補画素に代えて前記補正画素を前記輪郭線に対応する画素とする、
請求項４記載の画像処理装置。
【請求項6】
コンピュータを、請求項１記載の画像処理装置として機能させる、ことを特徴とする画像処理プログラム。
【請求項7】
管体である特定被写体と、前記特定被写体とは異なる管体である非特定被写体と、が撮像されている撮像画像に基づいて、前記特定被写体のエッジ線を特定する画像処理装置により実行される画像処理方法であって、前記画像処理装置は、
前記撮像画像と、
前記撮像画像内の前記特定被写体の領域に対応する特定被写体領域の特定エッジ線と、前記撮像画像内の前記非特定被写体の領域に対応する非特定被写体領域の非特定エッジ線と、が特定されたエッジ画像と、
前記特定被写体領域と前記非特定被写体領域のうち、前記特定被写体領域のみが強調領域として強調された強調画像と、
を記憶する記憶部、
を備え、
前記特定被写体領域は、
前記撮像画像内に分離して配置される複数の部分特定被写体領域、
を含み、
前記画像処理方法は、
前記エッジ画像と前記強調画像とに基づいて、前記特定エッジ線と前記非特定エッジ線のうち、前記特定エッジ線のみが強調された特定エッジ画像を生成する、特定エッジ画像生成処理と、
前記撮像画像に基づいて、複数の前記部分特定被写体領域それぞれに対応する複数の部分領域を含む被マスク画像を生成する被マスク画像生成処理と、
前記被マスク画像に対するマスク画像を用いたマスク処理により、前記マスク画像によりマスクされない非マスク領域を決定する非マスク領域決定処理と、
前記非マスク領域に基づいて、複数の前記部分領域のうち、２つの前記部分領域の一部を、互いに繋がる接続領域として特定する領域特定処理と、
前記特定エッジ画像から前記被マスク画像に対応する範囲の範囲エッジ画像を抽出する範囲エッジ画像抽出処理と、
前記範囲エッジ画像において、２つの前記部分領域それぞれに対応する部分エッジ線を特定する部分エッジ線特定処理と、
前記部分エッジ線同士を結ぶ連結線を決定する連結線決定処理と、
前記部分エッジ線に基づいて、前記範囲エッジ画像に重畳されるフィルタ画像を生成するフィルタ画像生成処理と、
前記フィルタ画像に基づいて、前記範囲エッジ画像に含まれる画素のうち、所定の画素を前記部分エッジ線に対応する画素の候補であるエッジ線候補画素として選択する画素選択処理と、
を有してなり、
前記フィルタ画像は、
前記範囲エッジ画像に含まれる画素のうち、１の起点画素を起点とする所定のフィルタ範囲、
を有して、
前記フィルタ画像生成処理は、新たに選択された前記エッジ線候補画素を新たな前記起点画素とする新たな前記フィルタ画像を生成して、
前記画素選択処理は、新たな前記フィルタ画像ごとに新たな前記エッジ線候補画素を選択して、
前記連結線決定処理は、前記エッジ線候補画素の集合に基づいて、前記連結線を決定する、
ことを特徴とする画像処理方法。
【請求項8】
管体である特定被写体と、前記特定被写体とは異なる管体である非特定被写体と、が撮像されている撮像画像に基づいて、前記特定被写体のエッジ線を特定する画像処理装置であって、
前記撮像画像と、
前記撮像画像内の前記特定被写体の領域に対応する特定被写体領域の特定エッジ線と、前記撮像画像内の前記非特定被写体の領域に対応する非特定被写体領域の非特定エッジ線と、が特定されたエッジ画像と、
前記特定被写体領域と前記非特定被写体領域のうち、前記特定被写体領域のみが強調領域として強調された強調画像と、
を記憶する記憶部と、
前記エッジ画像と前記強調画像とに基づいて、前記特定エッジ線と前記非特定エッジ線のうち、前記特定エッジ線のみが強調された特定エッジ画像を生成する特定エッジ画像生成部と、
を有してなり、
前記特定被写体領域は、
前記撮像画像内に分離して配置される複数の部分特定被写体領域、
を含み、
前記画像処理装置は、
前記撮像画像に基づいて、複数の前記部分特定被写体領域それぞれに対応する複数の部分領域を含む被マスク画像を生成する被マスク画像生成部と、
前記被マスク画像に対するマスク画像を用いたマスク処理により、前記マスク画像によりマスクされない非マスク領域を決定するマスク処理部と、
前記非マスク領域に基づいて、複数の前記部分領域のうち、２つの前記部分領域の一部を、互いに繋がる接続領域として特定する領域特定部と、
前記特定エッジ画像から前記被マスク画像に対応する範囲の範囲エッジ画像を抽出する範囲エッジ画像抽出部と、
前記範囲エッジ画像において、２つの前記部分領域それぞれに対応する部分エッジ線を特定する部分エッジ線特定部と、
前記部分エッジ線同士を結ぶ連結線を決定する連結線決定部と、
前記部分エッジ線と前記連結線とに基づいて、前記特定被写体の輪郭線の一部を決定する輪郭線決定部と、
前記撮像画像に含まれる画素の画素値に基づいて、前記輪郭線の補正をする輪郭線補正部と、
を有してなり、
前記輪郭線補正部は、
前記輪郭線を決定する画素の中から、補正の候補となる候補画素と、前記候補画素の隣に配置される２つの隣接画素と、を選択して、
前記撮像画像に含まれる画素のうち、２つの前記隣接画素それぞれから等距離の位置に配置された複数の画素の画素値に基づいて、前記候補画素の補正先の補正画素を決定して、
前記候補画素に代えて前記補正画素を前記輪郭線に対応する画素とする、
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置と画像処理プログラムと画像処理方法とに関する。
【背景技術】
【0002】
脳内の血管障害の早期発見には、ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）のような人体の内側を可視化する医療機器が使用されている。しかし、これらの医療機器は、高額である。そのため、設備投資の負荷が大きく、これらの医療機器を有する病院は限られる。また、医療費も高額になるため、患者の医療費負担も大きい。
【0003】
脳と眼とは発生学的に同一の器官であり、眼底の網膜血管の状態から、脳内の血管の状態が推測できる。そこで、脳内の血管障害のリスク診断には、前述の医療機器を必要としない眼底検査が用いられてきている。近年、第３期特定健康診断の改訂により、眼底検査が内科の検査項目に取り入れられている。しかし、眼底検査には判定医の経験と技量とが大きく寄与するため、専門医ではない内科医にとって、精度の良い眼底検査は困難である。そのため、眼底検査の自動化が求められている。眼底検査の自動化には、眼底を撮像した撮像画像から血管を正確に抽出する画像処理技術が必要である。
【0004】
これまでにも、撮像画像から血管を抽出する画像処理技術が提案されている（例えば、非特許文献１と非特許文献２とを参照）。
【0005】
非特許文献１に開示されている技術は、ＣＮＮ（Convolutional Neural Network）を用いて、動脈と静脈とを分類する。同技術は、教師データに公開されているデータベースを用いることで教師データの作成負担を軽減する。
【0006】
非特許文献２に開示されている技術は、エネルギー関数を用いた探索により、血管壁の解候補を選出し、血管壁との類似度が最大の解候補を血管輪郭線として抽出する。
【先行技術文献】
【非特許文献】
【0007】
【文献】向田眞志保，他４名，“専門家の知識を必要としない教師データの作成とＣＮＮによる眼底血管の動静脈分類”，Proceedings of the 27th Annual Conference of the SICE Chugoku Chapter (SICE 2018)，３Ｅ－１，２０１８／１２／１，ｐ．１４９－１５０
【文献】岡見雄貴，他３名，“白内障患者の眼底血管の口径算出”，第５０回日本人間工学会中国・四国支部大会講演論文集，２０１７／１２／９，ｐ．４９－５０
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、撮像画像から血管を抽出可能な新たな画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明にかかる画像処理装置は、管体である特定被写体と、特定被写体とは異なる管体である非特定被写体と、が撮像されている撮像画像に基づいて、特定被写体のエッジ線を特定する画像処理装置であって、撮像画像と、撮像画像内の特定被写体の領域に対応する特定被写体領域の特定エッジ線と、撮像画像内の非特定被写体の領域に対応する非特定被写体領域の非特定エッジ線と、が特定されたエッジ画像と、特定被写体領域と非特定被写体領域のうち、特定被写体領域のみが強調領域として強調された強調画像と、を記憶する記憶部と、エッジ画像と強調画像とに基づいて、特定エッジ線と非特定エッジ線のうち、特定エッジ線のみが強調された特定エッジ画像を生成する特定エッジ画像生成部と、を有してなる、ことを特徴とする。
【発明の効果】
【0010】
本発明によれば、撮像画像から血管を抽出可能な新たな画像処理技術を提供できる。
【図面の簡単な説明】
【0011】
【図1】本発明にかかる画像処理装置の実施の形態を示すネットワーク接続図である。
【図3】本発明にかかる画像処理方法が処理する撮像画像の例を示す模式図である。
【図32】本方法の実施例に用いられる撮像画像の例を示す図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら、本発明にかかる画像処理装置（以下「本装置」という。）と画像処理プログラム（以下「本プログラム」という。）と画像処理方法（以下「本方法」という。）との実施の形態について説明する。
【0013】
本発明は、撮像画像に撮像された複数種の管体を識別し、特定の管体のエッジ線を強調して特定する。また、本発明は、管体の一部が覆われることにより、同管体が分離したように撮像されているとき、分離した管体の部分同士を特定する。さらに、本発明は、管体の強調されたエッジ線に基づいて、管体の覆われている部分のエッジ線を決定し、分離された管体の部分同士を含む管体の輪郭線を決定する。さらに、本発明は、決定した輪郭線の補正をする。
【0014】
以下に説明する実施の形態は、静脈と動脈とが撮像された眼底画像を撮像画像の例として、本発明の説明をする。すなわち、静脈と動脈それぞれは本発明における管体の例であり、静脈は本発明における特定被写体の例であり、動脈は本発明における非特定被写体の例である。撮像画像は、動脈と静脈それぞれの一部が交叉することにより、静脈の一部が動脈の一部により覆われて撮像されていない部分（以下「交叉部」という。）を含むものとする。
【0015】
「撮像画像」は、例えば、眼底カメラで撮像された眼底画像、Ｘ線撮像装置で撮像されたＸ線画像、ＣＴ装置で撮像されたＣＴ画像、の他、通常の光学カメラで撮像された画像も含む。本発明において、撮像画像には、少なくとも１種の管体が被写体として撮像される。前述のとおり、本実施の形態において、撮像画像は、眼底画像である。
【0016】
「管体」は、中空状の細長い構造体である。管体は、例えば、動物の血管（静脈、動脈）、リンパ管、一部の骨、植物の導管、電気配線の被覆管、建築物の配管を含む。前述のとおり、本実施の形態において、管体は、人の眼底の血管である。
【0017】
「被写体」は、撮像画像に撮像される対象である。本実施の形態において、被写体は、管体（血管）である。被写体は、特定被写体と非特定被写体とを含む。
【0018】
「特定被写体」は、本発明においてエッジ線が強調される被写体である。前述のとおり、本実施の形態において、特定被写体は、人の眼底の静脈である。
【0019】
「非特定被写体」は、特定被写体と異なる被写体である。本実施の形態において、非特定被写体は、人の眼底の動脈である。
【0020】
「エッジ」は、各画像内において隣接する画素から色調が急激に変化している領域（画素）である。換言すれば、エッジは、被写体の輪郭線を表す領域（画素）である。
【0021】
「輪郭線」は、被写体の周囲を縁取る（なぞる）線である。
【0022】
●画像処理装置●
先ず、本装置の実施の形態について説明する。
先ず、本装置の実施の形態について説明する。
【0023】
図１は、本装置の実施の形態を示すネットワーク接続図である。
同図は、本装置１が、有線通信方式または無線通信方式を利用するネットワーク（通信回線）Ｎを介して、撮像装置２に接続されていることを示す。
同図は、本装置１が、有線通信方式または無線通信方式を利用するネットワーク（通信回線）Ｎを介して、撮像装置２に接続されていることを示す。
【0024】
本装置１は、前述のとおり、特定被写体（静脈）のエッジ線の強調、分離した特定被写体の部分同士の特定、特定被写体の覆われている部分のエッジ線の決定、および／または、特定被写体の輪郭の決定・補正、を実行する。本装置１の具体的な構成と動作とは、後述する。
【0025】
撮像装置２は、撮像画像ｉ１を撮像する。撮像装置２は、例えば、眼底カメラである。
【0026】
ネットワークＮは、例えば、インターネット、移動体通信網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、Ｗｉ－Ｆｉ（登録商標）、Bluetooth（登録商標）のような通信網である。
【0027】
●画像処理装置の構成
図２は、本装置１の実施の形態を示す機能ブロック図である。
図２は、本装置１の実施の形態を示す機能ブロック図である。
【0028】
本装置１は、例えば、パーソナルコンピュータで実現される。本装置１では、本プログラムが動作して、本プログラムが本装置１のハードウェア資源と協働して、本方法を実現する。
【0029】
ここで、図示しないコンピュータに本プログラムを実行させることで、本プログラムは、同コンピュータを本装置１と同様に機能させて、同コンピュータに本方法を実行させ得る。
【0030】
本装置１は、通信部１１と、記憶部１２と、マップ生成部１３と、エッジ画像生成部１４と、強調画像生成部１５と、特定エッジ画像生成部１６と、被マスク画像生成部１７と、マスク処理部１８と、領域特定部１９と、範囲エッジ画像抽出部２０と、部分エッジ線特定部２１と、画素選択部２２と、フィルタ画像生成部２３と、連結線決定部２４と、輪郭線決定部２５と、輪郭線補正部２６と、を有してなる。
【0031】
通信部１１は、ネットワークＮを介して、撮像装置２から撮像画像ｉ１を取得する。通信部１１は、例えば、通信モジュールとアンテナとにより構成される。撮像画像ｉ１は、記憶部１２に記憶される。
【0032】
記憶部１２は、本装置１が後述する本方法を実行するために必要な情報を記憶する。記憶部１２は、例えば、本装置１が備えるＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）のような記録装置、ＲＡＭ（Random Access Memory）のような揮発性メモリ、および／または、フラッシュメモリのような可搬性記憶媒体、により構成される。
【0033】
マップ生成部１３は、撮像画像ｉ１に基づいてマップＭを生成し、マップＭに基づいてマップ画像Ｍｉを生成する。マップ生成部１３の具体的な構成と動作とは、後述する。
【0034】
「マップＭ」は、撮像画像ｉ１の画素ごとに付与される値（画素が特定被写体と非特定被写体とのいずれかである確率に応じた値：確率値）の集合である。マップＭは、特定マップＭ１と非特定マップＭ２とを含む。本実施の形態において、付与される値は、各確率に応じて「０．０－１．０」の範囲で算出される。「マップ画像Ｍｉ」は、マップＭに基づいて生成される画像である。マップ画像Ｍｉは、特定マップ画像Ｍｉ１と非特定マップ画像Ｍｉ２とを含む。
【0035】
「特定マップＭ１」は、撮像画像ｉ１の画素ごとに、同画素が特定被写体である確率に応じた値（確率値）の集合（画素ごとに確率値が割り当てられた配列情報）である。「特定マップ画像Ｍｉ１」は、特定マップＭ１に基づいて、生成される画像である。
【0036】
「非特定マップＭ２」は、撮像画像ｉ１の画素ごとに、同画素が非特定被写体である確率に応じた値（確率値）の集合（画素ごとに確率値が割り当てられた配列情報）である。「非特定マップ画像Ｍｉ２」は、非特定マップＭ２に基づいて生成される画像である。
【0037】
エッジ画像生成部１４は、撮像画像ｉ１に基づいて、エッジ画像ｉ２を生成する。エッジ画像生成部１４の具体的な構成と動作とは、後述する。
【0038】
「エッジ画像ｉ２」は、撮像画像ｉ１内の特定被写体の領域（以下「特定被写体領域Ｒ１１」という。）のエッジ線（以下「特定エッジ線Ｌ２１」という。）と、撮像画像ｉ１内の非特定被写体の領域（以下「非特定被写体領域Ｒ１２」という。）のエッジ線（以下「非特定エッジ線Ｌ２２」という。）と、が特定された画像である。
【0039】
強調画像生成部１５は、特定マップ画像Ｍｉ１と非特定マップ画像Ｍｉ２とに基づいて、強調画像ｉ３を生成する。強調画像生成部１５の具体的な構成と動作とは、後述する。
【0040】
「強調画像ｉ３」は、特定被写体領域Ｒ１１と非特定被写体領域Ｒ１２のうち、特定被写体領域Ｒ１１のみが強調領域Ｒ３１として強調された画像である。具体的には、強調画像ｉ３は、特定被写体領域Ｒ１１のうち、特定被写体領域Ｒ１１であることが曖昧な領域が除去され（背景として取り扱われ）、特定被写体領域Ｒ１１であることが明確な領域が強調された画像である。換言すれば、強調画像ｉ３では、特定被写体領域Ｒ１１であることが曖昧な領域と、非特定被写体領域Ｒ１２とは、背景として取り扱われる。
【0041】
「強調領域Ｒ３１」は、前述のとおり、特定被写体領域Ｒ１１のうち、強調画像生成部１５により強調された領域（特定被写体領域Ｒ１１であることが明確な領域）である。
【0042】
「背景」は、撮像画像ｉ１に撮像された被写体のうち、特定被写体と非特定被写体とを除いた部分、すなわち、例えば、筋肉や脂肪などの生体組織である。
【0043】
特定エッジ画像生成部１６は、エッジ画像ｉ２と強調画像ｉ３とに基づいて、特定エッジ画像ｉ４を生成する。特定エッジ画像生成部１６の具体的な構成と動作とは、後述する。
【0044】
「特定エッジ画像ｉ４」は、特定エッジ線Ｌ２１と非特定エッジ線Ｌ２２のうち、特定エッジ線Ｌ２１のみが強調された画像である。具体的には、特定エッジ画像ｉ４は、特定エッジ線Ｌ２１のうち、特定エッジ線Ｌ２１であることが曖昧な領域が除去され、特定エッジ線Ｌ２１であることが明確な領域が強調された画像である。換言すれば、特定エッジ画像ｉ４では、特定エッジ線Ｌ２１であることが曖昧な領域と、非特定エッジ線Ｌ２２とは、背景として取り扱われる。
【0045】
被マスク画像生成部１７は、撮像画像ｉ１に基づいて、被マスク画像ｉ５を生成する。被マスク画像生成部１７の具体的な構成と動作とは、後述する。
【0046】
「被マスク画像ｉ５」は、本方法の後述する部分領域特定処理（Ｓ２００）が実行される画像である。本実施の形態において、被マスク画像ｉ５は、特定マップ画像Ｍｉ１から抽出される。本実施の形態において、被マスク画像ｉ５の範囲は、特定被写体と非特定被写体それぞれの一部が交叉することにより、特定被写体の一部が非特定被写体の一部により覆い隠されて、撮像されていない領域（交叉部Ｐｘ）を中心とする所定の範囲である。被マスク画像ｉ５は、部分特定被写体領域ｒ１１，ｒ１２に対応する複数（本実施の形態では２つ）の部分領域ｒ５１，ｒ５２を含む。
【0047】
「部分特定被写体領域ｒ１１，ｒ１２」は、撮像画像ｉ１内に分離して配置される特定被写体領域Ｒ１１の一部である。本実施の形態において、部分特定被写体領域ｒ１１，ｒ１２は、特定被写体の一部が非特定被写体に覆い隠されることにより、撮像画像ｉ１内に分離して配置された特定被写体領域Ｒ１１の一部である。換言すれば、部分特定被写体領域ｒ１１，ｒ１２は、非特定被写体により分離されたように配置される特定被写体領域Ｒ１１の残部である。すなわち、複数の部分特定被写体領域ｒ１１－ｒ１ｎ（ｎ：整数）が存在する場合、その中の２つの部分特定被写体領域ｒ１１，ｒ１２は、覆い隠された部分（分離された部分）を介して互いに繋がる領域（接続領域）である。
【0048】
「繋がる領域」は、部分特定被写体領域ｒ１１，ｒ１２を分離している要因が無ければ、一連の特定被写体領域Ｒ１１となる領域である。換言すれば、繋がる領域は、特定被写体を覆い隠す要因が無ければ、一連の特定被写体として撮像される特定被写体の部分である。
【0049】
「部分領域ｒ５１，ｒ５２」は、前述のとおり、被マスク画像ｉ５において、撮像画像ｉ１の部分特定被写体領域ｒ１１，ｒ１２に対応する領域である。部分領域ｒ５１，ｒ５２は、被マスク画像ｉ５内に分離して配置される。部分領域ｒ５１，ｒ５２は、特定マップ画像Ｍｉ１内の撮像画像ｉ１の部分特定被写体領域ｒ１１，ｒ１２に対応する領域（部分特定マップ領域Ｍｒ１１，Ｍｒ１２）である。
【0050】
マスク処理部１８は、被マスク画像ｉ５に対するマスク画像Ｍｓを用いたマスク処理により、非マスク領域ＮＭＲを決定する。マスク処理部１８の具体的な構成と動作と、マスク画像Ｍｓとは、後述する。
【0051】
「非マスク領域ＮＭＲ」は、被マスク画像ｉ５において、マスク画像Ｍｓにマスクされていない領域である。
【0052】
領域特定部１９は、複数の部分領域ｒ５１－ｒ５ｎ（ｎ：整数）のうち、２つの部分領域ｒ５１，ｒ５２の一部を、互いに繋がる接続領域として特定する。領域特定部１９の具体的な構成と動作とは、後述する。
【0053】
「接続領域」は、被マスク画像ｉ５において、部分特定被写体領域ｒ１１，ｒ１２を分離している要因が無ければ、一連の特定被写体領域Ｒ１１となる領域、に対応する領域である。
【0054】
範囲エッジ画像抽出部２０は、特定エッジ画像ｉ４から範囲エッジ画像ｉ６を抽出する。範囲エッジ画像抽出部２０の具体的な構成と動作とは、後述する。
【0055】
「範囲エッジ画像ｉ６」は、特定エッジ画像ｉ４のうち、被マスク画像ｉ５に対応する範囲の画像である。
【0056】
部分エッジ線特定部２１は、範囲エッジ画像ｉ６において、２つの部分領域ｒ５１，ｒ５２それぞれに対応する部分エッジ線を特定する。部分エッジ線特定部２１の具体的な構成と動作とは、後述する。
【0057】
「部分エッジ線」は、特定エッジ画像ｉ４（範囲エッジ画像ｉ６）において、部分領域ｒ５１，ｒ５２に対応する強調された特定エッジ線の部分である。特定被写体は管体であるため、各部分領域ｒ５１，ｒ５２に対応する部分エッジ線の数は、２つである。すなわち、２つの部分領域ｒ５１，ｒ５２それぞれに対応する部分エッジ線の数は、４つである。
【0058】
画素選択部２２は、フィルタ画像Ｆｉに基づいて、範囲エッジ画像ｉ６に含まれる画素のうち、所定の画素をエッジ線候補画素として選択する。画素選択部２２の具体的な構成と動作とは、後述する。
【0059】
「フィルタ画像Ｆｉ」は、後述する追跡処理において、重畳される範囲エッジ画像ｉ６に対してフィルタ処理を実行し、エッジ線候補画素を選択するためのフィルタである。フィルタ画像Ｆｉの詳細については、後述する。
【0060】
「エッジ線候補画素」は、範囲エッジ画像ｉ６に含まれる画素のうち、部分エッジ線に対応する画素の候補となる画素である。
【0061】
フィルタ画像生成部２３は、部分エッジ線に基づいて、範囲エッジ画像ｉ６に重畳されるフィルタ画像Ｆｉを生成する。フィルタ画像生成部２３の具体的な構成と動作とは、後述する。
【0062】
連結線決定部２４は、範囲エッジ画像ｉ６において、連結線を決定する。連結線決定部２４の具体的な構成と動作とは、後述する。
【0063】
「連結線」は、範囲エッジ画像ｉ６において、２つの部分領域ｒ５１，ｒ５２それぞれに対応する部分エッジ線同士を結ぶと推定される線である。連結線は、４つの部分エッジ線のうち、一方の部分領域ｒ５１の１の部分エッジ線と、他方の部分領域ｒ５２の１の部分エッジ線とを結ぶ。
【0064】
輪郭線決定部２５は、特定被写体の輪郭線の一部を決定する。輪郭線決定部２５の具体的な構成と動作とは、後述する。
【0065】
「輪郭線」は、前述のとおり、特定被写体の周囲を縁取る（なぞる）線であり、例えば、撮像画像ｉ１に重畳される線である。
【0066】
輪郭線補正部２６は、撮像画像ｉ１に含まれる画素の画素値に基づいて、輪郭線の補正をする。輪郭線補正部２６の具体的な構成と動作とは、後述する。
【0067】
マップ生成部１３と、エッジ画像生成部１４と、強調画像生成部１５と、特定エッジ画像生成部１６と、被マスク画像生成部１７と、マスク処理部１８と、領域特定部１９と、範囲エッジ画像抽出部２０と、部分エッジ線特定部２１と、画素選択部２２と、フィルタ画像生成部２３と、連結線決定部２４と、輪郭線決定部２５と、輪郭線補正部２６とは、例えば、本装置１が備えるＣＰＵ（Central Processing Unit）と、ＣＰＵの作業領域として機能するＲＡＭのような揮発性メモリと、本プログラムなどの各種情報を記憶するＲＯＭ（Read Only Memory）のような不揮発性メモリと、により構成される。
【0068】
なお、マップ生成部と、エッジ画像生成部と、強調画像生成部と、特定エッジ画像生成部と、被マスク画像生成部と、マスク処理部と、領域特定部と、範囲エッジ画像抽出部と、部分エッジ線特定部と、画素選択部と、フィルタ画像生成部と、連結線決定部と、輪郭線決定部と、輪郭線補正部とは、ＣＰＵに加え、または、ＣＰＵに代えて、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、または、ＦＰＧＡ（Field Programmable Gate Array）、などのハードウェアを含んで構成されてもよい。
【0069】
また、マップ生成部と、エッジ画像生成部と、強調画像生成部と、特定エッジ画像生成部と、被マスク画像生成部と、マスク処理部と、領域特定部と、範囲エッジ画像抽出部と、部分エッジ線特定部と、画素選択部と、フィルタ画像生成部と、連結線決定部と、輪郭線決定部と、輪郭線補正部とは、共通するハードウェアにより構成されてもよく、あるいは、個別のハードウェアにより構成されてもよい。
【0070】
●画像処理方法（画像処理装置の動作）●
次に、本装置１の動作、すなわち、本装置１が実行する本方法の実施の形態について、図２も参照しつつ説明する。
次に、本装置１の動作、すなわち、本装置１が実行する本方法の実施の形態について、図２も参照しつつ説明する。
【0071】
以下の説明において、本装置１はネットワークＮを介して撮像装置２から撮像画像を取得し、記憶部１２に記憶しているものとする。また、以下の説明で用いられる撮像画像では、特定被写体（静脈）と非特定被写体（動脈）それぞれの一部が交叉することにより、特定被写体の一部が非特定被写体の一部により覆い隠されて、撮像されていないものとする。
【0072】
図３は、撮像画像ｉ１の例を示す模式図である。
同図は、特定被写体と非特定被写体それぞれの一部が交叉することにより、特定被写体領域Ｒ１１の一部が非特定被写体領域Ｒ１２の一部により覆い隠されて、撮像されていないことを示す。
同図は、特定被写体と非特定被写体それぞれの一部が交叉することにより、特定被写体領域Ｒ１１の一部が非特定被写体領域Ｒ１２の一部により覆い隠されて、撮像されていないことを示す。
【0073】
図４は、本方法の実施の形態を示すフローチャートである。
【0074】
本方法は、特定エッジ画像生成処理（Ｓ１００）と、部分領域特定処理（Ｓ２００）と、輪郭線決定処理（Ｓ３００）と、輪郭線補正処理（Ｓ４００）と、を有してなる。
【0075】
●特定エッジ画像生成処理
先ず、本装置１は、特定エッジ画像生成処理（Ｓ１００）を実行する。
先ず、本装置１は、特定エッジ画像生成処理（Ｓ１００）を実行する。
【0076】
図５は、特定エッジ画像生成処理（Ｓ１００）のフローチャートである。
図６は、特定エッジ画像生成処理（Ｓ１００）において用いられる各画像の関係を示す模式図である。図６は、説明の便宜上、特定マップ画像Ｍｉ１と非特定マップ画像Ｍｉ２とを撮像画像ｉ１と同じ形状で示す。
図６は、特定エッジ画像生成処理（Ｓ１００）において用いられる各画像の関係を示す模式図である。図６は、説明の便宜上、特定マップ画像Ｍｉ１と非特定マップ画像Ｍｉ２とを撮像画像ｉ１と同じ形状で示す。
【0077】
「特定エッジ画像生成処理（Ｓ１００）」は、撮像画像ｉ１に基づいて、特定エッジ画像ｉ４を生成する処理である。
【0078】
先ず、マップ生成部１３とエッジ画像生成部１４それぞれは、記憶部１２から撮像画像ｉ１を読み出す（Ｓ１０１）。
【0079】
次いで、マップ生成部１３は、撮像画像ｉ１に公知の画像処理を実行して、特定マップＭ１と非特定マップＭ２とを生成する（Ｓ１０２）。生成された特定マップＭ１と非特定マップＭ２とは、記憶部１２に記憶される。
【0080】
「公知の画像処理」は、例えば、特定被写体と非特定被写体それぞれがラベル付けされた教師データを用いた畳み込みニューラルネットワーク（ＣＮＮ：例えば、ＶＧＧ１９）による画像処理である。
【0081】
図７は、特定マップＭ１の例を示す模式図である。
同図の各セルは、特定マップＭ１の画素に相当する。各セルに割り当てられた数値は、同セルに対応する撮像画像ｉ１の画素に撮像されている物体が特定被写体である確率に応じた数値（確率値）を示す。すなわち、例えば、数値「１．０」のセルは、同画素に撮像されている物体が１００％の確率で特定被写体であるとみなされる画素である。
同図の各セルは、特定マップＭ１の画素に相当する。各セルに割り当てられた数値は、同セルに対応する撮像画像ｉ１の画素に撮像されている物体が特定被写体である確率に応じた数値（確率値）を示す。すなわち、例えば、数値「１．０」のセルは、同画素に撮像されている物体が１００％の確率で特定被写体であるとみなされる画素である。
【0082】
図８は、非特定マップＭ２の例を示す模式図である。
同図の各セルは、非特定マップの画素に相当する。各セルに割り当てられた数値は、同セルに対応する撮像画像ｉ１の画素に撮像されている物体が非特定被写体である確率に応じた数値（確率値）を示す。すなわち、例えば、数値「０．５」のセルは、同画素に撮像されている物体が５０％の確率で非特定被写体であるとみなされるセルである。
同図の各セルは、非特定マップの画素に相当する。各セルに割り当てられた数値は、同セルに対応する撮像画像ｉ１の画素に撮像されている物体が非特定被写体である確率に応じた数値（確率値）を示す。すなわち、例えば、数値「０．５」のセルは、同画素に撮像されている物体が５０％の確率で非特定被写体であるとみなされるセルである。
【0083】
図５と図６とに戻る。
次いで、マップ生成部１３は、特定マップＭ１に基づいて特定マップ画像Ｍｉ１を生成すると共に、非特定マップＭ２に基づいて非特定マップ画像Ｍｉ２を生成する（Ｓ１０３）。具体的には、マップ生成部１３は、特定マップＭ１と非特定マップＭ２それぞれの各セルに割り当てられた確率値に２５５を乗算して、確率値（０．０－１．０）を８ビットの画素値（０－２５５）に変換する。生成された特定マップ画像Ｍｉ１と非特定マップ画像Ｍｉ２とは、記憶部１２に記憶される。
次いで、マップ生成部１３は、特定マップＭ１に基づいて特定マップ画像Ｍｉ１を生成すると共に、非特定マップＭ２に基づいて非特定マップ画像Ｍｉ２を生成する（Ｓ１０３）。具体的には、マップ生成部１３は、特定マップＭ１と非特定マップＭ２それぞれの各セルに割り当てられた確率値に２５５を乗算して、確率値（０．０－１．０）を８ビットの画素値（０－２５５）に変換する。生成された特定マップ画像Ｍｉ１と非特定マップ画像Ｍｉ２とは、記憶部１２に記憶される。
【0084】
次いで、強調画像生成部１５は、特定マップ画像Ｍｉ１と非特定マップ画像Ｍｉ２とに基づいて、強調画像ｉ３を生成する（Ｓ１０４）。具体的には、強調画像生成部１５は、画素ごとに、以下の式（１），式（２）を用いて特定被写体領域Ｒ１１が強調されるように演算し、以下の式（３）を用いて強調画像ｉ３の画素値を算出する。
【0085】
ＲｅＬＵ（Ｘ）＝｛Ｘ ｉｆ≧０，０ ｉｆ＜０｝ （１）
【0086】
式１は、一般的なランプ関数であり、「Ｘ」の値が負の値である場合には０を返し、正の値である場合にはその値を返す。
【0087】
Ｖ′＝（ＲｅＬＵ（Ｖ１－Ｖ２））２ （２）
【0088】
式（２）中、「Ｖ′」は、画素ごとに算出された算出値であり、同画素が特定被写体である確率が高いほど大きくなる。「Ｖ１」は特定マップ画像Ｍｉ１の画素値（０－２５５）であり、「Ｖ２」は非特定マップ画像の画素値（０－２５５）である。式（２）は、特定マップ画像Ｍｉ１の画素値から非特定マップ画像Ｍｉ２の画素値を減算し、減算値が負の値である場合には「０」を算出する。すなわち、非特定被写体である確率が特定被写体である確率よりも高い画素は、背景として取り扱われる（除去される）。また、式（２）は、減算値を二乗することにより、特定被写体領域Ｒ１１のうち、特定被写体である確率が高い画素に割り当てられた値を相対的に大きくし、特定被写体である確率が低い画素の値を相対的に小さくする。すなわち、特定被写体である確率が低い画素は、背景に近似する画素として取り扱われる。換言すれば、特定被写体である確率が高い画素以外の画素は、背景として取り扱われる。
【0089】
Ｖ＝Ｂｌｕｒ５（２５５×（Ｖ′／ｍａｘ（Ｖ′））） （３）
【0090】
式（３）中、「Ｂｌｕｒｎ（ｘ）」は、７×７の単純平滑化フィルタ処理をｎ回実行したことを示す。単純平滑化フィルタ処理を複数回（本実施の形態では５回）実行することにより、不連続な部分が平滑化され、微細な断線の数が減少する。式（３）において、「Ｖ／ｍａｘ（Ｖ′）」に２５５を乗算することにより、算出値「Ｖ′」は、「Ｖ′」の最大値が最大輝度となる８ビットの画素値「Ｖ」に変換される。その結果、強調画像ｉ３が生成される。生成された強調画像ｉ３は、記憶部１２に記憶される。
【0091】
前述のとおり、撮像画像ｉ１は、特定被写体と非特定被写体それぞれの一部が交叉する部分（交叉部Ｐｘ）を含む。強調画像ｉ３において、交叉部Ｐｘに相当する領域は、背景として取り扱われる領域である。そのため、強調画像ｉ３において、一部の強調領域Ｒ３１は、２つに分離して配置される。この２つに分離して配置される強調領域Ｒ３１の一部は、部分強調領域ｒ３１１，ｒ３１２である。すなわち、強調画像ｉ３は、２つの部分強調領域ｒ３１１，ｒ３１２を含む。
【0092】
図９は、強調画像ｉ３の例を示す模式図である。
同図は、非特定被写体領域Ｒ１２（図６参照）が背景として取り扱われ（取り除かれ）ていることを示す。また、同図は、特定被写体領域Ｒ１１（図６参照）のうち、特定マップ画像Ｍｉ１（図６参照）において画素値が大きい画素は明るいまま、画素値が小さい画素は暗くなっていることを示す。すなわち、同図は、特定被写体領域Ｒ１１の一部の領域が強調されていることを示す。
同図は、非特定被写体領域Ｒ１２（図６参照）が背景として取り扱われ（取り除かれ）ていることを示す。また、同図は、特定被写体領域Ｒ１１（図６参照）のうち、特定マップ画像Ｍｉ１（図６参照）において画素値が大きい画素は明るいまま、画素値が小さい画素は暗くなっていることを示す。すなわち、同図は、特定被写体領域Ｒ１１の一部の領域が強調されていることを示す。
【0093】
なお、強調画像生成部は、式（１）－（３）に代えて、シグモイド関数により特定被写体である確率が高い画素を強調し、ガウシアンフィルタにより平滑化してもよい。
【0094】
また、単純平滑化フィルタは、７×７に限定されない。すなわち、単純平滑化フィルタは、３×３または、５×５でもよい。さらに単純平滑化処理の回数は、「５」に限定されない。
【0095】
【0096】
「公知の画像処理」は、例えば、ブラックトップハット（ＢＴＨ）変換処理とＣａｎｎｙ法である。前述のとおり、被写体は血管であり、撮像画像ｉ１において血管は背景よりも暗く映る。そのため、エッジ画像生成部１４は、ＢＴＨ変換処理により暗い領域を強調することで撮像画像ｉ１から暗い領域（血管）を抽出できる。また、エッジ画像生成部１４は、血管が抽出された画像にＣａｎｎｙ法を適用することで血管のエッジを特定できる。すなわち、例えば、エッジ画像生成部１４は、撮像画像ｉ１のＧ成分に対してＢＴＨ変換処理を実行して特定領被写体域と非特定被写体領域それぞれを強調させる。次いで、エッジ画像生成部１４は、ＢＴＨ変換処理後の画像に対してＣａｎｎｙ法を適用して、特定エッジ線Ｌ２１と非特定エッジ線Ｌ２２とを特定する。
【0097】
なお、エッジ画像生成部が用いる公知の画像処理は、本実施の形態に限定されない。すなわち、例えば、エッジ画像生成部は、Ｃａｎｎｙ法に代えて、ソーベルフィルタやラプラシアンフィルタを用いてもよい。
【0098】
また、エッジ画像生成部は、被写体と背景との明暗関係などに応じて、撮像画像のＲ成分やＢ成分に対してＢＴＨ変換処理を実行してもよい。
【0099】
図１０は、エッジ画像ｉ２の例を示す模式図である。
同図は、特定エッジ線Ｌ２１と非特定エッジ線Ｌ２２それぞれが特定されていることを示す。
同図は、特定エッジ線Ｌ２１と非特定エッジ線Ｌ２２それぞれが特定されていることを示す。
【0100】
図５と図６とに戻る。
次いで、特定エッジ画像生成部１６は、記憶部１２からエッジ画像ｉ２と強調画像ｉ３とを読み出して（Ｓ１０６）、エッジ画像ｉ２と強調画像ｉ３とに基づいて、特定エッジ画像ｉ４を生成する（Ｓ１０７）。具体的には、特定エッジ画像生成部１６は、エッジ画像ｉ２に対する強調画像ｉ３を用いたフィルタ処理により、特定エッジ画像ｉ４を生成する。例えば、特定エッジ画像生成部１６は、画素ごとに、エッジ画像ｉ２の画素値（０または１）に強調画像ｉ３の画素値（０－２５５）を乗算し、その結果画像を平滑化することにより、特定エッジ画像ｉ４を生成する。生成された特定エッジ画像ｉ４は、記憶部１２に記憶される。このような平滑化処理により、特定エッジ画像生成部１６は、微細な断線部を線状に繋げることができる。
次いで、特定エッジ画像生成部１６は、記憶部１２からエッジ画像ｉ２と強調画像ｉ３とを読み出して（Ｓ１０６）、エッジ画像ｉ２と強調画像ｉ３とに基づいて、特定エッジ画像ｉ４を生成する（Ｓ１０７）。具体的には、特定エッジ画像生成部１６は、エッジ画像ｉ２に対する強調画像ｉ３を用いたフィルタ処理により、特定エッジ画像ｉ４を生成する。例えば、特定エッジ画像生成部１６は、画素ごとに、エッジ画像ｉ２の画素値（０または１）に強調画像ｉ３の画素値（０－２５５）を乗算し、その結果画像を平滑化することにより、特定エッジ画像ｉ４を生成する。生成された特定エッジ画像ｉ４は、記憶部１２に記憶される。このような平滑化処理により、特定エッジ画像生成部１６は、微細な断線部を線状に繋げることができる。
【0101】
なお、特定エッジ画像生成部は、フィルタ処理において平滑化処理を実行することが望ましいが、平滑化に代えて、膨張と収縮とにより微細な断線部を線状に繋げる処理を実行してもよい。
【0102】
図１１は、特定エッジ画像ｉ４の例を示す模式図である。
同図は、強調画像ｉ３（図６参照）の強調領域Ｒ３１のうち、特定エッジ線Ｌ２１（図６参照）と重複する部分のみが強調され特定強調エッジ線Ｌ４１として抽出（特定）されていることを示す。
同図は、強調画像ｉ３（図６参照）の強調領域Ｒ３１のうち、特定エッジ線Ｌ２１（図６参照）と重複する部分のみが強調され特定強調エッジ線Ｌ４１として抽出（特定）されていることを示す。
【0103】
【0104】
なお、エッジ画像の生成は、マップ画像の生成と並列で実行されてもよく、あるいは、マップ画像（または強調画像）の生成の前後のいずれかで順に実行されてもよい。
【0105】
【0106】
【0107】
「部分領域特定処理（Ｓ２００）」は、被マスク画像ｉ５に分離して配置される複数の部分領域ｒ５１－ｒ５ｎのうち、２つの部分領域ｒ５１，ｒ５２を互いに繋がる接続領域として特定する処理である。
【0108】
先ず、被マスク画像生成部１７は、撮像画像ｉ１と、撮像画像ｉ１に対応する特定マップ画像Ｍｉ１と、を記憶部１２から読み出す（Ｓ２０１）。次いで、被マスク画像生成部１７は、撮像画像ｉ１に公知の画像処理を実行することにより、交叉部Ｐｘを撮像画像ｉ１から特定する（Ｓ２０２）。次いで、被マスク画像生成部１７は、特定した交叉部Ｐｘを中心とする所定の範囲の領域（注目領域）を特定する（Ｓ２０３）。次いで、被マスク画像生成部１７は、特定マップ画像Ｍｉ１のうち注目領域に対応する領域を被マスク画像ｉ５として抽出する（Ｓ２０４）。
【0109】
このように、被マスク画像生成部１７は、撮像画像ｉ１と特定マップ画像Ｍｉ１とに基づいて、被マスク画像ｉ５を生成する（被マスク画像生成処理）。換言すれば、被マスク画像生成部１７は、撮像画像ｉ１に基づいて、被マスク画像ｉ５を生成する。
【0110】
図１４は、被マスク画像ｉ５の例を示す模式図である。
同図は、説明の便宜上、非特定被写体に対応する領域（非特定マップ領域ＭＲ２）も二点鎖線で示す。同図は、１つのライン状の特定被写体に対応する領域（特定マップ領域ＭＲ１）の一部が非特定マップ領域ＭＲ２の一部により覆われて、２つの部分領域ｒ５１，ｒ５２（部分特定マップ領域Ｍｒ１１，Ｍｒ１２）として分離して配置されることを示す。
同図は、説明の便宜上、非特定被写体に対応する領域（非特定マップ領域ＭＲ２）も二点鎖線で示す。同図は、１つのライン状の特定被写体に対応する領域（特定マップ領域ＭＲ１）の一部が非特定マップ領域ＭＲ２の一部により覆われて、２つの部分領域ｒ５１，ｒ５２（部分特定マップ領域Ｍｒ１１，Ｍｒ１２）として分離して配置されることを示す。
【0111】
図１２と図１３とに戻る。
次いで、マスク処理部１８は、被マスク画像ｉ５に対するマスク画像Ｍｓを用いたマスク処理により、被マスク画像ｉ５において、非マスク領域ＮＭＲを決定する（Ｓ２０５）。マスク画像Ｍｓは、例えば、予め記憶部１２に記憶されている。
次いで、マスク処理部１８は、被マスク画像ｉ５に対するマスク画像Ｍｓを用いたマスク処理により、被マスク画像ｉ５において、非マスク領域ＮＭＲを決定する（Ｓ２０５）。マスク画像Ｍｓは、例えば、予め記憶部１２に記憶されている。
【0112】
図１５は、マスク画像Ｍｓが重畳された被マスク画像ｉ５の例を示す模式図である。
【0113】
「マスク画像Ｍｓ」は、被マスク画像ｉ５に重畳されて、交叉部Ｐｘを中心とする所定の領域をマスクする画像である。マスク画像Ｍｓは、第１マスク画像Ｍｓ１と、第２マスク画像Ｍｓ２と、を含む。第１マスク画像Ｍｓ１は、例えば、平均的な非特定被写体の口径（以下「平均口径」という。）の約３倍の長さの半径を有し、交叉部Ｐｘを中心とする円の内側の領域をマスクする画像である。第２マスク画像Ｍｓ２は、例えば、平均口径の約５倍の長さの半径を有し、交叉部Ｐｘを中心とする円の外側の領域をマスクする画像である。したがって、非マスク領域ＮＭＲは、被マスク画像ｉ５のうち、平均口径の約２倍の長さの幅を有し、交叉部Ｐｘを中心とするリング状の領域である。
【0114】
ここで、交叉部Ｐｘの近傍の領域は、特定被写体が撮像されていない領域である。第１マスク画像Ｍｓ１は、被マスク画像ｉ５内の特定被写体が撮像されていない領域をマスクする。また、被写体である血管は、様々な形状に折れ曲がる。そのため、交叉部Ｐｘから離れるほど、血管は、非マスク領域ＮＭＲ内に配置され難くなる。マスク画像Ｍｓは、交叉部Ｐｘに近すぎず、かつ、交叉部Ｐｘから遠すぎない領域を非マスク領域ＮＭＲとして残す。その結果、非マスク領域ＮＭＲ内には、部分領域ｒ５１，ｒ５２が確実に配置される。
【0115】
図１２と図１３とに戻る。
次いで、領域特定部１９は、非マスク領域ＮＭＲを二値化して、非マスク領域ＮＭＲ内に分離して配置されている複数の部分領域ｒ５１，ｒ５２それぞれの一部を非マスク部分領域ｒ５１１，ｒ５２１として特定する（Ｓ２０６）。
次いで、領域特定部１９は、非マスク領域ＮＭＲを二値化して、非マスク領域ＮＭＲ内に分離して配置されている複数の部分領域ｒ５１，ｒ５２それぞれの一部を非マスク部分領域ｒ５１１，ｒ５２１として特定する（Ｓ２０６）。
【0116】
次いで、領域特定部１９は、特定された非マスク部分領域ｒ５１１，ｒ５２１の中から１つの非マスク部分領域ｒ５１１を選択領域として選択する（Ｓ２０７）。次いで、領域特定部１９は、非マスク領域ＮＭＲに対してフィルタを設定する（Ｓ２０８）。
【0117】
「フィルタ」は、交叉部Ｐｘから選択領域の重心に向かうベクトルを０°としたとき、同重心から非マスク領域ＮＭＲの周方向に１８０°の位置に向けて「０」から「１」まで連続的に変化する値を有する。
【0118】
具体的には、領域特定部１９は、非マスク領域ＮＭＲ内の各画素の画素値にフィルタの値を乗算する。その結果、非マスク領域ＮＭＲの周方向において、１８０°の位置から０°の位置に向けて、非マスク領域ＮＭＲ内の各画素の画素値が小さくなる。
【0119】
次いで、領域特定部１９は、フィルタが設定された非マスク領域ＮＭＲにおいて、最も画素値の大きい非マスク部分領域（本実施の形態では、非マスク部分領域ｒ５２１）を、選択領域から最も離れた位置に配置された非マスク部分領域として特定する（Ｓ２０９）。
【0120】
次いで、領域特定部１９は、処理（Ｓ２０９）で特定された非マスク部分領域ｒ５２１を選択領域として選択する（Ｓ２１０）。次いで、領域特定部１９は、非マスク領域ＮＭＲに対してフィルタを設定する（Ｓ２１１）。次いで、領域特定部１９は、フィルタが設定された非マスク領域ＮＭＲにおいて、最も画素値の大きい非マスク部分領域（本実施の形態では、非マスク部分領域ｒ５１１）を、選択領域から最も離れた位置（１８０°に近い位置）に配置された非マスク部分領域として特定する（Ｓ２１２）。
【0121】
次いで、領域特定部１９は、処理（Ｓ２１２）において特定された非マスク部分領域と、処理（Ｓ２０７）において選択された選択領域と、が同じ領域か否かを判定する（Ｓ２１３）。両領域が同じとき（Ｓ２１３の「Ｙｅｓ」）、領域特定部１９は、両領域を接続領域として特定する（Ｓ２１４）。一方、両領域が異なるとき（Ｓ２１３の「Ｎｏ」）、領域特定部１９は、処理（Ｓ２０９）で特定された非マスク部分領域を除外して、処理（Ｓ２０９－Ｓ２１３）を繰り返す。
【0122】
このように、非マスク領域ＮＭＲにフィルタが設定されることで、領域特定部１９は、非マスク領域ＮＭＲのうち、選択領域と、選択領域から最も離れた位置に配置された非マスク部分領域と、を接続領域として特定する。換言すれば、領域特定部１９は、第１マスク画像Ｍｓ１を挟む位置に配置された２つの非マスク部分領域ｒ５１１，ｒ５２１を接続領域として特定する。この場合、第１マスク画像Ｍｓ１は、本発明における分離領域マスク画像の例である。また、非マスク部分領域ｒ５１１，ｒ５２１の間に配置された交叉部Ｐｘを含む領域は、本発明における分離領域の例である。
【0123】
次いで、領域特定部１９は、接続領域として特定された２の非マスク部分領域ｒ５１１，ｒ５２１それぞれの重心を算出する（Ｓ２１５）。重心は、非マスク部分領域ｒ５１１，ｒ５２１に対応する画素の画素値による重み付を加味して算出される。
【0124】
次いで、領域特定部１９は、輪郭線決定処理（Ｓ３００：図４参照）において、最初の起点画素（後述）となる画素の位置情報を特定する（Ｓ２１６）。
【0125】
図１６は、位置情報の特定方法の例を示す模式図である。
【0126】
具体的には、領域特定部１９は、非マスク部分領域ｒ５１１の重心ｘ１と交叉部Ｐｘとを結ぶ線分Ｌｘ１を引き、重心ｘ１を通る線分Ｌｘ１の垂線を引く。次いで、領域特定部１９は、同垂線と非マスク部分領域ｒ５１１の境界とが交わる点に対応する画素Ｐ１，Ｐ２を特定する。同様に、領域特定部１９は、非マスク部分領域ｒ５２１の重心ｘ２と交叉部Ｐｘとを結ぶ線分Ｌｘ２を引き、重心ｘ２を通る線分Ｌｘ２の垂線を引く。次いで、領域特定部１９は、同垂線と非マスク部分領域ｒ５２１の境界とが交わる点に対応する画素Ｐ３，Ｐ４を特定する。画素Ｐ１－Ｐ４の位置情報は、記憶部１２に記憶される。
【0127】
次いで、領域特定部１９は、接続領域として特定された２つの非マスク部分領域ｒ５１１，ｒ５２１を含む２つの部分領域ｒ５１，ｒ５２を特定する（Ｓ２１７）。
【0128】
【0129】
【0130】
先ず、範囲エッジ画像抽出部２０は、記憶部１２から特定エッジ画像ｉ４と被マスク画像ｉ５とを読み出す（Ｓ３０１）。次いで、範囲エッジ画像抽出部２０は、特定エッジ画像ｉ４から被マスク画像ｉ５に対応する範囲の範囲エッジ画像ｉ６を抽出する（範囲エッジ画像抽出処理：Ｓ３０２）。
【0131】
次いで、部分エッジ線特定部２１は、範囲エッジ画像ｉ６において、処理（Ｓ２１８）において特定された２つの部分領域ｒ５１，ｒ５２それぞれに対応する部分エッジ線Ｌ２１１，Ｌ２１２，Ｌ２１３，Ｌ２１４を特定する（部分エッジ線特定処理：Ｓ３０３）。部分エッジ線Ｌ２１１，Ｌ２１２は、本発明における第１部分エッジ線の例である。部分エッジ線Ｌ２１３，Ｌ２１４は、本発明における第２部分エッジ線の例である。
【0132】
次いで、画素選択部２２は、処理（Ｓ２１６）で特定された画素Ｐ１，Ｐ２，Ｐ３，Ｐ４の位置情報を記憶部１２から読み出す（Ｓ３０４）。次いで、画素選択部２２は、範囲エッジ画像ｉ６において、画素Ｐ１，Ｐ２，Ｐ３，Ｐ４の位置情報に対応する画素Ｐ１１，Ｐ２１，Ｐ３１，Ｐ４１を特定する（Ｓ３０５）。画素Ｐ１１－Ｐ４１は、本発明におけるエッジ線候補画素の例であり、本発明における最初の起点画素の例である。
【0133】
図１９は、処理（Ｓ３０５）における範囲エッジ画像ｉ６の例を示す模式図である。
同図は、画素Ｐ１１が部分エッジ線Ｌ２１１上に配置され、画素Ｐ２１が部分エッジ線Ｌ２１２上に配置され、画素Ｐ３１が部分エッジ線Ｌ２１３上に配置され、画素Ｐ４１が部分エッジ線Ｌ２１４上に配置される、ことを示す。
同図は、画素Ｐ１１が部分エッジ線Ｌ２１１上に配置され、画素Ｐ２１が部分エッジ線Ｌ２１２上に配置され、画素Ｐ３１が部分エッジ線Ｌ２１３上に配置され、画素Ｐ４１が部分エッジ線Ｌ２１４上に配置される、ことを示す。
【0134】
図１７－図１９に戻る。
次いで、画素選択部２２は、画素Ｐ１１－Ｐ４１のうち、輪郭線Ｌｏを決定するための最初の起点画素の対（例えば、画素Ｐ１１，Ｐ３１）を特定する（Ｓ３０６）。最初の起点画素の対は、例えば、処理（Ｓ２１６）において特定された各位置情報、または、重心ｘ１，ｘ２から各画素Ｐ１－Ｐ４（図１６参照）に向かうベクトルの向きに基づいて、特定される。
次いで、画素選択部２２は、画素Ｐ１１－Ｐ４１のうち、輪郭線Ｌｏを決定するための最初の起点画素の対（例えば、画素Ｐ１１，Ｐ３１）を特定する（Ｓ３０６）。最初の起点画素の対は、例えば、処理（Ｓ２１６）において特定された各位置情報、または、重心ｘ１，ｘ２から各画素Ｐ１－Ｐ４（図１６参照）に向かうベクトルの向きに基づいて、特定される。
【0135】
次いで、フィルタ画像生成部２３は、範囲エッジ画像ｉ６に重畳される２つのフィルタ画像（第１フィルタ画像Ｆｉ１，第２フィルタ画像Ｆｉ２）を生成する（Ｓ３０７）。
【0136】
図２０は、２つのフィルタ画像Ｆｉ１，Ｆｉ２の例を示す模式図である。
同図は、説明の便宜上、範囲エッジ画像ｉ６に２つのフィルタ画像Ｆｉ１，Ｆｉ２を重畳させた状態を示す。
同図は、説明の便宜上、範囲エッジ画像ｉ６に２つのフィルタ画像Ｆｉ１，Ｆｉ２を重畳させた状態を示す。
【0137】
第１フィルタ画像Ｆｉ１は、１の起点画素Ｐ１１を起点とする所定の第１フィルタ範囲を有する。第２フィルタ画像Ｆｉ２は、１の起点画素Ｐ３１を起点とする所定の第２フィルタ範囲を有する。
【0138】
「フィルタ範囲」は、起点画素Ｐ１１，Ｐ３１を起点として、例えば、中心角が９０°で、半径が７画素の四半円状（扇状）の範囲であり、半径が４画素の四半円状の領域は除かれる範囲である。すなわち、フィルタ範囲は、中心角が９０°で、半径が４画素から７画素までの長さの扇状である。フィルタ範囲には、範囲エッジ画像ｉ６の画素値に乗算されるフィルタ値が設定される。フィルタ値は、起点画素Ｐ１１，Ｐ３１を通りフィルタ範囲を２等分する線分（中心線）上において「１」である。フィルタ値は、フィルタ範囲の周方向において、中心線から遠ざかるほど小さくなり、最終的に「０」となる。すなわち、フィルタ値は、中心線からの相対距離に応じて決定される。
【0139】
第１フィルタ画像Ｆｉ１の中心線は、常に、第２フィルタ画像Ｆｉ２の最初の起点画素Ｐ３１に向けられる。すなわち、第１フィルタ画像Ｆｉ１は、第２フィルタ画像Ｆｉ２の最初の起点画素Ｐ３１に基づいて決定される第１フィルタ範囲を有する。一方、第２フィルタ画像Ｆｉ２の中心線は、常に、第１フィルタ画像Ｆｉ１の最初の起点画素Ｐ１１に向けられる。すなわち、第２フィルタ画像Ｆｉ２は、第１フィルタ画像Ｆｉ１の最初の起点画素Ｐ１１に基づいて決定されるフィルタ範囲を有する。
【0140】
図１７と図１８と図２０とに戻る。
次いで、画素選択部２２は、範囲エッジ画像ｉ６に対するフィルタ画像Ｆｉ１，Ｆｉ２を用いたフィルタ処理により、フィルタ範囲内の画素値の平均値を算出する（Ｓ３０８）。具体的には、画素選択部２２は、フィルタ範囲内において、範囲エッジ画像ｉ６の画素値にフィルタ値を乗算し、乗算後の各画素値の平均値を算出する。次いで、画素選択部２２は、算出した平均値を所定の閾値と比較する（Ｓ３０９）。所定の閾値は、例えば、記憶部１２に予め記憶されている。
次いで、画素選択部２２は、範囲エッジ画像ｉ６に対するフィルタ画像Ｆｉ１，Ｆｉ２を用いたフィルタ処理により、フィルタ範囲内の画素値の平均値を算出する（Ｓ３０８）。具体的には、画素選択部２２は、フィルタ範囲内において、範囲エッジ画像ｉ６の画素値にフィルタ値を乗算し、乗算後の各画素値の平均値を算出する。次いで、画素選択部２２は、算出した平均値を所定の閾値と比較する（Ｓ３０９）。所定の閾値は、例えば、記憶部１２に予め記憶されている。
【0141】
平均値が所定の閾値より大きいとき（Ｓ３０９の「Ｙｅｓ」）、画素選択部２２は、部分エッジ線に対応する画素の候補であるエッジ線候補画素Ｐａ１を選択する（Ｓ３１０）。具体的には、画素選択部２２は、フィルタ範囲内において、乗算後の各画素値を考慮した重心を算出し、算出した重心に最も近い画素をエッジ線候補画素Ｐａ１として選択する。すなわち、画素選択部２２は、範囲エッジ画像ｉ６に含まれる画素のうち、フィルタ範囲内であって、最初の起点画素Ｐ１１，Ｐ３１から所定の距離（４画素以上７画素以内）離れた画素をエッジ線候補画素Ｐａ１として選択する。換言すれば、画素選択部２２は、範囲エッジ画像ｉ６に含まれる画素のうち、最初の起点画素Ｐ１１，Ｐ３１以外の画素をエッジ線候補画素Ｐａ１として選択する。エッジ線候補画素Ｐａ１は、本発明における第１エッジ線候補画素の例であり、本発明における第２エッジ線候補画素の例である。
【0142】
なお、画素選択部は、部分エッジ線に対応する画素であって、算出した重心に最も近い画素をエッジ線候補画素として選択してもよい。
【0143】
次いで、フィルタ画像生成部２３は、新たに選択されたエッジ線候補画素Ｐａ１を新たな起点画素とする新たなフィルタ画像Ｆｉ１，Ｆｉ２を生成する（Ｓ３１１）。
【0144】
図２１は、新たなフィルタ画像Ｆｉ１，Ｆｉ２の例を示す模式図である。
同図は、新たなフィルタ画像Ｆｉ１，Ｆｉ２がエッジ線候補画素Ｐａ１を起点画素としている状態を示す。
同図は、新たなフィルタ画像Ｆｉ１，Ｆｉ２がエッジ線候補画素Ｐａ１を起点画素としている状態を示す。
【0145】
図１７と図１８と図２１とに戻る。
次いで、画素選択部２２は、新たなフィルタ画像Ｆｉ１，Ｆｉ２を用いて、フィルタ範囲内の画素値の平均値の算出と、次のエッジ線候補画素Ｐａ１の選択と、を実行する（Ｓ３０８－Ｓ３１０）。
次いで、画素選択部２２は、新たなフィルタ画像Ｆｉ１，Ｆｉ２を用いて、フィルタ範囲内の画素値の平均値の算出と、次のエッジ線候補画素Ｐａ１の選択と、を実行する（Ｓ３０８－Ｓ３１０）。
【0146】
一方、平均値が所定の閾値以下のとき（Ｓ３０９の「Ｎｏ」）、すなわち、フィルタ範囲内において部分エッジ線Ｌ２１１，Ｌ２１３が断線しているとき、画素選択部２２は、新たなエッジ線候補画素Ｐａ１を選択しない。
【0147】
図２２は、フィルタ範囲内において部分エッジ線Ｌ２１１，Ｌ２１３が断線している状態を示す模式図である。同図は、最新のエッジ線候補画素Ｐａ１が部分エッジ線Ｌ２１１，Ｌ２１３の端部に配置され、フィルタ画像Ｆｉ１，Ｆｉ２のフィルタ範囲内に部分エッジ線Ｌ２１１，Ｌ２１３が存在しない状態を示す。
【0148】
図１７と図１８と図２２とに戻る。
このとき、連結線決定部２４は、処理（Ｓ３０８－Ｓ３１０）において選択されたエッジ線候補画素Ｐａ１の集合に基づいて、部分エッジ線Ｌ２１１，Ｌ２１３同士を結ぶ連結線Ｌｃを決定する（連結線決定処理：Ｓ３１２）。具体的には、連結線決定部２４は、処理（Ｓ３０８－Ｓ３１０）において、第１フィルタ画像Ｆｉ１を用いて選択された全てのエッジ線候補画素Ｐａ１を用いたファジィ推論を実行して、第１連結線（不図示）を推定する。同様に、連結線決定部２４は、処理（Ｓ３０８－Ｓ３１０）において、第２フィルタ画像Ｆｉ２を用いて選択された全てのエッジ線候補画素Ｐａ１を用いたファジィ推論を実行して、第２連結線（不図示）を推定する。次いで、連結線決定部２４は、第１連結線と第２連結線とに基づいて、連結線Ｌｃを決定する。
このとき、連結線決定部２４は、処理（Ｓ３０８－Ｓ３１０）において選択されたエッジ線候補画素Ｐａ１の集合に基づいて、部分エッジ線Ｌ２１１，Ｌ２１３同士を結ぶ連結線Ｌｃを決定する（連結線決定処理：Ｓ３１２）。具体的には、連結線決定部２４は、処理（Ｓ３０８－Ｓ３１０）において、第１フィルタ画像Ｆｉ１を用いて選択された全てのエッジ線候補画素Ｐａ１を用いたファジィ推論を実行して、第１連結線（不図示）を推定する。同様に、連結線決定部２４は、処理（Ｓ３０８－Ｓ３１０）において、第２フィルタ画像Ｆｉ２を用いて選択された全てのエッジ線候補画素Ｐａ１を用いたファジィ推論を実行して、第２連結線（不図示）を推定する。次いで、連結線決定部２４は、第１連結線と第２連結線とに基づいて、連結線Ｌｃを決定する。
【0149】
図２３は、連結線Ｌｃの例を示す模式図である。
同図は、説明の便宜上、フィルタ画像Ｆｉ１，Ｆｉ２と、エッジ線候補画素Ｐａ１と、連結線候補画素Ｐａ２と、も合わせて示す。
同図は、説明の便宜上、フィルタ画像Ｆｉ１，Ｆｉ２と、エッジ線候補画素Ｐａ１と、連結線候補画素Ｐａ２と、も合わせて示す。
【0150】
図１７と図１８と図２３とに戻る。
次いで、画素選択部２２は、例えば、連結線Ｌｃに対応する画素の画素値を最大値と仮定して、フィルタ画像Ｆｉ１，Ｆｉ２を用いて、連結線Ｌｃに対応する画素の候補である連結線候補画素Ｐａ２を選択する（Ｓ３１３）。連結線候補画素Ｐａ２は、本発明における第１連結線候補画素の例であり、本発明における第２連結線候補画素の例である。次いで、画素選択部２２は、所定の基準点から最初の起点画素Ｐ１１，Ｐ３１までのベクトル同士の差分と、同基準点から連結線候補画素Ｐａ２までのベクトル同士の差分と、の内積を算出する（Ｓ３１４）。次いで、画素選択部２２は、算出した内積が「正」か「負」かを判定する（Ｓ３１５）。
次いで、画素選択部２２は、例えば、連結線Ｌｃに対応する画素の画素値を最大値と仮定して、フィルタ画像Ｆｉ１，Ｆｉ２を用いて、連結線Ｌｃに対応する画素の候補である連結線候補画素Ｐａ２を選択する（Ｓ３１３）。連結線候補画素Ｐａ２は、本発明における第１連結線候補画素の例であり、本発明における第２連結線候補画素の例である。次いで、画素選択部２２は、所定の基準点から最初の起点画素Ｐ１１，Ｐ３１までのベクトル同士の差分と、同基準点から連結線候補画素Ｐａ２までのベクトル同士の差分と、の内積を算出する（Ｓ３１４）。次いで、画素選択部２２は、算出した内積が「正」か「負」かを判定する（Ｓ３１５）。
【0151】
内積が「正」のとき（Ｓ３１５の「正」）、フィルタ画像生成部２３は、新たに選択された連結線候補画素Ｐａ２を新たな起点画素とする新たなフィルタ画像Ｆｉ１，Ｆｉ２を生成する（Ｓ３１６）。次いで、画素選択部２２は、新たなフィルタ画像Ｆｉ１，Ｆｉ２を用いて、次の連結線候補画素Ｐａ２を選択する（Ｓ３１３）。
【0152】
一方、内積が「負」のとき（Ｓ３１５の「負」）、輪郭線決定部２５は、処理（Ｓ３１０）で選択した全てのエッジ線候補画素Ｐａ１と、処理（Ｓ３１３）で選択した全ての連結線候補画素Ｐａ２と、の集合に基づいて、部分領域ｒ５１，ｒ５２の輪郭線Ｌｏ（すなわち、特定被写体領域Ｒ１１の輪郭線の一部）を決定する（Ｓ３１６）。具体的には、輪郭線決定部２５は、エッジ線候補画素Ｐａ１と連結線候補画素Ｐａ２とを通る曲線を算出し、同曲線を輪郭線Ｌｏとして決定する。エッジ線候補画素Ｐａ１と連結線候補画素Ｐａ２と連結線Ｌｃと輪郭線Ｌｏとは、記憶部１２に記憶される。
【0153】
次いで、画素選択部２２は、画素Ｐ１１－Ｐ４１のうち、次の輪郭線Ｌｏを決定するための最初の起点画素の対（例えば、画素Ｐ２１，Ｐ４１）を特定する（Ｓ３１７）。次いで、本装置１は、処理（Ｓ３０７－Ｓ３１７）を実行して次の輪郭線Ｌｏを決定する。
【0154】
図２４は、決定した輪郭線Ｌｏの例を示す模式図である。
同図は、説明の便宜上、輪郭線Ｌｏを撮像画像ｉ１に重畳させ、非特定被写体領域の一部を切り欠いた状態を示す。同図の太線は輪郭線Ｌｏを示し、同図の破線は特定被写体領域Ｒ１１を示す。同図は、非特定被写体領域Ｒ１２により覆い隠された特定被写体領域Ｒ１１の一部の形状が推定され、特定被写体領域Ｒ１１の輪郭線と連続した輪郭線Ｌｏが決定されていること、を示す。
同図は、説明の便宜上、輪郭線Ｌｏを撮像画像ｉ１に重畳させ、非特定被写体領域の一部を切り欠いた状態を示す。同図の太線は輪郭線Ｌｏを示し、同図の破線は特定被写体領域Ｒ１１を示す。同図は、非特定被写体領域Ｒ１２により覆い隠された特定被写体領域Ｒ１１の一部の形状が推定され、特定被写体領域Ｒ１１の輪郭線と連続した輪郭線Ｌｏが決定されていること、を示す。
【0155】
このように、輪郭線決定処理（Ｓ３００）において、本装置１は、フィルタ画像Ｆｉ１，Ｆｉ２により部分エッジ線を追跡して複数のエッジ線候補画素Ｐａ１を選択する。次いで、本装置１は、ファジィ推論を実行して、連結線Ｌｃを推定・決定する。次いで、本装置１は、フィルタ画像Ｆｉ１，Ｆｉ２により連結線Ｌｃを追跡して複数の連結線候補画素Ｐａ２を選択する。次いで、本装置１は、エッジ線候補画素Ｐａ１と連結線候補画素Ｐａ２とに基づいて、輪郭線Ｌｏを決定する。
【0156】
【0157】
図２５は、輪郭線補正処理（Ｓ４００）のフローチャートである。
図２６は、輪郭線補正処理（Ｓ４００）が実行される前の輪郭線Ｌｏの例を示す模式図である。図２６は、説明の便宜上、１つの部分エッジ線に対応するエッジ線候補画素Ｐａ１と、連結線候補画素Ｐａ２と、輪郭線Ｌｏと、を撮像画像ｉ１に重畳させた状態を示す。
図２６は、輪郭線補正処理（Ｓ４００）が実行される前の輪郭線Ｌｏの例を示す模式図である。図２６は、説明の便宜上、１つの部分エッジ線に対応するエッジ線候補画素Ｐａ１と、連結線候補画素Ｐａ２と、輪郭線Ｌｏと、を撮像画像ｉ１に重畳させた状態を示す。
【0158】
「輪郭線補正処理（Ｓ４００）」は、撮像画像ｉ１の画素値に基づいて、輪郭線決定処理（Ｓ３００）で決定した輪郭線Ｌｏ（エッジ線候補画素Ｐａ１と連結線候補画素Ｐａ２それぞれの位置）の補正をする処理である。
【0159】
先ず、輪郭線補正部２６は、撮像画像ｉ１と、エッジ線候補画素Ｐａ１と、連結線候補画素Ｐａ２と、輪郭線Ｌｏと、を記憶部１２から読み出す（Ｓ４０１）。このとき、輪郭線補正部２６は、エッジ線候補画素Ｐａ１と、連結線候補画素Ｐａ２と、輪郭線Ｌｏと、を撮像画像ｉ１に重畳させる。
【0160】
次いで、輪郭線補正部２６は、輪郭線Ｌｏを決定する画素のうち、最初に選択したエッジ線候補画素Ｐａ１１（最初の起点画素Ｐ１１の隣のエッジ線候補画素Ｐａ１）を補正対象画素として選択する（Ｓ４０２）。次いで、輪郭線補正部２６は、輪郭線Ｌｏを決定する画素のうち、補正対象画素の隣に配置されている最初の起点画素Ｐ１１とエッジ線候補画素Ｐａ１２とを隣接画素として選択する（Ｓ４０３）。次いで、輪郭線補正部２６は、隣接画素同士を結ぶ線分Ｌｎを引き、その線分Ｌｎの中点において線分Ｌｎに直交する線Ｌｍを引く（Ｓ４０４）。
【0161】
図２７－図３１は、輪郭線補正処理（Ｓ４００）において補正画素が決定される様子を示す模式図である。同図らは、輪郭線Ｌｏを決定する画素それぞれの補正画素（Ｐａ１１ａ，Ｐａ１２ａ，Ｐａ１３ａ，Ｐａ１４ａ）が順に決定されている状態を示す。
【0162】
図２５－図２７に戻る。
次いで、輪郭線補正部２６は、撮像画像ｉ１において線Ｌｍ上に配置される各画素の画素値（輝度値）を読み出し、隣接する画素の画素値よりも画素値の変化量の大きい画素（変化量の勾配が大きい画素）を抽出する（Ｓ４０５）。前述のとおり、撮像画像ｉ１において、被写体である血管は、背景よりも暗く撮像される。そのため、画素値の変化量の大きい画素は、血管のエッジに相当する画素であるとみなすことができる。通常、線Ｌｍ上には、画素値の変化量の大きい画素は、血管のエッジに合わせて２つ配置される。
次いで、輪郭線補正部２６は、撮像画像ｉ１において線Ｌｍ上に配置される各画素の画素値（輝度値）を読み出し、隣接する画素の画素値よりも画素値の変化量の大きい画素（変化量の勾配が大きい画素）を抽出する（Ｓ４０５）。前述のとおり、撮像画像ｉ１において、被写体である血管は、背景よりも暗く撮像される。そのため、画素値の変化量の大きい画素は、血管のエッジに相当する画素であるとみなすことができる。通常、線Ｌｍ上には、画素値の変化量の大きい画素は、血管のエッジに合わせて２つ配置される。
【0163】
次いで、輪郭線補正部２６は、画素値の変化量の大きい画素のうち、補正対象画素に近い画素を補正対象画素の補正先の補正画素Ｐａ１１ａとして決定する（Ｓ４０６）。
【0164】
次いで、輪郭線補正部２６は、隣接画素のうち、最初の起点画素Ｐ１１から遠い画素（エッジ線候補画素Ｐａ１２）を次の補正対象画素として選択する（Ｓ４０７）。次いで、輪郭線補正部２６は、補正対象画素の隣に配置されているエッジ線候補画素Ｐａ１１，Ｐａ１３を次の隣接画素として選択する（Ｓ４０８）。次いで、輪郭線補正部２６は、処理（Ｓ４０４－Ｓ４０６）を実行して、次の補正先の補正画素を決定する。
【0165】
次いで、輪郭線補正部２６は、全てのエッジ線候補画素Ｐａ１と連結線候補画素Ｐａ２とに対して、処理（Ｓ４０４－Ｓ４０８）を実行して、補正先の補正画素を決定する（Ｓ４０９）。
【0166】
次いで、輪郭線補正部２６は、エッジ線候補画素Ｐａ１と連結線候補画素Ｐａ２とに代えて、補正画素を輪郭線Ｌｏに対応する画素として決定する（Ｓ４１０）。
【0167】
●実施例●
次に、眼底写真に本方法を適用した実施例について説明する。
次に、眼底写真に本方法を適用した実施例について説明する。
【0168】
図３２は、本方法の実施例に用いられる撮像画像ｉ１の例を示す図である。
図３３は、図３２の撮像画像ｉ１に基づいて生成された強調画像ｉ３の例を示す図である。
図３４は、図３２の撮像画像ｉ１に基づいて生成されたエッジ画像ｉ２の例を示す図である。
図３５は、図３３の強調画像ｉ３と図３４のエッジ画像ｉ２とに基づいて生成された特定エッジ画像ｉ４の例を示す図である。
図３６は、図３２の撮像画像ｉ１に輪郭線Ｌｏを重畳させた状態の例を示す図である。
図３３は、図３２の撮像画像ｉ１に基づいて生成された強調画像ｉ３の例を示す図である。
図３４は、図３２の撮像画像ｉ１に基づいて生成されたエッジ画像ｉ２の例を示す図である。
図３５は、図３３の強調画像ｉ３と図３４のエッジ画像ｉ２とに基づいて生成された特定エッジ画像ｉ４の例を示す図である。
図３６は、図３２の撮像画像ｉ１に輪郭線Ｌｏを重畳させた状態の例を示す図である。
【0169】
図３５に示されるとおり、本方法は、撮像画像ｉ１から特定被写体（静脈）の強調されたエッジ線のみを特定エッジ画像として生成できる。また、図３６に示されるとおり、本方法は、動脈で覆い隠された部分を含めて、静脈の輪郭線Ｌｏを精度よく特定できる。
【0170】
●まとめ
以上説明した実施の形態によれば、本装置１は、エッジ画像ｉ２と強調画像ｉ３とに基づいて、特定エッジ画像ｉ４を生成する特定エッジ画像生成部１６を有してなる。特定エッジ画像ｉ４は、特定エッジ線Ｌ２１と非特定エッジ線Ｌ２２のうち、特定エッジ線Ｌ２１のみが強調された画像である。具体的には、特定エッジ画像ｉ４は、特定エッジ線Ｌ２１のうち、特定エッジ線Ｌ２１であることが曖昧な領域が除去され、特定エッジ線Ｌ２１であることが明確な領域が強調された画像である。このように、本装置１は、撮像画像ｉ１から特定被写体（静脈）のみを強調して抽出できる新たな画像処理技術を提供する。
以上説明した実施の形態によれば、本装置１は、エッジ画像ｉ２と強調画像ｉ３とに基づいて、特定エッジ画像ｉ４を生成する特定エッジ画像生成部１６を有してなる。特定エッジ画像ｉ４は、特定エッジ線Ｌ２１と非特定エッジ線Ｌ２２のうち、特定エッジ線Ｌ２１のみが強調された画像である。具体的には、特定エッジ画像ｉ４は、特定エッジ線Ｌ２１のうち、特定エッジ線Ｌ２１であることが曖昧な領域が除去され、特定エッジ線Ｌ２１であることが明確な領域が強調された画像である。このように、本装置１は、撮像画像ｉ１から特定被写体（静脈）のみを強調して抽出できる新たな画像処理技術を提供する。
【0171】
また、以上説明した実施の形態によれば、本装置１は、特定マップ画像Ｍｉ１と非特定マップ画像Ｍｉ２とに基づいて、強調画像ｉ３を生成する強調画像生成部１５を有してなる。強調画像生成部１５は、ランプ関数と平滑化処理という処理負荷の小さい簡易な演算により、強調画像ｉ３を生成する。強調画像ｉ３は、特定被写体領域Ｒ１１と非特定被写体領域Ｒ１２のうち、特定被写体領域Ｒ１１のみが強調領域Ｒ３１として強調された画像である。この構成によれば、本装置１は、処理負荷の小さい簡易な演算により、特定被写体領域Ｒ１１のみが強調されて残る強調画像ｉ３を生成する。
【0172】
さらに、以上説明した実施の形態によれば、本装置１は、強調画像ｉ３の基になる特定マップＭ１と非特定マップＭ２とを生成するマップ生成部１３を有してなる。マップ生成部１３は、ＲＧＢの画素値で表される撮像画像ｉ１を、確率値に基づく画素値で表されるマップ画像Ｍｉに変換する。この構成によれば、本装置１は、ランプ関数と平滑化処理という演算により、強調画像ｉ３を生成できる。
【0173】
さらにまた、以上説明した実施の形態によれば、本装置１は、エッジ画像ｉ２に対する強調画像ｉ３を用いたフィルタ処理により、容易に特定エッジ画像ｉ４を生成できる。
【0174】
さらにまた、以上説明した実施の形態によれば、本装置１は、被マスク画像ｉ５に含まれる２つの部分領域ｒ５１，ｒ５２を互いに繋がる接続領域として特定する領域特定部１９と、を有してなる。この構成によれば、本装置１は、非特定被写体の一部により覆われることで撮像画像ｉ１に分離して配置された部分特定被写体領域ｒ１１，ｒ１２を、互いに繋がる領域として特定できる。
【0175】
さらにまた、以上説明した実施の形態によれば、本装置１は、被マスク画像ｉ５に対するマスク画像Ｍｓを用いたマスク処理により、マスク画像Ｍｓによりマスクされない非マスク領域ＮＭＲを決定するマスク処理部１８を有してなる。領域特定部１９は、非マスク領域ＮＭＲ内に分離して配置される２つの非マスク部分領域ｒ５１１，ｒ５２１を接続領域として特定する。この構成によれば、本装置１は、マスク画像Ｍｓを適切に設定するだけで、非マスク領域ＮＭＲ内に非マスク部分領域ｒ５１１，ｒ５２１を確実に配置できる。
【0176】
さらにまた、以上説明した実施の形態によれば、領域特定部１９は、複数の被マスク部分領域のうち、選択領域と、選択領域から最も離れた位置に配置された非マスク部分領域と、を接続領域として特定する。また、領域特定部１９は、複数の非マスク部分領域のうち、第１マスク画像Ｍｓ１を挟む位置に配置された２つの非マスク部分領域を接続領域として特定する。これらの構成によれば、領域特定部１９は、非マスク領域ＮＭＲに３以上の非マスク部分領域が存在しても、容易に接続領域を特定できる。
【0177】
さらにまた、以上説明した実施の形態によれば、本装置１は、分離して配置された部分エッジ線同士を結ぶ連結線Ｌｃを決定する連結線決定部２４を有してなる。この構成によれば、交叉部Ｐｘにおいて撮像されていない特定被写体の輪郭線Ｌｏの下地となる連結線Ｌｃをファジィ推論により容易に推定できる。
【0178】
さらにまた、以上説明した実施の形態によれば、本装置１は、フィルタ画像Ｆｉを生成するフィルタ画像生成部２３と、フィルタ画像Ｆｉに基づいてエッジ線候補画素Ｐａ１を選択する画素選択部２２と、を有してなる。この構成によれば、連結線決定部２４は、連続的に選択されるエッジ線候補画素Ｐａ１を用いたファジィ推論を実行して、連結線Ｌｃを決定できる。
【0179】
さらにまた、以上説明した実施の形態によれば、画素選択部２２は、フィルタ範囲内において、新たなエッジ線候補画素Ｐａ１を選択する。この構成によれば、画素選択部２２は、フィルタ範囲を適切に設定することにより、部分エッジ線から大きく外れることなく、エッジ線候補画素Ｐａ１を選択できる。すなわち、本装置１は、部分エッジ線から大きく外れることなく、部分エッジ線を追跡できる。
【0180】
さらにまた、以上説明した実施の形態によれば、画素選択部２２は、フィルタ画像Ｆｉに含まれるフィルタ値に基づいて、エッジ線候補画素Ｐａ１を選択する。フィルタ値は、フィルタ範囲の中心線からの相対距離に応じて決定される。この構成によれば、フィルタ範囲において、中心線から離れるほど画素値が小さくなるフィルタ値が設定されることにより、画素選択部２２は、部分エッジ線から大きく外れることなく、エッジ線候補画素Ｐａ１を選択できる。すなわち、本装置１は、部分エッジ線から大きく外れることなく、部分エッジ線を追跡できる。
【0181】
さらにまた、以上説明した実施の形態によれば、第１フィルタ画像Ｆｉ１は、第２フィルタ画像Ｆｉ２の基準画素（第２基準画素）に基づいて決定される第１フィルタ範囲を有する。第２フィルタ画像Ｆｉ２は、第１フィルタ画像Ｆｉ１の基準画素（第１基準画素）に基づいて決定される第２フィルタ範囲を有する。具体的には、第１フィルタ範囲の中心線は第２基準画素を向き、第２フィルタ範囲の中心線は第１基準画素を向く。換言すれば、第１フィルタ画像Ｆｉ１は常に第２基準画素を向き、第２フィルタ画像Ｆｉ２は常に第１基準画素を向く。この構成によれば、画素選択部２２は、部分エッジ線から大きく外れることなくエッジ線候補画素Ｐａ１を選択できる。
【0182】
さらにまた、以上説明した実施の形態によれば、輪郭線決定部２５は、エッジ線候補画素Ｐａ１と連結線候補画素Ｐａ２とに基づいて、輪郭線Ｌｏの一部を決定する。この構成によれば、本装置１は、交叉して撮像されていない部分を含めて、特定被写体領域Ｒ１１からのずれの少ない輪郭線Ｌｏを決定できる。
【0183】
さらにまた、以上説明した実施の形態によれば、本装置１は、撮像画像ｉ１に含まれる画素の画素値に基づいて、輪郭線Ｌｏの補正をする輪郭線補正部２６を有してなる。輪郭線補正部２６は、撮像画像に含まれる画素のうち、２つの隣接画素それぞれから等距離の位置に配置された複数の画素の画素値に基づいて、候補画素の補正先の補正画素を決定する。また、輪郭線補正部２６は、エッジ線候補画素Ｐａ１と連結線候補画素Ｐａ２とに代えて補正画素を輪郭線に対応する画素とする。この構成によれば、本装置１は、決定した輪郭線Ｌｏの位置を容易に補正できる。
【0184】
なお、以上説明した実施の形態によれば、本装置１は、部分領域特定処理（Ｓ２００）において、被マスク画像ｉ５として特定マップ画像Ｍｉ１の一部の領域を抽出していた。これに代えて、本装置１は、部分領域特定処理において、被マスク画像として強調画像の一部の領域を抽出してもよい。すなわち、例えば、被マスク画像生成部は、撮像画像と強調画像とに基づいて、被マスク画像を生成してもよい。この場合、強調領域は、複数の部分特定被写体領域それぞれに対応する複数の部分強調領域を含む。被マスク画像は、複数の部分強調領域を部分領域として含む。
【0185】
また、本発明における特定被写体は静脈、本発明における非特定被写体は動脈、に限定されない。すなわち、例えば、本発明における特定被写体は動脈、本発明における非特定被写体は静脈でもよい。
【0186】
さらに、本方法の部分領域特定処理において、注目領域は、交叉部に限定されない。すなわち、例えば、注目領域は、特定被写体領域のうち、他の被写体に覆い隠されていない領域でもよい。
【0187】
さらにまた、本方法の輪郭線決定処理は、連続している部分エッジ線上（断線の無い部分エッジ線上）のみで実行されてもよい。
【符号の説明】
【0188】
１ 画像処理装置
１２ 記憶部
１３ マップ生成部
１５ 強調画像生成部
１６ 特定エッジ画像生成部
１７ 被マスク画像生成部
１８ マスク処理部
１９ 領域特定部
２０ 範囲エッジ画像抽出部
２１ 部分エッジ線特定部
２２ 画素選択部
２３ フィルタ画像生成部
２４ 連結線決定部
２５ 輪郭線決定部
２６ 輪郭線補正部
ｉ１ 撮像画像
Ｒ１１ 特定被写体領域
Ｒ１２ 非特定被写体領域
ｒ１１ 部分特定被写体領域
ｒ１２ 部分特定被写体領域
ｉ２ エッジ画像
Ｌ２１ 特定エッジ線
Ｌ２２ 非特定エッジ線
ｉ３ 強調画像
ｉ４ 特定エッジ画像
ｉ５ 被マスク画像
ｒ５１ 部分領域
ｒ５２ 部分領域
ｒ５１１ 非マスク部分領域
ｒ５２１ 非マスク部分領域
ｉ６ 範囲エッジ画像
Ｍ マップ
Ｍ１ 特定マップ
Ｍ２ 非特定マップ
Ｍｓ マスク画像
Ｍｓ１ 第１マスク画像（分離領域マスク画像）
Ｆｉ フィルタ画像
Ｆｉ１ 第１フィルタ画像
Ｆｉ２ 第２フィルタ画像
１２ 記憶部
１３ マップ生成部
１５ 強調画像生成部
１６ 特定エッジ画像生成部
１７ 被マスク画像生成部
１８ マスク処理部
１９ 領域特定部
２０ 範囲エッジ画像抽出部
２１ 部分エッジ線特定部
２２ 画素選択部
２３ フィルタ画像生成部
２４ 連結線決定部
２５ 輪郭線決定部
２６ 輪郭線補正部
ｉ１ 撮像画像
Ｒ１１ 特定被写体領域
Ｒ１２ 非特定被写体領域
ｒ１１ 部分特定被写体領域
ｒ１２ 部分特定被写体領域
ｉ２ エッジ画像
Ｌ２１ 特定エッジ線
Ｌ２２ 非特定エッジ線
ｉ３ 強調画像
ｉ４ 特定エッジ画像
ｉ５ 被マスク画像
ｒ５１ 部分領域
ｒ５２ 部分領域
ｒ５１１ 非マスク部分領域
ｒ５２１ 非マスク部分領域
ｉ６ 範囲エッジ画像
Ｍ マップ
Ｍ１ 特定マップ
Ｍ２ 非特定マップ
Ｍｓ マスク画像
Ｍｓ１ 第１マスク画像（分離領域マスク画像）
Ｆｉ フィルタ画像
Ｆｉ１ 第１フィルタ画像
Ｆｉ２ 第２フィルタ画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】