(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023106142
(43)【公開日】2023-08-01
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230725BHJP
G06T 7/11 20170101ALI20230725BHJP
A61B 5/00 20060101ALI20230725BHJP
【ＦＩ】
G06T7/00 612
G06T7/00 350B
G06T7/11
A61B5/00 M
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022007289
(22)【出願日】2022-01-20
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人科学技術振興機構、研究成果展開事業大学発新産業創出プログラム「蚊のバイオミメティクスによる無痛針穿刺と微細血管認識とを融合した自動注射システム」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】399030060
【氏名又は名称】学校法人 関西大学
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】青柳 誠司
(72)【発明者】
【氏名】鈴木 昌人
【テーマコード（参考）】
4C117
5L096
【Ｆターム（参考）】
4C117XE03
4C117XE43
4C117XK05
4C117XK25
5L096BA06
5L096CA02
5L096DA01
5L096EA12
5L096EA43
5L096FA02
5L096FA04
5L096FA12
5L096HA11
5L096JA16
5L096KA04
5L096KA15
(57)【要約】
【課題】二次元画像を用いて細静脈または細動脈を高精度で抽出することを可能とする。
【解決手段】画像処理装置（１）は、二次元画像から体毛の領域を抽出する第１領域抽出部（１３）と、二次元画像から、第１領域抽出部（１３）によって抽出された体毛の領域を識別する画像識別部（１４）と、画像識別部（１４）によって体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する第２領域抽出部（１５）と、を備える。
【選択図】図３
【解決手段】画像処理装置（１）は、二次元画像から体毛の領域を抽出する第１領域抽出部（１３）と、二次元画像から、第１領域抽出部（１３）によって抽出された体毛の領域を識別する画像識別部（１４）と、画像識別部（１４）によって体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する第２領域抽出部（１５）と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
二次元画像から体毛の領域を抽出する第１領域抽出部と、
前記二次元画像から、前記第１領域抽出部によって抽出された前記体毛の領域を識別する画像識別部と、
前記画像識別部によって前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、を備える画像処理装置。
前記二次元画像から、前記第１領域抽出部によって抽出された前記体毛の領域を識別する画像識別部と、
前記画像識別部によって前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、を備える画像処理装置。
【請求項2】
二次元画像から体毛の領域を抽出する第１領域抽出部と、
前記二次元画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、
前記第２領域抽出部によって抽出された前記細静脈または前記細動脈の領域の画像から、前記第１領域抽出部によって抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する画像識別部と、を備える画像処理装置。
前記二次元画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、
前記第２領域抽出部によって抽出された前記細静脈または前記細動脈の領域の画像から、前記第１領域抽出部によって抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する画像識別部と、を備える画像処理装置。
【請求項3】
前記第２領域抽出部は、係蹄部先端を抽出し、当該係蹄部先端に基づいて、前記細静脈または前記細動脈の領域を判定する、請求項１または２に記載の画像処理装置。
【請求項4】
前記第１領域抽出部は、機械学習によって、前記二次元画像から前記体毛の領域を抽出するように学習されており、
前記第２領域抽出部は、機械学習によって、前記二次元画像から前記細静脈または前記細動脈の領域を抽出するように学習されている、請求項１または２に記載の画像処理装置。
前記第２領域抽出部は、機械学習によって、前記二次元画像から前記細静脈または前記細動脈の領域を抽出するように学習されている、請求項１または２に記載の画像処理装置。
【請求項5】
二次元画像から、係蹄部先端を抽出する係蹄部先端抽出部と、
前記二次元画像から、細静脈または細動脈の候補領域を抽出する候補領域抽出部と、
前記係蹄部先端抽出部によって抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する微細血管判定部と、を備える画像処理装置。
前記二次元画像から、細静脈または細動脈の候補領域を抽出する候補領域抽出部と、
前記係蹄部先端抽出部によって抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する微細血管判定部と、を備える画像処理装置。
【請求項6】
前記微細血管判定部は、前記係蹄部先端抽出部によって抽出された係蹄部先端を含む前記候補領域を前記細静脈または前記細動脈の領域と判定する、請求項５に記載の画像処理装置。
【請求項7】
二次元画像から体毛の領域を抽出し、
前記二次元画像から、抽出された前記体毛の領域を識別し、
前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する、画像処理方法。
前記二次元画像から、抽出された前記体毛の領域を識別し、
前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する、画像処理方法。
【請求項8】
二次元画像から体毛の領域を抽出し、
前記二次元画像から、細静脈または細動脈の領域を抽出し、
抽出された前記細静脈または前記細動脈の領域の画像から、抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する、画像処理方法。
前記二次元画像から、細静脈または細動脈の領域を抽出し、
抽出された前記細静脈または前記細動脈の領域の画像から、抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する、画像処理方法。
【請求項9】
二次元画像から、係蹄部先端を抽出し、
前記二次元画像から、細静脈または細動脈の候補領域を抽出し、
抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する、画像処理方法。
前記二次元画像から、細静脈または細動脈の候補領域を抽出し、
抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【0002】
近年、画像処理を用いた医療機器の開発が盛んに行われている。非特許文献１には、Ｒｅｃ－ＦＣＮ（Recurrent Fully Convolutional Network）等を用いて、画像から毛細血管を抽出する技術が開示されている。
【0003】
また、特許文献１には、光音響信号から再構成された三次元画像に含まれる表在血管と体毛との分別精度を向上させる技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－０２５２５１号公報
【非特許文献】
【0005】
【非特許文献1】Alvin I.Chen, Max L.Balter, Timothy J.Maguire and Martin L.Yarmush, 文献名「Deep learning robotic guidance for autonomous vascular access」，p.104-115，2020
【発明の概要】
【発明が解決しようとする課題】
【0006】
皮膚を撮影した画像には、細静脈、細動脈以外に、体毛やゴミ等が含まれており、細静脈、細動脈と体毛やゴミ等とを識別する必要がある。しかしながら、上述の非特許文献１に開示された技術を用いたとしても、細静脈、細動脈と体毛やゴミ等とを識別することができない可能性がある。
【0007】
また、特許文献１に開示された技術を用いた場合、表在血管と体毛とを識別することができる。しかしながら、特許文献１に開示された画像処理装置は、三次元画像を撮影する必要があり、画像処理装置を含んだシステムが非常に高価になるといった課題がある。
【0008】
本発明の一態様は、二次元画像を用いて微細血管（細静脈、細動脈）を高精度で抽出することが可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、二次元画像から体毛の領域を抽出する第１領域抽出部と、前記二次元画像から、前記第１領域抽出部によって抽出された前記体毛の領域を識別する画像識別部と、前記画像識別部によって前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、を備える。
【0010】
また、上記の課題を解決するために、本発明の一態様に係る画像処理装置は、二次元画像から体毛の領域を抽出する第１領域抽出部と、前記二次元画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、前記第２領域抽出部によって抽出された前記細静脈または前記細動脈の領域の画像から、前記第１領域抽出部によって抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する画像識別部と、を備える。
【0011】
また、上記の課題を解決するために、本発明の一態様に係る画像処理装置は、二次元画像から、係蹄部先端を抽出する係蹄部先端抽出部と、前記二次元画像から、細静脈または細動脈の候補領域を抽出する候補領域抽出部と、前記係蹄部先端抽出部によって抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する微細血管判定部と、を備える。
【0012】
また、上記の課題を解決するために、本発明の一態様に係る画像処理方法は、二次元画像から体毛の領域を抽出し、前記二次元画像から、抽出された前記体毛の領域を識別し、前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する。
【0013】
また、上記の課題を解決するために、本発明の一態様に係る画像処理方法は、二次元画像から体毛の領域を抽出し、前記二次元画像から、細静脈または細動脈の領域を抽出し、抽出された前記細静脈または前記細動脈の領域の画像から、抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する。
【0014】
また、上記の課題を解決するために、本発明の一態様に係る画像処理方法は、二次元画像から、係蹄部先端を抽出し、前記二次元画像から、細静脈または細動脈の候補領域を抽出し、抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する。
【発明の効果】
【0015】
本発明の一態様によれば、二次元画像を用いて微細血管（細静脈、細動脈）を高精度で抽出することが可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の第１の実施形態に係る画像撮影装置の構成例を示す図である。
【図2】本発明の第１の実施形態に係る画像処理システムの構成例を示す図である。
【図3】本発明の第１の実施形態に係る画像処理装置の構成例を示す図である。
【図4】前処理部によって二値化処理された後の画像の一例を示す図である。
【図5】Ｕ－Ｎｅｔの概要を説明するための図である。
【図6】学習回数とＤｉｃｅ係数との相関を示す学習曲線図である。
【図7】ＣＮＮの概要を説明するための図である。
【図8】オブジェクトのクラス（体毛、係蹄部先端、微細血管）ごとの正答率の一例を示す図である。
【図9】本発明の第１の実施形態に係る画像処理装置の処理手順を説明するためのフローチャートである。
【図10】本発明の第２の実施形態に係る画像処理装置の構成例を示す図である。
【図11】本発明の第２の実施形態に係る画像処理装置の処理手順を説明するためのフローチャートである。
【図12】本発明の第３の実施形態に係る画像処理装置の構成例を示す図である。
【図13】領域抽出部の構成例を示す図である。
【図14】本発明の第３の実施形態に係る画像処理装置の処理手順を説明するためのフローチャートである。
【図15】領域抽出部によって体毛と判定された領域を示す図である。
【図16】画像識別部によって微細血管が識別された後の画像を示す図である。
【発明を実施するための形態】
【0017】
（実施形態１）
＜本発明の背景＞
本出願人は、蚊の針が無痛で人間から血液を吸引できる機構に着目し、そのメカニズムを模倣した無痛採血針の研究を行ってきた。この研究の成果として、外径０．０９ｍｍという世界最細の針の作製、およびこれを用いた採血に成功した。ただし、この針を用いて従来の採血対象であった血管（直径約数ｍｍ）からは採血ができない。これは微細針の折損を防止する観点からその長さを例えば２ｍｍに制限しており、太い血管の外皮を突破できないからである。
＜本発明の背景＞
本出願人は、蚊の針が無痛で人間から血液を吸引できる機構に着目し、そのメカニズムを模倣した無痛採血針の研究を行ってきた。この研究の成果として、外径０．０９ｍｍという世界最細の針の作製、およびこれを用いた採血に成功した。ただし、この針を用いて従来の採血対象であった血管（直径約数ｍｍ）からは採血ができない。これは微細針の折損を防止する観点からその長さを例えば２ｍｍに制限しており、太い血管の外皮を突破できないからである。
【0018】
このため、細い血管（以下、微細血管と呼ぶ。）を穿刺・採血の対象とする必要があるが、これらは肉眼では容易に観察することができない。また、皮膚表面での乱反射が原因となり、通常の顕微鏡を用いて微細血管を視認することができない。そのため、微細血管を可視化する画像撮影装置が必要になる。本明細書においては、皮膚表面付近に分布する細静脈・細動脈と呼ばれる直径０．１ｍｍから０．２ｍｍの微細な血管を、微細血管と呼ぶことにする。
【0019】
通常の光学系を用いて皮膚表面を観察する場合、照射光の大部分が皮膚表面で乱反射する。その結果、照射光が皮膚内部まで透過し難くなり、微細血管の視認性が低下する。この問題を解決するためには、光学的マッチング液が有効である。光学的マッチング液とは、皮膚と近い屈折率を有する液体であり、皮膚表面の凹凸を埋めることにより光の乱反射を抑制する。本出願人が開発したマッチング液は、水、グリセリン、ヒアルロン酸、クロルヘキシジングルコン酸塩を混合した液体（以下、ハイドロゲルと呼ぶ。）であり、ヘキシジングルコン酸塩の効果により皮膚の消毒を同時に行うことが可能である。
【0020】
また，通常の光学系を用いた場合に、微細血管の視認性が低くなる要因として、微細血管と皮膚組織で白色光の吸収特性の差異が小さいことが挙げられる。これは、白色光は様々な波長の光を含むため、光の吸収特性も平均化されることが原因である。したがって、単色光を照射した方が、微細血管が強調され、視認性が向上する。
【0021】
＜画像撮影装置の構成例＞
図１は、本発明の一実施形態に係る画像撮影装置の構成例を示す図である。図１に示すように、微細血管を可視化する画像撮影装置２は、カメラ２１と、緑色光源２２と、スロット２３と、を備えている。
図１は、本発明の一実施形態に係る画像撮影装置の構成例を示す図である。図１に示すように、微細血管を可視化する画像撮影装置２は、カメラ２１と、緑色光源２２と、スロット２３と、を備えている。
【0022】
カメラ２１は、ズームマイクロレンズＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等によって構成される。また、緑色光源２２は、緑色ＬＥＤ（Light Emitting Diode）等によって構成される。画像撮影装置２は、微細血管の可視性が高い緑色光源２２を用い、消毒液の成分を含むハイドロゲル２５を皮膚表面に塗布することにより皮膚表面の乱反射を抑制している。このように、画像撮影装置２は、皮膚の皺が画像に映り込まないようにすることで、高精度な微細血管の二次元画像を撮影することを可能にしている。
【0023】
後述の画像処理装置によって微細血管を抽出し、スロット２３を介して、抽出された微細血管から採血が行われるように、図示しない制御装置等によって採血針２４の移動等が制御される。
【0024】
＜皮膚表面付近（表皮下）に分布する微細血管の配置＞
図１に示すように、皮膚に分布する動脈を細動脈と呼ぶ。ここから毛細血管がループ状に上行し、ループ状の毛細血管の先端において係蹄を構成して細静脈に移行する。細静脈から血液は最終的に皮静脈へ流れる。本明細書においては、図１に示す係蹄の先端部分（最上部：最も皮膚表面に近い部分）を係蹄部先端と呼ぶことにする。
図１に示すように、皮膚に分布する動脈を細動脈と呼ぶ。ここから毛細血管がループ状に上行し、ループ状の毛細血管の先端において係蹄を構成して細静脈に移行する。細静脈から血液は最終的に皮静脈へ流れる。本明細書においては、図１に示す係蹄の先端部分（最上部：最も皮膚表面に近い部分）を係蹄部先端と呼ぶことにする。
【0025】
＜画像処理システム１００の構成例＞
図２は、本発明の一実施形態に係る画像処理システム１００の構成例を示す図である。図２に示すように、図１に示す画像撮影装置２と、本実施形態に係る画像処理装置１とが、通信ネットワーク３を介して通信可能に接続されている。
図２は、本発明の一実施形態に係る画像処理システム１００の構成例を示す図である。図２に示すように、図１に示す画像撮影装置２と、本実施形態に係る画像処理装置１とが、通信ネットワーク３を介して通信可能に接続されている。
【0026】
画像処理装置１は、通信ネットワーク３を介して、画像撮影装置２から微細血管を含んだ画像を取得することができる。通信ネットワーク３の一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらのネットワークの組み合わせを用いることができる。
【0027】
＜画像処理装置１の構成例＞
図３は、本発明の一実施形態に係る画像処理装置１の構成例を示す図である。画像処理装置１は、画像取得部１１と、前処理部１２と、第１領域抽出部１３と、画像識別部１４と、第２領域抽出部１５と、を備えている。
図３は、本発明の一実施形態に係る画像処理装置１の構成例を示す図である。画像処理装置１は、画像取得部１１と、前処理部１２と、第１領域抽出部１３と、画像識別部１４と、第２領域抽出部１５と、を備えている。
【0028】
画像取得部１１は、通信ネットワーク３を介して、画像撮影装置２から微細血管を含んだ画像を取得する。画像取得部１１は、画像撮影装置２から取得した画像を前処理部１２に出力する。
【0029】
＜前処理部１２の動作＞
前処理部１２は、画像処理により画像の明度等を調整した後、二値化処理で閾値以下の明度の領域を抽出する。画像撮影装置２によって微細血管が可視化された画像は、画像内、または画像毎に明るさ、暗さが一定ではない。前処理部１２は、全ての画像において輝度値を均一化させ、明暗を調整するための正規化処理を行う。
前処理部１２は、画像処理により画像の明度等を調整した後、二値化処理で閾値以下の明度の領域を抽出する。画像撮影装置２によって微細血管が可視化された画像は、画像内、または画像毎に明るさ、暗さが一定ではない。前処理部１２は、全ての画像において輝度値を均一化させ、明暗を調整するための正規化処理を行う。
【0030】
具体的には、画像撮影装置２は、緑色光源２２を利用して微細血管を可視化しているので、前処理部１２は、カラー画像をＲＧＢに分割し、Ｇｒｅｅｎ（グレースケール）のみを使用する。前処理部１２は、全ての画像から平均値となる輝度値を決定し、画像内の小領域毎に決定した輝度値を平均値になるようにすることで画像全体の明るさのムラを減らす。本実施形態においては、輝度の平均値を１２８として説明する。なお、輝度値は、０～２５５の値である。
【0031】
Ｐ（ｘ０，ｙ０）を注目画素とし、周辺小領域Ｐ（１２５×１２５）の範囲内で平均値Ｐ（ｘ，ｙ）を求める。そして、前処理部１２は、周辺画素の平均値Ｐ（ｘ，ｙ）との輝度の差分Ｐｎ（ｘ，ｙ）を次式（式１）および（式２）で求める。
【0032】
Ｐｎ（ｘ，ｙ）＝Ｐ（ｘ０，ｙ０）－Ｐ（ｘ，ｙ） ・・・（式１）
Ｐ（ｘ０，ｙ０）＝Ｐｎ（ｘ，ｙ）×３＋１２８ ・・・（式２）
（式２）のように指定した輝度の平均値１２８に、注目画素と周辺領域の平均値との差分Ｐｎ（ｘ，ｙ）を３倍して加えることで、画像全体の平均値が１２８となるようにヒストグラムを調整する。
Ｐ（ｘ０，ｙ０）＝Ｐｎ（ｘ，ｙ）×３＋１２８ ・・・（式２）
（式２）のように指定した輝度の平均値１２８に、注目画素と周辺領域の平均値との差分Ｐｎ（ｘ，ｙ）を３倍して加えることで、画像全体の平均値が１２８となるようにヒストグラムを調整する。
【0033】
前処理部１２は、正規化処理を行った後の画像に対して、二値化処理で閾値以下の明度の領域を抽出する。図４は、前処理部１２によって二値化処理された後の画像の一例を示す図である。図４において、黒い丸い部分が係蹄部先端であり、図１に示す係蹄部先端を上から見たときの形状となっている。また、係蹄部先端と重なっている部分が微細血管である。なお、図４の中央には、体毛の領域が存在している。
【0034】
第１領域抽出部１３は、例えば、Ｕ－Ｎｅｔ等によって構成されており、体毛の領域を抽出するように学習されている。また、第２領域抽出部１５は、例えば、Ｕ－Ｎｅｔ等によって構成されており、微細血管の領域を抽出するように学習されている。なお、機械学習はＵ－Ｎｅｔに限定されず、Ｕ－Ｎｅｔ＋＋、ＲＮＮ、ＣＮＮ、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＳｅｇＮｅｔ等であってもよい。
【0035】
＜Ｕ－Ｎｅｔによる学習方法＞
図５は、Ｕ－Ｎｅｔの概要を説明するための図である。Ｕ－Ｎｅｔは、深層学習の中でセマンティックセグメンテーションに分類されている。セマンティックセグメンテーションとは、対象物をピクセル単位で複数の領域に分割することである。Ｕ－Ｎｅｔは、全結合層のないＦＣＮ（Fully Convolution Network）の１つであり、画像を高速かつ正確にセグメンテーションを行うＵ字型の構造を有する畳み込みニューラルネットワークである。Ｕ－Ｎｅｔは、通常のＣＮＮとは違い、ＦＣＮやＳｅｇＮｅｔと同様に全結合層を持たず、畳み込み層で構成される。Ｕ－Ｎｅｔは、ＥｎｃｏｄｅｒとＤｅｃｏｄｅｒとで構成されるモデルである。
図５は、Ｕ－Ｎｅｔの概要を説明するための図である。Ｕ－Ｎｅｔは、深層学習の中でセマンティックセグメンテーションに分類されている。セマンティックセグメンテーションとは、対象物をピクセル単位で複数の領域に分割することである。Ｕ－Ｎｅｔは、全結合層のないＦＣＮ（Fully Convolution Network）の１つであり、画像を高速かつ正確にセグメンテーションを行うＵ字型の構造を有する畳み込みニューラルネットワークである。Ｕ－Ｎｅｔは、通常のＣＮＮとは違い、ＦＣＮやＳｅｇＮｅｔと同様に全結合層を持たず、畳み込み層で構成される。Ｕ－Ｎｅｔは、ＥｎｃｏｄｅｒとＤｅｃｏｄｅｒとで構成されるモデルである。
【0036】
図５に示すように、４ステップの３×３畳み込み層１３１～１３４によって、ダウンサンプリングを行うＥｎｃｏｄｅｒが構成されており、最大値プーリング後ごとに、畳み込みチャネル数を増加させる。また、最大値プーリング後ごとの特徴マップを、Ｄｅｃｏｄｅｒの同一空間サイズの特徴マップに結合する。
【0037】
また、４ステップの３×３畳み込み層１３６～１３９によって、アップサンプリングを行うＤｅｃｏｄｅｒが構成されており、スキップ接続で入力したＥｎｃｏｄｅｒからの特徴を結合し、畳み込み層１３６～１３９ごとにチャネル数を減少させて、入力画像と同じサイズの確率マップ（セグメンテーション・マップ）を作成する。
【0038】
学習する際には、まず、前処理部１２によって作成された画像からＵ－Ｎｅｔの教師データとして使用するマスク画像が作成される。マスク画像は、人間の判断によって画像から微細血管が存在する領域（ピクセル）を塗りつぶすことで作成される。この手法によって作成された２６枚のマスク画像に対して、回転処理（２°刻みで３６０°まで）および反転処理（上下左右）を施すことにより、学習データの数を増やす。これらの処理により、元のマスク画像１枚を３６０枚に増やすことができるため、最終的に９３６０枚のデータセットを得ることができる。なお、体毛の領域を抽出するためのマスク画像についても、同様の手法で作成することができる。また、元のマスク画像の枚数は一例であり、この枚数に限定されるものではない。
【0039】
学習の評価のため、データセットの９割を訓練データとし、１割をテストデータとして分割した後、Ｕ－Ｎｅｔによる学習を行う。微細血管の領域抽出の検出精度を確認するために、Ｄｉｃｅ係数を使用した。Ｄｉｃｅ係数は、正解画像とＵ―Ｎｅｔの推測画像の類似度を評価するものであり、正解領域をＸ、推測領域をＹとして次式（式３）で求めることができる。
【0040】
【数1】
【0041】
図６は、学習回数とＤｉｃｅ係数との相関を示す学習曲線図である。図６においては、横軸を学習回数、縦軸をＤｉｃｅ係数としている。９割の訓練データと、１割のテストデータとの組み合わせを変えながら、学習してゆくことにより、図６に示す学習曲線図が得られた。図６に示すように、２０回の学習でＤｉｃｅ係数がほぼ飽和することが分かる。この結果から、データセット全てに対して２０回の学習を行い、第１領域抽出部１３および第２領域抽出部１５を作成した。なお、学習方法および学習回数は、これらに限定されるものではない。
【0042】
＜ＣＮＮによる学習方法＞
図７は、ＣＮＮの概要を説明するための図である。ＣＮＮは、深層学習の中で代表的な手法であり、何層にも分かれた深い層を持ち、特に、画像認識の分野で優れた性能を発揮しているネットワークである。ＣＮＮは、入力層１４１と、出力層１４７と、畳み込み層１４２～１４４と、最大プーリング層と、全結合層１４５～１４６とで構成されている。
図７は、ＣＮＮの概要を説明するための図である。ＣＮＮは、深層学習の中で代表的な手法であり、何層にも分かれた深い層を持ち、特に、画像認識の分野で優れた性能を発揮しているネットワークである。ＣＮＮは、入力層１４１と、出力層１４７と、畳み込み層１４２～１４４と、最大プーリング層と、全結合層１４５～１４６とで構成されている。
【0043】
ＣＮＮの特徴として、学習の際に入力データから自動的に必要な特徴を抽出する。この機能を、畳み込み層１４２～１４４と最大プーリング層とで実現している。畳み込み層１４２～１４４は、単純型細胞をモデルに考えられたもので、特定の形状に反応して特徴を捉えることが可能であり、画像全体にフィルタをスライドさせながらかけて特徴マップを出力する。最大プーリング層は、畳み込み層で抽出された特徴の次元を削減し、パラメータ数や計算量を減らすことに利用される。
【0044】
プーリングは、カーネルサイズ２×２の最大プーリングである。本実施形態においては、６０×６０に切り出されたオブジェクト画像をＣＮＮに入力し、異なるフィルタの畳み込みと２×２のプーリングを３回繰り返す。
【0045】
学習する際には、まず、前処理部１２によって作成された画像から、人手によってオブジェクトをそれぞれ切出し、体毛、微細血管、係蹄部先端の３種類に分類して学習データとする。本実施形態においては、体毛を１５４枚、係蹄部先端を２４２枚、微細血管を１５９枚に分類した。この状態では、総数が５５５枚であり、学習データとしては少ないため、過学習の発生や精度が低くなってしまう。そこで、この学習データを回転処理（３０°刻みで３６０°まで）し、合計６６６０枚を作成して学習データを増やしている。
【0046】
学習の評価のため、データセットの９割を訓練データとし、１割をテストデータとして分割した後、ＣＮＮによる学習を３０回行った。図８は、オブジェクトのクラス（体毛、係蹄部先端、微細血管）ごとの正答率（適合率、再現率）の一例を示す図である。
【0047】
なお、体毛が微細血管として誤判定されるのを防止するために、後述のように、微細血管と判定されたオブジェクトであっても、係蹄部先端を含まないオブジェクトは体毛であると判定するようにしてもよい。
【0048】
＜第１領域抽出部１３、第２領域抽出部１５の動作＞
第２領域抽出部１５が、前処理された後の画像から微細血管を抽出した場合、誤判定で体毛が微細血管として抽出されることがある。そのため、第１領域抽出部１３によって体毛を抽出しておき、第２領域抽出部１５が、第１領域抽出部１３によって抽出された体毛を識別した画像から、微細血管を抽出するようにしている。
第２領域抽出部１５が、前処理された後の画像から微細血管を抽出した場合、誤判定で体毛が微細血管として抽出されることがある。そのため、第１領域抽出部１３によって体毛を抽出しておき、第２領域抽出部１５が、第１領域抽出部１３によって抽出された体毛を識別した画像から、微細血管を抽出するようにしている。
【0049】
第１領域抽出部１３は、前処理部１２によって前処理された後の画像から、体毛の領域を抽出する。第１領域抽出部１３は、上述のようにＵ－Ｎｅｔ、ＣＮＮ等を用いて体毛の領域を抽出するように学習されている。
【0050】
画像識別部１４は、前処理部１２によって前処理された後の画像から、第１領域抽出部１３によって抽出された体毛の領域ではない微細血管の領域を識別する。例えば、画像識別部１４は、前処理部１２によって前処理された後の画像から、第１領域抽出部１３によって抽出された体毛の領域の画像を除去するようにしてもよい。また、画像識別部１４は、前処理部１２によって前処理された後の画像から、第１領域抽出部１３によって抽出された体毛の領域の画像を判別できるように画像を変更するようにしてもよい。例えば、画像識別部１４は、前処理部１２によって前処理された後の画像において、各領域の色または階調を異ならせることで、微細血管の領域と微細血管の領域以外の領域（体毛の領域を含む）とを識別可能にしてもよい。
【0051】
第２領域抽出部１５は、画像識別部１４によって体毛の領域が識別された後の画像から、毛細血管の領域を抽出する。第２領域抽出部１５は、上述のようにＵ－Ｎｅｔ、ＣＮＮ等を用いて微細血管の領域を抽出するように学習されている。
【0052】
＜画像処理装置１の処理手順＞
図９は、本発明の第１の実施形態に係る画像処理装置１の処理手順を説明するためのフローチャートである。まず、画像取得部１１が、画像撮影装置２によって撮影された二次元画像を取得する（Ｓ１）。
図９は、本発明の第１の実施形態に係る画像処理装置１の処理手順を説明するためのフローチャートである。まず、画像取得部１１が、画像撮影装置２によって撮影された二次元画像を取得する（Ｓ１）。
【0053】
次に、前処理部１２は、画像取得部１１によって取得された二次元画像に対して前処理を行い、前処理を行った後の画像を第１領域抽出部１３および画像識別部１４に出力する（Ｓ２）。
【0054】
次に、第１領域抽出部１３は、前処理部１２によって前処理が行われた後の入力画像から、体毛の領域を抽出する（Ｓ３）。そして、画像識別部１４は、前処理部１２によって前処理が行われた後の入力画像から、第１領域抽出部１３によって抽出された体毛の領域を識別する（Ｓ４）。
【0055】
最後に、第２領域抽出部１５は、画像識別部１４によって体毛の領域が識別された後の画像から、微細血管の領域を抽出する（Ｓ５）。
【0056】
＜画像処理装置１の効果＞
以上説明したように、本実施形態に係る画像処理装置１によれば、第２領域抽出部１５が、画像識別部１４によって体毛の領域が識別された後の画像から、微細血管の領域を抽出する。したがって、第２領域抽出部１５は、微細血管を高精度で抽出することが可能となる。
以上説明したように、本実施形態に係る画像処理装置１によれば、第２領域抽出部１５が、画像識別部１４によって体毛の領域が識別された後の画像から、微細血管の領域を抽出する。したがって、第２領域抽出部１５は、微細血管を高精度で抽出することが可能となる。
【0057】
また、画像処理装置１は、二次元画像を用いて微細血管を抽出するので、画像撮影装置２を含んだ画像処理システムを安価で実現することが可能となる。
【0058】
（実施形態２）
実施形態１に係る画像処理装置１は、体毛の領域が識別された後の画像から、微細血管の領域を抽出するものである。実施形態２に係る画像処理装置１Ａは、体毛の領域と微細血管の領域とを別々に抽出し、微細血管として抽出された領域から、体毛として抽出された領域を識別するものである。
実施形態１に係る画像処理装置１は、体毛の領域が識別された後の画像から、微細血管の領域を抽出するものである。実施形態２に係る画像処理装置１Ａは、体毛の領域と微細血管の領域とを別々に抽出し、微細血管として抽出された領域から、体毛として抽出された領域を識別するものである。
【0059】
図１０は、本発明の実施形態２に係る画像処理装置１Ａの構成例を示す図である。画像処理装置１Ａは、画像取得部１１と、前処理部１２と、第１領域抽出部１３と、画像識別部１４Ａと、第２領域抽出部１５Ａと、を備えている。なお、実施形態１において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
【0060】
画像取得部１１は、通信ネットワーク３を介して、画像撮影装置２から微細血管を含んだ画像を取得する。画像取得部１１は、画像撮影装置２から取得した画像を前処理部１２に出力する。
【0061】
前処理部１２は、全ての画像において輝度値を均一化させ、明暗を調整するための正規化処理を行う。そして、前処理部１２は、正規化処理を行った後の画像に対して、二値化処理で閾値以下の明度の領域を抽出する。
【0062】
第１領域抽出部１３は、前処理部１２によって前処理された後の画像から、体毛の領域を抽出する。第１領域抽出部１３は、上述のようにＵ－Ｎｅｔ、ＣＮＮ等を用いて体毛の領域を抽出するように学習されている。
【0063】
第２領域抽出部１５Ａは、前処理部１２によって前処理された後の画像から、微細血管の領域を抽出する。第２領域抽出部１５Ａは、上述のようにＵ－Ｎｅｔ、ＣＮＮ等を用いて微細血管の領域を抽出するように学習されている。
【0064】
画像識別部１４Ａは、第２領域抽出部１５Ａによって抽出された微細血管の領域の画像から、第１領域抽出部１３によって抽出された体毛の領域の画像を識別する。この処理は、第２領域抽出部１５Ａによって体毛が微細血管として誤判定された場合、画像識別部１４Ａによって微細血管と誤判定された体毛を識別するために行われる。
【0065】
例えば、画像識別部１４Ａは、第２領域抽出部１５Ａによって抽出された微細血管の領域の画像から、第１領域抽出部１３によって抽出された体毛の領域の画像を除去するようにしてもよい。また、画像識別部１４Ａは、第２領域抽出部１５Ａによって抽出された微細血管の領域の画像から、第１領域抽出部１３によって抽出された体毛の領域の画像を判別できるように画像を変更するようにしてもよい。
【0066】
＜画像処理装置１Ａの処理手順＞
図１１は、本発明の第２の実施形態に係る画像処理装置１Ａの処理手順を説明するためのフローチャートである。まず、画像取得部１１が、画像撮影装置２によって撮影された二次元画像を取得する（Ｓ１１）。
図１１は、本発明の第２の実施形態に係る画像処理装置１Ａの処理手順を説明するためのフローチャートである。まず、画像取得部１１が、画像撮影装置２によって撮影された二次元画像を取得する（Ｓ１１）。
【0067】
次に、前処理部１２は、画像取得部１１によって取得された二次元画像に対して前処理を行い、前処理を行った後の画像を第１領域抽出部１３および第２領域抽出部１５Ａに出力する（Ｓ１２）。
【0068】
次に、第１領域抽出部１３は、前処理部１２によって前処理が行われた後の入力画像から、体毛の領域を抽出する（Ｓ１３）。また、第２領域抽出部１５Ａは、前処理部１２によって前処理が行われた後の入力画像から、微細血管の領域を抽出する（Ｓ１４）。
【0069】
最後に、画像識別部１４Ａは、第２領域抽出部１５Ａによって抽出された微細血管の領域の画像から、第１領域抽出部１３によって抽出された体毛の領域の画像を識別する（Ｓ１５）。
【0070】
＜画像処理装置１Ａの効果＞
以上説明したように、本実施形態に係る画像処理装置１Ａによれば、画像識別部１４Ａが、第２領域抽出部１５Ａによって抽出された微細血管の領域の画像から、第１領域抽出部１３によって抽出された体毛の領域の画像を識別する。したがって、画像識別部１４Ａは、微細血管を高精度で抽出することができる。
以上説明したように、本実施形態に係る画像処理装置１Ａによれば、画像識別部１４Ａが、第２領域抽出部１５Ａによって抽出された微細血管の領域の画像から、第１領域抽出部１３によって抽出された体毛の領域の画像を識別する。したがって、画像識別部１４Ａは、微細血管を高精度で抽出することができる。
【0071】
また、画像処理装置１Ａは、二次元画像を用いて微細血管を抽出するので、画像撮影装置２を含んだ画像処理システムを安価で実現することが可能となる。
【0072】
（実施形態３）
実施形態１に係る画像処理装置１および実施形態２に係る画像処理装置１Ａは、Ｕ－Ｎｅｔ、ＣＮＮ等の機械学習によって微細血管および体毛を抽出するものである。実施形態３に係る画像処理装置１Ｂは、画像処理によって係蹄部先端を抽出して微細血管を判定するものである。
実施形態１に係る画像処理装置１および実施形態２に係る画像処理装置１Ａは、Ｕ－Ｎｅｔ、ＣＮＮ等の機械学習によって微細血管および体毛を抽出するものである。実施形態３に係る画像処理装置１Ｂは、画像処理によって係蹄部先端を抽出して微細血管を判定するものである。
【0073】
図１２は、本発明の実施形態３に係る画像処理装置１Ｂの構成例を示す図である。画像処理装置１Ｂは、画像取得部１１と、前処理部１２Ｂと、領域抽出部１６と、画像識別部１４Ｂと、を備えている。なお、実施形態１および２において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
【0074】
画像取得部１１は、通信ネットワーク３を介して、画像撮影装置２から微細血管を含んだ画像を取得する。画像取得部１１は、画像撮影装置２から取得した画像を前処理部１２に出力する。
【0075】
前処理部１２Ｂは、全ての画像において輝度値を均一化させ、明暗を調整するための正規化処理を行う。なお、本実施形態において、二値化処理は、前処理部１２Ｂで行われず、領域抽出部１６によって行われる。
【0076】
領域抽出部１６は、前処理部１２Ｂによって前処理された後の画像から、微細血管を判定する。そして、画像識別部１４Ｂは、領域抽出部１６によって微細血管と判定された領域の画像を識別し、識別後の画像を出力する。
【0077】
例えば、画像識別部１４Ｂは、領域抽出部１６によって微細血管と判定された領域以外の画像（オブジェクト）を除去するようにしてもよい。また、画像識別部１４Ｂは、領域抽出部１６によって微細血管と判定された領域の画像を判別できるように画像を変更するようにしてもよい。例えば、画像識別部１４Ｂは、前処理部１２Ｂによって前処理された後の画像を二値化した画像において、各領域の色または階調を異ならせることで、微細血管の領域と微細血管の領域以外の領域（体毛の領域を含む）とを識別可能にしてもよい。
【0078】
図１３は、領域抽出部１６の構成例を示す図である。領域抽出部１６は、係蹄部先端抽出部１６１と、候補領域抽出部１６２と、微細血管判定部１６３と、を備えている。
【0079】
係蹄部先端抽出部１６１は、前処理部１２Ｂによって前処理された後の画像から、画像処理によって係蹄部先端を抽出する。係蹄部先端抽出部１６１は、まず、前処理部１２Ｂによって前処理された後の画像から、オブジェクトを検出し、各オブジェクトの座標情報を取得する。そして、係蹄部先端抽出部１６１は、各オブジェクトの中から黒い丸いオブジェクトを係蹄部先端として抽出し、係蹄部先端の座標情報を取得する。
【0080】
具体的には、係蹄部先端抽出部１６１は、二次元画像を第１閾値で二値化した画像（微細血管および体毛は消えて係蹄部先端が残った画像）から、画像処理によって、係蹄部先端に対応するオブジェクト（点状の円形領域）を抽出する。なお、画像処理は、円形領域を抽出できるものであればよい。
【0081】
候補領域抽出部１６２は、二次元画像を第１閾値とは異なる第２閾値で二値化した画像（微細血管および体毛が残った画像）から、実施形態１の第１領域抽出部１３と同様に、体毛の領域を抽出する。そして、候補領域抽出部１６２は、二値化した画像から体毛の領域を除去する。
【0082】
そして、候補領域抽出部１６２は、体毛の領域を除去した画像から、微細血管の複数の候補領域をオブジェクトとして抽出し、各オブジェクトの座標情報を取得する。候補領域抽出部１６２は、予め微細血管を抽出するように機械学習されている。
【0083】
微細血管判定部１６３は、各オブジェクトの座標情報を参照して、微細血管の候補領域のうち、係蹄部先端のオブジェクトを含む（重なっている）候補領域を、微細血管の領域と特定する。
【0084】
なお、第１の実施形態において説明した第２領域抽出部１５または第２の実施形態において説明した第２領域抽出部１５Ａが、領域抽出部１６の構成と同様の構成を有しており、係蹄部先端を抽出し、抽出した係蹄部先端に基づいて微細血管を判定するようにしてもよい。
【0085】
＜画像処理装置１Ｂの処理手順＞
図１４は、本発明の第３の実施形態に係る画像処理装置１Ｂの処理手順を説明するためのフローチャートである。まず、画像取得部１１が、画像撮影装置２によって撮影された二次元画像を取得する（Ｓ２１）。
図１４は、本発明の第３の実施形態に係る画像処理装置１Ｂの処理手順を説明するためのフローチャートである。まず、画像取得部１１が、画像撮影装置２によって撮影された二次元画像を取得する（Ｓ２１）。
【0086】
次に、前処理部１２Ｂは、画像取得部１１によって取得された二次元画像に対して前処理を行い、前処理を行った後の画像を領域抽出部１６に出力する（Ｓ２２）。
【0087】
次に、係蹄部先端抽出部１６１は、前処理部１２Ｂによって前処理が行われた後の入力画像から、係蹄部先端のオブジェクトを抽出する（Ｓ２３）。そして、候補領域抽出部１６２は、二次元画像から体毛の領域を除去した後、微細血管の複数の候補領域を抽出する（Ｓ２４）。
【0088】
微細血管判定部１６３は、微細血管の候補領域のうち、係蹄部先端のオブジェクトを含む（重なっている）候補領域を、微細血管の領域と判定する（Ｓ２５）。最後に、画像識別部１４Ｂは、微細血管判定部１６３によって微細血管と判定された領域の画像を識別する（Ｓ２６）。
【0089】
【0090】
図１６は、画像識別部１４Ｂによって微細血管が識別された後の画像を示す図である。図１６において、斜線を施した領域が微細血管として判定された領域を示している。図１６に示すように、微細血管と判定された領域が、それ以外の体毛を含む領域と識別可能となっている。
【0091】
＜画像処理装置１Ｂの効果＞
以上説明したように、本実施形態に係る画像処理装置１Ｂによれば、領域抽出部１６が、前処理部１２Ｂによって前処理された後の画像から体毛の領域を除去した後、係蹄部先端に基づいて微細血管を判定する。そして、画像識別部１４Ｂが、領域抽出部１６によって微細血管と判定された領域の画像を識別する。したがって、画像識別部１４Ｂは、微細血管を高精度で抽出することができる。
以上説明したように、本実施形態に係る画像処理装置１Ｂによれば、領域抽出部１６が、前処理部１２Ｂによって前処理された後の画像から体毛の領域を除去した後、係蹄部先端に基づいて微細血管を判定する。そして、画像識別部１４Ｂが、領域抽出部１６によって微細血管と判定された領域の画像を識別する。したがって、画像識別部１４Ｂは、微細血管を高精度で抽出することができる。
【0092】
また、画像処理装置１Ｂは、二次元画像を用いて微細血管を抽出するので、画像撮影装置２を含んだ画像処理システムを安価で実現することが可能となる。
【0093】
＜ソフトウェアによる実現例＞
画像処理装置１、１Ａ、１Ｂの制御ブロック（特に、前処理部１２、第１領域抽出部１３、画像識別部１４、１４Ａ、１４Ｂ、第２領域抽出部１５、１５Ａ、領域抽出部１６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
画像処理装置１、１Ａ、１Ｂの制御ブロック（特に、前処理部１２、第１領域抽出部１３、画像識別部１４、１４Ａ、１４Ｂ、第２領域抽出部１５、１５Ａ、領域抽出部１６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【0094】
後者の場合、画像処理装置１、１Ａ、１Ｂは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0095】
〔まとめ〕
本発明の態様１に係る画像処理装置は、
二次元画像から体毛の領域を抽出する第１領域抽出部と、
前記二次元画像から、前記第１領域抽出部によって抽出された前記体毛の領域を識別する画像識別部と、
前記画像識別部によって前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、を備える。
本発明の態様１に係る画像処理装置は、
二次元画像から体毛の領域を抽出する第１領域抽出部と、
前記二次元画像から、前記第１領域抽出部によって抽出された前記体毛の領域を識別する画像識別部と、
前記画像識別部によって前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、を備える。
【0096】
上記構成によれば、第２領域抽出部が、画像識別部によって体毛の領域が識別された後の画像から、細静脈または細動脈の領域を抽出するので、細静脈または細動脈を高精度で抽出することができる。
【0097】
本発明の態様２に係る画像処理装置は、
二次元画像から体毛の領域を抽出する第１領域抽出部と、
前記二次元画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、
前記第２領域抽出部によって抽出された前記細静脈または前記細動脈の領域の画像から、前記第１領域抽出部によって抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する画像識別部と、を備える。
二次元画像から体毛の領域を抽出する第１領域抽出部と、
前記二次元画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、
前記第２領域抽出部によって抽出された前記細静脈または前記細動脈の領域の画像から、前記第１領域抽出部によって抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する画像識別部と、を備える。
【0098】
上記構成によれば、画像識別部が、第２領域抽出部によって抽出された細静脈または細動脈の領域の画像から、第１領域抽出部によって抽出された体毛の領域の画像を識別するので、細静脈または細動脈を高精度で抽出することができる。
【0099】
本発明の態様３に係る画像処理装置は、態様１または２に記載の画像処理装置であって、
前記第２領域抽出部は、係蹄部先端を抽出し、当該係蹄部先端に基づいて、前記細静脈または前記細動脈の領域を判定する。
前記第２領域抽出部は、係蹄部先端を抽出し、当該係蹄部先端に基づいて、前記細静脈または前記細動脈の領域を判定する。
【0100】
上記構成によれば、第２領域抽出部が、細静脈または細動脈をさらに高精度で抽出することができる。
【0101】
本発明の態様４に係る画像処理装置は、態様１または２に記載の画像処理装置であって、
前記第１領域抽出部は、機械学習によって、前記二次元画像から前記体毛の領域を抽出するように学習されており、
前記第２領域抽出部は、機械学習によって、前記二次元画像から前記細静脈または前記細動脈の領域を抽出するように学習されている。
前記第１領域抽出部は、機械学習によって、前記二次元画像から前記体毛の領域を抽出するように学習されており、
前記第２領域抽出部は、機械学習によって、前記二次元画像から前記細静脈または前記細動脈の領域を抽出するように学習されている。
【0102】
上記構成によれば、第１領域抽出部および第２領域抽出部の学習精度を上げることによって、さらに細静脈または細動脈を高精度で抽出することができる。
【0103】
本発明の態様５に係る画像処理装置は、
二次元画像から、係蹄部先端を抽出する係蹄部先端抽出部と、
前記二次元画像から、細静脈または細動脈の候補領域を抽出する候補領域抽出部と、
前記係蹄部先端抽出部によって抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する微細血管判定部と、を備える。
二次元画像から、係蹄部先端を抽出する係蹄部先端抽出部と、
前記二次元画像から、細静脈または細動脈の候補領域を抽出する候補領域抽出部と、
前記係蹄部先端抽出部によって抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する微細血管判定部と、を備える。
【0104】
上記構成によれば、微細血管判定部が、係蹄部先端抽出部によって抽出された係蹄部先端と候補領域とに基づいて、細静脈または細動脈の領域を判定するので、細静脈または細動脈を高精度で抽出することができる。
【0105】
本発明の態様６に係る画像処理装置は、態様５に記載の画像処理装置であって、
前記微細血管判定部は、前記係蹄部先端抽出部によって抽出された係蹄部先端を含む前記候補領域を前記細静脈または前記細動脈の領域と判定する。
前記微細血管判定部は、前記係蹄部先端抽出部によって抽出された係蹄部先端を含む前記候補領域を前記細静脈または前記細動脈の領域と判定する。
【0106】
上記構成によれば、さらに毛細血管を高精度で抽出することができる。
【0107】
本発明の態様７に係る画像処理方法は、
二次元画像から体毛の領域を抽出し、
前記二次元画像から、抽出された前記体毛の領域を識別し、
前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する。
二次元画像から体毛の領域を抽出し、
前記二次元画像から、抽出された前記体毛の領域を識別し、
前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する。
【0108】
上記構成によれば、体毛の領域が識別された後の画像から、細静脈または細動脈の領域を抽出するので、細静脈または細動脈を高精度で抽出することができる。
【0109】
本発明の態様８に係る画像処理方法は、
二次元画像から体毛の領域を抽出し、
前記二次元画像から、細静脈または細動脈の領域を抽出し、
抽出された前記細静脈または前記細動脈の領域の画像から、抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する。
二次元画像から体毛の領域を抽出し、
前記二次元画像から、細静脈または細動脈の領域を抽出し、
抽出された前記細静脈または前記細動脈の領域の画像から、抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する。
【0110】
上記構成によれば、抽出された細静脈または細動脈の領域の画像から、抽出された体毛の領域の画像を識別するので、細静脈または細動脈を高精度で抽出することができる。
【0111】
本発明の態様９に係る画像処理方法は、
二次元画像から、係蹄部先端を抽出し、
前記二次元画像から、細静脈または細動脈の候補領域を抽出し、
抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する。
二次元画像から、係蹄部先端を抽出し、
前記二次元画像から、細静脈または細動脈の候補領域を抽出し、
抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する。
【0112】
上記構成によれば、抽出された係蹄部先端と候補領域とに基づいて、細静脈または細動脈の領域を判定するので、細静脈または細動脈を高精度で抽出することができる。
【0113】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0114】
１、１Ａ、１Ｂ 画像処理装置
２ 画像撮影装置
３ 通信ネットワーク
１１ 画像取得部
１２、１２Ｂ 前処理部
１３ 第１領域抽出部
１４、１４Ａ、１４Ｂ 画像識別部
１５、１５Ａ 第２領域抽出部
１６ 領域抽出部
２１ カメラ
２２ 緑色光源
２３ スロット
２４ 採血針
２５ ハイドロゲル
１００ 画像処理システム
１６１ 係蹄部先端抽出部
１６２ 候補領域抽出部
１６３ 微細血管判定部
２ 画像撮影装置
３ 通信ネットワーク
１１ 画像取得部
１２、１２Ｂ 前処理部
１３ 第１領域抽出部
１４、１４Ａ、１４Ｂ 画像識別部
１５、１５Ａ 第２領域抽出部
１６ 領域抽出部
２１ カメラ
２２ 緑色光源
２３ スロット
２４ 採血針
２５ ハイドロゲル
１００ 画像処理システム
１６１ 係蹄部先端抽出部
１６２ 候補領域抽出部
１６３ 微細血管判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【手続補正書】
【提出日】2023-05-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
二次元画像から体毛の領域を抽出する第１領域抽出部と、
前記二次元画像から、前記第１領域抽出部によって抽出された前記体毛の領域を識別する画像識別部と、
前記画像識別部によって前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、を備え、
前記第２領域抽出部は、係蹄部先端を抽出し、当該係蹄部先端に基づいて、前記細静脈または前記細動脈の領域を判定する、画像処理装置。
前記二次元画像から、前記第１領域抽出部によって抽出された前記体毛の領域を識別する画像識別部と、
前記画像識別部によって前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、を備え、
前記第２領域抽出部は、係蹄部先端を抽出し、当該係蹄部先端に基づいて、前記細静脈または前記細動脈の領域を判定する、画像処理装置。
【請求項2】
二次元画像から体毛の領域を抽出する第１領域抽出部と、
前記二次元画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、
前記第２領域抽出部によって抽出された前記細静脈または前記細動脈の領域の画像から、前記第１領域抽出部によって抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する画像識別部と、を備える画像処理装置。
前記二次元画像から、細静脈または細動脈の領域を抽出する第２領域抽出部と、
前記第２領域抽出部によって抽出された前記細静脈または前記細動脈の領域の画像から、前記第１領域抽出部によって抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する画像識別部と、を備える画像処理装置。
【請求項3】
前記第２領域抽出部は、係蹄部先端を抽出し、当該係蹄部先端に基づいて、前記細静脈または前記細動脈の領域を判定する、請求項２に記載の画像処理装置。
【請求項4】
前記第１領域抽出部は、機械学習によって、前記二次元画像から前記体毛の領域を抽出するように学習されており、
前記第２領域抽出部は、機械学習によって、前記二次元画像から前記細静脈または前記細動脈の領域を抽出するように学習されている、請求項１または２に記載の画像処理装置。
前記第２領域抽出部は、機械学習によって、前記二次元画像から前記細静脈または前記細動脈の領域を抽出するように学習されている、請求項１または２に記載の画像処理装置。
【請求項5】
二次元画像から、係蹄部先端を抽出する係蹄部先端抽出部と、
前記二次元画像から、細静脈または細動脈の候補領域を抽出する候補領域抽出部と、
前記係蹄部先端抽出部によって抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する微細血管判定部と、を備える画像処理装置。
前記二次元画像から、細静脈または細動脈の候補領域を抽出する候補領域抽出部と、
前記係蹄部先端抽出部によって抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する微細血管判定部と、を備える画像処理装置。
【請求項6】
前記微細血管判定部は、前記係蹄部先端抽出部によって抽出された係蹄部先端を含む前記候補領域を前記細静脈または前記細動脈の領域と判定する、請求項５に記載の画像処理装置。
【請求項7】
二次元画像から体毛の領域を抽出し、
前記二次元画像から、抽出された前記体毛の領域を識別し、
前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出し、
前記細静脈または前記細動脈の領域を抽出する工程において、係蹄部先端を抽出し、当該係蹄部先端に基づいて、前記細静脈または前記細動脈の領域を判定する、画像処理方法。
前記二次元画像から、抽出された前記体毛の領域を識別し、
前記体毛の領域が識別された画像から、細静脈または細動脈の領域を抽出し、
前記細静脈または前記細動脈の領域を抽出する工程において、係蹄部先端を抽出し、当該係蹄部先端に基づいて、前記細静脈または前記細動脈の領域を判定する、画像処理方法。
【請求項8】
二次元画像から体毛の領域を抽出し、
前記二次元画像から、細静脈または細動脈の領域を抽出し、
抽出された前記細静脈または前記細動脈の領域の画像から、抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する、画像処理方法。
前記二次元画像から、細静脈または細動脈の領域を抽出し、
抽出された前記細静脈または前記細動脈の領域の画像から、抽出された前記体毛の領域ではない前記細静脈または前記細動脈の領域を識別する、画像処理方法。
【請求項9】
二次元画像から、係蹄部先端を抽出し、
前記二次元画像から、細静脈または細動脈の候補領域を抽出し、
抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する、画像処理方法。
前記二次元画像から、細静脈または細動脈の候補領域を抽出し、
抽出された前記係蹄部先端と前記候補領域とに基づいて、前記細静脈または前記細動脈の領域を判定する、画像処理方法。