特許 7449004 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-05

(45)【発行日】2024-03-13

(54)【発明の名称】周波数帯域を用いたハイパースペクトルによる物体画像の検出方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240306BHJP

【ＦＩ】

A61B1/045 614

A61B1/045 618

【請求項の数】 13

(21)【出願番号】P 2023015049

(22)【出願日】2023-02-03

(65)【公開番号】P2023129277

(43)【公開日】2023-09-14

【審査請求日】2023-02-03

(31)【優先権主張番号】111108093

(32)【優先日】2022-03-04

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】521369655

【氏名又は名称】ナショナル チュン チェン ユニバーシティ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】シャン－チェン ワン

(72)【発明者】

【氏名】ユ－シェン チ

(72)【発明者】

【氏名】ユ－ミン ツァオ

(72)【発明者】

【氏名】シアン－ホン シー

【審査官】▲高▼木 尚哉

(56)【参考文献】

【文献】国際公開第２０１９／１５１０２９（ＷＯ，Ａ１）

【文献】特開２０１７－１５８８４０（ＪＰ，Ａ）

【文献】特開２０２０－０７３０８１（ＪＰ，Ａ）

【文献】国際公開第２０１９／２２０９１６（ＷＯ，Ａ１）

【文献】特開２０２１－１７７１６３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３１９１４７（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１２７６６１９９（ＣＮ，Ａ）

【文献】米国特許出願公開第２０２０／０１３４８２０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

周波数帯域を用いたハイパースペクトルによる物体画像の検出方法であって、以下のステップを含む：
参照画像をハイパースペクトル参照画像に変換するハイパースペクトル画像情報を取得し、前記参照画像は少なくとも１つの物体参照画像と１つの背景参照画像を含み、
画像キャプチャユニットは入力画像をキャプチャしてホストに提供し、前記入力画像は少なくとも１つの測定対象物画像と１つの背景画像を含み、
前記ホストは、前記ハイパースペクトル画像情報に基づいて前記入力画像を変換することによって、ハイパースペクトル画像を取得し、
前記ホストは前記ハイパースペクトル画像に基づいて分析を行うことによって、複数の第１のハイパースペクトル特徴値を取得し、
前記ホストはこれらの第１のハイパースペクトル特徴値に対して、細胞の周波数帯域に基づく選択及び主成分分析演算を行うことによって、前記ハイパースペクトル画像を簡略化して対応する複数の第２の特徴値を生成し、
前記ホストは複数の畳み込みカーネルに基づいて、前記第２の特徴値に対して少なくとも１つの畳み込み演算を行って前記背景画像をフィルタリングし、前記ホストは畳み込み結果および前記少なくとも１つの測定対象物画像に基づいて少なくとも１つの選択画像を取得し、前記畳み込みカーネルは、複数の選択特徴値と、複数の周辺特徴値とを含み、前記少なくとも１つの測定対象物画像は、複数の周辺画像および前記少なくとも１つの選択画像を含み、これらの周辺画像は前記少なくとも１つの選択画像を取囲み、前記少なくとも１つの選択画像は、前記選択特徴値に対応し、これらの周辺画像は、前記周辺特徴値に対応し、
前記ホストは前記少なくとも１つの選択画像のエッジに基づいて少なくとも１つの予測ボックスを生成し、
前記ホストは、前記予測ボックスの第１の中心点と境界ボックスの第２の中心点とを比較するために用いる前記入力画像の境界ボックスを取得し、前記ホストは、前記予測ボックスと前記境界ボックスとの中心オフセットを取得し、前記境界ボックスは前記入力画像のエッジに対応し、
前記ホストは、前記中心オフセットに基づいて回帰演算を行い、回帰演算結果を取得し、
前記ホストは、前記回帰演算結果と前記予測ボックスに基づいて前記測定対象物画像の位置合わせ調整を行い、前記第１の中心点を前記第２の中心点に移動させるとともに前記選択画像を前記第２の中心点に移動させ、
前記ホストは位置調整後の前記測定対象物画像と少なくとも１つのサンプル画像とをマッチング比較して比較結果を生成し、
前記ホストは、前記比較結果に基づいて、前記入力画像が目標物体画像であると判断する、方法。

【請求項2】

前記ホストが前記複数の畳み込みカーネルに基づいて前記第２の特徴値に対して少なくとも１つの畳み込み演算を行うステップにおいて、前記ホストは前記畳み込みカーネルをｍ×ｎ×ｐに設定し、かつ前記入力画像の複数の画素値を複数の画素正規値に正規化して、前記畳み込みカーネルに前記複数の画素正規値をかけ算して、畳み込み層で前記複数の第２の特徴値を取得し、かつｍ＝ｎであり、ｍは１、３、５、１０、１９または３８である、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。

【請求項3】

前記畳み込み結果と前記少なくとも１つの測定対象物画像に基づいて少なくとも１つの選択画像を取得するステップにおいて、前記ホストが前記複数の選択特徴値の所在エリアを統合して前記入力画像上に少なくとも１つの分布エリアを取得する、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。

【請求項4】

前記ホストが前記複数の畳み込みカーネルによって前記第２の特徴値に対して少なくとも１つの畳み込み演算を行うステップにおいて、前記ホストがＳＳＭＤ(Single Shot Multibox Detector)モデルによって、前記入力画像のそれぞれの画素に畳み込みを行うことによって、前記第２の特徴値を検出する、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。

【請求項5】

前記ホストが前記中心オフセットに基づいて回帰演算を行うステップにおいて、前記ホストは前記予測ボックスの第１の位置、前記境界ボックスの第２の位置およびズーム因子によって前記回帰演算を行うことによって、前記測定対象物画像を位置決めする、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。

【請求項6】

前記ホストが前記測定対象物画像と少なくとも１つのサンプル画像とをマッチング比較するステップでは、前記ホストが完全接続層において前記測定対象物画像と前記少なくとも１つのサンプル画像とのマッチング比較を行う、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。

【請求項7】

比較結果に基づいて前記入力画像が目標物体画像であると判断するステップにおいて、前記ホストが前記少なくとも１つのサンプル画像に基づいて前記入力画像が目標物体画像であると判断できない場合、前記ホストが前記少なくとも１つのサンプル画像に基づいて前記測定対象物画像を近似比較する、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。

【請求項8】

前記ホストが前記少なくとも１つのサンプル画像によって前記測定対象物画像に対して近似比較を行うステップにおいて、前記ホストが前記測定対象物画像の近似度が近似閾値よりも大きいと判断する場合、前記ホストは前記入力画像を前記目標物体画像と判断する、請求項７に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。

【請求項9】

ハイパースペクトル画像情報は、前記入力画像の複数の白色光画像と複数の狭帯域画像に対応し、かつ複数の配色関数、補正マトリックスおよび変換マトリックスを含む、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。

【請求項10】

前記ホストが位置合わせ後の前記測定対象物画像と、なくとも１つのサンプル画像とのマッチング比較を行うステップにおいて、前記ホストがリポジトリから前記少なくとも１つのサンプル画像を読み取り、位置合わせ後の前記測定対象物画像に基づいて前記マッチング比較を行う、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。

【請求項11】

前記ホストが前記複数の第１のハイパースペクトル特徴値に対して細胞の周波数帯域による選択及び主成分分析演算を行うことによって、前記ハイパースペクトル画像を簡略化して対応する前記複数の第２の特徴値を生成するステップの後に、前記ホストはこれらの第１のハイパースペクトル特徴値に対して、周波数帯域による選択と前記ハイパースペクトル画像情報とに基づいた模擬画像への変換を行う、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。

【請求項12】

前記細胞が食道癌細胞である、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。

【請求項13】

前記周波数帯域は４１５ｎｍおよび５４０ｎｍである、請求項１１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像識別方法に関し、特に、周波数帯域を用いたハイパースペクトルによる物体画像の検出方法に関する。

【背景技術】

【0002】

現在、内視鏡画像による消化器官の疾病、特に食道癌を診断することがよく行われている。早期の食道癌はほとんど症状がないため、多くの患者は飲み込み問題が発生してから発覚する。臨床上では食道内視鏡により食道癌を診断する。

【0003】

食道は咽頭と胃を接続する管状器官であり、主に口から飲み込んだ食物を胃に送るための器官である。正常な食道粘膜は、多層の扁平上皮細胞を有し、厚さは約２００～５００μｍであり、表面から下へは、粘膜上皮層(EP)、粘膜固有層(LPM)、粘膜筋板層(MM)、粘膜下層(SM)および固有筋層(MP)に分けることができる。上皮組織に発生する悪性腫瘍はがんと呼ばれ、世界では食道がんは８番目に多いがんである。また、通常、悪性腫瘍(CancerまたはMalignant tumorと呼ばれる)は、生理機能に影響を及ぼし、肉腫(Sarcoma)、リンパ腫(lymphoma)、白血病(leukemia)、メラノーマ(melanoma)、癌肉腫(carcinosarcoma)、悪性神経膠腫(Malignant glioma)などを含む。

【0004】

結合組織に発生する悪性腫瘍は肉腫と呼ばれる。いわゆる結合組織は、繊維組織、脂肪組織、筋肉、血管、骨および軟骨を含む。また、リンパ腫や白血病は造血組織に発生する。メラノーマは皮膚細胞に発生する。上皮組織および結合組織に同時に発生する悪性腫瘍は癌肉腫と呼ばれる。また、悪性グリオーマは神経組織に発生する悪性腫瘍である。食道がんの悪性腫瘍は食道の上皮組織に浸潤するだけでなく、後期には結合組織にも浸潤する。

【0005】

現在の疾病診断技術は、通常、体温、血圧、身体スキャン画像などの単一のマクロ資料と情報に依存している。例えば、がんのような重大な疾患を検出するために、現在一般的に使用されている機器のほとんどは、Ｘ線、ＣＴスキャン、核磁気共鳴（NMR：Nuclear mMagnetic Resonance）画像化技術を含む画像技術に基づいた装置である。これらの診断装置を組み合わせて使用すると、程度の差があるが、疾患の診断に有用である。しかし、これらの装置を単独で使用する場合、重大な疾病が発病した早期段階では、正確的で、高精度で、効率的で、経済的な検出ができない。さらに、Ｘ線、ＣＴスキャン、核磁気共鳴（NMR）画像化などの上記従来の装置の多くは、大型であり侵襲性がある。そこで、消化器官の病巣を観察するために、内視鏡検査が開発され、消化器官に病巣が存在するかどうかを検査する。

【0006】

また、早期の食道がんは診断が容易ではないが、早期にはほとんど症状がなかったたけでなく、食道内視鏡検査を受けても一部の早期食道がんは発見されにくい。これらの病巣の変化は非常に細かく、わずかな色の変化しかない場合が多いため、従来の内視鏡検査では多くの早期食道がん病変が見落とされ、治療が手遅れになる。そのため、発見されにくい病巣に対して、ヨウ素染色体内視鏡（Lugol chromoendoscopy）、狭帯域画像技術（Narrow Band Image、NBI）、拡大内視鏡（Magnifying Endoscopy）が開発された。

【0007】

白色光内視鏡画像(WLI:White Light Image):これは伝統的な内視鏡技術であり、白色光を食道粘膜に照射し、反射によって食道の画像を得るが、早期病巣を極め出す能力が低く、末期食道癌のような明らかな病巣のみを発見できる。そのため、他の多くの内視鏡技術が派生し、画像中の特徴をより明らかにするために医師の判断を支援している。

【0008】

狭帯域内視鏡画像(NBI:Narrow band Image)：NBIはIPCL血管の変化を明らかにすることができ、選択した４１５ｎｍ、５４０ｎｍの光線を利用し、血管、細胞内の組織に対して散乱・吸収を行い、血管内のヘモグロブリンが青色光および緑色光を吸収したため、浅層の毛細血管は茶色を表わすことができる。他の太い血管は青色を呈し、伝統的な白色光より優れる。

【0009】

色素内視鏡（Chromoendoscopy）: 光源の交換に加えて、がんによる細胞への変化を利用して染色により病巣の位置を判断するが、誤吸入のリスクがあるため食道染色には特に注意が必要である。ヨウ素染色内視鏡（Lugol chromoendoscopy）が良く用いられ、ヨウ素液で肝糖を茶色に染色するが、癌細胞はグルコーゲンをエネルギーに変化させるため、染色することができないことを利用して病巣の可能性が大きい位置を発見し、この部分をスライスして癌になったか否かを確認するが、ヨウ素染色により胸部に不快感をもたらし、患者がアレルギー反応をする可能性もある。

【0010】

拡大内視鏡（ME:Magnifying endoscopy）:他の内視鏡技術とは異なり、MEはズーム技術を利用して画像の品質を保ちながら画像を拡大する。これにより病巣の些細な変化を観察する。NBIのような他の画像増強技術と組み合わせると、IPCLの形状に対してステージ分けを行い、癌の浸潤度合いを判断できる。

【0011】

しかし、内視鏡の操作は非常に複雑で、資格のある医療スタッフのみが内視鏡検査を行うことができる。さらに医療スタッフは内視鏡を操作しながら、病巣を識別しなければならない。内視鏡検査の方法は様々な改良が行われてきたが、人為的な操作ミスや内視鏡画像の識別が困難などの課題は依然存在する。

【0012】

また、新型の内視鏡、例えばカプセル内視鏡について、身体へのアクセスの利便性のために、患者の不快感を軽減するため、狭帯域画像の機能を犠牲にして、白色光画像の機能のみを備えているため、医師の画像判読の困難性を高めている。

【0013】

このため、食道癌診断過程を改善した方法が必要になる。コンピュータ支援診断技術（CAD:Computer Aided Diagnosis）が生物医学研究の重点になり、コンピュータ支援診断医学画像を用いて医師の疾病の類型および病巣の区域への正確な判断を補助でき、画像確認効率も向上する。畳み込みニューラルネットワークをコンピュータビジョン（CV:Computer Vision）分野に用いることは現在の技術的なトレンドであり、いくつかの応用方式がある。

【0014】

１、画像分類（Image Classification）、画像に対して類別のスクリーニングを行い、深層学習の方法によって画像がどの分類類別に属するかを識別し、その重点は、当該画像の内容に複数の目標があっても、１枚の画像が１種類の分類類別を含むことにある。よって、単純な画像分類の応用が普及されていない。しかし、ディープラーニング演算法にとって単一目標識別は正確率が最も高いため、実務上での応用において物体検知方法によって当該目標を探し出し、取込画像範囲を縮小して画像分類を行う。このため、物体検出の応用可能範囲であれば、通常は画像分類手法を用いる。

【0015】

２、物体検出（Object Detection）、１枚の画像には１または複数の目標物体があってもよい。目標物体が異なる類別に属してもよい。そのアルゴリズムは下記の２つの目標を達成できる：目標座標を見つけることと目標の類別を識別すること。顔認識関連技術の結合応用、あるいは製造業における瑕疵検査、ひいては病院でX線、超音波で特定の身体部位の病気状況の検査にも応用可能である。物体検出の基礎は、画像分類上に位置を標識する機能を増加したと想像できるため、画像分類の基礎とも離れない。物体検出における標識される座標は通常矩形または四方形であり、目標の位置をわかっただけでは目標の周縁に対して描画できないため、通常に応用では「目標の位置をわかればよい」を目標とする。

【0016】

口腔癌病巣の検査では通常、どこかにその病巣があるかないかを判断するだけでよいが、物体検出を用いて病巣の位置と病巣の範囲を判断するのは非常に適切であるため、物体検出の方法を開発することは早急な解決を待たなければならない問題である。

【0017】

上記の課題に基づき、本発明は周波数帯域を用いたハイパースペクトルによる物体画像の検出方法を提供する。この方法では、ホストによって畳み込み演算を実行し、入力画像を畳み込みニューラルネットワークに適用することで、特徴画像を取得して周波数帯域に基づいて選択し、測定対象物画像を推定し、さらに、測定対象物画像とサンプル画像とを比較して、測定対象物画像を目標物体画像または非目標物体画像に分類することにより、人工画像認識の困難性を回避し、白色光画像機能のみを有する内視鏡により模擬狭帯域画像を生成して識別を支援することもできる。

【発明の概要】

【0018】

本発明の主な目的は、本発明は周波数帯域を用いたハイパースペクトルによる物体画像の検出方法を提供する。畳み込みニューラルネットワークの演算によって、特徴画像を取得し、かつ周波数帯域によって選択し、測定対象物画像を推定し、さらに、測定対象物画像とサンプル画像とを比較することにより、測定対象物画像を目標物体画像または非目標物体画像に分類する。

【0019】

上記目的を達成するために、周波数帯域を用いたハイパースペクトルによる物体画像の検出方法であって、まず参照画像をハイパースペクトル参照画像に変換するハイパースペクトル画像情報を取得し、画像キャプチャユニットは入力画像をキャプチャしてホストに提供し、前記入力画像は、少なくとも１つの測定対象物画像と背景画像とを含み、その後、前記ホストは、前記ハイパースペクトル画像情報に基づいて前記入力画像を変換することによって、ハイパースペクトル画像を取得し、前記ホストは、前記ハイパースペクトル画像に基づいて分析を行うことによって、複数の第１のハイパースペクトル特徴値を取得し、続いて、前記ホストは、前記第１のハイパースペクトル特徴値を、細胞の周波数帯域に基づく選択及び主成分分析演算を行うことによって、対応する複数の第２の特徴値を生成する。そして、前記ホストは、複数の畳み込みカーネルに基づいて、前記第２の特徴値に対して少なくとも１つの畳み込み演算を行って畳み込み結果を取得し、前記畳み込み結果および前記少なくとも１つの測定対象物画像に基づいて少なくとも１つの選択画像を取得し、前記畳み込みカーネルは、複数の選択特徴値と、複数の周辺特徴値とを含み、前記少なくとも１つの測定対象物画像は、複数の周辺画像および前記少なくとも１つの選択画像を含み、これらの周辺画像は前記少なくとも１つの選択画像を取囲み、前記少なくとも１つの選択画像は、前記選択特徴値に対応し、前記周辺画像は、前記周辺特徴値に対応する。続いて、前記ホストは、前記少なくとも１つの選択画像のエッジに基づいて、少なくとも１つの予測ボックスを生成し、かつ入力画像の境界ボックスを取得し、前記ホストは、前記予測ボックスの第１の中心点と、当該入力画像の境界ボックスの第２の中心点と比較し、予測ボックスと境界ボックスの中心オフセットを取得し、それにより、前記ホストは、前記中心オフセットに基づいて回帰演算を行い、予測ボックス内の測定対象物画像を位置合わせし、前記予測ボックスと前記境界ボックスとの中心点を重畳させるとともに前記選択画像を境界ボックスの中心点まで移動させる。最後に、前記ホストは、前記測定対象物画像と少なくとも１つのサンプル画像とを比較して比較結果を得て、前記ホストは、前記比較結果に基づいて、前記入力画像を目標物体画像または非目標物体画像に分類する。このように、本発明は、測定対象物画像を、ホストによって周波数帯域フィルタリングおよび畳み込みによって特徴検出することができ、さらに、このホストは、このサンプル画像に基づいて予測ボックスで選択された測定対象物画像を比較し、入力画像を目標物体画像または非目標物体画像に分類することにより、認識を自動化するとともに認識しにくい問題を回避することができ、模擬狭帯域画像を生成する機能も提供する。

【0020】

本発明の一実施例では、前記ホストが複数の畳み込みカーネルを利用してこれらの第２の特徴値を比較するステップにおいて、前記ホストはこれらの畳み込みカーネルをｍ×ｎ×ｐとして、かつ当該入力画像の複数の画素値を複数の画素正規値となるように正規化し、これらの畳み込みカーネルとこれらの画素正規値とをかけ算して畳み込み層でこれらの第２の特徴値を取込み、かつｍ＝ｎであり、ｍは１、３、５、１０、１９または３８である。

【0021】

本発明の一実施例では、前記畳み込み結果と前記少なくとも１つの測定対象物画像とに基づいて少なくとも１つの選択画像を取得するステップにおいて、前記ホストが前記複数の選択特徴値の所在エリアを統合して前記入力画像に少なくとも１つの分布エリアを取得して、更に前記少なくとも１つの分布エリアで前記予測ボックスを確立する。

【0022】

本発明の一実施例では、前記ホストが前記入力画像を複数の特徴値に変換し、かつ複数の畳み込みカーネルによりこれらの特徴値を検出するステップにおいて、前記ホストがＳＳＭＤ(Single Shot Multibox Detector)モデルによって、前記入力画像のそれぞれの画素を畳み込んで前記第２の特徴値を検出する。

【0023】

本発明の一実施例では、前記ホストが前記中心オフセットに基づいて回帰演算を行うステップにおいて、前記ホストが前記予測ボックスの第１の位置、前記境界ボックスの第２の位置およびズーム因子によって前記回帰演算を行うことによって、前記測定対象物画像を位置決めする。

【0024】

本発明の一実施例では、前記ホストが前記測定対象物画像と少なくとも１つのサンプル画像とを比較するステップでは、前記ホストが完全接続層において前記測定対象物画像と前記少なくとも１つのサンプル画像との分類比較を行う。

【0025】

本発明の一実施例では、前記ホストが比較結果に基づいて前記入力画像を目標物体画像または非目標物体画像に分類するステップにおいて、前記ホストが、前記予測ボックス内の前記測定対象物画像に対して前記少なくとも１つのサンプル画像と一致することを識別できなかった場合、前記ホストは、前記入力画像を前記非目標物体画像に分類し、逆に、前記ホストは前記入力画像を前記目標物体画像に分類する。

【0026】

本発明の一実施例では、前記ホストは比較結果に基づいて前記入力画像を目標物体画像または非目標物体画像に分類するステップにおいて、前記ホストは前記入力画像を前記非目標物体画像に分類する時、前記ホストは２回目に前記少なくとも１つのサンプル画像と前記測定対象物画像を比較し、前記ホストは前記測定対象物画像の近似度が近似閾値よりも大きいと判断する時、前記ホストは前記入力画像を前記目標物体画像に分類し、逆に、前記ホストは前記入力画像を前記非目標物体画像に分類する。

【0027】

本発明の一実施例では、前記ハイパースペクトル画像情報は、複数の白色光画像および複数の狭帯域画像に対応し、かつ複数の配色関数、補正マトリックスおよび変換マトリックスを含む。

【0028】

本発明の一実施例では、当該細胞は食道癌細胞である。

【0029】

本発明の一実施例では、前記周波数帯域は４１５ｎｍおよび５４０ｎｍである。

【0030】

本発明の一実施例では、前記ホストは前記複数の第１のハイパースペクトル特徴値に対して細胞の周波数帯域によって選択しかつ主成分分析演算を行い、前記ハイパースペクトル画像を簡略化して対応する複数の第２の特徴値を生成するステップの後に、前記ホストはこれらの第１のハイパースペクトル特徴値に対して周波数帯域によって選択しかつ前記ハイパースペクトル画像情報によって模擬画像に変換する。

【図面の簡単な説明】

【0031】

【図1】本発明の一実施例の方法の流れを示す図である。

【図2A】本発明の一実施例の一部のステップを示す図である。

【図2B】本発明の一実施例の一部のステップを示す図である。

【図2C】本発明の一実施例の一部のステップを示す図である。

【図2D】本発明の一実施例の一部のステップを示す図である。

【図2E】本発明の一実施例の一部のステップを示す図である。

【図2F】本発明の一実施例の一部のステップを示す図である。

【図2G】本発明の一実施例の一部のステップを示す図である。

【図2H】本発明の一実施例の一部のステップを示す図である。

【図2I】本発明の一実施例の一部のステップを示す図である。

【図3】本発明の一実施例の畳み込みカーネルおよび入力画像を示す図である。

【図4】本発明の一実施例の所在エリアを示す図である。

【図5】本発明の一実施例のプリセットボックスを構築することを示す図である。

【図6】本発明の一実施例の中心点の遷移を示す図である。

【図7】本発明の一実施例のプリセットボックスと境界ボックスとを位置合わせすることを示す図である。

【図8】本発明の一実施例の画像を示す図である。

【図9A】本発明の一実施例の具体的な実施例の画像を示す図である。

【図9B】本発明の一実施例の具体的な実施例の画像を示す図である。

【図10A】本発明の一実施例の具体的な実施例の画像を示す図である。

【図10B】本発明の一実施例の具体的な実施例の画像を示す図である。

【発明を実施するための形態】

【0032】

貴審査委員に本発明の特徴および達成できる効果について更なる理解と認識をしていただくため、下記のように実施例を参照しながら説明する。

【0033】

内視鏡の操作が複雑であるため人為的な操作ミスまたは画像の認識が困難になることが知られている。本発明は、内視鏡技術に起因する人為的な操作ミスまたは画像の認識の困難さという周知の課題を解決するために、周波数帯域を用いたハイパースペクトルによる物体画像の検出方法を提案する。

【0034】

以下では、周波数帯域を用いたハイパースペクトルによる物体画像の検出方法の特性、および対応するシステムをさらに説明する。

【0035】

まず、本発明の方法の流れを示す図である。図示のように、本発明の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法は次のステップを含む。

【0036】

参照画像をハイパースペクトル参照画像に変換するハイパースペクトル画像情報を取得するステップＳ０５。

【0037】

画像キャプチャユニットが入力画像をキャプチャしてホストに提供するステップＳ１０。

【0038】

ハイパースペクトル画像情報に基づいて入力画像を変換することによって、ハイパースペクトル画像を取得するステップＳ１５。

【0039】

ハイパースペクトル画像情報に基づいて分析を行うことによって、第１のハイパースペクトル特徴値を取得するステップＳ２０。

【0040】

第１のハイパースペクトル特徴値を、細胞の周波数帯域に基づく選択及び主成分分析演算を行うことによって、対応する第２の特徴値を生成するステップＳ２５。

【0041】

畳み込みカーネルに基づいて、第２の特徴値に対して畳み込み演算を行い、畳み込みの結果に基づいて、測定対象物画像から選択画像を取得するステップＳ３０。

【0042】

ホストが選択画像のエッジに基づいて予測ボックスを生成するステップＳ３５。

【0043】

ホストが入力画像の境界ボックスをキャプチャして予測ボックスの第１の中心点と境界ボックスの第２の中心点と比較することによって、予測ボックスと境界ボックスとの中心オフセットを取得するステップＳ４０。

【0044】

ホストが中心オフセットに基づいて回帰演算を行い、回帰演算結果を取得するステップＳ４５。

【0045】

ホストが回帰演算結果および予測ボックスに基づいて測定対象物画像の位置合わせ調整をし、第１の中心点を第２の中心点まで移動させるとともに選択画像を第２の中心点まで移動させるステップＳ５０。

【0046】

ホストが測定対象物画像とサンプル画像とを比較することによって比較結果を生成するステップＳ５５。

【0047】

ホストが比較結果に基づいて入力画像を目標物体画像または非目標物体画像に分類するステップＳ６０。

【0048】

図２Ａ～図２Ｈを合わせて参照する。本発明の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法に関連する検出システム１は、ホスト１０と画像キャプチャユニット２０とを含み、本実施例は、ホスト１０として、処理ユニット１２、メモリ１４および格納ユニット１６を有するホストが挙げられるが、これに限定されない。サーバ、ノートパソコン、タブレットまたは基礎的な演算能力を有する電子装置は何れも本発明のホスト１０である。リポジトリ３０は、格納ユニット１６に設けられるが、これに限定されず、ホスト１０の外部接続格納ユニットであってもよい。ホスト１０は、処理ユニット１２により畳み込みプログラム１２０を実行し、対応するニューラルネットワーク１２４を形成する。さらに、本実施例では、画像キャプチャユニット２０は、例えば、膀胱鏡、胃鏡、大腸鏡、気管支鏡、腹腔鏡など、体内の器官組織を検査するための内視鏡である。

【0049】

ステップＳ０５では、図２Ａに示すように、図２Ａに示すように、当該ホスト１０は、画像キャプチャユニット２０が対応した参照画像ＲＥＦを読み取り、当該参照画像ＲＥＦは、少なくとも１つの物体参照画像Ｏ１Ｒおよび１つの背景参照画像ＢＧＲを含み、当該入力画像ＲＥＦはリポジトリ３０に格納されている白色光画像(White light image)と狭帯域画像(Narrow band image)であってもよく、または、画像キャプチャユニット２０により２４カラーチェッカーから取り込まれた参照色であってもよい。本実施例の画像キャプチャユニット２０は、白色光内視鏡OLYMPUS EVIS LUCERA CV-260 SLにより、対応する白色光参照画像を取得し、狭帯域内視鏡OLYMPUS EVIS LUCERA CLV-260により、対応する白色光参照画像を得る。かつ狭帯域内視鏡OLYMPUS EVIS LUCERA CLV-260により、対応する狭帯域参照画像を得る。つまり、当該少なくとも１つの物体参照画像Ｏ１Ｒおよび背景参照画像ＢＧＲが当該参照画像ＲＥＦの白色光参照画像および狭帯域参照画像に存在する。

【0050】

図２Ａを参照すると、当該ホスト１０は当該参照画像ＲＥＦに基づいてハイパースペクトル画像情報ＨＳＡを取得し、即ち、可視光ハイパースペクトル技術(Visible Hyperspectral Algorithm, VIS-HSA)によって、画像キャプチャユニット２０が取り込んだ入力画像に対して演算を行い、一般画像色域空間(つまり取込画像の色域空間)をＸＹＺ色域空間(CIE1931XYZ Color space)に変換する(例えば、ｓＲＧＢ色域空間からＸＹＺ色域空間へ変換する)ための変換方程式を得る。本発明のハイパースペクトル画像情報は、可視光ハイパースペクトル技術に対応する可視光帯域ハイパースペクトルであり、且つ、自然界でよく見られる主な色（赤、緑、青、灰）を含む２４カラーチェッカー(X-Rite Classic, 24 Color Checkers)に対応する。ハイパースペクトル画像情報ＨＳＡは当該複数の白色光画像と複数の狭帯域画像に対応し、且つ、複数の配色関数(Color matching functions, CMF)、補正マトリックスＣおよび変換マトリックスＭを含む。

【0051】

続いて、変換するための最初のステップは、参照画像ＲＥＦと分光器（Ocean Optics QE65000）を同じＸＹＺ色域空間に変換する必要がある。以下は参照画像ＲＥＦの変換式。

【数1】

【0052】

【数2】

【数3】

【数4】

【0053】

f(n)はｇａｍｍａ関数であり、ｓＲＧＢ値を線性ＲＧＢ値に変換でき、Ｔは変換マトリックスであり、[M_A]は色順応変換マトリックスである。式（一）に基づいて線性ＲＧＢ値をＸＹＺ色域空間に規定されたＸＹＺ値（XYZ Endoscope）に変換できる。

【0054】

以下は、分光器が取り込んだ反射スペクトルデータをＸＹＺ色域空間に変換するための式である。

【数5】

【数6】

【数7】

【0055】

ｋは下記式(八)のとおりである。

【数8】

【0056】

【数9】

【数10】

【数11】

は配色関数（CMF:Color matching functions）であり、

【数12】

は内視鏡で撮影した光源スペクトルである。ＸＹＺ色域空間のＹ値は輝度と正比例するため、式(九)により光源スペクトルＹ値の最大輝度（飽和輝度）が得られる。さらに、Ｙ値の上限を１００とすることにより、輝度の所期の比例ｋが得られ、式(五)～式(七)で反射スペクトルデータをＸＹＺ色域空間に規定されたＸＹＺ値[XYZ_spectrum]がに変換する。

【0057】

さらに、下記式(十)の補正マトリックスＣで内視鏡画像の補正を行う。

【数13】

【0058】

内視鏡の非線性応答、内視鏡の暗電流、カラーフィルタの色分離の不正確さ、および、色ずれ（例えばホワイトバランス）などを含む内視鏡の誤差を引き起こす要因を分析することにより変数マトリックス[V]が得られ、ＸＹＺ値[XYZ_spectrum]を補正する。

【0059】

狭帯域画像と白色光画像は３階演算の演算結果が近似するため、非線性応答の補正は３階方程式で行われ、内視鏡の非線性応答は下記式(十一)を用いた。

【数14】

【0060】

一般的に、内視鏡における暗電流は一定値であり、入光量の変化に伴う大幅な変化はないため、暗電流の影響を定数と見なし、暗電流の補正変数をＶＤａｒｋと定義し、以下記式（十二）で暗電流の影響を補正する。

【0061】

【数15】

【0062】

カラーフィルタの色分離の不正確さ、および、色ずれの補正変数はV_colorと定義し、

【数16】

【数17】

【数18】

はＲＧＢ色域空間からＸＹＺ色域空間へ変換するための配色関数であり、

【数19】

【数20】

【数21】

の３者間の関連性によってＸ、Ｙ、Ｚの間の可能性を下記式(十三)のように順列・組み合わせる。これにより、内視鏡画像のカラーフィルタの色分離の不正確さ、および、色ずれを補正する。

【0063】

【数22】

【0064】

上記式(十一)～式(十三)により，下記式(十四)の補正変数マトリックスＶが推定される。

【数23】

【0065】

上記変数マトリックスＶに補正マトリックスＣを組み合わせることにより，下記式(十五)のように、補正後のＸ、Ｙ、Ｚ値[XYZ_Correct]を得る。

【数24】

【0066】

白色光画像は[XYZ_Correct]と[XYZ_spectrum]では平均誤差値は１．４０であり、狭帯域画像は[XYZ_Correct]と[XYZ_spectrum]では平均誤差値は２．３９である。

【0067】

以上の計算は可視光帯域３８０ｎｍ～７８０ｎｍの光波長帯域を用いるため、内視鏡の補正結果は色収差で示され、[XYZ_Correct]と[XYZ_spectrum]はCIE DE2000の対応するLab色域空間に変換され、色域空間変換関数式は下記式(十六)～式(十八)の通りである。

【数25】

【数26】

【数27】

【0068】

ｆ（ｎ）は下記式(十九)の通りである。

【数28】

【0069】

白色光画像は補正前の色差値が平均１１．６０、補正後の色差値が平均２．８４であるが、狭帯域画像は補正前の色差値が平均２９．１４、補正後の色差値が平均２．５８である。

【0070】

ステップＳ１０において、図２Ｂに示すように、ホスト１０は、画像キャプチャユニット２０から入力画像ＩＭＧを取得し、当該入力画像ＩＭＧは、参照画像ＲＥＦと同様に、白色光画像と狭帯域画像とを有してもよい。本実施例の画像キャプチャユニット２０は、白色光内視鏡OLYMPUS EVIS LUCERA CV-260 SLに対応する白色光画像、または、狭帯域内視鏡OLYMPUS EVIS LUCERA CLV-260に対応する狭帯域画像である。ステップＳ１５において、ホスト１０は、当該入力画像ＩＭＧの解像度が例えば１０ｎｍなどの解像度閾値を満たす場合、当該入力画像ＩＭＧがハイパースペクトル画像(hyperspectral image)の解像度閾値に合致すると判断する。ステップＳ０５で得られたハイパースペクトル画像情報ＨＳＡに基づいて、入力画像ＩＭＧをハイパースペクトル画像ＨＹＩに変換し、その後、ステップＳ２０を実行する。

【0071】

続いて、ステップＳ２０において、当該ホストは、当該ハイパースペクトル画像ＨＹＩに基づいて対応する複数の第１のハイパースペクトル特徴値Ｆ１を取得する。ステップＳ２５において、当該ホスト１０は、ステップＳ２０でこれらの第１のハイパースペクトル特徴値Ｆ１を取得し、細胞CELLの周波数帯域BNDに基づいてこれらの第１のハイパースペクトル特徴値Ｆ１に対して選択（Band selection）して主成分分析（PCA:Principal components analysis）演算を行い、演算結果を簡略化するため、変化量の低い特徴値をフィルタリングし、ハイパースペクトル画像ＨＹＩを簡素略化し、複数の第２の特徴値Ｆ２を生成する。

【0072】

ＰＣＡの演算式は下記式(二十)の通りである。

【数29】

【0073】

また、

【数30】

～

【数31】

は１番目～ｎ番目の波長のスペクトル強度値を表し、

【数32】

～

【数33】

は１番目～ｎ番目の波長のスペクトル所期値(平均スペクトル強度値)を表し、a_j1～a_jnは、スペクトルにより共分散計算を行う際の共分散マトリックスの特徴ベクトル係数を表す。主成分分析により、４０１次元スペクトル情報の次元を下げ、最初の３次元のみを求め、演算の複雑さを低減させる。本実施例では、２つの周波数帯域がそれぞれ４１５ｎｍおよび５４０ｎｍのスペクトル強度値をとる。

【0074】

周波数帯域に基づいて選択することの原理は以下である。赤光が深さが異なる血管内のグロブリンに吸収される場合に、浅い層の粘膜組織の微細血管は茶褐色を呈し、粘膜下組織の血管は緑色を呈し、強烈な分層感を表わすため、粘膜組織の病変の識別に有利であるため、本実施例ではハイパースペクトル画像ＨＹＩから食道癌細胞検出に関連する血球蛋白の周波数帯域の４１５ｎｍおよび５４０ｎｍを選択したが、これに限定しない。異なる細胞に対して異なる周波数帯域を選択してもよい。また、さらに、まず、下記式(二十一)のように、上記得られた補正値[XYZ_Correct]と、上記２４カラーチェッカーに対応する反射スペクトルデータ[R_spectrum]とを組み合わせ、演算により対応する変換マトリックスＭを求める。pinv［V］はマトリックスVの虚反マトリックスである。

【数34】

【数35】

【0075】

反射スペクトルデータ[R_spectrum]を主成分分析し、複数組の主成分(ＥＶ)を求める。主成分を取得することにより主成分分数[Score]を取得する。本実施例は、解釈能力(重み百分比８８.０４１７％、８.２２１２％、２.６４２２％、０.６０９％、０.２２３８２％、０.１０４３２％、０.０５４６５８％、０.０４７２％、０.０２６３８％、０.０１２１８４％)が比較的に良い１０組の主成分を用いて次元を下げる演算を行う。模擬スペクトル[S_spectrum]_380-780を取得し、模擬スペクトル[S_spectrum]_380-780は、入力画像ＩＭＧに対応する[XYZ_spectrum]の誤差が、白色光画像では１１.６０から２.８５に補正され、狭帯域画像では２９.１４から２.６０補正される。肉眼では容易に認識できない色誤差が達成され、使用者が色再現を必要とする場合には、良好な色再現効果が得られ、可視光帯域内の良好なハイパースペクトル画像をシミュレートすることができる。

【0076】

ステップＳ３０において、図２Ｃと図３に示すように、ホスト１０は、ステップＳ２０～ステップＳ２５で当該入力画像ＩＭＧから得られた第２の特徴値Ｆ２について、特に０～１の間で、複数の畳み込みカーネルＣを用いて、当該入力画像ＩＭＧに対応する複数の第２の特徴値Ｆ２を検出する。これらの畳み込みカーネルＣは、少なくとも１つの当該測定対象物画像Ｏ２の複数の選択画像Ｏ２に対応する選択特徴値Ｆ２２、および、少なくとも１つの測定対象物画像Ｏ１の隣接周辺画像ＢＧＩに対応するエッジ特徴値Ｆ２４を含み、これにより、測定対象物画像Ｏ１を含まない背景画像ＢＧをフィルタリングすることができる。当該ホストは、１回多フレーム目標検出器（ＳＳMＤ(Single Shot Multibox Detector)）モデルに基づいて、当該入力画像の各画素ユニットに対して畳み込みを行い、当該特徴値を検出する。これらの畳み込みカーネルＣは、当該少なくとも１つの測定対象物画像Ｏ１の複数の選択画像Ｏ２が対応する選択特徴値Ｆ２２、および隣接周辺画像ＢＧＩに対応するエッジ特徴値Ｆ２４に対応する。

【0077】

図２Ｃと図３に示すように、当該入力画像ＩＭＧはｍ×ｎ画素ユニットであり、かつＰ個のチャネルを通して特徴抽出を行い、そのため当該複数の畳み込みカーネルＯ１はｍ×ｍ×ｐユニットであり、かつｍ＝ｎは、例えば：１×１×ｐ、３×３×ｐ、５×５×ｐ、１０×１０×ｐ、１９×１９×ｐまたは３８×３８×ｐであり、従って畳み込みカーネルＣを通して当該入力画像ＩＭＧ上の測定対象物画像Ｏ１と当該背景画像ＢＧを測定し、当該背景画像ＢＧをフィルタリングして除去し、従って当該背景画像ＢＧに対する後続ステップの処理を減少し、当該入力画像ＩＭＧが対応する第２の特徴値Ｆ２は処理ユニット１２を通して対応する選択特徴値Ｆ２２と周辺特徴値Ｆ２４に変換し、処理ユニット１２は畳み込みカーネルＣを通して当該入力画像ＩＭＧが対応する第２の特徴値Ｆ２と乗算し、異なる畳み込み結果Ｒを得て、同じであれば１、異なると－１の値を得て、従って非相関の背景画像ＢＧをフィルタリングし、図４に示すように、入力画像ＩＭＧが対応する第２の特徴値Ｆ２で一部の当該選択特徴値Ｆ２２が対応する一部または全部の当該少なくとも１つの測定対象物画像Ｏ１を取得し、従って一部または全部の当該少なくとも１つの測定対象物画像Ｏ１の所在エリアＡを取得する。

【0078】

ステップＳ３５において、図２Ｄと図５に示すように、ホスト１０は当該少なくとも１つの測定対象物画像Ｏ１の所在エリアＡによって少なくとも１つの選択画像Ｏ２を取得して、即ち畳み込みプログラムＰによって選択特徴値Ｆ２２と周辺特徴値Ｆ２４を取得して更に少なくとも１つの予測ボックスＤを対応して確立し、且つ図６に示すように、当該入力画像ＩＭＧに対するエッジは初期の境界ボックスＢであり、予測ボックスＤの辺長寸法は、

【数36】

であり、
最大辺長は、

【数37】

であり、
下式の式（二十三）によって辺長寸法ｓ_ｋを求められる。

【数38】

【0079】

また、次の式（二十四）、式（二十五）により辺長寸法ｓ_ｋに基づいて高さと幅を算出する。

【数39】

【数40】

【0080】

ｈ_ｋはｋ番目の特徴図の矩形先験的ボックスの高さ寸法で、ｗ_ｋは矩形先験的ボックスの幅寸法で、ａ_ｒは予測ボックスＤの縦横比で、ａ_ｒは０より大きい。

【0081】

ステップＳ４０において、図２Ｆと図６に示すように、ホスト１０は処理ユニット１２によって入力画像ＩＭＧに対応する境界ボックスＢを取込んでかつ畳み込みプログラムＰを実行し、当該予測ボックスＤの第１の中心点Ｄｃと当該入力画像ＩＭＧの境界ボックスＢの第２中心点Ｂｃを取込んで、且つ第１の中心点Ｄｃと第２の中心点Ｂｃに対して対応する中心オフセットＤＩＳを取得し、ステップＳ４５において、図２Ｅと図７に示すように、ホスト１０の処理ユニット１２は、当該予測ボックスＤと当該境界ボックスＢの中心オフセットＤＩＳによって回帰計算ＬＯＯＰを行う、その計算は以下の通りである。
予測ボックスＤの位置

【数41】

境界ボックスＢの位置

【数42】

ズーム因子

【数43】

【数44】

【数45】

【数46】

【数47】

【0082】

まず境界ボックスＢの中心座標を予測ボックスＤの中心座標に揃え、意味は境界ボックスＢの中心を「先に平行移動」して予測ボックスＤの中心点まで移動させ、即ち図６の第１の中心点Ｄｃと第２の中心点Ｂｃを重畳し、式（二十九）と式（三十）のように、また境界ボックスの寸法の大きさを「後ズーム」して予測ボックスＤに接近させ、式（三十一）と式（三十二）のように、当該平行移動変換とスケールスケーリングを経て、境界ボックスＢを無限に予測ボックスＤの位置に接近させることができ、これによってステップＳ５０において、ホスト１０は処理ユニット１２により実行する畳み込みプログラムＰが組み合わせる畳み込みニューラルネットワークＣＮＮによって、絶えず境界ボックスＢの寸法の大きさが無限に予測ボックスＤの位置に接近するまで回帰演算し、これによって測定対象物画像Ｏ１を予測ボックスＤに対して境界ボックスＢと重畳し、したがって正確に測定対象物画像Ｏ１の位置を定義し、即ち当該第１の中心点Ｄｃを当該第２の中心点Ｂｃに移動する時に、関連して当該選択画像（即ち予測ボックスＤ内の画像）を当該第２の中心点Ｂｃに移動する。

【0083】

また、測定対象物画像Ｏ１の位置をより正確に定義するために、さらに損失方程式を組み合わせると、次の式（三十三）となる。

【数48】

【0084】

そこで、予測ボックスＤの位置と測定対象物画像Ｏ１の位置との誤差を検証する。

【0085】

ステップＳ５５において、ホスト１０は、図２Ｇに示すように、処理ユニット１２が測定対象物画像Ｏ１の位置を突き止めた後、測定対象物画像Ｏ１をリポジトリ３０内のサンプル像ＳＡと１回目の比較を行い、ステップＳ６０において、図２Ｈに示すように、ホスト１０は、比較結果Ｒに基づいて、ホスト１０の処理ユニット１２によって実行される畳み込みプログラムＰに基づいて、当該入力画像ＩＭＧを目標物体画像ＴＡまたは非目標物体画像ＮＴＡに分類する。例えば、悪性腫瘍の場合、ホスト１０の処理ユニット１２によって実行される畳み込みプログラムＰが、予測ブロックＤ内の測定対象物画像Ｏ１について少なくとも１つのサンプル画像ＳＡに一致することを認識しなかった場合、ホスト１０は、入力画像ＩＭＧを非目標物体画像ＮＴＡに分類し、逆に、ホスト１０の処理ユニット１２によって実行される畳み込みプログラムＰが、入力画像ＩＭＧを目標物体画像ＴＡに分類する。ホスト１０の処理ユニット１２によって実行される畳み込みプログラムＰが、入力画像ＩＭＧを非目標物体画像ＮＴＡに分類した場合、畳み込みプログラムＰは、少なくとも１つのサンプル画像ＳＡと測定対象物画像Ｏ１とを改めて比較し、畳み込みプログラムＰは、測定対象物画像Ｏ１の比較結果Ｒと目標物体画像ＴＡの近似度が近似閾値より大きいと判断した場合(例えば、近似度０～１の場合、０.５を閾値とする)、畳み込みプログラムＰは入力画像ＩＭＧを目標物体画像ＴＡに分類し、逆に、畳み込みプログラムＰは入力画像ＩＭＧを非目標物体画像ＮＴＡに分類する。畳み込みプログラムＰは、Intersection over Union(IOU)に従い、目標物体画像ＴＡの近似度が大きい方が、当該対目標物体画像ＴＡの近似度が小さい方の交差度が交差閾値よりも大きい（例えば、交差度０～１の間で、交差閾値として０．５をとる）場合、畳み込みプログラムＰは、当該目標物体画像ＴＡの近似度が小さい方を当該目標物体画像ＴＡから除外する。

【0086】

図８に示すように、それは本発明の実施例の見取り図である。入力画像ＩＭＧは食道内視鏡画像であり、入力画像ＩＭＧに対して本発明の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法によって、予測ボックスＤと境界ボックスＢを重畳し、且つサンプル画像（形成異常（Ｄｙｓｐｌａｓｉａ）区域の食道内視鏡画像）との比較を行い、比較結果Ｒを得て、正確率は９３．０％に達する。

【0087】

本発明の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法では、ハイパースペクトル画像ＨＹＩから周波数帯域によって選択し、ハイパースペクトル画像ＨＹＩは可視色を構成する異なる周波数帯域（本実施例では３８０ｎｍ～７８０ｎｍの計４０１個の周波数帯域）のスペクトル強度を認識することができるが、複数次元のハイパースペクトル画像ＨＹＩに対して必要な周波数帯域（本実施例では４１５ｎｍおよび５４０ｎｍの計２個の周波数帯域）をフィルタリングして次元を下げ（４０１個の周波数帯域から２個の周波数帯域に下げたデータ）、後続の演算を行い、畳み込みニューラルネットワークで目標物体画像または非目標物体画像の分類を行い、１７８０枚の食道内視鏡画像の判断結果において、本発明は入力画像ＩＭＧを白色光画像（ＷＬＩ）または狭帯域画像（ＮＢＩ）として病巣の有無を判断する精度を比較し、周波数帯域ＢＮＤによって選択後のハイパースペクトル画像ＨＹＩを介して形成異常（Ｄｙｓｐｌａｓｉａ）領域に対する判断精度を９８％に向上させることができ（白色光画像（ＷＬＩ）判断精度：９６％、狭帯域画像（ＮＢＩ）判断精度：８５％）、周波数帯域ＢＮＤによって選択後のハイパースペクトル画像ＨＹＩを介して食道癌（ＳＣＣ）領域に対する判断精度を９３％に向上させることができる（白色光画像（ＷＬＩ）判断精度：９２％、狭帯域画像（ＮＢＩ）判断精度：８２％）。医療従事者が本発明を症状の判断の補助証拠として使用することができ、本発明は入力画像ＩＭＧの色彩を調整するのではなく、フィルタリングして色彩の光を生成する。

【0088】

さらに別の実施例を提供し、本発明はハイパースペクトル画像ＨＹＩから周波数帯域によって選択した後に、普通の画像として出力することを説明し、ステップＳ２５の後にさらに以下のステップを含む。

【0089】

ステップＳ２８：第１のハイパースペクトル特徴値を周波数帯域によって選択し、かつハイパースペクトル画像情報に基づいて模擬画像に変換する。

【0090】

本発明は他の実施例を提供する。図２Ｉに示すように、ステップＳ２８において、当該ホスト１０はこれらの第１のハイパースペクトル特徴値Ｆ１に対して当該周波数帯域ＢＮＤによって選択(Band selection)を行い、かつステップＳ０５で得たハイパースペクトル画像情報ＨＳＡに基づいて模擬画像ＳＩＭに変換する。

【0091】

ステップＳ２５において、反射スペクトルデータ[R_spectrum]を主成分分析して次元を下げる演算を行って模擬スペクトル[S_spectrum]_380-780を取得する。ステップＳ２５において、ステップＳ０５の式（五）から式（七）によって模擬スペクトル[S_spectrum]_380-780データをＸＹＺ色域空間が規範とするＸＹＺ値に変換し、さらに式（三十四）によって模擬画像ＳＩＭに変換する。

【数49】

【0092】

本実施形態では、次元を下げたデータを一般的な画像（ＲＧＢ画像）に変換して医療者に見てもらうことができ、一実施形態では、選択した周波数帯域は４１５ｎｍと５４０ｎｍである、生成した模擬画像ＳＩＭが狭帯域画像（Narrow band image）に近似し、波長によって組織への透過力が異なります、赤い光が血管内のヘモグロブリンに吸収されると、浅層粘膜組織の微小血管は茶色で、粘膜下組織の血管は緑色である。一方、本発明で生成される選択した周波数帯域の模擬画像ＳＩＭは、４０１個の周波数帯域の白色光画像（ＷＬＩ）のうち２個の周波数帯域を選択した新たな画像であり、本来は背景と色が似ている病巣（目標物体画像ＴＡ）を際立たせ、背景画像ＢＧとの比較度を向上させる。

【0093】

本発明の一具体的な実施例を提供する。図９Ａ、図９Ｂ、図１０Ａおよび図１０Ｂに示すように、これらは本発明の具体的な実施例の画像を示す図である。例えば、食道内視鏡白色光画像（ＷＬＩ画像）が食道癌に合致するか否かを識別し、ホストが入力画像ＩＭＧをキャプチャし、当該入力画像ＩＭＧをハイパースペクトル画像情報ＨＳＡでハイパースペクトル画像ＨＹＩを取得し、ハイパースペクトル画像ＨＹＩは３８０ｎｍ～７８０ｎｍの４０１個の周波数帯域を有するため、周波数帯域ＢＮＤの４１５ｎｍと５４０ｎｍを選択し、畳み込み演算を行い、ボックス選択により測定対象物画像の位置を選択し、サンプル画像との比較を行い、予測ボックスＤと境界ボックスＢを取得して比較結果Ｒを得る。また、ハイパースペクトル画像情報ＨＳＡに基づいて模擬画像ＳＩＭを出力し、模擬画像ＳＩＭは模擬狭帯域画像（ＮＢＩ）であり、図９Ａに示す比較用サンプル画像が形成異常（Ｄｙｓｐｌａｓｉａ）エリアの白色光画像であり、図１０Ａに示す比較用サンプル画像が食道癌（ＳＣＣ）エリアの白色光画像であり、図９Ｂおよび図１０Ｂは当該白色光画像が本発明の方法によって出力された模擬ＮＢＩ画像であり、本発明の模擬ＮＢＩ画像からわかるように、病巣場所（目標物体画像ＴＡ）が比較的に顕著であり、背景画像ＢＧとの比較度を向上させ、医療従事者が観察しやすいことが明らかである。

【0094】

以上をまとめると、本発明の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法は、ホストはハイパースペクトル画像情報を取得し、ハイパースペクトル画像情報に基づいて入力画像をハイパースペクトル画像に変換、続いてハイパースペクトル画像を周波数帯域による選択に基づいて、引き続き畳み込みプログラムを実行し、ホストに畳み込みニューラルネットワークを構築させ、画像キャプチャユニットの入力画像を畳み込み、検出したい選出領域を選出し、入力画像上に予測ボックスを形成し、回帰演算を行い、境界ボックスにより測定対象物画像の位置合わせをし、最後にサンプル画像との比較を行い、比較結果を用いて目標物体画像と非目標物体画像に分類し、ハイパースペクトル技術にて物体画像の識別を支援する目的を達成できる。

【0095】

したがって、本発明は実際に新規性、進歩性及び産業上の利用可能性を有するため、台湾特許法の特許出願要件に合致すべきであることは間違いなく、法により発明特許を出願し、貴庁が早期に特許を賜ることを祈念し、切に希望する。

【0096】

ただし、上記のものは、本発明の優れた実施例にすぎず、本発明の実施範囲を限定するためのものではなく、本発明の特許出願の範囲に記載された形状、構造、特徴及び精神に基づいた均等な変化及び修飾は、すべて本発明の特許出願の範囲内に含まれる。

【符号の説明】

【0097】

１ 検出システム
１０ ホスト
１２ 処理ユニット
１４ メモリ
１６ 格納ユニット
２０ 画像キャプチャユニット
３０ リポジトリ
Ｂ 境界ボックス
ＢＡＮＤ 周波数帯域
Ｂｃ 第２の中心点
ＢＧ 背景画像
ＢＧＩ 周辺画像
Ｃ 畳み込みカーネル
ＣＥＬＬ 細胞
ＣＮＮ 畳み込みニューラルネットワーク
Ｄ 予測ボックス
Ｄｃ 第１の中心点
Ｆ１ 第１のハイパースペクトル特徴値
Ｆ２ 第２の特徴値
ＨＳＡ ハイパースペクトル画像情報
ＨＹＩ ハイパースペクトル画像
ＩＭＧ 入力画像
Ｏ１ 測定対象物画像
Ｏ１Ｒ 物体参照画像
Ｏ２ 選択画像
Ｐ 畳み込みプログラム
Ｒ 比較結果
ＲＥＦ 参照画像
ＳＡ サンプル画像
ＳＩＭ 模擬画像
ＴＡ 目標物体画像
ＮＴＡ 非目標物体画像
Ｓ１０～Ｓ４２ ステップ

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図2G】

【図2H】

【図2I】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】