特許 7142754 畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-09-15

(45)【発行日】2022-09-27

(54)【発明の名称】畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20220916BHJP

   G06T 7/00 20170101ALI20220916BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 614

A61B1/045 616

G06T7/00 614

G06T7/00 350C

【請求項の数】 10

(21)【出願番号】P 2021135019

(22)【出願日】2021-08-20

【審査請求日】2021-08-20

(31)【優先権主張番号】110126333

(32)【優先日】2021-07-16

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】521369655

【氏名又は名称】ナショナル チュン チェン ユニバーシティ

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】シャン－チェン ワン

(72)【発明者】

【氏名】ツオン－ユ ヤン

(72)【発明者】

【氏名】ユ－シェン チ

(72)【発明者】

【氏名】ティン－チゥン メン

【審査官】鷲崎 亮

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０３１９１４７（ＵＳ，Ａ１）

【文献】特開２０２０－０７３０８１（ＪＰ，Ａ）

【文献】国際公開第２０２０／０７９４３２（ＷＯ，Ａ１）

【文献】欧州特許出願公開第０３７１６１３６（ＥＰ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法であって、
コンピュータ本体は、少なくとも１つの物体参照画像と背景参照画像とを含む参照画像に基づいてハイパースペクトル画像情報を取得するステップ、
画像取込ユニットは、少なくとも１つの測定対象物画像と背景画像とを含む入力画像を前記コンピュータ本体に取り込むステップ、
前記コンピュータ本体は、前記ハイパースペクトル画像情報に基づいて前記入力画像を変換し、ハイパースペクトル画像を取得するステップ、
前記コンピュータ本体は、前記ハイパースペクトル画像に基づいて分析し、複数の第１ハイパースペクトル画像ベクトルと複数の第１ハイパースペクトル特徴値を取得するステップ、
前記コンピュータ本体は、前記第１ハイパースペクトル特徴値に対して主成分分析の演算を行い、前記ハイパースペクトル画像を簡素化し、対応する複数の第２特徴値を生成するステップ、
前記コンピュータ本体は、複数の畳み込みカーネルに基づいて、前記第２特徴値に対して少なくとも１層の畳み込み演算を行い、前記背景画像をフィルタリングし、畳み込み結果を取得し、前記畳み込み結果と前記少なくとも１つの測定対象物画像に基づいて少なくとも１つの選択画像を取得し、前記畳み込みカーネルは、複数の選択特徴値と複数のエッジ特徴値とを含み、前記少なくとも１つの測定対象物画像は、複数の周辺画像と少なくとも１つの選択画像とを含み、前記周辺画像は前記少なくとも１つの選択画像を囲み、前記少なくとも１つの選択画像は前記選択特徴値に対応し、前記周辺画像は前記エッジ特徴値に対応するステップ、
前記コンピュータ本体は、前記少なくとも１つの選択画像のエッジに基づいて少なくとも１つのプリセットボックスを生成するステップ、
前記コンピュータ本体は、前記入力画像のエッジに対応する前記入力画像の境界ボックスを取込み、前記プリセットボックスの第１中心点を前記境界ボックスの第２中心点と比較し、前記プリセットボックスと前記境界ボックスとの中心変位量を取得するステップ、
前記コンピュータ本体は前記中心変位量に基づいて回帰演算を行い、回帰演算結果を取得するステップ、
前記コンピュータ本体は、前記回帰演算結果と前記プリセットボックスに基づいて前記測定対象物画像の位置合わせをし、前記第１中心点を第２中心点へ移動させるとともに、前記選択画像を前記第２中心点へ移動させるステップ、
前記コンピュータ本体は、位置合わせした後の前記測定対象物画像を少なくとも１つのサンプル画像とマッチング・比較し、比較結果を生成するステップ、および
前記コンピュータ本体は、前記比較結果に基づいて前記入力画像が目標物体画像であると判断するステップを含む方法。

【請求項2】

前記コンピュータ本体が複数の畳み込みカーネルに基づいて前記第２特徴値に対して少なくとも１層の畳み込み演算を行うステップにおいて、前記コンピュータ本体は、前記畳み込みカーネルをｍ×ｎ×ｐとして、且つ、前記入力画像の複数の画素値を複数の画素正規値に正規化し、前記畳み込みカーネルに前記画素正規値を乗算し、畳み込み層で前記第２特徴値を取込み、且つ、ｍ＝ｎであり、ｍは１、３、５、１０、１９または３８である、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。

【請求項3】

前記畳み込み結果と前記少なくとも１つの測定対象物画像に基づいて少なくとも１つの選択画像を取得するステップにおいて、前記コンピュータ本体は、前記選択特徴値の存在領域を統合し、前記入力画像で前記少なくとも１つの選択画像を取得する、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。

【請求項4】

前記コンピュータ本体が複数の畳み込みカーネルに基づいて前記第２特徴値に対して少なくとも１層の畳み込み演算を行うステップにおいて、前記コンピュータ本体は、ＳＳＤモデルに基づいて、前記入力画像の各画素に対して畳み込みを行い、前記第２特徴値を検出する、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。

【請求項5】

前記コンピュータ本体が前記中心変位量に基づいて回帰演算を行うステップにおいて、前記コンピュータ本体は、前記プリセットボックスの第１位置、前記境界ボックスの第２位置およびスケール因子で前記回帰演算を行い、前記測定対象物画像の位置合わせをする、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。

【請求項6】

前記コンピュータ本体が前記測定対象物画像を少なくとも１つのサンプル画像とマッチング・比較するステップにおいて、前記コンピュータ本体は、全結合層で前記測定対象物画像を前記少なくとも１つのサンプル画像とマッチング・比較をする、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。

【請求項7】

比較結果に基づいて前記入力画像が目標物体画像であると判断するステップにおいて、前記コンピュータ本体は前記少なくとも１つのサンプル画像に基づいて前記入力画像が目標物体画像であると判断できない場合、前記コンピュータ本体は前記少なくとも１つのサンプル画像に基づいて前記測定対象物画像を近似比較する、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。

【請求項8】

前記コンピュータ本体が前記少なくとも１つのサンプル画像に基づいて前記測定対象物画像を近似比較するステップにおいて、前記コンピュータ本体が前記測定対象物画像の近似度が近似閾値よりも大きいと判断した場合、前記コンピュータ本体は前記入力画像が前記目標物体画像であると判断する、請求項７に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。

【請求項9】

前記ハイパースペクトル画像情報は、前記入力画像に対応する複数の白色光画像と複数の狭帯域画像であり、且つ、複数の等色関数、補正マトリクスと変換マトリクスを含む、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。

【請求項10】

前記コンピュータ本体は、位置合わせした後の前記測定対象物画像を少なくとも１つのサンプル画像とマッチング・比較するステップにおいて、前記コンピュータ本体はリポジトリから前記少なくとも１つのサンプル画像を読み取り、位置合わせした後の前記測定対象物画像に基づいて前記マッチング・比較をする、請求項１に記載の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理の方法に関し、特に、畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法に関する。

【背景技術】

【0002】

食道は咽頭と胃を接続する管状器官であり、主に口から飲み込んだ食物を胃に送るための器官である。正常な食道粘膜は、多層の扁平上皮細胞を有し、厚さは約２００～５００μｍであり、表面から下へは、粘膜上皮層(EP)、粘膜固有層(LPM)、粘膜筋板層(MM)、粘膜下層(SM)および固有筋層(MP)に分けることができる。上皮組織に発生する悪性腫瘍はがんと呼ばれ、世界では食道がんは８番目に多いがんである。また、通常、悪性腫瘍(CancerまたはMalignant tumorと呼ばれる)は、生理機能に影響を及ぼし、肉腫(Sarcoma)、リンパ腫(lymphoma)、白血病(leukemia)、メラノーマ(melanoma)、癌肉腫(carcinosarcoma)、悪性神経膠腫(Malignant glioma)などを含む。

【0003】

結合組織に発生する悪性腫瘍は肉腫と呼ばれる。いわゆる結合組織は、繊維組織、脂肪組織、筋肉、血管、骨および軟骨を含む。また、リンパ腫や白血病は造血組織に発生する。メラノーマは皮膚細胞に発生する。上皮組織および結合組織に同時に発生する悪性腫瘍は癌肉腫と呼ばれる。また、悪性神経膠腫は神経組織に発生する悪性腫瘍である。食道がんの悪性腫瘍は食道の上皮組織に浸潤するだけでなく、後期には結合組織にも浸潤する。

【0004】

現在の疾病診断技術は、通常、体温、血圧、身体スキャン画像などの単一のマクロ資料と情報に依存している。例えば、がんのような重大な疾患を検出するために、現在一般的に使用されている機器のほとんどは、Ｘ線、ＣＴスキャン、核磁気共鳴（NMR）画像化技術を含む画像技術に基づいた装置である。これらの診断装置を組み合わせて使用すると、程度の差があるが、疾患の診断に有用である。しかし、これらの装置を単独で使用する場合、重大な疾病が発病した早期段階では、正確的で、高精度で、効率的で、経済的な検出ができない。さらに、Ｘ線、ＣＴスキャン、核磁気共鳴（NMR）画像化などの上記従来の装置の多くは、大型であり侵襲性がある。そこで、消化器官の病巣を観察するために、内視鏡検査が開発され、消化器官に病巣が存在するかどうかを検査する。

【0005】

また、早期の食道がんは診断が容易ではないが、早期にはほとんど症状がなかったたけでなく、食道内視鏡検査を受けても一部の早期食道がんは発見されにくい。これらの病巣の変化は非常に細かく、わずかな色の変化しかない場合が多いため、従来の内視鏡検査では多くの早期食道がん病変が見落とされ、治療が手遅れになる。そのため、発見されにくい病巣に対して、ヨウ素染色体内視鏡（Lugol chromoendoscopy）、狭帯域画像技術（Narrow Band Image、NBI）、拡大内視鏡（Magnifying Endoscopy）が開発された。

【0006】

しかし、内視鏡の操作は非常に複雑で、資格のある医療スタッフのみが内視鏡検査を行うことができる。さらに医療スタッフは内視鏡を操作しながら、病巣を識別しなければならない。内視鏡検査の方法は様々な改良が行われてきたが、人為的な操作ミスや内視鏡画像の識別が困難などの課題は依然存在する。

【0007】

上記の課題に基づいて、本発明は、畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法を提供する。該方法は、コンピュータ本体が畳み込み演算を実行し、入力画像に畳み込みニューラルネットワークの演算を適用し、特徴画像を取得し、測定対象物画像を推定し、さらに、測定対象物画像とサンプル画像とを比較摺ることにより、測定対象物画像を目標物体画像または非目標物体画像に分類し、画像の人工的識別が困難という課題を解決する。

【発明の概要】

【0008】

本発明の主な目的は、畳み込みニューラルネットワークの演算によって、特徴画像を取得し、測定対象物画像を推定し、さらに、測定対象物画像とサンプル画像とを比較することにより、測定対象物画像を目標物体画像または非目標物体画像に分類する、畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法を提供する。

【0009】

前記目的を達成するために、本発明は畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法を提供する。まず、コンピュータ本体は参照映像に基づいてハイパースペクトル画像情報を取得し；画像取込ユニットは、少なくとも１つの測定対象物画像と背景画像とを含む入力画像をコンピュータ本体に提供し；その後、前記コンピュータ本体は前記ハイパースペクトル画像情報に基づいて前記入力画像を変換し、ハイパースペクトル画像を取得し、前記コンピュータ本体は前記ハイパースペクトル画像に基づいて分析し、複数の第１ハイパースペクトル特徴値を取得し；続いて前記コンピュータ本体は前記第１ハイパースペクトル特徴値に対して主成分分析の演算を行い、対応する複数の第２特徴値を生成し；その後、前記コンピュータ本体は、複数の畳み込みカーネルに基づいて、前記第２特徴値に対して少なくとも１層の畳み込み演算を行い、畳み込み結果を取得し、前記畳み込み結果と前記少なくとも１つの測定対象物画像に基づいて、少なくとも１つの選択画像を取得し、前記畳み込みカーネルは複数の選択特徴値と複数のエッジ特徴値とを含み、前記少なくとも１つの測定対象物画像は複数の周辺画像と前記少なくとも１つの選択画像を含み、前記周辺画像は前記少なくとも１つの選択画像を囲み、前記少なくとも１つの選択画像は前記選択特徴値に対応し、前記周辺画像は前記エッジ特徴値に対応し；続いて、前記コンピュータ本体は、前記少なくとも１つの選択画像のエッジに基づいて少なくとも１つのプリセットボックスを生成し、前記入力画像の境界ボックスを取得し、さらに、前記コンピュータ本体は、前記プリセットボックスの第１中心点を前記入力画像の境界ボックスの第２中心点と比較し、前記プリセットボックスと前記境界ボックスとの中心変位量を取得し、前記コンピュータ本体は前記中心変位量に基づいて回帰演算を行い、前記プリセットボックス内の前記測定対象物画像を位置合わせ、前記プリセットボックスと前記境界ボックスとの中心点を重ねあわせるとともに、選択画像を境界ボックスの中心点へ移動させ；最後に、前記コンピュータ本体は、前記測定対象物画像と少なくとも１つのサンプル画像とを比較し、比較結果を生成し、前記コンピュータ本体は前記比較結果に基づいて前記入力画像を目標物体画像または非目標物体画像に分類する。このように、本発明では、コンピュータ本体は、畳み込みにより、目標物体画像の特徴を検出し、さらに、サンプル画像と、プリセットボックスが選定した測定対象物画像とを比較し、入力画像を目標物体画像または非目標物体画像に分類する。これにより、自動的に識別することができ、識別が困難という課題を解決できる。

【0010】

本発明の一実施例では、前記コンピュータ本体が複数の畳み込みカーネルと前記第２特徴値とを比較するステップにおいて、前記コンピュータ本体は、前記畳み込みカーネルをｍ×ｎ×ｐとして、且つ、前記入力画像の複数の画素値を複数の画素正規値に正規化し、前記畳み込みカーネルに前記画素正規値を乗算し、畳み込み層で前記第２特徴値を取込み、且つ、ｍ＝ｎであり、ｍは１、３、５、１０、１９または３８である。

【0011】

本発明の一実施例では、前記畳み込み結果と前記少なくとも１つの測定対象物画像に基づいて少なくとも１つの選択画像を取得するステップにおいて、前記コンピュータ本体は、前記選択特徴値の存在領域を統合し、前記入力画像で前記少なくとも１つの選択画像を取得し、少なくとも１つの選択画像でプリセットボックスを設置する。

【0012】

本発明の一実施例では、前記コンピュータ本体が前記入力画像を複数の特徴値に変換し、複数の畳み込みカーネルで前記特徴値を検出するステップにおいて、前記コンピュータ本体は、ＳＳＤモデルに基づいて、前記入力画像の各画素に対して畳み込みを行い、前記第２特徴値を検出する。

【0013】

本発明の一実施例では、前記コンピュータ本体が前記中心変位量に基づいて回帰演算を行うステップにおいて、前記コンピュータ本体は、前記プリセットボックスの第１位置、前記境界ボックスの第２位置およびスケール因子で前記回帰演算を行い、前記測定対象物画像の位置合わせをする。

【0014】

本発明の一実施例では、前記コンピュータ本体が前記測定対象物画像を少なくとも１つのサンプル画像と比較するステップにおいて、前記コンピュータ本体は、全結合層で前記測定対象物画像を少なくとも１つのサンプル画像と分類・比較をする。

【0015】

本発明の一実施例では、比較結果に基づいて前記入力画像を目標物体画像または非目標物体画像に分類するステップにおいて、前記コンピュータ本体は、前記プリセットボックス中の前記測定対象物画像が前記少なくとも１つのサンプル画像と一致すると認識できない場合、前記コンピュータ本体は、前記入力画像を非目標物体画像に分類し、逆の場合、前記入力画像を目標物体画像に分類する。

【0016】

本発明の一実施例では、前記比較結果に基づいて前記入力画像を目標物体画像または非目標物体画像に分類するステップにおいて、前記コンピュータ本体は前記入力画像を非目標物体画像に分類した時、前記コンピュータ本体は、前記少なくとも１つのサンプル画像と前記測定対象物画像とを改めて比較し、前記コンピュータ本体が前記測定対象物画像の近似度が近似閾値よりも大きいと判断した場合、前記コンピュータ本体は前記入力画像を前記目標物体画像に分類し、逆の場合、前記コンピュータ本体は前記入力画像を前記非目標物体画像に分類する。

【0017】

本発明の一実施例では、前記ハイパースペクトル画像情報は、複数の白色光画像と複数の狭帯域画像に対応し、複数の等色関数、補正マトリクスと変換マトリクスを含む

【図面の簡単な説明】

【0018】

【図1】本発明の一実施例の、畳み込みにより画像を検出する流れを示す図である。

【図2A】本発明の一実施例の一部のステップを示す図である。

【図2B】本発明の一実施例の一部のステップを示す図である。

【図2C】本発明の一実施例の一部のステップを示す図である。

【図2D】本発明の一実施例の一部のステップを示す図である。

【図2E】本発明の一実施例の一部のステップを示す図である。

【図2F】本発明の一実施例の一部のステップを示す図である。

【図2G】本発明の一実施例の一部のステップを示す図である。

【図2H】本発明の一実施例の一部のステップを示す図である。

【図3】本発明の一実施例の畳み込みカーネルと入力画像を示す図である。

【図4】本発明の一実施例の存在領域を示す図である。

【図5】本発明の一実施例のプリセットボックスの設置を示す図である。

【図6】本発明の一実施例の中心点変位を示す図である。

【図7】本発明の一実施例でプリセットボックスと背景ボックスとを重ね合せることを示す図である。

【図8】本発明の実際の操作を示す図である。

【発明を実施するための形態】

【0019】

貴審査委員に本発明の特徴および達成できる効果について更なる理解と認識をしていただくため、下記のように実施例を参照しながら説明する。

【0020】

内視鏡の操作が複雑であるため人為的な操作ミスまたは画像の認識が困難になることが知られている。本発明は、内視鏡技術に起因する人為的な操作ミスまたは画像の認識の困難さという周知の課題を解決するために、ハイパースペクトルを用いて物体の画像を検出する方法を提案する。

【0021】

以下では、畳み込みニューラルネットワークを使用して食道癌の画像を検出するための本発明の方法の特性、および対応するシステムをさらに説明する。

【0022】

まず、本発明の一実施例のラウンドゲームのフローチャートである第１図を参照する。図のように、ハイパースペクトルを用いて物体画像を検出するための本発明の方法は次のステップを含む。

【0023】

参照画像からハイパースペクトル画像情報を取得するステップＳ０５、
画像取込ユニットは、入力画像をコンピュータ本体に取り込むステップＳ１０、
ハイパースペクトル画像情報に基づいて入力画像を変換し、ハイパースペクトル画像を取得するステップＳ１２、
ハイパースペクトル画像に基づいて分析し、第１ハイパースペクトル画像ベクトルと第１ハイパースペクトル特徴値を取得するステップＳ１４、
第１ハイパースペクトル画像ベクトルと第１ハイパースペクトル特徴値に対して主成分分析の演算を行い、第２画像ベクトルと、対応する第２特徴値とを生成するステップＳ１６、
畳み込みカーネルに基づいて、第２画像ベクトルと第２特徴値に対して畳み込み演算を行い、畳み込み結果を取得し、畳み込み結果と測定対象物画像に基づいて選択画像を取得するステップＳ２０、
コンピュータ本体は、選択画像のエッジに基づいてプリセットボックスを生成するステップＳ３０、
コンピュータ本体は、入力画像の境界ボックスを取込み、プリセットボックスの第１中心点と境界ボックスの第２中心点とを比較し、プリセットボックスと境界ボックスとの中心変位量を取得するステップＳ４０、
コンピュータ本体は、中心変位量に基づいて回帰演算を行い、回帰演算結果を取得するステップＳ５０、
コンピュータ本体は、回帰演算結果とプリセットボックスに基づいて測定対象物画像を位置合わせし、第１中心点を第２中心点へ移動させるとともに、選択画像を第２中心点へ移動させるステップＳ５５、
コンピュータ本体は、測定対象物画像とサンプル画像とを比較し、比較結果を生成するステップＳ６０、および
コンピュータ本体は、比較結果に基づいて入力画像を目標物体画像または非目標物体画像に分類するステップＳ７０。

【0024】

図２Ａ～図２Ｈを参照する。本発明の畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法に関連する検出システム１は、コンピュータ本体１０と画像取込ユニット２０とを含み、本実施例は、コンピュータ本体１０として、処理ユニット１２、メモリ１４および格納ユニット１６を有するコンピュータ本体が挙げられるが、これに限定されない。サーバ、ノートパソコン、タブレットまたは基礎的な演算能力を有する電子装置は何れも本発明のコンピュータ本体１０である。リポジトリ３０は、格納ユニット１６に設けられるが、これに限定されず、コンピュータ本体１０の外部接続格納ユニットであってもよい。コンピュータ本体１０は、処理ユニット１２により畳み込みプログラムＰを実行し、対応する畳み込みニューラルネットワークＣＮＮを形成する。さらに、本実施例では、画像取込ユニット２０は、例えば、膀胱鏡、胃鏡、大腸鏡、気管支鏡、腹腔鏡など、体内の器官組織を検査するための内視鏡である。

【0025】

ステップＳ０５で、図２Ａに示すように、前記コンピュータ本体１０は、画像取込ユニット２０に対応する参照画像ＲＥＦを読み取り、前記入力画像ＲＥＦは、少なくとも１つの測定対象物画像Ｏ１および背景画像ＢＧを含み、前記入力画像ＲＥＦはリポジトリ３０に格納されている白色光画像(White light image)と狭帯域画像(Narrow band image)であってもよく、または、画像取込ユニット２０により２４カラーチェッカーから取り込まれた参照色であってもよい。本実施例の画像取込ユニット２０は、白色光内視鏡OLYMPUS EVIS LUCERA CV-260 SLにより、対応する白色光参照画像を取得し、狭帯域内視鏡OLYMPUS EVIS LUCERA CLV-260により、対応する狭帯域参照画像を得る。つまり、少なくとも１つの物体参照画像Ｏ１Ｒおよび背景参照画像ＢＧＲは、それぞれ参照画像ＲＥＦの白色光参照画像と狭帯域参照画像の中に存在する。

【0026】

図２Ａを参照すると、前記コンピュータ本体１０は前記参照画像ＲＥＦに基づいてハイパースペクトル画像情報ＨＳＡを取得し、即ち、可視光ハイパースペクトル技術(Visible Hyperspectral Algorithm, VIS-HSA)によって、画像取込ユニット２０から取り込まれた入力画像に対して演算を行い、一般画像色域空間(つまり取込画像の色域空間)をＸＹＺ色域空間(1931XYZ Color space)に変換する(例えば、ｓＲＧＢ色域空間からＸＹＺ色域空間へ変換する)ための変換方程式を得る。本発明のハイパースペクトル画像情報は、可視光ハイパースペクトル技術に対応する可視光帯域ハイパースペクトルであり、且つ、自然界でよく見られる主な色（赤、緑、青、グレー）を含む２４カラーチェッカー(X-Rite Classic, 24 Color Checkers)に対応する。ハイパースペクトル画像情報ＨＳＡは前記複数の白色光画像と複数の狭帯域画像に対応し、且つ、複数の等色関数(Color matching functions, CMF)、補正マトリクスＣおよび変換マトリクスＭを含む。

【0027】

以上により、変換するための最初のステップは、参照画像ＲＥＦと分光器を同じＸＹＺ色域空間に変換する必要がある。以下は参照画像ＲＥＦの変換式。

【0028】

【数1】

【0029】

【数2】

【0030】

【数3】

【0031】

【数4】

【0032】

f(n)はｇａｍｍａ関数であり、Ｔは変換マトリクスであり、[M_A]は色順応変換マトリクスである。

【0033】

以下は、分光器が取り込んだ反射スペクトルデータをＸＹＺ色域空間に変換するための式である。

【0034】

【数5】

【0035】

【数6】

【0036】

【数7】

【0037】

ｋは下記式(八)のとおりである。

【0038】

【数8】

【0039】

【数9】

【0040】

【数10】

【0041】

【数11】

【0042】

は等色関数であり、

【0043】

【数12】

【0044】

は内視鏡で撮影した光源スペクトルである。ＸＹＺ色域空間のＹ値は輝度と正比例するため、式(九)により光源スペクトルＹ値の最大輝度が得られる。さらに、Ｙ値の上限を１００とすることにより、輝度の所期の比例ｋが得られ、式(五)～式(七)でＸＹＺ値[XYZ_spectrum]が得られる。

【0045】

さらに、下記式(十)の補正マトリクスＣで内視鏡画像の補正を行う。

【0046】

【数13】

【0047】

内視鏡の非線/性応答、内視鏡の暗電流、カラーフィルタの色分離の不正確さ、および、色ずれ（例えばホワイトバランス）などを含む内視鏡の誤差を引き起こす要因を分析することにより変数マトリクス[V]が得られ、ＸＹＺ値[XYZ_spectrum]を補正する。

【0048】

狭帯域画像と白色光画像は３階演算の演算結果が近似するため、非線性応答の補正は３階方程式で行われ、内視鏡の非線性応答は下記式(十一)を用いた。

【0049】

【数14】

【0050】

一般的に、内視鏡における暗電流は一定値であり、入光量の変化に伴う大幅な変化はないため、暗電流の影響を定数と見なし、暗電流の補正変数をＶＤａｒｋと定義し、以下記式（１２）で暗電流の影響を補正する。

【0051】

【数15】

【0052】

カラーフィルタの色分離の不正確さ、および、色ずれの補正変数はV_colorと定義し、

【0053】

【数16】

【0054】

【数17】

【0055】

【数18】

【0056】

はＲＧＢ色域空間からＸＹＺ色域空間へ変換するための等色関数であり、

【0057】

【数19】

【0058】

【数20】

【0059】

【数21】

【0060】

の３者間の関連性によってＸ、Ｙ、Ｚの間の可能性を下記式(十三)のように順列・組み合わせる。これにより、内視鏡画像のカラーフィルタの色分離の不正確さ、および、色ずれを補正する。

【0061】

【数22】

【0062】

上記式(十一)～式(十三)により，下記式(十四)の補正変数マトリクスＶが推定される。

【0063】

【数23】

【0064】

上記変数マトリクスＶに補正マトリクスＣを組み合わせることにより，下記式(十五)のように、補正後のＸ、Ｙ、Ｚ値[XYZ_Correct]を得る。

【0065】

【数24】

【0066】

白色光画像は[XYZ_Correct]と[XYZ_spectrum]では平均誤差値は１．４０であり、狭帯域画像は[XYZ_Correct]と[XYZ_spectrum]では平均誤差値は２．３９である。

【0067】

以上の計算は可視光帯域３８０ｎｍ～７８０ｎｍの光波長帯域を用いるため、内視鏡の補正結果は色収差で示され、[XYZ_Correct]と[XYZ_spectrum]はCIE DE2000の対応するLab色域空間に変換され、色域空間変換関数式は下記式(十六)～式(十八)の通りである。

【0068】

【数25】

【0069】

【数26】

【0070】

【数27】

【0071】

ｆ（ｎ）は下記式(十九)の通りである。

【0072】

【数28】

【0073】

白色光画像は補正前の色差値が平均１１．４、補正後の色差値が平均２．８４であるが、狭帯域画像は補正前の色差値が平均２９．１４、補正後の色差値が平均２．５８である。

【0074】

ステップＳ１０において、図２Ｂのように、コンピュータ本体１０は、画像取込ユニット２０から入力画像ＩＭＧを取得し、前記入力画像ＩＭＧは、参照画像ＲＥＦと同様に、白色光画像と狭帯域画像とを有してもよい。本実施例の画像取込ユニット２０は、白色光内視鏡OLYMPUS EVIS LUCERA CV-260 SLに対応する白色光画像、および、狭帯域内視鏡OLYMPUS EVIS LUCERA CLV-260に対応する狭帯域画像である。ステップＳ１２において、コンピュータ本体１０は、前記入力画像ＩＭＧの解像度が例えば１０ｎｍなどの解像度閾値を満たす場合、前記入力画像ＩＭＧがハイパースペクトル画像(hyperspectral image)の解像度閾値に合致すると判断する。ステップＳ０５で得られたハイパースペクトル画像情報ＨＳＡに基づいて、入力画像ＩＭＧをハイパースペクトル画像ＨＹＩに変換し、その後、ステップＳ１４を実行する。

【0075】

引き続き、ステップＳ１４において、前記コンピュータ本体は前記ハイパースペクトル画像ＨＹＩに基づいて対応する複数の第１ハイパースペクトル特徴値Ｆ１を取得する。ステップＳ１６において、前記コンピュータ本体１０はステップＳ１４で前記第１ハイパースペクトル特徴値Ｆ１を取得し、主成分分析(Principal components analysis,PCA)の演算を行い、演算結果を簡素化するために、変化量の低い特徴値をフィルタリングし、ハイパースペクトル画像ＨＹＩを簡素化し、複数の第２特徴値Ｆ２を生成する。ＰＣＡの演算式は下記式(二十)の通りである。

【0076】

【数29】

【0077】

また、

【0078】

【数30】

【0079】

～

【0080】

【数31】

【0081】

は１番目～ｎ番目の波長のスペクトル強度値を表し、

【0082】

【数32】

【0083】

～

【0084】

【数33】

【0085】

は１番目～ｎ番目の波長のスペクトル所期値(平均スペクトル強度値)を表し、a_j1～a_jnは、スペクトルにより共分散計算を行う際の共分散マトリクスの特徴ベクトル係数を表す。主成分分析により、４０１次元スペクトル情報の次元削減をし、最初の３次元のみを求め、演算の複雑さを低減させる。

【0086】

さらに、まず、下記式(二十一)のように、上記得られた補正値[XYZ_Correct]と、上記２４カラーチェッカーに対応する反射スペクトルデータ[R_spectrum]とを組み合わせ、演算により対応する変換マトリクスＭを求める。

【0087】

【数34】

【0088】

【数35】

【0089】

[Score]は反射スペクトルデータ[R_spectrum]を主成分分析し、複数組の主成分(ＥＶ)を求める。本実施例は、解釈能力(重み百分比８８.０４１７％、８.２２１２％、２.６４２２％、０.６０９％、０.２２３８２％、０.１０４３２％、０.０５４６５８％、０.０４７２％、０.０２６３８％、０.０１２１８４％、０.０１０９５２％、０.００２８７１４％)が比較的に良い１２組の主成分を用いて次元削減演算を行う。アナログスペクトル[S_spectrum]_380-780を取得し、アナログスペクトル[S_spectrum]_380-780は、入力画像ＩＭＧに対応する[XYZ_spectrum]の誤差が、白色光画像では１１.６０から２.８５に補正され、狭帯域画像では２９.１４から２.６０補正される。肉眼では容易に認識できない色誤差が達成され、使用者が色再現を必要とする場合には、良好な色再現効果が得られ、可視光帯域内の良好なハイパースペクトル画像をシミュレートすることができる。

【0090】

ステップＳ２０において、図２Ｃと図３のように、前記コンピュータ本体１０は、ステップＳ１４～ステップＳ１６で前記入力映像ＩＭＧから得られた第２特徴値Ｆ２について、特に０～１の間で、複数の畳み込みカーネルＣを用いて、前記入力映像ＩＭＧに対応する複数の第２特徴値Ｆ２を検出する。これらの畳み込みカーネルＣは、前記少なくとも１つの測定対象物画像Ｏ１の複数の選択画像Ｏ２に対応する選択特徴値Ｆ２２、および、少なくとも１つの測定対象物画像Ｏ１の隣接周辺画像ＢＧＩに対応するエッジ特徴値Ｆ２４を含み、これにより、測定対象物画像Ｏ１を含まない背景画像ＢＧをフィルタリングすることができる。前記コンピュータ本体は、ＳＳＤ(Single Shot Multibox Detector)モデルに基づいて、前記入力画像の各画素ユニットに対して畳み込みを行い、前記特徴値を検出する。前記畳み込みカーネルＣは、前記少なくとも１つの測定対象物画像Ｏ１の複数の選択画像Ｏ２に対応する選択特徴値Ｆ２２、および、隣接エッジの周辺画像ＢＧＩに対応するエッジ特徴値Ｆ２４に対応する。

【0091】

図２Ｃと図３に示すように、前記入力画像ＩＭＧはｍ×ｎ画素ユニットであり、Ｐ個のチャネルにより特徴を抽出する。前記畳み込みカーネルＯ１はｍ×ｍ×ｐユニットであり、且つｍ＝ｎであり、例えば、１×１×ｐ、３×３×ｐ、５×５×ｐ、１０×１０×ｐ、１９×１９×ｐまたは３８×３８×ｐである。畳み込みカーネルＣにより前記入力画像ＩＭＧ上の測定対象物画像Ｏ１と前記背景画像ＢＧを検出し、前記背景画像ＢＧをフィルタリングし、後続スッテプで前記背景画像ＢＧの処理を省く。前記入力画像ＩＭＧに対応する第２特徴値Ｆ２は、処理ユニット１２により、対応する選択特徴値Ｆ２２とエッジ特徴値Ｆ２４に変換され、処理ユニット１２は畳み込みカーネルＣに、入力画像ＩＭＧに対応する第２特徴値Ｆ２を乗算し、異なる畳み込み結果Ｒを取得し、結果が同じな場合は１、相違な場合は－１の値を取得し、これにより、関連しない背景画像ＢＧをフィルタリングする。図４のように、入力画像ＩＭＧに対応する第２特徴値Ｆ２で、一部の前記選択特徴値Ｆ２２に対応する一部または全部前記少なくとも１つの測定対象物画像Ｏ１を取得し、これにより、一部または全部前記少なくとも１つの測定対象物画像Ｏ１の存在領域Ａを取得する。

【0092】

ステップＳ３０において、図２Ｄと図５のように、コンピュータ本体１０は、前記少なくとも１つの測定対象物画像Ｏ１の存在領域Ａに基づいて少なくとも１つの選択画像Ｏ２を取得し、つまり畳み込みプログラムＰにより選択特徴値Ｆ２２とエッジ特徴値Ｆ２４を取得し、対応する少なくとも１つのプリセットボックスＤを形成し、図６のように、前記入力画像ＩＭＧのエッジは初期境界ボックスＢであり、プリセットボックスＤの辺長は

【0093】

【数36】

【0094】

、最大辺長は

【0095】

【数37】

【0096】

、下記式(一)で辺長s_kを求める。

【0097】

【数38】

【0098】

同時に、下記式(二)、式(三)によって辺長s_kに基づいて高さと幅を計算する。

【0099】

【数39】

【0100】

【数40】

【0101】

h_kはｋ番目の特徴図の矩形の先験的ボックスの高さ、w_kは矩形の先験的ボックスの幅、a_rはプリセットボックスＤの縦横比、a_rは０より大きい。

【0102】

ステップＳ４０において、図２Ｆと図６に示すように、コンピュータ本体１０は、処理ユニット１２により、入力画像ＩＭＧに対応する境界ボックスＢを取込み、畳み込みプログラムＰを実行し、前記プリセットボックスＤの第１中心点Ｄｃと、前記入力画像ＩＭＧの境界ボックスＢの第２中心点Ｂｃとを取込み、第１中心点Ｄｃと第２中心点Ｂｃとの中心点変位量ＤＩＳを取得し、続いて、ステップＳ５０において、図２Ｅと図７のように、コンピュータ本体１０は、処理ユニット１２において、さらに、プリセットボックスＤと境界ボックスＢの中心点変位量ＤＩＳに基づいて回帰演算ＬＯＯＰを以下のように行う。

【0103】

【数41】

【0104】

【数42】

【0105】

【数43】

【0106】

【数44】

【0107】

【数45】

【0108】

【数46】

【0109】

【数47】

【0110】

「まず、境界ボックスＢの中心座標を予測検出ボックスＤの中心座標に位置合わせする」とは、まず、境界ボックスＢの中心点を予測検出ボックスＤの中心点へ平行移動させ、つまり、図６の第１中心点Ｄｃと第２中心点Ｂｃとを重ねあわせ、次には、式(七)と式(八)のように、境界ボックスのサイズをプリセットボックスＤに近似する大きさにズームし、式(九)と式(十)のように、上記平行移動変換とサイズズームを経て、境界ボックスＢを予測検出ボックスＤの位置に無限に近づかせることができ、ステップＳ５５において、コンピュータ本体１０は、処理ユニット１２により実行された畳み込みプログラムＰにかかる畳み込みニューラルネットワークＣＮＮにより、境界ボックスＢのサイズを予測検出ボックスＤの位置に無限に近づかせるまで回帰演算を行いつつ、測定対象物画像Ｏ１について、プリセットボックスＤと境界ボックスＢとを重ねあわせ、測定対象物画像Ｏ１の位置を正確に定義し、つまり、第１中心点Ｄｃを第２中心点Ｂｃへ移動させるとともに、選択画像(つまり、プリセットボックスＤ内の画像)を第２中心点Ｂｃへ移動させる。

【0111】

また、測定対象物画像Ｏ１の位置を比較的正確に定義するために、さらに、下記式(八)のような損失方程式を組み合わせることができる。

【0112】

【数48】

【0113】

そこで、予測プリセットボックスＤの位置と測定対象物画像Ｏ１の位置との誤差を検証する。

【0114】

ステップＳ６０において、図２Ｇのように、コンピュータ本体１０は、処理ユニット１２が測定対象物画像Ｏ１の位置合わせをした後、測定対象物画像Ｏ１とリポジトリ３０内のサンプル画像ＳＡとの１回目の比較を行い、比較結果Ｒを取得し、続いて、ステップＳ７０において、図２Ｈのように、コンピュータ本体１０は、処理ユニット１２により実行された畳み込みプログラムＰにより、比較結果Ｒに基づいて入力画像ＩＭＧを目標物体画像ＴＡまたは非目標物体画像ＮＴＡに分類する。例えば、悪性腫瘍の場合、コンピュータ本体１０の処理ユニット１２により実行された畳み込みプログラムＰは、プリセットボックスＤ中の測定対象物画像Ｏ１が少なくとも１つのサンプル画像ＳＡとマッチングすることを認識できない場合、コンピュータ本体１０は入力画像ＩＭＧを非目標物体画像ＮＴＡに分類し、逆の場合、コンピュータ本体１０の処理ユニット１２により実行された畳み込みプログラムＰは、入力画像分類を目標物体画像ＴＡに分類する。また、コンピュータ本体１０の処理ユニット１２により実行された畳み込みプログラムＰは、入力画像ＩＭＧを非目標物体画像ＮＴＡに分類した時、畳み込みプログラムＰは、少なくとも１つのサンプル画像ＳＡと測定対象物画像Ｏ１とを改めて比較し、畳み込みプログラムＰは、測定対象物画像Ｏ１の比較結果Ｒと目標物体画像ＴＡの近似度が近似閾値より大きいと判断した場合(例えば、近似度０～１の場合、０.５を閾値とする)、畳み込みプログラムＰは入力画像ＩＭＧを目標物体画像ＴＡに分類し、逆の場合、畳み込みプログラムＰは入力画像ＩＭＧを非目標物体画像ＮＴＡに分類する。

【0115】

図８は本発明の実際の操作を示す図である。入力画像ＩＭＧは食道内視鏡画像であり、入力画像ＩＭＧに本発明のハイパースペクトルを用いて物体の画像を検出する方法を用いて、プリセットボックスＤと境界ボックスＢを重ねあわせ、サンプル画像と比較し、比較結果Ｒを取得する。サンプル画像は異形成(Dysplasia)領域の食道内視鏡画像であり、正確率は９３.０％に達し、画像損失も６.２０に低減した。詳細には、医師は対象者に対して他の医学的診断方法で確定診断する必要があるが、本発明は症状判断の補助証拠として医者に提供することができる。

【0116】

以上をまとめると、本発明のハイパースペクトルを用いて物体の画像を検出する方法は、コンピュータ本体はハイパースペクトル画像情報を取得し、ハイパースペクトル画像情報に基づいて入力画像をハイパースペクトル画像に変換、引き続き畳み込みプログラムを実行し、コンピュータ本体に畳み込みニューラルネットワークを構築させ、画像取込ユニットの入力画像を畳み込み、検出したい選出領域を選出し、入力画像上に予測検出ボックスを形成し、回帰演算を行い、境界ボックスにより測定対象物画像の位置合わせをし、サンプル画像との比較を行い、比較結果を用いて目標物体画像と非目標物体画像に分類する。

【0117】

したがって、本発明は実際に新規性、進歩性及び産業上の利用可能性を有するため、台湾特許法の特許出願要件に合致すべきであることは間違いなく、法により発明特許を出願し、貴庁が早期に特許を賜ることを祈念し、切に希望する。

【0118】

ただし、上記のものは、本発明の優れた実施例にすぎず、本発明の実施範囲を限定するためのものではなく、本発明の特許出願の範囲に記載された形状、構造、特徴及び精神に基づいた均等な変化及び修飾は、すべて本発明の特許出願の範囲内に含まれる。

【符号の説明】

【0119】

１ 検出システム
１０ コンピュータ本体
１２ 処理ユニット
１４ メモリ
１６ 格納ユニット
２０ 画像取込ユニット
３０ リポジトリ
Ｂ 境界ボックス
Ｂｃ 第２中心点
ＢＧ 背景画像
ＢＧＩ 周辺画像
Ｃ 畳み込みカーネル
ＣＮＮ 畳み込みニューラルネットワーク
Ｄ 予測検出ボックス
Ｄｃ 第１中心点
Ｆ１ 第１ハイパースペクトル特徴値
Ｆ２ 第２特徴値
ＨＳＡ ハイパースペクトル画像情報
ＨＹＩ ハイパースペクトル画像
ＩＭＧ 入力画像
Ｏ１ 測定対象物画像
Ｏ１Ｒ 物体参照画像
Ｏ２ 選択画像
Ｐ 畳み込みプログラム
Ｒ 比較結果
ＲＥＦ 参照画像
ＳＡ サンプル画像
ＴＡ 目標物体画像
ＮＴＡ 非目標物体画像
Ｓ０５～Ｓ７０ ステップ

【要約】      （修正有）

【課題】本発明は、畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法に関する。
【解決手段】まず、参照画像に基づいてハイパースペクトル画像情報を取得し、入力画像を対応するハイパースペクトル画像に変換し、対応する特徴値を取得し、主成分分析を行い、特徴値を簡素化し、その後、畳み込みカーネルを通して特徴画像を取得し、さらに、特徴画像において、プリセットボックスと境界ボックスとを組み合わせて測定対象物画像の位置合わせをし、サンプル画像と比較して、前記測定対象物画像を目標物体画像または非目標物体画像に分類する。畳み込みニューラルネットワークを通して、画像取込装置から入力された入力画像が目標物体画像であるか否かを検出することにより、医師による食道画像の解析を補助する。
【選択図】図１

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図2G】

【図2H】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】