特許 6235921 内視鏡画像診断支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6235921

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】内視鏡画像診断支援システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20171113BHJP

【ＦＩ】

   A61B1/045 614

   A61B1/045 615

【請求項の数】5

【全頁数】11

(21)【出願番号】特願2014-22425(P2014-22425)

(22)【出願日】2014年2月7日

(65)【公開番号】特開2015-146970(P2015-146970A)

(43)【公開日】2015年8月20日

【審査請求日】2016年12月14日

(73)【特許権者】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】小出 哲士

(72)【発明者】

【氏名】ホアン アイン トゥワン

(72)【発明者】

【氏名】吉田 成人

(72)【発明者】

【氏名】三島 翼

(72)【発明者】

【氏名】重見 悟

(72)【発明者】

【氏名】玉木 徹

(72)【発明者】

【氏名】平川 翼

(72)【発明者】

【氏名】宮木 理恵

(72)【発明者】

【氏名】杉 幸樹

【審査官】 原 俊文

(56)【参考文献】

【文献】 特開２００２−１６５７５７（ＪＰ，Ａ）

【文献】 特開２０１０−２０３９４９（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１１１２３６（ＷＯ，Ａ１）

【文献】 岩岡直樹，大腸NBI内視鏡画像のポリープ領域分割のための計算コストと認識率の評価，第17回画像センシングシンポジウム講演論文集，日本，２０１１年 ６月 ８日，p. IS1-09-1 - IS1-09-7

【文献】 三島翼，大腸NBI拡大内視鏡画像診断支援のためのリアルタイム特徴量抽出アーキテクチャ，電子情報通信学会技術研究報告，日本，２０１３年１１月 １日，第113巻, 第282号，p. 25-30

【文献】 小出哲士，Support Vector Machineを用いたピラミッド型識別器による大腸NBI拡大内視鏡画像の領域分割，第20回画像センシングシンポジウム講演論文集，日本，画像センシング技術研究会，２０１４年 ６月１１日，p. IS3-12-1 - IS3-12-7

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

Ｇ０２Ｂ ２３／２４−２３／２６

Ｇ０６Ｔ ７／００−７／６０

(57)【特許請求の範囲】

【請求項1】

あらかじめ各病理タイプに分類された学習用画像群を保存する記憶装置と、
内視鏡画像が与えられ、該画像中の識別対象領域の画像と前記学習用画像群との特徴量マッチングを行って該識別対象領域における各病理タイプを識別する処理装置とを備え、
前記処理装置が、前記識別対象領域の画像と前記学習用画像群との特徴量マッチングを行って前記識別対象領域における各病理タイプの識別確率を計算し、前記識別確率の最大値が閾値よりも小さい場合、前記識別対象領域を細分化して各細分化領域の画像と前記学習用画像群との特徴量マッチングを行って該各細分化領域における各病理タイプの識別確率を計算し、前記識別対象領域および前記各細分化領域の階層的な重複領域における各病理タイプの識別確率として、前記識別対象領域および前記各細分化領域における各病理タイプの識別確率の平均値を計算するものである
ことを特徴とする内視鏡画像診断支援システム。

【請求項2】

あらかじめ各病理タイプに分類された学習用画像群を保存する記憶装置と、
内視鏡画像が与えられ、該画像中の識別対象領域の画像と前記学習用画像群との特徴量マッチングを行って該識別対象領域における各病理タイプを識別する処理装置とを備え、
前記処理装置が、前記識別対象領域および前記識別対象領域の各細分化領域の画像と前記学習用画像群との特徴量マッチングを行って前記識別対象領域および前記各細分化領域における各病理タイプの識別確率を計算し、前記識別対象領域および前記各細分化領域の階層的な重複領域における各病理タイプの識別確率として、前記識別対象領域および前記各細分化領域における各病理タイプの識別確率の平均値を計算するものである
ことを特徴とする内視鏡画像診断支援システム。

【請求項3】

前記処理装置が、前記識別対象領域および前記各細分化領域における各病理タイプの識別確率を領域サイズ別の識別精度に応じて重み付けして前記平均値を計算するものである、請求項１または請求項２に記載の内視鏡画像診断支援システム。

【請求項4】

前記識別対象領域および前記各細分化領域の画像から得られる特徴量が、Bag-of-Features法に基づくビジュアルワードのヒストグラムで表現されており、
前記処理装置が、上位階層領域の画像から得られる特徴量を表すヒストグラムを、階層的に重複する下位階層領域の画像から得られる特徴量を表すヒストグラムの加算により計算するものである、請求項１ないし請求項３のいずれかに記載の内視鏡画像診断支援システム。

【請求項5】

前記処理装置が、各病理タイプについて１対多の２クラス識別を行い、これら２クラス識別の識別結果に基づいて前記識別対象領域および前記各細分化領域における各病理タイプの識別確率を計算するものである、請求項１ないし請求項４のいずれかに記載の内視鏡画像診断支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡画像中の識別対象領域における病理タイプを識別する内視鏡画像診断支援システムに関し、特に、識別精度の向上の技術に関する。

【背景技術】

【0002】

内視鏡技術の進歩により、近年さまざまな画像診断機器が開発されている。現在、拡大内視鏡診察による画像強調内視鏡（Image Enhanced Endoscopy：ＩＥＥ）では、ＮＢＩ（Narrow Band Imaging）、ＢＬＩ（Blue Laser Imaging）拡大内視鏡画像などの光デジタル法やデジタル法が議論され、腫瘍のスクリーニングや質的診断として臨床的意義が徐々に明らかになってきている。消化管内視鏡検査は多くの医師により施行されているが、その診断は観察者の感性や経験に左右されることがある。そこで、症状を定量的に評価し、「second opinion」として医師の診断を支援するＣＡＤ（Computer-Aided Diagnosis）システムが必要となっている。

【0003】

これまでに、本願発明者は、大腸の拡大内視鏡画像から、病理組織診断との間に関連性の強い分光画像（ＮＢＩ画像）を解析し、コンピュータ診断支援ＣＡＤに適した診断基準を設定する方法を開発し、病理組織診断との間に関連の強い定量的な数字を提示できる画像認識システム（内視鏡画像診断支援システム）を開発した。当該システムは、Bag-of-Features（BoF）あるいはBag-of-Keypointsと呼ばれる手法を用いて、内視鏡画像中の識別対象領域（以下、スキャンウィンドウ（ＳＷ）ともいう）の画像から抽出した局所特徴量をビジュアルワード（VW:Visual Word）のヒストグラムに変換し、あらかじめ各病理タイプに分類された学習用画像群（それぞれビジュアルワードのヒストグラムの特徴量として表現されている）との画像マッチング（特徴量マッチング）を行うことで、識別対象領域における各病理タイプの識別確率を計算する。

【0004】

さらに、本願発明者は、上記システムにおいて特に計算コストが大きい識別対象領域の画像からの特徴量抽出処理および病理判定（識別）処理をハードウェア化して、Full HD（１９２０×１０８０画素）画質以上の内視鏡画像をリアルタイムに高い識別精度で処理可能にしている（例えば、非特許文献１，２を参照）。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】三島翼、小出哲士ほか、「大腸ＮＢＩ拡大内視鏡画像診断支援のためのリアルタイム特徴量抽出アーキテクチャ」、信学技報、一般社団法人電子情報通信学会、２０１３年１１月、ｐｐ．２５−３０

【非特許文献2】重見悟、小出哲士ほか、「大腸ＮＢＩ拡大内視鏡画像診断支援のためのリアルタイム識別アーキテクチャ」、信学技報、一般社団法人電子情報通信学会、２０１３年１１月、ｐｐ．３１−３６

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来の内視鏡画像診断支援システムでは、スキャンウィンドウ（SW：Scan Window）（例えば、サイズ１２０×１２０画素の領域）でFull HDの内視鏡画像全体をスキャンして各スキャンウィンドウにおける病理タイプを判定していた。しかし、内視鏡画像に映し出された実際の患部は矩形でないことが多いため、一つのスキャンウィンドウに複数の病理タイプが混在する場合には複数の病理タイプの識別確率が拮抗し、そのスキャンウィンドウにおける病理タイプの判定が難しくなる。この問題を解消するためにスキャンウィンドウサイズを小さくすると、今度は、一つのスキャンウィンドウの画像から抽出される特徴量が少なくなるため、識別精度が劣化するおそれがある。また、スキャンウィンドウサイズが小さくなると、Full HD（１９２０×１０８０画素）の内視鏡画像全体のスキャン量が増えて処理速度が低下したり、処理結果の表示までの時間（レイテンシ）が大きくなり、リアルタイム表示をすることが困難になる。

【0007】

上記問題に鑑み、本発明は、内視鏡画像中の識別対象領域における病理タイプを識別する内視鏡画像診断支援システムにおいて識別精度を向上させることを目的とする。

【課題を解決するための手段】

【0008】

本発明の一局面に従った内視鏡画像診断支援システムは、あらかじめ各病理タイプに分類された学習用画像群を保存する記憶装置と、内視鏡画像が与えられ、該画像中の識別対象領域の画像と前記学習用画像群との特徴量マッチングを行って該識別対象領域における各病理タイプを識別する処理装置とを備え、前記処理装置が、前記識別対象領域の画像と前記学習用画像群との特徴量マッチングを行って前記識別対象領域における各病理タイプの識別確率を計算し、前記識別確率の最大値が閾値よりも小さい場合、前記識別対象領域を細分化して各細分化領域の画像と前記学習用画像群との特徴量マッチングを行って該各細分化領域における各病理タイプの識別確率を計算し、前記識別対象領域および前記各細分化領域の階層的な重複領域における各病理タイプの識別確率として、前記識別対象領域および前記各細分化領域における各病理タイプの識別確率の平均値を計算するものである。

【0009】

また、本発明の別局面に従った内視鏡画像診断支援システムは、あらかじめ各病理タイプに分類された学習用画像群を保存する記憶装置と、内視鏡画像が与えられ、該画像中の識別対象領域の画像と前記学習用画像群との特徴量マッチングを行って該識別対象領域における各病理タイプを識別する処理装置とを備え、前記処理装置が、前記識別対象領域および前記識別対象領域の各細分化領域の画像と前記学習用画像群との特徴量マッチングを行って前記識別対象領域および前記各細分化領域における各病理タイプの識別確率を計算し、前記識別対象領域および前記各細分化領域の階層的な重複領域における各病理タイプの識別確率として、前記識別対象領域および前記各細分化領域における各病理タイプの識別確率の平均値を計算するものである。

【0010】

これらによると、内視鏡画像中の階層的に重複するさまざまなサイズの領域において各病理タイプの識別確率が計算されてそれらが平均されることにより、複雑な形状の患部の病理タイプの識別が可能となる。

【0011】

前記処理装置が、前記識別対象領域および前記各細分化領域における各病理タイプの識別確率を領域サイズ別の識別精度に応じて重み付けして前記平均値を計算するものであってもよい。これによると、識別精度をより向上させることができる。

【0012】

前記識別対象領域および前記各細分化領域の画像から得られる特徴量が、Bag-of-Features法に基づくビジュアルワードのヒストグラムで表現されており、前記処理装置が、上位階層領域の画像から得られる特徴量を表すヒストグラムを、階層的に重複する下位階層領域の画像から得られる特徴量を表すヒストグラムの加算により計算するものであってもよい。これによると、上位階層領域の画像から得られる特徴量を表すヒストグラムの生成処理が簡単になり、計算量を削減して処理速度を向上させることができる。

【0013】

前記処理装置が、各病理タイプについて１対多の２クラス識別を行い、これら２クラス識別の識別結果に基づいて前記識別対象領域および前記各細分化領域における各病理タイプの識別確率を計算するものであってもよい。これによると、識別精度を向上させることができる。

【発明の効果】

【0014】

本発明によると、内視鏡画像中の識別対象領域における病理タイプを識別する内視鏡画像診断支援システムにおいて識別精度を向上させることができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態に係る内視鏡画像診断支援システムの概略構成図

【図2】カスケード識別の概念図

【図3】カスケード識別をハードウェア化する場合のアーキテクチャ例を示す図

【図4】識別対象領域（スキャンウィンドウ：ＳＷ）の階層的細分化を説明する図

【図5】トップダウンの階層的識別の例を示す図

【図6】ボトムアップの階層的識別の例を示す図

【図7】病理タイプ別およびスキャンウィンドウのサイズ別の識別精度（True Positive）の例を示すグラフ

【発明を実施するための形態】

【0016】

以下、図面を参照しながら本発明を実施するための形態について説明する。なお、以下の説明において、便宜上、内視鏡画像は大腸のＮＢＩ拡大内視鏡画像とし、病理タイプとして広島大学病院のＮＢＩ拡大観察所見分類（特に、Type A、Type B、Type C3の３タイプ）を用いる。しかし、本発明は下記の実施形態に限定されるものではなく、例えば、消化管内視鏡画像を用いた診断支援システムにも適用可能である。

【0017】

図１は、本発明の一実施形態に係る内視鏡画像診断支援システム（以下、「本システム」と称する）の概略構成を示す。本システム１００は、大腸のＮＢＩ拡大内視鏡画像に映し出された患部の病理タイプを客観的指標に基づいて識別することで、医師による内視鏡診断を支援したり、経験の少ない医師の教育支援を行うものである。

【0018】

具体的に、本システム１００は、記憶装置１０、処理装置２０、および表示装置３０を備える。記憶装置１０は、フラッシュメモリなどの不揮発性メモリやハードディスクドライブなどで構成される。処理装置２０は、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などの各種ハードウェアで構成される。表示装置３０は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などで構成される。

【0019】

処理装置２０は、内視鏡画像を受け、当該画像中の識別対象領域（スキャンウィンドウ：ＳＷ）における各病理タイプを判定する。判定結果は、例えば、病理タイプ別の確率（識別確率）として表され、表示装置３０に内視鏡画像とともに、もしくは別画面に判定結果がリアルタイムに示される。

【0020】

処理装置２０に入力される内視鏡画像は、診察中の内視鏡カメラからのリアルタイム映像でもよいし、過去の診察において撮影され保存された映像でもよい。前者の場合、診察時にリアルタイムで患部の病理タイプの判定を行うことができる。後者の場合、過去の膨大な数のアーカイブ映像を活用して内視鏡診断の教育・訓練を行うことができる。

【0021】

処理装置２０は、特徴量抽出処理部２１、識別特徴ベクトル変換処理部２２、識別判定部２３、および識別確率計算部２４を含む。このうち、特徴量抽出処理部２１および識別判定部２３についてはハードウェア化を実現している（非特許文献１，２を参照）。残りの識別特徴ベクトル変換処理部２２および識別確率計算部２４についてもハードウェア化が可能であり、処理装置２０における図示しないＣＰＵなどによってソフトウェア処理で行ってもよい。

【0022】

特徴量抽出処理部２１は、内視鏡画像中のスキャンウィンドウの画像から局所特徴量を抽出する。ここで、局所特徴記述子として、例えば、Ｄ−ＳＩＦＴ（Dense Scale-Invariant Feature Transform）を用いることができる。

【0023】

Ｄ−ＳＩＦＴは、入力画像に対してgrid状に特徴点（キーポイント）をとっていき、その特徴点の周囲の局所領域における輝度値の勾配情報を１２８次元のパラメータ（特徴量）に変換するものである。まず、特徴量抽出処理部２１は、ガウシアンフィルタによる平滑化を行い、各ピクセルごとにｘ方向およびｙ方向への輝度勾配を求める。次に、特徴量抽出処理部２１は、求めた輝度勾配を用いて各ピクセルの勾配方向を８方向に分類し、勾配強度を算出する。その後、特徴量抽出処理部２１は、局所領域を４×４＝１６分割したブロックごとで方向ごと（８方向）に畳み込みを行い、さらに特徴点からの距離でブロックごとにガウス関数に基づいた重み付けを行う。こうして得られた４×４×８方向＝１２８次元の値を正規化することで、１２８次元の特徴量ベクトル群が得られる。

【0024】

なお、非特許文献１に開示されているように、特徴点からの距離に応じたブロックの重み付けを省略することにより、重なり合う特徴量記述領域のすべてのブロックの値を共有することが可能となる。これにより、必要なメモリ量を大幅に削減することができる。さらに、同文献に開示されているように、arctan関数を用いずに各ピクセルの輝度勾配方向の算出できるようにしたり、輝度勾配方向を４方向に削減したり、正規化処理を閾値処理に変更したりすることで、ソフトウェアやハードウェアへのＤ−ＳＩＦＴアルゴリズムの実装が容易になり、特徴量抽出処理が大幅に高速化される。

【0025】

識別特徴ベクトル変換処理部２２は、特徴量抽出処理部２１で抽出された特徴量ベクトル群を、Bag-of-Features（BoF）法に基づくビジュアルワード（VW:Visual Word）のヒストグラムに変換する。

【0026】

ビジュアルワードは、学習用画像群から抽出された特徴量ベクトル群をクラスタリングすることにより得られる。より詳細には、あらかじめType Aに分類された学習用画像群から特徴量ベクトル群を抽出し、k-means法などにより特徴量ベクトル群を複数（例えば、２５６個）のクラスタにクラスタリングする。各クラスタの中心がビジュアルワードである。すなわち、あらかじめType Aに分類された学習用画像群からType Aを特徴付ける複数（例えば、２５６個）のビジュアルワードが得られる。同様に、あらかじめType Bに分類された学習用画像群からType Bを特徴付ける複数（例えば、２５６個）のビジュアルワードが、また、あらかじめType C3に分類された学習用画像群からType C3を特徴付ける複数（例えば、２５６個）のビジュアルワードが、それぞれ得られる。

【0027】

識別特徴ベクトル変換処理部２２は、上記の各２５６個のビジュアルワード３セットに対して、特徴量抽出処理部２１で抽出された特徴量ベクトルと最も類似するもの、すなわち、ベクトル間距離が最小のものを見つけ、その３セットのビジュアルワードに各１回ずつ投票する。この投票処理を特徴量抽出処理部２１で抽出された特徴量ベクトル群について行うことで、特徴量ベクトル群は７６８（＝２５６×３）個のビジュアルワードのヒストグラムに変換される。すなわち、内視鏡画像中のスキャンウィンドウの画像が７６８次元の識別空間における特徴ベクトルで表現される。

【0028】

なお、あらかじめ学習量画像群から抽出した特徴量ベクトルを用いて、他の方法でビジュアルワードを生成してもよい。また、ビジュアルワードの次元数も変更可能である。

【0029】

記憶装置１０は、あらかじめ各病理タイプに分類された学習用画像群を保存している。記憶装置１０に保存された学習用画像群もまた上記の７６８個のビジュアルワードのヒストグラム、すなわち、７６８次元の識別空間における特徴ベクトルで表現される。

【0030】

識別判定部２３は、記憶装置１０に保存された学習用画像群を教師データとして用いて、識別特徴ベクトル変換処理部２２によって生成されたビジュアルワードのヒストグラムがType A、Type B、Type C3のいずれの病理タイプのものであるかを識別する。識別器として、例えば、ＳＶＭ（Support Vector Machine）を用いることができる。

【0031】

非特許文献２に開示されているように、２クラス識別器であるＳＶＭに基づく多クラス識別として、One-versus-Oneアプローチと、２段階判定とがある。例えば、One-versus-Oneアプローチでは、Type AとType Bとの識別を行う識別器「ＡｖｓＢ」、Type BとType C3との識別を行う識別器「ＢｖｓＣ３」、およびType C3とType Aとの識別を行う識別器「Ｃ３ｖｓＡ」を並列に配置して、各識別器の識別結果をもとに最終的な識別結果を得ることができる。

【0032】

上記以外に、各病理タイプについて１対多の２クラス識別を行う識別器をカスケード接続した識別（以下、カスケード識別と称する）も可能である。図２は、カスケード識別の概念図である。同図に示したように、Type Aとそれ以外との識別を行う識別器「Ａｖｓ¬Ａ」、Type Bとそれ以外との識別を行う識別器「Ｂｖｓ¬Ｂ」、Type C3とそれ以外との識別を行う識別器「Ｃ３ｖｓ¬Ｃ３」をカスケード接続して、各識別器の識別結果をもとに最終的な識別結果を得ることができる。

【0033】

さらに、識別器「Ｃ３ｖｓ¬Ｃ３」の後段に、Type AとType Bとの識別を行う識別器「ＡｖｓＢ」を接続してもよい。これは、Type Aに分類されるべき未知データｘが初段の識別器「Ａｖｓ¬Ａ」において¬Ａのクラスに分類されてしまった場合に、もう一度Type Aに分類される機会を与えるためである。これは、識別器「Ａｖｓ¬Ａ」の精度が１００％でない場合には効果的である。そのため、この識別器「ＡｖｓＢ」を最終段に接続することで、識別判定部２３の識別精度を向上させることができる。

【0034】

また、処理装置２０に入力される内視鏡画像には、ライトによる画像の白飛び、水による洗浄に伴う画像の乱れ、大腸壁面の血管による脈動、内視鏡操作による画像のボケ、などが存在する。このようなボケ画像については正しく病理タイプが識別されない蓋然性が高いため、上記のカスケード識別の初段に、ボケ画像とそれ以外との識別を行う２クラス識別器を接続してもよい。

【0035】

上記のカスケード識別は、ソフトウェア処理およびハードウェア処理のいずれも可能である。図３は、カスケード識別をハードウェア化する場合のアーキテクチャ例を示す。カスケード識別をハードウェア処理する場合には、各識別器を並列に配置して、各識別器の識別結果をもとに最終的な識別結果を得ることができる。

【0036】

図１へ戻り、識別確率計算部２４は、識別判定部２３における各識別器の識別結果を受け、例えば、最急降下法により各病理タイプの識別確率を計算する。

【0037】

上記のごとく、処理装置２０は、内視鏡画像を受け、該画像中のスキャンウィンドウの画像と前記学習用画像群との画像マッチング（特徴量マッチング）を行ってスキャンウィンドウにおける各病理タイプを識別する。

【0038】

さらに、処理装置２０は、スキャンウィンドウを階層的に細分化して、矩形ではない複雑な形状の患部の病理タイプの識別ができるようになっている。

【0039】

図４は、スキャンウィンドウの階層的細分化を説明する図である。例えば、図４に示すように、内視鏡画像中の各スキャンウィンドウＳＷ_１〜ＳＷ_９に対して処理を行って各病理タイプの識別確率が計算される。ここで、スキャンウィンドウＳＷ_１、ＳＷ_９ではType Aがほぼ領域全体を占めているため、これらスキャンウィンドウにおいてType Aの識別確率が非常に高くなる。また、スキャンウィンドウＳＷ_５ではType Bがほぼ領域全体を占めているため、このスキャンウィンドウにおいてType Bの識別確率が非常に高くなる。一方、その他のスキャンウィンドウではType AとType Bが混在しているため、病理タイプがType AであるかType Bであるかの判定が難しくなる。そこで、そのようなスキャンウィンドウについては階層的に細分化してより小さいサイズの下位階層（例えば、レベル２）のスキャンウィンドウやさらに小さいサイズの下位階層（例えば、レベル３）のスキャンウィンドウを生成し、これら小サイズのスキャンウィンドウにおいて病理タイプを識別（以下、階層的識別と称する）する。なお、以下の説明において、レベルとはスキャンウィンドウＳＷの階層を指す。

【0040】

階層的識別にはトップダウンによるアプローチとボトムアップによるアプローチの二つがある。以下、各アプローチについて説明する。

【0041】

図５は、トップダウンの階層的識別の例を示す。トップダウンの階層的識別では、まず、内視鏡画像を大きいサイズのスキャンウィンドウ、すなわち、最上位のレベルのスキャンウィンドウでスキャンして各スキャンウィンドウにおいて識別処理を行う。図５の左側は、内視鏡画像をスキャンウィンドウＳＷ_１，１〜ＳＷ_９，１に分けて各スキャンウィンドウで識別処理を行った結果を示している。なお、ＳＷの添え字における右側数字はスキャンウィンドウのレベルを表し（最上位をレベル１とする）、左側数字はそのレベルにおけるスキャンウィンドウの通し番号を表し、以下の説明において同様である。図５の例では、スキャンウィンドウＳＷ_１，１〜ＳＷ_４，１、ＳＷ_６，１〜ＳＷ_９，１ではType Aの識別確率が９０％となっている。このことから、これらスキャンウィンドウにおける病理タイプはType Aであると判定することができる。一方、スキャンウィンドウＳＷ_５，１では３つの病理タイプの識別確率が拮抗している。このことから、スキャンウィンドウＳＷ_５，１では病理タイプの判定が困難である。

【0042】

処理装置２０は、スキャンウィンドウＳＷ_５，１のように、いずれの病理タイプであるか判定が困難な場合、具体的には、識別確率の最大値が閾値（例えば、８０〜９０％）よりも小さい場合、そのスキャンウィンドウを細分化して、下位レベルのスキャンウィンドウ、すなわち、より小さいサイズのスキャンウィンドウにおいて識別処理を行う。

【0043】

例えば、図５の右側に示すように、３つの病理タイプの識別確率が拮抗するスキャンウィンドウＳＷ_５，１を４分割し、小さいスキャンウィンドウＳＷ_１，２〜ＳＷ_４，２で識別処理を行う。このように、スキャンウィンドウを細分化することで、矩形ではない複雑な形状の患部の病理タイプをより精度よく識別することができる。

【0044】

なお、図５の例では、スキャンウィンドウＳＷ_５，１を、領域が互いに重複しないスキャンウィンドウＳＷ_１，２〜ＳＷ_４，２に細分化しているが、細分化した各スキャンウィンドウの領域が部分的に重複していてもよい。

【0045】

上記のトップダウンの識別処理は、識別確率の最大値が閾値よりも小さい場合にスキャンウィンドウを細分化していくといった逐次的処理を行う点で、特にソフトウェア処理に向いている。そして、内視鏡画像全体を小さいサイズのスキャンウィンドウで識別処理するのではなく、必要な場合（識別確率の最大値が閾値よりも小さい場合）にのみ、より小さいサイズのスキャンウィンドウで識別処理が行われるため、Full HD（１９２０×１０８０画素）の内視鏡画像全体を高速に処理することができる。

【0046】

図６は、ボトムアップによる階層的識別の例を示す。ボトムアップの階層的識別では、大小さまざまなサイズのスキャンウィンドウで識別処理を行う。例えば、図６の例では、大（レベル１）、中（レベル２）、小（レベル３）の各サイズのスキャンウィンドウで識別処理を行う。各スキャンウィンドウは、異なるレベル間はもちろん同じレベル内で一部または全部の領域が重複していてもよい。

【0047】

ボトムアップの階層的識別では、上位階層のスキャンウィンドウの画像の特徴量から得られるビジュアルワードのヒストグラムは、下位階層のスキャンウィンドウの画像の特徴量から得られるヒストグラムの重み付き足し合わせにより計算することができる。ここで、上述したように、特徴量抽出処理部２１において、特徴点からの距離に応じたブロックの重み付けを省略することで、上位階層のスキャンウィンドウの画像から得られる特徴量を表すヒストグラムは、下位階層のスキャンウィンドウの画像から得られる特徴量を表すヒストグラムを単に足し合わせて正規化するだけで生成することができる。すなわち、最下位レベル（図６の例ではレベル３）の各スキャンウィンドウについてのみビジュアルワードのヒストグラムを生成しておけばよく、それよりも上位レベルの各スキャンウィンドウのヒストグラムは最下位レベルの各スキャンウィンドウのヒストグラムから容易に計算することができる。また、最下位レベルの各スキャンウィンドウにおける特徴量計算は並列処理することが可能である。このような点において、ボトムアップの識別処理は、特に並列処理が容易なハードウェア処理に向いている。

【0048】

トップダウンおよびボトムアップのいずれの階層的識別においても、各スキャンウィンドウの階層的な重複領域における各病理タイプの識別確率は、重複領域の各スキャンウィンドウにおける各病理タイプの識別確率の平均値として計算される。図５の例では、処理装置２０は、スキャンウィンドウＳＷ_１，２およびその上位階層のスキャンウィンドウＳＷ_５，１における各病理タイプの識別確率の平均値を計算する。また、図６の例では、処理装置２０は、スキャンウィンドウＳＷ_６，３、その上位階層のスキャンウィンドウＳＷ_１，２、ＳＷ_５，２、ＳＷ_６，２、ＳＷ_９，２、さらにその上位階層のスキャンウィンドウＳＷ_１，１〜ＳＷ_４，１における各病理タイプの識別確率の平均値を計算する。

【0049】

図７は、病理タイプ別（Type A、Type B、Type C3、および全タイプの平均（all））およびスキャンウィンドウのサイズ別（６０×６０画素、１２０×１２０画素、２００×２００画素、５００×５００画素）の識別精度（True Positive）の例を示すグラフである。なお、ｉをType A、Type B、Type C3、Allのいずれかとして、True Positive(i)は次式で定義される。

【0050】

True Positive(i) = Posi_Num(i)/Img_Num(i) * 100[%]
ただし、Img_Num(i)はType iの全入力画像データ数であり、Posi_Num(i)はType ｉの全入力画像データ中で正しくType ｉと識別された数である。

【0051】

図７に示したように、いずれの病理タイプでも、スキャンウィンドウのサイズが小さくなるにつれ、識別精度（True Positive）は低下する。そこで、処理装置２０は、各スキャンウィンドウにおける各病理タイプの識別確率の平均値を計算する場合、各スキャンウィンドウのサイズ別の識別精度に応じて重み付けしてもよい。これにより、識別精度を向上させることができる。

【0052】

以上のように、本実施形態によると、矩形ではない複雑な形状の患部の病理タイプを高速かつ高精度に識別することができる。

【0053】

なお、スキャンウィンドウは矩形である必要はなく、さまざまな形状を取り得る。また、スキャンウィンドウのサイズも任意である。

【符号の説明】

【0054】

１００ 内視鏡画像診断支援システム
１０ 記憶装置
２０ 処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】