特開 2023-67230 医用画像観察支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023067230

(43)【公開日】2023-05-16

(54)【発明の名称】医用画像観察支援装置

(51)【国際特許分類】

   A61B 1/045 20060101AFI20230509BHJP

   A61B 1/307 20060101ALI20230509BHJP

【ＦＩ】

A61B1/045 618

A61B1/307

A61B1/045 614

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021178275

(22)【出願日】2021-10-29

(71)【出願人】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(71)【出願人】

【識別番号】501083643

【氏名又は名称】学校法人慈恵大学

(74)【代理人】

【識別番号】100085361

【弁理士】

【氏名又は名称】池田 治幸

(74)【代理人】

【識別番号】100147669

【弁理士】

【氏名又は名称】池田 光治郎

(72)【発明者】

【氏名】森 健策

(72)【発明者】

【氏名】小田 昌宏

(72)【発明者】

【氏名】山本 徳則

(72)【発明者】

【氏名】松川 宜久

(72)【発明者】

【氏名】古田 昭

(72)【発明者】

【氏名】木村 高弘

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA15

4C161CC06

4C161HH28

4C161WW18

(57)【要約】

【課題】
膀胱内視鏡により撮影された画像を、機械学習の方法を用いて、ハンナ型間質性膀胱炎についての分類を行うことのできる、画像観察支援装置を提供する。
【解決手段】
画像観察支援装置１０は、学習済みのネットワーク３６を有する画像処理部３４を有し、画像処理部３４は、画像読み込み部３２によって読み込まれた、膀胱内視鏡によって得られる内視鏡画像について、ハンナ型間質性膀胱炎、膀胱痛症候群、および、膀胱癌の３分類を行うことができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

医用画像の分類を行う医用画像観察支援装置であって、
学習済みのネットワークを有する分類部を有し、
前記医用画像は、膀胱鏡によって得られる内視鏡画像であり、
前記分類部は、入力された内視鏡画像について、ハンナ型間質性膀胱炎、膀胱痛症候群、膀胱癌の３分類を行うこと、
を特徴とする医用画像観察支援装置。

【請求項2】

前記３分類の結果に基づいて、ハンナ型間質性膀胱炎とそれ以外の２分類を行うこと、
を特徴とする請求項１の医用画像観察支援装置。

【請求項3】

前記ネットワークを学習させるための学習部と、
前記学習部による学習用データを記憶する記憶部と、
前記記憶部に記憶された学習用データに基づいて、追加学習用データを生成する追加データ生成部と、を有し、
前記学習部は、予め記憶部に記憶されている学習用データに加え、前記追加学習用データを用いて前記ネットワークを学習させること、
を特徴とする請求項１または２に記載の医用画像観察支援装置。

【請求項4】

前記分類部は、分類結果の尤度を出力すること、
を特徴とする請求項１乃至３のいずれか１に記載の医用画像観察支援装置。

【請求項5】

複数の前記分類部と、
前記複数の分類部の出力に基づいて分類結果を決定する判定統合部を有し、
前記複数の分類部は、対応する複数の前記ネットワークを有すること、
を特徴とする請求項１乃至４のいずれか１に記載の医用画像観察支援装置。

【請求項6】

内視鏡装置と請求項１乃至５のいずれか１に記載の医用画像観察支援装置とを含む医用画像観察支援システムであって、
前記内視鏡装置に設けられたレリーズスイッチが操作された場合に、前記内視鏡装置から前記医用画像観察支援装置に画像が入力されること、
を特徴とする医用画像観察支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習により医用画像を解析する医用画像解析装置に関し、特に、膀胱内視鏡によって得られる画像を解析する装置に関する。

【背景技術】

【0002】

医療分野において、医用画像を用いた診断支援（ＣＡＤ；ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｉａｇｎｏｓｉｓ）が広く用いられている。様々な撮像装置によって撮影された医用画像がコンピュータを用いて解析され、その解析結果が観察支援に活用される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－０７０６０９号公報

【非特許文献】

【0004】

【非特許文献1】Goodfellow, I.J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., Bengio, Y., “Generative Adversarial Nets,”Advances in Neural Information Processing Systems 27 (NIPS) (2014)

【0005】

たとえば特許文献１に示すものがそれである。特許文献１においては、内視鏡などから撮像された粘膜上皮の血管を含んで撮像された画像に対し、全撮像画像全体の濃淡についてテクスチャ解析、および、血管特徴量の算出を行い、それらを用いて、非腫瘍、腺腫、癌、ＳＳＡ／Ｐのうちのいずれかを診断結果として出力する画像処理装置が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

一方、医用画像を用いた診断においては、画像から特定の疾患の有無を判断することが極めて難しい検査がある。ハンナ型間質性膀胱炎（Hunner type interstitial cystitis;ＨＩＣ）の診断もその一つである。具体的には、膀胱内視鏡（膀胱鏡）によって撮影される画像を用いて、被験者がハンナ型間質性膀胱炎であるか否かの診断が行われるが、膀胱鏡検査において、ハンナ型間質性膀胱炎を正しく診断できる医師は少ない。また、ハンナ型間質性膀胱炎の有無を画像から判断する機械装置も従来においては存在しない。

【0007】

本発明は、かかる観点からなされたものであり、膀胱鏡により撮影された画像から、機械学習の方法を用いて、（１）膀胱鏡画像が類似するハンナ型間質性膀胱炎（指定難病であり、ＱＯＬを大きく損ねる良性疾患）と膀胱上皮内癌（悪性腫瘍）とを鑑別（良悪性疾患を鑑別）でき、さらに、（２）臨床症状が類似するハンナ型間質性膀胱炎と膀胱痛症候群（膀胱内に明らかな異常所見なし）とを鑑別できる、すなわち、（３）ハンナ型間質性膀胱炎、膀胱痛症候群、および、膀胱癌の３群の疾患を鑑別できる、医用画像観察支援装置を提供することにある。

【課題を解決するための手段】

【0008】

本願第１の発明の要旨とするところは、（ａ）医用画像の分類を行う医用画像観察支援装置であって、（ｂ）学習済みのネットワークを有する分類部を有し、（ｃ）前記医用画像は、膀胱鏡によって得られる内視鏡画像であり、（ｄ）前記分類部は、入力された内視鏡画像について、ハンナ型間質性膀胱炎、膀胱痛症候群、膀胱癌の３分類を行うこと、を特徴とする。

【発明の効果】

【0009】

第１の発明にかかる医用画像観察支援装置によれば、膀胱鏡によって得られる画像について、学習済みのネットワークを有する分類部により、ハンナ型間質性膀胱炎、膀胱痛症候群、膀胱癌の３分類が行われる。

【0010】

好適には、本願第２の発明にかかる医用画像観察支援装置の特徴とするところは、第１の発明にかかる医用画像観察支援装置であって、（ｅ）前記３分類の結果に基づいて、ハンナ型間質性膀胱炎とそれ以外の２分類を行うこと、にある。このようにすれば、前記分類部が直接ハンナ型間質性膀胱炎とそれ以外の２分類を行う場合に比べて、好適な分類結果を得られる。

【0011】

また好適には、本願第３の発明にかかる医用画像観察支援装置の特徴とするところは、第１または第２の発明にかかる医用画像観察支援装置であって、（ｆ）前記ネットワークを学習させるための学習部と、（ｇ）前記学習部による学習用データを記憶する記憶部と、（ｈ）前記記憶部に記憶された学習用データに基づいて、追加学習用データを生成する追加データ生成部と、を有し、（ｉ）前記学習部は、予め記憶部に記憶されている学習用データに加え、前記追加学習用データを用いて前記ネットワークを学習させること、を特徴とする。このようにすれば、追加学習用データが記憶部に記憶された学習用データに基づいて追加データ生成部によって生成され、前記ネットワークは、学習用データに加えて追加学習用データを用いて学習部によって学習させられるので、学習用データのみが与えられた場合であっても、より多くの学習を行うことができる。

【0012】

また好適には、本願第４の発明にかかる医用画像観察支援装置の特徴とするところは、第１乃至第３のいずれか１にかかる医用画像観察支援装置であって、（ｊ）前記分類部は、分類結果の尤度を出力すること、を特徴とする。このようにすれば、分類結果に加えてその尤度についての情報が得られることから、尤度を考慮して分類結果の参照が可能となる。

【0013】

また好適には、第５の発明にかかる医用画像観察支援装置の特徴とするところは、第１乃至第４のいずれか１にかかる医用画像観察支援装置であって、（ｋ）複数の前記分類部と、（ｌ）前記複数の分類部の出力に基づいて分類結果を決定する判定統合部を有し、（ｍ）前記複数の分類部は、対応する複数の前記ネットワークを有すること、を特徴とする。このようにすれば、複数の学習されたネットワークをそれぞれ有する複数の分類部の出力に基づいて分類結果を決定することができ、学習によって生じる統計的な認識誤りを抑えることができる。

【0014】

また好適には、本願第６の発明にかかる医用画像観察支援システムの特徴とするところは、内視鏡装置と、第１乃至第５のいずれか１にかかる医用画像観察支援装置と、を含む医用画像観察支援システムであって、前記内視鏡装置に設けられたレリーズスイッチが操作された場合に、前記内視鏡装置から前記医用画像観察支援装置に画像が入力されること、を特徴とする。このようにすれば、内視鏡装置による撮像から、医用画像観察支援装置による画像の分類までを一連の操作として簡便に行うことができる。

【図面の簡単な説明】

【0015】

【図1】本実施例の医用画像観察支援装置の構成を例示する図である。

【図2】支援装置に備えられた制御機能の要部を説明する機能ブロック線図である。

【図3】ネットワークの一例を示す図である。

【図4】図３のネットワークにおける拡張畳み込み(dilated convolution)を説明する図である。

【図5】出力部による３分類の出力結果をまとめた表である。

【図6】実際の入力画像のうち、正解がハンナ型間質性膀胱炎であり、本発明の支援装置がハンナ型間質性膀胱炎と判断した画像を示したものである。

【図7】実際の入力画像のうち、正解がハンナ型間質性膀胱炎であり、本発明の支援装置が膀胱痛症候群と判断した画像を示したものである。

【図8】実際の入力画像のうち、正解がハンナ型間質性膀胱炎であり、本発明の支援装置が膀胱癌と判断した画像を示したものである。

【図9】実際の入力画像のうち、正解が膀胱痛症候群であり、本発明の支援装置が膀胱痛症候群と判断した画像をに示したものである。

【図10】実際の入力画像のうち、正解が膀胱痛症候群であり、本発明の支援装置がハンナ型間質性膀胱炎と判断した画像を示したものである。

【図11】実際の入力画像のうち、正解が膀胱痛症候群であり、本発明の支援装置が膀胱癌と判断した画像を示したものである。

【図12】実際の入力画像のうち、正解が膀胱癌であり、本発明の支援装置が膀胱癌と判断した画像を示したものである。

【図13】実際の入力画像のうち、正解が膀胱癌であり、本発明の支援装置がハンナ型間質性膀胱炎と判断した画像を示したものである。

【図14】実際の入力画像のうち、正解が膀胱癌であり、本発明の支援装置が膀胱痛症候群と判断した画像を示したものである。

【図15】出力部による２分類の出力結果をまとめた表である。

【図16】本実施例の支援装置１０の受信者動作特性（ＲＯＣ）曲線およびＡＵＣを示した図である。

【図17】本発明の別の実施例である医用画像観察支援システムの概略を説明する図である。

【図18】本発明の別の実施例における支援装置に備えられた制御機能の要部を説明する機能ブロック図である。

【発明を実施するための形態】

【0016】

以下、本発明の一実施例を図面により詳細に説明する。

【実施例0017】

図１は、本発明の一実施例である医用画像観察支援装置１０（以下、単に支援装置１０という。）の構成を例示する図である。この図１に示すように、本実施例の支援装置１０は、中央演算処理装置であるＣＰＵ１２および画像処理に特化した処理装置であるＧＰＵ（Graphics Processing Unit）１３と、読出専用メモリであるＲＯＭ１４と、随時書込読出メモリであるＲＡＭ１６と、記憶装置１８と、を備えて構成されている。前記ＣＰＵ１２およびＧＰＵ１３は、前記ＲＡＭ１６の一時記憶機能を利用しつつ前記ＲＯＭ１４に予め記憶された所定の医用画像解析プログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータである。前記医用画像解析プログラムは、たとえばＣＤ－ＲＯＭ等の媒体や後述するネットワークインタフェース３０を解して供給される。

【0018】

前記記憶装置１８は、好適には、情報を記憶可能なハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の公知の記憶装置（記憶媒体）である。小型メモリカードや光ディスク等の着脱式記憶媒体であってもよい。出力インタフェース２６は必要に応じて表示装置などを接続するためのものであり、入力インタフェース２８は、キーボードやマウス等の公知の入力デバイスを接続したり、あるいは所定の画像信号を取り込むためケーブルを接続するためのものである。入力インタフェース２８に画像信号が入力される場合には、必要に応じてコンバータやエンコーダなどが併せて設けられてもよい。また、ネットワークインタフェース３０は、支援装置１０をネットワークに接続するためのものであって、支援装置１０はネットワークを解して他のコンピュータなどと情報通信が可能とさせられる。ネットワークケーブルや無線ネットワークのためのアンテナなどが接続される。なお、これらの出力インタフェース２６、入力インタフェース２８、ネットワークインタフェース３０は必要に応じて設けられればよく、必ずしも必須のものではない。

【0019】

図２は、前記支援装置１０に備えられた制御機能の要部を説明する機能ブロック線図である。この図２に示すように、支援装置１０は、画像読込部３２、画像処理部３４、出力部３８、学習部４０を機能的に備えて構成されている。

【0020】

画像読込部３２は、支援装置１０により解析する画像を後述する画像処理部３４に入力する。具体的には、支援装置１０により解析しようとする画像は、予め前記記憶装置１８に格納されており、たとえば操作者に入力操作に応じて、解析しようとする画像を記憶装置１８から読み込み、画像処理部３４に渡す処理を行う。本実施例においては、膀胱内視鏡（膀胱鏡）によって予め撮影された、膀胱内部の画像が入力される。

【0021】

画像処理部３４は、画像読込部３２から入力された画像に基づき、画像中における注目領域の特定と、注目領域のクラス分類を行う。画像処理部３４は、その内部に学習済みネットワーク３６を有しており、前記学習済みネットワーク３６は入力された画像を処理して出力画像を生成する。

【0022】

学習済みネットワーク３６（以下、ネットワーク３６という。）は、畳み込みニューラルネットワーク（ＣＮＮ；Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の構成を有している。学習済みネットワーク３６により、いわゆるＤｅｅｐＬｅａｒｎｉｎｇによる入力画像の特徴量の算出を行う。

【0023】

出力部３８は、画像処理部３４から出力された出力結果を、所定のフォーマットに変換するなどして、ファイルや他のプログラムに出力したり、前記出力インタフェース２６を解して接続されたディスプレイ装置などの装置に出力したり、ネットワークインタフェース３０を介して他のコンピュータなどに送信したりする。

【0024】

図３は、ネットワーク３６の一例を示す図である。ネットワーク３６は、上述のとおりＣＮＮ型の構造を有するネットワークである。図３における長方形状の層５０ａ乃至５０ｓは、特徴マップもしくは画像を示している。以下の説明において個々の層を区別しない場合には層５０という。図３において横方向に連なる３乃至５個の層５０によりブロックが構成されている。すなわち、層５０ａ乃至層５０ｃによりブロック５１ａが、層５０ｄ乃至層５０ｇによりブロック５１ｂが、層５０ｈ乃至層５０ｋによりブロック５１ｃが、層５０ｌ乃至層５０ｏによりブロック５１ｄが、層５０ｐ乃至層５０ｔによりブロック５１ｅが、それぞれ構成されている。なお、各ブロック５１の一番左にある層５０の下部に記載された数字は、各ブロックにおける層５０のカーネル数を示している。

【0025】

また、ブロック間を接続する太線のうち、太実線５２は３×３畳み込み(convolution)を示している。ここで３×３はカーネルの大きさを示している。太二重線５４は拡張畳み込み(dilated convolution)を示している。太三重線５８は全体平均プーリング（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）を示している。この全体平均プーリング５８は、直前の層５０ｓにおける特徴マップを構成する全てのピクセル値の平均を、個々の特徴マップごとに算出して出力する。なお、各ブロック５１の左端の層５０ａ、５０ｄ、５０ｈ、５０ｌ、５０ｐのうち、複数の入力があるものについては、それらの入力を統合したものとなる。

【0026】

図３に示すように、本実施例のネットワーク３６におけるブロック５１ａにおいては２回の畳み込み（convolution）が、ブロック５１ｂにおいては３回の畳み込みが、ブロック５１ｃおよび５１ｄにおいては２回の畳み込みと１回の拡張畳み込みが行われるものとなっている。また、ブロック５１ｅにおいては、３回の畳み込みと１回の全階平均プーリングが行われる。

【0027】

また、ネットワーク３６における各ブロック５１においては、残差パス（Ｒｅｓｉｄｕａｌ Ｐａｔｈ）５６が設けられており、また、各ブロック５１間では、ｄｅｎｓｅ ｐｏｏｌｉｎｇ（６４～７０）が行われるものとされており、連続するブロック５１以外のブロック５１との間でも入出力が行われるものとされている。

【0028】

このうち、残差パス５６は、ある層５０の前の層５０の内容を、前記ある層５０の出力と合わせて次の層５０に渡すものである。具体的にはたとえば、ブロック５１ａにおいて、層５０ｂに着目すると、層５０ｂへは、層５０ａの内容が畳み込み５２されて入力されている。一方、層５０ｂからは、層５０ｂの内容が畳み込み５２されて層５０ｃに出力される。ここで、ブロック５１ａに設けられている残差パス５６は，層５０ｂの前の層である層５０ａの内容を、層５０ｂの出力と合わせたものが、層５０ｃとするものである。このように残差パス５６を設けることにより、各層における勾配の損失が防止される。

【0029】

続いて、ｄｅｎｓｅ ｐｏｏｌｉｎｇ について説明する。dense poolingは、畳み込みによって得た特徴（特徴マップ）から重要な要素を残しつつデータ量を削減する手法であるプーリング(pooling)の一つである。ネットワーク３６のブロック５１ａ乃至５１ｃ、畳み込み５２やｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎが行われた特徴マップもしくは画像は、dense poolingにより、それ以降の畳み込みに用いられる。

【0030】

また、本実施例におけるdense poolingは、mixed poolingを用いるものである。具体的には、２回の畳み込みの出力となる特徴マップは、細実線６４で示すようにカーネルサイズが２×２のプーリング（以下、２×２プーリングという。他も同様。）がなされて、次の（すなわち、１段目の出力においては２段目の、２段目の出力においては３段目の、３段目の出力においては４段目の、４段目の出力においては５段目の）２回の畳み込みの入力とされる。また、細点線６６で示すように４×４プーリングがなされてその次の（すなわち１段目の出力においては３段目の、２段目の出力においては４段目の、３段目の出力においては５段目の）２回の畳み込みの入力とされる。また、細破線６８で示すように８×８プーリングがなされてさらにその次の（すなわち１段目の出力においては４段目の、２段目の出力においては５段目の）２回の畳み込みの入力とされる。さらに、細一点鎖線７０で示すように１６×１６プーリングがなされてその次の（すなわち１段目の出力においては５段目の）２回の畳み込みの入力とされる。これにより、２回の畳み込みの出力を、最大値プーリングした後に次の２回の畳み込みの入力とする場合と異なって、失われる可能性のある情報を得つつ畳み込みを繰り返すことができる。

【0031】

図４は、図３において太二重線５４で表された拡張畳み込み(dilated convolution)を説明する図である。この拡張畳み込みは、図３のネットワーク３６におけるブロック５１ｃおよび５１ｄの２回の畳み込み５２に続いて行われる。拡張畳み込みは、特徴マップにおいて広がって存在する特徴を考慮した畳み込み処理を可能にする。

【0032】

図４において、細実線７２、細点線７４、細破線７６、細一点鎖線７８は、いずれも３×３畳み込みを示すものであるが、それぞれ、拡張率(dilation rate;DR)がそれぞれ異なるものとされており、細実線７２はＤＲ＝１、細点線７４はＤＲ＝２、細破線７６はＤＲ＝４、細一点鎖線７８はＤＲ＝８にそれぞれ対応している。拡張率ＤＲは、畳み込みにおけるカーネルの隙間を示すものであり、ＤＲ＝１はカーネルをそのまま用いる場合を意味している。また、ＤＲ＝ｎは、元のカーネルの各要素間に（ｎ－１）個の隙間を設けたカーネルを用いることを意味している。言い換えれば、本実施例の拡張畳み込み５４においては、複数の異なる拡張率の拡張畳み込みを併せて実行するものである。拡張畳み込みによれば、poolingを用いることなく、サイズの大きい特徴マップの畳み込みができ、poolingと異なり、出力される特徴マップのサイズが小さくならない特徴がある。

【0033】

すなわち、拡張畳み込み５４は、図４に示すとおり、入力から１×１畳み込み５８ａが行われた出力、ＤＲ＝１の３×３畳み込み７２およびその出力に対する１×１畳み込み５８ｂが行われた出力、ＤＲ＝２の３×３畳み込み７４およびその出力に対する１×１畳み込み５８ｃが行われた出力、ＤＲ＝４の３×３畳み込み７６およびその出力に対する１×１畳み込み５８ｄが行われた出力、および、ＤＲ＝８の３×３畳み込み７８およびその出力に対する１×１畳み込み５８ｅが行われた出力、が統合されて出力される。

【0034】

また、図２に戻って、学習部４０は、ネットワーク３６の学習を行う。具体的には、学習用の画像と、それに対応する正解(ground truth)とを用いて、いわゆる教師あり学習を行う。この学習部４０は、予め支援装置１０の使用前にネットワーク３６の学習を行うものであってもよいし、使用過程においてさらに学習を行うものであってもよい。

【0035】

学習部４０は、（１）予め撮影され、記憶部１８に記憶された内視鏡画像を、一定の割合で、学習用の画像と、学習後のネットワークを評価するための評価用の画像とに分ける。そして、（２）学習用の画像とされた画像を用いてネットワーク３６の学習を実行し、（３）学習後のネットワーク３６を用いて、評価用の画像に対し、分類を実行する。この（１）から（３）までの一連の作業を所定の回数だけ繰り返すことで、ネットワーク３６の学習を完了する。このようにすれば、作業の繰り返しに伴って学習用の画像が入れ代わるので、ネットワーク３６の学習が好適に実行される。また、多数の評価を行うことができるため、評価結果が学習用画像の選択のしかたに影響を受けにくくなる。さらに、前記一連の作業は個々に独立されたものであるため、いわゆる学習データと評価データに同一のデータが混じるデータコンタミネーション（data contamination）の発生が生じない。

【0036】

また、追加データ生成部４２は、予め記憶部１８に記憶された内視鏡画像のうち、前述のとおり学習部４０により学習用の画像として用いられる画像について、所定の処理を行うことにより、追加データを作成する、いわゆるＤａｔａ ａｕｇｍｅｎｔａｔｉｏｎ処理を実行する。これにより作成された追加データは、前述の学習用の画像とともに学習部４０におけるネットワーク３６の学習に用いられる。本実施例においては、追加データ生成部４２による追加データの生成は、予め設定された数の追加データが生成される。

【0037】

ここで、前記追加データ生成部４２が行う所定の処理は、たとえば、以下の処理を含む。（１）記憶部１８に記憶された内視鏡画像（以下、「元画像」という。）を、±３０度以内の角度で回転させる。（２）元画像を、上下左右方向の少なくとも一方に±２２画素以内（言い換えれば画像幅の１０％以内）で平行移動させる。（３）０．８～１．２倍の範囲内で元画像を拡大もしくは縮小させる。（４）元画像を、縦又は横方向に反転させる。（５）ＨＳＶ色空間において、色相、彩度、明度の少なくとも１つを変化させる。追加データ生成部４２は、上記（１）～（５）の処理のうちの少なくとも１つを元画像に実行することで、新たな画像を生成させる。このとき、いずれの処理が適用されるかはランダムに決定される。なお、上記（１）～（５）の処理を行った結果、元画像の画像外に相当する画素が新たな画像内に生じる場合には、当該画素は黒塗りとされる。

【0038】

あるいは、上述の非特許文献１に示される、生成型学習モデルであるGAN (Generative Adversarial Model)を用いて、膀胱内視鏡画像を学習させ、学習用画像を生成してもよい。

【0039】

ところで、学習部４０によるネットワーク３６の学習においては、１回の学習におけるデータ件数であるミニバッチサイズ、および、全データについての学習処理の繰替指数である学習エポック数が適宜定められる。前述の追加データ生成部４２による追加データの作成は、各エポックごとに実行されるものとされている。

【0040】

（実験例）
本実施例の有効性を検証するために以下の実験を行った。
本実験例においては、支援装置１０は、膀胱内視鏡画像から、その画像に対応する症例が、ハンナ型間質性膀胱炎、膀胱痛症候群、または、膀胱癌の３分類を行い、その３分類の結果に基づいて、ハンナ型間質性膀胱炎とそれ以外との２分類を行うものである。

【0041】

まず、記憶装置１８には、患者から得られた膀胱鏡画像が６８１人分記憶されている。膀胱鏡画像は、前記膀胱内視鏡によって撮影されるもので、１枚の画像が２２４×２２４ピクセルの大きさとされている。これらの画像については、予め専門医により分類についての情報、すなわち、ハンナ型間質性膀胱炎、膀胱痛症候群、膀胱癌のいずれであるかについての情報が関連づけられて保存されている。

【0042】

実験に先立ち、ネットワーク３６の学習が行われる。この学習は、予め記憶装置１８に記憶された上述の６８１人分の膀胱鏡画像と、追加データ生成部４２により作成される追加データとに基づいて、学習部４０によって実行される。

【0043】

まず、学習部４０は、予め記憶装置１８に記憶された６８１人分の膀胱鏡画像を、所定の割合、本実験例においては、８０：２０の割合で、学習用の画像と評価用の画像とに分ける。

【0044】

続いて、追加データ生成部４２は、分けられた学習用の画像から、追加データを生成する。具体的には上述の通り、（１）前記学習用の画像（元画像）を、±３０度以内の角度で回転させる。（２）元画像を、上下左右方向の少なくとも一方に±２２画素以内（言い換えれば画像幅の１０％以内）で平行移動させる。（３）０．８～１．２倍の範囲内で元画像を拡大もしくは縮小させる。（４）元画像を、縦又は横方向に反転させる。（５）ＨＳＶ色空間において、色相、彩度、明度の少なくとも１つを変化させる。追加データ生成部４２は、上記（１）～（５）の処理のうちの少なくとも１つを元画像に実行することで、新たな画像を生成させる。このとき、生成された追加データの正解データは、元データのものが用いられる。また、追加データ生成部４２による追加データの生成は、本実験例においては、前記学習用の画像と、追加データ生成部４２によって生成された追加データとの合計が、前記学習用の画像の５０倍となるように行われる。

【0045】

学習部４０は、学習用の画像および追加データを用いて、ネットワーク３６の学習を行う。なお、図３に示すネットワーク３６に、学習用の画像および追加データ（以下、「入力画像」という。）を入力する。このとき、入力される画像は、画像における各色要素ごとに、すなわち、Ｒ要素、Ｇ要素、Ｂ要素のそれぞれの３つの画像とされ、それらの各色要素ごとの濃度値としてネットワーク３６に入力される。

【0046】

また、本実験例においては、学習部４０によるネットワーク３６の学習は、１回の学習におけるデータ件数であるミニバッチサイズを１５、全データについての学習処理の繰替指数である学習エポック数を２００とした。これらの値は、実験的に重みパラメータが収束したとみなせる値とされればよく、適宜変更可能である。また、学習を行う際の重みパラメータの変更幅である学習率は初期値を０．００５とし、１００エポック以降は徐々に現象させるものとした。これは、初期値は比較的大きい値として、重みが極小解とならないようにする一方、学習を重ねた場合においては、発散を避けるため値を小さくしたものである。

【0047】

このように学習されたネットワーク３６に対して、本実施例の支援装置１０により分類を行おうとする画像が入力される。前述の通り、本実験例においては、入力画像は２２４×２２４ピクセルの大きさとされており、Ｒ、Ｇ、Ｂの各色要素ごとの画像として入力される。最初の層５０ａに入力された入力画像は、順次ネットワーク３６における各層５０を経て前述の処理が行われる。ネットワーク３６の最後に位置する層５０ｔに至る際に、前述の通り全体平均プーリング５８が実行される。このとき、ブロック５１ｅの層５０ｓにおける各画像のそれぞれを数値化した上で、入力画像を、ハンナ型間質性膀胱炎、膀胱痛症候群、または、膀胱癌の３分類についての評価を行う。なお、入力される画像の一辺が２２４ピクセルに満たない場合には、その部分を黒塗りとしてもよいし、あるいは２２４ピクセルになるように拡大されてもよい。また、一辺が２２４ピクセルよりも大きい場合には、２２４ピクセルとなるようにトリミングがなされてもよいし、２２４ピクセルになるように縮小されてもよい。

【0048】

このとき、ネットワーク３６は、入力された画像に対して、前記３分類のそれぞれについての尤度を出力するようにされている。すなわち、３分類を構成するハンナ型間質性膀胱炎、膀胱痛症候群、膀胱癌、のそれぞれについて、そうであると考えられる尤度を出力する。

【0049】

出力部３８は、上記ネットワーク３６の出力に基づき、入力画像が前記３分類のいずれであるかを出力する。具体的にはたとえば、出力された前記３分類のそれぞれの尤度のうち、最も尤度が高いものとされた分類に該当すると出力する。

【0050】

図５は、学習済みのネットワーク３６に、記憶装置１８に記憶された膀胱鏡画像６８１枚のうち６４６枚を入力した際の、この出力部３８による出力結果をまとめた表である。図５においては、出力部３８が分類した前記３分類のそれぞれについて、正解との関係を示している。これによれば、正解がハンナ型間質性膀胱炎である画像についての正解率は８２．９％、膀胱痛症候群である画像についての正解率は９３．１％、膀胱癌である画像についての正解率は８６．５％であった。

【0051】

また、図６～図１４は、実際の入力画像を、分類結果ごとに示したものである。このうち、図６～図８は、正解がハンナ型間質性膀胱炎である画像に示したものであり、このうち図６は本実施例の支援装置１０もハンナ型間質性膀胱炎であると分類した画像である。図７は本実施例の支援装置１０が膀胱痛症候群であると分類した画像である。また、図８は本実施例の支援装置１０が膀胱癌であると分類した画像である。なお、図６～８、および、後述する図９～１１、図１２～１４においては、判定の根拠となった尤度を画像と合わせて示している。出力部３８は、画像と、判定結果と、その判定結果についての尤度を合わせて示すことができる。

【0052】

図９～１１は、正解が膀胱痛症候群である画像に示したものであり、このうち図９は本実施例の支援装置１０も膀胱痛症候群であると分類した画像である。図１０は本実施例の支援装置１０がハンナ型間質性膀胱炎であると分類した画像である。また、図１１は本実施例の支援装置１０が膀胱癌であると分類した画像である。

【0053】

図１２～１４は、正解が膀胱癌である画像に示したものであり、このうち図１２は本実施例の支援装置１０も膀胱癌であると分類した画像である。図１３は本実施例の支援装置１０がハンナ型間質性膀胱炎であると分類した画像である。また、図１４は本実施例の支援装置１０が膀胱痛症候群であると分類した画像である。

【0054】

さらに出力部３８は、本実験例においては、前記３分類、すなわち、ハンナ型間質性膀胱炎、膀胱痛症候群、膀胱癌について行われた出力のうち、膀胱痛症候群、膀胱癌であるとされたものを、ハンナ型間質性膀胱炎でないものと分類することができる。言い換えれば、出力部は、前記３分類の結果に基づいて、ハンナ型間質性膀胱炎である、あるいは、ハンナ型間質性膀胱炎でない、の２分類を出力することができる。

【0055】

図１５は、出力部３８による２分類の出力結果をまとめた表である。図１５においては、出力部３８が分類した前記２分類のそれぞれについて、正解との関係を示している。これによれば、支援装置１０の感度は、正解がハンナ型間質性膀胱炎である総画像数に対する、ハンナ型間質性膀胱炎であると判断した画像数の割合、すなわち１６５／（１６５＋３４）であり、８２．９％である。また、特異度は、正解がハンナ型間質性膀胱炎でない総画像数に対する、ハンナ型間質性膀胱炎でないと判断した画像数、すなわち４１６／（４１６＋３１）であり、９３．１％となる。これによれば、２分類の正解率は８９．９％となり、３分類を行った場合に比べて分類の精度が向上する。

【0056】

このように、３分類による判断においても、２分類による判断においても、膀胱鏡画像がハンナ型間質性膀胱炎のものであることについて良好な判断が行われていることがわかる。

【0057】

図１６は、本実施例の支援装置１０の受信者動作特性（ＲＯＣ；receiver operating characteristic）曲線を示している。このうち、実線がハンナ型間質性膀胱炎（truth）に対して、それ以外、すなわち膀胱痛症候群あるいは膀胱癌（false）である場合、破線が膀胱痛症候群（truth）に対して、それ以外、すなわち、膀胱癌あるいはハンナ型間質性膀胱炎（false）である場合、一点鎖線は、膀胱癌（truth）に対して、それ以外、すなわち、ハンナ型間質性膀胱炎あるいは膀胱痛症候群（false）である場合を示している。図１６に示すように、いずれのＲＯＣ曲線も、本実施例の支援装置１０による分類が良好であることを示している。また、ＡＵＣ（各ＲＯＣ曲線より下側の面積の割合）は、それぞれ実線の場合について０．９６、破線について０．９８、一点鎖線について０．９７であり、いずれについても本実施例の支援装置１０の分類器（分類アルゴリズム）の性能が良好であることがわかる。

【0058】

本実施例の支援装置１０によれば、学習済みのネットワーク３６を有する画像処理部３４（分類部）を有し、画像処理部３４は、画像読み込み部３２によって読み込まれた、膀胱鏡によって得られる内視鏡画像について、ハンナ型間質性膀胱炎、膀胱痛症候群、膀胱癌の３分類を行うことができる。

【0059】

また、本実施例の支援装置１０によれば、出力部３８は、前記３分類の結果に基づいて、ハンナ型間質性膀胱炎とそれ以外の２分類を行うものであるので、直接ハンナ型間質性膀胱炎とそれ以外の２分類を行う場合に比べて、好適な分類結果を得られる。

【0060】

また、本実施例の支援装置１０によれば、ネットワークを学習させるための学習部４０と、学習部４０による学習用データを記憶する記憶部１８と、前記記憶部１８に記憶された学習用データに基づいて、追加学習用データを生成する追加データ生成部４２と、を有し、前記学習部４０は、予め記憶部１８に記憶されている学習用データに加え、前記追加学習用データを用いて前記ネットワーク３６を学習させるものであるので、学習用データのみが与えられた場合であっても、より多くの学習を行うことができる。

【0061】

また、本実施例の支援装置１０によれば、画像処理部３４は、分類結果の尤度を出力するものであるので、尤度を考慮して分類結果の参照が可能となる。

【0062】

つぎに、本発明の他の実施例を説明する。なお、以下の説明において、前述の実施例と共通する部分には同一の符号を附して説明を省略する。

【実施例0063】

図１７は、本発明の支援装置１０を含む医用画像観察支援システム（以下、「支援システム」という。）１００の概要を説明する図であり、前述の実施例における図２に対応する図である。

【0064】

本実施例の支援システム１００においては、実施例１の支援装置１０に加えて、内視鏡装置１０２を有するものとされている。そして、前述の実施例１においては、画像読込部３２には予め記憶部１８に記憶されていた入力画像が入力されていたが、本実施例においては、内視鏡装置１０２から直接入力される点において異なる。具体的には、内視鏡装置１０２、すなわち膀胱鏡１０２にはレリーズスイッチ１０４が設けられており、施術者が膀胱鏡１０２において患者の患部を捉えた状態でレリーズスイッチ１０４を押下することにより、その時点の膀胱鏡画像が画像読込部３２に入力されるものとなっている。

【0065】

膀胱鏡１０２より画像読込部３２に入力画像が入力されると、画像読込部３２は前述の実施例１と同様にして画像処理部３４にその画像を読み込ませ、画像処理部３４は学習済みネットワーク３６を用いて、入力された入力画像の３分類を行う。また、出力部３８はハンナ型間質性膀胱炎、膀胱痛症候群、または、膀胱癌についての３分類の結果を出力するほか、必要に応じて画像処理部３４によって算出された尤度を出力したり、前記３分類の結果に基づいて、ハンナ型間質性膀胱炎であるか、否かの２分類の分類を出力する。

【0066】

本実施例の支援システム１００によれば、内視鏡装置１０２と、支援装置１０と、を含み、内視鏡装置１０２に設けられたレリーズスイッチ１０４が操作された場合に、内視鏡装置１０２から支援装置１０に画像が入力されるので、内視鏡装置１０２による撮像から、支援装置１０による画像の分類までを一連の操作として簡便に行うことができる。