特開 2022-83867 ハンナ病変の指摘のためのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022083867

(43)【公開日】2022-06-06

(54)【発明の名称】ハンナ病変の指摘のためのプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20220530BHJP

   A61B 1/307 20060101ALI20220530BHJP

   A61B 1/00 20060101ALI20220530BHJP

   G06N 3/08 20060101ALI20220530BHJP

   G06N 20/00 20190101ALI20220530BHJP

【ＦＩ】

A61B1/045 614

A61B1/307

A61B1/00 513

G06N3/08

G06N20/00

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2020195447

(22)【出願日】2020-11-25

(71)【出願人】

【識別番号】518461584

【氏名又は名称】株式会社朋

(71)【出願人】

【識別番号】517016705

【氏名又は名称】エルピクセル株式会社

(74)【代理人】

【識別番号】100096758

【弁理士】

【氏名又は名称】高橋 剛

(74)【代理人】

【識別番号】100114845

【弁理士】

【氏名又は名称】高橋 雅和

(74)【代理人】

【識別番号】100148781

【弁理士】

【氏名又は名称】高橋 友和

(72)【発明者】

【氏名】上田 朋宏

(72)【発明者】

【氏名】グルシニコフ アンドレイ

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA15

4C161CC06

4C161HH51

4C161SS21

4C161WW08

4C161WW13

4C161WW18

(57)【要約】

【課題】医師の知識や熟練度によらず、もし患者のハンナ病変を的確かつ迅速に把握できる汎用性のある技術が提供すること。間質性膀胱炎の的確な診断、間質性膀胱炎患者の救済、国際的合意の形成のいずれにおいても顕著な進展を見いだす技術を提供すること。
【解決手段】膀胱中のハンナ病変の内視鏡画像データを教師データとして取得し、前記教師データを用いて、膀胱内視鏡画像を入力、当該膀胱内視鏡画像中におけるハンナ病変の位置指摘を出力とする学習モデルを生成する、学習モデル生成方法、及び学習済みモデル、プログラムからなる。
【選択図】なし

【特許請求の範囲】

【請求項1】

膀胱中のハンナ病変の内視鏡画像データを教師データとして取得し、
前記教師データを用いて、
膀胱内視鏡画像を入力、当該膀胱内視鏡画像中におけるハンナ病変の位置指摘を出力とする学習モデルを生成する、
学習モデル生成方法。

【請求項2】

膀胱内に存在する空気の内視鏡画像データ
を教師データとしてさらに含む、請求項１に記載の学習モデル生成方法。

【請求項3】

正常膀胱の内視鏡画像データと、ハンナ病変が存在しないが、正常膀胱ではない内視鏡画像データを教師データとしてさらに含む、請求項１又は２に記載の学習モデル生成方法。

【請求項4】

前記教師データにおける前記内視鏡画像データが、狭帯域光観察画像と白色光観察画像のいずれをも含む、請求項１から３のいずれか１項に記載の学習モデル生成方法。

【請求項5】

入力された膀胱内視鏡の膀胱が正常膀胱であるか否かの判定を出力としてさらに含む、請求項４に記載の学習モデル生成方法。

【請求項6】

膀胱中のハンナ病変の内視鏡画像データを取得し、
膀胱内視鏡画像を入力、内視鏡画像中におけるハンナ病変の位置指摘データを出力とする学習モデルに、対象の膀胱内視鏡画像を入力して、ハンナ病変の位置指摘を出力する処理をコンピュータに実行させるプログラム。

【請求項7】

前記教師データにおける前記内視鏡画像データが、狭帯域光観察画像と白色光観察画像のいずれをも含む、請求項６に記載のプログラム。

【請求項8】

前記学習モデルが、ハンナ病変が存在しないが、正常膀胱の内視鏡画像データと、
正常膀胱ではないがハンナ病変が存在しない内視鏡画像データと、
を教師データとしてさらに含む、請求項６又は７に記載のプログラム。

【請求項9】

膀胱内に存在する空気の内視鏡画像データを教師データとしてさらに含む、請求項６から８のいずれか１項に記載のプログラム。

【請求項10】

正常膀胱であるか否かを判断して出力する処理をさらに含む、請求項７又は９に記載のプログラム。

【請求項11】

膀胱内視鏡システムを用いて取得された膀胱内視鏡画像を用いた学習済みモデルであって、
膀胱内視鏡画像が入力される入力層と、
内視鏡画像中におけるハンナ病変の位置指摘データを出力とする出力層と、
膀胱中のハンナ病変の内視鏡画像データを入力、
膀胱画像中におけるハンナ病変の位置指摘データを出力とする教師データを用いてパラメータが学習された中間層とを備え、
対象の膀胱内視鏡画像を前記入力層に入力し、前記中間層にて演算し、画像中におけるハンナ病変の位置指摘データを出力するよう、
コンピュータを機能させるための学習済みモデル。

【請求項12】

膀胱内に存在する空気の内視鏡画像データを教師データとしてさらに含む、請求項１１に記載の学習済みモデル。

【請求項13】

正常膀胱の内視鏡画像データと、
ハンナ病変が存在しないが、正常膀胱ではない内視鏡画像データとを教師データとしてさらに含む、請求項１１又は１２に記載の学習済みモデル。

【請求項14】

前記教師データにおける前記内視鏡画像データが、狭帯域光観察画像と白色光観察画像のいずれをも含む、請求項１１から１３のいずれか１項に記載の学習済みモデル。

【請求項15】

正常膀胱か異常膀胱かを出力としてさらに含む、請求項１３又は１４に記載の学習済みモデル。

【請求項16】

請求項６から１０に記載のプログラムが記録された、膀胱内視鏡の制御装置。

【請求項17】

請求項１１から１５に記載の学習済みモデルが記録された、膀胱内視鏡の制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はハンナ病変の指摘に有用なプログラムに関する。さらに詳細には、膀胱異常、特に間質性膀胱炎に係る分野において有用な、対象のハンナ病変を指摘するプログラム・学習済みモデル及びその生成方法に関する。

【背景技術】

【0002】

間質性膀胱炎は、頻尿や尿意切迫感、膀胱充満時の膀胱痛や不快感などの症状がみられる慢性の疾患である。重症の場合は、１日に６０回も排尿することがあり、日常生活が困難になるほどの著しい影響を及ぼす。男性よりも女性で発症しやすく、米国において約１３０万人の間質性膀胱炎患者のうち１００万人以上が女性であるといわれる。しかし、 疫学調査報告は多くあるものの、原因は究明されていない。さらに、「間質性膀胱炎」の定義、診断基準、さらには表現が、国や地域によって異なっている。そこで本願における「間質性膀胱炎」の記載は、膀胱痛症候群及び過活動膀胱痛症候群の概念も含む表現とする。

【0003】

間質性膀胱炎につき米国で日常的に行われている基準を反映するものとしては、米国の症例集積研究(Interstitial Cystitis Data Base；ICDB)18)の基準があるが、この基準においては膀胱鏡所見が必須条件とされていない。また、しばしば引用される NIDDK(National Institute of Diabates and Digestive and Kidney Diseases)の基準があるが、これは研究の際に症例を厳密に選ぶ場合の基準であり、膀胱鏡所見を要することから、より厳格である。ICDBの基準によって間質性膀胱炎と診断されていた患者のうち、NIDDK の基準を満たすのは半数にも達していないという報告もある。

【0004】

また、間質性膀胱炎において特徴的な点として、間質性膀胱炎の病型はハンナ病変を有するハンナ型と、ハンナ病変を有しない非ハンナ型に大別される点がある。ハンナ病変とは、正常の毛細血管構造を欠く特有の発赤粘膜であり、病理学的には、上皮はしばしば剥離し（糜爛)、粘膜下組織には新生血管の増生と炎症細胞の集簇がみられる。ハンナ型は内視鏡的にも病理学的にも明確な異常所見を有し、正常の毛細血管構造を欠く特有の発赤粘膜である。なお、上述の通り国際的な基準が確定されていないことから、地域によってはハンナ病変はハンナ潰瘍又は単に潰瘍と称されることもある。

【0005】

ハンナ型は、症状的により重症となることから、より早期に正確な診断と対処が必要となる。しかしながら、上述の通り、ハンナ病変の有無が、間質性膀胱炎の診断の必須要件とされていない地域が存在する。さらに、世界標準の定義や診断基準が未だ確立されていないため、そもそも間質性膀胱炎及びハンナ病変の正確な知識と診断を行うことができる医師が極めて少ないという状況にある。したがって、間質性膀胱炎の診断について本発明者の一人である上田朋宏が開示した米国特許第８０８０１８５号の存在にも関わらず、未だ潜在的な患者が見過ごされ、誤診も含め十分な診断や治療が行われていない問題を生じている。

【発明の開示】

【発明が解決しようとする課題】

【0006】

上述の問題を難しくしている原因として、膀胱鏡所見が必ずしも間質性膀胱炎の診断の要件とされていない地域があることから、膀胱鏡観察が行われない場合が多いということが挙げられる。この場合、ハンナ病変を的確に確認することが困難となり、上述通り潜在的な患者が見過ごされ得る。一方、膀胱鏡観察が行われる場合であっても、医師側において十分な知見がなく見過ごされている場合が多い。また、膀胱鏡観察は、殆どが膀胱異常を感じた患者に対して行われる。このため、正常膀胱（疾患のない健常者の膀胱）の観察が行われる機会も正常膀胱の膀胱鏡画像の蓄積も非常に少ないだけでなく、正常膀胱と、ハンナ病変は存在しないが正常でない膀胱の区別の知見がない医師も存在する。そして、これら状況は、世界標準の定義や診断基準がさらに困難になるという悪循環を生じさせている。

【0007】

しかしながら、医師の知識や熟練度によらず、もし患者のハンナ病変を的確かつ迅速に把握できる汎用性のある技術が提供されれば、さらにはもし正常膀胱を適切に認識可能な技術が提供されれば、間質性膀胱炎の的確な診断、間質性膀胱炎患者の救済、国際的合意の形成のいずれにおいても顕著な進展を見いだすことになる。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明は、膀胱中のハンナ病変の内視鏡画像データを教師データとして取得し、前記教師データを用いて、膀胱内視鏡画像を入力、当該膀胱内視鏡画像中におけるハンナ病変の位置指摘を出力とする学習モデルを生成する、学習モデル生成方法からなる。

【0009】

また、本発明は、膀胱中のハンナ病変の内視鏡画像データを取得し、膀胱内視鏡画像を入力、内視鏡画像中におけるハンナ病変の位置指摘データを出力とする学習モデルに、対象の膀胱内視鏡画像を入力して、ハンナ病変の位置指摘を出力する処理をコンピュータに実行させるプログラムからなる。

【0010】

また、本発明は、膀胱内視鏡システムを用いて取得された膀胱内視鏡画像を用いた学習済みモデルであって、膀胱内視鏡画像が入力される入力層と、内視鏡画像中におけるハンナ病変の位置指摘データを出力とする出力層と、膀胱中のハンナ病変の内視鏡画像データを入力、膀胱画像中におけるハンナ病変の位置指摘データを出力とする教師データを用いてパラメータが学習された中間層とを備え、対象の膀胱内視鏡画像を前記入力層に入力し、前記中間層にて演算し、画像中におけるハンナ病変の位置指摘データを出力するよう、コンピュータを機能させるための学習済みモデルからなる。

【0011】

さらに、上記学習モデル生成方法、プログラム、学習済みモデルが、膀胱内に存在する空気の内視鏡画像データ、正常膀胱の内視鏡画像データ、ハンナ病変が存在しないが、正常膀胱ではない内視鏡画像データの少なくともいずれかを教師データとして含むことが好適である。

【0012】

また、上記画像データが狭帯域光観察画像と白色光観察画像のいずれをも含むことが好適である。

【0013】

また、膀胱が正常膀胱であるか否か、判断して出力する処理を可能にしていること、プログラム又は学習済みモデルが膀胱内視鏡の制御装置に搭載されていることが好適である。

【0014】

本発明のプログラム及び学習済みモデルは、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ、通信インターフェースなどを備えた制御装置やサーバ等、公知の構成を採用することで実施することができる。また、クラウド上のシステムとしても構成し得る。さらに、本発明は、ディスプレイ等表示手段に対し、推定されたハンナ病変の位置を枠又は着色など、視覚認識可能な手段として指摘し表示させる手段を備えることが好適である。さらに、本発明は、内視鏡とは独立して使用するシステムとして利用しても、膀胱内視鏡システムの制御装置に搭載されることで膀胱内観察と同時にリアルタイムに使用されても良い。

【0015】

また、本発明においては、ディープラーニングモデルが使用されるが、典型的にはニューラルネットワークを使用したディープラーニングが使用され、好ましくは畳み込みニューラルネットワークが使用される。画像が入力されると、畳み込みニューラルネットワークがハンナ病変の位置を推定する推定手段として機能する。ただし、本発明の効果を奏することが可能である限り、上記に限定されるものではない。

【0016】

ディープラーニングモデルは大量の内部パラメータを有する。入力データに対して教師データにできるだけ近い出力結果が得られるよう内部パラメータが調整される。一般的にこの調整処理を「学習」と呼ぶ。高性能のモデルを生成するためには、モデル構造や学習方法のほか、学習に使用する教師データ（入力データと教師データのセット）の量と質が重要となる。

【0017】

本発明における教師データとしては、膀胱中のハンナ病変の内視鏡画像が使用される。当該ハンナ病変を指摘して学習させることにより、ハンナ病変を指摘できるモデルが生成される。そして、研究の結果、膀胱中に存在する空気（泡）についてハンナ病変と認識する場合があること、正常膀胱についてハンナ病変を指摘する場合があること（正常膀胱の皺の影や高低差が影響していると推測される）が判明した。そこで、これら要素についてハンナ病変と判断しないように、空気（泡）については空気（泡）として、また正常膀胱の表皮状況は、ハンナ病変の有無にかかわらず間質性膀胱炎の膀胱状態とは異なることから、正常膀胱画像だけでなく、ハンナ病変は存在しないが、正常膀胱ではない画像についても学習させた。

【0018】

本発明では正常膀胱を学習させていることにより、正常膀胱についての偽陽性判断率避けるために有効である。また、ハンナ病変は存在しないが、正常膀胱ではない画像の学習により、ハンナ病変の存在しない非正常膀胱についての偽陽性判断を避けるために有効である。さらには、もし正常膀胱につき正常膀胱として出力するモデルとして生成すれば、正常膀胱でもハンナ病変を有する膀胱でもない場合を異常膀胱として判断して指摘する構成の実現も可能にする。

【0019】

また、精度が高いアルゴリズムの獲得するために、多くのハンナ病変の態様を学習させる必要があるが、世界的には間質性膀胱炎患者の膀胱内視鏡画像の蓄積が非常に少ない。しかし、本発明者の上田朋宏は世界でも最も多くの間質性膀胱炎患者の膀胱内視鏡画像（および正常膀胱画像及びハンナ病変は存在しないが、正常膀胱ではない画像）を蓄積してきたことにより、多種多様のハンナ病変画像が蓄積されており、モデルの作成に十分な種類及び質の画像を学習させることができる。さらに、本発明では狭帯域光観察(Narrow Band Imaging，NBI)と白色光観察(White Light Imaging，WLI)のいずれの画像も学習させており、いずれの画像にも利用可能なモデルとなる。狭帯域光観察では、狭帯域化された青(３９０～４４５ｎｍの波長)と緑（５３０～５５０ｎｍの波長)の2つの波長の光が照射され、微細血管像のコントラストが増強されて出力される。青い光は粘膜表面の新生血管の有無を、緑色の光は粘膜深部の血管の有無を示す。白色光観察は、内視鏡の先端から青、緑、赤の3原色で合成される照明光を使用して観察する。なお、実際の医師による診断では、狭帯域光観察の方が病変を視認しやすいが、途上国を含む世界的な利用率では未だ白色光観察の方が高いと想定される。白色光観察は、病変も背景も赤に見える為に診断を難しくしている一因でもあるが、本発明では白色光観察画像にも適用可能であることから、汎用性が高く間質性膀胱炎患者の発見にも国際的合意形成にも有用である。

【発明を実施するための形態】

【0020】

データセット
膀胱内視鏡で撮影した動画を基に、この動画に対する正解情報の付与(アノテーション)を以下の手順で行われた。
１．全フレームから１０フレーム毎に候補画像を抽出し、ハンナ病変候補画像を選定
２．選定画像に正解情報を付与
３．正解情報を付与した画像の前後のフレームで類似する画像に対し正解情報を付与

【0021】

正解情報の付与がされたデータをNBIとWLIに分けて、静止画像のデータベースを作成した。抽出した画像に対し、内視鏡画像外の黒い領域をトリミングで消した。この処理により、画像サイズは約１０００ｘ９００画素となった。また、ハンナ病変位置のアノテーションはLabel meというソフトウェアで行なわれた。

【0022】

動画数

【表1】

【0023】

静止画像データベース構成

【表2】

＊正常画像には、正常膀胱及びハンナ病変がないが正常膀胱ではない画像を含むが、ハンナ病変ありの画像は含まれない。
泡は、正常膀胱、ハンナ病変ありのいずれの場合も含む。

【0024】

画像例

＊上記泡の画像例は、ハンナ病がないが正常膀胱ではない画像例。
＊原画像はいずれもカラー画像

【0025】

モデル
検出モデルとセグメンテーションモデルを使用して実験を行った。検出モデルとは、ハンナ病変領域を包含する矩形領域を推定するモデルであり、矩形領域の位置、大きさ、当該矩形の病変確信度を出力する。セグメンテーションモデルとは、画素毎の病変確信度を出力するモデルであり、ハンナ病変領域が形状も含め推定される。

【0026】

実験には、一般画像のデータセット（COCO、CITYSCAPES）に対し高い性能を示している以下のモデルを使用した。
検出モデル：Cascade R-CNN
セグメンテーションモデル：Cascade Mask R-CNN
セグメンテーションモデル：OCNet
上記3つのモデルをNBI、WLIそれぞれのデータで学習し、計6個のモデルを作成した。

【0027】

実験設定と結果
実験では、データセットを８５％の学習データと１５％のテストデータにランダムに５回分割し、５回学習・評価を行った。なお、データ分割は症例単位で行っている。表３、表４に、NBI、WLIデータセットそれぞれの画像数および症例数を示す。

【0028】

NBIデータセットの画像数および症例数

【表3】

【0029】

WLIデータセットの画像数および症例数

【表4】

【0030】

各画像タイプ、また各分割データセットに対して３つのモデル（Cascade R-CNN，Cascade Mask R-CNN，OCNET)を学習し、ハンナ病変領域単位の感度と陽性的中率でモデルの性能を評価した。感度(Sensitivity)および陽性的中率(Positive Prediction Value，PPV)は、真陽性領域数(Number of True Positive，#TP)、偽陰性領域数(Number of False Negative，#FN)、偽陽性領域数(Number of False Positive，#FP)とした場合、
Sensitivity ＝ #TP / (#TP ＋ #FN)
PPV ＝ #TP / (#TP＋#FP)
である。

【0031】

続いて、ハンナ病変領域単位の真陽性(TP)、偽陰性(FN)、偽陽性(FP)の決定方法について述べる。まず、予測領域と正解領域の重複度合いをIoU(Intersection over Union)で計算する。IoUは予測領域と正解領域の和集合領域画素数に対する予測領域と正解領域の重複画素数の割合であり、2つの領域が全く重複しない場合は0、完全に一致する場合は1となる。下記に、矩形領域の場合のIoUのスコア例を示す。

【0032】

IoUのスコア例（薄線が正解領域、濃線が予測領域）

【0033】

本実施例ではTP、FN、FPを以下のように定義した。また、図３に概念図を示す。
TP ≡ 1画素以上重なる全予測領域とのIoUが0.3を超える正解領域
FN ≡ 1画素以上重なる全予測領域とのIoUが0.3以下の正解領域
FP ≡ 正解領域とのIoUが0.1以下の予測領域

【0034】

なお、検出モデルであるCascade R-CNNは上述のように矩形領域で評価を行い、セグメンテーションモデルであるCascade Mask R-CNNとOCNETは下記のように領域形状も考慮して評価している。正解領域を薄色、予測領域を濃色で示した。最上部の正解領域と予測領域はそれぞれ重複が少ないためFN、FPとなる。下部の正解領域は複数の予測領域と十分な重複が有りTPとなる。

【0035】

TP、FP、FNの概念図

【0036】

表５～表８に各モデルの評価結果を示す。また、表９～１１に各モデルのNBI画像予測結果例を示す。表１１は、検出モデル及びセグメンテーションモデルにおけるＮＢＩ正常膀胱画像の検出結果例
表 5：NBI画像で評価した検出モデル(Cascade R-CNN)の性能
表 6：NBI画像で評価したセグメンテーションモデルの性能
表 7：WLI画像で評価した検出モデル(Cascade R-CNN)の性能
表 8：WLI画像で評価したセグメンテーションモデルの性能

【0037】

NBI画像で評価した検出モデル(Cascade R-CNN)の性能

【表5】

【0038】

NBI画像で評価したセグメンテーションモデルの性能

【表6】

＊モデルの反応があった全予測画素(確信度が0%ではない画素)で評価

【0039】

WLI画像で評価した検出モデル(Cascade R-CNN)の性能

【表7】

【0040】

WLI画像で評価したセグメンテーションモデルの性能

【表8】

＊モデルの反応が有った全予測画素(確信度が0%ではない画素)で評価

【0041】

検出モデル(Cascade R-CNN)のNBI画像予測結果例

【表9】

＊確信度が0%ではない全予測領域を表示している。
薄線（原画像は緑）が正解領域、濃線（原画像は赤）が予測領域である。

【0042】

検出モデル及びセグメンテーションモデルのNBI画像予測結果例

【表10】

＊薄線（原画像は緑）が正解領域、濃線（原画像は赤）が予測領域である。
矩形出力は確信度と共に表示されている。
本例では泡を泡として出力表示する態様としている。

【0043】

検出モデル及びセグメンテーションモデルのWLI画像予測結果例

【表11】

＊塗りつぶし部分（原画像は黄）が正解領域、白線（原画像は赤）が予測領域である。
矩形出力は確信度と共に表示されている。

【0044】

検出モデル及びセグメンテーションモデルにおけるＮＢＩ正常膀胱画像の検出結果例

【表12】

【0045】

上述の通り、狭帯域光観察にも白色光観察画像にも適用可能な学習済みモデルを形成することができた。さらに、泡の指摘も行うことが可能となっている。本発明によれば、医師の知識や熟練度によらず、また狭帯域光観察でも白色光観察画像でもハンナ病変を的確かつ迅速に把握できる機会を提供できる。さらに、正常膀胱につき高低差、影等による赤みの位相があっても、偽陽性判断を避けている。その結果、間質性膀胱炎の的確な診断、間質性膀胱炎患者の救済、国際的合意の形成の進展に資する。