特開 2024-8323 学習用画像データ作成方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024008323

(43)【公開日】2024-01-19

(54)【発明の名称】学習用画像データ作成方法及びシステム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240112BHJP

   G06T 1/00 20060101ALI20240112BHJP

【ＦＩ】

A61B1/045 614

G06T1/00 290

A61B1/045 618

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022110099

(22)【出願日】2022-07-08

(71)【出願人】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(71)【出願人】

【識別番号】522275142

【氏名又は名称】岩城 拓弥

(74)【代理人】

【識別番号】100091443

【弁理士】

【氏名又は名称】西浦 ▲嗣▼晴

(72)【発明者】

【氏名】野里 博和

(72)【発明者】

【氏名】坂無 英徳

(72)【発明者】

【氏名】岩城 拓弥

【テーマコード（参考）】

4C161

5B057

【Ｆターム（参考）】

4C161AA15

4C161TT03

4C161WW02

5B057CA01

5B057CE17

(57)【要約】

【課題】内視鏡画像の周辺部の歪みや粘膜画像とマスク画像の色差の影響を受けることなく、学習モデル作成用の学習用画像データを作成できる学習用画像データ作成方法及びシステムを提供する。
【解決手段】マスク画像に隣接し且つ粘膜を観察する内視鏡スコープのレンズの影響により前記粘膜画像が歪む領域を、マスク画像の延長領域画像とするマスク延長処理を行って延長処理済み学習用画像を作成する。延長処理済み学習用画像のマスク画像に色変換補正を行ってマスク色置換済み学習用画像データを作成し、マスク色置換済み学習用画像の学習に影響を及ぼさないように粘膜画像の色調を補正して粘膜色調補正済み学習用画像データを作成し、粘膜色調補正済み学習用画像データを学習用画像データとする。
【選択図】図２

【特許請求の範囲】

【請求項1】

粘膜画像の外側にマスク画像が存在する内視鏡画像に基づいて、学習モデル作成用の学習用画像データを作成する学習用画像データ作成方法であって、
前記マスク画像に隣接し且つ粘膜を観察する内視鏡スコープのレンズの影響により前記粘膜画像が歪む領域を、前記マスク画像の延長領域画像とするマスク延長処理を行って延長処理済み学習用画像データを作成し、
前記延長処理済み学習用画像データに基づいて前記学習用画像データを作成し、
前記延長処理済み学習用画像データの前記マスク画像及び延長領域画像に色変換補正を行ってマスク色置換済み学習用画像データを作成し、
前記マスク色置換済み学習用画像データの前記粘膜画像の色調の相違が影響を及ぼさないように前記粘膜画像の色調を補正して粘膜色調補正済み学習用画像データを作成し、
前記粘膜色調補正済み学習用画像データを前記学習用画像データとすることを特徴とする学習用画像データ作成方法。

【請求項2】

前記粘膜色調補正済み学習用画像データを用いて、画像拡張技術により拡張学習用画像データを作成し、
前記拡張学習用画像データを前記学習用画像データとすることを特徴とする請求項１に記載の学習用画像データ作成方法。

【請求項3】

前記マスク画像には、前記内視鏡画像の上下方向を確認する指標が含まれており、前記延長領域画像は前記指標の存在が前記粘膜画像に影響を与える範囲まで延長されている請求項１に記載の学習用画像データ作成方法。

【請求項4】

前記マスク画像には、前記内視鏡画像の上下方向を確認する指標が含まれており、前記延長領域画像は前記指標の存在が前記粘膜画像に影響を与える範囲まで延長されている請求項２に記載の学習用画像データ作成方法。

【請求項5】

前記粘膜画像の輪郭は円形または多角形を呈しており、前記延長領域画像は、前記粘膜画像の外周を囲む環状の画像である請求項１に記載の学習用画像データ作成方法。

【請求項6】

前記粘膜画像の輪郭は円形または多角形を呈しており、前記延長領域画像は、前記粘膜画像の外周を囲む環状の画像である請求項２に記載の学習用画像データ作成方法。

【請求項7】

前記色変換補正は、前記粘膜画像の画素値の平均と分散を基準として、前記マスク画像及び前記延長領域画像を前記粘膜画像に影響を生じさせない色の模様画像に置換する請求項１に記載の学習用画像データ作成方法。

【請求項8】

前記色調の補正は、前記粘膜画像の色相、彩度及び明度の最頻値を基準として、前記粘膜画像全体の色相、彩度及び明度をそれらの分布が偏らないように色調補正を行う請求項１に記載の学習用画像データ作成方法。

【請求項9】

請求項１乃至８のいずれか１項に記載の方法により作成された学習用画像データを用いて学習した学習モデルを用いて、ハンナ型間質性膀胱炎の患者の膀胱の内視鏡画像の診断をすることを特徴とするハンナ型間質性膀胱炎の診断方法。

【請求項10】

粘膜画像の外側にマスク画像が存在する内視鏡画像に基づいて、学習モデル作成用の学習用画像データを、データプロセッサを用いて作成する学習用画像データ作成システムであって、
前記データプロセッサは、
前記マスク画像に隣接して粘膜を観察する内視鏡スコープのレンズの影響により前記粘膜画像が歪む領域を前記マスク画像の延長領域画像とするマスク延長処理を行って延長処理済み学習用画像を作成する延長処理手段と、
前記延長処理済み学習用画像の前記マスク画像に色変換補正を行ってマスク色置換済み学習用画像データを作成する色置換処理手段と、
前記マスク色置換済み学習用画像の前記粘膜画像の色調の相違が影響を及ぼさないように前記粘膜画像の色調を補正して粘膜色調補正済み学習用画像データを作成する色調補正処理手段を備え、
前記粘膜色調補正済み学習用画像データを前記学習用画像データとすることを特徴とする学習用画像データ作成システム。

【請求項11】

前記データプロセッサは、前記粘膜色調補正済み学習用画像を用いて画像拡張技術により拡張学習用画像データを作成する拡張処理手段を更に含んでいる請求項１０に記載の学習用画像データ作成システム。

【請求項12】

前記マスク画像には、前記内視鏡画像の上下方向を確認する指標が含まれており、
前記延長処理手段は、前記延長領域画像を前記指標の存在が前記粘膜画像に影響を与える範囲まで延長する請求項１０に記載の学習用画像データ作成システム。

【請求項13】

前記粘膜画像の輪郭は円形または多角形を呈しており、前記延長領域画像は、前記粘膜画像の外周を囲む環状の画像である請求項１０に記載の学習用画像データ作成システム。

【請求項14】

前記色置換処理手段は、前記色変換補正が、前記粘膜画像の色相、彩度及び明度の最頻値を基準として、前記粘膜画像全体の色相、彩度及び明度をそれらの分布が偏らないように変換補正を行うように構成されている請求項１０に記載の学習用画像データ作成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡画像を学習用画像データとして、学習用画像データを作成する学習用画像データ作成方法及びシステムに関するものである。

【背景技術】

【0002】

例えば、ハンナ型間質性膀胱炎は特有の発赤粘膜病変であるハンナ病変を膀胱内に認めることを特徴とする炎症性疾患である。しかし、ハンナ病変の客観的診断指標はなく、その診断は膀胱内視鏡検者の主観的判断によって下される。このため、ＢＣＧ関連膀胱炎や上皮内癌で認められる類似発赤病変との判別は、間質性膀胱炎を専門とする熟練した医師でさえ膀胱内視鏡画像の観察のみでは困難である。このように粘膜上の特徴が類似するような病変を判別するためには、内視鏡検査における病変判別の精度を向上させることが重要で、人工知能等を用いたサポートにより、医師の診断を支援し、診断精度を向上させることが必要になる。

【0003】

そこで従来、診断をサポートする人工知能として、内視鏡画像を学習用画像データとして学習することにより学習モデルを作る技術がある。例えば、特開２０２０－１４１９９５号公報（特許文献１）には、内視鏡用処置具が抽出された前景内視鏡画像と前景画像の背景となる背景内視鏡画像とを重畳した重畳画像を生成し、この重畳画像を使用して大量の画像認識用の学習用画像データを作り、この学習用画像データを用いて学習モデルを作る技術が開示されている。

【0004】

また内視鏡画像が観察している粘膜の観察方向を特定する技術として、特許第３７２０６１７号公報（特許文献２）には、内視鏡画像の方向を特定するためにマスク画像に指標を付けることが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１４１９９５号公報

【特許文献2】特許第３７２０６１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来は、内視鏡画像において、粘膜を観察する内視鏡スコープのレンズの影響により内視鏡画像の周辺部の粘膜画像の歪みや、粘膜画像とマスク画像の境界の色差（色相や彩度、明度の差）が人工知能の学習結果に影響を与えることについては、認識がなかった。そのため、従来は粘膜画像の周囲にマスク画像が配置された内視鏡画像のデータをそのまま用いて学習用画像データを作成していた。そのため学習用画像データの質が悪く、たとえ学習用画像の拡張技術を用いて作成した拡張用画像データを用いたとしても、結果として学習モデルの精度を上げることに限界があった。例えば、ハンナ型間質性膀胱炎のように症例が非常に少ないものでは、学習用データの質を学習データ量でカバーすることができないため、直に学習モデルの学習精度に影響を与える問題が生じる。

【0007】

本発明の目的は、内視鏡画像の周辺部の歪みや粘膜画像とマスク画像の色差の影響を受けることなく、学習モデル作成用の学習用画像データを作成できる学習用画像データ作成方法及びシステムを提供することにある。

【課題を解決するための手段】

【0008】

本発明は、粘膜画像の外側にマスク画像が存在する内視鏡画像に基づいて、学習モデル作成用の学習用画像データを作成する学習用画像データ作成方法を対象とする。本発明の方法では、マスク画像に隣接し且つ粘膜を観察する内視鏡スコープのレンズの影響により前記粘膜画像が歪む領域を、マスク画像の延長領域画像とするマスク延長処理を行って延長処理済み学習用画像を作成する。そして延長処理済み学習用画像のマスク画像に色変換補正を行ってマスク色置換済み学習用画像データを作成し、マスク色置換済み学習用画像の学習に影響を及ぼさないように粘膜画像の色調を補正して粘膜色調補正済み学習用画像データを作成し、粘膜色調補正済み学習用画像データを学習用画像データとするのが好ましい。内視鏡画像の学習用データが十分に用意できないものでは、拡張の基礎となる学習用データにはできるだけノイズとなる要素が含まれないことが好ましい。発明者は、このような前提から種々研究した結果、マスク画像に隣接する粘膜画像は、レンズ等の影響によって歪むことがあることを見いだした。そこで発明者は、この知見をベースにして、マスク画像に隣接してレンズ等の影響により粘膜画像が歪む領域をマスク画像の延長領域画像とするマスク延長処理を行って延長処理済み学習用画像を作成することにした。そして、延長処理済み学習用画像中のマスク画像及び延長領域画像に色変換補正を行ってマスク色置換済み学習用画像データを作成することにより、マスク画像及び延長領域画像を粘膜画像に歪みを生じさせない色の模様画像に置換することにした。次にマスク色置換済み学習用画像データの粘膜画像の色調の相違が学習結果に影響を及ぼさないように粘膜画像の色調を補正して粘膜色調補正済み学習用画像データを作成する。この色調補正は、使用する内視鏡の種類に応じ画像の色調の相違を是正するものである。なお前述の色変換補正の前に色調補正を行うこともできる。色変換補正及び色調補正を行うと、学習用画像データには、殆どノイズとなる要素が含まれなくなり、学習モデルの学習精度を高めることができる。

【0009】

なお粘膜色調補正済み学習用画像データを用いて、画像拡張技術により拡張学習用画像データを作成し、拡張学習用画像データを学習用画像データとしてもよい。このようにすると学習用データの質を学習データ量でカバーしなくても、学習モデルの学習精度を高めることができる。

【0010】

通常のマスク画像には、内視鏡画像の上下方向を確認する指標が含まれている。この場合には、延長領域画像は指標の存在が粘膜画像に影響を与えない範囲まで延長されているのが好ましい。このようにすると指標の存在の影響を確実に除去できる。

【0011】

粘膜画像の輪郭が円形または多角形を呈している場合には、延長領域画像は、粘膜画像の外周を囲む環状の画像であるのが好ましい。このようにすると学習用画像データの画像形状が統一され、画像形状の違いによる影響を少なくすることができる。

【0012】

色変換補正では、粘膜画像の画素値の平均と分散を基準として、マスク画像及び延長領域画像を粘膜画像に影響を生じさせない色の模様画像に置換することができる。
色調補正では、粘膜画像の色相、彩度及び明度の最頻度を基準として、粘膜画像全体の色相、彩度及び明度をそれぞれの分布が偏らないように色調補正を行うことができる。

【0013】

本発明の方法により作成された拡張学習用画像データを用いて学習した学習モデルを用いて、ハンナ型間質性膀胱炎の患者の膀胱の内視鏡画像の診断をすると、従来よりも、ハンナ型間質性膀胱炎の診断精度を大幅に高めることができる。

【0014】

本発明は、粘膜画像の外側にマスク画像が存在する内視鏡画像を学習用画像データとして、拡張学習用画像データを、データプロセッサを用いて作成する拡張学習用画像データ作成システムとして把握することができる。この場合、データプロセッサは、マスク画像に隣接し且つ粘膜を観察する内視鏡スコープのレンズの影響により粘膜画像が歪む領域を、マスク画像の延長領域画像とするマスク延長処理を行って延長処理済み学習用画像を作成する延長処理手段と、延長処理済み学習用画像のマスク画像に色変換補正を行ってマスク色置換済み学習用画像データを作成する色置換処理手段と、マスク色置換済み学習用画像の粘膜画像の色調の相違が学習結果に影響を及ぼさないように粘膜画像の色調を補正して粘膜色調補正済み学習用画像データを作成する色調補正処理手段を備えているのが好ましい。

【0015】

またデータプロセッサは、粘膜色調補正済み学習用画像データを用いて画像拡張技術により拡張学習用画像データを作成する拡張処理手段を更に含んでいてもよい。

【図面の簡単な説明】

【0016】

【図1】本発明の学習用画像データ作成方法を実施する拡張学習用画像データ作成システムを備えた画像診断システムの主要部の構成を示すブロック図である。

【図2】図１のシステムにおいて、学習用画像データをコンピュータを用いて自動作成する際のプログラムのアルゴリズムの概要を示すフローチャートである。

【図3】（Ａ）乃至（Ｃ）は、画像の処理状態を示す模式図である。

【図4】（Ａ）乃至（Ｃ）は、画像の処理状態を示す模式図である。

【図5】色変換補正のためのプログラムのアルゴリズムの概要を示すフローチャートである。

【図6】色調補正のためのプログラムのアルゴリズムの概要を示すフローチャートである。

【図7】（Ａ）乃至（Ｄ）は、画像データ処理で行った実際の画像の例を示す図である。

【図8】（Ａ）は各学習モデルについて、評価指標としてＡＵＣ値を用いた結果を示す図であり、（Ｂ）は評価指標としてＲＯＣ曲線を得た結果を示す図である。

【発明を実施するための形態】

【0017】

以下図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本発明の学習用画像データ作成方法を実施する拡張学習用画像データ作成システムを備えた画像診断システムの主要部の構成を示すブロック図である。また図２は、図１のシステムにおいて、学習用画像データをコンピュータを用いて自動作成する際のプログラムのアルゴリズムの概要を示すフローチャートである。このシステムは、図１に示すように、内視鏡スコープで撮影した内視鏡画像データを内視鏡画像記憶手段２に記憶する。そして内視鏡画像記憶手段２に記憶された内視鏡画像データは、データプロセッサ３によりデータ処理がなされる。

【0018】

データプロセッサ３は、粘膜画像の外側にマスク画像が存在する内視鏡画像を学習用画像データとして、拡張学習用画像データを作成する。データプロセッサ３により作成された拡張学習用画像データは学習用画像記憶部４に記憶され、拡張学習用画像データは、画像ＡＩ診断処理部５においてＡＩ診断に利用される。

【0019】

データプロセッサ３の内部にはプログラムのインストールによって、第１のデータ処理手段３１乃至第４のデータ処理手段３４が構成されている。第１のデータ処理手段３１（延長処理手段）は、図３（Ａ）の模式図に示すように、粘膜を観察する内視鏡スコープ１のレンズの影響によりマスク画像ＭＩに隣接する粘膜画像ＭＣＩが歪む領域をマスク画像ＭＩの延長領域画像ＥＩとするマスク延長処理を行って延長処理済み学習用画像を作成する（図２のステップＳＴ２及びＳＴ３）。図３（Ｂ）及び（Ｃ）に示すように、通常のマスク画像ＭＩには、内視鏡画像の上下方向を確認する方向確認指標ＣＩが含まれている。そこでマスク延長処理を行う場合には、延長領域画像ＥＩは方向確認指標ＣＩの存在が粘膜画像ＭＣＩに影響を与えない範囲まで延長するのが好ましい。例えば、図３（Ｃ）に示すような内向きの方向確認指標ＣＩがある場合には、少なくとも方向確認指標ＣＩが隠れる範囲まで延長領域画像ＥＩを延ばすのが好ましい。また図２（Ｂ）のように外向きの方向確認指標ＣＩがある場合には、外向きの方向確認指標ＣＩを隠し且つ方向確認指標ＣＩの高さ寸法分に近い径方向寸法分だけ内向き延長領域画像ＥＩを延ばすのが好ましい。本実施の形態では、延長領域画像ＥＩの延長量は、方向確認指標ＣＩの有無、方向確認指標ＣＩの既知寸法情報、マスクの既知内径情報等を根拠として予め定められてもよいが、事前の試験により求めたマスクの内径寸法に比例する延長量の演算式に基づいて定めることができる。

【0020】

第２のデータ処理手段（色置換処理手段）３２は、マスク画像に色変換補正を行ってマスク色置換済み学習用画像を作成する。第２のデータ処理手段３２は、粘膜画像のＲＧＢの平均と標準偏差を取得し、ＲＧＢの平均及び標準偏差に従って、一様に分布する模様画像を生成し、マスク画像ＭＩを置き換える。ここで模様画像とは、ＲＧＢの平均を中心に標準偏差の範囲で色が分布しているいわゆる砂嵐のような模様の画像である。具体的には、図４（Ａ）及び（Ｂ）に示すように、色変換補正では、マスク画像ＭＩ及び延長領域画像ＥＩを粘膜画像ＭＣＩに影響を生じさせない色の模様画像に置換する。この色変換補正は、図５に示すプログラムのフローチャートに従って実行される。最初に粘膜画像の画素値の平均と分散を算出する（ステップＳＴ４１）。この算出には、粘膜画像ＭＣＩ内の画素の濃淡値をx_j（j=1,2,…M）とすると、濃淡値の平均μと標準偏差σは、以下の数（１）及び数（２）で表すことができる。

【0021】

【数1】

【0022】

【数2】

次に平均と分散を基に模様画像を生成する（ステップＳＴ４２）。具体的には、算出した平均μと標準偏差σにより定義した以下の範囲内で一様に分布する乱数を用いて、模様画像I_texture内の画素g_i（i=1,2,…,N）を埋める。

【0023】

【数3】

最後にマスク部分を模様画像に置換する。マスク画像ＭＩの領域の画素を生成した模様画像I_textureの画素値で置き換える。このようにしてマスク色置換処理を終了する。なおこの処理は、一例であって、本発明がこの処理に限定されるものはない。

【0024】

次に第３のデータ処理手段（色調補正処理手段）３３は、図４（Ｃ）に模式的に示すように、マスク色置換済み学習用画像の粘膜画像の色調の相違が学習結果に影響を及ぼさないように粘膜画像の色調を補正して粘膜色調補正済み学習用画像を作成する。具体的には、色相移動と、彩度及び明度の平坦化処理を実施する。まずマスク処理されたＲＧＢ画像からなる粘膜画像をＨＳＶ画像に変換して、色相の最頻値を中心に移動する。ここで色相の最頻値を中心に移動するとは、全体が赤っぽい画像であれば、赤い部分を中心にして色が分布する様に色の分布をシフトすることである。次に色相移動を行った画像の彩度と明度で適用的ヒストグラム平坦化を実施する。ここで適用的ヒストグラム平坦化とは、画像の彩度と明度が平均的に分布するように処理することである。このような処理をすると、内視鏡装置による光源の種類などによって粘膜表面の色調が変化した場合でも、彩度と明度の偏りを平坦化することで、同じような色調を作り出し、粘膜表面の状態を見やすくすることが可能になる。

【0025】

この色調補正は、図６に示すプログラムのフローチャートに従って実行される（図２のステップＳＴ６，ＳＴ７）。まず粘膜画像の色空間をＲＧＢからＨＳＶに変換する（ステップＳＴ６１）。粘膜画像ＭＣＩ内の画素の色の赤、緑、青の画素値をx_j=（R_j,G_j,B_j）（j=1,…,M）としたとき、以下の式に従い、ＨＳＶ色空間（H：Hue(色相)、S：Saturation(彩度)、V：Value(明度)）に変換する。ここで、ＭＡＸ_jは画素におけるＲＧＢ各色の最大値、ＭＩＮ_jはＲＧＢ各色の最小値である。

【0026】

【数4】

次にＨ色空間は最頻値を中心に分布をシフトする（ステップＳＴ６２）。具体的には、ＨＳＶ色空間の各画素が、Ｌレベルの濃淡値で表現され、レベルi（i=0,1,…L）の画素数をn_iとするとき、Ｈｕｅ色空間に対し、n_iが最大となる最頻値レベルi_maxが分布の中心になるように、以下の式に従いＨｕｅ色空間の画素分布を平行移動する。

【0027】

【数5】

そして最後にＳＶ色空間を適用的ヒストグラム平坦化する。すなわち粘膜画像の全画素数をM=n₀＋n₁＋…＋n_L、Ｓａｔｕｒａｔｉｏｎ及びＶａｌｕｅ色空間の画素値の最大値をそれぞれＳ_max、Ｖ_maxとするとき、各色空間の画素分布を以下の式に従い平均化する。

【0028】

【数6】

上記のように粘膜画像の色調を補正すると、使用する内視鏡装置の種類に応じ画像の色調の相違を是正することができる。なお前述の色変換補正の前に色調補正を行うこともできる。粘膜色調補正済み学習用画像データを学習用画像データとして用いて学習モデルを作成しても、学習モデルの学習精度を高めることができる。

【0029】

次に、第４のデータ処理手段（拡張処理手段）は、粘膜色調補正済み学習用画像データを用いて、画像拡張技術により拡張学習用画像データを作成する（図２のステップＳＴ８）。本実施の形態では、拡張学習用画像データを学習用画像データとして用いている。このようにすると学習用データの質を学習データ量でカバーしなくても、学習モデルの学習精度を高めることができる。ここで用いることができる画像拡張技術としては、周知のデータ拡張技術を用いればよい。好ましい拡張技術としては、機械学習フレームワークのKerasやPyTorch等に実装されている画像の回転、反転、ぼかし、平行移動等を用いることができる。

【0030】

図７（Ａ）乃至（Ｄ）は、上記の画像データ処理で行った実際の画像の例を示している。図７（Ａ）は内視鏡画像であり、図７（Ｂ）はマスク延長処理済み学習用画像であり、図７（Ｃ）はマスク色置換済み学習用画像であり、図７（Ｄ）は粘膜色調補正済み学習用画像である。上記実施の形態で作成したなお粘膜色調補正済み学習用画像データを用いて、画像拡張技術により拡張学習用画像データを作成し、拡張学習用画像データを学習用画像データとしてもよいが、粘膜色調補正済み学習用画像データを学習用画像データとして学習モデルを作成してもよい。

【0031】

発明者は、ハンナ型間質性膀胱炎のように症例が非常に少ない内視鏡画像データに基づいて、前述の「マスク延長」、「マスク色置換」、「粘膜色調補正」及び「データ拡張」を組み合わせて得た画像データを学習用データとして用いて作成した学習モデル（Ａ，Ａ－２，Ｂ，Ｃ，Ｄ，Ｄ－２及びＥ）について、精度の評価を行った。図８（Ａ）は各学習モデルについて、評価指標としてＡＵＣ（Area Under the Curve）値を用いた結果であり、図８（Ｂ）は評価指標としてＲＯＣ（Receiver Operating Characteristic）曲線を得た結果を示している。比較に用いた画像処理技術は、前述の「マスク延長」、「マスク色置換」、「粘膜色調補正」及び「データ拡張」の組み合わせとした。図８の学習モデルＡは、何も画像処理をしない内視鏡画像データそのものを学習用画像データとして用いて作成した学習モデルであり、平均ＡＵＣ値は０．８６８であった。学習モデルＡ－２は、内視鏡画像データと内視鏡画像データからデータ拡張した拡張学習用画像データを用いて作成した学習モデルであり、平均ＡＵＣ値は０．８８であった。また学習モデルＢは、マスク延長を行って得た延長処理済み学習用画像データを学習用画像データとして用いて作成した学習モデルであり、平均ＡＵＣ値は０．８３９であった。学習モデルＣは、マスク延長を行って得た延長処理済み学習用画像データに粘膜色調補正を行った画像データを学習用画像データとして用いて作成した学習モデルであり、平均ＡＵＣ値は０．８４４であった。学習モデルＤ－２は、マスク延長を行って得た延長処理済み学習用画像データにマスク色置換を行った画像データを学習用画像データとして用いて作成した学習モデルであり、平均ＡＵＣ値を示している。学習モデルＤは、マスク延長を行って得た延長処理済み学習用画像データにマスク色置換と粘膜色調補正を行った画像データを学習用画像データとして用いて作成した学習モデルであり、平均ＡＵＣ値は０．９１５であった。学習モデルＥは、マスク延長を行って得た延長処理済み学習用画像データにマスク色置換と粘膜色調補正を行った画像データに拡張技術を用いて拡張学習用画像データを作成し、この拡張学習用画像データを学習用画像データとして用いて作成した学習モデルであり、平均ＡＵＣ値は０．９２１であった。

【0032】

この平均ＡＵＣ値の結果から、学習モデルＤと学習モデルＥでは、平均ＡＵＣ値が０．９以上となり、高い学習精度が得られることが確認できた。

【0033】

また図８（Ｂ）に示すＲＯＣ曲線は、学習モデルＡ，Ｂ，Ｃ，Ｄ及びＥのＲＯＣ曲線を示している。ＲＯＣ曲線の横軸が「１－特異度」であり、縦軸が「感度」である。性能として理想的な学習モデルは、ＲＯＣ曲線の感度と特異度が、左上隅に近づいていくものである。したがって図８（Ｂ）に示すＲＯＣ曲線からは、学習モデルＤと学習モデルＥが、精度の高いものであることが判る。この結果から、学習モデルＤまたはＥを用いれば、学習用データの質を学習データ量でカバーしなくても、学習モデルの学習精度を高めることができることが確認できた。

【0034】

なお学習モデルＥを用いてハンナ型間質性膀胱炎の内視鏡画像に基づいて診断を行ったところ、従来よりも、ハンナ型間質性膀胱炎の診断精度を大幅に高めることができることが確認されている。

【産業上の利用可能性】

【0035】

本発明によれば、学習用画像データには、殆どノイズが含まれなくなり、学習モデルの学習精度を高めることができる。

【符号の説明】

【0036】

１ 内視鏡スコープ
２ 内視鏡画像記憶手段
３ データプロセッサ
３１ 第１のデータ処理手段（延長処理手段）
３２ 第２のデータ処理手段（色置換処理手段）
３３ 第３のデータ処理手段（色調補正処理手段）
３４ 第４のデータ処理手段（拡張処理手段）
４ 学習用画像記憶部
５ 画像ＡＩ診断処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】