特許 7315809 大腸内視鏡検査補助装置、大腸内視鏡検査補助方法及び大腸内視鏡検査補助プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-19

(45)【発行日】2023-07-27

(54)【発明の名称】大腸内視鏡検査補助装置、大腸内視鏡検査補助方法及び大腸内視鏡検査補助プログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20230720BHJP

【ＦＩ】

A61B1/045 614

【請求項の数】 9

(21)【出願番号】P 2019185284

(22)【出願日】2019-10-08

(65)【公開番号】P2021058464

(43)【公開日】2021-04-15

【審査請求日】2022-09-21

(73)【特許権者】

【識別番号】506301140

【氏名又は名称】公立大学法人会津大学

(73)【特許権者】

【識別番号】509013703

【氏名又は名称】公立大学法人福島県立医科大学

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】朱 欣

(72)【発明者】

【氏名】冨樫 一智

(72)【発明者】

【氏名】根本 大樹

【審査官】磯野 光司

(56)【参考文献】

【文献】国際公開第２０１９／０８８１２１（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１４２２４３（ＷＯ，Ａ１）

【文献】特開２０１９－０７６６９９（ＪＰ，Ａ）

【文献】特開２０１９－１０１４８５（ＪＰ，Ａ）

【文献】藤田広志[監修／編]，"5.2.1 バリデーションとテスト"，医用画像ディープラーニング入門，第１版第１刷，オーム社，2019年04月10日，第57-59頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１０／０６

Ｇ０６Ｔ １／００－１９／２０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

画像データを用いた機械学習を行うことによって大腸内のポリープの検出を行う大腸内視鏡検査補助装置であって、
複数の画像データのそれぞれに対し、各画像データに含まれる前記ポリープに対応する識別情報を付加することによって、複数の学習データを生成する第１学習データ生成部と、
前記複数の学習データのうちの複数の第１学習データを用いた機械学習を行うことによって、第１学習モデルを生成する第１機械学習部と、
前記複数の学習データのうちの複数の第２学習データに含まれる前記ポリープに対応する識別情報と、前記複数の第２学習データの入力に応じて前記第１学習モデルから出力される識別情報との比較結果に基づいて、前記複数の第１学習データに含まれる画像データのそれぞれから前記ポリープ以外の構造を特定し、特定した前記ポリープ以外の構造に対応する識別情報を前記複数の第１学習データに含まれる画像データのそれぞれに付加することによって、複数の第３学習データを生成する第２学習データ生成部と、
前記複数の第３学習データを用いた機械学習を行うことによって、第２学習モデルを生成する第２機械学習部と、を有する、
ことを特徴とする大腸内視鏡検査補助装置。

【請求項2】

請求項１において、
前記第２学習データ生成部は、
前記複数の第２学習データの入力に応じて前記第１学習モデルから出力される識別情報のうち、前記複数の第２学習データに含まれる前記ポリープに対応する識別情報に含まれない特定の識別情報を特定し、
前記複数の第２学習データに含まれる画像データから、前記特定の識別情報に対応する第１部分画像データを特定し、
前記複数の第１学習データに含まれる画像データから、前記第１部分画像データと所定の関係を有する第２部分画像データを特定し、
前記複数の第１学習データに含まれる画像データのそれぞれに対し、前記第２部分画像データに対応する識別情報であって前記ポリープ以外の構造に対応する識別情報を付加することによって、前記複数の第３学習データを生成する、
ことを特徴とする大腸内視鏡検査補助装置。

【請求項3】

請求項２において、
前記第２学習データ生成部は、前記第１部分画像データの類似関係が所定の条件を満たす部分画像データを前記第２部分画像データとして特定する、
ことを特徴とする大腸内視鏡検査補助装置。

【請求項4】

請求項１において、
前記複数の第１学習データ及び前記複数の第２学習データは、互いに異なる学習データである、
ことを特徴とする大腸内視鏡検査補助装置。

【請求項5】

請求項１において、
前記ポリープ以外の構造は、水泡、便を含む腸管内容物、回盲弁及び大腸内腔のうちの少なくとも１つを含む、
ことを特徴とする大腸内視鏡検査補助装置。

【請求項6】

請求項１において、
前記ポリープ以外の構造は、光の反射領域を含む、
ことを特徴とする大腸内視鏡検査補助装置。

【請求項7】

請求項１において、
前記ポリープに対応する識別情報は、前記ポリープの種別情報と、前記ポリープを含む画像データにおける前記ポリープの位置情報との組合せであり、
前記ポリープ以外の構造に対応する識別情報は、前記ポリープ以外の構造の種別情報と、前記ポリープ以外の構造を含む画像データにおける前記ポリープ以外の構造の位置情報との組合せである、
ことを特徴とする大腸内視鏡検査補助装置。

【請求項8】

画像データを用いた機械学習を行うことによって大腸内のポリープの検出を行う処理をコンピュータに実行させる大腸内視鏡検査補助方法であって、
複数の画像データのそれぞれに対し、各画像データに含まれる前記ポリープに対応する識別情報を付加することによって、複数の学習データを生成し、
前記複数の学習データのうちの複数の第１学習データを用いた機械学習を行うことによって、第１学習モデルを生成し、
前記複数の学習データのうちの複数の第２学習データに含まれる前記ポリープに対応する識別情報と、前記複数の第２学習データの入力に応じて前記第１学習モデルから出力される識別情報との比較結果に基づいて、前記複数の第１学習データに含まれる画像データのそれぞれから前記ポリープ以外の構造を特定し、特定した前記ポリープ以外の構造に対応する識別情報を前記複数の第１学習データに含まれる画像データのそれぞれに付加することによって、複数の第３学習データを生成し、
前記複数の第３学習データを用いた機械学習を行うことによって、第２学習モデルを生成する、
ことを特徴とする大腸内視鏡検査補助方法。

【請求項9】

画像データを用いた機械学習を行うことによって大腸内のポリープの検出を行う処理をコンピュータに実行させる大腸内視鏡補プログラムであって、
複数の画像データのそれぞれに対し、各画像データに含まれる前記ポリープに対応する識別情報を付加することによって、複数の学習データを生成し、
前記複数の学習データのうちの複数の第１学習データを用いた機械学習を行うことによって、第１学習モデルを生成し、
前記複数の学習データのうちの複数の第２学習データに含まれる前記ポリープに対応する識別情報と、前記複数の第２学習データの入力に応じて前記第１学習モデルから出力される識別情報との比較結果に基づいて、前記複数の第１学習データに含まれる画像データのそれぞれから前記ポリープ以外の構造を特定し、特定した前記ポリープ以外の構造に対応する識別情報を前記複数の第１学習データに含まれる画像データのそれぞれに付加することによって、複数の第３学習データを生成し、
前記複数の第３学習データを用いた機械学習を行うことによって、第２学習モデルを生成する、
ことを特徴とする大腸内視鏡検査補助プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、大腸内視鏡検査補助装置、大腸内視鏡検査補助方法及び大腸内視鏡検査補助プログラムに関する。

【背景技術】

【0002】

近年、大腸のスクリーニング検査として、医師による大腸内視鏡検査が行われている。この大腸内視鏡検査は、専用の医療機器を用いることによって、大腸内に存在するポリープの検出等を行う検査である。

【0003】

上記のような大腸内視鏡検査では、医師が画像データ等を目視で確認することによって、ポリープの存在有無についての診断（以下、画像診断とも呼ぶ）が行われる。そのため、ポリープの検出精度は、医師の経験や疲労度合い等によって左右される可能性がある。

【0004】

そこで、近年では、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を活用することによる画像診断のサポートが行われている。これにより、医師は、大腸内視鏡検査におけるポリープの検出精度を高めることが可能になる（非特許文献１及び２を参照）。

【先行技術文献】

【非特許文献】

【0005】

【文献】慈恵大学ほかプレスリリース ２０１８年８月１７日 https://eirl.ai/ja/news/2018/08/17/247/

【文献】国立研究開発法人国立がん研究センターほかプレスリリース ２０１７年７月１０日 https://www.ncc.go.jp/jp/information/pr_release/2017/0710/press_release_20170710.pdf

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、上記のようなＡＩによる画像診断のサポートは、例えば、画像データに含まれるポリープの候補（以下、単にポリープ候補とも呼ぶ）を画像データ上に併せて表示することによって、画像診断を行う医師の負担を軽減するものである。

【0007】

しかしながら、例えば、ポリープ以外の構造がポリープ候補として多く表示される場合、医師が重点的に確認を行う必要がある画像データの数が多くなり、結果として、医師の負担を軽減させることができなくなる。そのため、近年では、画像データに含まれるポリープ候補をより精度良く特定することが可能な新たな方法が求められている。

【0008】

そこで、本発明の目的は、画像データに含まれるポリープの候補をより精度良く特定することを可能とする大腸内視鏡検査補助装置、大腸内視鏡検査補助方法及び大腸内視鏡検査補助プログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記目的を達成するための本発明における大腸内視鏡検査補助装置は、画像データを用いた機械学習を行うことによって大腸内のポリープの検出を行う大腸内視鏡検査補助装置であって、複数の画像データのそれぞれに対し、各画像データに含まれる前記ポリープに対応する識別情報を付加することによって、複数の学習データを生成する第１学習データ生成部と、前記複数の学習データのうちの複数の第１学習データを用いた機械学習を行うことによって、第１学習モデルを生成する第１機械学習部と、前記複数の学習データのうちの複数の第２学習データに含まれる前記ポリープに対応する識別情報と、前記複数の第２学習データの入力に応じて前記第１学習モデルから出力される識別情報との比較結果に基づいて、前記複数の第１学習データに含まれる画像データのそれぞれから前記ポリープ以外の構造を特定し、特定した前記ポリープ以外の構造に対応する識別情報を前記複数の第１学習データに含まれる画像データのそれぞれに付加することによって、複数の第３学習データを生成する第２学習データ生成部と、前記複数の第３学習データを用いた機械学習を行うことによって、第２学習モデルを生成する第２機械学習部と、を有する、ことを特徴とする。

【0010】

また、上記目的を達成するための本発明における大腸内視鏡検査補助方法は、画像データを用いた機械学習を行うことによって大腸内のポリープの検出を行う処理をコンピュータに実行させる大腸内視鏡検査補助方法であって、複数の画像データのそれぞれに対し、各画像データに含まれる前記ポリープに対応する識別情報を付加することによって、複数の学習データを生成し、前記複数の学習データのうちの複数の第１学習データを用いた機械学習を行うことによって、第１学習モデルを生成し、前記複数の学習データのうちの複数の第２学習データに含まれる前記ポリープに対応する識別情報と、前記複数の第２学習データの入力に応じて前記第１学習モデルから出力される識別情報との比較結果に基づいて、前記複数の第１学習データに含まれる画像データのそれぞれから前記ポリープ以外の構造を特定し、特定した前記ポリープ以外の構造に対応する識別情報を前記複数の第１学習データに含まれる画像データのそれぞれに付加することによって、複数の第３学習データを生成し、前記複数の第３学習データを用いた機械学習を行うことによって、第２学習モデルを生成する、ことを特徴とする。

【0011】

また、上記目的を達成するための本発明における大腸内視鏡検査補助プログラムは、画像データを用いた機械学習を行うことによって大腸内のポリープの検出を行う処理をコンピュータに実行させる大腸内視鏡補プログラムであって、複数の画像データのそれぞれに対し、各画像データに含まれる前記ポリープに対応する識別情報を付加することによって、複数の学習データを生成し、前記複数の学習データのうちの複数の第１学習データを用いた機械学習を行うことによって、第１学習モデルを生成し、前記複数の学習データのうちの複数の第２学習データに含まれる前記ポリープに対応する識別情報と、前記複数の第２学習データの入力に応じて前記第１学習モデルから出力される識別情報との比較結果に基づいて、前記複数の第１学習データに含まれる画像データのそれぞれから前記ポリープ以外の構造を特定し、特定した前記ポリープ以外の構造に対応する識別情報を前記複数の第１学習データに含まれる画像データのそれぞれに付加することによって、複数の第３学習データを生成し、前記複数の第３学習データを用いた機械学習を行うことによって、第２学習モデルを生成する、ことを特徴とする。

【発明の効果】

【0012】

本発明における大腸内視鏡検査補助装置、大腸内視鏡検査補助方法及び大腸内視鏡検査補助プログラムによれば、画像データに含まれるポリープの候補をより精度良く特定することが可能になる。

【図面の簡単な説明】

【0013】

【図1】図１は、本発明の実施の形態における大腸内視鏡検査補助装置１の構成例を示す図である。

【図2】図２は、大腸内視鏡補助処理の具体例を説明する図である。

【図3】図３は、ポリープの識別情報の具体例を説明する図である。

【図4】図４は、ポリープの識別情報の具体例を説明する図である。

【図5】図５は、第１の実施の形態における大腸内視鏡補助処理の概略を説明するフローチャート図である。

【図6】図６は、第１の実施の形態における大腸内視鏡補助処理の概略を説明するフローチャート図である。

【図7】図７は、第１の実施の形態における大腸内視鏡補助処理の詳細を説明するフローチャート図である。

【図8】図８は、第１の実施の形態における大腸内視鏡補助処理の詳細を説明するフローチャート図である。

【図9】図９は、第１の実施の形態における大腸内視鏡補助処理の詳細を説明するフローチャート図である。

【図10】図１０は、第１の実施の形態における大腸内視鏡補助処理の詳細を説明する図である。

【図11】図１１は、第１の実施の形態における大腸内視鏡補助処理の詳細を説明する図である。

【図12】図１２は、第１の実施の形態における大腸内視鏡補助処理の詳細を説明する図である。

【図13】図１３は、第１の実施の形態における大腸内視鏡補助処理の詳細を説明する図である。

【図14】図１４は、第１の実施の形態における大腸内視鏡補助処理の詳細を説明する図である。

【図15】図１５は、第１の実施の形態における大腸内視鏡補助処理の詳細を説明する図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。

【0015】

図１は、本発明の実施の形態における大腸内視鏡検査補助装置１の構成例を示す図である。大腸内視鏡検査補助装置１は、コンピュータ装置であって、例えば、汎用的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってよい。

【0016】

大腸内視鏡検査補助装置１は、汎用的なコンピュータ装置のハードウエア構成を有し、例えば、図１に示すように、プロセッサであるＣＰＵ１０１と、メモリ１０２と、ネットワークインタフェース１０３と、記憶媒体１０４とを有する。各部は、バス１０５を介して互いに接続される。なお、ＣＰＵ１０１は、図示しないＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と連携して動作するものであってもよい。

【0017】

記憶媒体１０４は、例えば、医師による大腸内視鏡検査を補助するための処理（以下、大腸内視鏡補助処理とも呼ぶ）を行うためのプログラム（図示しない）を記憶するプログラム格納領域（図示しない）を有する。

【0018】

また、記憶媒体１０４は、例えば、大腸内視鏡補助処理を行う際に用いられる情報を記憶する記憶部１１０（以下、記憶領域１１０とも呼ぶ）を有する。具体的に、記憶媒体１０４は、例えば、医師が大腸内視鏡検査において診断を行う複数の画像データが記憶される。

【0019】

なお、記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｋｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってよい。

【0020】

ＣＰＵ１０１は、記憶媒体１０４からメモリ１０２にロードされたプログラムを実行して大腸内視鏡補助処理を行う。

【0021】

ネットワークインタフェース１０３は、例えば、作業者が操作を行う操作端末２と通信を行う。また、ネットワークインタフェース１０３は、例えば、医師が大腸内視鏡検査を行う際に閲覧する出力装置３（画像データが表示される出力装置３）と通信を行う。

【0022】

［大腸内視鏡補助処理の具体例］
次に、大腸内視鏡補助処理の具体例について説明を行う。図２は、大腸内視鏡補助処理の具体例を説明する図である。具体的に、図２（Ａ）は、診断対象の画像データＩＭ１１のうちの１枚を出力装置３に表示した場合の具体例であり、図２（Ｂ）は、診断対象の画像データＩＭ１２のうちの他の１枚を出力装置３に表示した場合の具体例である。また、図２（Ｃ）は、画像データＩＭ１１と併せてポリープに対応する識別情報を表示した場合の具体例であり、図２（Ｄ）は、画像データＩＭ１２と併せてポリープに対応する識別情報を表示した場合の具体例である。

【0023】

そして、図２（Ａ）に示す画像データＩＭ１１には、ポリープ候補ＰＯ１１が映し出されており、図２（Ｂ）に示す画像データＩＭ１２には、ポリープ候補ＰＯ１２及びＰＯ１３のそれぞれが映し出されている。なお、以下、画像データＩＭ１１及び画像データＭ１２を総称して画像データＩＭとも呼ぶ。また、以下、ポリープ候補ＰＯ１１、ＰＯ１２及びＰＯ１３を総称してポリープ候補ＰＯとも呼ぶ。

【0024】

初めに、医師は、画像データＩＭ１１及び画像データＩＭ１２を参照することにより、ポリープ候補ＰＯ１１、ＰＯ１２及びＰＯ１３のそれぞれがポリープであるか否かの診断を行う。具体的に、医師は、例えば、ポリープ候補ＰＯのそれぞれが腺腫、過形成、ＳＳＡ／Ｐ（Ｓｅｓｓｉｌｅ Ｓｅｒｒａｔｅｄ Ａｄｅｎｏｍａ／Ｐｏｌｙｐ）及びＬＳＴ（Ｌａｔｅｒａｌｌｙ ｓｐｒｅａｄｉｎｇ Ｔｕｍｏｒ）のうちのいずれかであるか否かについての判定を行う。

【0025】

そして、医師は、例えば、ポリープ候補ＰＯ１１がポリープの一種である腺腫であり、ポリープ候補ＰＯ１２がポリープの一種である過形成であると診断する。一方、医師は、例えば、ポリープ候補ＰＯ１３がポリープ以外の構造であると診断する。

【0026】

その後、大腸内視鏡検査補助装置１は、例えば、医師によって入力された診断結果等に基づいて、ポリープであると診断したポリープ候補ＰＯ１１及びＰＯ１２の識別情報（アノテーション）をそれぞれ生成する。

【0027】

具体的に、大腸内視鏡検査補助装置１は、例えば、画像データＩＭ１１に含まれるポリープ候補ＰＯ１１に対応する識別情報として、ポリープ候補ＰＯ１１が腺腫であることを示す種別情報ＩＤ１１ａと、画像データＩＭ１１におけるポリープ候補ＰＯ１１の座標を示す位置情報ＩＤ１１ｂとを含む情報を生成する。

【0028】

また、大腸内視鏡検査補助装置１は、例えば、画像データＩＭ１２に含まれるポリープ候補ＰＯ１２に対応する識別情報として、ポリープ候補ＰＯ１２が過形成であることを示す種別情報ＩＤ１２ａと、画像データＩＭ１２におけるポリープ候補ＰＯ１２の座標を示す位置情報ＩＤ１２ｂとを含む情報を生成する。以下、識別情報のデータ構造の具体例について説明を行う。

【0029】

［ポリープの識別情報の具体例］
図３及び図４は、ポリープの識別情報の具体例を説明する図である。

【0030】

図３に示す識別情報は、画像データＩＭの名称が記憶される「画像名」と、ポリープの種別情報が記憶される「種別情報」と、ポリープの位置情報が記憶される「位置情報（横の座標）」、「位置情報（縦の座標）」、「位置情報（横の長さ）」及び「位置情報（縦の長さ）」とを項目として有する。「位置情報（横の座標）」には、ポリープを含むカーソルの左上の座標のうち、横軸に対応する座標が記憶され、「位置情報（縦の座標）」には、ポリープを含むカーソルの左上の座標のうち、縦軸に対応する座標が記憶される。また、「位置情報（横の長さ）」には、ポリープを含むカーソルの横方向の長さ（大きさ）が記憶され、「位置情報（縦の長さ）」には、ポリープを含むカーソルの縦方向の長さ（大きさ）が記憶される。すなわち、「位置情報（横の座標）」、「位置情報（縦の座標）」、「位置情報（横の長さ）」及び「位置情報（縦の長さ）」には、ポリープを含むカーソルを特定するために必要な情報のそれぞれが記憶される。

【0031】

具体的に、図３に示す識別情報において、１行目の情報（図２におけるポリープ候補ＰＯ１１に対応する情報）には、「画像名」として「ＩＭ１１」が記憶され、「種別情報」として「腺腫」が記憶され、「位置情報（横の座標）」として「２２」が記憶され、「位置情報（縦の座標）」として「８１」が記憶され、「位置情報（横の長さ）」として「２８」が記憶され、「位置情報（縦の長さ）」として「４４」が記憶されている。

【0032】

また、図３に示す識別情報において、２行目の情報（図２におけるポリープ候補ＰＯ１２に対応する情報）には、「画像名」として「ＩＭ１２」が記憶され、「種別情報」として「過形成」が記憶され、「位置情報（横の座標）」として「３７」が記憶され、「位置情報（縦の座標）」として「６９」が記憶され、「位置情報（横の長さ）」として「３４」が記憶され、「位置情報（縦の長さ）」として「４９」が記憶されている。

【0033】

すなわち、大腸内視鏡検査補助装置１は、図２（Ｃ）及び図２（Ｄ）に示すように、各ポリープ候補ＰＯの表示を行う際に併せて表示することが可能な情報の生成を行う。

【0034】

その後、例えば、大腸内視鏡補助処理を行う作業担当者（以下、単に作業担当者とも呼ぶ）は、記憶媒体１０４に記憶された画像データＩＭごとに、各画像データＩＭと各画像データＩＭに含まれるポリープ候補ＰＯのそれぞれの識別情報とを含む学習データを生成する。具体的に、作業担当者は、例えば、画像データＩＭ１１と、図３で説明した識別情報における１行目の情報とを含む学習データを生成する。また、作業担当者は、例えば、画像データＩＭ１２と、図３で説明した識別情報における２行目の情報とを含む学習データを生成する。そして、大腸内視鏡検査補助装置１は、生成した複数の学習データを用いることによって学習モデルを生成する。

【0035】

これにより、大腸内視鏡検査補助装置１は、生成した学習モデルを用いることにより、新たな画像データＩＭ（例えば、大腸内視鏡検査において新たに撮像された画像データＩＭ）に含まれるポリープ候補ＰＯを特定することが可能になる。そして、大腸内視鏡検査補助装置１は、新たな画像データＩＭを出力装置３に表示する際に、各ポリープ候補ＰＯに対応する識別情報を併せて表示することが可能になる。

【0036】

具体的に、図４（Ａ）に示すように、新たな画像データＩＭ２１の入力があった場合、大腸内視鏡検査補助装置１は、画像データＩＭ２１を表示する際に、ポリープ候補ＰＯ２１が腺腫であることを示す種別情報ＩＤ２１ａと、ポリープ候補ＰＯ２１の位置情報ＩＤ２１ｂ（位置情報ＩＤ２１ｂに対応するカーソル）とを併せて表示することが可能になる。

【0037】

また、図４（Ｂ）に示すように、画像データＩＭ２２の入力があった場合、大腸内視鏡検査補助装置１は、画像データＩＭ２２を表示する際に、ポリープ候補ＰＯ２２が腺腫であることを示す種別情報ＩＤ２２ａと、ポリープ候補ＰＯ２２の位置情報ＩＤ２２ｂ（位置情報ＩＤ２２ｂに対応するカーソル）と、ポリープ候補ＰＯ２３が過形成であることを示す種別情報ＩＤ２３ａと、ポリープ候補ＰＯ２３の位置情報ＩＤ２３ｂ（位置情報ＩＤ２３ｂに対応するカーソル）とを併せて表示することが可能になる。

【0038】

これにより、医師は、新たな画像データＩＭの診断を行う際に、併せて表示される識別情報を参照することで、各画像データＩＭの診断に伴う負担を軽減させることが可能になる。

【0039】

しかしながら、例えば、ポリープ以外の構造がポリープ候補ＰＯとして出力装置３に多く表示される場合、医師は、画像診断に伴う負担を軽減させることができない。具体的に、例えば、図４（Ｃ）及び図４（Ｄ）に示すポリープ候補ＰＯに、ポリープ以外の構造が多く含まれている場合、医師は、診断を行う必要があるポリープ候補ＰＯの数を抑えることができなくなり、画像診断に伴う負担を軽減させることができなくなる。そのため、大腸内視鏡検査が行われる病院等の現場では、画像データに含まれるポリープ候補ＰＯをより精度良く特定することが可能な新たな方法が求められている。以下、本実施の形態における大腸内視鏡補助処理の概略について説明を行う。

【0040】

［第１の実施の形態の概略］
図５及び図６は、第１の実施の形態における大腸内視鏡補助処理の概略を説明するフローチャート図である。

【0041】

大腸内視鏡検査補助装置１の第１学習データ生成部は、図５に示すように、複数の画像データＩＭのそれぞれに対し、各画像データＩＭに含まれるポリープに対応する識別情報を付加することによって、複数の学習データを生成する（Ｓ１１）。

【0042】

そして、大腸内視鏡検査補助装置１の第１機械学習部は、Ｓ１１の処理で生成した複数の学習データのうちの一部（以下、複数の第１学習データとも呼ぶ）を用いた機械学習を行うことによって、第１学習モデルを生成する（Ｓ１２）。

【0043】

続いて、大腸内視鏡検査補助装置１の第２学習データ生成部は、図６に示すように、例えば、Ｓ１１の処理で生成した複数の学習データのうちの他の一部（以下、複数の第２学習データとも呼ぶ）の入力に応じて、Ｓ１２の処理で生成した第１学習モデルから出力される識別情報を取得する（Ｓ２１）。

【0044】

そして、大腸内視鏡検査補助装置１の第２学習データ生成部は、Ｓ１１の処理で生成した複数の第２学習データに含まれるポリープに対応する識別情報と、Ｓ２１の処理で取得した識別情報との比較結果に基づいて、Ｓ１１の処理で生成した複数の第１学習データに含まれる画像データＩＭからポリープ以外の構造を特定する（Ｓ２２）。ポリープ以外の構造は、例えば、水泡、腸管内容物（例えば、便等）、回盲弁及び大腸内腔のうちの少なくとも１つを含む。また、ポリープ以外の構造は、例えば、光の反射領域を含む。

【0045】

さらに、大腸内視鏡検査補助装置１の第２学習データ生成部は、Ｓ１１の処理で生成した複数の第１学習データに含まれる画像データＩＭに対し、Ｓ２２の処理で特定したポリープ以外の構造に対応する識別情報をさらに付加することによって、複数の第３学習データを生成する（Ｓ２３）。

【0046】

その後、大腸内視鏡検査補助装置１の第２機械学習部は、Ｓ２３の処理で生成した複数の第３学習データを用いた機械学習を行うことによって、第２学習モデルを生成する（Ｓ２４）。

【0047】

すなわち、大腸内視鏡検査補助装置１は、ポリープに対応する識別情報を含む学習データだけでなく、ポリープ以外の構造に対応する識別情報を含む学習データを用いることによって学習モデル（第２学習モデル）を生成する。

【0048】

これにより、大腸内視鏡検査補助装置１は、大腸内視鏡検査において撮影された画像データＩＭに含まれるポリープ候補ＰＯをより精度良く特定することが可能になる。そのため、医師は、大腸内視鏡検査の実施に伴う負担を軽減させることが可能になる。

【0049】

［第１の実施の形態の詳細］
次に、第１の実施の形態における大腸内視鏡補助処理について説明を行う。図７から図９は、第１の実施の形態における大腸内視鏡補助処理の詳細を説明するフローチャート図である。また、図１０から図１５は、第１の実施の形態における大腸内視鏡補助処理の詳細を説明する図である。

【0050】

大腸内視鏡検査補助装置１は、図７に示すように、複数の画像データＩＭのそれぞれに対応する種別情報と位置情報との組合せを記憶領域１１０に記憶された識別情報１３１から取得する（Ｓ３１）。以下、識別情報１３１の具体例について説明を行う。

【0051】

［識別情報の具体例］
図１０は、識別情報１３１の具体例を説明する図である。具体的に、図１０（Ａ）は、第１学習データに含まれる識別情報１３１ａの具体例を説明する図である。また、図１０（Ｂ）は、第２学習データに含まれる識別情報１３１ｂの具体例を説明する図である。なお、図１０に示す識別情報１３１は、例えば、図３で説明した識別情報と同じ項目を有している。

【0052】

具体的に、図１０（Ａ）に示す識別情報１３１ａにおいて、１行目の情報には、「画像名」として「ＩＭ１０１」が記憶され、「種別情報」として「腺腫」が記憶され、「位置情報（横の座標）」として「４２」が記憶され、「位置情報（縦の座標）」として「７１」が記憶され、「位置情報（横の長さ）」として「４２」が記憶され、「位置情報（縦の長さ）」として「３６」が記憶されている。

【0053】

また、図１０（Ａ）に示す識別情報１３１ａにおいて、２行目の情報には、「画像名」として「ＩＭ１０２」が記憶され、「種別情報」として「腺腫」が記憶され、「位置情報（横の座標）」として「２９」が記憶され、「位置情報（縦の座標）」として「８９」が記憶され、「位置情報（横の長さ）」として「２５」が記憶され、「位置情報（縦の長さ）」として「２２」が記憶されている。

【0054】

また、図１０（Ａ）に示す識別情報１３１ａにおいて、３行目の情報には、「画像名」として「ＩＭ１０２」が記憶され、「種別情報」として「過形成」が記憶され、「位置情報（横の座標）」として「８３」が記憶され、「位置情報（縦の座標）」として「５２」が記憶され、「位置情報（横の長さ）」として「８」が記憶され、「位置情報（縦の長さ）」として「９」が記憶されている。図１０（Ａ）に含まれる他の情報については説明を省略する。

【0055】

すなわち、図１０（Ａ）に示す識別情報１３１ａは、例えば、「画像名」が「ＩＭ１０１」である画像データＩＭに、１つのポリープ（１行目の情報に対応するポリープ）が含まれていると医師が判断したことを示している。また、図１０（Ａ）に示す識別情報１３１ａは、例えば、「画像名」が「ＩＭ１０２」である画像データＩＭに、２つのポリープ（２行目の情報及び３行目の情報に対応するポリープ）が含まれていると医師が判断したことを示している。

【0056】

さらに、図１０（Ｂ）に示す識別情報１３１ｂにおいて、１行目の情報には、「画像名」として「ＩＭ１１１」が記憶され、「種別情報」として「過形成」が記憶され、「位置情報（横の座標）」として「１９」が記憶され、「位置情報（縦の座標）」として「４２」が記憶され、「位置情報（横の長さ）」として「１２」が記憶され、「位置情報（縦の長さ）」として「５」が記憶されている。

【0057】

また、図１０（Ｂ）に示す識別情報１３１ｂにおいて、２行目の情報には、「画像名」として「ＩＭ１１１」が記憶され、「種別情報」として「腺腫」が記憶され、「位置情報（横の座標）」として「８６」が記憶され、「位置情報（縦の座標）」として「３９」が記憶され、「位置情報（横の長さ）」として「９」が記憶され、「位置情報（縦の長さ）」として「１１」が記憶されている。図１０（Ｂ）に含まれる他の情報については説明を省略する。

【0058】

すなわち、図１０（Ｂ）に示す識別情報１３１ａは、例えば、「画像名」が「ＩＭ１１１」である画像データＩＭに、２つのポリープ（１行目の情報及び２行目の情報に対応するポリープ）が含まれていると医師が判断したことを示している。

【0059】

そして、大腸内視鏡検査補助装置１は、Ｓ３１の処理において、例えば、図１０に示す識別情報１３１に含まれる情報のうち、「種別情報」、「位置情報（横の座標）」、「位置情報（縦の座標）」、「位置情報（横の長さ）」及び「位置情報（縦の長さ）」の組合せを取得する。

【0060】

図７に戻り、大腸内視鏡検査補助装置１は、複数の画像データＩＭのそれぞれに対し、Ｓ３１の処理で取得した種別情報と位置情報との組合せを付加することによって、複数の学習データを生成する（Ｓ３２）。

【0061】

そして、大腸内視鏡検査補助装置１は、Ｓ３２の処理で生成した複数の第１学習データを用いた機械学習を行うことによって、第１学習モデルを生成する（Ｓ３３）。

【0062】

すなわち、大腸内視鏡検査補助装置１は、Ｓ３２の処理で生成した複数の学習データのうちの一部を学習させることによって第１学習モデルの生成を行う。

【0063】

その後、作業担当者は、例えば、Ｓ３２の処理で生成した複数の学習データのうち、第１学習データ及び第２学習データ以外の複数の学習データを用いることにより、第１学習モデルについての検証を行う。

【0064】

続いて、大腸内視鏡検査補助装置１は、図８に示すように、Ｓ３１の処理で生成した複数の第２学習データの入力に応じて、Ｓ３２の処理で生成した第１学習モデルから出力される種別情報と位置情報との組合せを取得する（Ｓ４１）。

【0065】

そして、大腸内視鏡検査補助装置１は、Ｓ４１の処理で取得した組合せのうち、Ｓ３１の処理で生成した複数の第２学習データに含まれるポリープに対応する組合せに含まれない組合せを特定する（Ｓ４２）。以下、Ｓ４２の処理の具体例について説明を行う。

【0066】

［Ｓ４２の処理の具体例］
図１１は、Ｓ４１の処理で取得した種別情報と位置情報との組合せの具体例である。

【0067】

図１１に示す情報には、図１０（Ｂ）で説明した識別情報１３１ｂに含まれる情報に加え、例えば、３行目の情報及び６行目の情報（下線部分に対応する情報）がそれぞれ含まれている。そのため、大腸内視鏡検査補助装置１は、Ｓ４２の処理において、例えば、図１１に示す情報のうちの３行目の情報及び６行目の情報を特定する。

【0068】

これにより、大腸内視鏡検査補助装置１は、第１学習モデルがポリープであると判断したポリープ以外の構造（すなわち、第１学習モデルがポリープであると誤認した構造）に対応する情報を特定することが可能になる。

【0069】

なお、大腸内視鏡検査補助装置１は、Ｓ４２の処理において、比較対象の各組合せに含まれる位置情報の差が所定範囲内である場合、これらの情報が一致するものと判定するものであってもよい。

【0070】

図８に戻り、大腸内視鏡検査補助装置１は、Ｓ３１の処理で生成した複数の第２学習データに含まれる画像データＩＭのそれぞれから、Ｓ４２の処理で特定した組合せに対応する部分画像データ（以下、第１部分画像データとも呼ぶ）を特定する（Ｓ４３）。

【0071】

なお、医師は、この場合、Ｓ４３の処理で特定した第１部分画像データを参照することにより、Ｓ４２の処理で特定された組合せに対応する正しい種別情報を特定する。そして、大腸内視鏡検査補助装置１は、医師によって特定された種別情報に基づいて、Ｓ４２の処理で特定された組合せに含まれる情報の修正を行う。

【0072】

具体的に、例えば、図１１で説明した情報のうち、３行目の情報及び６行目の情報のそれぞれに対応する正しい種別情報が水泡及び回盲弁であった場合、大腸内視鏡検査補助装置１は、図１２の下線部分に示すように、３行目の情報における「種別情報」に設定される情報を「水泡」に変更し、６行目の情報における「種別情報」に設定される情報を「回盲弁」に変更する。

【0073】

そして、大腸内視鏡検査補助装置１は、Ｓ３１の処理で生成した複数の第１学習データに含まれる画像データＩＭから、Ｓ４３の処理で特定した第１部分画像データと所定の関係を有する第２部分画像データを特定する（Ｓ４４）。

【0074】

具体的に、大腸内視鏡検査補助装置１は、例えば、Ｓ３１の処理で生成した複数の第１学習データに含まれる画像データＩＭから、Ｓ４３の処理で特定した第１部分画像データと大きさ及び形状の差が所定範囲以内である構造に対応する部分画像データ（すなわち、第１部分画像データと類似すると判断できる部分画像データ）を第２部分画像データとして特定するものであってよい。

【0075】

その後、大腸内視鏡検査補助装置１は、図９に示すように、Ｓ４４の処理で特定した第２部分画像データに対応する種別情報と位置情報との組合せであってポリープ以外の構造に対応する種別情報と位置情報との組合せを生成する（Ｓ５１）。

【0076】

そして、大腸内視鏡検査補助装置１は、Ｓ３１の処理で生成した複数の第１学習データに含まれる画像データＩＭのそれぞれに対し、Ｓ５１の処理で生成した種別情報と位置情報との組合せを付加することによって、複数の第３学習データを生成する（Ｓ５２）。

【0077】

具体的に、例えば、Ｓ５１の処理において、図１３に示す組合せのそれぞれが特定された場合、大腸内視鏡検査補助装置１は、図１４の下線部分に示すように、図１３に示す組合せに対応する新たな識別情報１３１ａを、図１０（Ａ）で説明した識別情報１３１ａに追加する。

【0078】

続いて、大腸内視鏡検査補助装置１は、Ｓ５２の処理で生成した複数の第３学習データを用いた機械学習を行うことによって、第２学習モデルを生成する（Ｓ５３）。

【0079】

これにより、大腸内視鏡検査補助装置１は、ポリープに対応する識別情報１３１ａを含む学習データだけでなく、ポリープ以外の構造に対応する識別情報１３１ａを含む学習データを用いることによって学習モデル（第２学習モデル）を生成することが可能になる。

【0080】

その後、作業担当者は、例えば、Ｓ５３の処理で生成した第２学習モデルの検証を行う。具体的に、作業担当者は、例えば、Ｓ３２の処理で生成した複数の学習データのうち、第１学習データ及び第２学習データ以外の複数の学習データを用いることにより、第２学習モデルの検証を行う。また、作業担当者は、例えば、Ｓ４２の処理で特定した組合せの変更後の状態に対応する識別情報（例えば、図１２で説明した情報に含まれる３行目の情報及び６行目の情報）と、その識別情報に対応する画像データＩＭとを対応付けることによって生成した複数の学習データを用いることにより、第２学習モデルの検証を行う。

【0081】

このように、大腸内視鏡検査補助装置１は、複数の画像データＩＭのそれぞれに対し、各画像データＩＭに含まれるポリープに対応する識別情報１３１を付加することによって、複数の学習データを生成する。そして、大腸内視鏡検査補助装置１は、複数の学習データのうちの複数の第１学習データを用いた機械学習を行うことによって、第１学習モデルを生成する。

【0082】

その後、大腸内視鏡検査補助装置１は、複数の学習データのうちの複数の第２学習データに含まれるポリープに対応する識別情報１３１と、複数の第２学習データの入力に応じて第１学習モデルから出力される識別情報１３１との比較結果に基づいて、複数の第１学習データに含まれる画像データＩＭのそれぞれからポリープ以外の構造を特定し、特定したポリープ以外の構造に対応する識別情報１３１を複数の第１学習データに含まれる画像データＩＭのそれぞれに付加することによって、複数の第３学習データを生成する。そして、大腸内視鏡検査補助装置１は、複数の第３学習データを用いた機械学習を行うことによって、第２学習モデルを生成する。

【0083】

すなわち、大腸内視鏡検査補助装置１は、ポリープに対応する識別情報１３１を含む学習データだけでなく、ポリープ以外の構造に対応する識別情報１３１を含む学習データを用いることによって学習モデル（第２学習モデル）を生成する。

【0084】

これにより、大腸内視鏡検査補助装置１は、大腸内視鏡検査において撮影された画像データＩＭに含まれるポリープ候補ＰＯをより精度良く特定することが可能になる。そのため、医師は、大腸内視鏡検査の実施に伴う負担を軽減させることが可能になる。

【0085】

具体的に、大腸内視鏡検査補助装置１は、第２学習モデルを用いることで、例えば、図４（Ｂ）で説明した画像データＩＭに対応する種別情報ＩＤ２３ａが「過形成」ではなく「水泡」であると判定することが可能になる。そのため、大腸内視鏡検査補助装置１は、この場合、例えば、図１５に示すように、図４（Ｂ）で説明した画像データＩＭに対応する種別情報ＩＤ２３ａ及び位置情報ＩＤ２３ｂ（位置情報ＩＤ２３ｂに対応するカーソル）が出力装置３に表示されないように制御することが可能になる。

【0086】

なお、大腸内視鏡検査補助装置１は、Ｓ５３の処理において第２学習モデルの生成が行われた後であっても、大腸内視鏡検査のさらなる実施によって新たな画像データＩＭが撮像された場合、その新たな画像データＩＭを含む学習データを用いることによって追加的な機械学習を行うものであってよい。

【0087】

これにより、大腸内視鏡検査補助装置１は、第２学習モデルの判定精度をより高めることが可能になる。

【符号の説明】

【0088】

１：大腸内視鏡検査補助装置
２：操作端末
３：出力装置
１０１：ＣＰＵ
１０２：メモリ
１０３：ネットワークインタフェース
１０４：記憶媒体
１０５：バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】