知財求人 - 知財ポータルサイト「IP Force」
特許6875709消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6875709
(24)【登録日】2021年4月27日
(45)【発行日】2021年5月26日
(54)【発明の名称】消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
(51)【国際特許分類】
A61B 1/045 20060101AFI20210517BHJP
A61B 1/00 20060101ALI20210517BHJP
A61B 1/273 20060101ALI20210517BHJP
G06T 7/00 20170101ALI20210517BHJP
【ＦＩ】
A61B1/045 614
A61B1/045 618
A61B1/00 685
A61B1/045 610
A61B1/273
G06T7/00 612
G06T7/00 350C
【請求項の数】31
【全頁数】44
(21)【出願番号】特願2019-523412(P2019-523412)
(86)(22)【出願日】2018年5月11日
(86)【国際出願番号】JP2018018316
(87)【国際公開番号】WO2018225448
(87)【国際公開日】20181213
【審査請求日】2020年4月27日
(31)【優先権主張番号】特願2017-114792(P2017-114792)
(32)【優先日】2017年6月9日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2017-213311(P2017-213311)
(32)【優先日】2017年11月2日
(33)【優先権主張国】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】517380422
【氏名又は名称】株式会社ＡＩメディカルサービス
(74)【代理人】
【識別番号】110002402
【氏名又は名称】特許業務法人テクノテラス
(72)【発明者】
【氏名】多田 智裕
(72)【発明者】
【氏名】青山 和玄
(72)【発明者】
【氏名】瀧山 博年
(72)【発明者】
【氏名】小澤 毅士
(72)【発明者】
【氏名】遠藤 有真
(72)【発明者】
【氏名】熊谷 洋一
【審査官】
永田 浩司
(56)【参考文献】
【文献】
特開２００２−１６５７５７（ＪＰ，Ａ）
【文献】
特開２００９−０９５６４４（ＪＰ，Ａ）
【文献】
乾正幸，胃がんのリスクを検査する−ＡＢＣ検査を用いたこれからの胃がん対策−，微研ジャーナル友，日本，２０１４年，VOL.37 No.3，p.3-11
【文献】
関野雅則，視覚情報処理モデルに基づいて改良した畳み込みニューラルネットワーク文字認識，富士ゼロックス テクニカルレポート，日本，２０１４年，No.23，p.82-88
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ａ６１Ｂ １／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法であって、
コンピュータが、
消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてニューラルネットワークを訓練するステップと、
前記訓練されたニューラルネットワークにより、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力するステップと、
を実行し、
前記ニューラルネットワークを訓練するステップは、
前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられる工程、及び、
前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにされる工程、
を有することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
コンピュータが、
消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてニューラルネットワークを訓練するステップと、
前記訓練されたニューラルネットワークにより、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力するステップと、
を実行し、
前記ニューラルネットワークを訓練するステップは、
前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられる工程、及び、
前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにされる工程、
を有することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項2】
前記ニューラルネットワークを訓練するステップは、さらに前記第１の内視鏡画像は、コントラストの調整が行なわれる工程を有することを特徴とする、請求項１に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項3】
前記撮像された部位は、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことを特徴とする、請求項１又は２に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項4】
前記撮像された部位は、前記複数の消化器官の少なくとも１つにおいて複数箇所に区分されていることを特徴とする、請求項３に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項5】
前記撮像された部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことを特徴とする、請求項４に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項6】
前記撮像された部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むことを特徴とする、請求項４に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項7】
前記出力するステップは、
前記訓練されたニューラルネットワークが、前記第２の内視鏡画像が撮像された部位に対応する情報を出力する工程を有することを特徴とする、請求項１〜６のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記訓練されたニューラルネットワークが、前記第２の内視鏡画像が撮像された部位に対応する情報を出力する工程を有することを特徴とする、請求項１〜６のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項8】
前記出力するステップは、
前記訓練されたニューラルネットワークが、前記確率ないし前記重症度を前記部位に対応する情報とともに出力する工程を有することを特徴とする、請求項７に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記訓練されたニューラルネットワークが、前記確率ないし前記重症度を前記部位に対応する情報とともに出力する工程を有することを特徴とする、請求項７に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項9】
前記第１の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含むことを特徴とする、請求項１〜８のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項10】
前記第１の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする、請求項１〜８のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項11】
前記第１の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力することを特徴とする、請求項１〜８のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項12】
前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１〜１１のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項13】
前記ニューラルネットワークとして畳み込みニューラルネットワークを用いることを特徴とする、請求項１〜１２のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
【請求項14】
内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記ニューラルネットワークプログラムは、
前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられており、
前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合には、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における訓練／検証データの数が実質的に等しくなるようにされ、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを前記出力部に出力することを特徴とする、消化器官の内視鏡画像による疾患の診断支援システム。
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記ニューラルネットワークプログラムは、
前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられており、
前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合には、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における訓練／検証データの数が実質的に等しくなるようにされ、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを前記出力部に出力することを特徴とする、消化器官の内視鏡画像による疾患の診断支援システム。
【請求項15】
前記第１の内視鏡画像は、コントラストの調整が行なわれていることを特徴とする、請求項１４に記載の消化器官の内視鏡画像による疾患の診断支援システム。
【請求項16】
前記部位は、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことを特徴とする、請求項１５に記載の消化器官の内視鏡画像による疾患の診断支援システム。
【請求項17】
前記部位は、前記複数の消化器官の少なくとも１つにおいて複数箇所に区分されていることを特徴とする、請求項１６に記載の消化器官の内視鏡画像による疾患の診断支援システム。
【請求項18】
前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことを特徴とする、請求項１７に記載の消化器官の内視鏡画像による疾患の診断支援システム。
【請求項19】
前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むことを特徴とする、請求項１７に記載の消化器官の内視鏡画像による疾患の診断支援システム。
【請求項20】
前記訓練されたニューラルネットワークプログラムは、前記第２の内視鏡画像が撮像された部位に対応する情報が出力可能であることを特徴とする、請求項１４〜１９のいずれか１項に記載の消化器官の内視鏡画像による疾患の診断支援システム。
【請求項21】
前記訓練されたニューラルネットワークプログラムは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする、請求項２０に記載の消化器官の内視鏡画像による疾患の診断支援システム。
【請求項22】
前記第１の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含むことを特徴とする、請求項１４〜２１のいずれか１項に記載の消化器官の内視鏡画像による疾患の診断支援システム。
【請求項23】
前記第１の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークプログラムは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする、請求項１４〜２１のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項24】
前記第１の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力することを特徴とする、請求項１４〜２１のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項25】
前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１４〜２４のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項26】
前記ニューラルネットワークが畳み込みニューラルネットワークであることを特徴とする、請求項１４〜２５のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項27】
請求項１４〜２６のいずれか１項に記載の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする、消化器官の内視鏡画像による診断支援プログラム。
【請求項28】
請求項２７に記載の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする、コンピュータ読み取り可能な記録媒体。
【請求項29】
内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による消化器官の部位の判別システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域と、
前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記ニューラルネットワークプログラムは、
前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定情報とに基いて訓練されており、
前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合には、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における訓練／検証データの数が実質的に等しくなるようにされ、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を前記出力部に出力することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム。
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域と、
前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記ニューラルネットワークプログラムは、
前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定情報とに基いて訓練されており、
前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合には、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における訓練／検証データの数が実質的に等しくなるようにされ、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を前記出力部に出力することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム。
【請求項30】
請求項２９に記載の消化器官の内視鏡画像による消化器官の部位の判別システムにおける各手段として動作させるためのものであることを特徴とする、消化器官の内視鏡画像による消化器官の部位の判別プログラム。
【請求項31】
請求項３０に記載の消化器官の内視鏡画像による消化器官の部位の判別プログラムを記録したことを特徴とする、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワーク（neural network）を用いた消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プロラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。【背景技術】
【0002】
消化器官、例えば、喉頭、咽頭、食道、胃、十二指腸、胆道、膵菅、小腸、大腸などに対し、内視鏡検査が多く行われているところ、上部消化器官の内視鏡検査は胃癌、食道癌、消化性潰瘍、逆流性胃炎などのスクリーニングのために、また、大腸の内視鏡検査は大腸癌、大腸ポリープ、潰瘍性大腸炎等のスクリーニングのために、しばしば行われている。特に上部消化器官の内視鏡検査は、様々な上腹部症状の詳細な検査、胃の病気に対するバリウム検査の陽性結果を受けての精密検査、及び、日本の定期健康診断に一般的に組み込まれている異常な血清ペプシノゲンレベルに対する精密検査にも有用である。また、近年では、胃癌検診は従来のバリウム検査から胃内視鏡検査への移行が進んでいる。【0003】
胃癌は、最も一般的な悪性腫瘍の１つであり、数年前には世界中で約１００万件も発症したものと推定されている。胃癌発症の根本原因のうち、ヘリコバクター・ピロリ（Helicobacter pylori、以下、「Ｈ．ピロリ」ということがある。）感染は、萎縮性胃炎、腸上皮化生を誘導し、最終的には胃癌発症につながる。世界中で非噴門胃癌のうちの９８％はＨ．ピロリが寄与していると考えられている。Ｈ．ピロリに感染した患者の胃癌の危険性が高まり、Ｈ．ピロリ除菌後の胃癌の発生率が低下したことを考慮し、国際癌研究機関（International Agency for Research on Cancer）は、Ｈ．ピロリを明確な発癌物質と分類している。この結果から、胃癌発症のリスクを低減させるためにはＨ．ピロリの除菌が有用で、抗菌薬による除菌はわが国の保険診療にもなっており、今後とも保健衛生上強く奨励される治療法である。【0004】
Ｈ．ピロリ感染の存在についての鑑別診断には、胃内視鏡検査は極めて有用な情報を提供する。毛細血管がきれいに見える場合（ＲＡＣ（regular arrangement of collecting venules））や胃底腺ポリープはＨ．ピロリ陰性の胃粘膜に特徴的であるが、萎縮、発赤、粘膜腫脹、皺壁肥大は、Ｈ．ピロリ感染胃炎の代表的な所見である。Ｈ．ピロリ感染の正確な内視鏡診断は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定、尿素呼気試験、又は迅速ウレアーゼ試験などの様々な検査によって確認され、検査結果が陽性の患者はＨ．ピロリ除菌に進むことができる。内視鏡検査は広く胃病変の検査に使われるが、臨床検体分析によらずに胃病変の確認時にＨ．ピロリ感染までも特定できるようになれば、画一的に血液検査や尿検査等を行うことのなく、患者の負担は大きく減り、また医療経済上の貢献も期待できる。【0005】
また、特に先進工業国では潰瘍性大腸炎（ＵＣ）の罹患率が着実に増加しており、欧米の食生活や環境が潰瘍性大腸炎の原因の１つであることが示唆されている。潰瘍性大腸炎の治療のためには、メサラジン、コルチコステロイド、及び抗腫瘍壊死因子モノクローナル抗体を含むいくつかの選択肢があり、患者の臨床症状及び疾患活動指数に従ってこれらの薬物を使用し、疾患活性を寛解状態に保つことが重要である。【0006】
臨床症状のスコア以外にも、潰瘍性大腸炎患者の大腸内視鏡検査を用いてその程度及び重症度を主に評価し、以前の研究では内視鏡疾患活動の測定との組み合わせが報告されている。その中でも、Ｍａｙｏ内視鏡スコアは、潰瘍性大腸炎患者の疾患活動性を評価するための臨床実践において最も信頼性が高く、広く使用されている指標の１つである。具体的には、Ｍａｙｏ内視鏡スコアは、０：正常又は被活動性、１：軽症（発赤、血管透未像不明瞭、軽度の易出血性）、２：中等症（著明発赤、血管透見像消失、易出血性、びらん）、３：重傷（自然出血、潰瘍）の４つに分類される。【0007】
Ｍａｙｏ内視鏡スコア＜１と定義され、「粘膜治癒」と呼ばれる内視鏡的寛解状態は、コルチコステロイド使用率、入院率、臨床再発率及び結腸切除率の低下と相関することが示されている。しかし、これまでの報告では、非専門家では０．４５〜０．５３の範囲のκ−係数で、疾患活動性の評価にかなりの観察者間の差があり、適度の訓練を受けた専門家でさえも０．７１〜０．７４の範囲の一致度となっている。なお、κ−係数は、観察者間の診断の一致度を評価するパラメータであり、０〜１の値をとり、値が大きいほど一致度が高いと判断される。【0008】
このような消化器官の内視鏡検査においては、多くの内視鏡画像が収集されるが、精度管理のために内視鏡専門医による内視鏡画像のダブルチェックが義務付けられている。年に数万件もの内視鏡検診に伴い、二次読影において内視鏡専門医が読影する画像枚数は１人あたり１時間で約２８００枚と膨大なものとなっており、現場の大きな負担となっている。【0009】
しかも、これらの内視鏡画像に基づく診断は、内視鏡専門医に対する訓練や、保存画像をチェックするのに多くの時間を要するばかりか、主観的であり、様々な偽陽性判断及び偽陰性判断を生じる可能性がある。さらに、内視鏡専門医による診断は、疲労により精度が悪化することがある。このような現場の多大な負担や精度の低下は、受診者数の制限にもつながる可能性があり、ひいては需要に応じた医療サービスが十分に提供されない懸念も想定される。【0010】
上記の内視鏡検査の労務負荷と精度低下の改善のためには、ＡＩ（人工知能：artificial intelligence）の活用が期待されている。近年の画像認識能力が人間を上回ったＡＩを内視鏡専門医のアシストとして使用できれば、二次読影作業の精度とスピードを向上させるものと期待されている。近年、ディープラーニング（深層学習）を用いたＡＩが様々な医療分野で注目されており、放射線腫瘍学、皮膚癌分類、糖尿病性網膜症などの医学画像を専門医に替わってスクリーニングできるとの報告がある。【0011】
特に、顕微内視鏡レベルのスクリーニングにおいては、ＡＩが専門医と同等の精度を出せることが証明されている(非特許文献１)。また、皮膚科では、ディープラーニング機能を持ったＡＩが専門医と同等の画像診断能力を発揮することが発表されており(非特許文献２)、各種機械学習法を利用した特許文献（特許文献１、２参照）も存在する。しかし、ＡＩの内視鏡画像診断能力が実際の医療現場において役立つ精度（正確性）と性能（スピード）を満たせるかどうかについては、検証されておらず、機械学習法を利用した内視鏡画像に基づく診断は、未だに実用化されていない。【0012】
ディープラーニングは、複数に重ねて構成されたニューラルネットワークを用いて、入力データから高次の特徴量を学習できる。また、ディープラーニングは、バックプロパゲーション・アルゴリズムを使用して、各層の表現を前の層の表現から計算するために使用される内部パラメータを、装置がどのように変更すべきかを示すことによって更新することができる。【0013】
医用画像の関連付けに際しては、ディープラーニングは、過去に蓄積された医用画像を用いて訓練することができ、医学的画像から患者の臨床的特徴を直接得ることができる強力な機械学習技術になり得る。ニューラルネットワークは脳の神経回路の特性を計算機上のシミュレーションによって表現した数理モデルであるところ、ディープラーニングを支えるアルゴリズムのアプローチがニューラルネットワークである。【先行技術文献】
【特許文献】
【0014】
【特許文献1】特開２０１７−０４５３４１号公報
【特許文献2】特開２０１７−０６７４８９号公報
【特許文献3】特開２０１３−１１３６８９号公報
【非特許文献】
【0015】
【非特許文献1】http://www.giejournal.org/article/S0016-5107(14)02171-3/fulltext, "Novel computer-aided diagnostic system for colorectal lesions by using endocytoscopy" Yuichi Mori et. al. Presented at Digestive Disease Week 2014, May 3-6, 2014, Chicago, Illinois, USA
【非特許文献2】「Nature」2017年2月号、巻頭論文、「皮膚の病変を学習する：人工知能が画像から皮膚がんを検出する能力を強化する」（http://www.natureasia.com/ja-jp/nature/highlights/82762）
【非特許文献3】http://gentaikyo.or.jp/about/pdf/report/131119.pdf
【非特許文献4】Kumagai Y, Monma K, Kawada K. "Magnifying chromoendoscopy of the esophagus: in-vivo pathological diagnosis using an endocytoscopy system.", Endoscopy ,2004, vol.36, p590-4.
【非特許文献5】Esteva A, Kuprel B, Novoa RA, et al. "Dermatologist-level classification of skin cancer with deep neural networks", Nature, 2017, vol. 542, p115-8
【発明の概要】
【発明が解決しようとする課題】
【0016】
消化管内視鏡検査における内視鏡画像の判定作業において、高い精度を維持したうえの効率化が大きな課題になっている。また、この分野の画像解析にＡＩを活用しようとしたときには、そのＡＩ技術の向上が大きな課題となっている。さらに、発明者らが知る限り、Ｈ．ピロリ感染胃炎、潰瘍性大腸炎ないし食道疾患、特に超拡大内視鏡（Endocytoscopy：ＥＣＳ）画像を用いた食道疾患を診断するためのニューラルネットワークの能力に関する報告や、ニューラルネットワークによるディープラーニング介してこれらの消化管内視鏡画像の解析に基づくＨ．ピロリ感染胃炎検査、潰瘍性大腸炎の検査ないし食道疾患の検査に最適化されて医療現場に実装化されて利用されている例はなく、今後の解決すべき課題となっている。【0017】
また、上部内視鏡検査においては、胃だけでなく、喉頭、咽頭、食道、十二指腸等の複数の臓器の画像が混在しているが、特に胃癌内視鏡検診においては収集された画像をＡＩにより臓器別ないし部位別に仕分けることができれば、内視鏡専門医による所見記入や二次読影の負担軽減につながると考えられる。【0018】
本発明は、消化器官の内視鏡画像を用い、ニューラルネットワークを用いることによって、疾患、例えばＨ．ピロリ感染胃炎、潰瘍性大腸炎ないし食道疾患等の診断を正確に行うことができる、消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。【課題を解決するための手段】
【0019】
本発明の第１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法であって、
コンピュータが、
消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてニューラルネットワークを訓練するステップと、
前記訓練されたニューラルネットワークにより、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力するステップと、
を実行し、
前記ニューラルネットワークを訓練するステップは、
前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられる工程、及び、
前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにされる工程、
を有することを特徴とする。
【0020】
かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、ニューラルネットワークが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第１の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報のいずれか１つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを自動診断することができるため、内視鏡専門医によるチェック／修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。また、訓練されていないニューラルネットワークでは、具体的な消化器官の内視鏡画像が如何なる部位の画像であるかを識別するのが困難な場合がある。ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、それぞれの部位によって分類された内視鏡画像を用いて訓練されたニューラルネットワークとなっているので、ニューラルネットワークに対し、それぞれの部位に応じたきめ細かい訓練が可能であるため、第２内視鏡画像に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。
また、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第1の内視鏡画像の数が部位毎に大きく異なる場合がある。本態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、そのような場合においても、その部位の第1の内視鏡画像を適宜に回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによってニューラルネットワークを訓練するための画像数を増やすことができるので、部位の相違に基づく疾患の陽性及び陰性のそれぞれの確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度のばらつきが減少する。なお、第８の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法においては、各部位毎の内視鏡画像の数が必ずしも同一となるようにする必要はなく、数のばらつきが少なくなればよい。
【0021】
また、本発明の第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記ニューラルネットワークを訓練するステップは、さらに前記第１の内視鏡画像は、コントラストの調整が行なわれる工程を有することを特徴とする。【0022】
第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、全ての第１の内視鏡画像のコントラストが実質的に同一の階調となるように調整されているため、疾患の陽性及び陰性のそれぞれの確率ないし重症度のレベルの検出精度が向上する。【0025】
また、本発明の第３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１又は２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記撮像された部位は、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことを特徴とする。【0026】
第３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、咽頭、食道、胃及び十二指腸の部位毎の分類が正確にできるので、それぞれの部位に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。【0027】
また、本発明の第４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第３のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記撮像された部位は、前記複数の消化器官の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。【0028】
消化器官はそれぞれ複雑な形状をしているため、撮像された部位の分類数が少ないと具体的な内視鏡画像が当該消化器官の如何なる部位の画像であるかを認識するのが困難な場合がある。第４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、複数の消化器官のそれぞれにおいて複数箇所に区分されているので、短時間に高精度の診断結果を得ることができるようになる。【0029】
また、本発明の第５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、撮像された部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことを特徴とする。また、本発明の第６の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記撮像された部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むことを特徴とする。【0030】
本発明の第５又は第６の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、胃の各区分ないし部位毎の分類が正確にできるので、それぞれの区分ないし部位に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。なお、胃の区分ないし部位の選択は、必要に応じて適宜に選択すればよい。【0033】
また、本発明の第７の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１〜第６のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記出力するステップは、前記訓練されたニューラルネットワークが、前記第２の内視鏡画像が撮像された部位に対応する情報を出力する工程を有することを特徴とする。【0034】
通常、一人の被検者に対して多くの消化器官の内視鏡画像ないし連続撮影画像が得られる。第７の態様の係る態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、第２の内視鏡画像毎に疾患の陽性及び陰性のそれぞれの確率と部位名とが出力されるので、疾患の陽性部位や分布を理解しやすくなる。【0035】
また、本発明の第８の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第７の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記出力するステップは、前記訓練されたニューラルネットワークが、前記確率ないし前記重症度を前記部位に対応する情報とともに出力する工程を有することを特徴とする。【0036】
第８の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、疾患の陽性の確率ないし重症度の高い順に当該確率ないし重症度及び部位名が出力されるので、精密に検査しなければならない部位が理解しやすくなる。【0037】
また、本発明の第９の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１〜第８のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記第１の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含むことを特徴とする。【0038】
第９の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、日本消化器内視鏡学会専門医と同等の精度で被験者のヘリコバクター・ピロリ感染の陽性又は陰性のそれぞれの確率ないしヘリコバクター・ピロリ除菌の有無を予測することができ、別途確定診断を行わなければならない被験者を短時間で正確に選別することができるようになる。なお、確定診断は、選別された被験者に対して血液又は尿の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原検査、又は尿素呼気検査を行うことにより行うことができる。【0039】
また、本発明の第１０の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１〜第８のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記第１の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする。【0040】
第１０の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、日本消化器内視鏡学会専門医と同等の精度で被験者の潰瘍性大腸炎の重症度を予測することができるので、別途さらなる精密検査を行わなければならない被験者を短時間で正確に選別することができるようになる。【0041】
また、本発明の第１１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１〜第８のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記第１の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力することを特徴とする。【0042】
第１１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、超拡大内視鏡による食道内視鏡画像に基づいて非癌性の病変を癌性であるとする過剰診断を最小限に押さえることができるので、組織生検を行う必要がある被験者の数を減らすことができるようになる。【0043】
また、本発明の第１２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１〜第１１のいずれか態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。【0044】
第１２の態様の消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、入力された第２の内視鏡画像に対する消化器官の疾患陽性及び陰性のそれぞれの確率ないし重症度を短時間で出力することができるので、第２の内視鏡画像の入力形式によらず、例えば遠隔地から送信された画像であっても、動画であっても利用可能となる。【0045】
なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。これらによって、いわゆるクラウドサービスや遠隔支援サービスの形態として利用可能である。【0046】
また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。これらによって、いわゆる医療機関や検診機関に簡便にシステムを移植又は設置できる形態を提供することができる。【0047】
また、本発明の第１３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第１〜第１２のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記ニューラルネットワークとして畳み込みニューラルネットワーク用いることを特徴とする。【0048】
ニューラルネットワークとしての畳み込みニューラルネットワークは、脳の視覚野の特性をシミュレーションした数理モデルであり、画像に対する学習能力が非常に優れている。そのため、第１３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、より高感度で、より高特異度となるので、有用性が非常に大きくなる。【0049】
さらに、本発明の第１４の態様の消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記ニューラルネットワークプログラムは、
前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられており、
前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合には、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における訓練／検証データの数が実質的に等しくなるようにされ、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを前記出力部に出力することを特徴とする。
【0050】
また、本発明の第１５の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１４の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練／検証データは、コントラストの調整が行なわれていることを特徴とする。【0052】
また、本発明の第１６の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１５の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位は、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことを特徴とする。【0053】
また、本発明の第１７の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位は、前記複数の消化器官の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。【0054】
また、本発明の第１８の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１７の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことを特徴とする。【0055】
また、本発明の第１９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１７の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むことを特徴とする。【0057】
また、本発明の第２０の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１４〜第１９のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたニューラルネットワークプログラムは、前記第２の内視鏡画像が撮像された部位に対応する情報が出力可能であることを特徴とする。【0058】
また、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２０の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたニューラルネットワークプログラムは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする。【0059】
また、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１４〜第２１のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含むことを特徴とする。【0060】
また、本発明の第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１４〜第２１のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークプログラムは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする。【0061】
また、本発明の第２４の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１４〜第２１のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力することを特徴とする。【0062】
また、本発明の第２５の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１４〜第２４のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする【0063】
また、本発明の第２６の態様の内視鏡画像による疾患の診断支援システムは、第１４〜第２５のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記ニューラルネットワークが畳み込みニューラルネットワークであることを特徴とする。【0064】
本発明の第１４〜第２６のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムによれば、それぞれ第１〜第１３のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法と同様の効果を奏することができる。【0065】
さらに、本発明の第２７の態様の消化器官の内視鏡画像による診断支援プログラムは、第１４〜第２６のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする。【0066】
本発明の第２７の態様の消化器官の内視鏡画像による診断支援プログラムによれば、第１４〜第２６のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるための、消化器官の内視鏡画像による診断支援プログラムを提供することができる。【0067】
また、本発明の第２８の態様の消化器官の内視鏡画像による診断支援プログラムは、第２７の態様の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする。【0068】
本発明の第２８の態様の消化器官の内視鏡画像による診断支援プログラムによれば、第２７の態様の消化器官の内視鏡画像による診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。【0071】
また、本発明の第２９の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムは、内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による消化器官の部位の判別システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域と、
前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記ニューラルネットワークプログラムは、
前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定情報とに基いて訓練されており、
前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合には、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における訓練／検証データの数が実質的に等しくなるようにされ、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を前記出力部に出力することを特徴とする。
【0072】
本発明の第２９の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムによれば、ニューラルネットワークが消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の撮像された部位に対応する情報を得ることができ、診断対象の消化器官の部位を短時間で判別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する撮像された部位に対応する情報を自動判別することができるため、内視鏡専門医によるチェック等が容易になるだけでなく、疾患と関連づけられた画像を解析する作業の省略化も図ることができる。【0073】
また、本発明の第３０の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムは、第２９の態様の消化器官の内視鏡画像による消化器官の部位の判別システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする。【0074】
本発明の第３０の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムによれば、第２９の態様の消化器官の内視鏡画像による消化器官の部位の判別システムにおける各手段としてコンピュータを動作させるための、消化器官の内視鏡画像による消化器官の部位の判別プログラムを提供することができる。【0075】
また、本発明の第３１の態様のコンピュータ読み取り可能な記録媒体は、第３０の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムを記録したことを特徴とする。【0076】
本発明の第３１の態様のコンピュータ読み取り可能な記録媒体によれば、第３０の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。
【発明の効果】
【0077】
以上述べたように、本発明によれば、ニューラルネットワークを組み込んだプログラムが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、撮像された部位に対応する情報等を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。【図面の簡単な説明】
【0078】
【図2】テストデータセットのために患者の選別を示す図である。
【図3】GoogLeNetの動作を示す模式概念図である。
【図4】１回目の学習結果を表すＲＯＣ曲線及び内視鏡検査医のＨ．ピロリ感染診断結果を示す図である。
【図5】２回目の実施結果を表すＲＯＣ曲線及び内視鏡検査医のＨ．ピロリ感染診断結果を示す図である。
【図6】日本国のガイドラインに基づく胃の主要な解剖学的分類及び準解剖学的分類を示す図である。
【図7】実施形態２のＣＮＮシステムのフローチャートの概略図である。
【図8】図８Ａは実施形態２のＣＮＮシステムによる喉頭の画像のＲＯＣ曲線であり、図８Ｂは同じく食道の画像のＲＯＣ曲線であり、図８Ｃは同じく胃の画像のＲＯＣ曲線であり、図８Ｄは同じく十二指腸の画像のＲＯＣ曲線である。
【図14】典型的なＭａｙｏ０〜Ｍａｙｏ３に分類される大腸内視鏡画像である。
【図15】実施形態３のＣＮＮベースの診断システムの概要図である。
【図16】実施形態３のＣＮＮの代表的な画像と３区分のＭａｙｏ分類の例を示す図である。
【図17】実施形態３の２区分のＭａｙｏ分類におけるＲＯＣ曲線である。
【図18】実施形態４の低倍率画像（ａ〜ｅ）及び高倍率画像（ｆ〜ｊ）の例である。
【図23】実施形態５のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法のブロック図である。
【図24】実施形態６のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体についてのブロック図である。
【図25】実施形態７のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法のブロック図である。
【図26】実施形態８のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム、消化器官の内視鏡画像による消化器官の部位の判別プログラム、及び、コンピュータ読み取り可能な記録媒体についてのブロック図である。
【発明を実施するための形態】
【0079】
以下、本発明に係る消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、最初にＨ．ピロリ感染胃炎の場合及び臓器別分類を例にとり、次いで潰瘍性大腸炎及び食道疾患の場合を例にとって詳細に説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例を示すものであって、本発明をこれらの場合に特定することを意図するものではない。すなわち、本発明は、消化器官の内視鏡画像によって特定され得る疾患一般に及ぶものであり、特許請求の範囲に含まれるその他の実施形態のものにも等しく適応し得るものである。また、本発明において、画像という用語には、静止画像だけでなく、動画が含まれ得る。【0080】
最初に、表１に示した四分表を用いて、一般的な検査の精度、感度及び特異度について簡単に説明する。一般に検査値は連続量であるから、カットオフ値（閾値）を決めて、それより高い値の場合を陽性、それよりも低い場合を陰性と判断していく（逆の場合もある）。【0081】
【表1】
【0082】
表１に示したように、患者の疾患の有無及び検査結果が陽性であるか陰性であるかに応じてａ〜ｄの４つの領域に分類される。なお、患者が疾患有の場合は有病者(有)に分類され、疾患無しの場合は無病者（無）に分類される。ａの領域は、患者が疾患を有しており、検査結果が陽性の場合であり、真陽性の領域である。ｂの領域は、患者が疾患を有していないが、検査結果が陽性の場合であり、偽陽性の領域である。ｃの領域は、患者が疾患を有しているが、検査結果が陰性の場合であり、偽陰性の領域である。同じくｄの領域は、患者が疾患を有しておらず、検査結果が陰性の場合であり、真陰性の場合である。【0083】
一方、感度は、有病者において検査結果が陽性となる確率（有病正診率）であり、ａ／（ａ＋ｃ）で表される。特異度は、無病者において検査結果が陰性となる確率（無病正診率）であり、ｄ／（ｂ＋ｄ）で表される。なお、偽陽性率は、無病者において検査結果が陽性となる確率（無病誤診率）であり、ｂ／（ｂ＋ｄ）で表される。また、偽陰性率は、有病者において検査結果が陰性となる確率（有病誤診率）であり、ｃ／（ａ＋ｃ）で表される。【0084】
さらに、カットオフ値を変更しながらその都度感度と特異度を算出し、縦軸を感度とし、横軸を偽陽性率（＝１−特異度）としてプロットすると、ＲＯＣ曲線（Receiver Operating Characteristic：受信者動作特性曲線）が得られる（図４及び図５参照）。【0085】
［実施形態１］実施形態１では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合に適用した例を説明する。発明者の一人が属する医院において、延べ３３人の内視鏡検査医が白色光による通常の倍率の内視鏡を用い、食道、胃、十二指腸鏡検査（以下、「ＥＧＤ」という。）を行った。ＥＧＤの適応症は、様々な上腹部症状、胃の病気に対するバリウム検査の陽性結果、異常な血清ペプシノゲンのレベル、胃や十二指腸の既往症又はスクリーニングに関する、プライマリケア医からの紹介であった。全ての内視鏡医は、異常がなくても、喉頭、食道、胃、及び十二指腸の全体像を撮影するよう指示された。胃腸疾患のない患者の典型的な画像数は３４（喉頭１、食道６、胃２５、十二指腸２）であった。
【0086】
標準的な内視鏡（ＥＶＩＳ ＧＩＦ−ＸＰ２９０Ｎ、ＧＩＦ−ＸＰ２６０、ＧＩＦ−ＸＰ２６０ＮＳ、ＧＩＦ−Ｎ２６０等、オリンパスメディカルシステムズ社、東京）で白色光を用いて画像を撮影し、ＥＧＤを行った。得られた画像は通常の倍率の画像で有り、拡大された画像は使用していない。図１に、得られた典型的な胃部内視鏡画像を示す。なお、図１ＡはＨ．ピロリ感染陽性と診断された画像の例であり、図１ＢはＨ．ピロリ感染陰性と診断された画像の例である。【0087】
全ての患者は、Ｈ．ピロリ感染の有無の検出のための検査を受けた。その検査は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定及び尿素呼気試験の少なくとも一つであった。そして、これらの検査のいずれかにおいて陽性反応を示した患者は、Ｈ．ピロリ感染陽性と分類された。Ｈ．ピロリ感染陽性と診断されなかった患者において、Ｈ．ピロリ除菌治療を受けた経験がなかった者はＨ．ピロリ陰性と分類された。また、過去にＨ．ピロリ除菌治療を受け、既に除菌に成功した患者は測定対象から除外された。【0088】
［データセットについて］２０１４年１月〜２０１６年１２月にかけて行われた１７６８例のＥＧＤの画像を遡及的にレビューすることにより、ＡＩベースの診断システムの訓練及び構築に使用するデータ（「訓練／検証用データ」という。）のセットを用意した。胃癌、潰瘍、又は粘膜下腫瘍の存在又は病歴を有する患者のデータは、訓練／検証用データセットから除外した。Ｈ．ピロリ感染陽性又はＨ．ピロリ感染陰性と診断された胃の画像から、胃の食物残渣、生検後の出血、ハレーション又はその他の理由により、内視鏡専門医によって除外された画像もあった。また、評価対象となる内視鏡画像データ（「テストデータ」という。）のセットも用意した。なお、この「訓練／検証用データ」が本発明の「第1の内視鏡画像」に対応し、「テストデータ」が本発明の「第２の内視鏡画像」に対応する。これらの患者の人口統計学的特徴及び画像の特徴を表２に示した。
【0089】
【表2】
【0090】
表２に示したように、Ｈ．ピロリ陽性と判定された７５３人の患者及び陰性と分類された１，０１５人の患者からの画像を用いて、３２，２０８枚の訓練／検証用データセットを作成した。このデータセットは、全ての画像のＲＧＢの各信号について、同じ比率でコントラスト調整を行っている。ＲＧＢの各色は、それぞれ８ビット、すなわち０〜２５５までの範囲の値を取るが、ＲＧＢの全色が２５５，２５５，２５５となる点(白色)が必ず１点は存在するようにコントラスト調整を行った。通常、内視鏡画像の画質は、良好であるので、実際にはコントラスト調整を行わない場合も多かった。また、内視鏡の画面には黒い枠が入っているが、自動でトリミングして拡大・縮小を行い、全ての画像が同一のサイズとなるようにした。【0091】
分類としては、複数の消化器官のそれぞれにおいて複数箇所に区分されていてもよいが、ここでは胃についてのみ位置に応じて複数箇所に分類された画像を得るとともに、その他の部位についてはそのまま区分せずに用いた。さらに、男女別、年齢別等の属性に分けて入力することによって、属性別の診断を行うことも可能である。【0092】
全ての分類について均等な数のデータが得られれば理想的であるが、データ数が少ない分類については、０度から３５９度の間で無作為に回転し、ツールによって適宜拡大又は縮小することによってデータを増やした。その結果として、３２，２０８枚の訓練／検証用のオリジナルの内視鏡画像を得た。【0093】
まず、分類データを含まない全ての画像を組み合わせて用いることにより、第１回目のニューラルネットワークの構築を行った。次に、上述のように複数に分類された画像を用いて第２回目のニューラルネットワークの構築を行った。なお、これらのニューラルネットワークの構築は、繰り返し処理が多いので、並列処理により高速化したコンピュータを用いた。【0094】
［テストデータの準備］上述した訓練／検証用データセットを用いて構築された実施形態１のニューラルネットワークと内視鏡検査医との診断精度を評価するために、テストデータセットを準備した。発明者の一人が属する医院において、２０１７年１月〜２月の内視鏡検査を行った５８７人の患者の画像データのうち、Ｈ．ピロリ除菌後の１６６人の患者の画像データ、Ｈ．ピロリ感染状態が不明の２３人の患者の画像データ及び胃切除後の１人の患者の画像データを除外した（図２参照）。結果として、Ｈ．ピロリ感染陽性ないし陰性と判断された残りの３９７人の患者の画像データをテストデータとして用いた。
【0095】
テストデータセットにおいて、７２人（４３％）は糞便抗原検査で診断され、８７人（２１％）は尿中抗Ｈ．ピロリＩｇＧレベルに基いて診断されている。テストデータセットは、合計３９７人の患者からの合計１１，４８１枚の画像を含んでいる。このうち、７２人はＨ．ピロリ感染陽性と診断され、３２５人はＨ．ピロリ感染陰性と診断されている。テストデータセットと訓練／検証用データセットとの間に重複はない。【0096】
［訓練・アルゴリズム］ＡＩベースの診断システムを構築するため、ディープラーニングニューラルネットワークの開発基盤としてCaffeフレームワークを利用し、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャとして２２層からなるGoogLeNetを使用した。
【0097】
本実施形態１で用いたＣＮＮは、図３に示したように、バックプロパゲーション（Backpropagation：誤差逆伝播法）を用いて訓練されている。ＣＮＮの各層は、パラメータ最適化手法の一つであるAdam（https://arxiv.org/abs/1412.6980）を使用して、グローバル学習率0.0001で調整されている。【0098】
全ての画像をGoogLeNetと互換性を持たせるために、各画像を２４４×２４４ピクセルにリサイズした。また、ImageNetを通して自然画像の特徴量を学んだ訓練済みのモデルを訓練開始時の初期値として使用した。ImageNet（http://www.image-net.org/）は、２０１７年当初で１，４００万点以上もの画像が収載されているデータベースである。この訓練手法は転移学習と呼ばれ、教師データが少ない場合でも有効であることが認められている。【0099】
［評価アルゴリズム］訓練されたニューラルネットワークは、入力された画像に対してのＨ．ピロリ感染陽性又は陰性の診断結果として、０から１の間の確率値（ＰＳ）を出力する。ＲＯＣ曲線は、陽性と陰性を識別するための閾値を変更することによって、この確率値をプロットしたものである。
【0100】
［ＣＮＮ及び内視鏡検査医との間のテストデータセットのパーフォマンス比較］テストデータセットに対し、ＣＮＮとＥＧＤの経験豊富な２３人の内視鏡検査医とは、それぞれ各患者の内視鏡画像に基づき、各患者をＨ．ピロリ感染陽性又は陰性と分類した。また、Ｈ．ピロリ感染診断の正確さと評価に必要な時間を測定し、それらをＣＮＮと内視鏡専門医との間で比較した。
【0101】
２３人の内視鏡検査医のうち、６人は、日本消化器内視鏡学会の専門医である。残りの１７人は、ＥＧＤ経験が１０００人以上（ｎ＝９）及び１０００人未満（ｎ＝８）であり、前者を「経験医」及び後者を「研修中医師」に分類した。ＣＮＮの診断精度表示用のＲＯＣ曲線は、Ｒソフトウェア（統計分析フリーソフト）を用いて記述された。ＣＮＮの診断精度表示用のＲＯＣ曲線は、Ｒソフトウェア（統計分析フリーソフト）を用いて記述された。これらの画像に表示された全ての患者の情報は、データ解析に先立って匿名の目的で識別できないようにし、この評価に関与する全ての内視鏡検査医は、識別可能な患者の情報にアクセスできないようにした。この研究は、日本医師会倫理審査委員会の承認を受けて行った（ID JMA-IIA00283）。【0102】
［内視鏡検査医の結果］Ｈ．ピロリ感染の診断についてのそれぞれの内視鏡検査医の感度、特異度及び評価に必要であった時間を表３に纏めて示した。全内視鏡検査医の感度及び特異度はそれぞれ平均で７９．６％及び８３．２％であり、テストデータセットの全ての画像を評価するのに必要であった時間（評価時間）は２３０±６５分（平均±標準偏差）であった。
【0103】
【表3】
【0104】
２３人の内視鏡検査医中、専門医（ｎ＝６）の感度及び特異度は、それぞれ８５．２％及び８９．３％であり、研修中医師（ｎ＝８）の７２．２％及び７６．３％と比すると非常に高い感度及び特異度を備えていた。なお、評価時間は、専門医が２５２．５±９２．３分であったのに対し、研修中医師は２０６．６±５４．７分であった。経験医（ｎ＝９）の感度、特異度及び評価時間は、いずれも専門医と研修中医師の中間の値となっていた。【0105】
［ＣＮＮのパーフォマンス］本実施形態１で構築されたＣＮＮは、１画像あたりのＨ．ピロリ感染確率Ｐを出力し、さらに、患者あたりの標本の標準偏差を計算した。まず、分類データを含まない全ての訓練／検証用データセットを用いて構築された第１回目のＣＮＮの特性を調べた。その際に得られたＲＯＣ曲線を図４に示した。なお、本来のＲＯＣ曲線は、横軸は「１−特異度」を表し、左端が原点「０」であり、右端が「１」となるが、図４（図５においても同様）では横軸が「特異度」を表し、左端の原点が「１」であり、右端が「０」となっている。
【0106】
各内視鏡検査医は患者毎にＨ．ピロリ感染の予測を行い、各内視鏡検査医毎の予測結果は、白抜き点で表されている。黒色の点は、全内視鏡検査医の予測値の平均を示す。ＣＮＮは、画像ごとにＨ．ピロリ確率Ｐを出力し、プログラムは、患者１人あたりの確率の標準偏差を計算する。【0107】
図４のＲＯＣ曲線の下側部分の面積は０．８９であり、カットオフ値を０．５３と定義すると、第１回目のＣＮＮの感度及び特異度はそれぞれ８１．９％及び８３．４％であった。また、第１回目に構築されたＣＮＮによる全ての画像の診断時間は３．３分であった。この第１回目に構築されたＣＮＮは３９７人中３５０人が正確に診断された（８８．２％）。第１回目に構築されたＣＮＮによる４７人の誤診例について内視鏡検査医が診断した結果は、正確度の平均±標準偏差は、４３．５±３３．４％であった。【0108】
次に、複数に分類された同じ訓練／検証用データセットセットによって構築された第２回目のＣＮＮのＲＯＣ曲線を求めた。その結果を図５に示した。図５は、胃についてのみ位置に応じて複数箇所に分類された訓練／検証用データセットを用いて学習することにより得られたＣＮＮによるものであり、第１回目のＣＮＮによるものよりも良い確率を出力している。ＲＯＣ曲線の下の面積は９３％である。各白抜き点は、各内視鏡検査医の予測結果を示し、黒色の点は、全内視鏡検査医の平均値を示し、いずれも図４に示したものと同様である。【0109】
図５のＲＯＣ曲線の下側部分の面積は、図４の８９％から９３％に増加した。最適カットオフ値は０．４２であり、この際のＣＮＮの感度及び特異度は、それぞれ８８．９％及び８７．４％であり、これらは日本消化器内視鏡学会の専門医の診断結果に匹敵し、研修中医師よりもはるかに高い値であった。この第２回目のＣＮＮによる全ての画像の診断時間は、３．２分であった。【0110】
上述の結果から以下のことが分かる。第１回目のＣＮＮの診断能力は、研修中医師と経験医との間あたりであり、第２回目のＣＮＮの診断能力は経験豊富な内視鏡専門医の診断能力に匹敵しており、第１回目及び第２回目のいずれのＣＮＮも内視鏡専門医よりも劇的に短い時間で診断することができている。この結果は、実施形態１のＣＮＮを用いたＨ．ピロリ感染スクリーニングシステムが臨床実践に適用するのに十分高い感度と特異性を有することを示している。【0111】
皮膚や網膜の場合とは異なり、胃は複雑な形状をしており、胃内視鏡検査の画像には見え方の異なるいろいろな部位の画像が含まれているため、胃内の位置に対応する分類がなされていない訓練／検証用データセットを用いて学習することにより得られたＣＮＮ視を用いた場合には、如何なる部位の画像であるかを識別するのが困難な場合がある。したがって、胃についてのみ位置に応じて複数箇所に分類された訓練／検証用データセットを用いてＣＮＮを構築すると、感度は８１．９％から８８．９％に増加し、Ｈ．ピロリ感染胃炎を診断する能力が高くなる。【0112】
なお、内視鏡検査医及びＣＮＮは、互いに異なる方法で画像を認識し、診断していると考えられる。萎縮や腸上皮化生などのＨ．ピロリ感染による胃粘膜の変化は、最初、遠位胃（幽門部）で起こり、徐々に近位の胃（噴門部）に拡大する。このように、その中に軽度の変化がある胃では、正常な粘膜を異常ありと誤診してしまう可能性があるので、内視鏡専門医は胃の画像の位置、特に幽門部、角度、又は全体像などを認識した後に診断する。【0113】
我が国においては、特に高齢者ではＨ．ピロリ感染が多く、２０１６年から胃癌の内視鏡マススクリーニングが開始されているため、より有効なスクリーニング方法が求められている。本実施形態１で得られた結果は、大量の保存画像をこの自動化システムに接続することにより、内視鏡検査者の評価無しでもＨ．ピロリ感染のスクリーニングを大きく助けることができ、さらなる試験によりＨ．ピロリ感染の確認につながるとともに最終的には根絶治療に至る可能性があることを示唆している。【0114】
この実施形態１のＣＮＮは疲労なしにＨ．ピロリ感染のスクリーニング時間をずっと短くすることができ、内視鏡検査後すぐに報告結果が得られるようになる。これにより、世界中で解決すべき大きな課題である内視鏡検査医のＨ．ピロリ感染診断の負担軽減と医療費の削減に貢献することができる。さらに、この実施形態１のＣＮＮによるＨ．ピロリ診断は、内視鏡検査時の画像を入力すれば直ぐに結果が得られるため、完全に「オンライン」でＨ．ピロリ診断補助を行うことができ、いわゆる「遠隔医療」として地域による医師の分布の不均一性の問題を解決することができるようになる。【0115】
また、この実施形態１の第２回目のＣＮＮでは、位置に応じて複数箇所に分類された訓練／検証用データセットを用いて学習させた例を示したが、この複数箇所の分類は、３〜１０箇所程度とすればよく、当業者が適宜に定めればよい。なお、第２回目のＣＮＮの構築に際しては、胃だけでなく、咽頭、食道及び十二指腸の画像も含まれていたため、ピロリ感染陽性及び陰性の診断の正確度向上のためにこれらの画像を除外するようにした。【0116】
さらに、実施形態１では白色光による通常の倍率の内視鏡を使用して得た訓練／訓練画像を使用した例を示したが、画像数が多くなれば、画像増強内視鏡又は拡大内視鏡によって得た画像や、ＮＢＩ（Narrow Band Imaging：狭帯域光法。波長の異なるレーザ光を照射して観察するもの。上記非特許文献３参照。）や、誘導ラマン散乱顕微鏡法を用いた内視鏡（上記特許文献３参照）等によって得られた画像も使用することができる。【0117】
また、実施形態１では、訓練／検証データセットとテストデータセットの両方として、単一の医院でのみ取得されたものを用いているが、他の内視鏡装置及び技法を用いて他の施設で得られた画像を用いた例を追加することにより、よりＣＮＮの感度及び特異性を向上することが可能となると思われる。さらに、実施形態１では、Ｈ．ピロリ除菌後の患者は除外したが、Ｈ．ピロリ除菌後の画像を学習させることによりＨ．ピロリ除菌ができたかどうかの判定に使用することができるようになる。【0118】
また、Ｈ．ピロリ感染状態の診断は、血液又は尿の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原検査、又は尿素呼気検査などの様々な検査によって確認しているが、これらの検査のいずれにおいても１００％の感受性又は１００％の特異性が得られるわけではない。そのため、訓練／検証データセットには、結果として誤った診断を伴う画像が混入している可能性があるが、これについては、複数の臨床検査でＨ．ピロリ感染陰性と診断されているもののみを多く増やしていったり、一つの検査でＨ．ピロリ感染陰性と診断されたものであっても、他の検査でＨ．ピロリ感染陽性と判断されたもの等の分類を作ってこれに対応する画像を収集し、当該分類に対応する訓練／検証データセットを使用してＣＮＮを訓練することによって、解決することができるようになる。【0119】
また、実施形態１では、胃の状態、すなわち萎縮の程度、発赤の有無などに応じて診断能力の違いを評価しなかったが、今後、訓練用画像数が増加すれば、そのような所見に応じて訓練用画像をさらに細分化し、ＣＮＮに覚えこませれば、Ｈ．ピロリ感染胃炎の有無だけではなく、当該所見についても将来的に専門医と同等の判定できるようになる可能性がある。加えて、実施形態１では、胃のＨ．ピロリ感染状態の診断の補助に用いるものとして説明したが、内視鏡検査は、胃以外にも、喉頭、咽頭、食道、十二指腸、胆道、膵菅、小腸、大腸などに対しても行われており、これらの部位についての画像集積が進んで、訓練用画像が増加すれば、これらの部位についての診断補助に使用することができる。【0120】
特に、疾患が潰瘍性大腸炎の場合は、特徴の抽出と解析アルゴリズムがＨ．ピロリ感染胃炎の有無の場合と類似しているので、ＣＮＮに大腸内視鏡画像を用いて訓練すれば、ＣＮＮは容易に潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することが可能となる。訓練／検証用データとなる大腸内視鏡画像は、胃の場合と同様に、大腸の部位に応じて複数箇所に分類され、かつ、潰瘍性大腸炎について疾患の陽性又は陰性ないし重症度の段階の確定診断結果が付与されている。この大腸内視鏡画像からなる訓練／検証用データと確定診断結果とに基づいて訓練されたＣＮＮを用いることにより、評価対処とする多数の被験者についての複数の大腸内視鏡画像からなるテストデータに対する疾患の陽性又は陰性ないし重症度のレベルを自動診断することができる。【0121】
さらに、内視鏡画像の訓練用データを作成する過程において、人間による手作業があるため、一部のデータにおいて、訓練用データに誤りがある可能性が否定できない。誤った訓練用データが紛れ込んでしまうと、ＣＮＮの判定の精度に悪い影響を及ぼす。本実施形態１で使用した内視鏡画像は、匿名化の処理を施しており、訓練用データにミスがあったかどうかを確認する術はない。これを可能なかぎり排除するため、臨床検査判定の結果から機械的に画像を分類することにより、質の高い訓練用データセットを作ることができる。この訓練用データでＣＮＮを学習させればさらに判定精度を向上させることが可能となる。【0122】
なお、実施形態１では、ＣＮＮのアーキテクチャとしてGoogLeNetを使用した例を示したが、ＣＮＮのアーキテクチャは日々進化しており、最新のものを採用するとより良好な結果が得られる場合がある。また、ディープラーニングフレームワークとして同じくオープンソースのCaffeを使用したが、他にCNTK、TensorFlow、Theano、Torch、MXNet等を使用し得る。さらに、最適化手法としてAdamを使用したが、他に周知のＳＧＤ（Stochastic Gradient Descent：確率的勾配降下法）法、ＳＧＤに慣性項（Momentum）を付与したMomentumSGV法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等を適宜に選択して使用し得る。【0123】
以上述べたように、本実施形態１のＣＮＮによる胃の内視鏡画像によるＨ．ピロリ感染の診断精度は、内視鏡検査医に匹敵した。したがって、実施形態のＣＮＮは、スクリーニング又はその他の理由により、得られた内視鏡画像からＨ．ピロリ感染患者を選別するのに役立つ。また、Ｈ．ピロリ菌除菌後の画像をＣＮＮに学習させれば、Ｈ．ピロリが除菌できたかどうかの判定にも使える。また、Ｈ．ピロリ菌を除菌したか否かは、問診で簡単にわかるので、Ｈ．ピロリ感染診断については、今回のＨ．ピロリ菌陽性陰性の判定だけで、臨床現場ですぐに応用可能な有用性がある。【0124】
［診断支援システム］実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、基本的に、内視鏡画像入力部と、記憶部（ハードディスクないし半導体メモリ）と、画像解析装置と、判定表示装置と、判定出力装置とを備えている。他に、直接内視鏡画像撮像装置を備えているものであってもよい。また、このコンピュータシステムは、内視鏡検査施設から離れて設置され、遠隔地から画像情報を得て中央診断支援システムとしたり、インターネット網を介したクラウド型コンピュータシステムとしても稼働させることができる。
【0125】
このコンピュータは、内部の記憶部に、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像を記憶する第１の記憶領域と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果を記憶する第２の記憶領域と、ＣＮＮプログラムを記憶する第３の記憶領域と、を備えることになる。この場合、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像は数が多くてデータ量が大きくなること、ＣＮＮプログラムの作動時に大量のデータ処理が行われることから、並列処理とすることが好ましく、また、大容量の記憶部を有することが好ましい。【0126】
近年、ＣＰＵやＧＰＵの能力の向上が著しく、実施形態１で使用した診断支援システムとしてのＣＮＮを組み込んだコンピュータは、ある程度高性能な市販のパーソナルコンピュータを使用した場合であれば、Ｈ．ピロリ感染胃炎診断システムとしても、１時間に３０００症例以上を処理でき、１枚の画像については約０．２秒で処理することができる。そのため、内視鏡で撮影中の画像データを本実施形態１で使用したＣＮＮを組み込んだコンピュータに与えることにより、リアルタイムでのＨ．ピロリ感染判定も可能となり、世界中や僻地から送信された胃内視鏡画像はもちろんのこと、たとえそれが動画であっても、遠隔で診断可能となる。特に、近年のコンピュータのＧＰＵは性能が非常に優れているので、本実施形態１のＣＮＮを組み込むことにより、高速かつ高精度の画像処理が可能となる。【0127】
また、実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータの入力部に入力する被験者の消化器官の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像又はコンピュータ読み取り可能な記録媒体に記録された画像とすることができる。すなわち実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、短時間で入力された被験者の消化器官の内視鏡画像に対して消化器官の疾患陽性及び陰性のそれぞれの確率を出力することができるので、被験者の消化器官の内視鏡画像の入力形式によらず利用可能となる。【0128】
なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。【0129】
［実施形態２］実施形態１で使用したＣＮＮを組み込んだコンピュータによるＨ．ピロリ感染胃炎診断システムにおいては、入力された画像がどこの部分の画像であるかを自動的に判断することができる。そのため、このＨ．ピロリ感染胃炎診断システムにおいては、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞の７つの分類のそれぞれについてＨ．ピロリ感染確率を表示したり、これらの部位の幾つかから、例えば、Ｈ．ピロリ感染確率の上位５分類について、分類とともにＨ．ピロリ感染確率を表示したりすることが可能となる。このような分類とともにＨ．ピロリ感染確率を表示することは、最終的には血液検査や尿検査によって確定診断を行う必要があるが、内視鏡専門医の判断に有用となる。
【0130】
そこで、実施形態２では、入力された画像がどこの部分の画像であるかを自動的に判断することができることの検証を行った。まず、内視鏡専門医により、実施形態１において得られたＥＧＤの画像のうち、癌、潰瘍、残渣・異物、出血、ハレーション、ぼけ又は焦点不良のために明確でない画像は除外し、残りの１７５０人の患者からの２７，３３５枚の画像を６つの主要なカテゴリー（喉頭、食道、十二指腸、上部胃、中部胃、下部胃）に分類した。主要な胃カテゴリーの各々は、図６に示したように、複数のサブカテゴリを含んでおり、下部胃は幽門部、幽門洞、前庭部を含み、上部胃は噴門部と胃底部を含み、中部胃は胃角部と胃体部を含んでいる。【0131】
これらの２７，３３５枚の元の内視鏡画像を、実施形態１の場合と同様にして、ツールによって０度から３５９度の間で無作為に回転させて画像数を増大させ、各画像を囲む黒いフレームを自動的にトリミングして切り取り、適宜に拡大又は縮小し、通常の倍率を有する通常の白色光画像のみが含まれ、狭帯域画像などの強調された画像を除外し、１００万を超える訓練用画像データを得た。このようにして得られた実施形態２の訓練用画像データは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態２で用いたＣＮＮシステムは、これらの訓練用画像データを用いて、学習率を０．０００２に変更した以外は実施形態１のＣＮＮシステムと同様のものを用いて訓練した。【0132】
実施形態２の訓練されたＣＮＮシステムは、０から１００％の範囲の各画像の確率値（ＰＳ）を生成した。これは、各画像の各解剖学的分類に属する確率を示している。最も高い確率値を有するカテゴリーがＣＮＮの最終的な分類として採用され、このＣＮＮによって分類された画像は、２人の内視鏡専門医によって手作業で評価し、正しく分類されたかどうかを評価した。その評価が２人の内視鏡専門医によって異なる場合は、満足のいく解決に達するために議論が行われた。【0133】
さらに、ＣＮＮシステムの診断精度を評価するために、２０１７年２月から２０１７年３月までの間に、発明者の一人が属する医院において内視鏡検査を受けた４３５人の患者の１７，０８１の独立した画像データを収集し、一連の検証用画像データを作成した。この検証用画像データは、通常の倍率を有する通常の白色光画像のみが含まれており、強調画像又は解剖学的分類が認識できなかった画像データは、訓練用画像データの場合と同じ方法で検証用画像データから除外された。最終的に、検証用画像データには、喉頭画像３６３件、食道画像２，１４２件、胃画像１３，０４７件、十二指腸画像１，５２８件を含む１７，０８１件の画像が用いられた（表４参照）。【0134】
【表4】
【0135】
最初に、実施形態２のＣＮＮシステムが、喉頭、食道、胃及び十二指腸の画像を認識できるかどうかについて評価し、次いで、図６に示したように、日本の胃癌分類に基づく胃の位置（上部胃、中部胃、下部胃）を認識できるかどうかについて評価した。そして、実施形態２のＣＮＮシステムによる解剖学的分類についての感度及び特異度が計算された。各臓器の分類のため、受容体作動特性（ＲＯＣ）曲線をプロットし、GraphPad Prism 7(GraphPad software, Inc., California, U.S.A.)により下側部分の面積（ＡＵＣ）を算出した。これらの試験方法の簡単化した概要を図７に示した。【0136】
まず、ＧＩＥ画像を４つの主なカテゴリー（喉頭、食道、胃及び十二指腸）に分類した。実施形態２のＣＮＮシステムは、１７，０８１画像のうち１６，６３２（９７％）の解剖学的位置を正確に分類した。ＣＮＮシステムが計算した確率値は０〜１００％の範囲であり、画像の９６％の個々の最高確率値は９０％以上であった（表５参照）。【0137】
【表5】
【0138】
すなわち、実施形態２のＣＮＮシステムは、ＧＩＥ画像の解剖学的位置を、ＡＵＣ値による正確度で、咽頭は１．００［９５％信頼区間（ＣＩ）：１．００〜１．００，ｐ＜０．０００１］、食道は１．００（９５％ＣＩ：１．００〜１．００，ｐ＜０．０００１）、胃は０．９９（９５％ＣＩ：０．９９〜１．００，ｐ＜０．０００１）、十二指腸は０．９９（９５％ＣＩ：０．９９〜０．９９，ｐ＜０．０００１）で自動的に認識した（図８Ａ〜図８Ｄ参照）。なお、実施形態２のＣＮＮシステムの各部位の解剖学的位置を認識するための感度及び特異度は、喉頭については９３．９％及び１００％、食道については９５．８％及び９９．７％、胃については８９．９％及び９３．０％、十二指腸については８７．０％及び９９．２％であった（表６参照）。【0139】
【表6】
【0140】
次に、実施形態２のＣＮＮシステムが胃の異なる部分から取得した画像データの解剖学的位置を正しく分類できるかどうかについて検討した。いくつかの胃の疾患は胃の特定の領域に発生する傾向があるため、胃の解剖学的位置を正しく分類することは重要である。実施形態２のＣＮＮシステムの訓練には、上部胃からの３，５３２枚の画像データ、中部胃からの６，３７９枚の画像データ及び下部胃からの３，１３７枚の画像データを含む合計１３，０４８の胃画像データが用いられた。【0141】
実施形態２のＣＮＮシステムは、図９に示すように、上部胃、中部胃及び下部胃についてＡＵＣ値０．９９（９５％ＣＩ：０．９９〜０．９９、ｐ＜０．０００１）が得られ、これらの胃画像の解剖学的位置を正確に分類した。各部位の解剖学的位置を分類する際のＣＮＮの感度と特異度は、上部胃が９６．９％及び９８．５％、中部胃が９５．９％及び９８．０％、下部胃が９６．０％及び９８．８％であった（表７参照）。すなわち、実施形態２のＣＮＮシステムは、ＧＩＥ画像データを胃の３つの解剖学的位置（上部胃、中部胃、下部胃）に正しく分類した。【0142】
【表7】
【0143】
［誤って分類された画像の評価」最後に、ＣＮＮの性能を向上させるための基礎を提供するために、ＣＮＮによって誤って分類された画像を検討した。誤って分類された画像の典型的な例を図１０〜図１３に示す。図１０Ａは下部胃と誤分類された十二指腸の画像を示し、図１０Ｂは正しく分類された下部胃の画像である。これらの画像に見られるように、横から見ると十二指腸は時には下部胃に似ている。これが誤分類の原因であったと考えられる。
【0144】
図１１Ａは下部胃と誤分類された食道の画像を示し、図１１Ｂは正しく下部胃と分類された下部胃の画像を示す。また、図１２Ａは中部胃と誤分類された十二指腸の画像を示し、図１２Ｂは正しく分類された上部胃の画像を示す。さらに、図１３Ａは食道と誤分類された咽頭の画像を示し、図１３Ｂは正しく分類された食道の画像を示す。【0145】
図１１Ａ及び図１２Ａの画像は、内腔への空気の吹込みが不十分であること及び／又は管腔壁への内視鏡スコープが近接していることに起因して、全体の構造を認識に使用することができなかったものである。他方、図１３Ａは、喉頭の画像を示すが、肉眼で明らかに異なっており、食道と誤って分類されている。【0146】
画像の分類のためのアーキテクチャは絶えず進歩している。そのような技術を使用したImagenet大規模視覚認識チャレンジ２０１６(ILSVRC2016, http://image-net.org/challenges/LSVRC/2016/results)の最新の結果によると、分類エラー率は３．０％〜７．３％となっている。それに対し、実施形態２のＣＮＮシステムは、０．９９〜１．００の高いＡＵＣを有する高精度の分類結果を示し、解剖学的位置によるＧＩＥ画像の分類におけるＣＮＮの潜在的可能性が実証されている。解剖学的分類を認識するこの能力は、ＣＮＮシステムが患者から取得した画像上で病変又は異常所見を自動的に検出することによって、特に胃腸疾患の診断に使用できるかどうかを明らかにする重要なステップである。【0147】
医師はＧＩＥの専門家になるために数年に渡って重要な訓練を必要とするため、本発明のＣＮＮシステムは、患者の負担を軽減し、患者にとって有益なものとなる。この点について、本発明の結果は、本発明のＣＮＮシステムが新しいＧＩＥ支援システムを確立する有望な可能性を示している。さらに、自動的に収集され、電子的に保存されるＧＩＥ画像は、疾患を逃さないために第２の観察者によって頻繁に見直されるため、自動ＧＩＥ画像分類自体が臨床設定において有益である。解剖学的に分類された画像は、第２の観察者が解釈することがより容易となり、その負担を軽減することができるようになる。【0148】
［実施形態３］実施形態３では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、潰瘍性大腸炎の場合に適用した例を説明する。発明者の一人が属する医院において、大腸内視鏡検査を受けた患者の臨床データを回顧的にレビューした。全体的に９５８例の患者の症状、内視鏡所見、 病理学的所見も含まれている。患者全員が全大腸内視鏡検査を受け、得られた大腸内視鏡画像は３人の消化器専門医によってレビューされた。
【0149】
実施形態３では、通常の倍率を有する通常の白色光画像のみが含まれ、狭帯域画像などの強調された画像は除外された。便、ぼけ、ハレーション又は空気混入を伴う不明瞭な画像も除外され、他の鮮明な画像は結腸・直腸の部位、すなわち右側結腸（盲腸、上行及び横行結腸）、左結腸（下行及びＳ状結腸）及び直腸、によって分類され、それぞれの内視鏡疾患活動性によって、３区分のＭａｙｏ内視鏡スコア（Ｍａｙｏ０、Ｍａｙｏ１及びＭａｙｏ２−３）に従って分類された。図１４に典型的な直腸のＭａｙｏ０〜Ｍａｙｏ３に分類される大腸内視鏡画像を示す。なお、図１４ＡはＭａｙｏ０、図１４ＢはＭａｙｏ１、図１４ＣはＭａｙｏ２、図１４ＤはＭａｙｏ３の例を示す。【0150】
レビューされた各画像について、レビューアの分類が異なる場合には、上記の３人の消化器専門医のうち少なくとも２人がそれぞれの画像を見直し、各画像についてＭａｙｏ内視鏡スコアを再付与した。このようにして再付与されたＭａｙｏ内視鏡スコアを「真のＭａｙｏ分類」と称する。【0151】
２００６年１０月から２０１７年３月の間に撮影された８４１人の潰瘍性大腸炎患者からの２６，３０４枚の画像が訓練用データセットとして使用され、４月から２０１７年６月までに収集された１１７人の潰瘍性大腸炎患者からの４，５８９枚の画像が検証用データセットとして使用された。訓練用データセットと検証用データセットの患者特性の詳細を表８に示した。【0152】
【表8】
【0153】
これらの元の内視鏡画像を０度から３５９度の間でランダムに回転させ、各画像を囲む黒い枠を各側で切り取り、ソフトウェアを使用して０．９倍又は１．１倍に拡大又は縮小した。最後に、訓練用データセットの数が１００万を超えるように増幅された。【0154】
全ての画像は、標準的な大腸内視鏡（EVIS LUCERA ELITE、オリンパスメディカルシステムズ、東京、日本）を用いて撮影された。付随する全ての患者情報は、データ分析前に注釈を付けられ、研究に関与する内視鏡医のいずれも識別可能な患者情報にアクセスすることができないようにした。この研究は、日本医師会倫理審査委員会（ID：JMA-IIA00283）の承認を得た。また、インフォームド・コンセントは、この研究が遡及的性質を有しており、完全に匿名化されたデータを使用するために、削除された。【0155】
このようにして得られた実施形態３の訓練用画像データは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態３で用いたＣＮＮシステムは、これらの訓練用画像データを用いて、学習率を０．０００２に変更した以外は実施形態１のＣＮＮシステムと同様のものを用いて訓練した。【0156】
訓練されたＣＮＮベースの診断システムは、０から１の範囲の各画像の確率値（ＰＳ）を作成し、各画像は各Ｍａｙｏ内視鏡スコアに属する確率を示す。最も高い確率値を有するカテゴリーが、ＣＮＮの最終的な分類として採用された。実施形態３のＣＮＮベースの診断システムの簡単な概要を図１５に示し、実施形態３のＣＮＮの代表的な画像と得られた３区分のＭａｙｏ内視鏡スコアの例を図１６に示した。なお、図１６Ａは横行結腸のＭａｙｏ０に分類される例、図１６Ｂは直腸のＭａｙｏ１に分類される例、図１６Ｃは直腸のＭａｙｏ２ないしＭａｙｏ３に分類される例を示している。【0157】
ＣＮＮの性能の検証は、ＣＮＮが各画像を２区分の分類、すなわちＭａｙｏ０〜１及びＭａｙｏ２−３の２区分に分類できるかどうかを評価することにより行った。この理由は、Ｍａｙｏ０及びＭａｙｏ１は寛解（症状がコントロールできている）状態にあるものであり、Ｍａｙｏ２及びＭａｙｏ３は炎症が生じているものであるからである。そして、Ｍａｙｏ内視鏡スコアのために受容体作動特性（ＲＯＣ）曲線をプロットし、９５％信頼区間（ＣＩ）を有するＲＯＣ曲線の下側の面積（ＡＵＣ）をＧｒａｐｈＰａｄ Ｐｒｉｓｍ ７(GraphPad software, Inc, 米国)により測定した。さらに、結腸・直腸の各部位（右側結腸、左側結腸、及び直腸）でＡＵＣを評価した。【0158】
表９に真のＭａｙｏ内視鏡スコアとＣＮＮによるＭａｙｏ０−１，Ｍａｙｏ２−３の２区分の分類との間の関連性を示す。また、図１７Ａに、Ｍａｙｏ０−１と、Ｍａｙｏ２−３との２区分のＭａｙｏ内視鏡スコアにおける各確率スコアの例を色の濃淡で示し、同じく図１７ＢにＭａｙｏ０−１と、Ｍａｙｏ２−３との２区分のＭａｙｏ内視鏡スコアにおけるＲＯＣ曲線を示す。【0159】
【表9】
【0160】
表９及び図１７に示した結果によると、Ｍａｙｏ０−１画像の９６％、Ｍａｙｏ２−３画像の４９％は、ＣＮＮによってそれぞれのＭａｙｏ内視鏡スコアに正しく分類されていた。図１７Ｂに示したＲＯＣ曲線は、Ｍａｙｏ０−１と、Ｍａｙｏ２−３との２区分の分類に対して０．９５（９５％ＣＩ：０．９４−０．９５）の高いＡＵＣを有し、ＣＮＮが高い性能を有していることを示している。【0161】
［結腸・直腸の各位置による真のＭａｙｏ分類とＣＮＮ分類との間の関連性］次に、結腸・直腸の位置がＣＮＮの性能に影響を及ぼす可能性があるので、結腸・直腸の各位置（右側結腸、左側結腸、及び直腸）によるＣＮＮの性能を評価した。
【0162】
表１０は、ＲＯＣ曲線のＡＵＣと、真のＭａｙｏ分類と、各場所におけるＣＮＮの結果との一致度を示す。ＣＮＮの性能は、Ｍａｙｏ０−１と、Ｍａｙｏ２−３との２区分に分類する際には、直腸（ＡＵＣ＝０．８８）よりも右側の結腸（ＡＵＣ＝０．９６）及び左側の結腸（ＡＵＣ＝０．９７）において良好であった。【0163】
【表10】
【0164】
以上のように、実施形態３によれば、訓練されたＣＮＮによれば、潰瘍性大腸炎画像の内視鏡疾患活動性を識別でき、寛解状態の画像（Ｍａｙｏ０、Ｍａｙｏ１）と重度の炎症（Ｍａｙｏ２，Ｍａｙｏ３）画像とを区別する有望な性能を示すことが確認された。【0165】
実施形態３の結果によると、ＣＮＮは、粘膜が治癒状態（Ｍａｙｏ０、Ｍａｙｏ１）にあることを認識するに際して非常に良好な性能を示し、右結腸及び左結腸よりも直腸における方が良好であった。この理由の１つは、用いた画像が治療中の潰瘍性大腸炎患者のものが大部分であったためである。この治療は、炎症の重症度を変えてしまい、炎症を「斑状」又は「非連続病変」に導き、Ｍａｙｏ内視鏡スコアを適切に分類するのが困難になる。これは、直腸がいくつかの治療オプションを有しており、斑状ないし非連続性病変がしばしば起こるので、直腸におけるＣＮＮによる分類に際してより性能低下をもたらす可能性がある。【0166】
また、実施形態３では、ＣＮＮによる分類をＭａｙｏ内視鏡スコアの確率値が最も高いものとして定義した。したがって、Ｍａｙｏ１の確率値が０．３４４の画像（最低値）でも、Ｍａｙｏ１の確率値が１．００の画像と同じＭａｙｏ１に分類された。これは、真のＭａｙｏ内視鏡スコアとＣＮＮによる分類との間の一致が、ＡＵＣ値と比較して比較的低い理由の１つである。したがって、ＣＮＮによる分類を定義するために確率値に最適なカットオフ値を設定することによって、ＣＮＮの性能を改善することが可能となる。【0167】
実施形態３の測定にはいくつかの制限がある。第1に、これは後向き研究であり、実際の臨床状況におけるＣＮＮの性能を評価するためには前向き研究が必要である。第2に、入院施設を持たない診療所では全ての大腸内視鏡検査画像が収集されたため、Ｍａｙｏ２−３の画像は訓練用データと検証用データの両方で比較的少なかった。したがって、より多くのＭａｙｏ２−３画像でＣＮＮをトレーニングすることで、ＣＮＮのパーフォマンスがより向上すると考えられる。【0168】
［実施形態４］実施形態４では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、超拡大内視鏡（Endocytoscopy：ＥＣＳ）システムを用いて食道疾患に適用した例を説明する。ここで使用するＥＣＳシステムは、メチレンブルーなどの生体染色を使用してリアルタイムで表面上皮細胞を生体内で観察することを可能にする新規の拡大内視鏡検査である。発明者等は、２００３年にＥＣＳを用いた臨床試験を初めて行い、正常扁平上皮及び食道癌の表面上皮細胞の特徴を報告した（非特許文献４参照）。現在市販されている第４世代のＥＣＳの倍率は、光学的に５００倍で、さらにビデオプロセッサーに内蔵されたデジタル拡大機能を使用して倍率を最大９００倍にまで拡大させることも可能である。
【0169】
発明者の一人が属する医院において、２０１１年１１月から２０１８年２月までの間に、医院内の２４１人の患者に対して３０８例の食道ＥＣＳ検査を行った。スコープは、ＧＩＦ−Ｙ０００２（光学倍率：４００倍（デジタル倍率７００倍））及びＧＩＦ−Ｙ００７４（光学倍率：５００倍（デジタル倍率９００倍））の２つのプロトタイプＥＣＳ（オリンパスメディカルシステムズ）を用いた。また、内視鏡ビデオスコープシステムとして、標準的な内視鏡ビデオシステム（ＥＶＩＳ ＬＵＣＥＲＡ ＣＶ−２６０／ＣＬＶ−２６０， ＥＶＩＳ ＬＵＣＥＲＡ ＥＬＩＴＥ ＣＶ−２９０／ＣＬＶ−２９０ＳＬ：オリンパスメディカルシステムズ）を使用した。【0170】
図１８に示したように、ＥＣＳの最大光学倍率（低倍率画像）の内視鏡画像（図１８のａ〜ｅ）と、デジタル倍率１．８倍の内視鏡画像（高倍率画像、図１８のｆ〜ｊ））とを併せて保存した。３０８例のＥＣＳ検査の中で、２０１１年１１月から２０１６年１２月の間に行われた２４０の症例からの４７１５枚の画像が、ＥＣＳ画像を分析するためのアルゴリズムを開発用の訓練用データセットとして採用された。【0171】
訓練用データセットは、食道癌１２６例（表在癌５８例、進行癌６８例）、食道炎１０６例（放射線関連食道炎５２例、胃食道逆流症４５例、カンジダ食道炎、好酸球性食道炎２例、食道炎３例）、正常扁平上皮症８例であった。全ての病変部を生検組織又は切除標本を用いて組織学的に診断した。最後に、訓練用データセットを「悪性画像（画像数：１１４１（低倍率画像：２３１、高倍率画像：９１０））」及び「非悪性画像（画像数：３５７４（低倍率画像：１１５０、高倍率画像：２４２４））」に分類した。実施形態４では低倍率画像と高倍率画像を用いてＣＮＮをまとめて訓練した。【0172】
構築されたＣＮＮの診断能力の評価のためのテストデータセットとしては、ＥＣＳにて食道の表面細胞形態を良好に観察可能であった５５例を用いた。テストデータは、悪性病変２７例と非悪性病変２８例からなる１５２０枚の画像（低倍率画像：４６７、高倍率画像：１０５３）を用いた。悪性病変の全ての症例は食道扁平上皮癌であった。このうち表在癌が２０例、進行癌が７例であった。非悪性病変は、食道炎（放射線関連食道炎１４例、胃食道逆流症（ＧＥＲＤ）９例、食道炎４例）が２７例、食道乳頭腫が１例であった。【0173】
このようにして得られた実施形態３の訓練用画像データは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態４で用いたＣＮＮシステムは、これらの訓練用画像データを用いて、実施形態１のＣＮＮシステムと同様のものを用いて訓練した。【0174】
［ＣＮＮによる診断結果］訓練データセットを用いてＣＮＮを構築した後、テストデータを検討した。テストデータの各画像について、悪性である確率を計算し、受信機動作特性（ＲＯＣ）曲線をプロットし、ＲＯＣ曲線の下側部分の面積（ＡＵＣ）を計算した。カットオフ値は、ＲＯＣ曲線の感度及び特異性を考慮して決定した。
【0175】
症例ごとの検討では同一病変から取得した複数のＥＣＳ画像に対し、２枚以上が悪性であると診断された場合、悪性であると診断した。食道癌を診断するＣＮＮの感度、陽性的中率（ＰＰＶ）、陰性的中率（ＮＰＶ）、及び特異度を以下のように計算した。感 度＝ＣＮＮが正しく悪性と診断した数／組織学的に証明された食道癌病変の数
ＰＰＶ＝ＣＮＮが正しく悪性と診断した数／ＣＮＮによる食道癌と診断された病変の数
ＮＰＶ＝ＣＮＮが非悪性病変として正しく診断した数（悪性と診断されたＥＣＳ画像が１枚以下）／ＣＮＮによって非悪性病変と診断された病変の数
特異度＝ＣＮＮが非悪性病変として正しく診断した数／組織学的に証明された非悪性病変
【0176】
ＣＮＮによる診断の前に、経験豊富な１名の内視鏡専門医が内視鏡検査中に診断を行った。内視鏡専門医は、全ての症例を以下のＴｙｐｅ分類に従って分類した。Ｔｙｐｅ１：表面上皮細胞は、核／細胞質比が低く、細胞密度が低い。核異型は認められない。（図１９ａ参照）
Ｔｙｐｅ２：核密度は高いが、明らかな核異型はない。細胞間境界は明らかではない。（図１９ｂ参照）
Ｔｙｐｅ３：明らかな核密度の上昇及び核異型が認められる。核の腫大も認められる（図１９ｃ参照）
【0177】
［テストデータの臨床診断と病理診断結果］テストデータ症例の臨床診断と病理診断結果とを表１１に示した。
【表11】
【0178】
表１１に示したように、臨床診断により食道癌と診断された２７例全てが扁平上皮癌であった。臨床診断により胃食道逆流症と診断された９例は、組織学的に４例が再生上皮、３例が食道潰瘍、２例が食道炎と診断された。臨床診断により放射線性食道炎と診断された１４例は、組織学的に２例が再生上皮、８例が食道炎と診断され、他は食道潰瘍、異型細胞を伴う食道炎、肉芽組織及び壊死組織と診断された。【0179】
［ＲＯＣ曲線とその下側部分の面積及びカットオフ値］実施形態４で得られたＣＮＮは、１５２０枚の画像（１画像あたり０．０１１秒）を分析するのに１７秒を要した。全画像からプロットしたＲＯＣ曲線（図２０Ａ）から求められたＡＵＣは０．８５であった。また、高倍率画像（図２０Ｂ）と低倍率画像の場合（図２０Ｃ）とでＲＯＣ曲線を別々作成して分析したところ、高倍率画像の場合のＡＵＣ及び低倍率画像の場合のＡＵＣはそれぞれ０．９０及び０．７２であった。
【0180】
非悪性病変に対する高い特異性を期待して、ＲＯＣ曲線から悪性腫瘍の確率のカットオフ値を９０％に設定した。表１２に示したとおり、全画像の場合の感度、特異度、ＰＰＶ、ＮＰＶは、それぞれ３９．４，９８．２，９２．９及び７３．２であった。また、高倍率画像の場合及び低倍率画像の場合をそれぞれ別々に分析した場合、高倍率画像の場合の感度、特異性、ＰＰＶ、ＮＰＶはそれぞれ４６．４，９８．４，９５．２及び７２．６であり、低倍率画像の場合の感度、特異性、ＰＰＶ、ＮＰＶはそれぞれ１７．４，９８．２，７９．３，７４．４であった。【0181】
【表12】
【0182】
高倍率画像で非悪性であると臨床診断された６２２例のうち、１０画像（１．６％）が悪性腫瘍の確率が９０％を超えていた。この１０画像には、白斑部分より得られた７画像、異型上皮より得られた２画像、正常上皮より得られた１画像が含まれていた。低倍率画像で非悪性であると臨床診断された３３２例のうち、食道炎と診断された７画像（２．１％）が、悪性の確率が９０％を超えていた。【0183】
［各症例ごとの内視鏡医によるＴｙｐｅ分類の評価とＣＮＮによる診断の比較］食道扁平上皮癌と診断された２７症例のうち、実施形態４で構築されたＣＮＮによる診断結果と、内視鏡専門医により分類されたＴｙｐｅとの関係を表１３に示した。
【表13】
【0184】
表１3に示した結果によると、食道扁平上皮癌と診断された２７症例のうち、ＣＮＮは２５症例（感度９２．６％）を悪性（悪性腫瘍の確率が９０％を超えた２以上の画像を含む）と正確に診断した。ＣＮＮはがん細胞が写っている写真の中で悪性であると認識した割合の中央値（範囲）は４０．９（０〜８８．９）％であった。ＣＮＮは非悪性病変の２８症例の２５症例を非悪性（特異性８９．３％）と正確に診断した。ＰＰＶ、ＮＰＶ、及び全体的な精度は、それぞれ８９．３％、９２．６％、９０．９％であった。【0185】
内視鏡専門医は、全ての悪性病変をＴｙｐｅ３と診断した。内視鏡専門医は、非悪性病変の２８例中、１３病変をＴｙｐｅ１、１２病変をＴｙｐｅ２、３病変をＴｙｐｅ３と診断した。Ｔｙｐｅ３が悪性腫瘍に対応すると考えられる場合、感度、特異性、ＰＰＶ、ＮＰＶ、内視鏡検査の診断の総合的な精度はそれぞれ１００％、８９．３％、９０．０％、１００％、９４．５％であった。【0186】
ＣＮＮが非悪性であると誤診した２例の悪性病変は、内視鏡専門医によってＴｙｐｅ３と正診された。これらの２例は表在癌であり、核密度の増加と核の異常が明らかであった。しかし、核の拡大は明らかではなかった（図２１参照）。なお、図２１Ａは通常内視鏡画像、図２１Ｂは同じくＥＣＳ画像、図２１Ｃは同じく病理組織検査画像である。【0187】
ＣＮＮが非悪性病変を悪性と診断した３例のうち、２例が放射線照射後の食道炎であり、１例がグレードＣの胃食道逆流症であった。これらの病変の非拡大内視鏡画像から、内視鏡専門医はこれらを悪性とみなさなかった。しかし、放射線食道炎の１例では、核密度と核異常の明らかな増加のために、内視鏡専門医はＴｙｐｅ３に分類している。この症例では、病変部の組織学的検査により肉芽組織であることが明らかになった（図２２参照）。なお、図２２Ａは通常内視鏡画像、図２２ＢはＥＣＳ画像、図２２Ｃは病理組織検査画像である。【0188】
食道に対するＥＣＳ診断の最も有望な目標は、食道扁平上皮癌の生検組織診断の省略である。実施形態４の結果では、特に高倍率画像のＲＯＣ曲線で高いＡＵＣが確認された。以前１名の病理医にＥＣＳ画像のみから、悪性ＥＣＳ画像を区別できるかどうかを試験した。病理学者は、低倍率画像のみを使用した場合、食道炎の約２／３を悪性と診断している。これらの場合、核密度は増加したが、低倍率のために核異型を認識できなかった。その後、核異型の認識のため、デジタル１．８倍（高倍率）の画像で再度試験を行った。その際の病理学者の感度と特異度は９０％以上に劇的に改善した。【0189】
実施形態４では、全ての悪性と診断された非悪性低倍率画像は食道炎症例から得られた。これらの画像は高い核密度を示したが、低倍率のため核の異常を評価することはできなかった。したがって、低倍率画像ではなく高倍率画像を参照することが推奨される。他方、悪性であると誤診された大部分の非悪性高倍率画像は、白斑部分の観察から得られている。白斑部分のＥＣＳ画像の特徴は、炎症細胞の集蔟である。これらの画像は扁平上皮癌の低倍率画像として認識されたものであると推測される（図１８参照）。そのため、今後は、高倍率画像と低倍率画像の２つの異なるＣＮＮを別々に確立することが望ましい。【0190】
組織生検の省略のためには、非悪性病変の悪性であるとの誤診（偽陽性）を最小限に抑えなければならない。ＥＣＳを用いた内視鏡専門医による扁平上皮腫瘍の過剰診断は、死亡リスクのある手術を必要とする。癌の早期発見のためにＡＩを適用した論文では、一定の偽陽性率が許容される。このためカットオフ値は比較的低い確率で設定されている。今回の検討では悪性腫瘍の確率のカットオフ値を９０％に設定した。これは先に述べた偽陽性を最小限にするためである。【0191】
各症例ごとの評価では、内視鏡専門医はＥＣＳによる診断のためのＴｙｐｅ分類を適用した。Ｔｙｐｅ１及びＴｙｐｅ３はそれぞれ非腫瘍性上皮及び食道扁平上皮癌に対応する。これらの症例では、組織生検を省略することができる。しかしながら、Ｔｙｐｅ２は様々な組織学的状況を含むため、治療方針決定のために組織生検を実施すべきである。実施形態４の結果では、ＣＮＮによるＥＣＳ画像の診断結果は、内視鏡専門医の結果に近い９０％を超えていた。【0192】
この結果は、高いカットオフ値にもかかわらず許容可能である。これらの症例は、ＣＮＮの支援によって組織生検を省略することができる。さらに、ＣＮＮによって悪性と診断されなかった２例の悪性症例は、内視鏡専門医によって正確にＴｙｐｅ３と診断された。病変通常内視鏡観察から悪性腫瘍であることを明瞭に示しているので、これらの症例はＥＣＳ画像のみでＣＮＮの支援なしに組織生検を省略することができる。【0193】
一方、実施形態４の特異度は８９．３％であり、３例の非悪性病変はＣＮＮによって悪性であると診断された。１例はグレードＣの胃食道逆流症であり、他の２例は放射線食道炎であった。これらの病変の病理学的診断は、再生上皮、肉芽組織及び食道潰瘍であった。再生上皮は経験豊富な病理学者であっても食道扁平上皮癌と区別することは困難である。【0194】
放射線食道炎の１例は内視鏡専門医によってＴｙｐｅ３と診断され、実施形態４のＣＮＮによって悪性と診断された。放射線照射後、組織生検を行っても再発や残存食道癌を診断することが困難な場合がある。ＥＣＳ観察に加えて、食道癌の放射線照射後のフォローアップの場合には組織生検を実施すべきである。【0195】
実施形態４の結果によれば、今回のＣＮＮの検討ではいくつかの限界を指摘することができる。第１に、テストデータの数が少なかったことである。この問題を解決するために動画から膨大な数の画像を取得することを計画している。さらに深く学習したＣＮＮが診断結果を改善することを期待している。第２に、光学倍率が４００倍と５００倍の異なる２つのＥＣＳを使用したことである。これらの２つのＥＣＳの倍率の差は、ＣＮＮによる診断の結果に影響を及ぼす可能性がある。そのため、今後市販された光学倍率５００倍のＥＣＳを使用した画像に限定する必要があると思われる。【0196】
結論として、実施形態４のＣＮＮは、内視鏡専門医がＥＣＳ画像に基づいて組織生検を省略することを強くサポートすることが可能である。また、核異型の認識のためには、低倍率画像ではなく、デジタルズームを併用した高倍率画像を参照すべきである。【0197】
［実施形態５］実施形態５のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法について、図２３を用いて説明する。実施形態５では、実施形態１〜４のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法を使用することができる。Ｓ１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてニューラルネットワークを訓練する。Ｓ２では、Ｓ１において訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力する。
【0198】
Ｓ１では、第１の内視鏡画像は、コントラストの調整が行なわれていてもよい。また、Ｓ１では、第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。部位が胃である場合には、区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことができるし、また、区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むこともできる。【0199】
撮像された部位における第１の内視鏡画像の数が他の部位に比して少ない場合には、第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにすることもできる。【0200】
訓練されたニューラルネットワークは、第２の内視鏡画像が撮像された部位に対応する情報が出力可能とされていてもよく、また、確率ないし重症度を部位に対応する情報とともに出力するようにしてもよい。【0201】
第１の内視鏡画像は胃内視鏡画像を含む場合には、疾患としてヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含めてもよい。第１の内視鏡画像は大腸内視鏡画像を含む場合には、疾患として少なくとも潰瘍性大腸炎を含み、訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力するようにしてもよい。第１の内視鏡画像は食道内視鏡画像を含む場合には、疾患として食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、訓練されたニューラルネットワークは、食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力するようにしてもよい。【0202】
第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。また、ニューラルネットワークとして畳み込みニューラルネットワークを用いることもできる。【0203】
［実施形態６］実施形態６のニューラルネットワークを用いた消化器官の内視鏡画像ずよる疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体について図２４を参照して、説明する。実施形態６では、実施形態１〜４で説明した消化器官の内視鏡画像による疾患の診断支援システムを利用することができる。消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部１０と、出力部３０と、ニューラルネットワークが組み込まれたコンピュータ２０と、を有する。コンピュータ２０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域２１と、第１の内視鏡画像に対応する、消化器官の疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域２２と、ニューラルネットワークプログラムを記憶する第３の記憶領域２３と、を備える。第３の記憶領域２３に記憶されたニューラルネットワークプログラムは、第１の記憶領域２１に記憶されている第１の内視鏡画像と、第２の記憶領域２２に記憶されている確定診断結果とに基いて訓練されており、内視鏡画像入力部１０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力部３０に出力する。
【0204】
第１の内視鏡画像は、コントラストの調整が行なわれていてもよい。また、第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。部位が胃である場合には、区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことができるし、また、区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むこともできる。【0205】
撮像された部位における第１の内視鏡画像の数が他の部位に比して少ない場合には、第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにすることもできる。【0206】
訓練されたニューラルネットワークプログラムは、第２の内視鏡画像が撮像された部位に対応する情報が出力可能とされていてもよく、また、確率ないし重症度を部位に対応する情報とともに出力するようにしてもよい。【0207】
第１の内視鏡画像は胃内視鏡画像を含む場合には、疾患としてヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含めてもよい。第１の内視鏡画像は大腸内視鏡画像を含む場合には、疾患として少なくとも潰瘍性大腸炎を含み、訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力するようにしてもよい。第１の内視鏡画像は食道内視鏡画像を含む場合には、疾患として食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、訓練されたニューラルネットワークは、食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力するようにしてもよい。【0208】
第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。また、ニューラルネットワークとして畳み込みニューラルネットワークを用いることもできる。【0209】
消化器官の内視鏡画像による疾患の診断支援システムは、各手段としてコンピュータを動作させるためのもの消化器官の内視鏡画像による診断支援プログラムを備えている。また、消化器官の内視鏡画像による診断支援プログラムは、コンピュータ読み取り可能な記録媒体に記憶しておくことができる。【0210】
［実施形態７］実施形態７のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法について図２５を参照して、説明する。実施形態７では、実施形態１〜４で説明したニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法を利用することができる。S１１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いてニューラルネットワークを訓練する。Ｓ１２では、訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の撮像された部位に対応する情報を出力する。
【0211】
［実施形態８］実施形態８のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム、消化器官の内視鏡画像による消化器官の部位の判別プログラム、及び、コンピュータ読み取り可能な記録媒体について図２６を参照して、説明する。実施形態８では、実施形態１〜４で説明したニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムを利用することができる。実施形態８の消化器官の内視鏡画像による消化器官の部位の判別システムは、内視鏡画像入力部４０と、出力部６０と、ニューラルネットワークが組み込まれたコンピュータ５０と、を有する。コンピュータ５０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域５１と、第１の内視鏡画像に対応する、消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域５２と、ニューラルネットワークプログラムを記憶する第３の記憶領域５３と、を備える。第３の記憶領域５３に記憶されたニューラルネットワークプログラムは、第１の記憶領域５１に記憶されている第１の内視鏡画像と、第２の記憶領域５２に記憶されている確定情報とに基いて訓練されており、内視鏡画像入力部４０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を出力部６０に出力する。
【0212】
消化器官の内視鏡画像による消化器官の部位の判別システムは、各手段として動作させるためのものである、消化器官の内視鏡画像による消化器官の部位の判別プログラムを備えている。また、消化器官の内視鏡画像による消化器官の部位の判別プログラムは、コンピュータ読み取り可能な記録媒体に記憶させることができる。【符号の説明】
【0213】
１０…内視鏡画像入力部２０…コンピュータ
２１…第１の記憶領域
２２…第２の記憶領域
２３…第３の記憶領域
３０…出力部
４０…内視鏡画像入力部
５０…コンピュータ
５１…第１の記憶領域
５２…第２の記憶領域
５３…第３の記憶領域
６０…出力部