特許 7218432 リアルタイムに取得される胃内視鏡イメージに基づいて胃病変を診断する内視鏡装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-27

(45)【発行日】2023-02-06

(54)【発明の名称】リアルタイムに取得される胃内視鏡イメージに基づいて胃病変を診断する内視鏡装置及び方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20230130BHJP

【ＦＩ】

A61B1/045 614

A61B1/045 618

【請求項の数】 14

(21)【出願番号】P 2021516766

(86)(22)【出願日】2019-09-25

(65)【公表番号】

(43)【公表日】2022-01-18

(86)【国際出願番号】 KR2019012449

(87)【国際公開番号】W WO2020071678

(87)【国際公開日】2020-04-09

【審査請求日】2021-04-20

(31)【優先権主張番号】10-2018-0117824

(32)【優先日】2018-10-02

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】515330007

【氏名又は名称】インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ

(74)【代理人】

【識別番号】100149870

【弁理士】

【氏名又は名称】芦北 智晴

(72)【発明者】

【氏名】チョ ボムジュ

(72)【発明者】

【氏名】バン チャンソク

(72)【発明者】

【氏名】パク セウ

(72)【発明者】

【氏名】イ ジェジュン

(72)【発明者】

【氏名】チェ ジェホ

【審査官】湊 和也

(56)【参考文献】

【文献】国際公開第２０１９／０８８１２１（ＷＯ，Ａ１）

【文献】韓国登録特許第１０－１８５７６２４（ＫＲ，Ｂ１）

【文献】米国特許出願公開第２０１８／０２６３５６８（ＵＳ，Ａ１）

【文献】特開平０７－２５０８１２（ＪＰ，Ａ）

【文献】国際公開第２０１７／０６５１７０（ＷＯ，Ａ１）

【文献】特開２０１７－０４５３４１（ＪＰ，Ａ）

【文献】国際公開第２０１８／００８５９３（ＷＯ，Ａ１）

【文献】特開２０１８－０４１１７８（ＪＰ，Ａ）

【文献】国際公開第２０１８／１０３７３６（ＷＯ，Ａ１）

【文献】Toshiaki Hirasawa，Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images，Gastric Cancer，21, 653-660，The international Gastric Cancer Association and Japanese Gastric Cancer Association，2018年01月15日，pp. 653-660，https://link.springer.com/article/10.1007/s10120-018-0793-2，DOI: 10.1007/s10120-018-0793-2

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

リアルタイムに取得される胃内視鏡イメージを用いて病変を診断する内視鏡装置において、
複数のユニット装置を収容し、被検者の体内に挿入される本体部と、
前記本体部の後端に設けられて、ユーザの入力情報に基づいて前記本体部を操作する操作部と、
複数の胃病変イメージを入力とし、胃病変診断結果に関する項目を出力とする学習を介して人工神経網システムを構築し、リアルタイムに取得される胃内視鏡イメージを患者情報と連係して新規データセットを生成し、構築された前記人工神経網システムを介して胃病変診断を行う病変診断部と、
前記病変診断部の診断結果及びリアルタイムに取得される胃内視鏡イメージを表示するディスプレイ部と、
前記操作部から提供されたユーザの入力情報及び前記病変診断部の診断結果に基づいて前記本体部の動作を制御する制御信号を生成する制御部と、
を備える内視鏡装置。

【請求項2】

前記本体部は、
前記本体部の前端に備えられて、新規胃病変イメージを撮影し、撮影した前記新規胃病変イメージを前記病変診断部に提供する撮影部を備え、
前記制御部は、
前記操作部から前記撮影部の動作を制御するためのユーザの入力を受信し、前記撮影部を制御するための制御信号を生成するものである請求項１に記載の内視鏡装置。

【請求項3】

前記撮影部で提供した前記新規胃病変イメージを位置情報と連係して胃病変情報を生成する病変位置取得部をさらに備え、
前記制御部は、前記病変診断部の診断結果及び前記胃病変情報に基づいて対象体の組織の一部を採取するための生検（ｂｉｏｐｓｙ）ユニットの動作を制御するための制御信号を生成するものである請求項２に記載の内視鏡装置。

【請求項4】

前記病変診断部は、
前記新規胃病変イメージの提供を受けるイメージ取得部と、
前記新規胃病変イメージと患者情報とを連係して新規データセットを生成するデータ生成部と、
ディープラーニングアルゴリズムに適用可能なように前記新規データセットを前処理するデータ前処理部と、
複数の胃病変イメージを入力とし、胃病変診断結果に関する項目を出力とする学習を介して人工神経網システムを構築する人工神経網構築部と、
前記新規データセットを、前処理過程を経た後、前記人工神経網システムを介して胃病変診断を行う胃病変診断部と、
を備える請求項２に記載の内視鏡装置。

【請求項5】

前記データ生成部は、前記複数の胃病変イメージの各々を患者情報と連係してデータセットを生成し、前記データセットは、前記人工神経網システムの学習に要求される学習用データセット及び前記人工神経網システムの学習の進行程度を検証するための検証用データセットに分類して生成される請求項４に記載の内視鏡装置。

【請求項6】

前記検証用データセットは、前記学習用データセットと重ならないデータセットである請求項５に記載の内視鏡装置。

【請求項7】

前記前処理部は、
前記新規データセットに含まれた胃病変イメージを用いて、前記胃病変を中心として前記胃病変が含まれなかったイメージの周辺部領域を、切り取り（ｃｒｏｐ）、移動（ｓｈｉｆｔ）、回転（ｒｏｔａｔｉｏｎ）、ひっくり返し（ｆｌｉｐｐｉｎｇ）、及び色相調整（ｃｏｌｏｒ ａｄｊｕｓｔｍｅｎｔ）のうち、いずれか１つの前処理過程を行って前記胃病変イメージを前記ディープラーニングアルゴリズムに適用可能な状態に前処理するものである請求項４に記載の内視鏡装置。

【請求項8】

前記前処理部は、
新規胃病変イメージデータのデータ数を増加させるための増幅部を備え、前記増幅部は、前記新規胃病変イメージデータの回転、ひっくり返し、切り取り、及びノイズ混合を適用して前記新規胃病変イメージデータを増幅するものである請求項７に記載の内視鏡装置。

【請求項9】

前記人工神経網構築部は、
前処理過程を経た前記データセットを入力とし、前記胃病変診断結果に関する項目を出力とする畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）及び全結合型ニューラルネットワーク（Ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）の学習を介しての訓練モデルを構築するものである請求項５に記載の内視鏡装置。

【請求項10】

前処理過程を経た前記データセットは、前記畳み込みニューラルネットワークの入力とし、前記全結合型ニューラルネットワークは、前記畳み込みニューラルネットワークの出力及び前記患者情報を入力とするものである請求項９に記載の内視鏡装置。

【請求項11】

前記畳み込みニューラルネットワークは、
前記複数の胃病変イメージから複数の特徴パターンを出力し、
前記複数の特徴パターンは、全結合型ニューラルネットワークにより最終分類される請求項１０に記載の内視鏡装置。

【請求項12】

前記胃病変診断部は、
進行胃癌（ａｄｖａｎｃｅｄ ｇａｓｔｒｉｃ ｃａｎｃｅｒ）、早期胃癌（ｅａｒｌｙ ｇａｓｔｒｉｃ ｃａｎｃｅｒ）、高度異形成（ｈｉｇｈ－ｇｒａｄｅ ｄｙｓｐｌａｓｉａ）、低異形成（ｌｏｗ－ｇｒａｄｅ ｄｙｓｐｌａｓｉａ）、及び非腫瘍（ｎｏｎ－ｎｅｏｐｌａｓｍ）のうち、少なくともいずれか１つに分類して前記胃病変診断及び胃病変分類を行うものである請求項４に記載の内視鏡装置。

【請求項13】

被検者の体内に挿入される本体部と、前記本体部の後端に設けられて、ユーザの入力情報に基づいて前記本体部を操作する操作部と、病変診断部と、ディスプレイ部と、制御部とを備え、リアルタイムに取得する胃内視鏡イメージを用いて病変を診断する内視鏡装置の作動方法において、
前記病変診断部が、複数の胃病変イメージを入力とし、胃病変診断結果に関する項目を出力とする学習を介して人工神経網システムを構築し、リアルタイムに取得される新規胃内視鏡イメージを患者情報と連係して新規データセットを生成し、構築された前記人工神経網システムを介して胃病変診断を行うステップと、
前記ディスプレイ部が、前記病変診断部の診断結果及びリアルタイムに取得される新規胃内視鏡イメージを表示するステップと、
前記制御部が、前記操作部から提供されたユーザの入力情報及び前記病変診断部の診断結果に基づいて前記本体部の動作を制御する制御信号を生成するステップと、
を含む内視鏡装置の作動方法。

【請求項14】

請求項１３の方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１８年１０月２日付に出願された韓国特許出願第１０－２０１８－０１１７８２４号に対する優先権主張出願であって、当該出願の明細書及び図面に開示された全ての内容は、引用によって本出願に援用される。

【0002】

本願は、リアルタイムに取得される胃内視鏡イメージに基づいて胃病変を診断する内視鏡装置及び方法に関する。

【背景技術】

【0003】

人間の体を構成している最も小さい単位である細胞は、正常であるとき、細胞内の調節機能により分裂・成長し、死んでなくなりながら、細胞数の均衡を維持する。ある原因により細胞が損傷を受ける場合、治療を受けて回復し、正常な細胞として役割をするようになるが、回復されなかった場合は、自ら死ぬようになる。しかしながら、種々の理由により、このような増殖と抑制が調節されない非正常な細胞等が過多に増殖するだけでなく、周囲の組織及び臓器に侵入して腫瘤形成及び正常組織の破壊を招く状態を癌（ｃａｎｃｅｒ）と定義する。癌は、このように抑制されない細胞の増殖であって、正常な細胞と臓器の構造と機能を破壊するため、その診断と治療の重要性は極めて大きい。

【0004】

癌は、細胞が非正常的に増殖して正常な細胞の機能を妨害する疾病であって、肺癌、胃癌（ｇａｓｔｒｉｃ ｃａｎｃｅｒ、ＧＣ）、乳癌（ｂｒｅａｓｔ ｃａｎｃｅｒ、ＢＲＣ）、大腸癌（ｃｏｌｏｒｅｃｔａｌ ｃａｎｃｅｒ、ＣＲＣ）などが代表的であるが、実質的には、いずれの組織でも発生することができる。このうち、胃癌は、全世界的に見ると、韓国、日本などで多くの発生を見せ、米国、ヨーロッパなどの西欧では発生率が低い癌である。韓国の場合、発生率１位、死亡率は、肺癌に続き、２位を占めており、癌のうち、国民健康に及ぼす影響が極めて大きいもののうちの１つである。胃癌の分類をみると、全体の９５％が胃壁の粘膜の腺細胞で生じる腺癌であり、その他、リンパ系で発生するリンパ種、てんかん組織で発生する消化管てんかん性腫瘍がある。早期胃癌（ＥＣＧ）のほとんどは、臨床症状や徴候がないので、スクリーニング戦略なしに適時に探知し、治療し難いという問題点が生じる。また、胃の異形成のような前癌性病変を有した患者は、胃癌にかかる相当な危険がある。

【0005】

最も一般的に使用される胃癌の診断方法は、生体組織検査を介して得られた組織サンプルを用いるか、胃内視鏡検査を利用することであり、コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ、ＣＴ）や核磁気共鳴（ｎｕｃｌｅａｒ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ、ＮＭＲ）などの映像を利用できる。そのうち、生体組織検査は、患者に大きい苦痛を引き起こし、高費用がかかるだけでなく、診断まで長い時間がかかるという短所がある。また、患者の組織に損傷を加えることになる侵襲的な検査であり、患者が実際癌にかかった場合、生体組織検査過程中に癌の転移が誘発され得る恐れがあり、多過ぎた検査は患者に有害であることがある。コンピュータ断層撮影や核磁気共鳴を利用した診断は、臨床医または判読医の熟練度によって誤診の可能性があり、映像を得る機器の精密度に大きく依存するという短所がある。さらに、最も精密な機器さえも数ｍｍ以下の腫瘍は検出することができず、発病初期段階では、検出が難しいという短所がある。また、映像を得るために、患者または疾病保有可能者が遺伝子の突然変異を誘発できる高エネルギーの電磁波に露出されるので、さらに他の疾病を引き起こすこともある。

【0006】

したがって、現行の医療において、胃に発生した新生物の診断は、普通１次的に医師が胃内視鏡検査を介して発見し、内視鏡イメージに含まれた胃内部の形態及び大きさに鑑みて胃癌であるか否かを１次判断する場合が多かった。そして、この中で癌が疑われる病変に対して胃内視鏡検査をして組織を採取し、病理学的組織検査として確診を下す場合が多かった。ところが、胃内視鏡検査は、内視鏡を患者が飲み込まなければならず、その内視鏡が食道を経て胃に到達しながら多くの不快感を引き起こし、食道穿孔あるいは胃穿孔など、合併症が発生する可能性があり、その試行回数を減らしながら胃新生物を診断することが患者のために必要である。

【0007】

したがって、医師が胃新生物発見のための胃内視鏡検査をし、この結果を分析した後、組織検査をするための胃内視鏡検査を再度試行するよりは、１回の胃内視鏡検査の間、胃内視鏡イメージから胃新生物病変を発見し、リアルタイムにその危険度を評価して、ある病変に対して組織検査をするべきか否かを早速決定し、癌の危険がある病変に対してその場で直ちに組織検査をすることが極めて必要である。このように胃内視鏡回数を次第に減らしていくのが現在の傾向である。リアルタイムに胃新生物病変の危険性を評価するにあたって、その危険度を実際より低く評価するようになると、癌病変を見逃すようになり、癌治療がなされないようになるという重大な結果がもたらされ、危険度を実際より高く評価するようになると、不要な組織検査をすることになり、患者の組織に危害を加えるようになる。

【0008】

しかしながら、このようにリアルタイムに胃内視鏡イメージを見て胃病変の危険度を評価する方法は、今まで標準として確立されたものがない。現在、このような危険度の評価は、ほとんど全的に胃内視鏡を試行する医師の主観的判断に依存する。しかし、この方法は、医師毎に経験が異なり、異なる診断を下すことがあり、十分な経験のある医師がいない地域では、正確な診断がなされ得ないという問題点が生じる。

【0009】

内視鏡装置を介して取得された非正常な病変の発見は、一般的に病変の異常形態や粘膜の色変化によって決定され、診断正確度は、訓練及び光学技術、並びに色素内視鏡（ｃｈｒｏｍｏｅｎｄｏｓｃｏｐｙ）にて改善されることと知られた。狭帯域撮影（ｎａｒｒｏｗ ｂａｎｄ ｉｍａｇｉｎｇ）、共焦点イメージング（ｃｏｎｆｏｃａｌ ｉｍａｇｉｎｇ）、及び拡大技術（いわゆる、画像強調内視鏡）のような内視鏡イメージング技術の適用は、診断正確度を向上させることと知られている。

【0010】

しかし、白色内視鏡のみを介しての検査が最も一般化された検査方式であり、映像強化内視鏡検査でサーバ間及び内視鏡内の変動性を解決するための手順及び解析プロセスの標準化が必要な実情である。

【0011】

本願の背景になる技術は、韓国公開特許第１０－２０１８－００５３９５７号公報に開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0012】

本願は、前述した従来技術の問題点を解決するためのものであって、内視鏡撮影装置で取得される白色光胃内視鏡イメージ（映像）を収集し、リアルタイムにディープラーニングアルゴリズムに適用して、胃内視鏡検査中、リアルタイムに胃病変を診断できる内視鏡装置を提供しようとすることを目的とする。

【0013】

本願は、前述した従来技術の問題点を解決するためのものであって、胃内視鏡映像を基に胃腫瘍を自動に分類する深層学習モデルを提供できる内視鏡装置を提供しようとすることを目的とする。

【0014】

本願は、前述した従来技術の問題点を解決するためのものであって、医師（ユーザ）が内視鏡装置を利用して胃腫瘍を検査するときに取得される複数のイメージデータをリアルタイムに評価し、見逃す恐れがある胃腫瘍を診断できる内視鏡装置を提供しようとすることを目的とする。

【0015】

本願は、前述した従来技術の問題点を解決するためのものであって、リアルタイムに取得される胃内視鏡イメージを基に胃新生物を自動に分類し、胃癌あるいは胃異形成などを診断及び予測できる内視鏡装置を提供しようとすることを目的とする。

【0016】

ただし、本願の実施形態がなそうとする技術的課題は、上記したような技術的課題に限定されず、さらに他の技術的課題が存在しうる。

【課題を解決するための手段】

【0017】

上記した技術的課題を達成するための技術的手段として、本願の一実施形態に係るリアルタイムに取得される胃内視鏡イメージを用いて病変を診断する内視鏡装置は、複数のユニット装置を収容し、被検者の体内に挿入される本体部と、前記本体部の後端に設けられて、ユーザの入力情報に基づいて前記本体部を操作する操作部と、複数の胃病変イメージを入力とし、胃病変診断結果に関する項目を出力とする学習を介して人工神経網システムを構築し、リアルタイムに取得される胃内視鏡イメージを患者情報と連係して構築された前記人工神経網システムを介して胃病変診断を行う病変診断部と、前記病変診断部の診断結果及びリアルタイムに取得される胃内視鏡イメージを表示するディスプレイ部とを備えることができる。

【0018】

本願の一実施形態によれば、内視鏡装置は、前記操作部から提供されたユーザの入力情報及び前記病変診断装置の診断結果に基づいて前記本体部の動作を制御する制御信号を生成する制御部をさらに備えることができる。

【0019】

本願の一実施形態によれば、前記本体部は、前記本体部の前端に備えられて、新規胃病変イメージを撮影し、撮影した前記新規胃内視鏡イメージを提供する撮影部を備え、前記制御部は、前記操作部から前記撮影部の動作を制御するためのユーザの入力を受信し、前記撮影部を制御するための制御信号を生成できる。

【0020】

本願の一実施形態によれば、前記撮影部で提供した前記新規胃内視鏡イメージを位置情報と連係して胃病変情報を生成する病変位置取得部をさらに備え、前記制御部は、前記病変診断装置の診断結果及び前記胃病変情報に基づいて対象体の組織の一部を採取するための生検（ｂｉｏｐｓｙ）ユニットの動作を制御するための制御信号を生成できる。

【0021】

本願の一実施形態によれば、前記病変診断部は、前記新規胃病変イメージの提供を受けるイメージ取得部と、前記新規胃病変イメージと患者情報とを連係して新規データセットを生成するデータ生成部と、ディープラーニングアルゴリズムに適用可能なように前記新規データセットを前処理するデータ前処理部と、複数の胃病変イメージを入力とし、胃病変診断結果に関する項目を出力とする学習を介して人工神経網システムを構築する人工神経網構築部と、前記新規データセットを、前記前処理過程を経た後、前記人工神経網システムを介して胃病変診断を行う胃病変診断部とを備えることができる。

【0022】

本願の一実施形態によれば、前記データ生成部は、前記複数の胃病変イメージの各々を患者情報と連係してデータセットを生成し、前記データセットは、前記人工神経網システムの学習に要求される学習用データセット及び前記人工神経網システムの学習の進行程度を検証するための検証用データセットに分類して生成することができる。

【0023】

本願の一実施形態によれば、前記検証用データセットは、前記学習用データセットと重ならないデータセットであることができる。

【0024】

本願の一実施形態によれば、前記前処理部は、前記新規データセットに含まれた胃病変イメージを用いて、前記胃病変を中心として前記胃病変が含まれなかったイメージの周辺部領域を、切り取り（ｃｒｏｐ）、移動（ｓｈｉｆｔ）、回転（ｒｏｔａｔｉｏｎ）、ひっくり返し（ｆｌｉｐｐｉｎｇ）、及び色相調整（ｃｏｌｏｒ ａｄｊｕｓｔｍｅｎｔ）のうち、いずれか１つの前処理過程を行って、前記胃病変イメージを前記ディープラーニングアルゴリズムに適用可能な状態に前処理することができる。

【0025】

本願の一実施形態によれば、前記前処理部は、前記新規胃病変イメージデータのデータ数を増加させるための増幅部を備え、前記増幅部は、前記新規胃病変イメージデータの回転、ひっくり返し、切り取り、及びノイズ混合を適用して前記胃病変イメージデータを増幅できる。

【0026】

本願の一実施形態によれば、前記人工神経網構築部は、前処理過程を経た前記データセットを入力とし、前記胃病変診断結果に関する項目を出力とする畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）及び全結合型ニューラルネットワーク（Ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）の学習を介しての訓練モデルを構築できる。

【0027】

本願の一実施形態によれば、前記前処理過程を経たデータセットは、前記畳み込みニューラルネットワークの入力とし、前記全結合型ニューラルネットワークは、前記畳み込みニューラルネットワークの出力及び前記患者情報を入力とすることができる。

【0028】

本願の一実施形態によれば、前記畳み込みニューラルネットワークは、前記複数の胃病変イメージから複数の特徴パターンを出力し、前記複数の特徴パターンは、全結合型ニューラルネットワークにより最終分類されることができる。

【0029】

本願の一実施形態によれば、前記胃病変診断部は、進行胃癌（ａｄｖａｎｃｅｄ ｇａｓｔｒｉｃ ｃａｎｃｅｒ）、早期胃癌（ｅａｒｌｙ ｇａｓｔｒｉｃ ｃａｎｃｅｒ）、高度異形成（ｈｉｇｈ－ｇｒａｄｅ ｄｙｓｐｌａｓｉａ）、低異形成（ｌｏｗ－ｇｒａｄｅ ｄｙｓｐｌａｓｉａ）、及び非腫瘍（ｎｏｎ－ｎｅｏｐｌａｓｍ）のうち、少なくともいずれか１つに前記胃病変診断分類を行うことができる。

【0030】

本願の一実施形態によれば、被検者の体内に挿入される本体部及び前記本体部の後端に設けられて、ユーザの入力情報に基づいて前記本体部を操作する操作部を備える内視鏡装置がリアルタイムに取得する胃内視鏡イメージを用いて病変を診断する方法は、複数の胃病変イメージを入力とし、胃病変診断結果に関する項目を出力とする学習を介して人工神経網システムを構築し、胃内視鏡イメージを患者情報と連係して新規データセットを生成し、構築された前記人工神経網を介して胃病変診断を行うステップと、診断結果及びリアルタイムに取得される胃内視鏡イメージを表示するステップとを含むことができる。

【0031】

上述した課題解決手段は、単に例示的なものであって、本願を制限しようとする意図と解釈されてはならない。上述した例示的な実施形態の他にも、図面及び発明の詳細な説明に追加的な実施形態が存在しうる。

【発明の効果】

【0032】

前述した本願の課題解決手段によれば、内視鏡撮影装置で取得される白色光胃内視鏡イメージ（映像）を収集し、ディープラーニングアルゴリズムに適用して胃病変を診断できる。

【0033】

前述した本願の課題解決手段によれば、胃内視鏡映像を基に胃腫瘍を自動に分類し、生成された人工神経網を評価する深層学習モデルを提供できる。

【0034】

前述した本願の課題解決手段によれば、医師（ユーザ）が内視鏡装置を利用して胃腫瘍を検査するときに取得する複数のイメージデータをリアルタイムに学習して、見逃す恐れがある胃腫瘍を診断できる。

【0035】

前述した本願の課題解決手段によれば、経験のある医師が必要であった既存の胃内視鏡判読に比べて、内視鏡撮影装置にて取得されたイメージを学習し、胃病変を分類することにより、大幅の費用低減及び人力低減の効果がある。

【0036】

前述した本願の課題解決手段によれば、内視鏡撮影装置にて取得された胃内視鏡イメージを前記胃病変を診断する装置を介して胃病変を診断及び予測することにより、客観的かつ一貫的な判読結果を取得でき、医師が判読するときに発生し得る誤り及び誤読の可能性を減らし、臨床決定補助道具として使用されることができる。

【0037】

ただし、本願において得ることができる効果は、上記したような効果に限定されず、さらに他の効果が存在しうる。

【図面の簡単な説明】

【0038】

【図1】本願の一実施形態に係る内視鏡装置の概略的な構成図である。

【図2】本願の一実施形態に係る内視鏡装置の概略的なブロック図である。

【図3】本願の一実施形態に係る内視鏡装置の病変診断部の概略的なブロック図である。

【図4】本願の一実施形態に係る内視鏡装置がリアルタイムに取得する胃内視鏡イメージを用いて病変を診断する方法に対する動作フローチャートである。

【発明を実施するための形態】

【0039】

下記では、添付した図面を参照して本願の属する技術分野における通常の知識を有する者が容易に実施できるように本願の実施形態を詳細に説明する。しかしながら、本願は、種々の相違した形態で実現されることができ、ここで説明する実施形態に限定されない。そして、図面において本願を明確に説明するために、説明と関係ない部分を省略し、明細書全体を介して類似した部分に対しては、類似した図面符号をつけた。

【0040】

本願の明細書全体において、ある部分が他の部分と「連結」されているとするとき、これは、「直接連結」されている場合のみならず、その中間に他の素子を挟んで「電気的に連結」または「間接的に連結」されている場合も含む。

【0041】

本願の明細書全体において、ある部材が他の部材「上に」、「上部に」、「上端に」、「下に」、「下部に」、「下端に」位置しているとするとき、これは、ある部材が他の部材に接している場合のみならず、２つの部材間にさらに他の部材が存在する場合も含む。

【0042】

本願の明細書全体において、ある部分がある構成要素を「含む」とするとき、これは、特に反対される記載がない限り、他の構成要素を除外するものでなく、他の構成要素をさらに含むことができるということを意味する。

【0043】

本願は、内視鏡装置から取得される胃内視鏡イメージを基に胃腫瘍を分類し、その性能を評価する深層学習モデルを含む胃病変を診断する装置及び方法に関するものである。本願は、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に基づいて胃内視鏡写真を判読し、自動に胃の新生物を診断できる。

【0044】

本願は、胃内視鏡写真イメージデータセットに畳み込みニューラルネットワークというディープラーニングアルゴリズムを適用してコンピュータで学習させた後、新しく入力される胃内視鏡写真を判読し、これを通じて当該写真から胃新生物を自動に分類し、胃癌あるいは胃異形成などを診断あるいは予測できる。

【0045】

本願は、複数の胃病変イメージを基盤に構築された人工神経網システムでリアルタイムに取得される新規胃病変イメージを判読して胃癌あるいは胃異形成などを診断及び予測できる。

【0046】

図１は、本願の一実施形態に係る内視鏡装置の概略的な構成図であり、図２は、本願の一実施形態に係る内視鏡装置の概略的なブロック図である。

【0047】

図１及び図２に示すように、内視鏡装置１は、病変診断部１０、操作部２１、本体部２２、制御部２３、病変位置取得部２４、ディスプレイ部２５を備えることができる。

【0048】

内視鏡装置１は、データ（イメージ、映像、テキスト）及び各種通信信号をネットワークを介して送受信することができる。病変診断システム１は、データ格納及び処理の機能を有する全ての種類のサーバ、端末、またはデバイスを含むことができる。

【0049】

内視鏡装置１は、胃内視鏡検査の際に使用される装置であることができる。内視鏡装置１は、図１に示されたように、操作部２１を備えてユーザの入力情報に基づいて本体部２２が操作されるように形成されることができる。また、内視鏡装置１は、カプセル形態の形状であることができる。カプセル型内視鏡装置１は、超小型のカメラを備え、対象体（患者）の身体内部に挿入されて胃病変イメージを取得できる。内視鏡装置１の形状は、前述した形状に限定されるものではない。

【0050】

病変診断部１０は、複数の胃病変イメージを入力とし、胃病変診断結果に関する項目を出力とする学習を介して人工神経網システムを構築し、胃内視鏡イメージを患者情報と連係して新規データセットを生成し、構築された人工神経網システムを介して胃病変診断を行うことができる。言い換えれば、病変診断部１０は、リアルタイムに取得される胃病変イメージを構築された人工神経網システムを介して学習後、胃病変診断を行うものであることができる。病変診断部１０は、後述する図３を介してより詳細に説明する。

【0051】

本願の一実施形態によれば、操作部２１は、本体部２２の後端に設けられて、ユーザの入力情報に基づいて操作されることができる。操作部２１は、内視鏡施術者によって把持される部分であって、被検者の体内に挿入される本体部２２を操作できる。また、操作部２１は、本体部２２が収容している内視鏡施術の際に必要な複数のユニット装置の動作を操作できる。操作部２１は、回転制御部を備えることができる。回転制御部は、制御信号を生成する機能及び回転力を提供する機能（例えば、モータ）を担当する部分を含むことができる。操作部２１は、撮影部（図示せず）を操作するためのボタンを含むことができる。ボタンは、撮影部（図示せず）の位置を制御するためのボタンであって、ユーザが上下左右、前進、後進などのような本体部２２の位置を変更するためのものであることができる。

【0052】

本体部２２は、被検者の体内に挿入される部分であって、複数のユニット装置を収容することができる。複数のユニット装置は、被検者の体内を撮影する撮影部（図示せず）、体内に空気を供給するエアー供給ユニット、体内に水を供給する水供給ユニット、体内に光を照射する照明ユニット、体内の組織の一部を採取するか、治療するための生検（ｂｉｏｐｓｙ）ユニット、及び体内からの空気または異物を吸入するサクションユニットのうち、少なくとも１つを備えることができる。生検ユニットは、生体から組織の一部を採取するためのメス、針など、各種医療機器を含むことができ、メス、針などの生検（ｂｉｏｐｓｙ）ユニットは、内視鏡施術者によって生検（ｂｉｏｐｓｙ）チャネルを介して体内に挿入されることにより体内の細胞を採取できる。

【0053】

撮影部（図示せず）は、本体部２２の直径に対応する大きさを有するカメラを収容することができる。撮影部（図示せず）は、本体部２２の前端に備えられて胃病変イメージを撮影し、ネットワークを介して病変診断部１０及びディスプレイ部２５に撮影した胃病変イメージを提供することができる。撮影部（図示せず）は、リアルタイムに新規胃病変イメージを取得できる。

【0054】

制御部２３は、操作部２１から提供されたユーザの入力情報及び病変診断装置１０の診断結果に基づいて本体部２２の動作を制御する制御信号を生成できる。制御部２３は、操作部２１に含まれたボタンのうち、ユーザからいずれか１つの選択入力を受信した場合、当該ボタンに対応するように本体部２２の動作を制御する制御信号を生成できる。例えば、制御部２３は、ユーザが本体部２２を前進させるボタンを入力した場合、本体部２２が一定速度で対象体（患者）の体内を前進できるように動作制御信号を生成できる。本体部２２は、制御部２３の制御信号に基づいて対象体（患者）の体内で前進することができる。

【0055】

また、制御部２３は、撮影部（図示せず）の動作を制御するための制御信号を生成できる。撮影部（図示せず）の動作を制御するための制御信号は、病変領域に位置した撮影部（図示せず）が胃病変イメージをキャプチャするための信号であることができる。言い換えれば、ユーザは、操作部２１から特定病変領域に位置した撮影部（図示せず）がイメージを取得することを望む場合、キャプチャ取得ボタンをクリックできる。制御部２３は、操作部２１から提供された入力情報に基づいて撮影部（図示せず）が当該病変領域でイメージを取得できるように制御信号を生成できる。制御部２３は、撮影部（図示せず）が撮影中の映像から特定胃病変イメージを取得するための制御信号を生成できる。

【0056】

また、制御部２３は、病変診断部１０の診断結果に基づいて対象体の組織の一部を採取するための生検ユニット（ｂｉｏｐｓｙ）の動作を制御するための制御信号を生成できる。制御部２３は、病変診断部１０の診断結果が進行胃癌（ａｄｖａｎｃｅｄ ｇａｓｔｒｉｃ ｃａｎｃｅｒ）、早期胃癌（ｅａｒｌｙ ｇａｓｔｒｉｃ ｃａｎｃｅｒ）、高度異形成（ｈｉｇｈ－ｇｒａｄｅ ｄｙｓｐｌａｓｉａ）、及び低異形成（ｌｏｗ－ｇｒａｄｅ ｄｙｓｐｌａｓｉａ）のうち、少なくともいずれか１つに属する場合、切除術を施行できるように生検（ｂｉｏｐｓｙ）ユニットの動作を制御するための制御信号を生成できる。生検（ｂｉｏｐｓｙ）ユニットは、生体から組織の一部を採取するためのメス、針など、各種医療機器を含むことができ、メス、針などの生検（ｂｉｏｐｓｙ）ユニットは、内視鏡施術者によって生検（ｂｉｏｐｓｙ）チャネルを介して体内に挿入されることにより体内の細胞を採取できる。また、制御部２３は、操作部２１から提供されるユーザ入力信号に基づいて生検（ｂｉｏｐｓｙ）ユニットの動作を制御するための制御信号を生成できる。体内の細胞を採取、切除、除去する動作は、ユーザが操作部２１を利用して行うことであることができる。

【0057】

本願の一実施形態によれば、病変位置取得部２４は、撮影部（図示せず）から提供された胃病変イメージと位置情報とを連係して胃病変情報を生成できる。位置情報は、本体部２２が現在体内に位置した位置情報であることができる。言い換えれば、本体部２２が対象体（患者）の胃の第１の地点に位置し、第１の地点から胃病変イメージが取得された場合、病変位置取得部２４は、前記胃病変イメージと位置情報とを連係して胃病変情報を生成できる。

【0058】

病変位置取得部２４は、取得された胃病変イメージと位置情報とを連係して生成された胃病変情報をユーザ（医師）に提供することができる。病変診断部１０の診断結果及び病変位置取得部２４の胃病変情報をディスプレイ部２５を介してユーザに提供することにより、当該病変を切除（除去）する施術及び手術の際、当該病変位置でない所で切除術が行われ得る状況を防止できる。

【0059】

また、制御部２３は、病変位置取得部２４で提供した位置情報を利用して生検（ｂｉｏｐｓｙ）ユニットが当該病変位置に位置しなかった場合、前記生検（ｂｉｏｐｓｙ）ユニットの位置を制御するための制御信号を生成できる。

【0060】

図３は、本願の一実施形態に係る内視鏡装置の病変診断部の概略的なブロック図である。

【0061】

図３に示すように、病変診断部１０は、イメージ取得部１１、データ生成部１２、データ前処理部１３、人工神経網構築部１４、及び胃病変診断部１５を備えることができる。ただし、病変診断部１０の構成が先に開示されたものなどに限定されるものではない。例えば、病変診断部１０は、情報を格納するためのデータベースをさらに備えることができる。

【0062】

イメージ取得部１１は、新規胃病変イメージを取得できる。イメージ取得部１１は、撮影部（図示せず）から新規胃病変イメージを受信できる。イメージ取得部１１は、胃内視鏡診療に使用されている内視鏡撮影装置（デジタルカメラ）にて取得された新規胃病変イメージを取得できる。イメージ取得部１１は、病理学的に確認された胃病変の内視鏡白色光イメージを収集できる。新規胃病変イメージは、内視鏡検査（治療）の際、撮影部（図示せず）を介してリアルタイムに取得される胃病変イメージであることができる。

【0063】

また、イメージ取得部１１は、被検査体の胃の第１の領域を角度、方向、及び距離のうち、いずれか１つを異にして撮影された映像（イメージ）を取得できる。イメージ取得部１１は、ＪＰＥＧ形式の新規胃病変イメージを取得できる。新規胃病変イメージは、１２８０×６４０ピクセルの解像度で角度３５度フィールドのスタイルを適用したものであることができる。一方、イメージ取得部１１は、新規胃病変イメージに対する個別識別子情報が除去されたイメージを取得できる。イメージ取得部１１は、中央に病変が位置し、胃病変イメージのうち、黒色フレーム領域が除去された新規胃病変イメージを取得できる。

【0064】

それに対し、イメージ取得部１１は、イメージ取得過程で焦点ずれ、人工物、トーンなど、品質が低いか、低い解像度のイメージが取得される場合、当該イメージを排除することができる。言い換えれば、イメージ取得部１１は、ディープラーニングアルゴリズムに適用可能でないイメージである場合、当該イメージを排除することができる。

【0065】

本願の他の一実施形態によれば、内視鏡装置１は、カプセル形態で形成された装置であることができる。カプセル内視鏡装置１は、対象者（被検者）の人体内部に挿入され、遠隔で操作されることができる。カプセル内視鏡装置から取得される新規胃病変イメージは、ユーザがキャプチャを望む領域のイメージだけでなく、動画撮影で取得される全ての映像をイメージ化して取得されるデータであることができる。

【0066】

データ生成部１２は、新規胃病変イメージと患者情報とを連係して新規データセットを生成できる。患者情報は、対象者（被検者）の性別、年齢、身長、体重、人種、国籍、喫煙量、飲酒量、家族歴などの様々な情報を含むことができる。また、患者情報は、臨床情報を含むことができる。臨床情報とは、病院で診断を下す医師が特定診断に活用する全てのデータを意味できる。特に、診療過程で生成される性別、年齢を含む資料、特定治療可否資料、給付請求、及び処方資料などを含む電子カルテ資料であることができる。また、臨床情報は、遺伝子情報のような生体データ資料を含むことができる。生体データ資料は、心拍数、心電図、運動量、酸素飽和度、血圧、体重、糖尿のような数値的データを有する個人健康情報を含むことができる。

【0067】

患者情報は、以下に説明される人工神経網構築部１４で畳み込みニューラルネットワーク構造の結果物とともに全結合型ニューラルネットワークに入力されるデータであることができ、胃病変イメージ以外の情報を人工神経網に入力することにより、さらに正確度を向上させる効果を期待できる。

【0068】

前処理部１３は、ディープラーニングアルゴリズムに適用可能なように新規データセットを前処理することができる。前処理部１３は、ディープラーニングアルゴリズムで認識性能を高め、患者間映像との類似性を最小化するために新規データセットを前処理することができる。ディープラーニングアルゴリズムは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）構造と全結合型ニューラルネットワーク（Ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）構造との２つの部分からなることができる。

【0069】

本願の一実施形態によれば、前処理部１３は、５ステップの前処理過程を行うことができる。まず、前処理部１３は、切り取り（ｃｒｏｐ）ステップを行うことができる。切り取り（ｃｒｏｐ）ステップは、イメージ取得部１１で取得された胃病変イメージから病変を中心として縁の不要な部分（黒色背景）を切り取ることができる。一例に、前処理部１３は、任意に指定したピクセルサイズ（例えば、２９９×２９９ピクセル、２４４×２４４ピクセル）を設定して胃病変イメージを切り取ることができる。言い換えれば、前処理部１３は、ディープラーニングアルゴリズムに適用可能なサイズに新規胃病変イメージを切り取ることができる。

【0070】

次に、前処理部１３は、平行移動（ｓｈｉｆｔ）ステップを行うことができる。前処理部１３は、新規胃病変イメージを上下左右方向に平行移動させることができる。また、前処理部１３は、ひっくり返し（ｆｌｉｐｐｉｎｇ）ステップを行うことができる。例えば、前処理部１３は、垂直に胃病変イメージをひっくり返すことができる。また、前処理部１３は、胃病変イメージを上下方向にひっくり返し、その後、左右方向にひっくり返す過程を行うことができる。

【0071】

また、前処理部１３は、色相調整（ｃｏｌｏｒ ａｄｊｕｓｔｍｅｎｔ）ステップを行うことができる。例えば、色相調整ステップで前処理部１３は、全体データセットの平均ＲＧＢ値で平均減算方法を使用して抽出された色相を基にイメージの色相調整を行うことができる。また、前処理部１３は、ランダムに新規胃病変イメージの色相を調整できる。

【0072】

前処理部１３は、５ステップの前処理過程を全て行って、新規胃病変イメージをディープラーニングアルゴリズムに適用可能なデータセットに生成することができる。また、前処理部１３は、５ステップの前処理過程のうち、少なくともいずれか１つを行って、新規胃病変イメージをディープラーニングアルゴリズムに適用可能なデータセットに生成することができる。

【0073】

また、前処理部１３は、拡大／縮小（ｒｅｓｉｚｉｎｇ）ステップをさらに行うことができる。拡大／縮小（ｒｅｓｉｚｉｎｇ）ステップは、胃病変イメージを予め設定されたサイズに拡大及び縮小するステップであることができる。

【0074】

前処理部１３は、新規胃病変イメージデータのデータ数を増加させるためにイメージデータを増幅する増幅部（図示せず）を備えることができる。

【0075】

本願の一実施形態によれば、畳み込みニューラルネットワークを含むディープラーニングアルゴリズムを利用する場合、データの量が多いほど、良い性能を達成するのに有利であるが、新規胃内視鏡写真イメージは、その検査件数が他の検査に比べて非常に少ない方であって、イメージ取得部１１で取得された新規胃病変イメージデータ収集量は、畳み込みニューラルネットワークを活用するのに非常に足りないことがある。増幅部（図示せず）は、新規胃病変イメージの回転、ひっくり返し、切り取り、ノイズ混合のうち、少なくともいずれか１つの方法を適用してデータ増幅（ａｕｇｍｅｎｔａｔｉｏｎ）過程を行うことができる。

【0076】

前処理部１３は、予め設定された基準値に対応するように前処理過程を行うことができる。予め設定された基準値は、ユーザが任意に指定した値であることができる。また、予め設定された基準値は、取得された新規胃病変イメージの平均値により決定された値であることができる。前処理部１３を経た新規データセットは、人口神経網構築部１４に提供されることができる。

【0077】

以下では、人工神経網構築部１４の人工神経網システム構築の実施形態を説明しようとする。

【0078】

本願の一実施形態によれば、人工神経網構築部１４は、イメージ取得部１１が複数の胃病変イメージを取得し、データ生成部１２が複数の胃病変イメージデータの各々に患者情報を連係してデータセットを基盤に人工神経網システムを構築できる。

【0079】

人工神経網構築部１４は、イメージ取得部１１が複数の胃病変イメージを複数の病院の映像保管装置及びデータベースシステムから受信した複数の胃病変イメージを用いて人工神経網システムを構築できる。複数の病院の映像保管装置は、多数の病院で胃内視鏡実行の際に取得された胃病変イメージを格納した装置であることができる。

【0080】

また、人工神経網構築部１４は、ディープラーニングアルゴリズムに適用可能なように前記データセットを前処理する過程を経ることができる。このときの前処理過程は、前述したデータ前処理部１３で行われることができる。例えば、人工神経網構築部１４は、データセットに含まれた胃病変イメージを前述した前処理部１３で行われる５ステップの前処理過程を経てディープラーニングアルゴリズムに適用可能なようにデータセットを前処理することができる。

【0081】

一例に、データ生成部１２は、ディープラーニングアルゴリズム適用のための学習用データセット及び検証用データセットを生成できる。データセットを人工神経網学習に要求される学習用データセット及び人工神経網の学習の進行情報を検証するための検証用データセットに分類してデータセットを生成できる。

【0082】

また、データ生成部１２は、イメージ取得部１１から取得された複数の胃病変イメージのうち、ランダムに学習用データセットに活用されるイメージ及び検証用データセットに活用されたイメージを分類できる。また、データ生成部１２は、検証用データセットを選択してから残ったデータセットを学習用データセットとして使用することができる。検証用データセットは、ランダムに選択されることができる。検証用データセット及び学習用データセットの割合は、予め設定された基準値により決定されることができる。このとき、予め設定された基準値は、検証用データセットの割合が１０％、学習用データセットの割合が９０％に設定されることができるが、これに限定されるものではない。

【0083】

データ生成部１２は、過剰適合状態を防止するために、学習用データセット及び検証用データセットを区分してデータセットを生成できる。例えば、神経網構造の学習特性上、学習用データセットは、過剰適合状態になることができるので、データ生成部１２は、検証用データセットを活用して、人工神経網が過剰適合状態になることを防止できる。

【0084】

このとき、検証用データセットは、学習用データセットと重ならないデータセットであることができる。検証用データは、人工神経網構築に使用されなかったデータであるから、検証作業の際に人工神経網で初めて接するデータである。したがって、検証用データセットは、新しいイメージ（学習に使用されなかった新規イメージ）が入力として入る場合、人工神経網の性能評価に適切なデータセットであることができる。

【0085】

人工神経網構築部１４は、前処理過程を経たデータセットを入力とし、胃病変分類結果に関する項目を出力とする学習を介して人工神経網を構築できる。

【0086】

本願の一実施形態によれば、人工神経網構築部１４は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）構造と全結合型ニューラルネットワーク（Ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）構造との２つの部分からなるディープラーニングアルゴリズムを適用して胃病変分類結果を出力とすることができる。全結合型ニューラルネットワークは、ノード間に横的／縦的に２次元的連結をなし、互いに同じ層に位置したノード間には連結関係が存在せず、すぐ隣接した層に位置したノード等間にのみ連結関係が存在するということを特徴とする神経網である。

【0087】

人工神経網構築部１４は、前処理過程を経た学習用データセットを入力とする畳み込みニューラルネットワークと、畳み込みニューラルネットワークの出力を全結合型ニューラルネットワークの入力とする学習を介しての訓練モデルを構築できる。

【0088】

本願の一実施形態によれば、畳み込みニューラルネットワークは、胃病変イメージを分析する複数の特定特徴パターンを抽出できる。このとき、抽出された特定特徴パターンは、全結合型ニューラルネットワークで最終分類をするのに使用されることができる。

【0089】

畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）は、音声認識やイメージ認識で主に使用される神経網の一種である。多次元配列データを処理するように構成されており、カラーイメージのような多次元配列処理に特化されている。したがって、イメージ認識分野でディープラーニングを活用した技法は、ほとんど畳み込みニューラルネットワークを基にする。

【0090】

畳み込みニューラルネットワーク（ＣＮＮ）は、イメージを１つのデータではない、複数個に分割して処理する。このようにすれば、イメージが歪まされてもイメージの部分的特性を抽出でき、正しい性能を出すことができる。

【0091】

畳み込みニューラルネットワークは、複数の層構造からなることができる。それぞれの層を構成する要素は、畳み込み層、活性化関数、最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）層、活性化関数、ドロップアウト（ｄｒｏｐｏｕｔ）層で構成されることができる。畳み込み層は、カーネル（ｋｅｒｎｅｌ）と呼ばれるフィルタ役割をして全体イメージ（または、生成された新しい特徴パターン）を部分的に処理したものなどがイメージと同じ大きさの新しい特徴パターン（ｆｅａｔｕｒｅ ｐａｔｔｅｒｎ）を抽出できる。畳み込み層は、特徴パターンで活性化関数を介して特徴パターンの値を処理しやすいように補正することができる。最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）層は、一部胃病変イメージをサンプリング（ｓａｍｐｌｉｎｇ）して大きさを調節し、イメージの大きさを減らすことができる。畳み込みニューラルネットワークは、畳み込み層及び最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）層を経て、特徴パターン（ｆｅａｔｕｒｅ ｐａｔｔｅｒｎ）の大きさは減るようになるが、複数のカーネル（ｋｅｒｎｅｌ）活用を介して複数の特徴パターン（ｆｅａｔｕｒｅ ｐａｔｔｅｒｎ）を抽出できる。ドロップアウト（ｄｒｏｐｏｕｔ）層は、畳み込みニューラルネットワークの加重値を訓練するとき、効率的な訓練のために、一部加重値を意図的に考慮しない方法であることができる。一方、ドロップアウト（ｄｒｏｐｏｕｔ）層は、訓練されたモデルを介して実際テストをする場合には適用しないことがある。

【0092】

畳み込みニューラルネットワークから抽出された複数の特徴パターン（ｆｅａｔｕｒｅ ｐａｔｔｅｒｎ）は、次のステップである全結合型ニューラルネットワークに伝達されて分類作業をするのに活用されることができる。畳み込みニューラルネットワークは、層の個数を調節できる。畳み込みニューラルネットワークは、層の個数をモデル訓練のための訓練用データの量に合わせて調節することで、より安定したモデルを構築できる。

【0093】

また、人工神経網構築部１４は、前処理過程を経た学習用データセットを畳み込みニューラルネットワークの入力とし、畳み込みニューラルネットワークの出力及び患者情報を全結合型ニューラルネットワークの入力とする学習を介しての診断（訓練）モデルを構築できる。言い換えれば、人工神経網構築部１４は、前処理過程を経たイメージデータが先に畳み込みニューラルネットワークに入るようにし、畳み込みニューラルネットワークを経て出た結果物が全結合型ニューラルネットワークに入るようにすることができる。また、人工神経網構築部１４は、任意に抽出された特徴（ｆｅａｔｕｒｅ）などを畳み込みニューラルネットワークを経ずに、直ちに全結合型ニューラルネットワークに入るようにすることができる。

【0094】

このとき、患者情報は、対象者（被検者）の性別、年齢、身長、体重、人種、国籍、喫煙量、飲酒量、家族歴などの様々な情報を含むことができる。また、患者情報は、臨床情報を含むことができる。臨床情報とは、病院で診断を下す医師が特定診断に活用する全てのデータを意味できる。特に、診療過程で生成される性別、年齢を含む資料、特定治療可否資料、給与請求、及び処方資料などを含む電子カルテ資料であることができる。また、臨床情報は、遺伝子情報のような生体データ資料を含むことができる。生体データ資料は、心拍数、心電図、運動量、酸素飽和度、血圧、体重、糖尿のような数値的データを有する個人健康情報を含むことができる。

【0095】

患者情報は、人工神経網構築部１４で畳み込みニューラルネットワーク構造の結果物とともに全結合型ニューラルネットワークに入力されるデータであり、患者情報を人工神経網に入力することにより、胃病変イメージのみを用いて導出された結果より正確度を向上させるという効果を期待できる。

【0096】

一例に、癌が高齢に多いという点が学習用データセットの臨床情報を介して学習されるようになると、イメージ特徴とともに４２歳または７９歳の年齢が入力された場合、胃病変分類結果で癌または陽性区分が難しい曖昧な病変の区分で高齢の患者は、癌である確率が高まる方に結果を導出できる。

【0097】

人工神経網構築部１４は、トレーニングデータをディープラーニングアルゴリズム構造（畳み込みニューラルネットワークを経て全結合型ニューラルネットワークで形成された構造）に適用させて導出される結果と実際結果との誤差を比較して、当該誤差に該当する分だけ神経網構造の加重値を次第に変化させる誤差逆伝播法（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを介して結果がフィードバックされて学習されることができる。誤差逆伝播法（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）アルゴリズムは、結果の誤差（実際値と結果値との差）を減らすために、各ノードから次のノードにつながる加重値を調節するものであることができる。人工神経網構築部１４は、学習用データセットと検証用データセットとを利用して神経網を学習させ、加重値媒介変数を求めて最終診断モデルを導出するものであることができる。

【0098】

胃病変診断部１５は、新規データセットを、前処理過程を経た後、人工神経網を介して胃病変診断を行うことができる。言い換えれば、胃病変診断部１５は、前述した人工神経網構築部１４で導出された最終診断モデルを用いて新規胃内視鏡イメージに対する診断を導出できる。

【0099】

新規胃内視鏡イメージは、内視鏡装置１の撮影部を介して取得されるリアルタイム胃内視鏡イメージであることができる。新規胃内視鏡イメージは、ユーザが診断しようとする胃病変イメージを含むデータであることができる。新規データセットは、新規胃病変イメージを患者情報と連係して生成されたデータセットであることができる。新規データセットは、前処理部１２の前処理過程を経てディープラーニングアルゴリズムに適用可能な状態に前処理されることができる。その後、前処理された新規データセットは、人工神経網構築部１４に入力されて、学習パラメータを基に胃病変イメージが診断され得る。

【0100】

本願の一実施形態によれば、胃病変診断部１５は、進行胃癌（ａｄｖａｎｃｅｄ ｇａｓｔｒｉｃ ｃａｎｃｅｒ）、早期胃癌（ｅａｒｌｙ ｇａｓｔｒｉｃ ｃａｎｃｅｒ）、高度異形成（ｈｉｇｈ－ｇｒａｄｅ ｄｙｓｐｌａｓｉａ）、低異形成（ｌｏｗ－ｇｒａｄｅ ｄｙｓｐｌａｓｉａ）、及び非腫瘍（ｎｏｎ－ｎｅｏｐｌａｓｍ）のうち、少なくともいずれか１つに前記胃病変診断分類を行うことができる。また、胃病変診断部１５は、癌と非癌とに分類することができる。また、胃病変診断部１５は、新生物と非新生物の２つの範疇に分類して胃病変診断分類を行うことができる。新生物分類には、ＡＧＣ、ＥＧＣ、ＨＧＤ、及びＬＧＤが含まれ得る。非腫瘍範疇には、胃炎、陽性潰瘍、奇形、ポリープ、腸上皮化生、または上皮性腫瘍のような病変が含まれ得る。

【0101】

病変診断部１０は、曖昧な病変を分類及び診断するために、不要な生体検査や内視鏡切除によって発生する副作用を減少させるために、撮影部（図示せず）にて取得されたイメージを分析して曖昧な病変を自動に分類及び診断し、新生物（悪性腫瘍）の場合、本体部２２に含まれた複数のユニット装置を利用して内視鏡切除施術を試行するように情報を生成できる。

【0102】

以下では、上記に詳しく説明された内容を基に、本願の動作フローを簡単に説明する。

【0103】

図４は、本願の一実施形態に係る内視鏡装置がリアルタイムに取得する胃内視鏡イメージを用いて病変を診断する方法に対する動作フローチャートである。

【0104】

図４に示された内視鏡装置がリアルタイムに取得する胃内視鏡イメージを用いて病変を診断する方法は、前述した内視鏡装置１によって行われることができる。したがって、以下、省略された内容であるといえども、内視鏡装置１について説明された内容は、内視鏡装置がリアルタイムに取得する胃内視鏡イメージを用いて病変を診断する方法についての説明にも同様に適用されることができる。

【0105】

ステップＳ４０１で内視鏡装置１は、人工神経網を介して新規データセットの胃病変イメージの胃病変診断を行うことができる。ステップＳ４０１以前に内視鏡装置１は、複数の胃病変イメージを取得できる。胃病変イメージは、白色光イメージであることができる。また、内視鏡装置１は、複数の胃病変イメージと患者情報とを連係してデータセットを生成できる。内視鏡装置１は、人工神経網学習に要求される学習用データセット及び人工神経網の学習の進行情報を検証するための検証用データセットに分類してデータセットを生成できる。このとき、検証用データセットは、学習用データセットと重ならないデータセットであることができる。検証用データセットは、新規データセットが前処理過程を経た後、人工神経網の入力となる場合、人工神経網の性能評価に活用されるデータであることができる。

【0106】

また、内視鏡装置１は、ディープラーニングアルゴリズムに適用可能なように新規データセットを前処理することができる。内視鏡装置１は、新規データセットに含まれた新規胃病変イメージを用いて胃病変を中心として胃病変が含まれなかったイメージの周辺部領域を切り取り、ディープラーニングアルゴリズムに適用可能なサイズに切り取るクロップ（ＣＲＯＰ）過程を行うことができる。また、内視鏡装置１は、新規胃病変イメージを上下左右方向に平行移動（Ｓｈｉｆｔ）させることができる。また、内視鏡装置１は、新規胃病変イメージをひっくり返す（ｆｌｉｐｐｉｎｇ）ことができる。また、内視鏡装置１は、新規胃病変イメージの色相を調整できる。内視鏡装置１は、複数の前処理過程のうち、少なくともいずれか１つを行って、新規胃病変イメージをディープラーニングアルゴリズムに適用可能な状態に前処理することができる。

【0107】

また、内視鏡装置１は、新規胃病変イメージデータのデータ数を増加させるためにイメージデータを増幅させることができる。内視鏡装置１は、新規イメージデータを増幅させるために、胃病変イメージデータの回転、ひっくり返し、切り取り、及びノイズ混合のうち、少なくともいずれか１つを適用して胃病変イメージデータを増幅させることができる。

【0108】

内視鏡装置１は、前処理過程を経たデータセットを入力とし、胃病変分類結果に関する項目を出力とする学習を介しての人工神経網を構築できる。内視鏡装置１は、前処理過程を経たデータセットを入力とし、胃病変分類結果に関する項目を出力とする畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）及び全結合型ニューラルネットワーク（Ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）の学習を介しての訓練モデルを構築できる。

【0109】

また、内視鏡装置１は、前処理過程を経たデータセットは、畳み込みニューラルネットワークの入力とし、全結合型ニューラルネットワークは、畳み込みニューラルネットワークの出力及び患者情報を入力として訓練モデルを構築できる。畳み込みニューラルネットワークは、複数の胃病変イメージから複数の特徴パターンを出力し、複数の特徴パターンは、全結合型ニューラルネットワークにより最終分類されることができる。

【0110】

内視鏡装置１は、新規データセットを、前処理過程を経た後、人工神経網を介して胃病変診断を行うことができる。内視鏡装置１は、進行胃癌（ａｄｖａｎｃｅｄ ｇａｓｔｒｉｃ ｃａｎｃｅｒ）、早期胃癌（ｅａｒｌｙ ｇａｓｔｒｉｃ ｃａｎｃｅｒ）、高度異形成（ｈｉｇｈ－ｇｒａｄｅ ｄｙｓｐｌａｓｉａ）、低異形成（ｌｏｗ－ｇｒａｄｅ ｄｙｓｐｌａｓｉａ）、及び非腫瘍（ｎｏｎ－ｎｅｏｐｌａｓｍ）のうち、少なくともいずれか１つに新規胃内視鏡イメージに対する胃病変診断分類を行うことができる。

【0111】

ステップＳ４０２で内視鏡装置１は、リアルタイムに取得された新規胃内視鏡イメージ及び人工神経網を経て出力された胃病変診断結果を出力できる。

【0112】

上述した説明において、ステップＳ４０１ないしＳ４０２は、本願の実現例によって、追加的なステップにさらに分割されるか、より少ないステップに組み合わせられることができる。また、一部のステップは、必要に応じて省略されることができ、ステップ間の順序が変更されることもできる。

【0113】

本願の一実施形態に係る内視鏡装置がリアルタイムに取得する胃内視鏡イメージを用いて病変を診断する方法は、様々なコンピュータ手段を介して実行されることができるプログラム命令形態で実現されてコンピュータ読み取り可能媒体に記録されることができる。前記コンピュータ読み取り可能媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、本発明のために特に設計され、構成されたものなどであるか、コンピュータソフトウェアの当業者に公知されて使用可能なものであることもできる。コンピュータ読み取り可能記録媒体の例には、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリなどのようなプログラム命令を格納し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラーにより作られるような機械語コードだけでなく、インタープリタなどを使用してコンピュータにより実行されることができる高級言語コードを含む。上記したハードウェア装置は、本発明の動作を実行するために、１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。

【0114】

また、前述した内視鏡装置がリアルタイムに取得する胃内視鏡イメージを用いて病変を診断する方法は、記録媒体に格納されるコンピュータにより実行されるコンピュータプログラムまたはアプリケーションの形態でも実現されることができる。

【0115】

前述した本願の説明は、例示のためのものであり、本願の属する技術分野の通常の知識を有する者は、本願の技術的思想や必須的な特徴を変更せずに、他の具体的な形態に容易に変形が可能であるということが理解できるであろう。したがって、以上で記述した実施形態等は、あらゆる面において例示的なものであり、限定的でないことと理解すべきである。例えば、単一型として説明されている各構成要素は、分散されて実施されることもでき、同様に、分散されたことと説明されている構成要素等も結合された形態で行われることができる。

【0116】

本願の範囲は、上記の詳細な説明よりは、後述する特許請求の範囲によって表され、特許請求の範囲の意味及び範囲、そして、その均等概念から導出されるあらゆる変更または変形された形態が本願の範囲に含まれることと解釈されなければならない。

【図1】

【図2】

【図3】

【図4】