特表 2024-509015 人工知能基盤の血管学習による大腸ポリープ検出方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-29

(54)【発明の名称】人工知能基盤の血管学習による大腸ポリープ検出方法及び装置

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240221BHJP

   A61B 1/31 20060101ALI20240221BHJP

   G06T 7/00 20170101ALI20240221BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 614

A61B1/31

A61B1/045 622

G06T7/00 350C

G06T7/00 612

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023506328

(86)(22)【出願日】2022-02-08

(85)【翻訳文提出日】2023-01-30

(86)【国際出願番号】 KR2022001942

(87)【国際公開番号】W WO2023140416

(87)【国際公開日】2023-07-27

(31)【優先権主張番号】10-2022-0007724

(32)【優先日】2022-01-19

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】521498601

【氏名又は名称】コ，ジファン

【氏名又は名称原語表記】ＫＯ， Ｊｉｈｗａｎ

【住所又は居所原語表記】１５０３－ｈｏ １０７－ｄｏｎｇ， ３４５， Ｓｕｙｅｏｎｇ－ｒｏ， Ｎａｍ－ｇｕ， Ｂｕｓａｎ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】コ，ジファン

【テーマコード（参考）】

4C161

5L096

【Ｆターム（参考）】

4C161AA04

4C161CC06

4C161HH51

4C161SS21

4C161UU06

4C161WW02

4C161WW04

4C161WW13

5L096BA06

5L096BA13

5L096CA04

5L096DA04

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【要約】本発明に開示された、人工知能基盤の血管学習による大腸ポリープ検出方法は、装置により実行され、（ａ）内視鏡から撮影された画像をリアルタイムで受信する段階と、（ｂ）画像中にて、大腸粘膜及び大腸血管が含まれている、それぞれの区間の画像を認識する段階と、（ｃ）それぞれの区間の画像ごとに大腸血管像の断絶の有無を判断する段階と、（ｄ）それぞれの区間の画像中にて大腸血管が途切れた血管像を示す第１視覚効果を表示する段階と、（ｅ）大腸血管が連続した血管像を示す第２視覚効果を表示する段階とを含み、（ｂ）段階は、ディープラーニングモデルによってそれぞれの区間の画像を認識するのであり、ディープラーニングモデルは、外部のアノテータから取得した複数の大腸画像中の血管データと、血管像が途切れている程度及び血管のパターンとに基づいて機械学習されたモデルである。

【特許請求の範囲】

【請求項1】

装置により実行される方法において、
（ａ）被検査者の大腸に投入された内視鏡から撮影された画像を、リアルタイムで受信する段階と、
（ｂ）前記画像中にて大腸粘膜及び大腸血管が含まれている、それぞれの区間の画像を認識する段階と、
（ｃ）前記それぞれの区間の画像ごとに、大腸の血管像の断絶の有無を判断する段階と、
（ｄ）前記それぞれの区間の画像中にて、大腸血管が途切れた血管像を示す第１視覚効果を表示する段階と、
（ｅ）前記それぞれの区間の画像中にて、大腸血管が連続した血管像を示す第２視覚効果を表示する段階と、
を含み、
前記（ｂ）段階は、
ディープラーニングモデルによって前記それぞれの区間の画像を認識し、
前記ディープラーニングモデルは、外部のアノテータから取得した、被検査者の複数の大腸画像中の血管データと、前記大腸の内部へと照射された光による、血管像が途切れている程度及び血管のパターンと、に基づいて機械学習されたモデルである、人工知能基盤の血管学習による大腸ポリープ検出方法。

【請求項2】

前記第１視覚効果は、
前記それぞれの区間の画像中の、大腸血管が途切れた当該血管像に、それぞれのマーカーが表示される視覚効果を含むことを特徴とする、請求項１に記載の人工知能基盤の血管学習による大腸ポリープ検出方法。

【請求項3】

前記それぞれのマーカーの大きさは、
該当血管像が途切れている程度に基づいて決定されることを特徴とする、請求項２に記載の人工知能基盤の血管学習による大腸ポリープ検出方法。

【請求項4】

制御部が、前記第１視覚効果によって、大腸粘膜上に薄膜平面型ポリープの存否及び大きさを判断し、
前記第２視覚効果によって、大腸粘膜上の薄膜平面型ポリープが存在しない事実を判断することを特徴とする、請求項１に記載の人工知能基盤の血管学習による大腸ポリープ検出方法。

【請求項5】

前記（ｃ）段階で、
前記大腸血管像の断絶の有無は、該当血管像の途切れている程度が、既に設定されたパーセント閾値以上に変化するか否かにより判断され、
前記血管像の途切れている程度が、前記既に設定されたパーセント閾値以上の場合、制御部が、大腸粘膜上の当該領域に、薄膜平面型ポリープがあると判断することを特徴とする、請求項３に記載の人工知能基盤の血管学習による大腸ポリープ検出方法。

【請求項6】

ハードウェアであるコンピュータと結合し、前記請求項１～５の何れか１項に記載の、人工知能基盤の血管学習による大腸ポリープ検出方法を行うためのコンピュータ読み取り可能な記録媒体に格納された、コンピュータプログラム。

【請求項7】

ディスプレイ部と、
被検査者の大腸に投入された大腸内視鏡から、撮影された画像をリアルタイムで受信する通信部と、
前記受信した画像、及び、前記受信した画像にて大腸血管を認識するためのディープラーニングモデルを格納する格納部と、
前記ディープラーニングモデルを通じて、前記受信した画像中にて大腸粘膜及び大腸血管が含まれている、それぞれの区間の画像を認識し、前記それぞれの区間の画像中にて大腸血管が途切れた血管像を示す第１視覚効果を前記ディスプレイ部上に表示し、前記それぞれの区間の画像中にて大腸血管が連続した血管像を示す第２視覚効果を前記ディスプレイ部上に表示する制御部と、
を含み、
前記ディープラーニングモデルは、
外部のアノテータから取得した被検査者の複数の大腸画像中の血管データと、前記大腸の内部に照射された光による血管像が途切れている程度及び血管のパターンとに基づいて機械学習されたモデルである、人工知能基盤の血管学習による大腸ポリープ検出装置。

【請求項8】

前記第１視覚効果は、
前記それぞれの区間の画像中の大腸血管が途切れた当該血管像にそれぞれのマーカーが表示される視覚効果を含み、
前記それぞれのマーカーの大きさは、
当該血管像が途切れている程度に基づいて決定されることを特徴とする、請求項７に記載の人工知能基盤の血管学習による大腸ポリープ検出装置。

【請求項9】

前記制御部は、
前記第１視覚効果によって大腸粘膜上に薄膜平面型ポリープの存否及び大きさを判断し、
前記第２視覚効果によって大腸粘膜上の薄膜平面型ポリープが存在しない事実を判断することを特徴とする、請求項７に記載の人工知能基盤の血管学習による大腸ポリープ検出装置。

【請求項10】

前記制御部は、
前記大腸血管像の断絶の有無を、当該血管像の途切れている程度が、既に設定されたパーセント閾値以上に変化するか否かにより判断し、前記既に設定されたパーセント閾値以上の場合、大腸粘膜上の当該領域に薄膜平面型ポリープが存在すると判断することを特徴とする、請求項８に記載の人工知能基盤の血管学習による大腸ポリープ検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は大腸ポリープ検出方法及び装置に関し、より詳しくは、本発明は、人工知能基盤の血管学習による大腸ポリープ検出方法及び装置に関する。

【背景技術】

【0002】

近年、西洋型の食生活と運動不足により、韓国における大腸がんの発症率は急激に増加している。

【0003】

大腸がんの８０～９０％は、大腸にできた小さな塊であるポリープ（腺腫）から始まる。

【0004】

ある統計によると、大腸内視鏡検査によって、このポリープを早期発見して除去すれば、大腸がんによる死亡率を６６％にも下げられるという報告もある。

【0005】

専門医療陣は、各種検査によって被検査者の病気を診断し、治療法を提示する。

【0006】

場合によっては、より正確な診断のために、放射線画像や組織スライドをスキャンした病理画像を判読する。

【0007】

ところが、１０万×１０万ピクセルサイズの画像から、１００×１００ピクセルサイズの異常な部位を、人の目で見つけることは非常に難しい作業に属する。

【0008】

いくら専門的な修練過程を経た熟練医であっても、肉眼では腫瘍組織と正常組織とを区分することが容易ではなく、画像によっては分析に数十分から数時間がかかることもある。

【0009】

なお、異常なケースを見逃す状況がしばしば発生する。

【0010】

大腸は、長くて屈曲が激しく、多くの皺のある形状であるため、熟練医が大腸の内壁の表面を完璧に観察することは非常に難しい。

【0011】

特に、大腸粘膜上に存在する、薄くて平らな形状の薄膜平面型ポリープは、普通の熟練度では発見が容易ではなく、大腸粘膜の微細な変化や、１ｍｍ前後の大きさを有するがん細胞は、肉眼で簡単に区別するのが難しい。

【0012】

また、人の肉眼で確認する作業のため、ヒューマンエラーが生じる可能性があり、同一の被検査者に対して互いに異なる診断をする場合も多くある。

【0013】

専門医が、限られた時間内に検討しなければならない、多くの情報を考慮すると、誤診の可能性を完全に排除することはできない。

【0014】

代表的に、がんの誤診被害の原因としては、追加の検査を疎かにしたか、判読エラーであったという応答比率が最も高いものと知られている。

【0015】

なお、ポリープの大きさが小さかったり薄かったりするほど、見逃し率が高くなる傾向にあり、大腸内視鏡の正常診断を受けてから数年以内に、大腸がんの診断を受けるケースもしばしば発生する。

【0016】

また、大腸内視鏡の画像判読モニタにて、支援する解像度、明暗比、輝度などの要素に応じて、画像がまともに見えない可能性も、完全に排除できない。

【0017】

大腸内視鏡の画像判読モニタは、少なくとも８ビットの条件の高解像度といった要素を必須で支援しなければならないが、現実的には高価な装備であるため、購買や利用が制限されるという限界があった。

【0018】

このような限界を克服し、より効率的に医療画像を判読しようとする目的から、近年、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）といった人工知能（ＡＩ）技術が、医療画像を用いた診断分野に導入されている。

【0019】

ディープラーニングのような機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）に基づく人工知能（ＡＩ）技術は、医療画像を用いて被検査者の疾病を正確に診断する上で、飛躍的な発展をもたらすにあたっての土台となっている。

【0020】

そこで、本発明者は、人工知能を用いて大腸内視鏡の画像中にて、大腸粘膜及び大腸血管が含まれている各区間の画像を認識し、大腸血管像の断絶の有無に対するディープラーニングモデルを生成することで、検査の熟練度が低い大腸内視鏡の検査者でも、大腸粘膜上に存在する薄くて平らな形状の薄膜平面型ポリープを、正確に探知できるようにする、人工知能基盤の血管学習による大腸ポリープ検出方法及び装置を発明するに至った。

【発明の概要】

【発明が解決しようとする課題】

【0021】

本開示が解決しようする課題は、結腸血管構造の形状を学習した人工知能を用いて、大腸粘膜の間に見える血管像が、表示する線を中心にして途切れる様相を検出し、病変疑いとして判別することができるようにする、人工知能基盤の血管学習による大腸ポリープ検出方法を提供することにある。

【0022】

本発明の他の目的は、前記課題を達成するための人工知能基盤の血管学習による大腸ポリープ検出装置を提供することにある。

【課題を解決するための手段】

【0023】

上述した課題を解決するための本発明の一側面に係る人工知能基盤の血管学習による大腸ポリープ検出方法は、装置により実行される方法において、（ａ）被検査者の大腸に投入された内視鏡から撮影された画像をリアルタイムで受信する段階と、（ｂ）前記画像中にて、大腸粘膜及び大腸血管が含まれている、それぞれの区間の画像を認識する段階と、（ｃ）前記それぞれの区間の画像ごとに、大腸血管像の断絶の有無を判断する段階と、（ｄ）前記それぞれの区間の画像中にて、大腸血管が途切れた血管像を示す第１視覚効果を表示する段階と、（ｅ）前記それぞれの区間の画像中にて、大腸血管が連続した血管像を示す第２視覚効果を表示する段階と、を含み、前記（ｂ）段階は、ディープラーニングモデルによって前記それぞれの区間の画像を認識し、前記ディープラーニングモデルは、外部のアノテータ(annotator)から取得した被検査者の複数の大腸画像中の血管データと、前記大腸の内部に照射された光による、血管像が途切れている程度及び血管のパターンと、に基づいて機械学習されたモデルであることを特徴とする。

【0024】

上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による大腸ポリープ検出方法における前記第１視覚効果は、前記それぞれの区間の画像中における大腸血管が途切れた当該血管像に、それぞれのマーカーが表示される視覚効果を含むことを特徴とする。

【0025】

上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による大腸ポリープ検出方法における前記それぞれのマーカーの大きさは、該当血管像が途切れている程度に基づいて決定されることを特徴とする。

【0026】

上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による大腸ポリープ検出方法は、制御部が、前記第１視覚効果によって大腸粘膜上における薄膜平面型ポリープの存否及び大きさを判断し、前記第２視覚効果によって大腸粘膜上の薄膜平面型ポリープが存在しない事実を判断することを特徴とする。

【0027】

上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による大腸ポリープ検出方法における前記（ｃ）段階にて、前記大腸血管像の断絶の有無は、該当血管像の途切れている程度が、既に設定されたパーセント閾値以上に変化するか否かにより判断され、前記血管像の途切れている程度が、前記既に設定されたパーセント閾値以上の場合、制御部が、大腸粘膜上の該当領域に薄膜平面型ポリープがあると判断することを特徴とする。

【0028】

上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による大腸ポリープ検出方法は、ハードウェアであるコンピュータと結合して行うために、コンピュータ読み取り可能な記録媒体に、コンピュータプログラムとして格納されることを特徴とする。

【0029】

前記他の課題を解決するための本発明の他の側面に係る、人工知能基盤の血管学習による大腸ポリープ検出装置は、ディスプレイ部と、被検査者の大腸に投入された大腸内視鏡から、撮影された画像をリアルタイムで受信する通信部と、前記受信した画像、及び、前記受信した画像にて大腸血管を認識するためのディープラーニングモデルを格納する格納部と、前記ディープラーニングモデルによって、前記受信した画像中における大腸粘膜及び大腸血管が含まれている、それぞれの区間の画像を認識し、前記それぞれの区間の画像中にて大腸血管が途切れた血管像を示す第１視覚効果を前記ディスプレイ部上に表示するとともに、前記それぞれの区間の画像中にて、大腸血管が連続した血管像を示す第２視覚効果を前記ディスプレイ部上に表示する制御部とを含み、前記ディープラーニングモデルは、外部のアノテータから取得した被検査者の複数の大腸画像中の血管データと、前記大腸の内部に照射された光による血管像が途切れている程度及び血管のパターンと、に基づいて機械学習されたモデルであることを特徴とする。

【0030】

前記他の課題を解決するための本発明の他の側面に係る、人工知能基盤の血管学習による大腸ポリープ検出装置の前記第１視覚効果は、前記各区間の画像中の大腸血管が切れた該当血管像に、それぞれのマーカーが表示される視覚効果を含み、前記それぞれのマーカーの大きさは、該当血管像が切れている程度に基づいて決定されることを特徴とする。

【0031】

前記他の課題を解決するための本発明の他の側面に係る、人工知能基盤の血管学習による大腸ポリープ検出装置の前記制御部は、前記第１視覚効果によって大腸粘膜上における薄膜平面型ポリープの存否及び大きさを判断するとともに、前記第２視覚効果によって大腸粘膜上の薄膜平面型ポリープが存在しない事実を判断することを特徴とする。

【0032】

前記他の課題を解決するための本発明の他の側面に係る、人工知能基盤の血管学習による大腸ポリープ検出装置の前記制御部は、前記大腸血管像の断絶の有無について、該当血管像の途切れている程度が、既に設定されたパーセント閾値以上に変化するか否かにより判断し、前記既に設定されたパーセント閾値以上の場合、大腸粘膜上の該当領域に、薄膜平面型ポリープが存在すると判断することを特徴とする。

【0033】

本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。

【発明の効果】

【0034】

本発明によると、大腸内視鏡の画像によって大腸疾患の判読時に、検査の熟練度が低い大腸内視鏡の検査者でも、大腸粘膜上に存在する、薄くて平らな形状の薄膜平面型ポリープが隠れている異常な大腸病変に対して、高い精度でポリープを探知及び切除することができる。

【0035】

本発明の効果は、以上で言及した効果に制限されず、言及していない更に他の効果は、下記の記載から通常の技術者が明確に理解できるだろう。

【図面の簡単な説明】

【0036】

【図1】本発明の一実施例による、人工知能基盤の血管学習を通じた大腸ポリープ検出装置を含むシステムのブロック図である。

【図2】本発明の一実施例による、人工知能基盤の血管学習を通じた大腸ポリープの検出のために用いられる、ディープラーニングモデルが学習されることを概略的に示すブロック図である。

【図3】本発明の一実施例により、撮影された内視鏡画像に、薄膜板状のポリープが隠れている大腸粘膜が、４つのケースごとにディスプレイされたことを示す例示図である。

【図4】図３に示した４つのケースごとの例示図に、表示線が追加でディスプレイされたことを示す例示図である。

【図5】本発明の一実施例により、血管が見える程度の差を説明する大腸壁の断面図である。

【図6】本発明の他の実施例による、人工知能基盤の血管学習を通じた大腸ポリープ検出方法の全般的な動作を説明する順序図である。

【発明を実施するための形態】

【0037】

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態に具現することができる。但し、本実施例は、本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は、請求項の範疇により定義されるに過ぎない。

【0038】

本明細書で用いられた用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は、特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って、同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のそれぞれ及び１つ以上の全ての組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素は、これらの用語により制限されないのはもちろんである。これらの用語は、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第１構成要素は、本発明の技術的思想内にて、第２構成要素でもあり得るのは言うまでもない。

【0039】

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いられる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

【0040】

空間的に相対的な用語である、「下（ｂｅｌｏｗ）」、「真下（ｂｅｎｅａｔｈ）」、「下部（ｌｏｗｅｒ）」、「上（ａｂｏｖｅ）」、「上部（ｕｐｐｅｒ）」などは、図示されているように、１つの構成要素と他の構成要素との相関関係を容易に記述するために使用され得る。空間的に相対的な用語は、図示されている方向に加えて、使用時又は動作時に、構成要素の互いに異なる方向を含む用語として理解されるべきである。例えば、図示されている構成要素をひっくり返す場合、他の構成要素の「下（ｂｅｌｏｗ）」又は「真下（ｂｅｎｅａｔｈ）」と記述されている構成要素は、他の構成要素の「上（ａｂｏｖｅ）」に置かれうる。従って、例示的な用語である「下」は、下と上の方向を何れも含むことができる。構成要素は他の方向にも配向されうるのであり、これにより、空間的に相対的な用語は、配向に応じて解釈されうる。

【0041】

本発明の明細書全体にわたって同一の参照符号は、同一の構成要素を示す。本明細書が実施例の全ての要素を説明するものではなく、本発明が属する技術分野における一般的な内容、又は実施例同士の間で重複する内容は、省略する。明細書にて用いられる「部、モジュール、部材、ブロック」という用語は、ソフトウェア又はハードウェアで具現されうるのであり、実施例に応じて、複数の「部、モジュール、部材、ブロック」が１つの構成要素として具現されるか、１つの「部、モジュール、部材、ブロック」が複数の構成要素を含むこともできる。

【0042】

また、ある部分が、ある構成要素を「含む」とするとき、これは特に反する記載がない限り、他の構成要素を除外するものではなく、他の構成要素を更に含むことができることを意味する。

【0043】

それぞれの段階において、識別符号は説明の便宜上、用いられるものであって、識別符号は、それぞれの段階の順序を説明するものではなく、それぞれの段階は文脈上、明確に特定の順序を記載しない限り、明記された順序と異なって実施されうる。

【0044】

本発明において、制御部２４０は、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）、マイクロコントローラ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ（ｍｉｃｒｏｃｏｍｐｕｔｅｒ）などであって、通信部２１０、ディスプレイ部２２０及び格納部２３０についての有機的な動作を全体的に制御し、各種の判断及び演算を行う構成要素を意味し、ハードウェア（ｈａｒｄｗａｒｅ）又はファームウェア（ｆｉｒｍｗａｒｅ）又はソフトウェア、又はこれらの結合により具現されうる。

【0045】

以下、添付の図面を参照して、本発明の実施例を詳細に説明する。

【0046】

図１は、本発明の一実施例に係る、人工知能基盤の血管学習による大腸ポリープ検出装置を含むシステムのブロック図であって、大腸内視鏡１００及び大腸ポリープ検出装置２００を含む。

【0047】

大腸内視鏡１００は、カメラ１１０、照明１２０を含み、大腸ポリープ検出装置２００は、通信部２１０、ディスプレイ部２２０、格納部２３０及び制御部２４０を含む。

【0048】

図２は、本発明の一実施例に係る、人工知能基盤の血管学習による大腸ポリープの検出のために用いられる、ディープラーニングモデルが学習されることを概略的に示すブロック図である。

【0049】

図３は、本発明の一実施例により、撮影された内視鏡画像に、薄膜板状のポリープが隠れている大腸粘膜が、４つのケースごとにディスプレイされたことを示す例示図である。

【0050】

図４は、図３に示した４つのケースごとの例示図に、表示線が追加でディスプレイされたことを示す例示図である。

【0051】

図５は、本発明の一実施例により、血管が見える程度の差を説明する大腸壁の断面図である。

【0052】

図６は、本発明の他の実施例に係る、人工知能基盤の血管学習による大腸ポリープ検出方法の全般的な動作を説明する順序図である。

【0053】

図１ないし図６を参照して、本発明の一実施例に係る、人工知能基盤の血管学習による大腸ポリープ検出方法の有機的な動作を詳細に説明すると、以下の通りである。

【0054】

ディープラーニングとは、人の神経細胞（ｂｉｏｌｏｇｉｃａｌ ｎｅｕｒｏｎ）を模写して機械が学習するようにする、人工神経網（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の機械学習法を意味する。

【0055】

ディープラーニング技術では、学習データを繰り返し学習して、疾患を診断するための診断モデルを形成するが、学習データとして用いられる疾患の種類が多様であるため、各疾患に特化した診断モデルを開発することが重要である。

【0056】

そこで、本開示では、大腸に対する画像を分析して、血管像が突然に途切れる形態を見せる箇所を、薄くて平らな形状の薄膜平面型ポリープが存在している可能性がある箇所として表示して、ポリープを認識するディープラーニングアルゴリズムを用いる。

【0057】

本発明のディープラーニングアルゴリズムにおいて、結腸血管構造（ｃｏｌｏｎ ｖａｓｃｕｌｔｕｒｅ）の形状を学習した人工知能（ＡＩ）が、大腸粘膜の下層に位置する血管の像が、一種のマーカーである表示線を中心にして途切れる様相を検出し、病変疑いとして判別する。

【0058】

即ち、大腸ポリープ検出装置２００は、大腸内視鏡を行う際、大腸内視鏡の画像にて、表示線を中心にして途切れた血管の像を認識し、それに対する画像を大腸内視鏡の検査者に提供する。

【0059】

これにより、大腸粘膜上に、薄くて平らな形状で存在する、薄膜平面型ポリープについて、容易に発見できるようにする。

【0060】

大腸ポリープ検出装置２００は、大腸内視鏡の画像にて認識した表示線を中心にして、血管の像における断絶の有無の別に視覚効果を異ならせて表示することによって、血管が見える程度が大きい場合に、大腸粘膜の下層に位置する血管の一部のみを確認して次に進むのではなく、血管全体について確認することができるように誘導する。

【0061】

これにより、大腸粘膜上に、薄くて平らな形状に存在するポリープの存否を明確に判断できるようにする。

【0062】

図１を参照すると、大腸内視鏡１００は大腸内に挿入され、大腸内の生体組織を観察する装置であって、カメラ１１０、照明１２０などを含む。

【0063】

また、大腸ポリープ検出装置２００は、通信部２１０、ディスプレイ部２２０、格納部２３０及び制御部２４０を含む。

【0064】

通信部２１０は、大腸ポリープ検出装置２００と無線通信システムとの間、大腸ポリープ検出装置２００と内視鏡１００との間、又は、大腸ポリープ検出装置２００と外部装置（図示せず）との間の無線通信を可能にする１つ以上のモジュールを含むことができる。

【0065】

通信部２１０は、被検査者の大腸に投入された大腸内視鏡１００から、撮影された内視鏡画像をリアルタイムで受信することができ、複数の被検査者の大腸に投入される内視鏡１００から撮影された画像を受信するか、一人の被検査者に対して複数回大腸に投入される内視鏡１００から撮影された画像を受信できる。

【0066】

通信部２１０は、ディープラーニングモデル２３１の学習のために、内視鏡１００によって撮影された被検査者の大腸についての画像に対して、アノテータ（ａｎｎｏｔａｔｏｒ）、一例として、医療陣から取得した、大腸粘膜の下部に位置する血管データを受信できる。

【0067】

ディスプレイ部２２０は、タッチセンサと互いにレイヤ構造を形成するか、一体型に形成されることによって、タッチスクリーンとして具現することができる。

【0068】

このようなタッチスクリーンは、大腸ポリープ検出装置２００とユーザとの間の入力インターフェースを提供すると同時に、大腸ポリープ検出装置２００とユーザとの間の出力インターフェースを提供する。

【0069】

ディスプレイ部２２０は、制御部２４０で生成した多様な情報を表示してユーザに提供すると同時に、ユーザから多様な情報の入力を受けることができる。

【0070】

より詳細には、ディスプレイ部２２０は、通信部２１０から受信した内視鏡画像のそれぞれの区間ごとに、大腸粘膜の下部に位置する大腸血管が途切れた血管像を示す第１視覚効果を表示できる。

【0071】

また、ディスプレイ部２２０は、それぞれの区間の画像中に、大腸血管が途切れずに連続した血管像を示す第２視覚効果を表示できる。

【0072】

格納部２３０は、大腸ポリープ検出装置２００の多様な機能を支援する情報を格納できる。

【0073】

格納部２３０は、大腸ポリープ検出装置２００にて駆動される多数のアプリケーションプログラム（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ又はアプリケーション（ａｐｐｌｉｃａｔｉｏｎ））、大腸ポリープ検出装置２００の動作のためのデータ、命令語を格納できる。

【0074】

これらのアプリケーションプログラムのうちの少なくとも一部は、無線通信を介して外部サーバ（図示せず）からダウンロードできる。また、これらのアプリケーションプログラムのうちの少なくとも一部は、大腸ポリープ検出装置２００の基本的な機能のために存在し得る。

【0075】

一方、アプリケーションプログラムは、格納部２３０に格納され、大腸ポリープ検出装置２００上にインストールされ、制御部２４０によって、大腸ポリープ検出装置２００の動作（又は機能）を行うように駆動されうる。

【0076】

格納部２３０は、被検査者の大腸に投入された大腸内視鏡１００から撮影された画像にて、大腸粘膜の下部に位置する血管を認識するためのディープラーニングモデル２３１を格納できる。

【0077】

ここで、ディープラーニングモデル２３１は、畳み込みニューラルネットワーク（ＣＮＮ、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、以下ＣＮＮという）を含むことができるが、必ずしもこれに限定されず、多様な構造の神経網で形成されうる。

【0078】

ＣＮＮは、画像の各領域に対して複数のフィルタを適用して特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を作り出す畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）と、特徴マップを空間的に統合することによって、位置や回転の変化に不変な特徴を抽出できるようにするプーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）とを、交互に複数回繰り返す構造で形成されうる。

【0079】

これにより、点、線、面などの低い水準の特徴から、複雑かつ意味のある高い水準の特徴まで、多様な水準の特徴を抽出できる。

【0080】

畳み込み層は、入力画像の各パッチに対して、フィルタと局所受容野（Ｌｏｃａｌ Ｒｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ）との内積に、非線形活性関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）を取ることで、特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を求めることができる。

【0081】

他のネットワーク構造と比較して、ＣＮＮは、希な連結性（Ｓｐａｒｓｅ Ｃｏｎｎｅｃｔｉｖｉｔｙ）と共有された重み（Ｓｈａｒｅｄ Ｗｅｉｇｈｔｓ）を有するフィルタを使用するという特徴を有することができる。

【0082】

このような連結構造は、学習する母数の個数を減らし、逆伝播アルゴリズムによる学習を効率的なものとし、結果として、予測性能を向上させることができる。

【0083】

このように、畳み込み層とプーリング層との繰り返しによって最終的に抽出された特徴は、多層パーセプトロン（ＭＬＰ：Ｍｕｌｔｉ-Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）やサポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）といった分類モデルが、全結合層（Ｆｕｌｌｙ-ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）の形状に結合されて、分類モデルの学習及び予測に使用され得る。

【0084】

格納部２３０は、通信部２１０によって受信した大腸内視鏡の画像を格納できる。

【0085】

また、格納部２３０は、複数の被検査者の大腸に投入される内視鏡１００から撮影された画像、又は、一人の被検査者に対して複数回大腸に投入される内視鏡１００から撮影された画像を格納できる。

【0086】

または、格納部２３０は、ディープラーニングモデル２３１の学習のために、内視鏡１００によって撮影された、被検査者の大腸についての画像に対して、アノテータの一例としての、医療陣から取得した血管データを格納できる。

【0087】

制御部２４０は、アプリケーションプログラムと関連する動作以外にも、通常、大腸ポリープ検出装置２００の全体的な動作を制御できる。

【0088】

制御部２４０は、前述した構成要素によって入力又は出力される、信号、データ、情報などを処理するか、格納部２３０に格納されたアプリケーションプログラムを駆動することによって、ユーザに適切な情報又は機能を提供又は処理することができる。

【0089】

制御部２４０は、格納部２３０に格納されたアプリケーションプログラムを駆動するために、図１に示した構成要素、即ち通信部２１０、ディスプレイ部２２０及び格納部２３０の動作を制御する。

【0090】

以下、制御部２４０の動作について詳細に説明すると、以下の通りである。

【0091】

制御部２４０は、被検査者の大腸に投入された内視鏡１００から撮影された画像中にて、ディープラーニングモデル２３１に基づいて、大腸内壁の各区間の画像を認識できる。

【0092】

即ち、制御部２４０は、各区間の画像にて、大腸粘膜の下部に位置する血管を認識し、血管が見える程度の差を識別できる。

【0093】

図１及び図２に示すように、制御部２４０は、ディープラーニングモデル２３１によって各区間の画像を認識し、ディープラーニングモデル２３１は、外部のアノテータから取得した、複数の被検査者の大腸画像中の血管データと、大腸の内部に照射された光による、血管像が途切れている程度及び血管のパターンと、に基づいて機械学習されたモデルであり得る。

【0094】

具体的に、制御部２４０は、複数の被検査者の大腸に投入された内視鏡１００から、少なくとも１回以上撮影された少なくとも１つの画像を取得し、複数の画像のそれぞれに対して、アノテータから血管データを取得できる。

【0095】

ここで、アノテータは、大腸の血管をよく識別できる専門家であり、複数の画像は、一人の被検査者に対して複数回行われた内視鏡に対する画像であるか、複数の被検査者に行われた内視鏡に対する画像であり得る。

【0096】

その後、制御部２４０は、大腸の内側の血管像が途切れている程度、及び血管データに基づいて、機械学習を行える。

【0097】

ここで、血管像が途切れている程度は、制御部２４０が、内視鏡１００の照明１２０から大腸の内壁に照射される光によって見える血管像が途切れている程度に対して、既に設定されたパーセント閾値以上に変化しているかを判断して生成できる。

【0098】

具体的に、制御部２４０は、血管像の途切れている程度が、既に設定されたパーセント閾値以上の場合、その部位にポリープがあると判断できる。

【0099】

また、制御部２４０は、大腸の内視鏡画像中にて、血管が形成している血管のパターンを認識し、認識された血管のパターンに基づいて、大腸の内視鏡画像中におけるポリープのある領域を認識できる。

【0100】

詳細には、制御部２４０は、認識された血管のパターンに基づいて、大腸の内視鏡画像中の少なくとも１つの血管のパターンが、内視鏡１００の照明１２０から大腸の内壁に照射される光によって発生する血管のパターンを認識し、大腸の内視鏡画像中におけるポリープが存在する領域を認識できる。

【0101】

制御部２４０は、内視鏡１００が投入された地点から、内視鏡１００に備えられる照明１２０によって大腸の内部に照射される光により識別される地点までを、１つの区間に設定することができる。

【0102】

即ち、制御部２４０は、大腸をｎ個の区間に分割して、それぞれの区間ごとに大腸の血管を認識できる。

【0103】

ここで、大人の大腸は、約１５０ｃｍないし１７０ｃｍであり、内視鏡１００に備えられる照明１２０から照射される光によって識別される地点までの距離は、略１０ｃｍないし１５ｃｍであり得る。

【0104】

従って、制御部２４０は、大腸を略１０個ないし１５個の区間に分割し、それぞれの区間別にポリープの存在を認識できる。

【0105】

具体的に、制御部２４０は、内視鏡１００が投入された地点と、内視鏡１００に備えられる照明１２０によって大腸の内部に照射される光により識別される地点とを、ディープラーニングモデル２３１に基づいて生成できる。

【0106】

制御部２４０は、それぞれの区間の画像中に、大腸血管が途切れた血管像を示す第１視覚効果を表示できる。

【0107】

反面、制御部２４０は、それぞれの区間の画像中に、大腸血管が途切れずに連続した血管像を示す第２視覚効果を表示できる。

【0108】

第１視覚効果は、それぞれの区間の画像中における当該大腸の内壁上に、それぞれのマーカーが表示される視覚効果を含むことができる。

【0109】

それぞれのマーカーの長さは、当該血管像が途切れている程度に基づいて決定されうる。

【0110】

その後、制御部２４０は、マーカーの存在及び長さに対する第１視覚効果を表示することで、専門医が、大腸粘膜上における、薄くて平らな形状の薄膜平面型ポリープの存否及び大きさを容易に確認できるようにする。

【0111】

大腸内視鏡１００は、複数の区間にて、第１及び第２視覚効果にしたがって大腸内血管像の断絶の有無を１つずつ確認しながら、大腸の内部へと移動できる。

【0112】

具体的に、内視鏡１００が、領域ごとに血管像が途切れている程度を認識した後、領域ごとに、領域が始まる開始地点に戻ってから、領域ごとに漏れなく確認することができる。

【0113】

例えば、図４の（ａ）を見ると、制御部２４０は、第１区間にて、横方向に延びる曲線（黒色）で示す、第１マーカー（Ｍ１）を中心にして血管像が途切れる画像でもって、第１視覚効果を表示できる。

【0114】

図４の（ｂ）を見ると、制御部２４０は、第２区間にて、対角線方向に延びる直線（黒色）で示す、第２マーカー（Ｍ２）を中心にして血管像が途切れる画像でもって、第１視覚効果を表示できる。

【0115】

図４の（ｃ）を見ると、制御部２４０は、第２区間における第２マーカー（Ｍ２）よりは長さが長い、対角線方向に延びる直線（黒色）で示す第３マーカー（Ｍ３）を中心にして、第３区間にて、血管像が途切れる画像でもって第１視覚効果を表示できる。

【0116】

図４の（ｄ）を見ると、制御部２４０は、第２区間にて、縦方向に延びる曲線（黒色）で示す第４マーカー（Ｍ４）を中心にして血管像が途切れる画像でもって、第１視覚効果を表示できる。

【0117】

また、制御部２４０は、各区間の画像中に、大腸血管が途切れずに連続した血管像を示す第２視覚効果を表示できる。

【0118】

これにより、制御部２４０は、専門医が内視鏡１００を通じて大腸疾患を判読する際に、薄くて平らな形状の薄膜平面型ポリープが隠れている異常な大腸病変に対する第１視覚効果、又は、正常な大腸の内壁に対する第２視覚効果によって、確実に提供することで、確認できずに看過するポリープなしに、全ての薄くて平らなポリープを確認できるようにすることから、大腸検査の精度を向上させることができる。

【0119】

図６は、本発明の一実施例に係る、人工知能基盤の血管学習による大腸ポリープ検出方法についての、全般的な動作を説明する順序図である。

【0120】

まず、制御部２４０は、通信部２１０を通じてリアルタイムで受信（Ｓ１００）した、被検査者の大腸に投入された内視鏡１００より撮影された画像の中から、大腸粘膜及び大腸血管が含まれている、それぞれの区間の画像を認識する（Ｓ２００）。

【0121】

ここで、制御部２４０は、内視鏡１００によって大腸の内部に照射される光に基づいて、大腸粘膜及び大腸血管が含まれている各区間の画像を認識する。

【0122】

また、制御部２４０は、ディープラーニングモデル２３１によって、それぞれの区間の画像を認識する。

【0123】

ここで、ディープラーニングモデル２３１は、外部のアノテータから取得した、複数の被検査者の大腸画像中の血管データと、大腸の内部に照射された光による、血管像が途切れている程度及び血管のパターンと、に基づいて機械学習されたモデルであり得る。

【0124】

制御部２４０は、それぞれの区間の画像ごとに大腸血管像の断絶の有無を判断する（Ｓ３００）。

【0125】

制御部２４０は、判断の結果、それぞれの区間の画像中に、大腸血管が途切れた血管像を表す第１視覚効果を、ディスプレイ部２２０に表示する（Ｓ４００）。

【0126】

第１視覚効果は、それぞれの区間の画像中における大腸血管が途切れた当該血管像に、それぞれのマーカーが表示される視覚効果を含み、それぞれのマーカーの大きさは、当該血管像が途切れている程度に基づいて決定されうる。

【0127】

制御部２４０は判断の結果、それぞれの区間の画像中に、大腸血管が途切れずに連続している血管像を表す第２視覚効果を、ディスプレイ部２２０に表示する（Ｓ５００）。

【0128】

制御部２４０は、ディスプレイ部２２０に表示された第１視覚効果を通じて、大腸粘膜上における薄くて平らな形状の薄膜平面型ポリープの存否及び大きさを、また、第２視覚効果によって、大腸粘膜上のポリープが存在しないという事実を、専門医が容易に分かるように提供する。

【0129】

図６は、段階（Ｓ１００）ないし段階（Ｓ５００）を順次実行するものと記載しているが、これは本実施例の技術思想を例示的に説明したものに過ぎず、本実施例が属する技術分野における通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範囲にて、図６に記載された順序を変更して実行するか、１つ以上の段階を並列に実行することによって、多様に修正及び変形して適用できるため、図６は、時系列的な順序に限定されるものではない。

【0130】

これにより、大腸疾患の判読時に、薄くて平らな形状の薄膜平面型ポリープが隠れている異常な大腸病変を見逃す確率を、大幅に下げることができる。

【0131】

また、検査の熟練度が低い大腸内視鏡の検査者でも、本発明の大腸ポリープ検出方法を活用すれば、高い精度で、薄くて平らな薄膜平面型ポリープを探知し切除することができる。

【0132】

このように、本発明は、結腸血管構造の形態を学習した人工知能を用いて、大腸粘膜の間に見える血管像が、表示した線を中心に途切れる様相を検出して、疑い病変として判別することができる、人工知能基盤の血管学習による大腸ポリープ検出方法及び装置を提供する。

【0133】

これにより、本発明は、大腸内視鏡の画像によって大腸疾患の判読時に、検査の熟練度が低い大腸内視鏡の検査者でも、大腸粘膜上に存在する、薄くて平らな形状の薄膜平面型ポリープが隠れている異常な大腸病変に対して、高い精度でポリープを探知及び切除することができる。

【0134】

以上で述べた本発明に係る方法は、ハードウェアであるサーバと結合して実行されるためにプログラム（又はアプリケーション）により具現されて媒体に格納されうる。

【0135】

前述したプログラムは、コンピュータがプログラムを読み込んでプログラムにより具現された方法を実行させるために、コンピュータの制御部（ＣＰＵ）が、コンピュータの装置インターフェースを介して読み取られうるＣ、Ｃ++、ＪＡＶＡ（登録商標）、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能をコンピュータの制御部が所定の手順通りに実行させるのに必要な、実行手順関連の制御コードを含むことができる。また、このようなコードは、前記機能をコンピュータの制御部が実行させるのに必要な、追加の情報やメディアが、コンピュータの内部又は外部格納部のどの位置（アドレス）で参照されるべきかに対する、格納部参照関連のコードを更に含むことができる。更に、コンピュータの制御部が前記機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは、コンピュータの通信モジュールを用いて、遠隔にある任意の他のコンピュータやサーバなどと、どのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを更に含むことができる。

【0136】

前記格納される媒体は、レジスタ、キャッシュ、格納部などといった短時間の間にデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあるが、これに制限されない。即ち、前記プログラムは、コンピュータが接続可能な多様なサーバ上の多様な記録媒体、又は、ユーザのコンピュータ上の多様な記録媒体に格納されうる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散し、分散方式で、コンピュータが読み取れるコードが格納されうる。

【0137】

本発明の実施例と関連して説明された方法又はアルゴリズムの段階は、ハードウェアで直接具現されるか、ハードウェアによって実行されるソフトウェアモジュールで具現されるか、又はそれらの結合によって具現されることができる。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、着脱型ディスク、ＣＤ-ＲＯＭ、又は、本発明が属する技術分野において周知となっている、任意の形態のコンピュータ読み取り可能な記録媒体に常に存在することもできる。

【0138】

以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態に実施され得るということが理解できるだろう。従って、以上で述べた実施例はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】