(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024081751
(43)【公開日】2024-06-18
(54)【発明の名称】人工知能基盤の大腸病変検出方法及び装置
(51)【国際特許分類】
A61B 1/045 20060101AFI20240611BHJP
A61B 1/00 20060101ALI20240611BHJP
【FI】
A61B1/045 614
A61B1/00 551
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2024056849
(22)【出願日】2024-03-29
(62)【分割の表示】P 2023506328の分割
【原出願日】2022-02-08
(31)【優先権主張番号】10-2022-0007724
(32)【優先日】2022-01-19
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】521498601
【氏名又は名称】コ,ジファン
【氏名又は名称原語表記】KO, Jihwan
【住所又は居所原語表記】1503-ho 107-dong, 345, Suyeong-ro, Nam-gu, Busan, Republic of Korea
(74)【代理人】
【識別番号】100121382
【弁理士】
【氏名又は名称】山下 託嗣
(72)【発明者】
【氏名】コ,ジファン
(57)【要約】 (修正有)
【課題】検査の熟練度が低い大腸内視鏡の検査者でも、大腸粘膜上に存在する薄くて平らな形状の薄膜平面型ポリープを、正確に探知できるようにする大腸病変検出方法及び装置を提供する。
【解決手段】本発明に開示された、人工知能基盤の大腸病変検出方法は、装置により実行され、内視鏡から撮影された画像をリアルタイムで受信する段階と、ディープラーニングモデルを通じて、画像中にて、大腸粘膜及び大腸血管が含まれている、それぞれの区間の画像を認識する段階と、認識されたそれぞれの区間の画像中にて、大腸血管が途切れた血管像を示す第1視覚効果を表示する段階とを含み、ディープラーニングモデルは、外部のアノテータから取得した複数の大腸画像中の血管データと、血管像が途切れている程度及び血管のパターンとに基づいて機械学習されたモデルである。
【選択図】
図6
【特許請求の範囲】
【請求項1】
装置により実行される方法において、
(a)被検査者の大腸に投入された内視鏡から撮影された画像を、リアルタイムで受信
する段階と、
(b)前記画像中にて大腸粘膜及び大腸血管が含まれている、それぞれの区間の画像を
認識する段階と、
(c)前記それぞれの区間の画像ごとに、大腸の血管像の断絶の有無を判断する段階と
、
(d)前記それぞれの区間の画像中にて、大腸血管が途切れた血管像を示す第1視覚効
果を表示する段階と、
(e)前記それぞれの区間の画像中にて、大腸血管が連続した血管像を示す第2視覚効
果を表示する段階と、
を含み、
前記(b)段階は、
ディープラーニングモデルによって前記それぞれの区間の画像を認識し、
前記ディープラーニングモデルは、外部のアノテータから取得した、被検査者の複数の
大腸画像中の血管データと、前記大腸の内部へと照射された光による、血管像が途切れて
いる程度及び血管のパターンと、に基づいて機械学習されたモデルである、人工知能基盤
の血管学習による大腸ポリープ検出方法。
【請求項2】
前記第1視覚効果は、
前記それぞれの区間の画像中の、大腸血管が途切れた当該血管像に、それぞれのマーカ
ーが表示される視覚効果を含むことを特徴とする、請求項1に記載の人工知能基盤の血管
学習による大腸ポリープ検出方法。
【請求項3】
前記それぞれのマーカーの大きさは、
該当血管像が途切れている程度に基づいて決定されることを特徴とする、請求項2に記
載の人工知能基盤の血管学習による大腸ポリープ検出方法。
【請求項4】
制御部が、前記第1視覚効果によって、大腸粘膜上に薄膜平面型ポリープの存否及び大
きさを判断し、
前記第2視覚効果によって、大腸粘膜上の薄膜平面型ポリープが存在しない事実を判断
することを特徴とする、請求項1に記載の人工知能基盤の血管学習による大腸ポリープ検
出方法。
【請求項5】
前記(c)段階で、
前記大腸血管像の断絶の有無は、該当血管像の途切れている程度が、既に設定されたパ
ーセント閾値以上に変化するか否かにより判断され、
前記血管像の途切れている程度が、前記既に設定されたパーセント閾値以上の場合、制
御部が、大腸粘膜上の当該領域に、薄膜平面型ポリープがあると判断することを特徴とす
る、請求項3に記載の人工知能基盤の血管学習による大腸ポリープ検出方法。
【請求項6】
ハードウェアであるコンピュータと結合し、前記請求項1~5の何れか1項に記載の、
人工知能基盤の血管学習による大腸ポリープ検出方法を行うためのコンピュータ読み取り
可能な記録媒体に格納された、コンピュータプログラム。
【請求項7】
ディスプレイ部と、
被検査者の大腸に投入された大腸内視鏡から、撮影された画像をリアルタイムで受信す
る通信部と、
前記受信した画像、及び、前記受信した画像にて大腸血管を認識するためのディープラ
ーニングモデルを格納する格納部と、
前記ディープラーニングモデルを通じて、前記受信した画像中にて大腸粘膜及び大腸血
管が含まれている、それぞれの区間の画像を認識し、前記それぞれの区間の画像中にて大
腸血管が途切れた血管像を示す第1視覚効果を前記ディスプレイ部上に表示し、前記それ
ぞれの区間の画像中にて大腸血管が連続した血管像を示す第2視覚効果を前記ディスプレ
イ部上に表示する制御部と、
を含み、
前記ディープラーニングモデルは、
外部のアノテータから取得した被検査者の複数の大腸画像中の血管データと、前記大腸
の内部に照射された光による血管像が途切れている程度及び血管のパターンとに基づいて
機械学習されたモデルである、人工知能基盤の血管学習による大腸ポリープ検出装置。
【請求項8】
前記第1視覚効果は、
前記それぞれの区間の画像中の大腸血管が途切れた当該血管像にそれぞれのマーカーが
表示される視覚効果を含み、
前記それぞれのマーカーの大きさは、
当該血管像が途切れている程度に基づいて決定されることを特徴とする、請求項7に記
載の人工知能基盤の血管学習による大腸ポリープ検出装置。
【請求項9】
前記制御部は、
前記第1視覚効果によって大腸粘膜上に薄膜平面型ポリープの存否及び大きさを判断し
、
前記第2視覚効果によって大腸粘膜上の薄膜平面型ポリープが存在しない事実を判断す
ることを特徴とする、請求項7に記載の人工知能基盤の血管学習による大腸ポリープ検出
装置。
【請求項10】
前記制御部は、
前記大腸血管像の断絶の有無を、当該血管像の途切れている程度が、既に設定されたパ
ーセント閾値以上に変化するか否かにより判断し、前記既に設定されたパーセント閾値以
上の場合、大腸粘膜上の当該領域に薄膜平面型ポリープが存在すると判断することを特徴
とする、請求項8に記載の人工知能基盤の血管学習による大腸ポリープ検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は大腸ポリープ検出方法及び装置に関し、より詳しくは、本発明は、人工知能基
盤の血管学習による大腸ポリープ検出方法及び装置に関する。
【背景技術】
【0002】
近年、西洋型の食生活と運動不足により、韓国における大腸がんの発症率は急激に増加
している。
【0003】
大腸がんの80~90%は、大腸にできた小さな塊であるポリープ(腺腫)から始まる
。
【0004】
ある統計によると、大腸内視鏡検査によって、このポリープを早期発見して除去すれば
、大腸がんによる死亡率を66%にも下げられるという報告もある。
【0005】
専門医療陣は、各種検査によって被検査者の病気を診断し、治療法を提示する。
【0006】
場合によっては、より正確な診断のために、放射線画像や組織スライドをスキャンした
病理画像を判読する。
【0007】
ところが、10万×10万ピクセルサイズの画像から、100×100ピクセルサイズ
の異常な部位を、人の目で見つけることは非常に難しい作業に属する。
【0008】
いくら専門的な修練過程を経た熟練医であっても、肉眼では腫瘍組織と正常組織とを区
分することが容易ではなく、画像によっては分析に数十分から数時間がかかることもある
。
【0009】
なお、異常なケースを見逃す状況がしばしば発生する。
【0010】
大腸は、長くて屈曲が激しく、多くの皺のある形状であるため、熟練医が大腸の内壁の
表面を完璧に観察することは非常に難しい。
【0011】
特に、大腸粘膜上に存在する、薄くて平らな形状の薄膜平面型ポリープは、普通の熟練
度では発見が容易ではなく、大腸粘膜の微細な変化や、1mm前後の大きさを有するがん
細胞は、肉眼で簡単に区別するのが難しい。
【0012】
また、人の肉眼で確認する作業のため、ヒューマンエラーが生じる可能性があり、同一
の被検査者に対して互いに異なる診断をする場合も多くある。
【0013】
専門医が、限られた時間内に検討しなければならない、多くの情報を考慮すると、誤診
の可能性を完全に排除することはできない。
【0014】
代表的に、がんの誤診被害の原因としては、追加の検査を疎かにしたか、判読エラーで
あったという応答比率が最も高いものと知られている。
【0015】
なお、ポリープの大きさが小さかったり薄かったりするほど、見逃し率が高くなる傾向
にあり、大腸内視鏡の正常診断を受けてから数年以内に、大腸がんの診断を受けるケース
もしばしば発生する。
【0016】
また、大腸内視鏡の画像判読モニタにて、支援する解像度、明暗比、輝度などの要素に
応じて、画像がまともに見えない可能性も、完全に排除できない。
【0017】
大腸内視鏡の画像判読モニタは、少なくとも8ビットの条件の高解像度といった要素を
必須で支援しなければならないが、現実的には高価な装備であるため、購買や利用が制限
されるという限界があった。
【0018】
このような限界を克服し、より効率的に医療画像を判読しようとする目的から、近年、
ディープラーニング(deep learning)といった人工知能(AI)技術が、
医療画像を用いた診断分野に導入されている。
【0019】
ディープラーニングのような機械学習(machine learning)に基づく
人工知能(AI)技術は、医療画像を用いて被検査者の疾病を正確に診断する上で、飛躍
的な発展をもたらすにあたっての土台となっている。
【0020】
そこで、本発明者は、人工知能を用いて大腸内視鏡の画像中にて、大腸粘膜及び大腸血
管が含まれている各区間の画像を認識し、大腸血管像の断絶の有無に対するディープラー
ニングモデルを生成することで、検査の熟練度が低い大腸内視鏡の検査者でも、大腸粘膜
上に存在する薄くて平らな形状の薄膜平面型ポリープを、正確に探知できるようにする、
人工知能基盤の血管学習による大腸ポリープ検出方法及び装置を発明するに至った。
【発明の概要】
【発明が解決しようとする課題】
【0021】
本開示が解決しようする課題は、結腸血管構造の形状を学習した人工知能を用いて、大
腸粘膜の間に見える血管像が、表示する線を中心にして途切れる様相を検出し、病変疑い
として判別することができるようにする、人工知能基盤の血管学習による大腸ポリープ検
出方法を提供することにある。
【0022】
本発明の他の目的は、前記課題を達成するための人工知能基盤の血管学習による大腸ポ
リープ検出装置を提供することにある。
【課題を解決するための手段】
【0023】
上述した課題を解決するための本発明の一側面に係る人工知能基盤の血管学習による大
腸ポリープ検出方法は、装置により実行される方法において、(a)被検査者の大腸に投
入された内視鏡から撮影された画像をリアルタイムで受信する段階と、(b)前記画像中
にて、大腸粘膜及び大腸血管が含まれている、それぞれの区間の画像を認識する段階と、
(c)前記それぞれの区間の画像ごとに、大腸血管像の断絶の有無を判断する段階と、(
d)前記それぞれの区間の画像中にて、大腸血管が途切れた血管像を示す第1視覚効果を
表示する段階と、(e)前記それぞれの区間の画像中にて、大腸血管が連続した血管像を
示す第2視覚効果を表示する段階と、を含み、前記(b)段階は、ディープラーニングモ
デルによって前記それぞれの区間の画像を認識し、前記ディープラーニングモデルは、外
部のアノテータ(annotator)から取得した被検査者の複数の大腸画像中の血管データと、
前記大腸の内部に照射された光による、血管像が途切れている程度及び血管のパターンと
、に基づいて機械学習されたモデルであることを特徴とする。
【0024】
上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による
大腸ポリープ検出方法における前記第1視覚効果は、前記それぞれの区間の画像中におけ
る大腸血管が途切れた当該血管像に、それぞれのマーカーが表示される視覚効果を含むこ
とを特徴とする。
【0025】
上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による
大腸ポリープ検出方法における前記それぞれのマーカーの大きさは、該当血管像が途切れ
ている程度に基づいて決定されることを特徴とする。
【0026】
上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による
大腸ポリープ検出方法は、制御部が、前記第1視覚効果によって大腸粘膜上における薄膜
平面型ポリープの存否及び大きさを判断し、前記第2視覚効果によって大腸粘膜上の薄膜
平面型ポリープが存在しない事実を判断することを特徴とする。
【0027】
上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による
大腸ポリープ検出方法における前記(c)段階にて、前記大腸血管像の断絶の有無は、該
当血管像の途切れている程度が、既に設定されたパーセント閾値以上に変化するか否かに
より判断され、前記血管像の途切れている程度が、前記既に設定されたパーセント閾値以
上の場合、制御部が、大腸粘膜上の該当領域に薄膜平面型ポリープがあると判断すること
を特徴とする。
【0028】
上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による
大腸ポリープ検出方法は、ハードウェアであるコンピュータと結合して行うために、コン
ピュータ読み取り可能な記録媒体に、コンピュータプログラムとして格納されることを特
徴とする。
【0029】
前記他の課題を解決するための本発明の他の側面に係る、人工知能基盤の血管学習によ
る大腸ポリープ検出装置は、ディスプレイ部と、被検査者の大腸に投入された大腸内視鏡
から、撮影された画像をリアルタイムで受信する通信部と、前記受信した画像、及び、前
記受信した画像にて大腸血管を認識するためのディープラーニングモデルを格納する格納
部と、前記ディープラーニングモデルによって、前記受信した画像中における大腸粘膜及
び大腸血管が含まれている、それぞれの区間の画像を認識し、前記それぞれの区間の画像
中にて大腸血管が途切れた血管像を示す第1視覚効果を前記ディスプレイ部上に表示する
とともに、前記それぞれの区間の画像中にて、大腸血管が連続した血管像を示す第2視覚
効果を前記ディスプレイ部上に表示する制御部とを含み、前記ディープラーニングモデル
は、外部のアノテータから取得した被検査者の複数の大腸画像中の血管データと、前記大
腸の内部に照射された光による血管像が途切れている程度及び血管のパターンと、に基づ
いて機械学習されたモデルであることを特徴とする。
【0030】
前記他の課題を解決するための本発明の他の側面に係る、人工知能基盤の血管学習によ
る大腸ポリープ検出装置の前記第1視覚効果は、前記各区間の画像中の大腸血管が切れた
該当血管像に、それぞれのマーカーが表示される視覚効果を含み、前記それぞれのマーカ
ーの大きさは、該当血管像が切れている程度に基づいて決定されることを特徴とする。
【0031】
前記他の課題を解決するための本発明の他の側面に係る、人工知能基盤の血管学習によ
る大腸ポリープ検出装置の前記制御部は、前記第1視覚効果によって大腸粘膜上における
薄膜平面型ポリープの存否及び大きさを判断するとともに、前記第2視覚効果によって大
腸粘膜上の薄膜平面型ポリープが存在しない事実を判断することを特徴とする。
【0032】
前記他の課題を解決するための本発明の他の側面に係る、人工知能基盤の血管学習によ
る大腸ポリープ検出装置の前記制御部は、前記大腸血管像の断絶の有無について、該当血
管像の途切れている程度が、既に設定されたパーセント閾値以上に変化するか否かにより
判断し、前記既に設定されたパーセント閾値以上の場合、大腸粘膜上の該当領域に、薄膜
平面型ポリープが存在すると判断することを特徴とする。
【0033】
本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。
【発明の効果】
【0034】
本発明によると、大腸内視鏡の画像によって大腸疾患の判読時に、検査の熟練度が低い
大腸内視鏡の検査者でも、大腸粘膜上に存在する、薄くて平らな形状の薄膜平面型ポリー
プが隠れている異常な大腸病変に対して、高い精度でポリープを探知及び切除することが
できる。
【0035】
本発明の効果は、以上で言及した効果に制限されず、言及していない更に他の効果は、
下記の記載から通常の技術者が明確に理解できるだろう。
【図面の簡単な説明】
【0036】
【
図1】本発明の一実施例による、人工知能基盤の血管学習を通じた大腸ポリープ検出装置を含むシステムのブロック図である。
【
図2】本発明の一実施例による、人工知能基盤の血管学習を通じた大腸ポリープの検出のために用いられる、ディープラーニングモデルが学習されることを概略的に示すブロック図である。
【
図3】本発明の一実施例により、撮影された内視鏡画像に、薄膜板状のポリープが隠れている大腸粘膜が、4つのケースごとにディスプレイされたことを示す例示図である。
【
図4】
図3に示した4つのケースごとの例示図に、表示線が追加でディスプレイされたことを示す例示図である。
【
図5】本発明の一実施例により、血管が見える程度の差を説明する大腸壁の断面図である。
【
図6】本発明の他の実施例による、人工知能基盤の血管学習を通じた大腸ポリープ検出方法の全般的な動作を説明する順序図である。
【発明を実施するための形態】
【0037】
本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述
されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例
に制限されるものではなく、互いに異なる多様な形態に具現することができる。但し、本
実施例は、本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術
者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は、請求項の
範疇により定義されるに過ぎない。
【0038】
本明細書で用いられた用語は、実施例を説明するためのものであり、本発明を制限しよ
うとするものではない。本明細書において、単数型は、特に言及しない限り複数型も含む
。明細書で用いられる「含む(comprises)」及び/又は「含んでいる(com
prising)」は、言及された構成要素以外に1つ以上の他の構成要素の存在又は追
加を排除しない。明細書全体に亘って、同一の図面符号は同一の構成要素を示し、「及び
/又は」は言及された構成要素のそれぞれ及び1つ以上の全ての組み合わせを含む。たと
え、「第1」、「第2」などが多様な構成要素を叙述するために用いられていても、これ
らの構成要素は、これらの用語により制限されないのはもちろんである。これらの用語は
、単に1つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及され
る第1構成要素は、本発明の技術的思想内にて、第2構成要素でもあり得るのは言うまで
もない。
【0039】
他の定義がなければ、本明細書で用いられる全ての用語(技術及び科学的用語を含む)
は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用い
られる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されてい
ない限り、理想的に又は過度に解釈されない。
【0040】
空間的に相対的な用語である、「下(below)」、「真下(beneath)」、
「下部(lower)」、「上(above)」、「上部(upper)」などは、図示
されているように、1つの構成要素と他の構成要素との相関関係を容易に記述するために
使用され得る。空間的に相対的な用語は、図示されている方向に加えて、使用時又は動作
時に、構成要素の互いに異なる方向を含む用語として理解されるべきである。例えば、図
示されている構成要素をひっくり返す場合、他の構成要素の「下(below)」又は「
真下(beneath)」と記述されている構成要素は、他の構成要素の「上(abov
e)」に置かれうる。従って、例示的な用語である「下」は、下と上の方向を何れも含む
ことができる。構成要素は他の方向にも配向されうるのであり、これにより、空間的に相
対的な用語は、配向に応じて解釈されうる。
【0041】
本発明の明細書全体にわたって同一の参照符号は、同一の構成要素を示す。本明細書が
実施例の全ての要素を説明するものではなく、本発明が属する技術分野における一般的な
内容、又は実施例同士の間で重複する内容は、省略する。明細書にて用いられる「部、モ
ジュール、部材、ブロック」という用語は、ソフトウェア又はハードウェアで具現されう
るのであり、実施例に応じて、複数の「部、モジュール、部材、ブロック」が1つの構成
要素として具現されるか、1つの「部、モジュール、部材、ブロック」が複数の構成要素
を含むこともできる。
【0042】
また、ある部分が、ある構成要素を「含む」とするとき、これは特に反する記載がない
限り、他の構成要素を除外するものではなく、他の構成要素を更に含むことができること
を意味する。
【0043】
それぞれの段階において、識別符号は説明の便宜上、用いられるものであって、識別符
号は、それぞれの段階の順序を説明するものではなく、それぞれの段階は文脈上、明確に
特定の順序を記載しない限り、明記された順序と異なって実施されうる。
【0044】
本発明において、制御部240は、プロセッサ(Processor)、コントローラ
(controller)、マイクロコントローラ(microprocessor)、
マイクロコンピュータ(microcomputer)などであって、通信部210、デ
ィスプレイ部220及び格納部230についての有機的な動作を全体的に制御し、各種の
判断及び演算を行う構成要素を意味し、ハードウェア(hardware)又はファーム
ウェア(firmware)又はソフトウェア、又はこれらの結合により具現されうる。
【0045】
以下、添付の図面を参照して、本発明の実施例を詳細に説明する。
【0046】
図1は、本発明の一実施例に係る、人工知能基盤の血管学習による大腸ポリープ検出装
置を含むシステムのブロック図であって、大腸内視鏡100及び大腸ポリープ検出装置2
00を含む。
【0047】
大腸内視鏡100は、カメラ110、照明120を含み、大腸ポリープ検出装置200
は、通信部210、ディスプレイ部220、格納部230及び制御部240を含む。
【0048】
図2は、本発明の一実施例に係る、人工知能基盤の血管学習による大腸ポリープの検出
のために用いられる、ディープラーニングモデルが学習されることを概略的に示すブロッ
ク図である。
【0049】
図3は、本発明の一実施例により、撮影された内視鏡画像に、薄膜板状のポリープが隠
れている大腸粘膜が、4つのケースごとにディスプレイされたことを示す例示図である。
【0050】
図4は、
図3に示した4つのケースごとの例示図に、表示線が追加でディスプレイされ
たことを示す例示図である。
【0051】
図5は、本発明の一実施例により、血管が見える程度の差を説明する大腸壁の断面図で
ある。
【0052】
図6は、本発明の他の実施例に係る、人工知能基盤の血管学習による大腸ポリープ検出
方法の全般的な動作を説明する順序図である。
【0053】
図1ないし
図6を参照して、本発明の一実施例に係る、人工知能基盤の血管学習による
大腸ポリープ検出方法の有機的な動作を詳細に説明すると、以下の通りである。
【0054】
ディープラーニングとは、人の神経細胞(biological neuron)を模
写して機械が学習するようにする、人工神経網(Artificial Neural N
etwork)基盤の機械学習法を意味する。
【0055】
ディープラーニング技術では、学習データを繰り返し学習して、疾患を診断するための
診断モデルを形成するが、学習データとして用いられる疾患の種類が多様であるため、各
疾患に特化した診断モデルを開発することが重要である。
【0056】
そこで、本開示では、大腸に対する画像を分析して、血管像が突然に途切れる形態を見
せる箇所を、薄くて平らな形状の薄膜平面型ポリープが存在している可能性がある箇所と
して表示して、ポリープを認識するディープラーニングアルゴリズムを用いる。
【0057】
本発明のディープラーニングアルゴリズムにおいて、結腸血管構造(colon va
sculture)の形状を学習した人工知能(AI)が、大腸粘膜の下層に位置する血
管の像が、一種のマーカーである表示線を中心にして途切れる様相を検出し、病変疑いと
して判別する。
【0058】
即ち、大腸ポリープ検出装置200は、大腸内視鏡を行う際、大腸内視鏡の画像にて、
表示線を中心にして途切れた血管の像を認識し、それに対する画像を大腸内視鏡の検査者
に提供する。
【0059】
これにより、大腸粘膜上に、薄くて平らな形状で存在する、薄膜平面型ポリープについ
て、容易に発見できるようにする。
【0060】
大腸ポリープ検出装置200は、大腸内視鏡の画像にて認識した表示線を中心にして、
血管の像における断絶の有無の別に視覚効果を異ならせて表示することによって、血管が
見える程度が大きい場合に、大腸粘膜の下層に位置する血管の一部のみを確認して次に進
むのではなく、血管全体について確認することができるように誘導する。
【0061】
これにより、大腸粘膜上に、薄くて平らな形状に存在するポリープの存否を明確に判断
できるようにする。
【0062】
図1を参照すると、大腸内視鏡100は大腸内に挿入され、大腸内の生体組織を観察す
る装置であって、カメラ110、照明120などを含む。
【0063】
また、大腸ポリープ検出装置200は、通信部210、ディスプレイ部220、格納部
230及び制御部240を含む。
【0064】
通信部210は、大腸ポリープ検出装置200と無線通信システムとの間、大腸ポリー
プ検出装置200と内視鏡100との間、又は、大腸ポリープ検出装置200と外部装置
(図示せず)との間の無線通信を可能にする1つ以上のモジュールを含むことができる。
【0065】
通信部210は、被検査者の大腸に投入された大腸内視鏡100から、撮影された内視
鏡画像をリアルタイムで受信することができ、複数の被検査者の大腸に投入される内視鏡
100から撮影された画像を受信するか、一人の被検査者に対して複数回大腸に投入され
る内視鏡100から撮影された画像を受信できる。
【0066】
通信部210は、ディープラーニングモデル231の学習のために、内視鏡100によ
って撮影された被検査者の大腸についての画像に対して、アノテータ(annotato
r)、一例として、医療陣から取得した、大腸粘膜の下部に位置する血管データを受信で
きる。
【0067】
ディスプレイ部220は、タッチセンサと互いにレイヤ構造を形成するか、一体型に形
成されることによって、タッチスクリーンとして具現することができる。
【0068】
このようなタッチスクリーンは、大腸ポリープ検出装置200とユーザとの間の入力イ
ンターフェースを提供すると同時に、大腸ポリープ検出装置200とユーザとの間の出力
インターフェースを提供する。
【0069】
ディスプレイ部220は、制御部240で生成した多様な情報を表示してユーザに提供
すると同時に、ユーザから多様な情報の入力を受けることができる。
【0070】
より詳細には、ディスプレイ部220は、通信部210から受信した内視鏡画像のそれ
ぞれの区間ごとに、大腸粘膜の下部に位置する大腸血管が途切れた血管像を示す第1視覚
効果を表示できる。
【0071】
また、ディスプレイ部220は、それぞれの区間の画像中に、大腸血管が途切れずに連
続した血管像を示す第2視覚効果を表示できる。
【0072】
格納部230は、大腸ポリープ検出装置200の多様な機能を支援する情報を格納でき
る。
【0073】
格納部230は、大腸ポリープ検出装置200にて駆動される多数のアプリケーション
プログラム(application program又はアプリケーション(appl
ication))、大腸ポリープ検出装置200の動作のためのデータ、命令語を格納
できる。
【0074】
これらのアプリケーションプログラムのうちの少なくとも一部は、無線通信を介して外
部サーバ(図示せず)からダウンロードできる。また、これらのアプリケーションプログ
ラムのうちの少なくとも一部は、大腸ポリープ検出装置200の基本的な機能のために存
在し得る。
【0075】
一方、アプリケーションプログラムは、格納部230に格納され、大腸ポリープ検出装
置200上にインストールされ、制御部240によって、大腸ポリープ検出装置200の
動作(又は機能)を行うように駆動されうる。
【0076】
格納部230は、被検査者の大腸に投入された大腸内視鏡100から撮影された画像に
て、大腸粘膜の下部に位置する血管を認識するためのディープラーニングモデル231を
格納できる。
【0077】
ここで、ディープラーニングモデル231は、畳み込みニューラルネットワーク(CN
N、convolutional neural network、以下CNNという)を
含むことができるが、必ずしもこれに限定されず、多様な構造の神経網で形成されうる。
【0078】
CNNは、画像の各領域に対して複数のフィルタを適用して特徴マップ(Featur
e Map)を作り出す畳み込み層(Convolution Layer)と、特徴マッ
プを空間的に統合することによって、位置や回転の変化に不変な特徴を抽出できるように
するプーリング層(Pooling Layer)とを、交互に複数回繰り返す構造で形
成されうる。
【0079】
これにより、点、線、面などの低い水準の特徴から、複雑かつ意味のある高い水準の特
徴まで、多様な水準の特徴を抽出できる。
【0080】
畳み込み層は、入力画像の各パッチに対して、フィルタと局所受容野(Local R
eceptive Field)との内積に、非線形活性関数(Activation F
unction)を取ることで、特徴マップ(Feature Map)を求めることが
できる。
【0081】
他のネットワーク構造と比較して、CNNは、希な連結性(Sparse Conne
ctivity)と共有された重み(Shared Weights)を有するフィルタ
を使用するという特徴を有することができる。
【0082】
このような連結構造は、学習する母数の個数を減らし、逆伝播アルゴリズムによる学習
を効率的なものとし、結果として、予測性能を向上させることができる。
【0083】
このように、畳み込み層とプーリング層との繰り返しによって最終的に抽出された特徴
は、多層パーセプトロン(MLP:Multi-Layer Perceptron)やサ
ポートベクターマシン(SVM:Support Vector Machine)といっ
た分類モデルが、全結合層(Fully-connected Layer)の形状に結合
されて、分類モデルの学習及び予測に使用され得る。
【0084】
格納部230は、通信部210によって受信した大腸内視鏡の画像を格納できる。
【0085】
また、格納部230は、複数の被検査者の大腸に投入される内視鏡100から撮影され
た画像、又は、一人の被検査者に対して複数回大腸に投入される内視鏡100から撮影さ
れた画像を格納できる。
【0086】
または、格納部230は、ディープラーニングモデル231の学習のために、内視鏡1
00によって撮影された、被検査者の大腸についての画像に対して、アノテータの一例と
しての、医療陣から取得した血管データを格納できる。
【0087】
制御部240は、アプリケーションプログラムと関連する動作以外にも、通常、大腸ポ
リープ検出装置200の全体的な動作を制御できる。
【0088】
制御部240は、前述した構成要素によって入力又は出力される、信号、データ、情報
などを処理するか、格納部230に格納されたアプリケーションプログラムを駆動するこ
とによって、ユーザに適切な情報又は機能を提供又は処理することができる。
【0089】
制御部240は、格納部230に格納されたアプリケーションプログラムを駆動するた
めに、
図1に示した構成要素、即ち通信部210、ディスプレイ部220及び格納部23
0の動作を制御する。
【0090】
以下、制御部240の動作について詳細に説明すると、以下の通りである。
【0091】
制御部240は、被検査者の大腸に投入された内視鏡100から撮影された画像中にて
、ディープラーニングモデル231に基づいて、大腸内壁の各区間の画像を認識できる。
【0092】
即ち、制御部240は、各区間の画像にて、大腸粘膜の下部に位置する血管を認識し、
血管が見える程度の差を識別できる。
【0093】
図1及び
図2に示すように、制御部240は、ディープラーニングモデル231によっ
て各区間の画像を認識し、ディープラーニングモデル231は、外部のアノテータから取
得した、複数の被検査者の大腸画像中の血管データと、大腸の内部に照射された光による
、血管像が途切れている程度及び血管のパターンと、に基づいて機械学習されたモデルで
あり得る。
【0094】
具体的に、制御部240は、複数の被検査者の大腸に投入された内視鏡100から、少
なくとも1回以上撮影された少なくとも1つの画像を取得し、複数の画像のそれぞれに対
して、アノテータから血管データを取得できる。
【0095】
ここで、アノテータは、大腸の血管をよく識別できる専門家であり、複数の画像は、一
人の被検査者に対して複数回行われた内視鏡に対する画像であるか、複数の被検査者に行
われた内視鏡に対する画像であり得る。
【0096】
その後、制御部240は、大腸の内側の血管像が途切れている程度、及び血管データに
基づいて、機械学習を行える。
【0097】
ここで、血管像が途切れている程度は、制御部240が、内視鏡100の照明120か
ら大腸の内壁に照射される光によって見える血管像が途切れている程度に対して、既に設
定されたパーセント閾値以上に変化しているかを判断して生成できる。
【0098】
具体的に、制御部240は、血管像の途切れている程度が、既に設定されたパーセント
閾値以上の場合、その部位にポリープがあると判断できる。
【0099】
また、制御部240は、大腸の内視鏡画像中にて、血管が形成している血管のパターン
を認識し、認識された血管のパターンに基づいて、大腸の内視鏡画像中におけるポリープ
のある領域を認識できる。
【0100】
詳細には、制御部240は、認識された血管のパターンに基づいて、大腸の内視鏡画像
中の少なくとも1つの血管のパターンが、内視鏡100の照明120から大腸の内壁に照
射される光によって発生する血管のパターンを認識し、大腸の内視鏡画像中におけるポリ
ープが存在する領域を認識できる。
【0101】
制御部240は、内視鏡100が投入された地点から、内視鏡100に備えられる照明
120によって大腸の内部に照射される光により識別される地点までを、1つの区間に設
定することができる。
【0102】
即ち、制御部240は、大腸をn個の区間に分割して、それぞれの区間ごとに大腸の血
管を認識できる。
【0103】
ここで、大人の大腸は、約150cmないし170cmであり、内視鏡100に備えら
れる照明120から照射される光によって識別される地点までの距離は、略10cmない
し15cmであり得る。
【0104】
従って、制御部240は、大腸を略10個ないし15個の区間に分割し、それぞれの区
間別にポリープの存在を認識できる。
【0105】
具体的に、制御部240は、内視鏡100が投入された地点と、内視鏡100に備えら
れる照明120によって大腸の内部に照射される光により識別される地点とを、ディープ
ラーニングモデル231に基づいて生成できる。
【0106】
制御部240は、それぞれの区間の画像中に、大腸血管が途切れた血管像を示す第1視
覚効果を表示できる。
【0107】
反面、制御部240は、それぞれの区間の画像中に、大腸血管が途切れずに連続した血
管像を示す第2視覚効果を表示できる。
【0108】
第1視覚効果は、それぞれの区間の画像中における当該大腸の内壁上に、それぞれのマ
ーカーが表示される視覚効果を含むことができる。
【0109】
それぞれのマーカーの長さは、当該血管像が途切れている程度に基づいて決定されうる
。
【0110】
その後、制御部240は、マーカーの存在及び長さに対する第1視覚効果を表示するこ
とで、専門医が、大腸粘膜上における、薄くて平らな形状の薄膜平面型ポリープの存否及
び大きさを容易に確認できるようにする。
【0111】
大腸内視鏡100は、複数の区間にて、第1及び第2視覚効果にしたがって大腸内血管
像の断絶の有無を1つずつ確認しながら、大腸の内部へと移動できる。
【0112】
具体的に、内視鏡100が、領域ごとに血管像が途切れている程度を認識した後、領域
ごとに、領域が始まる開始地点に戻ってから、領域ごとに漏れなく確認することができる
。
【0113】
例えば、
図4の(a)を見ると、制御部240は、第1区間にて、横方向に延びる曲線
(黒色)で示す、第1マーカー(M1)を中心にして血管像が途切れる画像でもって、第
1視覚効果を表示できる。
【0114】
図4の(b)を見ると、制御部240は、第2区間にて、対角線方向に延びる直線(黒
色)で示す、第2マーカー(M2)を中心にして血管像が途切れる画像でもって、第1視
覚効果を表示できる。
【0115】
図4の(c)を見ると、制御部240は、第2区間における第2マーカー(M2)より
は長さが長い、対角線方向に延びる直線(黒色)で示す第3マーカー(M3)を中心にし
て、第3区間にて、血管像が途切れる画像でもって第1視覚効果を表示できる。
【0116】
図4の(d)を見ると、制御部240は、第2区間にて、縦方向に延びる曲線(黒色)
で示す第4マーカー(M4)を中心にして血管像が途切れる画像でもって、第1視覚効果
を表示できる。
【0117】
また、制御部240は、各区間の画像中に、大腸血管が途切れずに連続した血管像を示
す第2視覚効果を表示できる。
【0118】
これにより、制御部240は、専門医が内視鏡100を通じて大腸疾患を判読する際に
、薄くて平らな形状の薄膜平面型ポリープが隠れている異常な大腸病変に対する第1視覚
効果、又は、正常な大腸の内壁に対する第2視覚効果によって、確実に提供することで、
確認できずに看過するポリープなしに、全ての薄くて平らなポリープを確認できるように
することから、大腸検査の精度を向上させることができる。
【0119】
図6は、本発明の一実施例に係る、人工知能基盤の血管学習による大腸ポリープ検出方
法についての、全般的な動作を説明する順序図である。
【0120】
まず、制御部240は、通信部210を通じてリアルタイムで受信(S100)した、
被検査者の大腸に投入された内視鏡100より撮影された画像の中から、大腸粘膜及び大
腸血管が含まれている、それぞれの区間の画像を認識する(S200)。
【0121】
ここで、制御部240は、内視鏡100によって大腸の内部に照射される光に基づいて
、大腸粘膜及び大腸血管が含まれている各区間の画像を認識する。
【0122】
また、制御部240は、ディープラーニングモデル231によって、それぞれの区間の
画像を認識する。
【0123】
ここで、ディープラーニングモデル231は、外部のアノテータから取得した、複数の
被検査者の大腸画像中の血管データと、大腸の内部に照射された光による、血管像が途切
れている程度及び血管のパターンと、に基づいて機械学習されたモデルであり得る。
【0124】
制御部240は、それぞれの区間の画像ごとに大腸血管像の断絶の有無を判断する(S
300)。
【0125】
制御部240は、判断の結果、それぞれの区間の画像中に、大腸血管が途切れた血管像
を表す第1視覚効果を、ディスプレイ部220に表示する(S400)。
【0126】
第1視覚効果は、それぞれの区間の画像中における大腸血管が途切れた当該血管像に、
それぞれのマーカーが表示される視覚効果を含み、それぞれのマーカーの大きさは、当該
血管像が途切れている程度に基づいて決定されうる。
【0127】
制御部240は判断の結果、それぞれの区間の画像中に、大腸血管が途切れずに連続し
ている血管像を表す第2視覚効果を、ディスプレイ部220に表示する(S500)。
【0128】
制御部240は、ディスプレイ部220に表示された第1視覚効果を通じて、大腸粘膜
上における薄くて平らな形状の薄膜平面型ポリープの存否及び大きさを、また、第2視覚
効果によって、大腸粘膜上のポリープが存在しないという事実を、専門医が容易に分かる
ように提供する。
【0129】
図6は、段階(S100)ないし段階(S500)を順次実行するものと記載している
が、これは本実施例の技術思想を例示的に説明したものに過ぎず、本実施例が属する技術
分野における通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範
囲にて、
図6に記載された順序を変更して実行するか、1つ以上の段階を並列に実行する
ことによって、多様に修正及び変形して適用できるため、
図6は、時系列的な順序に限定
されるものではない。
【0130】
これにより、大腸疾患の判読時に、薄くて平らな形状の薄膜平面型ポリープが隠れてい
る異常な大腸病変を見逃す確率を、大幅に下げることができる。
【0131】
また、検査の熟練度が低い大腸内視鏡の検査者でも、本発明の大腸ポリープ検出方法を
活用すれば、高い精度で、薄くて平らな薄膜平面型ポリープを探知し切除することができ
る。
【0132】
このように、本発明は、結腸血管構造の形態を学習した人工知能を用いて、大腸粘膜の
間に見える血管像が、表示した線を中心に途切れる様相を検出して、疑い病変として判別
することができる、人工知能基盤の血管学習による大腸ポリープ検出方法及び装置を提供
する。
【0133】
これにより、本発明は、大腸内視鏡の画像によって大腸疾患の判読時に、検査の熟練度
が低い大腸内視鏡の検査者でも、大腸粘膜上に存在する、薄くて平らな形状の薄膜平面型
ポリープが隠れている異常な大腸病変に対して、高い精度でポリープを探知及び切除する
ことができる。
【0134】
以上で述べた本発明に係る方法は、ハードウェアであるサーバと結合して実行されるた
めにプログラム(又はアプリケーション)により具現されて媒体に格納されうる。
【0135】
前述したプログラムは、コンピュータがプログラムを読み込んでプログラムにより具現
された方法を実行させるために、コンピュータの制御部(CPU)が、コンピュータの装
置インターフェースを介して読み取られうるC、C++、JAVA(登録商標)、機械語な
どのコンピュータ言語でコード化されたコード(Code)を含むことができる。このよ
うなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的
なコード(Functional Code)を含むことができ、前記機能をコンピュー
タの制御部が所定の手順通りに実行させるのに必要な、実行手順関連の制御コードを含む
ことができる。また、このようなコードは、前記機能をコンピュータの制御部が実行させ
るのに必要な、追加の情報やメディアが、コンピュータの内部又は外部格納部のどの位置
(アドレス)で参照されるべきかに対する、格納部参照関連のコードを更に含むことがで
きる。更に、コンピュータの制御部が前記機能を実行させるために、遠隔(Remote
)にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは、コンピュ
ータの通信モジュールを用いて、遠隔にある任意の他のコンピュータやサーバなどと、ど
のように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する
通信関連のコードを更に含むことができる。
【0136】
前記格納される媒体は、レジスタ、キャッシュ、格納部などといった短時間の間にデー
タを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り(read
ing)可能な媒体を意味する。具体的には、格納される媒体の例としては、ROM、R
AM、CD-ROM、磁気テープ、フロッピーディスク、光データ格納装置などがあるが
、これに制限されない。即ち、前記プログラムは、コンピュータが接続可能な多様なサー
バ上の多様な記録媒体、又は、ユーザのコンピュータ上の多様な記録媒体に格納されうる
。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散し、分散方
式で、コンピュータが読み取れるコードが格納されうる。
【0137】
本発明の実施例と関連して説明された方法又はアルゴリズムの段階は、ハードウェアで
直接具現されるか、ハードウェアによって実行されるソフトウェアモジュールで具現され
るか、又はそれらの結合によって具現されることができる。ソフトウェアモジュールは、
RAM(Random Access Memory)、ROM(Read Only Me
mory)、EPROM(Erasable Programmable ROM)、EE
PROM(Electrically Erasable Programmable R
OM)、フラッシュメモリ(Flash Memory)、ハードディスク、着脱型ディ
スク、CD-ROM、又は、本発明が属する技術分野において周知となっている、任意の
形態のコンピュータ読み取り可能な記録媒体に常に存在することもできる。
【0138】
以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野に
おける通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の
具体的な形態に実施され得るということが理解できるだろう。従って、以上で述べた実施
例はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。
【手続補正書】
【提出日】2024-03-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
装置により実行される方法において、
被検査者の大腸に投入された内視鏡から撮影された画像を、リアルタイムで受信する段階と、
ディープラーニングモデルを通じて、前記画像中にて大腸血管が含まれている、それぞれの区間の画像を認識する段階と、
前記認識されたそれぞれの区間の画像中にて、大腸血管が途切れた血管像を示す第1視覚効果を表示する段階と、
を含み、
前記ディープラーニングモデルは、外部のアノテータから取得した、被検査者の複数の大腸画像中の血管データと、前記大腸の内部へと照射された光による、血管像が途切れている程度及び血管のパターンと、に基づいて機械学習されたモデルである、人工知能基盤の大腸病変検出方法。
【請求項2】
前記第1視覚効果は、
前記それぞれの区間の画像中の、大腸血管が途切れた当該血管像に、それぞれのマーカーが表示される視覚効果を含むことを特徴とする、請求項1に記載の人工知能基盤の大腸病変検出方法。
【請求項3】
前記それぞれのマーカーの大きさは、
当該血管像が途切れている程度に基づいて決定されることを特徴とする、請求項2に記載の人工知能基盤の大腸病変検出方法。
【請求項4】
前記それぞれの区間の画像中にて認識された大腸粘膜の下部に位置している大腸血管が途切れた前記血管像を示す前記第1視覚効果によって、大腸粘膜上に薄膜平面型ポリープの存否及び大きさを判断し、
前記それぞれの区間の画像中にて認識された大腸血管が連続した血管像を示す第2視覚効果によって、前記大腸粘膜上の薄膜平面型ポリープが存在しない事実を判断することを特徴とする、請求項1に記載の人工知能基盤の大腸病変検出方法。
【請求項5】
前記大腸血管像の断絶の有無は、該当血管像の途切れている程度が、既に設定されたパーセント閾値以上に変化するか否かにより判断され、
前記血管像の途切れている程度が、前記既に設定されたパーセント閾値以上の場合、制御部が、大腸粘膜上の当該領域に、薄膜平面型ポリープがあると判断することを特徴とする、請求項3に記載の人工知能基盤の大腸病変検出方法。
【請求項6】
ハードウェアであるコンピュータと結合し、前記請求項1~5の何れか1項に記載の、人工知能基盤の大腸病変検出方法を行うためのコンピュータ読み取り可能な記録媒体に格納された、コンピュータプログラム。
【請求項7】
ディスプレイ部と、
被検査者の大腸に投入された大腸内視鏡から、撮影された画像をリアルタイムで受信する通信部と、
前記受信した画像、及び、前記受信した画像にて大腸血管を認識するためのディープラーニングモデルを格納する格納部と、
前記ディープラーニングモデルを通じて、前記受信した画像中にて大腸血管が含まれている、それぞれの区間の画像を認識し、前記認識されたそれぞれの区間の画像中にて大腸血管が途切れた血管像を示す第1視覚効果を前記ディスプレイ部上に表示する制御部と、
を含み、
前記ディープラーニングモデルは、
外部のアノテータから取得した、被検査者の複数の大腸画像中の血管データと、前記大腸の内部へ照射された光による、血管像が途切れている程度及び血管のパターンとに基づいて機械学習されたモデルである、人工知能基盤の大腸病変検出装置。
【請求項8】
前記第1視覚効果は、
前記それぞれの区間の画像中の、大腸血管が途切れた当該血管像に、それぞれのマーカーが表示される視覚効果を含み、
前記それぞれのマーカーの大きさは、
当該血管像が途切れている程度に基づいて決定されることを特徴とする、請求項7に記載の人工知能基盤の大腸病変検出装置。
【請求項9】
前記制御部は、
前記区間の画像中にて認識された大腸粘膜の下部に位置している大腸血管が途切れた前記血管像を示す前記第1視覚効果によって大腸粘膜上に薄膜平面型ポリープの存否及び大きさを判断し、
前記区間の画像中にて認識された大腸血管が連続した血管像を示す第2視覚効果によって、大腸粘膜上の薄膜平面型ポリープが存在しない事実を判断することを特徴とする、請求項7に記載の人工知能基盤の大腸病変検出装置。
【請求項10】
前記制御部は、
前記大腸血管像の断絶の有無を、当該血管像の途切れている程度が、既に設定されたパーセント閾値以上に変化するか否かにより判断し、前記既に設定されたパーセント閾値以上の場合、大腸粘膜上の当該領域に薄膜平面型ポリープが存在すると判断することを特徴とする、請求項8に記載の人工知能基盤の大腸病変検出装置。