特許 7374224 内視鏡を用いた大腸検査ガイド装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-26

(45)【発行日】2023-11-06

(54)【発明の名称】内視鏡を用いた大腸検査ガイド装置

(51)【国際特許分類】

   A61B 1/045 20060101AFI20231027BHJP

   A61B 1/31 20060101ALI20231027BHJP

【ＦＩ】

A61B1/045 614

A61B1/045 618

A61B1/045 622

A61B1/31

【請求項の数】 5

(21)【出願番号】P 2021568482

(86)(22)【出願日】2021-01-22

(65)【公表番号】

(43)【公表日】2023-04-03

(86)【国際出願番号】 KR2021000929

(87)【国際公開番号】W WO2022154152

(87)【国際公開日】2022-07-21

【審査請求日】2021-11-12

(31)【優先権主張番号】10-2021-0005413

(32)【優先日】2021-01-14

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】521498601

【氏名又は名称】コ，ジファン

【氏名又は名称原語表記】ＫＯ， Ｊｉｈｗａｎ

【住所又は居所原語表記】１５０３－ｈｏ １０７－ｄｏｎｇ， ３４５， Ｓｕｙｅｏｎｇ－ｒｏ， Ｎａｍ－ｇｕ， Ｂｕｓａｎ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】コ，ジファン

【審査官】増渕 俊仁

(56)【参考文献】

【文献】国際公開第２０１９／０８７９６９（ＷＯ，Ａ１）

【文献】特開２０１１－１３６１５０（ＪＰ，Ａ）

【文献】国際公開第２０１９／２４５００９（ＷＯ，Ａ１）

【文献】国際公開第２０２１／１６６１０３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

内視鏡を用いた大腸検査ガイドを提供する装置において、
被検者の大腸に投入された内視鏡から撮影された画像を、リアルタイムに受信する通信部と、
前記画像内にて前記大腸内の少なくとも１つのヒダが含まれている各区間の画像を認識し、
前記各区間の画像内に前記ヒダを表す第１視覚効果を表示し、
前記各区間の画像毎に前記ヒダの裏面部が撮影されているか否かを判断し、
前記判断の結果、前記各区間の画像のうち、前記ヒダの裏面部が撮影されていない少なくとも１つの区間の画像内に、該当ヒダの裏面部が撮影されていないことを表す第２視覚効果を表示するプロセッサと、
を含み、
前記認識は、
前記内視鏡によって前記大腸の内部に照射される光に基づいて行われるのであり、
前記認識は、ディープラーニングモデルにより前記各区間の画像を認識するのであり、
前記ディープラーニングモデルは、外部のアノテータから得られた複数の被検者についての大腸画像内のヒダデータと、前記大腸内の前記照射される光による陰影変化量及び血管に基づいて機械学習されたモデルであることを特徴とする内視鏡を用いた大腸検査ガイドを提供する装置。

【請求項2】

前記第１視覚効果は、前記各区間の画像内における該当ヒダ上に、それぞれのマーカが表示される視覚効果を含み、
前記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決定されることを特徴とする請求項１に記載の内視鏡を用いた大腸検査ガイドを提供する装置。

【請求項3】

前記該当ヒダの裏面部が撮影された場合、前記第２視覚効果を削除する段階を更に含むことを特徴とする請求項１に記載の内視鏡を用いた大腸検査ガイドを提供する装置。

【請求項4】

前記区間は、
前記内視鏡が投入された地点から、前記内視鏡に備えられる照明によって前記大腸の内部に照射される光によって識別される地点までに設定されることを特徴とする請求項１に記載の内視鏡を用いた大腸検査ガイドを提供する装置。

【請求項5】

ディスプレイ部をさらに含み、前記第１視覚効果及び前記第２視覚効果を含む前記画像が、前記ディスプレイ部に表示される、請求項１～４のいずれかに記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は大腸検査ガイドに関し、より詳細には、内視鏡を用いた大腸検査ガイド装置及び方法を提供するものに関する。

【背景技術】

【0002】

一般に、大腸内視鏡検査は、大腸がんの前駆病変であって、大腸の内壁に小さく盛り上がった組織の一部である、ポリープを発見して除去することによって、大腸がんを根源的に遮断するものである。具体的に、大腸内視鏡を通してポリープを発見して除去することによって、中間期癌（Ｉｎｔｅｒｖａｌ Ｃａｎｃｅｒ）の発生を予防できる。しかし、大腸内視鏡検査を行ってポリープを発見できないケースが、多くは30％近くになることが知られている。

【0003】

なぜならば、大腸内にはヒダが多いが、ヒダの裏面部に隠れている大腸ポリープを見つけることは、現実的に検査を行った医師の集中力に依存するしかなく、これを評価する方法は、検査にかかった時間が６分以上か否かといった間接的な方法しかないのが現状である。綿密に観察する医師であっても、宝探しの際に宝を探す方法が人によって異なるのと同様、本人の検査スタイルによって、見たところは繰り返して見る反面、見ていないところは見ない可能性が高い。

【0004】

従って、大腸内視鏡を行う際に、被検者の大腸内の複数のヒダを、それぞれ一つ一つ見逃すことなしに、内視鏡を通して確認できる方法が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は上記事情に鑑みてなされたものであって、その目的は、大腸内視鏡を行う際に、大腸内視鏡の画像にて大腸のヒダを認識し、大腸内視鏡を行っている専門家に提供することにある。

【0006】

具体的に、本発明の目的は、大腸内視鏡の画像から認識した、大腸のヒダの大きさ別に、視覚効果の大きさを異にして表示することにある。

【0007】

また、本発明の他の目的は、大腸のヒダの裏面部に対して内視鏡によって撮影されていない場合、該当ヒダに対して視覚効果を提供するとともに、専門家が該当ヒダに対して裏面を内視鏡を用いて撮影した場合、該当ヒダに対する視覚効果を除去することにある。

【0008】

本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない更に他の課題は、以下の記載から通常の技術者が明確に理解できるはずである。

【課題を解決するための手段】

【0009】

上述した課題を解決するための本発明に係る装置により行われる方法において、被検者の大腸に投入された内視鏡から撮影された画像をリアルタイムに受信する段階と、前記画像内にて前記大腸内の少なくとも１つのヒダが含まれている各区間の画像を認識する段階と、前記各区間の画像内に前記ヒダを表す第１視覚効果を表示する段階と、前記各区間の画像毎に前記ヒダの裏面部が撮影されているか否かを判断する段階と、前記判断の結果、前記各区間の画像のうち、前記ヒダの裏面部が撮影されていない少なくとも１つの区間の画像内に、該当ヒダの裏面部が撮影されていないことを表す第２視覚効果を表示する段階とを含むことができる。

【0010】

ここで、前記認識段階は、前記内視鏡によって前記大腸の内部に照射される光に基づいて行われうる。

【0011】

また、前記認識段階は、ディープラーニングモデルにより前記各区間の画像を認識し、前記ディープラーニングモデルは、外部のアノテータから得られた複数の被検者の大腸画像内のヒダデータと、前記大腸内における前記照射された光による陰影の変化量及び血管に基づいて機械学習されたモデルであり得る。

【0012】

ここで、前記第１視覚効果は、前記各区間の画像内における該当ヒダ上に、それぞれのマーカが表示される視覚効果を含み、前記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決定され得る。

【0013】

また、前記該当ヒダの裏面部が撮影された場合、前記第２視覚効果を削除する段階を更に含むことができる。

【0014】

この他にも、本発明を具現するための他の方法、他のシステム及び前記方法を実行するためのコンピュータプログラムを記録するコンピュータ読み取り可能な記録媒体が更に提供されうる。

【発明の効果】

【0015】

前記のような本発明によれば、大腸内視鏡を行う際に、大腸内視鏡の画像から大腸のヒダを認識し、大腸内視鏡を行っている専門家に提供することで、大腸のヒダの裏（後方）に位置し得るポリープを、容易に発見できるようにするという効果を奏する。

【0016】

具体的に、本発明によれば、大腸内視鏡の画像から認識した、大腸のヒダの大きさ別に、視覚効果の大きさを異にして表示することで、ヒダの大きさが大きい場合、ヒダの一部のみ確認した後にパスするのではなく、全体に対して確認できるように誘導するという効果がある。

【0017】

また、本発明によれば、大腸のヒダの裏面部に対して内視鏡によって撮影されていない場合、該当ヒダに対して視覚効果を提供するとともに、専門家が該当ヒダに対して裏面を内視鏡を用いて撮影した場合、該当ヒダに対する視覚効果を除去することによって、ヒダの裏面を確認した部分と、確認していない部分とを明確に判断できるようにするという効果がある。

【0018】

本発明の効果は、以上で言及した効果に限らず、言及されていない更に他の効果は、下記の記載から通常の技術者が明確に理解できるはずである。

【図面の簡単な説明】

【0019】

【図1】本発明に係る、内視鏡を用いた大腸検査ガイドを提供する装置を、概略的に示すブロック図である。

【図2】本発明に係る、大腸検査のガイドのために用いられるディープラーニングモデルが、学習されることを概略的に示すブロック図である。

【図3】本発明に係る装置のプロセッサが、内視鏡を用いた大腸検査のガイドを提供する過程を示す例示図である。

【図4a】本発明に係る、被検者の大腸に投入された内視鏡から撮影された画像に、ヒダを表す第１視覚効果が表示されたことを示す例示図（１）である。

【図4b】本発明に係る、被検者の大腸に投入された内視鏡から撮影された画像に、ヒダを表す第１視覚効果が表示されたことを示す例示図（２）である。

【図4c】本発明に係る、被検者の大腸に投入された内視鏡から撮影された画像に、ヒダを表す第１視覚効果が表示されたことを示す例示図（３）である。

【図4d】本発明に係る、被検者の大腸に投入された内視鏡から撮影された画像に、ヒダを表す第１視覚効果が表示されたことを示す例示図（４）である。

【図5a】本発明に係る、第１視覚効果が表示されたヒダの、裏面部の画像が撮影されていないヒダを表す、第２視覚効果が表示されたことを示す例示図（１）である。

【図5b】本発明に係る、第１視覚効果が表示されたヒダの、裏面部の画像が撮影されていないヒダを表す、第２視覚効果が表示されたことを示す例示図（２）である。

【図5c】本発明に係る、第１視覚効果が表示されたヒダの、裏面部の画像が撮影されていないヒダを表す、第２視覚効果が表示されたことを示す例示図（３）である。

【図5d】本発明に係る、第１視覚効果が表示されたヒダの、裏面部の画像が撮影されていないヒダを表す、第２視覚効果が表示されたことを示す例示図（４）である。

【図6】本発明に係る装置のプロセッサが、内視鏡を用いた大腸検査をガイドする過程を示すフローチャートである。

【発明を実施するための形態】

【0020】

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態に具現することができる。但し、本実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は請求項の範疇により定義されるに過ぎない。

【0021】

本明細書で用いられた用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のそれぞれ及び１つ以上の全ての組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素はこれらの用語により制限されないのはもちろんのことである。これらの用語は、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素でもあり得るのは言うまでもない。

【0022】

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いられる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

【0023】

以下、添付の図面を参照して本発明の実施例を詳細に説明する。

【0024】

図１は、本発明に係る内視鏡を用いた大腸検査ガイドを提供する装置１０を概略的に示すブロック図である。

【0025】

図２は、本発明に係る大腸検査ガイドのために用いられるディープラーニングモデルが学習されることを概略的に示すブロック図である。

【0026】

図３は、本発明に係る装置１０のプロセッサ１４０が、内視鏡を用いた大腸検査ガイドを提供する過程を示す例示図である。

【0027】

図４a～図４ｄは、本発明に係る、被検者の大腸に投入された内視鏡から撮影された画像に、ヒダを表す第１視覚効果が表示されたことを示す例示図である。

【0028】

図５ａ～図５ｄは、本発明に係る、第１視覚効果が表示されたヒダの、裏面部の画像が撮影されていないヒダを表す、第２視覚効果が表示されたことを示す例示図である。

【0029】

以下、図１～図５ｄを参照して本発明に係る内視鏡を用いた大腸検査ガイドを提供する装置１０について説明する。ここで、装置１０は、ローカルのコンピューティング装置だけでなく、サーバ装置にも具現できる。

【0030】

装置１０は、大腸内視鏡を行う際に大腸内視鏡の画像から大腸のヒダを認識し、大腸内視鏡を行っている専門家に提供することで、大腸のヒダの裏に位置し得るポリープを、容易に発見できるようにするという効果を有することができる。

【0031】

具体的に、装置１０は、大腸内視鏡の画像から認識した、大腸のヒダの大きさ別に、視覚効果の大きさを異にして表示することで、ヒダの大きさが大きい場合に、ヒダの一部のみ確認した後にパスするのではなく、全体に対して確認できるように誘導するという効果を有することができる。

【0032】

また、装置１０は、大腸のヒダの裏面部に対して、内視鏡２０によって撮影されていない場合、該当ヒダに対して視覚効果を提供するのであり、また、専門家が該当ヒダに対して裏面を、内視鏡２０を用いて撮影した場合に、該当ヒダに対する視覚効果を除去することによって、ヒダの裏面を確認した部分と、確認していない部分とを明確に判断できるようにするという効果を有することができる。ここで、内視鏡２０は、大腸内に挿入されて、大腸内の生体組織を観察する装置であって、カメラ２１０、照明２２０などを含んで構成されうる。

【0033】

まず、図１を参照すると、装置１０は通信部１１０、ディスプレイ部１２０、メモリ１３０及びプロセッサ１４０を含む。ここで、装置１０は、図１に示された構成要素よりもより少数の構成要素や、より多数の構成要素を含むこともできる。

【0034】

通信部１１０は、前記装置１０と無線通信システムとの間、前記装置１０と内視鏡２０との間、又は前記装置１０と外部装置（図示せず）との間の無線通信を可能にする１つ以上のモジュールを含むことができる。また、前記通信部１１０は、装置１０を１つ以上のネットワークに接続する１つ以上のモジュールを含むことができる。

【0035】

通信部１１０は、被検者の大腸に投入された内視鏡から撮影された画像をリアルタイムに受信できる。また、前記通信部１１０は、複数の被検者の大腸に投入される内視鏡から撮影された画像を受信するか、一人の被検者に対して複数回大腸に投入される内視鏡から撮影された画像を受信できる。

【0036】

または、通信部１１０は、ディープラーニングモデルの学習のために、内視鏡によって撮影された被検者の大腸に対する画像に対して、アノテータの一例として、医療陣から得たヒダデータを受信できる。

【0037】

ディスプレイ部１２０は、タッチセンサと互いにレイヤ構造をなすか、一体型に形成されることによって、タッチパネルを具現できる。このようなタッチスクリーンは、装置１０とユーザとの間の入力インタフェースを提供すると共に、装置１０とユーザとの間の出力インタフェースを提供できる。

【0038】

ディスプレイ部１２０は、プロセッサ１４０で生成した多様な情報を表示してユーザに提供すると共に、ユーザから多様な情報の入力を受けることができる。

【0039】

より詳細には、ディスプレイ部１２０は、画像の各区間別に前記ヒダを表す第１視覚効果を表示できる。また、ディスプレイ部１２０は、前記各区間の画像のうち、前記ヒダの裏面部が撮影されていない少なくとも１つの区間の画像内に、該当ヒダの裏面部が撮影されていないことを表す第２視覚効果を表示することができる。

【0040】

メモリ１３０は、前記装置１０の多様な機能を支援する情報を格納できる。メモリ１３０は、前記装置１０で駆動される多数のアプリケーションプログラム（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ 又はアプリケーション（ａｐｐｌｉｃａｔｉｏｎ））、前記装置１０の動作のためのデータ、命令語を格納できる。これらのアプリケーションプログラムのうちの少なくとも一部は、無線通信を介して外部サーバ（図示せず）からダウンロードできる。また、このようなアプリケーションプログラムのうちの少なくとも一部は、前記装置１０の基本的な機能のために存在し得る。一方、アプリケーションプログラムは、メモリ１３０に格納され、前記装置１０上にインストールされ、プロセッサ１４０により前記装置１０の動作（又は機能）を行うように駆動されうる。

【0041】

メモリ１３０は、被検者の大腸に投入された内視鏡により撮影された画像からヒダを認識するためのディープラーニングモデルを格納できる。ここで、ディープラーニングモデルは、畳み込みニューラルネットワーク（ＣＮＮ、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、以下ＣＮＮ という。）を含むことができるが、必ずしもこれに限らず、多様な構造の神経網で形成され得る。

【0042】

ＣＮＮは、画像の各領域に対して複数のフィルタを適用し、特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成する畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）と、特徴マップとを空間的に統合することにより、位置や回転の変化に不変な特徴を抽出できるようにするプーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を、交互に複数回繰り返す構造で形成されうる。これにより、点、線、面などの低いレベルの特徴から、複雑で意味のあるレベルの高い特徴まで、多様なレベルの特徴を抽出できる。

【0043】

畳み込み層は、入力画像の各パッチに対して、フィルタと局所受容野（Ｌｏｃａｌ Ｒｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ）との内積に、非線形活性関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）を取ることによって、特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を求めることができる。他のネットワークの構造と比較して、ＣＮＮは希少な連結性（Ｓｐａｒｓｅ Ｃｏｎｎｅｃｔｉｖｉｔｙ）と、共有された重み（Ｓｈａｒｅｄ Ｗｅｉｇｈｔｓ）を持つフィルタを用いるという特徴を有することができる。このような連結構造は、学習する母数の個数を減らし、誤差逆伝播アルゴリズムによる学習を効率的にすることで、結果として、予測性能を向上させることができる。

【0044】

プーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ又はＳｕｂ-ｓａｍｐｌｉｎｇ Ｌａｙｅｒ）は、以前の畳み込み層から得られた特徴マップの地域情報を活用して、新たな特徴マップを生成できる。一般に、プーリング層によって新たに生成された特徴マップは、本来の特徴マップよりも小さなサイズに減少するが、代表的な統合方法としては、特徴マップ内の該当領域の最大値を選択する最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）と、特徴マップ内の該当領域の平均値を求める平均プーリング（Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）などがあり得る。プーリング層の特徴マップは、一般に、前の層の特徴マップよりも、入力画像に存在する任意の構造やパターンの位置による影響を、少なく受けることができる。即ち、プーリング層は、入力画像あるいは以前の特徴マップにおけるノイズや歪みといった地域的変化に対して、より強い特徴を抽出できるようになり、これらの特徴は、分類性能において重要な役割を果たせる。また、他のプーリング層の役割は、深い構造上で、上位の学習層に行くほど、より広い領域の特徴を反映できるようにするものであって、特徴抽出層が蓄積されることにより、下位層では地域的な特徴を反映し、上位層に行くほど、より抽象的な全体画像の特徴を反映する特徴を生成できる。

【0045】

このように畳み込み層とプーリング層の繰り返しによって最終的に抽出された特徴は、多層パーセプトロン（ＭＬＰ：Ｍｕｌｔｉ-Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）やサポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）のような分類モデルが全結合層（Ｆｕｌｌｙ-ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）の形に結合され、分類モデルの学習や予測に用いられることができる。

【0046】

メモリ１３０は、通信部１１０により獲得した前記画像を格納できる。また、前記メモリ１３０は、複数の被検者の大腸に投入される内視鏡から撮影された画像、又は、一人の被検者に対して、複数回大腸に投入される内視鏡から撮影された画像を格納できる。

【0047】

または、メモリ１３０は、前記ディープラーニングモデルの学習のために、内視鏡によって撮影された被検者の大腸に対する画像に対して、アノテータの一例として、医療陣から得られたヒダデータを格納できる。

【0048】

プロセッサ１４０は、前記アプリケーションプログラムと関連する動作以外にも、通常、前記装置１０の全般的な動作を制御できる。プロセッサ１４０は、前述した構成要素により入力又は出力される信号、データ、情報などを処理するか、メモリ１３０に格納されたアプリケーションプログラムを駆動することによって、ユーザに適切な情報又は機能を提供又は処理できる。

【0049】

プロセッサ１４０は、メモリ１３０に格納されたアプリケーションプログラムを駆動するために、図１に示された構成要素のうちの少なくとも一部を制御できる。更に、プロセッサ１４０は、前記アプリケーションプログラムの駆動のために、前記装置１０に含まれている構成要素のうちの少なくとも２つ以上を互いに組み合わせて動作させることができる。

【0050】

以下、図２～図５によりプロセッサ１４０の動作について詳細に後述する。

【0051】

プロセッサ１４０は、被検者の大腸に投入された内視鏡から撮影された画像内でディープラーニングモデルに基づいて、前記大腸内の少なくとも１つのヒダが含まれている各区間の画像を認識できる。即ち、プロセッサ１４０は、前記各区間の画像から前記少なくとも１つのヒダを認識し、前記ヒダの大きさを識別できる。

【0052】

ここで、まず図２を参照すると、プロセッサ１４０は、前記ディープラーニングモデルにより前記各区間の画像を認識するのであり、前記ディープラーニングモデルは、外部のアノテータから得られた複数の被検者の大腸画像内のヒダデータと、前記大腸内の前記照射された光による陰影変化量及び血管パターンに基づいて、機械学習されたモデルであり得る。

【0053】

具体的に、プロセッサ１４０は、複数の被検者の大腸に投入された内視鏡から少なくとも１回以上撮影された少なくとも１つの画像を獲得し、前記複数の画像のそれぞれに対して、アノテータからヒダデータを獲得できる。ここで、アノテータは、大腸のヒダを的確に識別できる専門家でありうるのであり、複数の画像は、一人の被検者に対して複数回行われた内視鏡に対する画像であるか、複数の被検者に対して行われた内視鏡に対する画像であり得る。

【0054】

その後、プロセッサ１４０は、前記大腸の内側の陰影変化量、血管及び前記ヒダデータに基づいて前記第１モデルを機械学習できる。

【0055】

ここで、前記陰影変化量は、前記プロセッサ１４０が前記内視鏡２０の照明２２０から前記ヒダに照射される光によって発生する陰影に対して、既に設定された閾値以上に変化するかを判断して生成できる。具体的に、プロセッサ１４０は、前記陰影が、既に設定された閾値以上に暗く変化した場合、ヒダがあるものと判断できる。

【0056】

また、プロセッサ１４０は、大腸の内視鏡画像内にて血管が形成している血管パターンを認識し、前記認識された血管パターンに基づいて、大腸の内視鏡画像内でヒダのある領域を認識できる。

【0057】

詳細に、プロセッサ１４０は、前記認識された血管パターンに基づいて、大腸の内視鏡画像内の少なくとも１つの血管パターンが、前記内視鏡２０の照明２２０から前記ヒダに照射される光によって発生する陰影によって、前記血管パターンの連結が途切れているかのように大腸の内視鏡画像内で見える状況であるので、前記血管が途切れているかのように見える部分を、ヒダの境界ラインとして認識し、前記大腸の内視鏡画像内にてヒダ領域を認識できる。

【0058】

また、プロセッサ１４０は、大腸の内視鏡画像内で血管の形状を認識し、前記認識された血管の形状に基づいて大腸の内視鏡画像内でヒダのある領域を認識できる。

【0059】

詳細に、プロセッサ１４０は、前記認識された血管の形状に基づいて大腸の内視鏡画像内の少なくとも１つの血管の形状が鉤状に認識される場合、これは、前記血管が、ヒダの曲がった部分を通過して曲がっているかのように、大腸の内視鏡画像内にて見える状況であるので、前記血管が曲がった鉤状に見える部分をヒダとして認識することで、前記大腸の内視鏡画像内にてヒダ領域を認識できる。

【0060】

また、プロセッサ１４０は、大腸の内視鏡画像内にて少なくとも１つの血管の色を認識し、前記認識された血管の色に基づいて、大腸の内視鏡画像内でヒダのある領域を認識できる。

【0061】

詳細に、プロセッサ１４０は、前記認識された血管の色の明暗度の変化が、既に設定された変化量以上であると認識される場合、前記血管が、ヒダ及び前記ヒダの裏面部の間を通過する場合に明暗度が変化するので、前記血管における明暗度の変化が、既に設定された変化量以上である血管の一部分を、ヒダの境界ラインとして認識し、前記大腸の内視鏡画像内にてヒダ領域を認識できる。

【0062】

プロセッサ１４０は、前記内視鏡２０が投入された地点から、内視鏡２０に備えられる照明２２０によって、前記大腸の内部に照射される光によって識別される地点までを、１つの区間として設定できる。即ち、プロセッサ１４０は、前記大腸をｎ個の区間に分割して、それぞれの区間別にヒダを認識できる。ここで、大人の大腸は約１５０ｃｍ～１７０ｃｍであり、内視鏡２０に備えられる照明２２０から、照射される光によって識別される地点までの距離は、およそ１０ｃｍ～１５ｃｍであり得る。従って、プロセッサ１４０は、大腸を、およそ１０個～１５個の区間に分割し、それぞれの区間ごとにヒダを認識できる。

【0063】

具体的には、プロセッサ１４０は、前記内視鏡２０が投入された地点と、内視鏡２０に備えられる照明２２０によって、前記大腸の内部に照射される光によって識別される地点とを、前記ディープラーニングモデルに基づいて生成できる。

【0064】

一例として、図３を参照すると、プロセッサ１４０は、前記画像にて、前記内視鏡２０が最初に進入する第１地点Ｐ１と、前記第１地点から、前記内視鏡２０の照明２２０によって前記大腸の内部に照射される光によって識別される第２地点Ｐ２までを、第１区間として設定できる。

【0065】

また、プロセッサ１４０は、前記画像にて前記内視鏡２０が、第１区間の終点である第２地点Ｐ２に位置する場合、第２地点Ｐ２と前記第２地点Ｐ２において前記内視鏡２０の照明２２０により前記大腸の内部に照射される光によって識別される第３地点Ｐ３までを第２区間として設定できる。

【0066】

更に、プロセッサ１４０は、前記画像にて前記内視鏡２０が第ｎ-１区間の終点である第ｎ-１地点Ｐｎ-１に位置する場合、第ｎ-１地点Ｐｎ-１と、前記第ｎ-１地点から前記内視鏡２０の照明２２０により前記大腸の内部に照射される光によって識別され、大腸の内部に進入可能な最後の区間の開始地点である第ｎ地点Ｐｎまでを、第ｎ区間として設定できる。

【0067】

ここで、大腸に内視鏡２０が進入する最初の地点である第１地点Ｐ１と、大腸に内視鏡２０が進入できる最後の区間の開始地点である第ｎ地点Ｐｎとを除いた、第２地点Ｐ２～第ｎ-１地点Ｐｎ-１は、直前の区間と一部分重なりうる。これにより、プロセッサ１４０が、大腸内にて内視鏡２０によって確認すべき区間を漏れなくディスプレイ部１２０を介して表示することで、大腸全体に対して、見逃す区間がないように検査できるという効果を有することができる。

【0068】

また、第１区間～第ｎ区間の長さは、ほぼ同一であるか、若干の差があり、これは内視鏡２０の照明２２０によって照射された光の強さが同一であるので、大差ない。

【0069】

図３の区間導入フレームＡ（３０１）を参照すると、プロセッサ１４０は、前記画像にて前記内視鏡２０が進入する導入地点から、前記内視鏡２０の照明２２０から照射される光によって識別可能な最後の地点までを、１つの区間として設定できる。

【0070】

より詳細には、プロセッサ１４０は、前記第１区間にて前記内視鏡２０が最初に進入する第１地点Ｐ１と、前記第１地点から、前記内視鏡２０の照明２２０によって前記大腸の内部に照射される光によって識別される第２地点Ｐ２までを第１区間として設定できる。

【0071】

図３の区間中間フレーム３０２を参照すると、プロセッサ１４０は、前記各区間の画像内に、前記ヒダを表す第１視覚効果を表示できる。第１視覚効果は、前記各区間の画像内における該当ヒダ上に、それぞれのマーカが表示される視覚効果を含むことができる。前記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決定されることができる。

【0072】

ここで、プロセッサ１４０は、前記各区間の画像の導入部で、前述した方法によって少なくとも１つのヒダを認識し、前記少なくとも１つのヒダ別に血管パターンを認識し、前記内視鏡２０が、それぞれの区間の導入部を通過しながら撮影する画像を通じて、前記認識された血管パターンがある場合に、該当血管パターンの位置にヒダがあるものと判断できる。その後、プロセッサ１４０は、前記判断されたヒダに対して第１視覚効果を表示し、専門医がヒダを確認し易くすることができる。

【0073】

より詳細には、プロセッサ１４０は、前記第１区間に、前記ヒダを表す第１視覚効果を表示できる。ここで、前記内視鏡２０は、前記専門医の動作によって、第１区間において、前記第１視覚効果にしたがって、大腸内のヒダを１つずつ確認しながら大腸の内部へと移動されうる。

【0074】

一例として、図４ａを参照すると、プロセッサ１４０は、前記第１区間のヒダのそれぞれの大きさ毎に、矢印状のマーカにより、第１視覚効果を表示できる。従って、ヒダの大きさが大きい第１ヒダ４０１の矢印状の大きさが、ヒダの大きさが小さい第２ヒダ４０２の矢印状の大きさよりも小さいのでありうる。

【0075】

次に、図４ｂを参照すると、プロセッサ１４０は、前記第１区間のヒダのそれぞれの大きさ別に、メッセージ状のマーカにより第１視覚効果を表示できる。従って、ヒダの大きさが大きい第１ヒダ４０１についてのメッセージ状の大きさが、ヒダの大きさが小さい第２ヒダ４０２についてのメッセージ状の大きさよりも小さいのでありうる。

【0076】

次に、図４ｃを参照すると、プロセッサ１４０は、前記第１区間のヒダそれぞれの大きさ別にブリンキング（Ｂｌｉｋｉｎｇ；点滅・明滅）することで、第１視覚効果を表示できる。従って、ヒダの大きさが大きい第１ヒダ４０１のブリンキングの大きさが、ヒダの大きさが小さい第２ヒダ４０２のブリンキングの大きさよりも小さいのでありうる。

【0077】

その次に、図４ｄを参照すると、プロセッサ１４０は、前記第１区間のヒダのそれぞれの大きさ別に、円状のマーカにより第１視覚効果を表示できる。従って、ヒダの大きさが大きい第１ヒダ４０１についての円状の大きさが、ヒダの大きさが小さい第２ヒダ４０２についての円状の大きさよりも小さいのでありうる。

【0078】

ここで、専門医は、プロセッサ１４０がディスプレイ部１２０を介して表示する第１視覚効果に基づいて、各区間の画像にて少なくとも１つのヒダを容易に認識し、前記内視鏡２０により、前記ヒダのそれぞれの裏面部を確認し、前記裏面部を撮影できる。

【0079】

従って、プロセッサ１４０は、前記各区間の画像毎に、前記ヒダの裏面部が撮影されているか否かを判断できる。

【0080】

その後、図３の区間導入フレームＢ（３０３）を参照すると、プロセッサ１４０は、前記判断の結果、前記各区間の画像のうち、前記ヒダの裏面部が撮影されていない少なくとも１つの区間の画像内に、該当ヒダの裏面部が撮影されていないことを表す第２視覚効果を表示できる。前記第２視覚効果は、前記各区間の画像内における該当ヒダの裏面部上に、それぞれのマーカが表示される視覚効果を含むことができる。前記それぞれのマーカの大きさは、該当ヒダの裏面部の大きさに基づいて決定されうる。

【0081】

ここで、前記内視鏡２０は、第１区間において、前記第２視覚効果によって大腸内のヒダを１つずつ確認しながら大腸の内部に移動できる。具体的には、前記内視鏡２０が前記領域毎に、前記ヒダのそれぞれの裏面を認識した後、前記領域毎に、前記領域の始まる開始地点に戻ってから、前記領域毎に、前記裏面部が撮影されていない少なくとも１つのヒダに対して、第２視覚効果によって漏れなく確認することができる。

【0082】

まず、図５ａを参照すると、プロセッサ１４０は、前記第１区間の、ヒダの裏面部が撮影されていない該当ヒダのそれぞれの大きさ別に、矢印状のマーカにより第２視覚効果を表示できる。従って、ヒダの大きさが大きい第１ヒダ５０１についての矢印状の大きさが、ヒダの大きさが小さい第２ヒダ５０２についての矢印状の大きさよりも小さいのでありうる。

【0083】

次に、図５ｂを参照すると、プロセッサ１４０は、前記第１区間の、ヒダの裏面部が撮影されていない該当ヒダのそれぞれの大きさ別に、メッセージ状のマーカにより第２視覚効果を表示できる。従って、ヒダの大きさが大きい第１ヒダ５０１についてのメッセージ状の大きさが、ヒダの大きさが小さい第２ヒダ５０２についてのメッセージ状の大きさよりも小さいのでありうる。

【0084】

その次に、図５ｃを参照すると、プロセッサ１４０は、前記第１区間の、ヒダの裏面部が撮影されていない該当ヒダのそれぞれの大きさ別に、ブリンキング（Ｂｌｉｎｋｉｎｇ）することで、第２視覚効果を表示できる。従って、ヒダの大きさが大きい第１ヒダ５０１についてのブリンキングの大きさが、ヒダの大きさが小さい第２ヒダ５０２についてのブリンキングの大きさよりも小さいのでありうる。

【0085】

その次に、図５ｄを参照すると、プロセッサ１４０は、前記第１区間の、ヒダの裏面部が撮影されていない該当ヒダのそれぞれの大きさ別に、円状のマーカにより第２視覚効果を表示できる。従って、ヒダの大きさが大きい第１ヒダ５０１についての円状の大きさが、ヒダの大きさが小さい第２ヒダ５０２についての円状の大きさよりも小さいのでありうる。

【0086】

プロセッサ１４０は、前記第２視覚効果に基づいて、内視鏡２０によって前記該当ヒダの裏面部が撮影された場合、前記第２視覚効果を削除できる。これにより、プロセッサ１４０は、専門医が内視鏡２０によって確認したヒダと、確認していないヒダに対して、第１視覚効果又は第２視覚効果を通じて確実に提供することで、確認せずにパスするヒダがなく、全てのヒダを確認できるようにして、大腸検査の正確度を向上させることができる。

【0087】

図６は、本発明に係る装置１０のプロセッサ１４０が内視鏡を用いた大腸検査をガイドする過程を示すフローチャートである。ここで、プロセッサ１４０の動作は、装置２０で遂行可能である。

【0088】

まず、プロセッサ１４０は、通信部１１０を介してリアルタイムに受信した、被検者の大腸に投入された内視鏡から撮影された画像内にて、前記大腸内の少なくとも１つのヒダが含まれている各区間の画像を認識できる（Ｓ６０１）。

【0089】

ここで、プロセッサ１４０は、前記内視鏡によって、前記大腸の内部に照射される光に基づいて前記ヒダを認識できる。また、プロセッサ１４０は、ディープラーニングモデルにより前記各区間の画像を認識できる。ここで、前記ディープラーニングモデルは、外部のアノテータから得られた複数の被検者の大腸画像内のヒダデータと、前記大腸内の、前記照射された光による陰影変化量及び血管パターンに基づいて機械学習されたモデルであり得る。

【0090】

プロセッサ１４０は、前記各区間の画像内に前記ヒダを表す第１視覚効果を表示できる（Ｓ６０２）。

【0091】

前記第１視覚効果は、前記各区間の画像内の該当ヒダ上に、それぞれのマーカが表示される視覚効果を含み、前記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決定されうる。

【0092】

プロセッサ１４０は、前記各区間の画像毎に、前記ヒダの裏面部が撮影されているか否かを判断できる（Ｓ６０３）。

【0093】

プロセッサ１４０は、前記判断の結果、前記各区間の画像のうち、前記ヒダの裏面部が撮影されていない少なくとも１つの区間の画像内に、該当ヒダの裏面部が撮影されていないことを表す第２視覚効果を表示できる（Ｓ６０４）。

【0094】

プロセッサ１４０は、前記該当ヒダの裏面部が撮影された場合、前記第２視覚効果を削除できる（Ｓ６０５）。

【0095】

プロセッサ１４０は、該当ヒダの裏面部が撮影された場合、該当ヒダに表示される前記第２視覚効果を削除して、該当ヒダの裏面部に対する撮影が完了したことを、専門医が容易に分かるように提供できる。

【0096】

図６は、段階Ｓ６０１～段階Ｓ６０５を順次実行するものと記載しているが、これは本実施例の技術的思想を例示的に説明したものに過ぎないものであって、本実施例が属する技術分野において通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範囲で図６に記載された手順を変更して実行するか、段階Ｓ６０１～段階Ｓ６０５のうちの何れか１つの段階を並列的に実行するものに多様に修正及び変形して適用可能であるので、図６は時系列的な順序に限定されるものではない。

【0097】

以上で前述した本発明に係る方法は、ハードウェアであるサーバと結合されて実行されるためにプログラム（又はアプリケーション）に具現して媒体に格納されることができる。

【0098】

前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムに具現した前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インタフェースを介して読み取られるＣ、Ｃ++、ＪＡＶＡ（登録商標）、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータのプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータの内部又は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコードを更に含むことができる。更に、前記コンピュータのプロセッサが前記機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコンピュータやサーバなどとどのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを更に含むことができる。

【0099】

前記格納される媒体は、レジスタ、キャッシュ、メモリなどといった短時間でデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあるが、これに限らない。即ち、前記プログラムは、前記コンピュータが接続可能な多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されうる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散し、分散方式でコンピュータが読み取れるコードが格納されうる。

【0100】

本発明の実施例と関連して説明された方法又はアルゴリズムの段階は、ハードウェアで直接具現するか、ハードウェアにより実行されるソフトウェアモジュールで具現するか、又はこれらの結合により具現することができる。ソフトウェアモジュールはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、脱着型ディスク、ＣＤ-ＲＯＭ、又は本発明が属する技術分野において周知されている任意の形態のコンピュータ読み取り可能な記録媒体に常に存在し得る。

【0101】

以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態に実施され得るということが理解できるだろう。従って、以上で述べた実施例はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図4d】

【図5a】

【図5b】

【図5c】

【図5d】

【図6】