ホーム > 特許ランキング > ＫＯ， Ｊｉｈｗａｎ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024160013
(43)【公開日】2024-11-08
(54)【発明の名称】内視鏡を用いた大腸検査ガイド装置及び方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20241031BHJP
【ＦＩ】
A61B1/045 618
A61B1/045 622
A61B1/045 614
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024151419
(22)【出願日】2024-09-03
(62)【分割の表示】P 2023182618の分割
【原出願日】2021-01-22
(31)【優先権主張番号】10-2021-0005413
(32)【優先日】2021-01-14
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】521498601
【氏名又は名称】コ，ジファン
【氏名又は名称原語表記】ＫＯ， Ｊｉｈｗａｎ
【住所又は居所原語表記】１５０３－ｈｏ １０７－ｄｏｎｇ， ３４５， Ｓｕｙｅｏｎｇ－ｒｏ， Ｎａｍ－ｇｕ， Ｂｕｓａｎ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100121382
【弁理士】
【氏名又は名称】山下 託嗣
(72)【発明者】
【氏名】コ，ジファン
(57)【要約】
【課題】被検者の大腸内の複数のヒダを、それぞれ一つ一つ見逃すことなしに、内視鏡を通して確認できるようにする。
【解決手段】装置によって行われるディープラーニングモデル基盤の視覚効果を用いた大腸内のヒダ認識方法において、前記装置のプロセッサを通じて、大腸が撮影された画像内の血管パターンを認識する段階と、前記認識された血管パターンに基づいて前記画像内でヒダのある領域を認識する段階と、前記装置のプロセッサを通じて、前記認識されたヒダの裏面部が撮影されていないものと判断された場合、前記画像内で前記撮影されていないヒダの裏面部上に視覚効果を表示する段階と、を含む。
【選択図】図５ａ
【解決手段】装置によって行われるディープラーニングモデル基盤の視覚効果を用いた大腸内のヒダ認識方法において、前記装置のプロセッサを通じて、大腸が撮影された画像内の血管パターンを認識する段階と、前記認識された血管パターンに基づいて前記画像内でヒダのある領域を認識する段階と、前記装置のプロセッサを通じて、前記認識されたヒダの裏面部が撮影されていないものと判断された場合、前記画像内で前記撮影されていないヒダの裏面部上に視覚効果を表示する段階と、を含む。
【選択図】図５ａ
【特許請求の範囲】
【請求項1】
装置により行われる方法において、
被検者の大腸に投入された内視鏡から撮影された画像をリアルタイムに受信する段階と
、
前記画像内で前記大腸内の少なくとも１つのヒダが含まれている各区間の画像を認識す
る段階と、
前記各区間の画像内に前記ヒダを表す第１視覚効果を表示する段階と、
前記各区間の画像毎に前記ヒダの裏面部が撮影されているか否かを判断する段階と、
前記判断の結果、前記各区間の画像のうち、前記ヒダの裏面部が撮影されていない少な
くとも１つの区間の画像内に、該当ヒダの裏面部が撮影されていないことを表す第２視覚
効果を表示する段階と、
を含む、内視鏡を用いた大腸検査ガイド方法。
被検者の大腸に投入された内視鏡から撮影された画像をリアルタイムに受信する段階と
、
前記画像内で前記大腸内の少なくとも１つのヒダが含まれている各区間の画像を認識す
る段階と、
前記各区間の画像内に前記ヒダを表す第１視覚効果を表示する段階と、
前記各区間の画像毎に前記ヒダの裏面部が撮影されているか否かを判断する段階と、
前記判断の結果、前記各区間の画像のうち、前記ヒダの裏面部が撮影されていない少な
くとも１つの区間の画像内に、該当ヒダの裏面部が撮影されていないことを表す第２視覚
効果を表示する段階と、
を含む、内視鏡を用いた大腸検査ガイド方法。
【請求項2】
前記認識段階は、
前記内視鏡によって前記大腸の内部に照射される光に基づいて行われることを特徴とす
る請求項１に記載の内視鏡を用いた大腸検査ガイド方法。
前記内視鏡によって前記大腸の内部に照射される光に基づいて行われることを特徴とす
る請求項１に記載の内視鏡を用いた大腸検査ガイド方法。
【請求項3】
前記認識段階は、ディープラーニングモデルにより前記各区間の画像を認識し、
前記ディープラーニングモデルは、外部のアノテータから得られた複数の被検者につい
ての大腸画像内のヒダデータと、前記大腸内の前記照射された光による陰影変化量及び血
管に基づいて機械学習されたモデルであることを特徴とする請求項１に記載の内視鏡を用
いた大腸検査ガイド方法。
前記ディープラーニングモデルは、外部のアノテータから得られた複数の被検者につい
ての大腸画像内のヒダデータと、前記大腸内の前記照射された光による陰影変化量及び血
管に基づいて機械学習されたモデルであることを特徴とする請求項１に記載の内視鏡を用
いた大腸検査ガイド方法。
【請求項4】
前記第１視覚効果は、前記各区間の画像内における該当ヒダ上に、それぞれのマーカが
表示される視覚効果を含み、
前記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決定されることを特徴
とする請求項１に記載の内視鏡を用いた大腸検査ガイド方法。
表示される視覚効果を含み、
前記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決定されることを特徴
とする請求項１に記載の内視鏡を用いた大腸検査ガイド方法。
【請求項5】
前記該当ヒダの裏面部が撮影された場合、前記第２視覚効果を削除する段階を更に含む
ことを特徴とする請求項１に記載の内視鏡を用いた大腸検査ガイド方法。
ことを特徴とする請求項１に記載の内視鏡を用いた大腸検査ガイド方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は大腸検査ガイドに関し、より詳細には、内視鏡を用いた大腸検査ガイド装置及
び方法を提供するものに関する。
び方法を提供するものに関する。
【背景技術】
【0002】
一般に、大腸内視鏡検査は、大腸がんの前駆病変であって、大腸の内壁に小さく盛り上
がった組織の一部である、ポリープを発見して除去することによって、大腸がんを根源的
に遮断するものである。具体的に、大腸内視鏡を通してポリープを発見して除去すること
によって、中間期癌（Ｉｎｔｅｒｖａｌ Ｃａｎｃｅｒ）の発生を予防できる。しかし、
大腸内視鏡検査を行ってポリープを発見できないケースが、多くは30％近くになることが
知られている。
がった組織の一部である、ポリープを発見して除去することによって、大腸がんを根源的
に遮断するものである。具体的に、大腸内視鏡を通してポリープを発見して除去すること
によって、中間期癌（Ｉｎｔｅｒｖａｌ Ｃａｎｃｅｒ）の発生を予防できる。しかし、
大腸内視鏡検査を行ってポリープを発見できないケースが、多くは30％近くになることが
知られている。
【0003】
なぜならば、大腸内にはヒダが多いが、ヒダの裏面部に隠れている大腸ポリープを見つ
けることは、現実的に検査を行った医師の集中力に依存するしかなく、これを評価する方
法は、検査にかかった時間が６分以上か否かといった間接的な方法しかないのが現状であ
る。綿密に観察する医師であっても、宝探しの際に宝を探す方法が人によって異なるのと
同様、本人の検査スタイルによって、見たところは繰り返して見る反面、見ていないとこ
ろは見ない可能性が高い。
けることは、現実的に検査を行った医師の集中力に依存するしかなく、これを評価する方
法は、検査にかかった時間が６分以上か否かといった間接的な方法しかないのが現状であ
る。綿密に観察する医師であっても、宝探しの際に宝を探す方法が人によって異なるのと
同様、本人の検査スタイルによって、見たところは繰り返して見る反面、見ていないとこ
ろは見ない可能性が高い。
【0004】
従って、大腸内視鏡を行う際に、被検者の大腸内の複数のヒダを、それぞれ一つ一つ見
逃すことなしに、内視鏡を通して確認できる方法が必要である。
逃すことなしに、内視鏡を通して確認できる方法が必要である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は上記事情に鑑みてなされたものであって、その目的は、大腸内視鏡を行う際に
、大腸内視鏡の画像にて大腸のヒダを認識し、大腸内視鏡を行っている専門家に提供する
ことにある。
、大腸内視鏡の画像にて大腸のヒダを認識し、大腸内視鏡を行っている専門家に提供する
ことにある。
【0006】
具体的に、本発明の目的は、大腸内視鏡の画像から認識した、大腸のヒダの大きさ別に
、視覚効果の大きさを異にして表示することにある。
、視覚効果の大きさを異にして表示することにある。
【0007】
また、本発明の他の目的は、大腸のヒダの裏面部に対して内視鏡によって撮影されてい
ない場合、該当ヒダに対して視覚効果を提供するとともに、専門家が該当ヒダに対して裏
面を内視鏡を用いて撮影した場合、該当ヒダに対する視覚効果を除去することにある。
ない場合、該当ヒダに対して視覚効果を提供するとともに、専門家が該当ヒダに対して裏
面を内視鏡を用いて撮影した場合、該当ヒダに対する視覚効果を除去することにある。
【0008】
本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない更
に他の課題は、以下の記載から通常の技術者が明確に理解できるはずである。
に他の課題は、以下の記載から通常の技術者が明確に理解できるはずである。
【課題を解決するための手段】
【0009】
上述した課題を解決するための本発明に係る装置により行われる方法において、被検者
の大腸に投入された内視鏡から撮影された画像をリアルタイムに受信する段階と、前記画
像内にて前記大腸内の少なくとも１つのヒダが含まれている各区間の画像を認識する段階
と、前記各区間の画像内に前記ヒダを表す第１視覚効果を表示する段階と、前記各区間の
画像毎に前記ヒダの裏面部が撮影されているか否かを判断する段階と、前記判断の結果、
前記各区間の画像のうち、前記ヒダの裏面部が撮影されていない少なくとも１つの区間の
画像内に、該当ヒダの裏面部が撮影されていないことを表す第２視覚効果を表示する段階
とを含むことができる。
の大腸に投入された内視鏡から撮影された画像をリアルタイムに受信する段階と、前記画
像内にて前記大腸内の少なくとも１つのヒダが含まれている各区間の画像を認識する段階
と、前記各区間の画像内に前記ヒダを表す第１視覚効果を表示する段階と、前記各区間の
画像毎に前記ヒダの裏面部が撮影されているか否かを判断する段階と、前記判断の結果、
前記各区間の画像のうち、前記ヒダの裏面部が撮影されていない少なくとも１つの区間の
画像内に、該当ヒダの裏面部が撮影されていないことを表す第２視覚効果を表示する段階
とを含むことができる。
【0010】
ここで、前記認識段階は、前記内視鏡によって前記大腸の内部に照射される光に基づい
て行われうる。
て行われうる。
【0011】
また、前記認識段階は、ディープラーニングモデルにより前記各区間の画像を認識し、
前記ディープラーニングモデルは、外部のアノテータから得られた複数の被検者の大腸画
像内のヒダデータと、前記大腸内における前記照射された光による陰影の変化量及び血管
に基づいて機械学習されたモデルであり得る。
前記ディープラーニングモデルは、外部のアノテータから得られた複数の被検者の大腸画
像内のヒダデータと、前記大腸内における前記照射された光による陰影の変化量及び血管
に基づいて機械学習されたモデルであり得る。
【0012】
ここで、前記第１視覚効果は、前記各区間の画像内における該当ヒダ上に、それぞれの
マーカが表示される視覚効果を含み、前記それぞれのマーカの大きさは、該当ヒダの大き
さに基づいて決定され得る。
マーカが表示される視覚効果を含み、前記それぞれのマーカの大きさは、該当ヒダの大き
さに基づいて決定され得る。
【0013】
また、前記該当ヒダの裏面部が撮影された場合、前記第２視覚効果を削除する段階を更
に含むことができる。
に含むことができる。
【0014】
この他にも、本発明を具現するための他の方法、他のシステム及び前記方法を実行する
ためのコンピュータプログラムを記録するコンピュータ読み取り可能な記録媒体が更に提
供されうる。
ためのコンピュータプログラムを記録するコンピュータ読み取り可能な記録媒体が更に提
供されうる。
【発明の効果】
【0015】
前記のような本発明によれば、大腸内視鏡を行う際に、大腸内視鏡の画像から大腸のヒ
ダを認識し、大腸内視鏡を行っている専門家に提供することで、大腸のヒダの裏（後方）
に位置し得るポリープを、容易に発見できるようにするという効果を奏する。
ダを認識し、大腸内視鏡を行っている専門家に提供することで、大腸のヒダの裏（後方）
に位置し得るポリープを、容易に発見できるようにするという効果を奏する。
【0016】
具体的に、本発明によれば、大腸内視鏡の画像から認識した、大腸のヒダの大きさ別に
、視覚効果の大きさを異にして表示することで、ヒダの大きさが大きい場合、ヒダの一部
のみ確認した後にパスするのではなく、全体に対して確認できるように誘導するという効
果がある。
、視覚効果の大きさを異にして表示することで、ヒダの大きさが大きい場合、ヒダの一部
のみ確認した後にパスするのではなく、全体に対して確認できるように誘導するという効
果がある。
【0017】
また、本発明によれば、大腸のヒダの裏面部に対して内視鏡によって撮影されていない
場合、該当ヒダに対して視覚効果を提供するとともに、専門家が該当ヒダに対して裏面を
内視鏡を用いて撮影した場合、該当ヒダに対する視覚効果を除去することによって、ヒダ
の裏面を確認した部分と、確認していない部分とを明確に判断できるようにするという効
果がある。
場合、該当ヒダに対して視覚効果を提供するとともに、専門家が該当ヒダに対して裏面を
内視鏡を用いて撮影した場合、該当ヒダに対する視覚効果を除去することによって、ヒダ
の裏面を確認した部分と、確認していない部分とを明確に判断できるようにするという効
果がある。
【0018】
本発明の効果は、以上で言及した効果に限らず、言及されていない更に他の効果は、下
記の記載から通常の技術者が明確に理解できるはずである。
記の記載から通常の技術者が明確に理解できるはずである。
【図面の簡単な説明】
【0019】
【図1】本発明に係る、内視鏡を用いた大腸検査ガイドを提供する装置を、概略的に示すブロック図である。
【図2】本発明に係る、大腸検査のガイドのために用いられるディープラーニングモデルが、学習されることを概略的に示すブロック図である。
【図3】本発明に係る装置のプロセッサが、内視鏡を用いた大腸検査のガイドを提供する過程を示す例示図である。
【図4a】本発明に係る、被検者の大腸に投入された内視鏡から撮影された画像に、ヒダを表す第１視覚効果が表示されたことを示す例示図（１）である。
【図4b】本発明に係る、被検者の大腸に投入された内視鏡から撮影された画像に、ヒダを表す第１視覚効果が表示されたことを示す例示図（２）である。
【図4c】本発明に係る、被検者の大腸に投入された内視鏡から撮影された画像に、ヒダを表す第１視覚効果が表示されたことを示す例示図（３）である。
【図4d】本発明に係る、被検者の大腸に投入された内視鏡から撮影された画像に、ヒダを表す第１視覚効果が表示されたことを示す例示図（４）である。
【図5a】本発明に係る、第１視覚効果が表示されたヒダの、裏面部の画像が撮影されていないヒダを表す、第２視覚効果が表示されたことを示す例示図（１）である。
【図5b】本発明に係る、第１視覚効果が表示されたヒダの、裏面部の画像が撮影されていないヒダを表す、第２視覚効果が表示されたことを示す例示図（２）である。
【図5c】本発明に係る、第１視覚効果が表示されたヒダの、裏面部の画像が撮影されていないヒダを表す、第２視覚効果が表示されたことを示す例示図（３）である。
【図5d】本発明に係る、第１視覚効果が表示されたヒダの、裏面部の画像が撮影されていないヒダを表す、第２視覚効果が表示されたことを示す例示図（４）である。
【図6】本発明に係る装置のプロセッサが、内視鏡を用いた大腸検査をガイドする過程を示すフローチャートである。
【発明を実施するための形態】
【0020】
本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述
されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例
に制限されるものではなく、互いに異なる多様な形態に具現することができる。但し、本
実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者
に本発明の範疇を完全に理解させるために提供されるものであり、本発明は請求項の範疇
により定義されるに過ぎない。
されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例
に制限されるものではなく、互いに異なる多様な形態に具現することができる。但し、本
実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者
に本発明の範疇を完全に理解させるために提供されるものであり、本発明は請求項の範疇
により定義されるに過ぎない。
【0021】
本明細書で用いられた用語は、実施例を説明するためのものであり、本発明を制限しよ
うとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。
明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐ
ｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加
を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又
は」は言及された構成要素のそれぞれ及び１つ以上の全ての組み合わせを含む。たとえ、
「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの
構成要素はこれらの用語により制限されないのはもちろんのことである。これらの用語は
、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及され
る第１構成要素は、本発明の技術的思想内で第２構成要素でもあり得るのは言うまでもな
い。
うとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。
明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐ
ｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加
を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又
は」は言及された構成要素のそれぞれ及び１つ以上の全ての組み合わせを含む。たとえ、
「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの
構成要素はこれらの用語により制限されないのはもちろんのことである。これらの用語は
、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及され
る第１構成要素は、本発明の技術的思想内で第２構成要素でもあり得るのは言うまでもな
い。
【0022】
他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）
は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用い
られる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されてい
ない限り、理想的に又は過度に解釈されない。
は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用い
られる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されてい
ない限り、理想的に又は過度に解釈されない。
【0023】
以下、添付の図面を参照して本発明の実施例を詳細に説明する。
【0024】
図１は、本発明に係る内視鏡を用いた大腸検査ガイドを提供する装置１０を概略的に示
すブロック図である。
すブロック図である。
【0025】
図２は、本発明に係る大腸検査ガイドのために用いられるディープラーニングモデルが
学習されることを概略的に示すブロック図である。
学習されることを概略的に示すブロック図である。
【0026】
図３は、本発明に係る装置１０のプロセッサ１４０が、内視鏡を用いた大腸検査ガイド
を提供する過程を示す例示図である。
を提供する過程を示す例示図である。
【0027】
【0028】
【0029】
【0030】
装置１０は、大腸内視鏡を行う際に大腸内視鏡の画像から大腸のヒダを認識し、大腸内
視鏡を行っている専門家に提供することで、大腸のヒダの裏に位置し得るポリープを、容
易に発見できるようにするという効果を有することができる。
視鏡を行っている専門家に提供することで、大腸のヒダの裏に位置し得るポリープを、容
易に発見できるようにするという効果を有することができる。
【0031】
具体的に、装置１０は、大腸内視鏡の画像から認識した、大腸のヒダの大きさ別に、視
覚効果の大きさを異にして表示することで、ヒダの大きさが大きい場合に、ヒダの一部の
み確認した後にパスするのではなく、全体に対して確認できるように誘導するという効果
を有することができる。
覚効果の大きさを異にして表示することで、ヒダの大きさが大きい場合に、ヒダの一部の
み確認した後にパスするのではなく、全体に対して確認できるように誘導するという効果
を有することができる。
【0032】
また、装置１０は、大腸のヒダの裏面部に対して、内視鏡２０によって撮影されていな
い場合、該当ヒダに対して視覚効果を提供するのであり、また、専門家が該当ヒダに対し
て裏面を、内視鏡２０を用いて撮影した場合に、該当ヒダに対する視覚効果を除去するこ
とによって、ヒダの裏面を確認した部分と、確認していない部分とを明確に判断できるよ
うにするという効果を有することができる。ここで、内視鏡２０は、大腸内に挿入されて
、大腸内の生体組織を観察する装置であって、カメラ２１０、照明２２０などを含んで構
成されうる。
い場合、該当ヒダに対して視覚効果を提供するのであり、また、専門家が該当ヒダに対し
て裏面を、内視鏡２０を用いて撮影した場合に、該当ヒダに対する視覚効果を除去するこ
とによって、ヒダの裏面を確認した部分と、確認していない部分とを明確に判断できるよ
うにするという効果を有することができる。ここで、内視鏡２０は、大腸内に挿入されて
、大腸内の生体組織を観察する装置であって、カメラ２１０、照明２２０などを含んで構
成されうる。
【0033】
まず、図１を参照すると、装置１０は通信部１１０、ディスプレイ部１２０、メモリ１
３０及びプロセッサ１４０を含む。ここで、装置１０は、図１に示された構成要素よりも
より少数の構成要素や、より多数の構成要素を含むこともできる。
３０及びプロセッサ１４０を含む。ここで、装置１０は、図１に示された構成要素よりも
より少数の構成要素や、より多数の構成要素を含むこともできる。
【0034】
通信部１１０は、前記装置１０と無線通信システムとの間、前記装置１０と内視鏡２０
との間、又は前記装置１０と外部装置（図示せず）との間の無線通信を可能にする１つ以
上のモジュールを含むことができる。また、前記通信部１１０は、装置１０を１つ以上の
ネットワークに接続する１つ以上のモジュールを含むことができる。
との間、又は前記装置１０と外部装置（図示せず）との間の無線通信を可能にする１つ以
上のモジュールを含むことができる。また、前記通信部１１０は、装置１０を１つ以上の
ネットワークに接続する１つ以上のモジュールを含むことができる。
【0035】
通信部１１０は、被検者の大腸に投入された内視鏡から撮影された画像をリアルタイム
に受信できる。また、前記通信部１１０は、複数の被検者の大腸に投入される内視鏡から
撮影された画像を受信するか、一人の被検者に対して複数回大腸に投入される内視鏡から
撮影された画像を受信できる。
に受信できる。また、前記通信部１１０は、複数の被検者の大腸に投入される内視鏡から
撮影された画像を受信するか、一人の被検者に対して複数回大腸に投入される内視鏡から
撮影された画像を受信できる。
【0036】
または、通信部１１０は、ディープラーニングモデルの学習のために、内視鏡によって
撮影された被検者の大腸に対する画像に対して、アノテータの一例として、医療陣から得
たヒダデータを受信できる。
撮影された被検者の大腸に対する画像に対して、アノテータの一例として、医療陣から得
たヒダデータを受信できる。
【0037】
ディスプレイ部１２０は、タッチセンサと互いにレイヤ構造をなすか、一体型に形成さ
れることによって、タッチパネルを具現できる。このようなタッチスクリーンは、装置１
０とユーザとの間の入力インタフェースを提供すると共に、装置１０とユーザとの間の出
力インタフェースを提供できる。
れることによって、タッチパネルを具現できる。このようなタッチスクリーンは、装置１
０とユーザとの間の入力インタフェースを提供すると共に、装置１０とユーザとの間の出
力インタフェースを提供できる。
【0038】
ディスプレイ部１２０は、プロセッサ１４０で生成した多様な情報を表示してユーザに
提供すると共に、ユーザから多様な情報の入力を受けることができる。
提供すると共に、ユーザから多様な情報の入力を受けることができる。
【0039】
より詳細には、ディスプレイ部１２０は、画像の各区間別に前記ヒダを表す第１視覚効
果を表示できる。また、ディスプレイ部１２０は、前記各区間の画像のうち、前記ヒダの
裏面部が撮影されていない少なくとも１つの区間の画像内に、該当ヒダの裏面部が撮影さ
れていないことを表す第２視覚効果を表示することができる。
果を表示できる。また、ディスプレイ部１２０は、前記各区間の画像のうち、前記ヒダの
裏面部が撮影されていない少なくとも１つの区間の画像内に、該当ヒダの裏面部が撮影さ
れていないことを表す第２視覚効果を表示することができる。
【0040】
メモリ１３０は、前記装置１０の多様な機能を支援する情報を格納できる。メモリ１３
０は、前記装置１０で駆動される多数のアプリケーションプログラム（ａｐｐｌｉｃａｔ
ｉｏｎ ｐｒｏｇｒａｍ 又はアプリケーション（ａｐｐｌｉｃａｔｉｏｎ））、前記装置
１０の動作のためのデータ、命令語を格納できる。これらのアプリケーションプログラム
のうちの少なくとも一部は、無線通信を介して外部サーバ（図示せず）からダウンロード
できる。また、このようなアプリケーションプログラムのうちの少なくとも一部は、前記
装置１０の基本的な機能のために存在し得る。一方、アプリケーションプログラムは、メ
モリ１３０に格納され、前記装置１０上にインストールされ、プロセッサ１４０により前
記装置１０の動作（又は機能）を行うように駆動されうる。
０は、前記装置１０で駆動される多数のアプリケーションプログラム（ａｐｐｌｉｃａｔ
ｉｏｎ ｐｒｏｇｒａｍ 又はアプリケーション（ａｐｐｌｉｃａｔｉｏｎ））、前記装置
１０の動作のためのデータ、命令語を格納できる。これらのアプリケーションプログラム
のうちの少なくとも一部は、無線通信を介して外部サーバ（図示せず）からダウンロード
できる。また、このようなアプリケーションプログラムのうちの少なくとも一部は、前記
装置１０の基本的な機能のために存在し得る。一方、アプリケーションプログラムは、メ
モリ１３０に格納され、前記装置１０上にインストールされ、プロセッサ１４０により前
記装置１０の動作（又は機能）を行うように駆動されうる。
【0041】
メモリ１３０は、被検者の大腸に投入された内視鏡により撮影された画像からヒダを認
識するためのディープラーニングモデルを格納できる。ここで、ディープラーニングモデ
ルは、畳み込みニューラルネットワーク（ＣＮＮ、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕ
ｒａｌ ｎｅｔｗｏｒｋ、以下ＣＮＮ という。）を含むことができるが、必ずしもこれに
限らず、多様な構造の神経網で形成され得る。
識するためのディープラーニングモデルを格納できる。ここで、ディープラーニングモデ
ルは、畳み込みニューラルネットワーク（ＣＮＮ、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕ
ｒａｌ ｎｅｔｗｏｒｋ、以下ＣＮＮ という。）を含むことができるが、必ずしもこれに
限らず、多様な構造の神経網で形成され得る。
【0042】
ＣＮＮは、画像の各領域に対して複数のフィルタを適用し、特徴マップ（Ｆｅａｔｕｒ
ｅ Ｍａｐ）を生成する畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）と、特徴マッ
プとを空間的に統合することにより、位置や回転の変化に不変な特徴を抽出できるように
するプーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を、交互に複数回繰り返す構造で形成
されうる。これにより、点、線、面などの低いレベルの特徴から、複雑で意味のあるレベ
ルの高い特徴まで、多様なレベルの特徴を抽出できる。
ｅ Ｍａｐ）を生成する畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）と、特徴マッ
プとを空間的に統合することにより、位置や回転の変化に不変な特徴を抽出できるように
するプーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を、交互に複数回繰り返す構造で形成
されうる。これにより、点、線、面などの低いレベルの特徴から、複雑で意味のあるレベ
ルの高い特徴まで、多様なレベルの特徴を抽出できる。
【0043】
畳み込み層は、入力画像の各パッチに対して、フィルタと局所受容野（Ｌｏｃａｌ Ｒ
ｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ）との内積に、非線形活性関数（Ａｃｔｉｖａｔｉｏｎ Ｆ
ｕｎｃｔｉｏｎ）を取ることによって、特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を求める
ことができる。他のネットワークの構造と比較して、ＣＮＮは希少な連結性（Ｓｐａｒｓ
ｅ Ｃｏｎｎｅｃｔｉｖｉｔｙ）と、共有された重み（Ｓｈａｒｅｄ Ｗｅｉｇｈｔｓ）を
持つフィルタを用いるという特徴を有することができる。このような連結構造は、学習す
る母数の個数を減らし、誤差逆伝播アルゴリズムによる学習を効率的にすることで、結果
として、予測性能を向上させることができる。
ｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ）との内積に、非線形活性関数（Ａｃｔｉｖａｔｉｏｎ Ｆ
ｕｎｃｔｉｏｎ）を取ることによって、特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を求める
ことができる。他のネットワークの構造と比較して、ＣＮＮは希少な連結性（Ｓｐａｒｓ
ｅ Ｃｏｎｎｅｃｔｉｖｉｔｙ）と、共有された重み（Ｓｈａｒｅｄ Ｗｅｉｇｈｔｓ）を
持つフィルタを用いるという特徴を有することができる。このような連結構造は、学習す
る母数の個数を減らし、誤差逆伝播アルゴリズムによる学習を効率的にすることで、結果
として、予測性能を向上させることができる。
【0044】
プーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ又はＳｕｂ-ｓａｍｐｌｉｎｇ Ｌａｙｅｒ
）は、以前の畳み込み層から得られた特徴マップの地域情報を活用して、新たな特徴マッ
プを生成できる。一般に、プーリング層によって新たに生成された特徴マップは、本来の
特徴マップよりも小さなサイズに減少するが、代表的な統合方法としては、特徴マップ内
の該当領域の最大値を選択する最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）と、特徴マッ
プ内の該当領域の平均値を求める平均プーリング（Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）な
どがあり得る。プーリング層の特徴マップは、一般に、前の層の特徴マップよりも、入力
画像に存在する任意の構造やパターンの位置による影響を、少なく受けることができる。
即ち、プーリング層は、入力画像あるいは以前の特徴マップにおけるノイズや歪みといっ
た地域的変化に対して、より強い特徴を抽出できるようになり、これらの特徴は、分類性
能において重要な役割を果たせる。また、他のプーリング層の役割は、深い構造上で、上
位の学習層に行くほど、より広い領域の特徴を反映できるようにするものであって、特徴
抽出層が蓄積されることにより、下位層では地域的な特徴を反映し、上位層に行くほど、
より抽象的な全体画像の特徴を反映する特徴を生成できる。
）は、以前の畳み込み層から得られた特徴マップの地域情報を活用して、新たな特徴マッ
プを生成できる。一般に、プーリング層によって新たに生成された特徴マップは、本来の
特徴マップよりも小さなサイズに減少するが、代表的な統合方法としては、特徴マップ内
の該当領域の最大値を選択する最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）と、特徴マッ
プ内の該当領域の平均値を求める平均プーリング（Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）な
どがあり得る。プーリング層の特徴マップは、一般に、前の層の特徴マップよりも、入力
画像に存在する任意の構造やパターンの位置による影響を、少なく受けることができる。
即ち、プーリング層は、入力画像あるいは以前の特徴マップにおけるノイズや歪みといっ
た地域的変化に対して、より強い特徴を抽出できるようになり、これらの特徴は、分類性
能において重要な役割を果たせる。また、他のプーリング層の役割は、深い構造上で、上
位の学習層に行くほど、より広い領域の特徴を反映できるようにするものであって、特徴
抽出層が蓄積されることにより、下位層では地域的な特徴を反映し、上位層に行くほど、
より抽象的な全体画像の特徴を反映する特徴を生成できる。
【0045】
このように畳み込み層とプーリング層の繰り返しによって最終的に抽出された特徴は、
多層パーセプトロン（ＭＬＰ：Ｍｕｌｔｉ-Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）やサポー
トベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）のような分
類モデルが全結合層（Ｆｕｌｌｙ-ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）の形に結合され、分
類モデルの学習や予測に用いられることができる。
多層パーセプトロン（ＭＬＰ：Ｍｕｌｔｉ-Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）やサポー
トベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）のような分
類モデルが全結合層（Ｆｕｌｌｙ-ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）の形に結合され、分
類モデルの学習や予測に用いられることができる。
【0046】
メモリ１３０は、通信部１１０により獲得した前記画像を格納できる。また、前記メモ
リ１３０は、複数の被検者の大腸に投入される内視鏡から撮影された画像、又は、一人の
被検者に対して、複数回大腸に投入される内視鏡から撮影された画像を格納できる。
リ１３０は、複数の被検者の大腸に投入される内視鏡から撮影された画像、又は、一人の
被検者に対して、複数回大腸に投入される内視鏡から撮影された画像を格納できる。
【0047】
または、メモリ１３０は、前記ディープラーニングモデルの学習のために、内視鏡によ
って撮影された被検者の大腸に対する画像に対して、アノテータの一例として、医療陣か
ら得られたヒダデータを格納できる。
って撮影された被検者の大腸に対する画像に対して、アノテータの一例として、医療陣か
ら得られたヒダデータを格納できる。
【0048】
プロセッサ１４０は、前記アプリケーションプログラムと関連する動作以外にも、通常
、前記装置１０の全般的な動作を制御できる。プロセッサ１４０は、前述した構成要素に
より入力又は出力される信号、データ、情報などを処理するか、メモリ１３０に格納され
たアプリケーションプログラムを駆動することによって、ユーザに適切な情報又は機能を
提供又は処理できる。
、前記装置１０の全般的な動作を制御できる。プロセッサ１４０は、前述した構成要素に
より入力又は出力される信号、データ、情報などを処理するか、メモリ１３０に格納され
たアプリケーションプログラムを駆動することによって、ユーザに適切な情報又は機能を
提供又は処理できる。
【0049】
プロセッサ１４０は、メモリ１３０に格納されたアプリケーションプログラムを駆動す
るために、図１に示された構成要素のうちの少なくとも一部を制御できる。更に、プロセ
ッサ１４０は、前記アプリケーションプログラムの駆動のために、前記装置１０に含まれ
ている構成要素のうちの少なくとも２つ以上を互いに組み合わせて動作させることができ
る。
るために、図１に示された構成要素のうちの少なくとも一部を制御できる。更に、プロセ
ッサ１４０は、前記アプリケーションプログラムの駆動のために、前記装置１０に含まれ
ている構成要素のうちの少なくとも２つ以上を互いに組み合わせて動作させることができ
る。
【0050】
【0051】
プロセッサ１４０は、被検者の大腸に投入された内視鏡から撮影された画像内でディー
プラーニングモデルに基づいて、前記大腸内の少なくとも１つのヒダが含まれている各区
間の画像を認識できる。即ち、プロセッサ１４０は、前記各区間の画像から前記少なくと
も１つのヒダを認識し、前記ヒダの大きさを識別できる。
プラーニングモデルに基づいて、前記大腸内の少なくとも１つのヒダが含まれている各区
間の画像を認識できる。即ち、プロセッサ１４０は、前記各区間の画像から前記少なくと
も１つのヒダを認識し、前記ヒダの大きさを識別できる。
【0052】
ここで、まず図２を参照すると、プロセッサ１４０は、前記ディープラーニングモデル
により前記各区間の画像を認識するのであり、前記ディープラーニングモデルは、外部の
アノテータから得られた複数の被検者の大腸画像内のヒダデータと、前記大腸内の前記照
射された光による陰影変化量及び血管パターンに基づいて、機械学習されたモデルであり
得る。
により前記各区間の画像を認識するのであり、前記ディープラーニングモデルは、外部の
アノテータから得られた複数の被検者の大腸画像内のヒダデータと、前記大腸内の前記照
射された光による陰影変化量及び血管パターンに基づいて、機械学習されたモデルであり
得る。
【0053】
具体的に、プロセッサ１４０は、複数の被検者の大腸に投入された内視鏡から少なくと
も１回以上撮影された少なくとも１つの画像を獲得し、前記複数の画像のそれぞれに対し
て、アノテータからヒダデータを獲得できる。ここで、アノテータは、大腸のヒダを的確
に識別できる専門家でありうるのであり、複数の画像は、一人の被検者に対して複数回行
われた内視鏡に対する画像であるか、複数の被検者に対して行われた内視鏡に対する画像
であり得る。
も１回以上撮影された少なくとも１つの画像を獲得し、前記複数の画像のそれぞれに対し
て、アノテータからヒダデータを獲得できる。ここで、アノテータは、大腸のヒダを的確
に識別できる専門家でありうるのであり、複数の画像は、一人の被検者に対して複数回行
われた内視鏡に対する画像であるか、複数の被検者に対して行われた内視鏡に対する画像
であり得る。
【0054】
その後、プロセッサ１４０は、前記大腸の内側の陰影変化量、血管及び前記ヒダデータ
に基づいて前記第１モデルを機械学習できる。
に基づいて前記第１モデルを機械学習できる。
【0055】
ここで、前記陰影変化量は、前記プロセッサ１４０が前記内視鏡２０の照明２２０から
前記ヒダに照射される光によって発生する陰影に対して、既に設定された閾値以上に変化
するかを判断して生成できる。具体的に、プロセッサ１４０は、前記陰影が、既に設定さ
れた閾値以上に暗く変化した場合、ヒダがあるものと判断できる。
前記ヒダに照射される光によって発生する陰影に対して、既に設定された閾値以上に変化
するかを判断して生成できる。具体的に、プロセッサ１４０は、前記陰影が、既に設定さ
れた閾値以上に暗く変化した場合、ヒダがあるものと判断できる。
【0056】
また、プロセッサ１４０は、大腸の内視鏡画像内にて血管が形成している血管パターン
を認識し、前記認識された血管パターンに基づいて、大腸の内視鏡画像内でヒダのある領
域を認識できる。
を認識し、前記認識された血管パターンに基づいて、大腸の内視鏡画像内でヒダのある領
域を認識できる。
【0057】
詳細に、プロセッサ１４０は、前記認識された血管パターンに基づいて、大腸の内視鏡
画像内の少なくとも１つの血管パターンが、前記内視鏡２０の照明２２０から前記ヒダに
照射される光によって発生する陰影によって、前記血管パターンの連結が途切れているか
のように大腸の内視鏡画像内で見える状況であるので、前記血管が途切れているかのよう
に見える部分を、ヒダの境界ラインとして認識し、前記大腸の内視鏡画像内にてヒダ領域
を認識できる。
画像内の少なくとも１つの血管パターンが、前記内視鏡２０の照明２２０から前記ヒダに
照射される光によって発生する陰影によって、前記血管パターンの連結が途切れているか
のように大腸の内視鏡画像内で見える状況であるので、前記血管が途切れているかのよう
に見える部分を、ヒダの境界ラインとして認識し、前記大腸の内視鏡画像内にてヒダ領域
を認識できる。
【0058】
また、プロセッサ１４０は、大腸の内視鏡画像内で血管の形状を認識し、前記認識され
た血管の形状に基づいて大腸の内視鏡画像内でヒダのある領域を認識できる。
た血管の形状に基づいて大腸の内視鏡画像内でヒダのある領域を認識できる。
【0059】
詳細に、プロセッサ１４０は、前記認識された血管の形状に基づいて大腸の内視鏡画像
内の少なくとも１つの血管の形状が鉤状に認識される場合、これは、前記血管が、ヒダの
曲がった部分を通過して曲がっているかのように、大腸の内視鏡画像内にて見える状況で
あるので、前記血管が曲がった鉤状に見える部分をヒダとして認識することで、前記大腸
の内視鏡画像内にてヒダ領域を認識できる。
内の少なくとも１つの血管の形状が鉤状に認識される場合、これは、前記血管が、ヒダの
曲がった部分を通過して曲がっているかのように、大腸の内視鏡画像内にて見える状況で
あるので、前記血管が曲がった鉤状に見える部分をヒダとして認識することで、前記大腸
の内視鏡画像内にてヒダ領域を認識できる。
【0060】
また、プロセッサ１４０は、大腸の内視鏡画像内にて少なくとも１つの血管の色を認識
し、前記認識された血管の色に基づいて、大腸の内視鏡画像内でヒダのある領域を認識で
きる。
し、前記認識された血管の色に基づいて、大腸の内視鏡画像内でヒダのある領域を認識で
きる。
【0061】
詳細に、プロセッサ１４０は、前記認識された血管の色の明暗度の変化が、既に設定さ
れた変化量以上であると認識される場合、前記血管が、ヒダ及び前記ヒダの裏面部の間を
通過する場合に明暗度が変化するので、前記血管における明暗度の変化が、既に設定され
た変化量以上である血管の一部分を、ヒダの境界ラインとして認識し、前記大腸の内視鏡
画像内にてヒダ領域を認識できる。
れた変化量以上であると認識される場合、前記血管が、ヒダ及び前記ヒダの裏面部の間を
通過する場合に明暗度が変化するので、前記血管における明暗度の変化が、既に設定され
た変化量以上である血管の一部分を、ヒダの境界ラインとして認識し、前記大腸の内視鏡
画像内にてヒダ領域を認識できる。
【0062】
プロセッサ１４０は、前記内視鏡２０が投入された地点から、内視鏡２０に備えられる
照明２２０によって、前記大腸の内部に照射される光によって識別される地点までを、１
つの区間として設定できる。即ち、プロセッサ１４０は、前記大腸をｎ個の区間に分割し
て、それぞれの区間別にヒダを認識できる。ここで、大人の大腸は約１５０ｃｍ～１７０
ｃｍであり、内視鏡２０に備えられる照明２２０から、照射される光によって識別される
地点までの距離は、およそ１０ｃｍ～１５ｃｍであり得る。従って、プロセッサ１４０は
、大腸を、およそ１０個～１５個の区間に分割し、それぞれの区間ごとにヒダを認識でき
る。
照明２２０によって、前記大腸の内部に照射される光によって識別される地点までを、１
つの区間として設定できる。即ち、プロセッサ１４０は、前記大腸をｎ個の区間に分割し
て、それぞれの区間別にヒダを認識できる。ここで、大人の大腸は約１５０ｃｍ～１７０
ｃｍであり、内視鏡２０に備えられる照明２２０から、照射される光によって識別される
地点までの距離は、およそ１０ｃｍ～１５ｃｍであり得る。従って、プロセッサ１４０は
、大腸を、およそ１０個～１５個の区間に分割し、それぞれの区間ごとにヒダを認識でき
る。
【0063】
具体的には、プロセッサ１４０は、前記内視鏡２０が投入された地点と、内視鏡２０に
備えられる照明２２０によって、前記大腸の内部に照射される光によって識別される地点
とを、前記ディープラーニングモデルに基づいて生成できる。
備えられる照明２２０によって、前記大腸の内部に照射される光によって識別される地点
とを、前記ディープラーニングモデルに基づいて生成できる。
【0064】
一例として、図３を参照すると、プロセッサ１４０は、前記画像にて、前記内視鏡２０
が最初に進入する第１地点Ｐ１と、前記第１地点から、前記内視鏡２０の照明２２０によ
って前記大腸の内部に照射される光によって識別される第２地点Ｐ２までを、第１区間と
して設定できる。
が最初に進入する第１地点Ｐ１と、前記第１地点から、前記内視鏡２０の照明２２０によ
って前記大腸の内部に照射される光によって識別される第２地点Ｐ２までを、第１区間と
して設定できる。
【0065】
また、プロセッサ１４０は、前記画像にて前記内視鏡２０が、第１区間の終点である第
２地点Ｐ２に位置する場合、第２地点Ｐ２と前記第２地点Ｐ２において前記内視鏡２０の
照明２２０により前記大腸の内部に照射される光によって識別される第３地点Ｐ３までを
第２区間として設定できる。
２地点Ｐ２に位置する場合、第２地点Ｐ２と前記第２地点Ｐ２において前記内視鏡２０の
照明２２０により前記大腸の内部に照射される光によって識別される第３地点Ｐ３までを
第２区間として設定できる。
【0066】
更に、プロセッサ１４０は、前記画像にて前記内視鏡２０が第ｎ-１区間の終点である
第ｎ-１地点Ｐｎ-１に位置する場合、第ｎ-１地点Ｐｎ-１と、前記第ｎ-１地点から前記
内視鏡２０の照明２２０により前記大腸の内部に照射される光によって識別され、大腸の
内部に進入可能な最後の区間の開始地点である第ｎ地点Ｐｎまでを、第ｎ区間として設定
できる。
第ｎ-１地点Ｐｎ-１に位置する場合、第ｎ-１地点Ｐｎ-１と、前記第ｎ-１地点から前記
内視鏡２０の照明２２０により前記大腸の内部に照射される光によって識別され、大腸の
内部に進入可能な最後の区間の開始地点である第ｎ地点Ｐｎまでを、第ｎ区間として設定
できる。
【0067】
ここで、大腸に内視鏡２０が進入する最初の地点である第１地点Ｐ１と、大腸に内視鏡
２０が進入できる最後の区間の開始地点である第ｎ地点Ｐｎとを除いた、第２地点Ｐ２～
第ｎ-１地点Ｐｎ-１は、直前の区間と一部分重なりうる。これにより、プロセッサ１４０
が、大腸内にて内視鏡２０によって確認すべき区間を漏れなくディスプレイ部１２０を介
して表示することで、大腸全体に対して、見逃す区間がないように検査できるという効果
を有することができる。
２０が進入できる最後の区間の開始地点である第ｎ地点Ｐｎとを除いた、第２地点Ｐ２～
第ｎ-１地点Ｐｎ-１は、直前の区間と一部分重なりうる。これにより、プロセッサ１４０
が、大腸内にて内視鏡２０によって確認すべき区間を漏れなくディスプレイ部１２０を介
して表示することで、大腸全体に対して、見逃す区間がないように検査できるという効果
を有することができる。
【0068】
また、第１区間～第ｎ区間の長さは、ほぼ同一であるか、若干の差があり、これは内視
鏡２０の照明２２０によって照射された光の強さが同一であるので、大差ない。
鏡２０の照明２２０によって照射された光の強さが同一であるので、大差ない。
【0069】
図３の区間導入フレームＡ（３０１）を参照すると、プロセッサ１４０は、前記画像に
て前記内視鏡２０が進入する導入地点から、前記内視鏡２０の照明２２０から照射される
光によって識別可能な最後の地点までを、１つの区間として設定できる。
て前記内視鏡２０が進入する導入地点から、前記内視鏡２０の照明２２０から照射される
光によって識別可能な最後の地点までを、１つの区間として設定できる。
【0070】
より詳細には、プロセッサ１４０は、前記第１区間にて前記内視鏡２０が最初に進入す
る第１地点Ｐ１と、前記第１地点から、前記内視鏡２０の照明２２０によって前記大腸の
内部に照射される光によって識別される第２地点Ｐ２までを第１区間として設定できる。
る第１地点Ｐ１と、前記第１地点から、前記内視鏡２０の照明２２０によって前記大腸の
内部に照射される光によって識別される第２地点Ｐ２までを第１区間として設定できる。
【0071】
図３の区間中間フレーム３０２を参照すると、プロセッサ１４０は、前記各区間の画像
内に、前記ヒダを表す第１視覚効果を表示できる。第１視覚効果は、前記各区間の画像内
における該当ヒダ上に、それぞれのマーカが表示される視覚効果を含むことができる。前
記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決定されることができる。
内に、前記ヒダを表す第１視覚効果を表示できる。第１視覚効果は、前記各区間の画像内
における該当ヒダ上に、それぞれのマーカが表示される視覚効果を含むことができる。前
記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決定されることができる。
【0072】
ここで、プロセッサ１４０は、前記各区間の画像の導入部で、前述した方法によって少
なくとも１つのヒダを認識し、前記少なくとも１つのヒダ別に血管パターンを認識し、前
記内視鏡２０が、それぞれの区間の導入部を通過しながら撮影する画像を通じて、前記認
識された血管パターンがある場合に、該当血管パターンの位置にヒダがあるものと判断で
きる。その後、プロセッサ１４０は、前記判断されたヒダに対して第１視覚効果を表示し
、専門医がヒダを確認し易くすることができる。
なくとも１つのヒダを認識し、前記少なくとも１つのヒダ別に血管パターンを認識し、前
記内視鏡２０が、それぞれの区間の導入部を通過しながら撮影する画像を通じて、前記認
識された血管パターンがある場合に、該当血管パターンの位置にヒダがあるものと判断で
きる。その後、プロセッサ１４０は、前記判断されたヒダに対して第１視覚効果を表示し
、専門医がヒダを確認し易くすることができる。
【0073】
より詳細には、プロセッサ１４０は、前記第１区間に、前記ヒダを表す第１視覚効果を
表示できる。ここで、前記内視鏡２０は、前記専門医の動作によって、第１区間において
、前記第１視覚効果にしたがって、大腸内のヒダを１つずつ確認しながら大腸の内部へと
移動されうる。
表示できる。ここで、前記内視鏡２０は、前記専門医の動作によって、第１区間において
、前記第１視覚効果にしたがって、大腸内のヒダを１つずつ確認しながら大腸の内部へと
移動されうる。
【0074】
一例として、図４ａを参照すると、プロセッサ１４０は、前記第１区間のヒダのそれぞ
れの大きさ毎に、矢印状のマーカにより、第１視覚効果を表示できる。従って、ヒダの大
きさが大きい第１ヒダ４０１の矢印状の大きさが、ヒダの大きさが小さい第２ヒダ４０２
の矢印状の大きさよりも小さいのでありうる。
れの大きさ毎に、矢印状のマーカにより、第１視覚効果を表示できる。従って、ヒダの大
きさが大きい第１ヒダ４０１の矢印状の大きさが、ヒダの大きさが小さい第２ヒダ４０２
の矢印状の大きさよりも小さいのでありうる。
【0075】
次に、図４ｂを参照すると、プロセッサ１４０は、前記第１区間のヒダのそれぞれの大
きさ別に、メッセージ状のマーカにより第１視覚効果を表示できる。従って、ヒダの大き
さが大きい第１ヒダ４０１についてのメッセージ状の大きさが、ヒダの大きさが小さい第
２ヒダ４０２についてのメッセージ状の大きさよりも小さいのでありうる。
きさ別に、メッセージ状のマーカにより第１視覚効果を表示できる。従って、ヒダの大き
さが大きい第１ヒダ４０１についてのメッセージ状の大きさが、ヒダの大きさが小さい第
２ヒダ４０２についてのメッセージ状の大きさよりも小さいのでありうる。
【0076】
次に、図４ｃを参照すると、プロセッサ１４０は、前記第１区間のヒダそれぞれの大き
さ別にブリンキング（Ｂｌｉｋｉｎｇ；点滅・明滅）することで、第１視覚効果を表示で
きる。従って、ヒダの大きさが大きい第１ヒダ４０１のブリンキングの大きさが、ヒダの
大きさが小さい第２ヒダ４０２のブリンキングの大きさよりも小さいのでありうる。
さ別にブリンキング（Ｂｌｉｋｉｎｇ；点滅・明滅）することで、第１視覚効果を表示で
きる。従って、ヒダの大きさが大きい第１ヒダ４０１のブリンキングの大きさが、ヒダの
大きさが小さい第２ヒダ４０２のブリンキングの大きさよりも小さいのでありうる。
【0077】
その次に、図４ｄを参照すると、プロセッサ１４０は、前記第１区間のヒダのそれぞれ
の大きさ別に、円状のマーカにより第１視覚効果を表示できる。従って、ヒダの大きさが
大きい第１ヒダ４０１についての円状の大きさが、ヒダの大きさが小さい第２ヒダ４０２
についての円状の大きさよりも小さいのでありうる。
の大きさ別に、円状のマーカにより第１視覚効果を表示できる。従って、ヒダの大きさが
大きい第１ヒダ４０１についての円状の大きさが、ヒダの大きさが小さい第２ヒダ４０２
についての円状の大きさよりも小さいのでありうる。
【0078】
ここで、専門医は、プロセッサ１４０がディスプレイ部１２０を介して表示する第１視
覚効果に基づいて、各区間の画像にて少なくとも１つのヒダを容易に認識し、前記内視鏡
２０により、前記ヒダのそれぞれの裏面部を確認し、前記裏面部を撮影できる。
覚効果に基づいて、各区間の画像にて少なくとも１つのヒダを容易に認識し、前記内視鏡
２０により、前記ヒダのそれぞれの裏面部を確認し、前記裏面部を撮影できる。
【0079】
従って、プロセッサ１４０は、前記各区間の画像毎に、前記ヒダの裏面部が撮影されて
いるか否かを判断できる。
いるか否かを判断できる。
【0080】
その後、図３の区間導入フレームＢ（３０３）を参照すると、プロセッサ１４０は、前
記判断の結果、前記各区間の画像のうち、前記ヒダの裏面部が撮影されていない少なくと
も１つの区間の画像内に、該当ヒダの裏面部が撮影されていないことを表す第２視覚効果
を表示できる。前記第２視覚効果は、前記各区間の画像内における該当ヒダの裏面部上に
、それぞれのマーカが表示される視覚効果を含むことができる。前記それぞれのマーカの
大きさは、該当ヒダの裏面部の大きさに基づいて決定されうる。
記判断の結果、前記各区間の画像のうち、前記ヒダの裏面部が撮影されていない少なくと
も１つの区間の画像内に、該当ヒダの裏面部が撮影されていないことを表す第２視覚効果
を表示できる。前記第２視覚効果は、前記各区間の画像内における該当ヒダの裏面部上に
、それぞれのマーカが表示される視覚効果を含むことができる。前記それぞれのマーカの
大きさは、該当ヒダの裏面部の大きさに基づいて決定されうる。
【0081】
ここで、前記内視鏡２０は、第１区間において、前記第２視覚効果によって大腸内のヒ
ダを１つずつ確認しながら大腸の内部に移動できる。具体的には、前記内視鏡２０が前記
領域毎に、前記ヒダのそれぞれの裏面を認識した後、前記領域毎に、前記領域の始まる開
始地点に戻ってから、前記領域毎に、前記裏面部が撮影されていない少なくとも１つのヒ
ダに対して、第２視覚効果によって漏れなく確認することができる。
ダを１つずつ確認しながら大腸の内部に移動できる。具体的には、前記内視鏡２０が前記
領域毎に、前記ヒダのそれぞれの裏面を認識した後、前記領域毎に、前記領域の始まる開
始地点に戻ってから、前記領域毎に、前記裏面部が撮影されていない少なくとも１つのヒ
ダに対して、第２視覚効果によって漏れなく確認することができる。
【0082】
まず、図５ａを参照すると、プロセッサ１４０は、前記第１区間の、ヒダの裏面部が撮
影されていない該当ヒダのそれぞれの大きさ別に、矢印状のマーカにより第２視覚効果を
表示できる。従って、ヒダの大きさが大きい第１ヒダ５０１についての矢印状の大きさが
、ヒダの大きさが小さい第２ヒダ５０２についての矢印状の大きさよりも小さいのであり
うる。
影されていない該当ヒダのそれぞれの大きさ別に、矢印状のマーカにより第２視覚効果を
表示できる。従って、ヒダの大きさが大きい第１ヒダ５０１についての矢印状の大きさが
、ヒダの大きさが小さい第２ヒダ５０２についての矢印状の大きさよりも小さいのであり
うる。
【0083】
次に、図５ｂを参照すると、プロセッサ１４０は、前記第１区間の、ヒダの裏面部が撮
影されていない該当ヒダのそれぞれの大きさ別に、メッセージ状のマーカにより第２視覚
効果を表示できる。従って、ヒダの大きさが大きい第１ヒダ５０１についてのメッセージ
状の大きさが、ヒダの大きさが小さい第２ヒダ５０２についてのメッセージ状の大きさよ
りも小さいのでありうる。
影されていない該当ヒダのそれぞれの大きさ別に、メッセージ状のマーカにより第２視覚
効果を表示できる。従って、ヒダの大きさが大きい第１ヒダ５０１についてのメッセージ
状の大きさが、ヒダの大きさが小さい第２ヒダ５０２についてのメッセージ状の大きさよ
りも小さいのでありうる。
【0084】
その次に、図５ｃを参照すると、プロセッサ１４０は、前記第１区間の、ヒダの裏面部
が撮影されていない該当ヒダのそれぞれの大きさ別に、ブリンキング（Ｂｌｉｎｋｉｎｇ
）することで、第２視覚効果を表示できる。従って、ヒダの大きさが大きい第１ヒダ５０
１についてのブリンキングの大きさが、ヒダの大きさが小さい第２ヒダ５０２についての
ブリンキングの大きさよりも小さいのでありうる。
が撮影されていない該当ヒダのそれぞれの大きさ別に、ブリンキング（Ｂｌｉｎｋｉｎｇ
）することで、第２視覚効果を表示できる。従って、ヒダの大きさが大きい第１ヒダ５０
１についてのブリンキングの大きさが、ヒダの大きさが小さい第２ヒダ５０２についての
ブリンキングの大きさよりも小さいのでありうる。
【0085】
その次に、図５ｄを参照すると、プロセッサ１４０は、前記第１区間の、ヒダの裏面部
が撮影されていない該当ヒダのそれぞれの大きさ別に、円状のマーカにより第２視覚効果
を表示できる。従って、ヒダの大きさが大きい第１ヒダ５０１についての円状の大きさが
、ヒダの大きさが小さい第２ヒダ５０２についての円状の大きさよりも小さいのでありう
る。
が撮影されていない該当ヒダのそれぞれの大きさ別に、円状のマーカにより第２視覚効果
を表示できる。従って、ヒダの大きさが大きい第１ヒダ５０１についての円状の大きさが
、ヒダの大きさが小さい第２ヒダ５０２についての円状の大きさよりも小さいのでありう
る。
【0086】
プロセッサ１４０は、前記第２視覚効果に基づいて、内視鏡２０によって前記該当ヒダ
の裏面部が撮影された場合、前記第２視覚効果を削除できる。これにより、プロセッサ１
４０は、専門医が内視鏡２０によって確認したヒダと、確認していないヒダに対して、第
１視覚効果又は第２視覚効果を通じて確実に提供することで、確認せずにパスするヒダが
なく、全てのヒダを確認できるようにして、大腸検査の正確度を向上させることができる
。
の裏面部が撮影された場合、前記第２視覚効果を削除できる。これにより、プロセッサ１
４０は、専門医が内視鏡２０によって確認したヒダと、確認していないヒダに対して、第
１視覚効果又は第２視覚効果を通じて確実に提供することで、確認せずにパスするヒダが
なく、全てのヒダを確認できるようにして、大腸検査の正確度を向上させることができる
。
【0087】
【0088】
まず、プロセッサ１４０は、通信部１１０を介してリアルタイムに受信した、被検者の
大腸に投入された内視鏡から撮影された画像内にて、前記大腸内の少なくとも１つのヒダ
が含まれている各区間の画像を認識できる（Ｓ６０１）。
大腸に投入された内視鏡から撮影された画像内にて、前記大腸内の少なくとも１つのヒダ
が含まれている各区間の画像を認識できる（Ｓ６０１）。
【0089】
ここで、プロセッサ１４０は、前記内視鏡によって、前記大腸の内部に照射される光に
基づいて前記ヒダを認識できる。また、プロセッサ１４０は、ディープラーニングモデル
により前記各区間の画像を認識できる。ここで、前記ディープラーニングモデルは、外部
のアノテータから得られた複数の被検者の大腸画像内のヒダデータと、前記大腸内の、前
記照射された光による陰影変化量及び血管パターンに基づいて機械学習されたモデルであ
り得る。
基づいて前記ヒダを認識できる。また、プロセッサ１４０は、ディープラーニングモデル
により前記各区間の画像を認識できる。ここで、前記ディープラーニングモデルは、外部
のアノテータから得られた複数の被検者の大腸画像内のヒダデータと、前記大腸内の、前
記照射された光による陰影変化量及び血管パターンに基づいて機械学習されたモデルであ
り得る。
【0090】
プロセッサ１４０は、前記各区間の画像内に前記ヒダを表す第１視覚効果を表示できる
（Ｓ６０２）。
（Ｓ６０２）。
【0091】
前記第１視覚効果は、前記各区間の画像内の該当ヒダ上に、それぞれのマーカが表示さ
れる視覚効果を含み、前記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決
定されうる。
れる視覚効果を含み、前記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決
定されうる。
【0092】
プロセッサ１４０は、前記各区間の画像毎に、前記ヒダの裏面部が撮影されているか否
かを判断できる（Ｓ６０３）。
かを判断できる（Ｓ６０３）。
【0093】
プロセッサ１４０は、前記判断の結果、前記各区間の画像のうち、前記ヒダの裏面部が
撮影されていない少なくとも１つの区間の画像内に、該当ヒダの裏面部が撮影されていな
いことを表す第２視覚効果を表示できる（Ｓ６０４）。
撮影されていない少なくとも１つの区間の画像内に、該当ヒダの裏面部が撮影されていな
いことを表す第２視覚効果を表示できる（Ｓ６０４）。
【0094】
プロセッサ１４０は、前記該当ヒダの裏面部が撮影された場合、前記第２視覚効果を削
除できる（Ｓ６０５）。
除できる（Ｓ６０５）。
【0095】
プロセッサ１４０は、該当ヒダの裏面部が撮影された場合、該当ヒダに表示される前記
第２視覚効果を削除して、該当ヒダの裏面部に対する撮影が完了したことを、専門医が容
易に分かるように提供できる。
第２視覚効果を削除して、該当ヒダの裏面部に対する撮影が完了したことを、専門医が容
易に分かるように提供できる。
【0096】
図６は、段階Ｓ６０１～段階Ｓ６０５を順次実行するものと記載しているが、これは本
実施例の技術的思想を例示的に説明したものに過ぎないものであって、本実施例が属する
技術分野において通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しな
い範囲で図６に記載された手順を変更して実行するか、段階Ｓ６０１～段階Ｓ６０５のう
ちの何れか１つの段階を並列的に実行するものに多様に修正及び変形して適用可能である
ので、図６は時系列的な順序に限定されるものではない。
実施例の技術的思想を例示的に説明したものに過ぎないものであって、本実施例が属する
技術分野において通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しな
い範囲で図６に記載された手順を変更して実行するか、段階Ｓ６０１～段階Ｓ６０５のう
ちの何れか１つの段階を並列的に実行するものに多様に修正及び変形して適用可能である
ので、図６は時系列的な順序に限定されるものではない。
【0097】
以上で前述した本発明に係る方法は、ハードウェアであるサーバと結合されて実行され
るためにプログラム（又はアプリケーション）に具現して媒体に格納されることができる
。
るためにプログラム（又はアプリケーション）に具現して媒体に格納されることができる
。
【0098】
前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムに具現
した前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コン
ピュータの装置インタフェースを介して読み取られるＣ、Ｃ++、ＪＡＶＡ（登録商標）、
機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる
。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連す
る機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前
記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制
御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータ
のプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータの内部又
は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコー
ドを更に含むことができる。更に、前記コンピュータのプロセッサが前記機能を実行させ
るために、遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必
要な場合、コードは前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコ
ンピュータやサーバなどとどのように通信すべきか、通信時に如何なる情報やメディアを
送受信すべきかなどに対する通信関連のコードを更に含むことができる。
した前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コン
ピュータの装置インタフェースを介して読み取られるＣ、Ｃ++、ＪＡＶＡ（登録商標）、
機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる
。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連す
る機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前
記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制
御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータ
のプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータの内部又
は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコー
ドを更に含むことができる。更に、前記コンピュータのプロセッサが前記機能を実行させ
るために、遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必
要な場合、コードは前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコ
ンピュータやサーバなどとどのように通信すべきか、通信時に如何なる情報やメディアを
送受信すべきかなどに対する通信関連のコードを更に含むことができる。
【0099】
前記格納される媒体は、レジスタ、キャッシュ、メモリなどといった短時間でデータを
格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎ
ｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、Ｒ
ＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあるが
、これに限らない。即ち、前記プログラムは、前記コンピュータが接続可能な多様なサー
バ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されうる
。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散し、分散方
式でコンピュータが読み取れるコードが格納されうる。
格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎ
ｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、Ｒ
ＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあるが
、これに限らない。即ち、前記プログラムは、前記コンピュータが接続可能な多様なサー
バ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されうる
。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散し、分散方
式でコンピュータが読み取れるコードが格納されうる。
【0100】
本発明の実施例と関連して説明された方法又はアルゴリズムの段階は、ハードウェアで
直接具現するか、ハードウェアにより実行されるソフトウェアモジュールで具現するか、
又はこれらの結合により具現することができる。ソフトウェアモジュールはＲＡＭ（Ｒａ
ｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、
ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅ
ｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラ
ッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、脱着型ディスク、ＣＤ-Ｒ
ＯＭ、又は本発明が属する技術分野において周知されている任意の形態のコンピュータ読
み取り可能な記録媒体に常に存在し得る。
直接具現するか、ハードウェアにより実行されるソフトウェアモジュールで具現するか、
又はこれらの結合により具現することができる。ソフトウェアモジュールはＲＡＭ（Ｒａ
ｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、
ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅ
ｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラ
ッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、脱着型ディスク、ＣＤ-Ｒ
ＯＭ、又は本発明が属する技術分野において周知されている任意の形態のコンピュータ読
み取り可能な記録媒体に常に存在し得る。
【0101】
以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野に
おける通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の
具体的な形態に実施され得るということが理解できるだろう。従って、以上で述べた実施
例はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。
おける通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の
具体的な形態に実施され得るということが理解できるだろう。従って、以上で述べた実施
例はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図4c】
【図4d】
【図5a】
【図5b】
【図5c】
【図5d】
【図6】
【手続補正書】
【提出日】2024-09-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
装置によって行われるディープラーニングモデル基盤の視覚効果を用いた大腸内のヒダ認識方法において、
前記装置のプロセッサを通じて、大腸が撮影された画像内の血管パターンを認識する段階と、
前記認識された血管パターンに基づいて前記画像内でヒダのある領域を認識する段階と、
前記装置のプロセッサを通じて、前記認識されたヒダの裏面部が撮影されていないものと判断された場合、前記画像内で前記撮影されていないヒダの裏面部上に視覚効果を表示する段階と、
を含む方法。
前記装置のプロセッサを通じて、大腸が撮影された画像内の血管パターンを認識する段階と、
前記認識された血管パターンに基づいて前記画像内でヒダのある領域を認識する段階と、
前記装置のプロセッサを通じて、前記認識されたヒダの裏面部が撮影されていないものと判断された場合、前記画像内で前記撮影されていないヒダの裏面部上に視覚効果を表示する段階と、
を含む方法。
【請求項2】
前記認識段階は、
前記プロセッサを通じて、前記内視鏡によって前記大腸の内部に照射される光に基づいて行われることを特徴とする請求項１に記載の方法。
前記プロセッサを通じて、前記内視鏡によって前記大腸の内部に照射される光に基づいて行われることを特徴とする請求項１に記載の方法。
【請求項3】
前記認識段階は、前記プロセッサを通じて、ディープラーニングモデルから出力された各区間の画像を認識し、
前記ディープラーニングモデルは、外部のアノテータから得られた複数の被験者の大腸画像内のヒダデータと、前記大腸の内部に照射される光による陰影変化量及び血管に基づいて機械学習されたモデルであることを特徴とする請求項２に記載の方法。
前記ディープラーニングモデルは、外部のアノテータから得られた複数の被験者の大腸画像内のヒダデータと、前記大腸の内部に照射される光による陰影変化量及び血管に基づいて機械学習されたモデルであることを特徴とする請求項２に記載の方法。
【請求項4】
前記視覚効果は、各区間の画像内における該当ヒダ上に、それぞれのマーカが表示される視覚効果を含み、
前記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決定されることを特徴とする請求項３に記載の方法。
前記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決定されることを特徴とする請求項３に記載の方法。
【請求項5】
前記該当ヒダの裏面部が撮影されたものと判断された場合、前記視覚効果を削除する段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項6】
ディープラーニングモデル基盤の視覚効果を用いた大腸内のヒダ認識のための装置において、
大腸が撮影された画像を表示するディスプレイ部と、
前記画像の表示と関連する動作を制御するプロセッサとを含み、
前記プロセッサは、
前記画像内の血管パターンを認識し、
前記認識された血管パターンに基づいて前記画像内でヒダのある領域を認識し、
前記ヒダの裏面部が撮影されていないものと判断された場合、前記画像内で前記撮影されていないヒダの裏面部上に視覚効果を表示するように前記ディスプレイ部を制御することを特徴とする装置。
大腸が撮影された画像を表示するディスプレイ部と、
前記画像の表示と関連する動作を制御するプロセッサとを含み、
前記プロセッサは、
前記画像内の血管パターンを認識し、
前記認識された血管パターンに基づいて前記画像内でヒダのある領域を認識し、
前記ヒダの裏面部が撮影されていないものと判断された場合、前記画像内で前記撮影されていないヒダの裏面部上に視覚効果を表示するように前記ディスプレイ部を制御することを特徴とする装置。
【請求項7】
前記プロセッサは、
前記内視鏡によって前記大腸の内部に照射される光に基づいて行われることを特徴とする請求項６に記載の装置。
前記内視鏡によって前記大腸の内部に照射される光に基づいて行われることを特徴とする請求項６に記載の装置。
【請求項8】
前記プロセッサは、
ディープラーニングモデルから出力された各区間の画像を認識し、
前記ディープラーニングモデルは、
外部のアノテータから得られた複数の被験者の大腸画像内のヒダデータと、前記大腸の内部に照射される光による陰影変化量及び血管に基づいて機械学習されたモデルであることを特徴とする請求項７に記載の装置。
ディープラーニングモデルから出力された各区間の画像を認識し、
前記ディープラーニングモデルは、
外部のアノテータから得られた複数の被験者の大腸画像内のヒダデータと、前記大腸の内部に照射される光による陰影変化量及び血管に基づいて機械学習されたモデルであることを特徴とする請求項７に記載の装置。
【請求項9】
前記視覚効果は、各区間の画像内における該当ヒダ上に、それぞれのマーカが表示される視覚効果を含み、
前記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決定されることを特徴とする請求項８に記載の装置。
前記それぞれのマーカの大きさは、該当ヒダの大きさに基づいて決定されることを特徴とする請求項８に記載の装置。
【請求項10】
前記該当ヒダの裏面部が撮影された場合、前記視覚効果を更に削除することを特徴とする請求項６に記載の装置。