特許 7571988 胆嚢ポリープの診断に対する情報提供方法及びそれを用いた胆嚢ポリープの診断に対する情報提供用デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】胆嚢ポリープの診断に対する情報提供方法及びそれを用いた胆嚢ポリープの診断に対する情報提供用デバイス

(51)【国際特許分類】

   A61B 8/12 20060101AFI20241016BHJP

【ＦＩ】

A61B8/12

【請求項の数】 16

(21)【出願番号】P 2023504125

(86)(22)【出願日】2021-07-20

(65)【公表番号】

(43)【公表日】2023-09-19

(86)【国際出願番号】 KR2021009346

(87)【国際公開番号】W WO2022019616

(87)【国際公開日】2022-01-27

【審査請求日】2023-01-30

(31)【優先権主張番号】10-2020-0090945

(32)【優先日】2020-07-22

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】509016896

【氏名又は名称】インダストリ－アカデミック コオペレーション ファウンデイション， ヨンセイ ユニヴァーシティ

【氏名又は名称原語表記】Ｉｎｄｕｓｔｒｙ－Ａｃａｄｅｍｉｃ Ｃｏｏｐｅｒａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ， Ｙｏｎｓｅｉ Ｕｎｉｖｅｒｓｉｔｙ

(73)【特許権者】

【識別番号】523020992

【氏名又は名称】ガチョン ユニバーシティ オブ インダストリー－アカデミック コオペレーション ファウンデーション

(73)【特許権者】

【識別番号】523021003

【氏名又は名称】ジーアイエル メディカル センター

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】チョ、ジェ ヒー

(72)【発明者】

【氏名】ジャン、スン イル

(72)【発明者】

【氏名】キム、クァン ギ

(72)【発明者】

【氏名】キム、ヨン ジェ

(72)【発明者】

【氏名】キム、エウイ ジョー

【審査官】宮川 数正

(56)【参考文献】

【文献】特開２０２０－０９３０９５（ＪＰ，Ａ）

【文献】JEONG, Younbeom et al.，Deep learning-based decision support system for the diagnosis of neoplastic gallbladder polyps on ultrasonography: Preliminary results，Scientific Reports，2020年05月07日，Vol. 10, Article number 7700，pp. 1-10，DOI: 10.1038/s41598-020-64205-y

【文献】WU, Chia-Hung et al.，Algorithmic approaches to the diagnosis of gallbladder intraluminal lesions on ultrasonography，Journal of the Chinese Medical Association，2018年02月21日，Volume 81, Issue 4，Pages 297-304，https://doi.org/10.1016/j.jcma.2018.01.002

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００－８／１５

(57)【特許請求の範囲】

【請求項1】

プロセッサが具現するポリープ診断に対する情報提供方法であって、
前記プロセッサが個体の胆嚢部位およびスケールバー（ｓｃａｌｅ ｂａｒ）を含む超音波医療映像を受信するステップ；
前記プロセッサが前記超音波医療映像に対してＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を決定するステップ；
前記プロセッサが前記スケールバーに基づいてピクセル当たりの大きさを算出し、前記ピクセル当たりの大きさに基づいて、目標大きさを決定し、前記目標大きさに基づいて前記ＲＯＩをクロッピングするステップ；
前記プロセッサが前記超音波医療映像に基づいて胆嚢ポリープの発病の如何を決定するように構成された第１評価モデルを利用して、前記ＲＯＩに基づいて前記個体の胆嚢ポリープ発病の如何を決定するステップ；
前記プロセッサが前記超音波医療映像内で胆嚢ポリープが決定された場合、胆嚢ポリープの特性を分類するように構成された第２評価モデルに基づいて、前記胆嚢ポリープに対する特性を決定するステップを含む、胆嚢ポリープの診断に対する情報提供方法。

【請求項2】

前記個体の胆嚢ポリープ発病の如何を決定するステップは、
前記プロセッサが前記超音波医療映像に基づいて胆嚢ポリープまたは胆嚢結石（ｇａｌｌｂｌａｄｄｅｒ ｓｔｏｎｅｓ）を分類するようにさらに学習された前記第１評価モデルを利用して、胆嚢ポリープまたは胆嚢結石を決定するステップを含む、請求項１に記載の胆嚢ポリープの診断に対する情報提供方法。

【請求項3】

前記胆嚢ポリープに対する特性を決定するステップは、
前記プロセッサが胆嚢ポリープ領域に対して非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを分類するように構成された前記第２評価モデルを利用して、非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを決定するステップを含む、請求項２に記載の胆嚢ポリープの診断に対する情報提供方法。

【請求項4】

前記胆嚢ポリープに対する特性を決定するステップ以後に、
腫瘍性胆嚢ポリープが決定された場合、前記プロセッサが腫瘍性胆嚢ポリープ領域に対して腺癌性胆嚢ポリープまたは腺腫性胆嚢ポリープを分類するように構成された第３評価モデルを利用して、腺癌性胆嚢ポリープまたは腺腫性胆嚢ポリープを決定するステップをさらに含む、請求項３に記載の胆嚢ポリープの診断に対する情報提供方法。

【請求項5】

前記スケールバーは、予め決定された大きさを有する目盛りを含み、
前記ピクセル当たりの大きさを算出するステップは、
前記プロセッサが前記超音波医療映像のスケールバーから選択された二つの目盛りそれぞれに対するｘ軸の座標値を決定するステップ；
前記プロセッサが前記ｘ軸の座標に基づいてピクセル距離を算出するステップ、及び
前記プロセッサが前記ピクセル距離及び前記予め決定された大きさに基づいて前記ピクセル当たりの大きさを算出するステップを含む、請求項１に記載の胆嚢ポリープの診断に対する情報提供方法。

【請求項6】

前記スケールバーは、予め決定された大きさを有する目盛りを含み、
前記ピクセル当たりの大きさを算出するステップは、
前記プロセッサが前記超音波医療映像内で前記スケールバーをクロッピングするステップ；
前記プロセッサが連結要素（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ）アルゴリズムを利用して、クロッピングされたスケールバーの目盛りに基づいて目盛りの位置を決定するステップ、及び
前記プロセッサが前記目盛りの位置及び前記予め決定された大きさに基づいて前記ピクセル当たりの大きさを算出するステップを含む、請求項１に記載の胆嚢ポリープの診断に対する情報提供方法。

【請求項7】

前記超音波医療映像は、
内視鏡超音波（ｅｎｄｏｓｃｏｐｉｃ ｕｌｔｒａｓｏｕｎｄ、ＥＵＳ）医療映像である、請求項１に記載の胆嚢ポリープの診断に対する情報提供方法。

【請求項8】

前記プロセッサが胆嚢ポリープ発病の如何を決定するうちに、前記第１評価モデルに対する関心領域を前記超音波医療映像に表示して提供するか、
前記プロセッサが前記胆嚢ポリープの特性を分類するうちに、前記第２評価モデルに対する関心領域を前記超音波医療映像に表示して提供するステップをさらに含む、請求項１に記載の胆嚢ポリープの診断に対する情報提供方法。

【請求項9】

個体の胆嚢部位およびスケールバー（ｓｃａｌｅ ｂａｒ）を含む超音波医療映像を受信するように構成された通信部、及び
前記通信部と連結されたプロセッサを含み、
前記プロセッサは、
前記超音波医療映像に対してＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を決定し、
前記スケールバーに基づいてピクセル当たりの大きさを算出し、前記ピクセル当たりの大きさに基づいて、目標大きさを決定し、前記目標大きさに基づいて前記ＲＯＩをクロッピングし、
前記超音波医療映像に基づいて胆嚢ポリープの発病の如何を決定するように構成された第１評価モデルを利用して、前記ＲＯＩに基づいて前記個体の胆嚢ポリープ発病の如何を決定し、前記超音波医療映像内で胆嚢ポリープが決定された場合、胆嚢ポリープの特性を分類するように構成された第２評価モデルに基づいて、前記胆嚢ポリープに対する特性を決定するように構成された、胆嚢ポリープの診断に対する情報提供用デバイス。

【請求項10】

前記プロセッサは、
前記超音波医療映像に基づいて胆嚢ポリープまたは胆嚢結石（ｇａｌｌｂｌａｄｄｅｒ ｓｔｏｎｅｓ）を分類するようにさらに学習された前記第１評価モデルを利用して、胆嚢ポリープまたは胆嚢結石を決定するように構成された、請求項９に記載の胆嚢ポリープの診断に対する情報提供用デバイス。

【請求項11】

前記プロセッサは、
胆嚢ポリープ領域に対して非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを分類するように構成された前記第２評価モデルを利用して、非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを決定するようにさらに構成された、請求項１０に記載の胆嚢ポリープの診断に対する情報提供用デバイス。

【請求項12】

前記プロセッサは、
腫瘍性胆嚢ポリープが決定された場合、腫瘍性胆嚢ポリープ領域に対して腺癌性胆嚢ポリープまたは腺腫性胆嚢ポリープを分類するように構成された第３評価モデルを利用して、腺癌性胆嚢ポリープまたは腺腫性胆嚢ポリープを決定するようにさらに構成された、請求項１１に記載の胆嚢ポリープの診断に対する情報提供用デバイス。

【請求項13】

前記スケールバーは、予め決定された大きさを有する目盛りを含み、
前記プロセッサは、
前記超音波医療映像のスケールバーから選択された二つの目盛りそれぞれに対するｘ軸の座標値を決定し、前記ｘ軸の座標に基づいてピクセル距離を算出し、前記ピクセル距離及び前記予め決定された大きさに基づいて前記ピクセル当たりの大きさを算出するようにさらに構成された、請求項９に記載の胆嚢ポリープの診断に対する情報提供用デバイス。

【請求項14】

前記スケールバーは、予め決定された大きさを有する目盛りを含み、
前記プロセッサは、
前記超音波医療映像内で前記スケールバーをクロッピングし、連結要素（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ）アルゴリズムを利用して、クロッピングされたスケールバーの目盛りに基づいて目盛りの位置を決定し、前記目盛りの位置及び前記予め決定された大きさに基づいて前記ピクセル当たりの大きさを算出するようにさらに構成された、請求項９に記載の胆嚢ポリープの診断に対する情報提供用デバイス。

【請求項15】

前記超音波医療映像は、
内視鏡超音波（ｅｎｄｏｓｃｏｐｉｃ ｕｌｔｒａｓｏｕｎｄ、ＥＵＳ）医療映像である、請求項９に記載の胆嚢ポリープの診断に対する情報提供用デバイス。

【請求項16】

前記プロセッサは、
胆嚢ポリープ発病の如何を決定するうちに、前記第１評価モデルに対する関心領域を前記超音波医療映像に表示して提供するか、
前記胆嚢ポリープの特性を分類するうちに、前記第２評価モデルに対する関心領域を前記超音波医療映像に表示して提供するようにさらに構成された、請求項９に記載の胆嚢ポリープの診断に対する情報提供用デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、胆嚢ポリープの診断に対する情報提供方法及びそれを用いたデバイスに関し、より具体的には、超音波医療映像に基づいて胆嚢ポリープを予測するように構成された方法及びデバイスに関する。

【背景技術】

【0002】

胆嚢ポリープ（ｇａｌｌｂｌａｄｄｅｒ ｐｏｌｙｐｓ、ＧＢ）は、胆石（ｇａｌｌｂｌａｄｄｅｒ ｓｔｏｎｅｓ）を除いて胆嚢内腔に突出する全ての形態の腫塊、またはこぶを意味し、多様な種類と形態の病変を包括し得る。このとき、胆嚢ポリープは、非－腫瘍性ポリープ（ｎｏｎ－ｎｅｏｐｌａｓｔｉｃ ＧＢ ｐｏｌｙｐｓ）と腫瘍性ポリープ（ｎｅｏｐｌａｓｔｉｃ ＧＢ ｐｏｌｙｐｓ）に分類され得る。

【0003】

より具体的に、非－腫瘍性ポリープであるコレステロールポリープが腫瘍性ポリープよりよく発病し得る。このとき、非－腫瘍性ポリープは、大きさが大体１０ｍｍ以下であり、多発性であり得る。一方、腫瘍性ポリープは、良性腫瘍である腺腫と悪性ポリープに区別され得、大体単一病変であり、大きさが１０ｍｍ以上であり得る。

【0004】

一方、胆嚢ポリープは、腹部超音波検査を通して診断が可能であり得る。しかし、腹部超音波では、腫瘍性胆嚢ポリープと非－腫瘍性胆嚢ポリープを区別することに限界がある。

【0005】

特に、２種類のポリープを区別することは、適切な治療法を選択するにあたって非常に重要な問題であり得る。

【0006】

医療サービスの向上等のために診断の正確性がさらに要求されているにつれ、胆嚢ポリープを高い正確度で診断し、分類できる新たな診断方法の開発が要求される。

【0007】

発明の背景になる技術は、本発明に対する理解をより容易にするために作成された。発明の背景になる技術に記載の事項が先行技術として存在すると認めるものと理解されてはならない。

【発明の概要】

【発明が解決しようとする課題】

【0008】

前述した限界を克服するための方案として、非－腫瘍性胆嚢ポリープ及び腫瘍性胆嚢ポリープの区別のための造影増強超音波（ｃｏｎｔｒａｓｔ－ｅｎｈａｎｃｅｄ ｕｌｔｒａｓｏｕｎｄ、ＣＥＵＳ）の利用が適用された。

【0009】

このとき、造影増強超音波は、一般の腹部超音波に比して２種類の胆嚢ポリープを区別する能力が改善されたが、大きさが２ｃｍ未満のポリープを区別することは、依然として限界があるものと現れた。

【0010】

一方、本発明の発明者らは、このような限界を克服するために、内視鏡の先端部にＵＳプローブ（ｕｌｔｒａｓｏｎｏｇｒａｍ ｐｒｏｂｅ）が取り付けられて高解像度の医療映像を提供し、低エコーフォーカス（ｈｙｐｏｅｃｈｏｉｃ ｆｏｃｉ）、低エコースポット（ｈｙｐｅｒｅｃｈｏｉｃ ｓｐｏｔ）、ミクロシスティス（ｍｉｃｒｏｃｙｓｔ）及びドップラー流れ（ｄｏｐｐｌｅｒ ｆｌｏｗ）を提供し、複雑なスコアリングシステム（ｓｃｏｒｉｎｇ ｓｙｓｔｅｍｓ）の特性を有する内視鏡超音波（ｅｎｄｏｓｃｏｐｉｃ ｕｌｔｒａｓｏｕｎｄ、ＥＵＳ）を胆嚢ポリープ診断にさらに適用しようとした。

【0011】

このとき、本発明の発明者らは、内視鏡超音波の特性により非－腫瘍性胆嚢ポリープ及び腫瘍性胆嚢ポリープに対する信頼度の高い診断が可能であることを認知することができた。

【0012】

さらに、本発明の発明者らは、人工知能アルゴリズム基盤のシステムを導入することで従来の腹部超音波に基づく胆嚢ポリープ診断システムが有する限界及び問題点を補完しようとした。そこで、本発明の発明者らは、医療人の熟練度に関係なく内視鏡超音波医療映像に対する客観的な分析が可能であることを認知することができた。

【0013】

より具体的に、本発明の発明者らは、胆嚢ポリープ診断システムに対して、内視鏡超音波医療映像に基づいて胆嚢ポリープを分類するように構成されたディープラーニングモデルを適用しようとした。

【0014】

特に、本発明の発明者らは、ディープラーニングモデルの学習において、医療映像内にごく一部存在する小さなポリープに対する分類の正確度を高めるための方案として、病変を含むＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を設定した後、これをクロッピングして利用しようとした。

【0015】

このとき、本発明の発明者らは、内視鏡超音波医療映像の場合、ピクセル大きさに対する情報を持っていないという点を認知し、これを解決するための方案として内視鏡超音波医療映像に表示されたスケールバー（ｓｃａｌｅ ｂａｒ）を利用できることを認知することができた。

【0016】

その結果、ピクセル当たりの実際の大きさが推定され得るにつれ、目標大きさを有するＲＯＩ映像が獲得され得、本発明の発明者らは、胆嚢ポリープ診断システムが疑い病変の大きさ情報を反映することで高い正確度で胆嚢ポリープを分類できることを確認することができた。

【0017】

さらに、本発明の発明者らは、前記ディープラーニングモデルに対して、単一の手順により胆嚢ポリープを分類するのではなく、多数の手順にわたって腫瘍性ポリープが腺腫ポリープであるか腺癌ポリープであるかを分類するように構築することができた。

【0018】

そこで、本発明の発明者らは、胆嚢ポリープ診断にあたってポリープのサブタイプのような細部的な特徴を提供することで、胆嚢ポリープの診断正確度を高めることを期待することができた。

【0019】

本発明の発明者らは、新たなポリープ診断システムを提供することで、不正確な映像による医療陣の胆嚢ポリープの進行に対する誤った解釈を防止し、実際の臨床実務において医療陣のワークフローを向上させ得ることを期待することができた。

【0020】

そこで、本発明が解決しようとする課題は、受信された超音波医療映像に対して、ディープラーニングアルゴリズムに基づく複数の評価モデルを利用して病変の如何を決定し、病変を分類するように構成された、胆嚢ポリープの診断に対する情報提供方法及びそれを用いたデバイスを提供することである。

【0021】

本発明の課題は、以上において言及した課題に制限されず、言及されていないまた他の課題は、下記の記載から当業者に明確に理解され得るだろう。

【課題を解決するための手段】

【0022】

前述したような課題を解決するために、本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供方法が提供される。本情報提供方法は、プロセッサにより具現される胆嚢ポリープの診断に対する情報提供方法であって、個体の胆嚢部位を含む超音波医療映像を受信するステップ、超音波医療映像に基づいて胆嚢ポリープの発病の如何を決定するように構成された第１評価モデルを利用して、個体の胆嚢ポリープ発病の如何を決定するステップ、超音波医療映像内で胆嚢ポリープが決定された場合、胆嚢ポリープの特性を分類するように構成された第２評価モデルに基づいて、胆嚢ポリープに対する特性を決定するステップを含むように構成される。

【0023】

本発明の特徴によれば、個体の胆嚢ポリープ発病の如何を決定するステップは、超音波医療映像に基づいて胆嚢ポリープまたは胆嚢結石（ｇａｌｌｂｌａｄｄｅｒ ｓｔｏｎｅｓ）を分類するようにさらに学習された前記第１評価モデルを利用して、胆嚢ポリープまたは胆嚢結石を決定するステップを含むことができる。

【0024】

本発明の他の特徴によれば、胆嚢ポリープに対する特性を決定するステップは、胆嚢ポリープ領域に対して非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを分類するように構成された第２評価モデルを利用して、非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを決定するステップを含むことができる。

【0025】

本発明のまた他の特徴によれば、胆嚢ポリープに対する特性を決定するステップ以後に、腫瘍性胆嚢ポリープが決定された場合、腫瘍性胆嚢ポリープ領域に対して腺癌性胆嚢ポリープまたは腺腫性胆嚢ポリープを分類するように構成された第３評価モデルを利用して、腺癌性胆嚢ポリープまたは腺腫性胆嚢ポリープを決定するステップをさらに含むことができる。

【0026】

本発明のまた他の特徴によれば、前記情報提供方法は、超音波医療映像を受信するステップ以後に、超音波医療映像に対してＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を決定するステップ、及びＲＯＩをクロッピング（ｃｒｏｐｐｉｎｇ）するステップをさらに含むことができる。

【0027】

このとき、個体の胆嚢ポリープ発病の如何を決定するステップは、第１評価モデルを利用して、ＲＯＩに基づいて個体の胆嚢ポリープ発病の如何を決定するステップを含むことができる。

【0028】

本発明のまた他の特徴によれば、超音波医療映像は、スケールバー（ｓｃａｌｅ ｂａｒ）を含み、クロッピングするステップは、スケールバーに基づいてＲＯＩを予め決定された水準にクロッピングするステップを含むことができる。

【0029】

本発明のまた他の特徴によれば、予め決定された水準にクロッピングするステップは、スケールバーに基づいてピクセル当たりの大きさを算出するステップ、ピクセル当たりの大きさに基づいて、目標大きさを決定するステップ、及び目標大きさに基づいてＲＯＩをクロッピングするステップを含むことができる。

【0030】

本発明のまた他の特徴によれば、スケールバーは、予め決定された大きさを有する目盛りを含むことができる。このとき、ピクセル当たりの大きさを算出するステップは、超音波医療映像のスケールバーから選択された二つの目盛りそれぞれに対するｘ軸の座標値を決定するステップ、ｘ軸座標に基づいてピクセル距離を算出するステップ、及びピクセル距離及び予め決定された大きさに基づいてピクセル当たりの大きさを算出するステップを含むことができる。

【0031】

本発明のまた他の特徴によれば、スケールバーは、予め決定された大きさを有する目盛りを含むことができる。このとき、ピクセル当たりの大きさを算出するステップは、超音波医療映像内でスケールバーをクロッピングするステップ、連結要素（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ）アルゴリズムを利用して、クロッピングされたスケールバーの目盛りに基づいて目盛りの位置を決定するステップ、及び目盛りの位置及び予め決定された大きさに基づいてピクセル当たりの大きさを算出するステップを含むことができる。

【0032】

本発明のまた他の特徴によれば、超音波医療映像は、内視鏡超音波（ｅｎｄｏｓｃｏｐｉｃ ｕｌｔｒａｓｏｕｎｄ、ＥＵＳ）医療映像であってよい。

【0033】

本発明のまた他の特徴によれば、前記情報提供方法は、胆嚢ポリープ発病の如何を決定するうちに、第１評価モデルに対するＲＯＩを超音波医療映像に表示して提供するか、胆嚢ポリープの特性を分類するうちに、第２評価モデルに対するＲＯＩを超音波医療映像に表示して提供するステップをさらに含むことができる。

【0034】

前述したような課題を解決するために、本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供用デバイスが提供される。本情報提供用デバイスは、個体の胆嚢部位を含む超音波医療映像を受信するように構成された通信部、及び通信部と連結されたプロセッサを含む。このとき、プロセッサは、超音波医療映像に基づいて胆嚢ポリープの発病の如何を決定するように構成された第１評価モデルを利用して、個体の胆嚢ポリープ発病の如何を決定し、超音波医療映像内で胆嚢ポリープが決定された場合、胆嚢ポリープの特性を分類するように構成された第２評価モデルに基づいて、胆嚢ポリープに対する特性を決定するように構成される。

【0035】

本発明の特徴によれば、プロセッサは、超音波医療映像に基づいて胆嚢ポリープまたは胆嚢結石（ｇａｌｌｂｌａｄｄｅｒ ｓｔｏｎｅｓ）を分類するようにさらに学習された第１評価モデルを利用して、胆嚢ポリープまたは胆嚢結石を決定するように構成され得る。

【0036】

本発明の他の特徴によれば、プロセッサは、胆嚢ポリープ領域に対して非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを分類するように構成された第２評価モデルを利用して、非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを決定するようにさらに構成され得る。

【0037】

本発明のまた他の特徴によれば、プロセッサは、腫瘍性胆嚢ポリープが決定された場合、腫瘍性胆嚢ポリープ領域に対して腺癌性胆嚢ポリープまたは腺腫性胆嚢ポリープを分類するように構成された第３評価モデルを利用して、腺癌性胆嚢ポリープまたは腺腫性胆嚢ポリープを決定するようにさらに構成され得る。

【0038】

本発明のまた他の特徴によれば、プロセッサは、超音波医療映像に対してＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を決定し、ＲＯＩをクロッピング（ｃｒｏｐｐｉｎｇ）し、１評価モデルを利用して、ＲＯＩに基づいて個体の胆嚢ポリープ発病の如何を決定するようにさらに構成され得る。

【0039】

本発明のまた他の特徴によれば、超音波医療映像は、スケールバー（ｓｃａｌｅ ｂａｒ）を含み、プロセッサは、スケールバーに基づいてＲＯＩを予め決定された水準にクロッピングするようにさらに構成され得る。

【0040】

本発明のまた他の特徴によれば、プロセッサは、スケールバーに基づいてピクセル当たりの大きさを算出し、ピクセル当たりの大きさに基づいて、目標大きさを決定し、目標大きさに基づいてＲＯＩをクロッピングするようにさらに構成され得る。

【0041】

本発明のまた他の特徴によれば、スケールバーは、予め決定された大きさを有する目盛りを含み、プロセッサは、超音波医療映像のスケールバーから選択された二つの目盛りそれぞれに対するｘ軸の座標値を決定し、ｘ軸座標に基づいてピクセル距離を算出し、ピクセル距離及び予め決定された大きさに基づいてピクセル当たりの大きさを算出するようにさらに構成され得る。

【0042】

本発明のまた他の特徴によれば、スケールバーは、予め決定された大きさを有する目盛りを含み、プロセッサは、超音波医療映像内でスケールバーをクロッピングし、連結要素（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ）アルゴリズムを利用して、クロッピングされたスケールバーの目盛りに基づいて目盛りの位置を決定し、目盛りの位置及び予め決定された大きさに基づいてピクセル当たりの大きさを算出するようにさらに構成され得る。

【0043】

本発明のまた他の特徴によれば、超音波医療映像は、内視鏡超音波（ｅｎｄｏｓｃｏｐｉｃ ｕｌｔｒａｓｏｕｎｄ、ＥＵＳ）医療映像であってよい。

【0044】

本発明のまた他の特徴によれば、プロセッサは、胆嚢ポリープ発病の如何を決定するうちに、第１評価モデルに対するＲＯＩを超音波医療映像に表示して提供するか、胆嚢ポリープの特性を分類するうちに、第２評価モデルに対するＲＯＩを超音波医療映像に表示して提供するようにさらに構成され得る。

【0045】

その他の実施例の具体的な事項は、詳細な説明及び図面に含まれている。

【発明の効果】

【0046】

本発明は、ディープラーニングモデルに基づいて超音波医療映像に対して胆嚢ポリープの如何と共に胆嚢ポリープの特性を分類するように構成された新たな胆嚢ポリープ診断システムを提供することで正確な胆嚢ポリープに対する診断結果を提供できる。

【0047】

そこで、本発明は、ディープラーニングモデルに基づく胆嚢ポリープ診断システムを提供することで、医療人の熟練度に関係なく内視鏡超音波医療映像に対する客観的な分析が可能であり得る。

【0048】

特に、本発明は、ディープラーニングモデルの学習において、病変を含むＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を設定した後、ＲＯＩをカッティングした学習データセットを利用することで、医療映像内にごく一部存在する小さなポリープに対する分類の正確度が高くなり得る。

【0049】

このとき、本発明は、内視鏡超音波医療映像に表示されたスケールバー（ｓｃａｌｅ ｂａｒ）を利用するように構成された胆嚢ポリープ診断システムを提供することで、目標大きさを有するＲＯＩ映像が獲得され得、疑い病変の大きさ情報が反映され得、小さな大きさの胆嚢ポリープを高い正確度で分類できる。

【0050】

また、本発明は、単一の手順により胆嚢ポリープを分類するのではなく、多数の手順にわたって腫瘍性ポリープが良性腫瘍であるか悪性ポリープであるかを分類するように構成されたディープラーニングモデルを利用することで、胆嚢ポリープ診断にあたってポリープのサブタイプのような細部的な特徴が提供され得る。

【0051】

そこで、本発明は、胆嚢ポリープの診断正確度を高めることができる。

【0052】

さらに本発明は、ディープラーニングモデルに基づくポリープ診断システムを提供することで、不正確な映像による医療陣の胆嚢ポリープの進行に対する誤った解釈を防止し、実際の臨床実務において医療陣のワークフローを向上させることができる。

【0053】

本発明に係る効果は、以上において例示された内容により制限されず、さらに多様な効果が本明細書内に含まれている。

【図面の簡単な説明】

【0054】

【図1a】本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供用デバイスに基づく胆嚢ポリープ診断システムを例示的に示したものである。

【図1b】本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供用デバイスの構成を例示的に示したものである。

【図1c】本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供用デバイスから胆嚢ポリープに対する情報の受信を受けて出力する医療陣デバイスの構成を例示的に示したものである。

【図2a】本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供方法の手順を例示的に示したものである。

【図2b】本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供方法の手順を例示的に示したものである。

【図3a】本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供方法によるＲＯＩのクロッピングする手順を例示的に示したものである。

【図3b】本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供方法によるＲＯＩのクロッピングする手順を例示的に示したものである。

【図4】本発明の多様な実施例に利用される評価モデルの構造を例示的に示したものである。

【図5a】本発明の多様な実施例に利用される評価モデルの学習及び評価データを示したものである。

【図5b】本発明の多様な実施例に利用される評価モデルの評価結果を示したものである。

【図5c】本発明の多様な実施例に利用される評価モデルの評価結果を示したものである。

【図5d】本発明の多様な実施例に利用される評価モデルの評価結果を示したものである。

【図5e】本発明の多様な実施例に利用される評価モデルの評価結果を示したものである。

【発明を実施するための形態】

【0055】

本発明の利点及び特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すると、明確になるだろう。しかし、本発明は、以下において開示される実施例に限定されるものではなく、互いに異なる多様な形態に具現され、単に、本実施例は、本発明の開示が完全なものとなるようにし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇により定義されるだけである。図面の説明と関連して、類似した構成要素に対しては、類似した参照符号が使用され得る。

【0056】

本文書において、「有する」、「有することができる」、「含む」、または「含むことができる」等の表現は、該当特徴（例：数値、機能、動作、または部品等の構成要素）の存在を指し、さらなる特徴の存在を排除しない。

【0057】

本文書において、「ＡまたはＢ」、「Ａまたは／およびＢのうち少なくとも一つ」、または「Ａまたは／およびＢのうち一つまたはそれ以上」等の表現は、共に並べられた項目の全ての可能な組み合わせを含むことができる。例えば、「ＡまたはＢ」、「Ａ及びＢのうち少なくとも一つ」、または「ＡまたはＢのうち少なくとも一つ」は、（１）少なくとも一つのＡを含む、（２）少なくとも一つのＢを含む、または（３）少なくとも一つのＡ及び少なくとも一つのＢ全てを含む場合をいずれも称することができる。

【0058】

本文書において使用された「第１」、「第２」、「一番目」または「二番目」等の表現は、多様な構成要素を、順序および／または重要度に関係なく修飾でき、一つの構成要素を他の構成要素と区分するために使用されるだけで該当構成要素を限定しない。例えば、第１ユーザ機器と第２ユーザ機器は、順序または重要度と関係なく、互いに異なるユーザ機器を示すことができる。例えば、本文書に記載の権利範囲を外れることなく第１構成要素は第２構成要素と命名され得、類似するように第２構成要素も第１構成要素に変えて命名され得る。

【0059】

ある構成要素（例：第１構成要素）が他の構成要素（例：第２構成要素）に「（機能的にまたは通信的に）連結されて（（ｏｐｅｒａｔｉｖｅｌｙ ｏｒ ｃｏｍｍｕｎｉｃａｔｉｖｅｌｙ） ｃｏｕｐｌｅｄ ｗｉｔｈ／ｔｏ）」いるとか「接続されて（ｃｏｎｎｅｃｔｅｄ ｔｏ）」いると言及された時には、前記ある構成要素が前記他の構成要素に直接的に連結されるか、他の構成要素（例：第３構成要素）を介して連結され得ると理解されるべきである。これに対して、ある構成要素（例：第１構成要素）が他の構成要素（例：第２構成要素）に「直接連結されて」いるとか「直接接続されて」いると言及された時には、前記ある構成要素と前記他の構成要素との間に他の構成要素（例：第３構成要素）が存在しないものと理解され得る。

【0060】

本文書において使用された表現「～するように構成された（または設定された）（ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」は、状況に応じて、例えば、「～に適した（ｓｕｉｔａｂｌｅ ｆｏｒ）」、「～する能力を有する（ｈａｖｉｎｇ ｔｈｅ ｃａｐａｃｉｔｙ ｔｏ）」、「～するように設計された（ｄｅｓｉｇｎｅｄ ｔｏ）」、「～するように変更された（ａｄａｐｔｅｄ ｔｏ）」、「～するように作られた（ｍａｄｅ ｔｏ）」、または「～ができる（ｃａｐａｂｌｅ ｏｆ）」と変えて使用され得る。用語「～するように構成された（または設定された）」は、ハードウェア的に「特に設計された（ｓｐｅｃｉｆｉｃａｌｌｙ ｄｅｓｉｇｎｅｄ ｔｏ）」ものだけを必ずしも意味しなくてよい。その代わりに、ある状況では、「～するように構成されたデバイス」という表現は、そのデバイスが他のデバイスまたは部品と共に「～できる」ことを意味し得る。例えば、文句「Ａ、Ｂ、及びＣを遂行するように構成された（または設定された）プロセッサ」は、該当動作を遂行するための専用プロセッサ（例：エンベデッドプロセッサ）、またはメモリデバイスに格納された一つ以上のソフトウェアプログラムを実行することで、該当動作を遂行できる汎用プロセッサ（ｇｅｎｅｒｉｃ－ｐｕｒｐｏｓｅ ｐｒｏｃｅｓｓｏｒ）（例：ＣＰＵまたはａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）を意味し得る。

【0061】

本文書において使用された用語は、単に特定の実施例を説明するために使用されたものであり、他の実施例の範囲を限定しようとする意図ではない。単数の表現は、文脈上、明らかに異に意味しない限り、複数の表現を含むことができる。技術的または科学的な用語を含めてここで使用される用語は、本文書に記載の技術の分野における通常の知識を有する者により一般的に理解されるものと同じ意味を有し得る。本文書に使用された用語のうち一般的な辞書に定義された用語は、関連技術の文脈上有する意味と同一または類似した意味に解釈され得、本文書において明らかに定義されない限り、理想的であるか過度に形式的な意味に解釈されない。場合によって、本文書において定義された用語であっても本文書の実施例を排除するように解釈され得ない。

【0062】

本発明の様々な実施例のそれぞれの特徴が部分的または全体的に互いに結合または組み合わせ可能であり、当業者が十分に理解できるように技術的に多様な連動及び駆動が可能であり、各実施例が互いに対して独立して実施可能であってもよく、関連関係で共に実施可能であってもよい。

【0063】

本明細書の解釈の明確さをために、以下においては、本明細書において使用される用語を定義する。

【0064】

本明細書において使用される用語、「個体」は、胆嚢ポリープを予測しようとする全ての対象を意味し得る。例えば、個体は、胆嚢ポリープ疑い個体であってもよい。このとき、本明細書内に開示された個体は、ヒトを除く全ての哺乳動物であってよいが、これに制限されるものではない。

【0065】

本明細書において使用される用語、「超音波医療映像」は、超音波診断デバイスから獲得された超音波医療映像を意味し得る。このとき、超音波医療映像は、胆嚢領域を含む医療映像であってよい。好ましくは、超音波医療映像は、内視鏡超音波（ｅｎｄｏｓｃｏｐｉｃ ｕｌｔｒａｓｏｕｎｄ、ＥＵＳ）診断デバイスから獲得された、胆嚢を含む内視鏡超音波医療映像であってよいが、これに制限されるものではない。このとき、内視鏡超音波医療映像のフォーマットは、ｄｉｃｏｍ、ｊｐｅｇ、ｂｉｔｍａｐ、ｐｎｇ、ｔｉｆｆであってよいが、これに制限されるものではない。

【0066】

一方、超音波医療映像は、複数個のカットで構成された内視鏡超音波動画であってよい。このとき、内視鏡超音波動画は、本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供方法によって動画のフレームそれぞれに対して病変が決定されることもある。その結果、本発明は、内視鏡超音波のような映像診断デバイスからの内視鏡超音波医療映像の受信と同時に病変の予測を遂行してストリーミングサービスを提供でき、リアルタイムで胆嚢ポリープの診断情報を提供することもできる。

【0067】

本発明の一特徴によれば、超音波医療映像は、２次元映像、３次元映像であってよい。

【0068】

本明細書において使用される用語、「第１評価モデル」は、超音波医療映像を入力として、胆嚢ポリープの発病の如何を出力するように構成されたモデルであってよい。

【0069】

より具体的に、第１評価モデルは、超音波医療映像内のポリープ疑い領域に対応するＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を入力として、ＲＯＩを胆嚢ポリープであるかまたは胆嚢結石であるかを分類するように学習されたモデルであってよい。

【0070】

このとき、第１評価モデルによりＲＯＩが決定されない場合、該当超音波医療映像は、正常個体に対する医療映像であり得る。即ち、第１評価モデルは、正常または胆嚢ポリープまたは胆嚢結石を分類するように構成され得る。

【0071】

一方、本明細書において使用される用語、「ＲＯＩ」は、胆嚢ポリープ疑い領域、または胆嚢ポリープ領域を含む領域または評価モデルの分類過程で決定された関心領域を意味し得る。

【0072】

このとき、ＲＯＩは、予め決定された大きさ、例えば、２０×２０ｍｍまたは１９６×１９６ピクセル（ｐｉｘｅｌｓ）の大きさにクロッピングされて第１評価モデルに入力され得る。即ち、第１評価モデルは、クロッピングされたＲＯＩを利用することで非常に小さな大きさのポリープを高い正確度で分類できる。

【0073】

一方、予め決定された大きさは、これに制限されるものではなく、検出しようとするポリープの大きさ、内視鏡超音波診断デバイスの種類によって多様な範囲に設定され得る。

【0074】

一方、胆嚢ポリープは、腫瘍性胆嚢ポリープ（ｎｅｏｐｌａｓｔｉｃ ＧＢ ｐｏｌｙｐｓ）及び非－腫瘍性胆嚢ポリープ（ｎｏｎ－ｎｅｏｐｌａｓｔｉｃ ＧＢ ｐｏｌｙｐｓ）に分類され得る。

【0075】

本明細書において使用される用語、「第２評価モデル」は、胆嚢ポリープが決定された場合、超音波医療映像を入力として、胆嚢ポリープの特性を分類及び出力するように構成されたモデルであってよい。

【0076】

より具体的に、第２評価モデルは、胆嚢ポリープと決定されたＲＯＩを入力として、胆嚢ポリープが腫瘍性胆嚢ポリープであるかまたは非－腫瘍性胆嚢ポリープであるかを分類するように学習されたモデルであってよい。

【0077】

このとき、腫瘍性胆嚢ポリープは、腺腫性胆嚢ポリープ（ａｄｅｎｏｍａｔｏｕｓ ＧＢ ｐｏｌｙｐｓ）及び腺癌性胆嚢ポリープ（ａｄｅｎｏｃａｒｃｉｎｏｍａ ＧＢ ｐｏｌｙｐｓ）に分類され得る。

【0078】

本明細書において使用される用語、「第３評価モデル」は、腫瘍性胆嚢ポリープが決定された場合、超音波医療映像を入力として、腫瘍性胆嚢ポリープの特性を分類するように構成されたモデルであってよい。

【0079】

より具体的に、第３評価モデルは、腫瘍性胆嚢ポリープと決定されたＲＯＩを入力として、腺腫性胆嚢ポリープであるかまたは腺癌性胆嚢ポリープであるかを分類するように学習されたモデルであってよい。

【0080】

一方、腺腫性胆嚢ポリープは、本願明細書内においてアデノーマ胆嚢ポリープ（ａｄｅｎｏｍａ ＧＢ ｐｏｌｙｐｓ）、良性胆嚢ポリープ、または良性ポリープと相互交換的に利用され得る。

【0081】

さらに、腺癌性胆嚢ポリープは、本願明細書内において腺癌腫胆嚢ポリープ（ａｄｅｎｏｃａｒｃｉｎｏｍａ ＧＢ ｐｏｌｙｐｓ）、悪性胆嚢ポリープ（ｍａｌｉｇｎａｎｔ ＧＢ ｐｏｌｙｐｓ）、または悪性ポリープと相互交換的に利用され得る。

【0082】

一方、本発明の多様な実施例に係る胆嚢ポリープ診断システムは、第１評価モデル、第２評価モデル及び第３評価モデルを順次に利用して、最終的に腫瘍性胆嚢ポリープの特性を分類するように構成され得るが、これに制限されるものではない。

【0083】

例えば、本発明の多様な実施例に係る胆嚢ポリープ診断システムで単独の評価モデル、または多様な組み合わせの評価モデルが利用され得る。

【0084】

即ち、本発明の多様な実施例に係る胆嚢ポリープ診断システムは、３種類のディープラーニングアルゴリズムに基づく評価モデルを利用することで、胆嚢ポリープ、特に小さな大きさの胆嚢ポリープに対する信頼度の高い診断結果を提供できる。

【0085】

特に、本発明の多様な実施例に利用される評価モデルは、最後のレイヤの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）が視覚化されたＣＡＭ（ｃｌａｓｓ ａｃｔｉｖａｔｉｏｎ ｍａｐ）を提供するようにさらに構成され得る。そこで、病変領域と疑われる領域に対する確認が容易であり得る。

【0086】

一方、本発明の多様な実施例に係る、評価モデルは、Ｒｅｓｎｅｔ５０であってよいが、これに制限されるものではない。例えば、評価モデルは、ＶＧＧ ｎｅｔ、Ｒ、ＤｅｎｓｅＮｅｔ及び、ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ ｓｔｒｕｃｔｕｒｅを有するＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、ＳｅｇＮｅｔ、ＤｅｃｏｎｖＮｅｔ、ＤｅｅｐＬＡＢ Ｖ３＋、Ｕ－ｎｅｔのようなＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、ＳｑｕｅｅｚｅＮｅｔ、Ａｌｅｘｎｅｔ、ＲｅｓＮｅｔ１８、ＭｏｂｉｌｅＮｅｔ－ｖ２、ＧｏｏｇＬｅＮｅｔ、Ｒｅｓｎｅｔ－ｖ２、Ｒｅｓｎｅｔ５０、Ｒｅｓｎｅｔ１０１、Ｉｎｃｅｐｔｉｏｎ－ｖ３のうち選択された少なくとも一つのアルゴリズムに基づくことができる。さらに、前記評価モデルは、前述したアルゴリズムのうち少なくとも二つのアルゴリズムモデルに基づくアンサンブルモデルであってもよい。

【0087】

以下においては、図１ａから図１ｃを参照して、本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供用デバイスに基づく胆嚢ポリープ診断システムを説明する。

【0088】

図１ａは、本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供用デバイスに基づく胆嚢ポリープ診断システムを例示的に示したものである。図１ｂは、本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供用デバイスの構成を例示的に示したものである。図１ｃは、本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供用デバイスから胆嚢ポリープに対する情報の受信を受けて出力する医療陣デバイスの構成を例示的に示したものである。

【0089】

まず、図１ａを参照すると、胆嚢ポリープ診断システム１０００は、個体に対する内視鏡超音波医療映像に基づいて胆嚢ポリープと関連した情報を提供するように構成されたシステムであってよい。このとき、胆嚢ポリープ診断システム１０００は、内視鏡超音波医療映像に基づいて、個体に対する胆嚢系疾患の発病の如何を決定するように構成された胆嚢ポリープの診断に対する情報提供用デバイス１００、胆嚢ポリープ診断に対する情報を受信する医療陣デバイス２００及び内視鏡超音波医療映像を提供する内視鏡超音波診断デバイス３００で構成され得る。

【0090】

まず、胆嚢ポリープの診断に対する情報提供用デバイス１００は、内視鏡超音波診断デバイス３００から提供されたユーザの内視鏡超音波医療映像に基づいて胆嚢系疾患の発病の如何を診断するために多様な演算を遂行する汎用コンピュータ、ラップトップ、および／またはデータサーバ等を含むことができる。このとき、医療陣デバイス２００は、胆嚢ポリープに対するウェブページを提供するウェブサーバ（ｗｅｂ ｓｅｒｖｅｒ）またはモバイルウェブサイトを提供するモバイルウェブサーバ（ｍｏｂｉｌｅ ｗｅｂ ｓｅｒｖｅｒ）にアクセスするためのデバイスであってよいが、これに限定されない。

【0091】

より具体的に、胆嚢ポリープの診断に対する情報提供用デバイス１００は、内視鏡超音波診断デバイス３００から内視鏡超音波医療映像を受信し、受信された内視鏡超音波医療映像から胆嚢系疾患の発病の如何と関連した情報を提供できる。このとき、内視鏡超音波診断デバイス３００は、複数の評価モデルを利用することができ、それぞれのモデルに基づいて段階的な（ｓｔｅｐｗｉｓｅ）評価を進行することができる。

【0092】

胆嚢ポリープの診断に対する情報提供用デバイス１００は、個体に対する胆嚢系疾患の発病と関連したデータを医療陣デバイス２００に提供できる。

【0093】

このように胆嚢ポリープの診断に対する情報提供用デバイス１００から提供されるデータは、医療陣デバイス２００に設けられたウェブブラウザを通してウェブページに提供されるか、アプリケーション、またはプログラムの形態で提供され得る。多様な実施例において、このようなデータは、クライアント－サーバ環境でプラットフォームに含まれる形態で提供され得る。

【0094】

次に、医療陣デバイス２００は、個体に対する胆嚢系疾患の発病に対する情報提供を要請し、診断結果データを示すためのユーザインターフェースを提供する電子デバイスであって、スマートフォン、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートパソコンおよび／またはＰＣ等のうち少なくとも一つを含むことができる。

【0095】

医療陣デバイス２００は、胆嚢ポリープの診断に対する情報提供用デバイス１００から個体に対する胆嚢系疾患の発病に関する診断結果を受信し、受信された結果を表示部を通して表示することができる。ここで、診断結果は、評価モデルにより病変を分類する過程で予測されたＲＯＩ、病変の種類（例えば、正常、胆嚢結石、胆嚢ポリープ、腫瘍性胆嚢ポリープ、非－腫瘍性胆嚢ポリープ、腺腫性胆嚢ポリープ、または腺癌性胆嚢ポリープ）等を含むことができる。

【0096】

一方、上の実施例に制限されず、個体に対する胆嚢系疾患の発病に対する情報提供に対する全てのステップは、内視鏡超音波診断デバイス３００で遂行されてもよい。

【0097】

次に、図１ｂを参照して、本発明の胆嚢ポリープの診断に対する情報提供用デバイス１００の構成要素について具体的に説明する。

【0098】

図１ｂを参照すると、胆嚢ポリープの診断に対する情報提供用デバイス１００は、格納部１１０、通信部１２０及びプロセッサ１３０を含む。

【0099】

まず、格納部１１０は、個体に対する胆嚢系疾患の発病の如何を診断するうちに生成された多様なデータを格納することができる。例えば、格納部１１０は、第１評価モデル、第２評価モデル及び第３評価モデルの分類過程で分類に寄与度が高いかポリープ疑い領域と決定されたＲＯＩを含む映像を格納し、ＲＯＩを基準にクロッピングされた映像を格納するように構成され得る。多様な実施例において、格納部１１０は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ（例えば、ＳＤまたはＸＤメモリ等）、ラム、ＳＲＡＭ、ロム、ＥＥＰＲＯＭ、ＰＲＯＭ、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの格納媒体を含むことができる。

【0100】

通信部１２０は、胆嚢ポリープの診断に対する情報提供用デバイス１００が外部デバイスと通信が可能であるように連結する。通信部１２０は、有／無線通信を利用して医療陣デバイス２００、さらに内視鏡超音波診断デバイス３００と連結されて多様なデータを送受信することができる。具体的に、通信部１２０は、内視鏡超音波診断デバイス３００から個体の内視鏡超音波医療映像を受信することができる。例えば、通信部１２０は、内視鏡超音波診断デバイス３００から、個体に対する胆嚢内視鏡超音波動画・映像を受信することができる。さらに、通信部１２０は、医療陣デバイス２００に診断結果を伝達できる。

【0101】

プロセッサ１３０は、格納部１１０及び通信部１２０と動作可能に連結され、個体に対する内視鏡超音波医療映像を分析するための多様な命令を遂行することができる。

【0102】

具体的に、プロセッサ１３０は、通信部１２０を通して受信された内視鏡超音波医療映像に基づいて胆嚢ポリープの発病の如何を決定し、その特性を分類するように構成され得る。

【0103】

このとき、プロセッサ１３０は、内視鏡超音波医療映像に基づいて胆嚢ポリープの発病の如何を決定するように構成された第１評価モデル、および／または超音波医療映像内で胆嚢ポリープが決定された場合、胆嚢ポリープの特性を分類するように構成された第２評価モデル、および／または腫瘍性胆嚢ポリープが決定された場合、腫瘍性胆嚢ポリープの特性を分類するように構成された第３評価モデルに基づくことができる。

【0104】

一方、プロセッサ１３０は、胆嚢ポリープ診断の正確度を高めるために、スケールバーに基づいてＲＯＩを予め決定された水準にクロッピングするように構成され得る。クロッピングされたＲＯＩは、それぞれの評価モデルに入力可能であり得る。

【0105】

より具体的に、プロセッサ１３０は、スケールバーに基づいてピクセル当たりの大きさを算出し、ピクセル当たりの大きさに基づいて、目標大きさを決定し、目標大きさに基づいてＲＯＩをクロッピングするようにさらに構成され得る。そこで、プロセッサ１３０は、胆嚢ポリープの大きさ情報を反映して特性を分類することができる。さらに、プロセッサ１３０は、内視鏡超音波医療映像内のポリープに対する大きさを決定することもできる。

【0106】

さらに、プロセッサ１３０は、胆嚢ポリープ発病の如何を決定するうちに、第１評価モデルに対する関心領域を超音波医療映像に表示するか、胆嚢ポリープの特性を分類するうちに、第２評価モデルに対する関心領域を前記超音波医療映像に表示するようにさらに構成されてもよい。

【0107】

一方、胆嚢ポリープの診断に対する情報提供用デバイス１００は、ハードウェア的に設計されたものが制限されるものではない。例えば、胆嚢ポリープの診断に対する情報提供用デバイス１００のプロセッサ１３０は、ソフトウェアで具現され得る。そこで、胆嚢ポリープに対する診断結果は、前記ソフトウェアが連結された内視鏡超音波診断デバイス３００の表示部を通して表示されてもよい。

【0108】

一方、図１ｃを共に参照すると、医療陣デバイス２００は、通信部２１０、表示部２２０、格納部２３０及びプロセッサ２４０を含む。

【0109】

通信部２１０は、医療陣デバイス２００が外部デバイスと通信が可能であるように構成され得る。通信部２１０は、有／無線通信を利用して胆嚢ポリープの診断に対する情報提供用デバイス１００と連結されて胆嚢ポリープの診断と関連した多様なデータを送信することができる。具体的に、通信部２１０は、胆嚢ポリープの診断に対する情報提供用デバイス１００から個体の胆嚢ポリープの診断と関連した診断結果、例えば、個体が正常であるかを決定するか、胆嚢結石、胆嚢ポリープ、腫瘍性胆嚢ポリープ、非－腫瘍性胆嚢ポリープ、腺腫性胆嚢ポリープ、または腺癌性胆嚢ポリープが発病したものであるかを評価し、決定できる。一方、通信部２１０は、病変の予測過程で決定される関心領域等の視覚的情報を受信することができる。前記情報は、内視鏡超音波医療映像に対して表示されて提供され得るが、これに制限されるものではない。

【0110】

表示部２２０は、個体の胆嚢ポリープの診断と関連した診断結果を示すための多様なインターフェース画面を表示することができる。例えば、表示部２２０は、個体が正常であるか、または胆嚢結石、胆嚢ポリープ、腫瘍性胆嚢ポリープ、非－腫瘍性胆嚢ポリープ、腺腫性胆嚢ポリープ、または腺癌性胆嚢ポリープの発病危険度があるかを確率的に表示して提供でき、疑い領域を内視鏡超音波医療映像内に表示して提供することもできる。さらに、表示部２２０は、胆嚢ポリープに対する大きさを出力することもできる。

【0111】

多様な実施例において、表示部２２０は、タッチスクリーンを含むことができ、例えば、電子ペンまたはユーザの身体の一部を用いたタッチ（ｔｏｕｃｈ）、ジェスチャー（ｇｅｓｔｕｒｅ）、近接、ドラッグ（ｄｒａｇ）、スワイプ（ｓｗｉｐｅ）またはホバリング（ｈｏｖｅｒｉｎｇ）入力等を受信することができる。

【0112】

格納部２３０は、結果データを示すためのユーザインターフェースを提供するために使用される多様なデータを格納することができる。多様な実施例において、格納部２３０は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤまたはＸＤメモリ等）、ラム（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ロム（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの格納媒体を含むことができる。

【0113】

プロセッサ２４０は、通信部２１０、表示部２２０及び格納部２３０と動作可能に連結され、結果データを示すためのユーザインターフェースを提供するための多様な命令を遂行することができる。

【0114】

以下においては、図２ａ及び図２ｂ、図３ａ及び図３ｂを参照して、本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供方法を具体的に説明する。図２ａ及び図２ｂは、本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供方法の手順を例示的に示したものである。図３ａ及び図３ｂは、本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供方法によるＲＯＩのクロッピングする手順を例示的に示したものである。

【0115】

まず、図２ａを参照すると、本発明の一実施例に係る胆嚢ポリープ診断の手順は、次のとおりである。まず、個体に対する超音波医療映像が受信される（Ｓ２１０）。その後、第１評価モデルにより超音波医療映像に基づいて個体の胆嚢ポリープ発病の如何が決定される（Ｓ２２０）。その後、第２評価モデルにより胆嚢ポリープに対する特性が決定され（Ｓ２３０）、最後に診断結果が提供される（Ｓ２４０）。

【0116】

より具体的に、超音波医療映像が受信されるステップ（Ｓ２１０）で内視鏡超音波医療映像、または超音波動画のような超音波医療映像が受信され得る。このとき、超音波医療映像は、胆嚢及び胆嚢内ポリープ疑い領域を含むことができる。

【0117】

本発明の一実施例によれば、超音波医療映像が受信されるステップ（Ｓ２１０）で、内視鏡超音波診断デバイスが駆動されてリアルタイムで撮影された内視鏡超音波医療映像が獲得され得る。

【0118】

次に、胆嚢ポリープの発病の如何が決定されるステップ（Ｓ２２０）で、内視鏡超音波医療映像、より具体的に、ポリープ疑い領域がクロッピングされたイメージを入力として正常であるかまたは、胆嚢ポリープまたは胆嚢結石の発病の如何を出力するように構成された第１評価モデルが利用され得る。

【0119】

本発明の特徴によれば、胆嚢ポリープ発病の如何を決定するうちに、第１評価モデルに対する関心領域が超音波医療映像に表示されて出力されることもある。

【0120】

例えば、図２ｂを参照すると、超音波医療映像が受信されるステップ（Ｓ２１０）により受信された内視鏡超音波医療映像３１２は、ポリープ疑い領域３１４１のＲＯＩを含むようにクロッピングされる。その結果、クロッピングされた内視鏡超音波医療映像３１４が獲得され、クロッピングされた内視鏡超音波医療映像３１４は、第１評価モデル３２０に入力される。このとき、第１評価モデル３２０は、胆嚢ポリープであるかまたは胆嚢結石であるかを分類することにおいて関心度の高い領域である、関心領域が表示された超音波医療映像３２２を提供できる。例えば、第１評価モデル３２０に対する最後のレイヤの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）が視覚化されたＣＡＭ（ｃｌａｓｓ ａｃｔｉｖａｔｉｏｎ ｍａｐ）が提供され得る。そこで、胆嚢ポリープまたは胆嚢結石と疑われる病変領域に対する確認が容易であり得る。胆嚢ポリープの発病の如何が決定されるステップ（Ｓ２２０）の結果でクロッピングされた内視鏡超音波医療映像３１４のポリープ疑い領域３１４１は、胆嚢結石３２４または胆嚢ポリープ３２６に分類され得る。一方、正常である個体の場合、第１評価モデル３２０により病変と疑われる領域であるＲＯＩの決定が起こらなくて済む。そこで、第１評価モデル３２０は、正常個体に対する判別が可能であり得る。

【0121】

また図２ａを参照すると、胆嚢ポリープに対する特性が決定されるステップ（Ｓ２３０）で、第２評価モデルにより、胆嚢ポリープが非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープに分類され得る。

【0122】

例えば、図２ｂをまた参照すると、胆嚢ポリープの発病の如何が決定されるステップ（Ｓ２２０）の結果でポリープ疑い領域３１４１が胆嚢ポリープ３２６と決定された場合、クロッピングされた内視鏡超音波医療映像３１４は、また第２評価モデル３３０に入力される。このとき、第２評価モデル３３０は、胆嚢ポリープ領域に対して非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを分類するように構成されたモデルであってよい。第２評価モデル３３０は、腫瘍性胆嚢ポリープであるかまたは非－腫瘍性胆嚢ポリープであるかを分類する過程で関心度または寄与度の高い領域である、関心領域が表示された超音波医療映像３３２を提供するようにさらに構成され得る。例えば、第２評価モデル３３０に対する最後のレイヤの特徴マップが視覚化されたＣＡＭが提供され得る。そこで、腫瘍性胆嚢ポリープまたは非－腫瘍性胆嚢ポリープと疑われる病変領域に対する確認が容易であり得る。胆嚢ポリープに対する特性が決定されるステップ（Ｓ２３０）の結果でクロッピングされた内視鏡超音波医療映像３１４のポリープ疑い領域３１４１は、非－腫瘍性胆嚢ポリープ３３４または腫瘍性胆嚢ポリープ３３６に分類され得る。

【0123】

本発明の他の特徴によれば、胆嚢ポリープに対する特性が決定されるステップ（Ｓ２３０）以後に腫瘍性胆嚢ポリープが決定された場合、腫瘍性胆嚢ポリープ領域に対して悪性腫瘍性胆嚢ポリープまたは良性腫瘍性胆嚢ポリープを分類するように構成された第３評価モデルにより悪性腫瘍性胆嚢ポリープまたは良性腫瘍性胆嚢ポリープが分類されるステップがさらに遂行され得る。

【0124】

例えば、図２ｂをまた参照すると、胆嚢ポリープに対する特性が決定されるステップ（Ｓ２３０）の結果でポリープ疑い領域３１４１が腫瘍性胆嚢ポリープ３３６と決定された場合、クロッピングされた内視鏡超音波医療映像３１４は、また第３評価モデル３４０に入力される。このとき、第３評価モデル３４０は、胆嚢ポリープ領域に対して腺腫性胆嚢ポリープまたは腺癌性胆嚢ポリープを分類するように構成されたモデルであってよい。第３評価モデル３４０は、腺腫性胆嚢ポリープであるかまたは腺癌性胆嚢ポリープであるかを分類する過程で関心度または寄与度の高い領域である、関心領域が表示された超音波医療映像３４２を提供するようにさらに構成され得る。例えば、第２評価モデル３４０に対する最後のレイヤの特徴マップが視覚化されたＣＡＭが提供され得る。そこで、腺腫性胆嚢ポリープまたは腺癌性胆嚢ポリープと疑われる病変領域に対する確認が容易であり得る。悪性腫瘍性胆嚢ポリープまたは良性腫瘍性胆嚢ポリープが分類されるステップの結果でクロッピングされた内視鏡超音波医療映像３１４のポリープ疑い領域３１４１は、腺腫ポリープ３４４または腺癌ポリープ３４６に分類され得る。

【0125】

また図２ａを参照すると、診断結果が提供されるステップ（Ｓ２４０）で、個体が正常であるか、または胆嚢結石、胆嚢ポリープ、腫瘍性胆嚢ポリープ、非－腫瘍性胆嚢ポリープ、腺腫性胆嚢ポリープ、または腺癌性胆嚢ポリープの発病危険度があるかが確率的に提供され得る。さらに、疑い領域が内視鏡超音波医療映像内に表示されて提供され得、胆嚢ポリープに対する大きさが表示されて提供されることもある。

【0126】

以上の多様な実施例に係る胆嚢ポリープの診断に対する情報提供方法によって、視覚的に説明可能な胆嚢ポリープ診断システムが提供され得る。そこで、本発明は、前記胆嚢ポリープ診断システムを提供することで不正確な測定による医療陣の胆嚢ポリープの診断に対する誤った解釈を防止し、実際の臨床実務において医療陣のワークフローを向上させることができる。さらに、医療陣は、評価結果による適切な治療方法を迅速に選択でき、本発明の胆嚢ポリープ診断システムは、早期治療及び良い治療予後に寄与できる効果がある。

【0127】

一方、胆嚢ポリープ診断システムは、内視鏡超音波のような映像診断デバイスからの内視鏡超音波医療映像の受信と同時に病変の予測を遂行することができる。即ち、胆嚢ポリープ診断システムは、ストリーミングサービスを提供でき、リアルタイムで胆嚢ポリープの診断情報を提供できる。

【0128】

以下においては、図３ａ及び図３ｂを参照して、本発明の多様な実施例に利用される、第１評価モデル、第２評価モデル及び第３評価モデルに利用されるＲＯＩをクロッピングするステップを具体的に説明する。図３ａ及び図３ｂは、本発明の一実施例に係る胆嚢ポリープの診断に対する情報提供方法によるＲＯＩのクロッピングする手順を例示的に示したものである。

【0129】

このとき、超音波医療映像が内視鏡超音波医療映像である場合、ピクセルの大きさの確認が難しいことで、本発明の一実施例によれば、内視鏡超音波医療映像内の目盛りを含むスケールバーに基づいてピクセル当たりの大きさの確認及び目標大きさの設定が可能である。

【0130】

図３ａを参照すると、ＲＯＩのクロッピングのために、まずスケールバーに基づいてピクセル当たりの大きさが算出され（Ｓ３１０）、ピクセル当たりの大きさに基づいて、目標大きさが決定され（Ｓ３２０）、目標大きさに基づいてＲＯＩがクロッピングされる（Ｓ３３０）。

【0131】

より具体的に、図３ｂを参照すると、内視鏡超音波医療映像３１２にスケールバー３５２が表示され得る。このとき、スケールバー３５２は、複数の目盛りが表示されているが、１マスの目盛りは、０．５ｃｍであってよい。そこで、目盛り間のｘ軸（横軸）のピクセル個数を数えてピクセル当たりの実際の大きさ（ｍｍ）の推定が可能であり得る。

【0132】

本発明の特徴によれば、スケールバーに基づいてピクセル当たりの大きさが算出されるステップ（Ｓ３１０）で、超音波医療映像のスケールバーから選択された二つの目盛りそれぞれに対するｘ軸の座標値が決定され、ｘ軸座標に基づいて目盛り間のピクセル距離が算出される。その後、ピクセル距離及び目盛りに対して予め決定された大きさに基づいてピクセル当たりの大きさが算出され得る。

【0133】

例えば、内視鏡超音波医療映像でスケールバー内の二つの目盛りを順にクリックすると、クリックした位置の座標値（ｘ軸値、ｙ軸値）が獲得され得る。その後、ｘ軸値の差に基づいて二つの目盛りのピクセル距離が決定され得る。その後、１マスの目盛りが０．５ｃｍであることと決定されたピクセル距離に基づいて、ピクセル当たりの大きさが決定され得る。

【0134】

即ち、手動方法により決定された二つの目盛りの位置に基づいてピクセル当たりの大きさが決定され得る。

【0135】

本発明の他の特徴によれば、スケールバーに基づいてピクセル当たりの大きさが算出されるステップ（Ｓ３１０）で、内視鏡超音波医療映像内でスケールバーがクロッピングされ、連結要素（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ）アルゴリズムによりクロッピングされたスケールバーの目盛りに基づいて目盛りの位置が決定される。その後、目盛りの位置及び目盛りに対して予め決定された大きさに基づいてピクセル当たりの大きさが算出され得る。

【0136】

例えば、内視鏡超音波医療映像で目盛りは目盛り間の距離のみが異なるだけで、特定領域に位置し得る。そこで、超音波医療映像内で目盛りが位置した領域の一部がクロッピングされ、特定画素値以上のピクセルを対象に連結要素アルゴリズムが適用され得る。その結果、検出されたオブジェクトのうちその大きさ及び位置情報に基づいて目盛りの位置が自動で決定され得る。その後、目盛りの位置及び目盛りに対して予め決定された大きさに基づいてピクセル当たりの大きさが算出され得る。

【0137】

即ち、自動方法により決定された二つの目盛りの位置に基づいてピクセル当たりの大きさが決定され得る。

【0138】

次に、目標大きさが決定されるステップ（Ｓ３２０）で、ＲＯＩの大きさが決定され得る。例えば、ＲＯＩの大きさは、ポリープの大きさを反映して２０×２０ｍｍであってよい。即ち、スケールバーに基づいてピクセル当たりの大きさが算出されるステップ（Ｓ３１０）で、手動または自動で算出されたピクセル当たりの実際の大きさを通して、２０ｍｍに該当するピクセルの個数が逆に算出され得る。

【0139】

最後に、目標大きさに基づいてＲＯＩがクロッピングされるステップ（Ｓ３３０）で、目標大きさ、例えば２０×２０ｍｍに対応する領域がクロッピングされ得る。

【0140】

実測情報に基づいてクロッピングされたＲＯＩは、第１評価モデル、第２評価モデル、または第３評価モデルに入力され得、分類において疑い病変の大きさ情報が反映され得る。さらに、小さな大きさのポリープに対して高い正確度で病変の種類を分類することができる。

【0141】

以下においては、図４を参照して、本発明の多様な実施例に適用される評価モデルの構造について説明する。図４は、本発明の多様な実施例に利用される評価モデルの構造を例示的に示したものである。

【0142】

このとき、本発明の多様な実施例に利用される第１評価モデル、第２評価モデル及び第３評価モデルは、Ｒｅｓｎｅｔ５０に基づくことができる。より具体的に、Ｒｅｓｎｅｔ５０に基づく評価モデルは、複数のコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）レイヤ、地域的最大値を取って特徴として使用するマックスプーリング（ｍａｘ ｐｏｏｌｉｎｇ）レイヤ、アベレージプーリング（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）レイヤ及び病変分類のためのＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤからなり得る。

【0143】

より具体的に、評価モデルに超音波医療映像が入力されると、多層の神経網構造により、それぞれの評価モデルは、胆嚢結石または胆嚢ポリープ、腫瘍性胆嚢ポリープまたは非－腫瘍性胆嚢ポリープ、腺癌胆嚢ポリープまたは腺腫胆嚢ポリープの２クラスに病変を分類するように構成され得る。しかし、これに制限されるものではなく、第１評価モデルは、正常を分類することもできる。

【0144】

このとき、評価モデルは、最後のレイヤの特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）が視覚化されたＣＡＭ（ｃｌａｓｓ ａｃｔｉｖａｔｉｏｎ ｍａｐ）を提供するようにさらに構成され得る。そこで、病変領域と疑われる領域に対する確認が容易であり得る。

【0145】

例えば、ＣＡＭは、評価モデルにより決定された関心度の高い主要関心領域を含むことができるが、主要関心領域は、程度によって０～１の間の値を有するように正規化されてもよい。

【0146】

一方、評価モデルの訓練のためのハイパーパラメータは、バッチサイズが４０、エポックが３００、学習率が０．０００１に設定され得るが、パラメータの値は、これに制限されるものではない。

【0147】

さらに、評価モデルは、ＶＧＧ ｎｅｔ、Ｒ、ＤｅｎｓｅＮｅｔ及び、ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ ｓｔｒｕｃｔｕｒｅを有するＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、ＳｅｇＮｅｔ、ＤｅｃｏｎｖＮｅｔ、ＤｅｅｐＬＡＢ Ｖ３＋、Ｕ－ｎｅｔのようなＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、ＳｑｕｅｅｚｅＮｅｔ、Ａｌｅｘｎｅｔ、ＲｅｓＮｅｔ１８、ＭｏｂｉｌｅＮｅｔ－ｖ２、ＧｏｏｇＬｅＮｅｔ、Ｒｅｓｎｅｔ－ｖ２、Ｒｅｓｎｅｔ１０１、Ｉｎｃｅｐｔｉｏｎ－ｖ３のうち選択された少なくとも一つのアルゴリズムに基づくことができる。また、前記評価モデルは、前述したアルゴリズムのうち少なくとも二つのアルゴリズムモデルに基づくアンサンブルモデルであってもよい。

【0148】

評価：本発明の多様な実施例に利用される第１評価モデル、第２評価モデル及び第３評価モデルの評価

【0149】

以下においては、図５ａから図５ｅを参照して、本発明の多様な実施例に係る第１評価モデル、第２評価モデル及び第３評価モデルの学習データとこれらの評価結果を説明する。図５ａは、本発明の多様な実施例に利用される評価モデルの学習及び評価データを示したものである。図５ｂから図５ｅは、本発明の多様な実施例に利用される評価モデルの評価結果を示したものである。

【0150】

このとき、第１評価モデルは、ポリープ疑い領域に対して胆嚢ポリープ及び胆嚢結石を区別するように学習されたが、これに制限されるものではなく、「正常」への評価もまた可能であり得る。

【0151】

まず、図５ａを参照すると、評価モデル構築のために、６７０名の患者から獲得された１０３９枚の映像が学習用データセットとして利用された。より具体的に、学習用データセットは、腫瘍性胆嚢ポリープを有する個体から獲得された１４５枚の内視鏡超音波映像、非－腫瘍性胆嚢ポリープを有する個体から獲得された６９１枚の内視鏡超音波映像、及び胆嚢結石を有する個体から獲得された２０３枚の内視鏡超音波映像からなる。このとき、腫瘍性胆嚢ポリープ個体は、腺癌性胆嚢ポリープ個体と腺腫性胆嚢ポリープ個体からなり得、非－腫瘍性胆嚢ポリープ個体は、コレステロール胆嚢ポリープ個体及び腺筋腫症個体からなり得る。

【0152】

また、評価モデルの検証のために、８３名の患者から獲得された８３枚の映像が検証用データセットとして利用された。より具体的に、検証用データセットは、腫瘍性胆嚢ポリープを有する個体から獲得された２０枚の内視鏡超音波映像、非－腫瘍性胆嚢ポリープを有する個体から獲得された５２枚の内視鏡超音波映像、及び胆嚢結石を有する個体から獲得された１１枚の内視鏡超音波映像からなる。このとき、腫瘍性胆嚢ポリープ個体は、腺癌性胆嚢ポリープ個体と腺腫性胆嚢ポリープ個体からなり得、非－腫瘍性胆嚢ポリープ個体は、コレステロール胆嚢ポリープ個体及び腺筋腫症個体からなり得る。

【0153】

図５ｂの評価結果を参照すると、胆嚢ポリープ及び胆嚢結石を分類するように学習された第１評価モデルは、分類の敏感度（ｓｅｎｓｉｔｉｖｉｔｙ）が９６．３％と、特異度（ｓｐｅｃｉｆｉｃｉｔｙ）が９２．９％と、正確度（ａｃｃｕｒａｃｙ）が９５．７％と現れる。さらに、ＰＰＶ（ｐｏｓｉｔｉｖｅ ｐｒｅｄｉｃｔｉｖｅ ｖａｌｕｅ）は９８．４％と、ＮＰＶ（ｎｅｇａｔｉｖｅ ｐｒｅｄｉｃｔｉｖｅ ｖａｌｕｅ）は７９．５％と現れ、特に診断能力と関連のあるＡＵＣ（Ａｒｅａ Ｕｎｄｅｒ Ｃｕｒｖｅ）値は０．９９と非常に高い水準に現れる。このような結果は、第１評価モデルが胆嚢ポリープと胆嚢結石を高い正確度で分類し、分類結果が高い信頼度を有するということを意味し得る。

【0154】

また、胆嚢ポリープに対して非－腫瘍性胆嚢ポリープ及び腫瘍性胆嚢ポリープを分類するように学習された第２評価モデルは、分類の敏感度が７７．８％と、特異度が９１．６％と、正確度が８９．８％と現れる。さらに、ＮＰＶは９６．５％と現れ、診断能力と関連のあるＡＵＣ値は０．８９１と高い水準に現れる。このような結果は、第２評価モデルが非－腫瘍性胆嚢ポリープ及び腫瘍性胆嚢ポリープを高い正確度で分類し、分類結果が高い信頼度を有するということを意味し得る。

【0155】

さらに、腫瘍性胆嚢ポリープに対して腺癌性胆嚢ポリープ及び腺腫性胆嚢ポリープを分類するように学習された第３評価モデルは、分類の敏感度が８５．６％と、正確度が８２．１％と現れる。さらに、ＰＰＶは８７．４％と現れ、診断能力と関連のあるＡＵＣ値は０．９１０と非常に高い水準に現れる。このような結果は、第３評価モデルが腺癌性胆嚢ポリープ及び腺腫性胆嚢ポリープを高い正確度で分類し、分類結果が高い信頼度を有するということを意味し得る。

【0156】

次に、図５ｃを参照すると、多様な実施例に係る胆嚢ポリープ診断システムに利用される評価モデルそれぞれと専門家、中級及び初級の医療人に対する病変分類結果が比較して示される。

【0157】

より具体的に、第１評価モデルの胆嚢結石及び胆嚢ポリープに対する分類の敏感度は９８．４％、正確度は８４．６％と、特に９０．９％の敏感度を有する全体医療陣による胆嚢結石及び胆嚢ポリープの分類結果より高いものと現れる。

【0158】

第２評価モデルの場合、非－腫瘍性胆嚢ポリープ及び腫瘍性胆嚢ポリープに対する分類の特異度が７７．４％、正確度が７４．４％と、４４．９％の特異度と６５．３％の正確度を有する全体医療陣による非－腫瘍性胆嚢ポリープ及び腫瘍性胆嚢ポリープの分類結果より高いものと現れる。特に、第２評価モデルは、専門家水準の医療人と比較したとき、類似した水準の分類正確度を有するものと現れる。

【0159】

第３評価モデルの場合、腫瘍性胆嚢ポリープを、腺腫性胆嚢ポリープ及び腺癌性胆嚢ポリープに対する分類の敏感度が６５．３％、特異度が６０．６％、正確度が６３．８％と現れる。これは、敏感度が６１．１％特異度が２０．９％、正確度が３８．１％である専門家水準の医療陣による腺腫性胆嚢ポリープ及び腺癌性胆嚢ポリープに対する分類結果より高いものと現れる。このような結果は、特に、腺腫性胆嚢ポリープ及び腺癌性胆嚢ポリープを分類することにおいて第３評価モデルの診断性能が、専門家水準の医療人より高いということを意味し得る。

【0160】

図５ｄの（ａ）をさらに参照すると、実線の本発明の一実施例に係る第２評価モデルの腫瘍性胆嚢ポリープ及び非－腫瘍性胆嚢ポリープの分類に対するＲＯＣカーブと共に、専門家、中級及び初級医療陣による診断結果が示される。より具体的に、第２評価モデルは、経験が相対的に不足した初級の医療陣より診断能力が有意に高いものと現れる。

【0161】

図５ｄの（ｂ）を参照すると、実線の本発明の一実施例に係る第３評価モデルの腺腫性胆嚢ポリープ及び腺癌性胆嚢ポリープの分類に対するＲＯＣカーブと共に、専門家、中級及び初級医療陣による診断結果が示される。より具体的に、第３評価モデルは、専門家より診断能力が有意に高いものと現れる。

【0162】

以上の結果によれば、複数の評価モデルに基づく胆嚢ポリープ評価システムは、専門家水準の医療陣と類似した水準の診断能力を有することができるものと現れる。

【0163】

即ち、ディープラーニングモデルに基づく胆嚢ポリープ診断システムは、医療人の熟練度に関係なく内視鏡超音波医療映像に対する客観的な分析が可能であり得る。

【0164】

従って、本発明は、ディープラーニングモデルに基づくポリープ診断システムを提供することで、不正確な映像による医療陣の胆嚢ポリープの進行に対する誤った解釈を防止し、実際の臨床実務において医療陣のワークフローを向上させることができる。

【0165】

次に、図５ｅを参照すると、第１評価モデル、第２評価モデル及び第３評価モデルの分類過程で分類に寄与度が高い領域を示すＣＡＭ映像が示される。

【0166】

より具体的に、図５ｅの（ａ）を参照すると、本発明の多様な実施例に利用される第１評価モデルにより胆嚢結石と決定された領域に対するＣＡＭ分析結果によれば、特定領域に対して関心度が高いものと現れる。さらに、図５ｅの（ｂ）を参照すると、本発明の多様な実施例に利用される第１評価モデルにより胆嚢ポリープと決定された領域に対するＣＡＭ分析結果によれば、特定ポリープ領域に対して関心度が高いものと現れる。また、図５ｅの（ｃ）を参照すると、本発明の多様な実施例に利用される第２評価モデルにより非－腫瘍性胆嚢ポリープと決定された領域に対するＣＡＭ分析結果によれば、特定ポリープ領域に対して関心度が高いものと現れる。また、図５ｅの（ｄ）を参照すると、本発明の多様な実施例に利用される第２評価モデルにより腫瘍性胆嚢ポリープと決定された領域に対するＣＡＭ分析結果によれば、特定ポリープ領域に対して関心度が高いものと現れる。

【0167】

このように、評価モデルは、最後のレイヤの特徴マップが視覚化されたＣＡＭを提供するようにさらに構成され得、医療陣は、病変領域と疑われる領域に対して確認することができる。

【0168】

以上、添付の図面を参照して、本発明の実施例をさらに詳細に説明したが、本発明は、必ずしもこのような実施例に限定されるものではなく、本発明の技術思想を外れない範囲内で多様に変形実施され得る。従って、本発明に開示された実施例は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施例によって本発明の技術思想の範囲が限定されるものではない。それゆえ、以上において記述した実施例は、全ての面で例示的なものであり、限定的ではないものと理解すべきである。本発明の保護範囲は、下記の特許請求の範囲によって解釈されるべきであり、それと同等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれるものと解釈されるべきである。
（他の考えられる項目）
（項目１）
プロセッサにより具現されるポリープ診断に対する情報提供方法であって、
個体の胆嚢部位を含む超音波医療映像を受信するステップ；
超音波医療映像に基づいて胆嚢ポリープの発病の如何を決定するように構成された第１評価モデルを利用して、上記個体の胆嚢ポリープ発病の如何を決定するステップ；
上記超音波医療映像内で胆嚢ポリープが決定された場合、胆嚢ポリープの特性を分類するように構成された第２評価モデルに基づいて、上記胆嚢ポリープに対する特性を決定するステップを含む、胆嚢ポリープの診断に対する情報提供方法。
（項目２）
上記個体の胆嚢ポリープ発病の如何を決定するステップは、
上記超音波医療映像に基づいて胆嚢ポリープまたは胆嚢結石（ｇａｌｌｂｌａｄｄｅｒ ｓｔｏｎｅｓ）を分類するようにさらに学習された上記第１評価モデルを利用して、胆嚢ポリープまたは胆嚢結石を決定するステップを含む、項目１に記載の胆嚢ポリープの診断に対する情報提供方法。
（項目３）
上記胆嚢ポリープに対する特性を決定するステップは、
胆嚢ポリープ領域に対して非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを分類するように構成された上記第２評価モデルを利用して、非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを決定するステップを含む、項目２に記載の胆嚢ポリープの診断に対する情報提供方法。
（項目４）
上記胆嚢ポリープに対する特性を決定するステップ以後に、
腫瘍性胆嚢ポリープが決定された場合、腫瘍性胆嚢ポリープ領域に対して腺癌性胆嚢ポリープまたは腺腫性胆嚢ポリープを分類するように構成された第３評価モデルを利用して、腺癌性胆嚢ポリープまたは腺腫性胆嚢ポリープを決定するステップをさらに含む、項目３に記載の胆嚢ポリープの診断に対する情報提供方法。
（項目５）
上記超音波医療映像を受信するステップ以後に、
上記超音波医療映像に対してＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を決定するステップ、及び
上記ＲＯＩをクロッピング（ｃｒｏｐｐｉｎｇ）するステップをさらに含み、
上記個体の胆嚢ポリープ発病の如何を決定するステップは、
上記第１評価モデルを利用して、上記ＲＯＩに基づいて個体の胆嚢ポリープ発病の如何を決定するステップを含む、項目１に記載の胆嚢ポリープの診断に対する情報提供方法。
（項目６）
上記超音波医療映像は、スケールバー（ｓｃａｌｅ ｂａｒ）を含み、
上記クロッピングするステップは、
上記スケールバーに基づいて上記ＲＯＩを予め決定された水準にクロッピングするステップを含む、項目５に記載の胆嚢ポリープの診断に対する情報提供方法。
（項目７）
上記予め決定された水準にクロッピングするステップは、
上記スケールバーに基づいてピクセル当たりの大きさを算出するステップ；
上記ピクセル当たりの大きさに基づいて、目標大きさを決定するステップ、及び
上記目標大きさに基づいて上記ＲＯＩをクロッピングするステップを含む、項目６に記載の胆嚢ポリープの診断に対する情報提供方法。
（項目８）
上記スケールバーは、予め決定された大きさを有する目盛りを含み、
上記ピクセル当たりの大きさを算出するステップは、
上記超音波医療映像のスケールバーから選択された二つの目盛りそれぞれに対するｘ軸の座標値を決定するステップ；
上記ｘ軸の座標に基づいてピクセル距離を算出するステップ、及び
上記ピクセル距離及び上記予め決定された大きさに基づいて上記ピクセル当たりの大きさを算出するステップを含む、項目７に記載の胆嚢ポリープの診断に対する情報提供方法。
（項目９）
上記スケールバーは、予め決定された大きさを有する目盛りを含み、
上記ピクセル当たりの大きさを算出するステップは、
上記超音波医療映像内で上記スケールバーをクロッピングするステップ；
連結要素（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ）アルゴリズムを利用して、クロッピングされたスケールバーの目盛りに基づいて目盛りの位置を決定するステップ、及び
上記目盛りの位置及び上記予め決定された大きさに基づいて上記ピクセル当たりの大きさを算出するステップを含む、項目７に記載の胆嚢ポリープの診断に対する情報提供方法。
（項目１０）
上記超音波医療映像は、
内視鏡超音波（ｅｎｄｏｓｃｏｐｉｃ ｕｌｔｒａｓｏｕｎｄ、ＥＵＳ）医療映像である、項目１に記載の胆嚢ポリープの診断に対する情報提供方法。
（項目１１）
胆嚢ポリープ発病の如何を決定するうちに、上記第１評価モデルに対する関心領域を上記超音波医療映像に表示して提供するか、
上記胆嚢ポリープの特性を分類するうちに、上記第２評価モデルに対する関心領域を上記超音波医療映像に表示して提供するステップをさらに含む、項目１に記載の胆嚢ポリープの診断に対する情報提供方法。
（項目１２）
個体の胆嚢部位を含む超音波医療映像を受信するように構成された通信部、及び
上記通信部と連結されたプロセッサを含み、
上記プロセッサは、
超音波医療映像に基づいて胆嚢ポリープの発病の如何を決定するように構成された第１評価モデルを利用して、上記個体の胆嚢ポリープ発病の如何を決定し、上記超音波医療映像内で胆嚢ポリープが決定された場合、胆嚢ポリープの特性を分類するように構成された第２評価モデルに基づいて、上記胆嚢ポリープに対する特性を決定するように構成された、胆嚢ポリープの診断に対する情報提供用デバイス。
（項目１３）
上記プロセッサは、
上記超音波医療映像に基づいて胆嚢ポリープまたは胆嚢結石（ｇａｌｌｂｌａｄｄｅｒ ｓｔｏｎｅｓ）を分類するようにさらに学習された上記第１評価モデルを利用して、胆嚢ポリープまたは胆嚢結石を決定するように構成された、項目１２に記載の胆嚢ポリープの診断に対する情報提供用デバイス。
（項目１４）
上記プロセッサは、
胆嚢ポリープ領域に対して非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを分類するように構成された上記第２評価モデルを利用して、非－腫瘍性胆嚢ポリープまたは腫瘍性胆嚢ポリープを決定するようにさらに構成された、項目１３に記載の胆嚢ポリープの診断に対する情報提供用デバイス。
（項目１５）
上記プロセッサは、
腫瘍性胆嚢ポリープが決定された場合、腫瘍性胆嚢ポリープ領域に対して腺癌性胆嚢ポリープまたは腺腫性胆嚢ポリープを分類するように構成された第３評価モデルを利用して、腺癌性胆嚢ポリープまたは腺腫性胆嚢ポリープを決定するようにさらに構成された、項目１４に記載の胆嚢ポリープの診断に対する情報提供用デバイス。
（項目１６）
上記プロセッサは、
上記超音波医療映像に対してＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を決定し、上記ＲＯＩをクロッピング（ｃｒｏｐｐｉｎｇ）し、上記第１評価モデルを利用して、上記ＲＯＩに基づいて個体の胆嚢ポリープ発病の如何を決定するようにさらに構成された、項目１２に記載の胆嚢ポリープの診断に対する情報提供用デバイス。
（項目１７）
上記超音波医療映像は、スケールバー（ｓｃａｌｅ ｂａｒ）を含み、
上記プロセッサは、
上記スケールバーに基づいて上記ＲＯＩを予め決定された水準にクロッピングするようにさらに構成された、項目１６に記載の胆嚢ポリープの診断に対する情報提供用デバイス。
（項目１８）
上記プロセッサは、
上記スケールバーに基づいてピクセル当たりの大きさを算出し、上記ピクセル当たりの大きさに基づいて、目標大きさを決定し、上記目標大きさに基づいて上記ＲＯＩをクロッピングするようにさらに構成された、項目１７に記載の胆嚢ポリープの診断に対する情報提供用デバイス。
（項目１９）
上記スケールバーは、予め決定された大きさを有する目盛りを含み、
上記プロセッサは、
上記超音波医療映像のスケールバーから選択された二つの目盛りそれぞれに対するｘ軸の座標値を決定し、上記ｘ軸の座標に基づいてピクセル距離を算出し、上記ピクセル距離及び上記予め決定された大きさに基づいて上記ピクセル当たりの大きさを算出するようにさらに構成された、項目１８に記載の胆嚢ポリープの診断に対する情報提供用デバイス。
（項目２０）
上記スケールバーは、予め決定された大きさを有する目盛りを含み、
上記プロセッサは、
上記超音波医療映像内で上記スケールバーをクロッピングし、連結要素（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ）アルゴリズムを利用して、クロッピングされたスケールバーの目盛りに基づいて目盛りの位置を決定し、上記目盛りの位置及び上記予め決定された大きさに基づいて上記ピクセル当たりの大きさを算出するようにさらに構成された、項目１８に記載の胆嚢ポリープの診断に対する情報提供用デバイス。
（項目２１）
超音波医療映像は、
内視鏡超音波（ｅｎｄｏｓｃｏｐｉｃ ｕｌｔｒａｓｏｕｎｄ、ＥＵＳ）医療映像である、胆嚢ポリープの診断に対する情報提供用デバイス。
（項目２２）
上記プロセッサは、
胆嚢ポリープ発病の如何を決定するうちに、上記第１評価モデルに対する関心領域を上記超音波医療映像に表示して提供するか、
上記胆嚢ポリープの特性を分類するうちに、上記第２評価モデルに対する関心領域を上記超音波医療映像に表示して提供するようにさらに構成された、項目１２に記載の胆嚢ポリープの診断に対する情報提供用デバイス。

【符号の説明】

【0169】

１００：胆嚢ポリープの診断に対する情報提供用デバイス
１１０、２３０：格納部
１２０、２１０：通信部
１３０、２４０：プロセッサ
２００：医療陣デバイス
２２０：表示部
３００：内視鏡超音波診断デバイス
３１２：内視鏡超音波医療映像
３１４：クロッピングされた内視鏡超音波医療映像
３１４１：ポリープ疑い領域
３２０：第１評価モデル
３２２、３３２、３４２：関心領域が表示された超音波医療映像
３２４：胆嚢結石
３２６：胆嚢ポリープ
３３０：第２評価モデル
３３４：非－腫瘍性胆嚢ポリープ
３３６：腫瘍性胆嚢ポリープ
３４０：第３評価モデル
３４４：腺腫ポリープ
３４６：腺癌ポリープ
３５２：スケールバー

【図1a】

【図1b】

【図1c】

【図2a】

【図2b】

【図3a】

【図3b】

【図4】

【図5a】

【図5b】

【図5c】

【図5d】

【図5e】