▶ インフィニット ヘルスケア シーオー．，エルティーディー．の特許一覧
特開2022-145658人工知能基盤の大腸内視鏡映像診断支援システム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022145658
(43)【公開日】2022-10-04
(54)【発明の名称】人工知能基盤の大腸内視鏡映像診断支援システム及び方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20220926BHJP
A61B 1/31 20060101ALI20220926BHJP
A61B 1/00 20060101ALI20220926BHJP
【ＦＩ】
A61B1/045 614
A61B1/31
A61B1/00 552
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022043584
(22)【出願日】2022-03-18
(31)【優先権主張番号】10-2021-0035619
(32)【優先日】2021-03-19
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】522075162
【氏名又は名称】インフィニット ヘルスケア シーオー．，エルティーディー．
(74)【代理人】
【識別番号】110000659
【氏名又は名称】弁理士法人広江アソシエイツ特許事務所
(72)【発明者】
【氏名】ピョン，ソヒョン
(72)【発明者】
【氏名】アン，チュンイル
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161AA04
4C161HH55
4C161WW02
4C161WW13
(57)【要約】 （修正有）
【課題】使用者が医療映像を診断する過程で複数の医療映像分析アルゴリズムに対する信頼度及び正確度を含む評価スコアを提供することにより、使用者による医療映像診断結果の正確度を高める。
【解決手段】人工知能に基づいて大腸内視鏡映像診断を支援するシステム及び方法が開示される。システム内のプロセッサは、少なくとも一つ以上の医療映像分析アルゴリズムを用いて大腸内視鏡映像のビデオフレームを分析し、ビデオフレーム内に病変と疑心される部位が存在するかを検出し、プロセッサは、ビデオフレーム内に病変と疑心される部位が存在すれば、病変と疑心される部位の位置座標を算出し、プロセッサは、病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成する。
【選択図】図２
【解決手段】人工知能に基づいて大腸内視鏡映像診断を支援するシステム及び方法が開示される。システム内のプロセッサは、少なくとも一つ以上の医療映像分析アルゴリズムを用いて大腸内視鏡映像のビデオフレームを分析し、ビデオフレーム内に病変と疑心される部位が存在するかを検出し、プロセッサは、ビデオフレーム内に病変と疑心される部位が存在すれば、病変と疑心される部位の位置座標を算出し、プロセッサは、病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成する。
【選択図】図２
【特許請求の範囲】
【請求項1】
医療映像に対する診断を支援する診断支援システムであって、前記診断支援システムはコンピューティングシステムを含み、
前記コンピューティングシステムは、
前記医療映像として大腸内視鏡映像を受信するか入力される受信モジュールと、
前記大腸内視鏡に対する分析機能を有する少なくとも一つ以上の医療映像分析アルゴリズムを保存するメモリまたはデータベースと、
プロセッサと、
使用者ディスプレイと、
を含み、
前記プロセッサは、前記少なくとも一つ以上の医療映像分析アルゴリズムを用いて前記大腸内視鏡映像のビデオフレームを分析し、前記ビデオフレーム内に病変と疑心される部位が存在するかを検出し、
前記プロセッサは、前記ビデオフレーム内に前記病変と疑心される部位が存在すれば、前記病変と疑心される部位の位置座標を算出し、
前記プロセッサは、前記病変と疑心される部位の存在の有無及び前記病変と疑心される部位の前記位置座標を含むディスプレイ情報を生成し、
前記使用者ディスプレイは、前記ビデオフレーム内に前記病変と疑心される部位が存在すれば、前記ビデオフレーム上に前記ディスプレイ情報に基づいて前記病変と疑心される部位が視覚的に区分されるように表示し、前記病変と疑心される部位の前記位置座標を前記病変と疑心される部位と視覚的に連動するように表示する、大腸内視鏡映像診断支援システム。
前記コンピューティングシステムは、
前記医療映像として大腸内視鏡映像を受信するか入力される受信モジュールと、
前記大腸内視鏡に対する分析機能を有する少なくとも一つ以上の医療映像分析アルゴリズムを保存するメモリまたはデータベースと、
プロセッサと、
使用者ディスプレイと、
を含み、
前記プロセッサは、前記少なくとも一つ以上の医療映像分析アルゴリズムを用いて前記大腸内視鏡映像のビデオフレームを分析し、前記ビデオフレーム内に病変と疑心される部位が存在するかを検出し、
前記プロセッサは、前記ビデオフレーム内に前記病変と疑心される部位が存在すれば、前記病変と疑心される部位の位置座標を算出し、
前記プロセッサは、前記病変と疑心される部位の存在の有無及び前記病変と疑心される部位の前記位置座標を含むディスプレイ情報を生成し、
前記使用者ディスプレイは、前記ビデオフレーム内に前記病変と疑心される部位が存在すれば、前記ビデオフレーム上に前記ディスプレイ情報に基づいて前記病変と疑心される部位が視覚的に区分されるように表示し、前記病変と疑心される部位の前記位置座標を前記病変と疑心される部位と視覚的に連動するように表示する、大腸内視鏡映像診断支援システム。
【請求項2】
前記プロセッサは、前記病変と疑心される部位の大腸内視鏡経路上の位置を算出し、
前記プロセッサは、前記病変と疑心される部位の存在の有無、前記病変と疑心される部位の前記位置座標、及び前記病変と疑心される部位の前記大腸内視鏡経路上の位置を含むディスプレイ情報を生成し、
前記使用者ディスプレイは、前記ディスプレイ情報に基づいて前記病変と疑心される部位の前記大腸内視鏡経路上の位置を前記病変と疑心される部位と視覚的に連動するように表示する、請求項１に記載の大腸内視鏡映像診断支援システム。
前記プロセッサは、前記病変と疑心される部位の存在の有無、前記病変と疑心される部位の前記位置座標、及び前記病変と疑心される部位の前記大腸内視鏡経路上の位置を含むディスプレイ情報を生成し、
前記使用者ディスプレイは、前記ディスプレイ情報に基づいて前記病変と疑心される部位の前記大腸内視鏡経路上の位置を前記病変と疑心される部位と視覚的に連動するように表示する、請求項１に記載の大腸内視鏡映像診断支援システム。
【請求項3】
前記プロセッサは、現在検査部位を表示する前記ビデオフレームの大腸内視鏡経路上の位置を追跡し、
前記プロセッサは、前記ビデオフレームの大腸内視鏡経路上の位置及び前記病変と疑心される部位の前記位置座標に基づいて前記病変と疑心される部位の前記大腸内視鏡経路上の位置を算出する、請求項２に記載の大腸内視鏡映像診断支援システム。
前記プロセッサは、前記ビデオフレームの大腸内視鏡経路上の位置及び前記病変と疑心される部位の前記位置座標に基づいて前記病変と疑心される部位の前記大腸内視鏡経路上の位置を算出する、請求項２に記載の大腸内視鏡映像診断支援システム。
【請求項4】
前記プロセッサは、検査対象患者の３次元解剖学的構造を含む検査前獲得医療映像に基づいて前記病変と疑心される部位の前記大腸内視鏡経路上の位置を算出する、請求項２に記載の大腸内視鏡映像診断支援システム。
【請求項5】
前記プロセッサは、前記医療映像の前記ビデオフレームを分析して、前記医療映像の中で前記ビデオフレームの特性に対応する文脈基盤の判読要件を抽出し、
前記プロセッサは、前記文脈基盤の判読要件に基づいて、複数の判読適用アルゴリズム候補の中で前記ビデオフレームに対する判読を実行する判読適用アルゴリズムを選択する、請求項１に記載の大腸内視鏡映像診断補助システム。
前記プロセッサは、前記文脈基盤の判読要件に基づいて、複数の判読適用アルゴリズム候補の中で前記ビデオフレームに対する判読を実行する判読適用アルゴリズムを選択する、請求項１に記載の大腸内視鏡映像診断補助システム。
【請求項6】
前記受信モジュールは、少なくとも一つ以上の大腸内視鏡映像獲得モジュールから少なくとも一つ以上の大腸内視鏡映像を受信するか入力され、
前記プロセッサは、前記少なくとも一つ以上の医療映像分析アルゴリズムを用いて前記少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位が存在するかを検出し、
前記プロセッサは、前記少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して前記病変と疑心される部位の存在の有無及び前記病変と疑心される部位の前記位置座標を含む前記ディスプレイ情報を生成する、請求項１に記載の大腸内視鏡映像診断支援システム。
前記プロセッサは、前記少なくとも一つ以上の医療映像分析アルゴリズムを用いて前記少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位が存在するかを検出し、
前記プロセッサは、前記少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して前記病変と疑心される部位の存在の有無及び前記病変と疑心される部位の前記位置座標を含む前記ディスプレイ情報を生成する、請求項１に記載の大腸内視鏡映像診断支援システム。
【請求項7】
プロセッサ、及び使用者ディスプレイを含む大腸内視鏡映像診断支援システムによって実行される大腸内視鏡映像診断支援方法であって、
大腸内視鏡映像を受信するか入力される段階と、
前記大腸内視鏡映像診断支援システム内のメモリまたはデータベースに保存された前記大腸内視鏡に対する分析機能を有する少なくとも一つ以上の医療映像分析アルゴリズムを用いて、前記プロセッサが前記大腸内視鏡映像のビデオフレームを分析し、前記ビデオフレーム内に病変と疑心される部位が存在するかを検出する段階と、
前記プロセッサが、前記ビデオフレーム内に前記病変と疑心される部位が存在すれば、前記病変と疑心される部位の位置座標を算出する段階と、
前記プロセッサが、前記病変と疑心される部位の存在の有無及び前記病変と疑心される部位の前記位置座標を含むディスプレイ情報を生成する段階と、
前記使用者ディスプレイが、前記ビデオフレーム内に前記病変と疑心される部位が存在すれば、前記ビデオフレーム上に前記ディスプレイ情報に基づいて前記病変と疑心される部位が視覚的に区分されるように表示する段階と、
前記使用者ディスプレイが、前記病変と疑心される部位の前記位置座標を前記病変と疑心される部位と視覚的に連動するように表示する段階と、
を含む、大腸内視鏡映像診断支援方法。
大腸内視鏡映像を受信するか入力される段階と、
前記大腸内視鏡映像診断支援システム内のメモリまたはデータベースに保存された前記大腸内視鏡に対する分析機能を有する少なくとも一つ以上の医療映像分析アルゴリズムを用いて、前記プロセッサが前記大腸内視鏡映像のビデオフレームを分析し、前記ビデオフレーム内に病変と疑心される部位が存在するかを検出する段階と、
前記プロセッサが、前記ビデオフレーム内に前記病変と疑心される部位が存在すれば、前記病変と疑心される部位の位置座標を算出する段階と、
前記プロセッサが、前記病変と疑心される部位の存在の有無及び前記病変と疑心される部位の前記位置座標を含むディスプレイ情報を生成する段階と、
前記使用者ディスプレイが、前記ビデオフレーム内に前記病変と疑心される部位が存在すれば、前記ビデオフレーム上に前記ディスプレイ情報に基づいて前記病変と疑心される部位が視覚的に区分されるように表示する段階と、
前記使用者ディスプレイが、前記病変と疑心される部位の前記位置座標を前記病変と疑心される部位と視覚的に連動するように表示する段階と、
を含む、大腸内視鏡映像診断支援方法。
【請求項8】
前記プロセッサが前記病変と疑心される部位の大腸内視鏡経路上の位置を算出する段階をさらに含み、
前記ディスプレイ情報を生成する段階は、前記プロセッサによって、前記病変と疑心される部位の存在の有無、前記病変と疑心される部位の前記位置座標、及び前記病変と疑心される部位の前記大腸内視鏡経路上の位置を含む前記ディスプレイ情報を生成し、
前記使用者ディスプレイが前記病変と疑心される部位の前記位置座標を前記病変と疑心される部位と視覚的に連動するように表示する段階は、前記使用者ディスプレイによって、前記ディスプレイ情報に基づいて前記病変と疑心される部位の前記大腸内視鏡経路上の位置を前記病変と疑心される部位と視覚的に連動するように表示する、請求項７に記載の大腸内視鏡映像診断支援方法。
前記ディスプレイ情報を生成する段階は、前記プロセッサによって、前記病変と疑心される部位の存在の有無、前記病変と疑心される部位の前記位置座標、及び前記病変と疑心される部位の前記大腸内視鏡経路上の位置を含む前記ディスプレイ情報を生成し、
前記使用者ディスプレイが前記病変と疑心される部位の前記位置座標を前記病変と疑心される部位と視覚的に連動するように表示する段階は、前記使用者ディスプレイによって、前記ディスプレイ情報に基づいて前記病変と疑心される部位の前記大腸内視鏡経路上の位置を前記病変と疑心される部位と視覚的に連動するように表示する、請求項７に記載の大腸内視鏡映像診断支援方法。
【請求項9】
前記大腸内視鏡映像を受信するか入力される段階は、少なくとも一つ以上の大腸内視鏡映像獲得モジュールから少なくとも一つ以上の大腸内視鏡映像を受信するか入力され、
前記ビデオフレーム内に病変と疑心される部位が存在するかを検出する段階は、前記少なくとも一つ以上の医療映像分析アルゴリズムを用いて前記少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位が存在するかを検出し、
前記ディスプレイ情報を生成する段階は、前記少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して前記病変と疑心される部位の存在の有無及び前記病変と疑心される部位の前記位置座標を含む前記ディスプレイ情報を生成する、請求項７に記載の大腸内視鏡映像診断支援方法。
前記ビデオフレーム内に病変と疑心される部位が存在するかを検出する段階は、前記少なくとも一つ以上の医療映像分析アルゴリズムを用いて前記少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位が存在するかを検出し、
前記ディスプレイ情報を生成する段階は、前記少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して前記病変と疑心される部位の存在の有無及び前記病変と疑心される部位の前記位置座標を含む前記ディスプレイ情報を生成する、請求項７に記載の大腸内視鏡映像診断支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は自動化システムによって医療映像診断を支援する装置及び方法に関する。具体的には、人工知能基盤の医療映像分析アルゴリズムによって大腸内視鏡検査を遂行するとき、大腸内視鏡映像の診断を支援し、病変の漏れ危険を減らすことができるように支援する装置、システム及び方法に関する。
【0002】
本発明は科学技術情報通信部及び情報通信企画評価院のＳＷコンピューティング産業源泉技術開発（Ｒ＆Ｄ）事業の一環として遂行した研究から導出されたものである［課題固有番号：１７１１１１６３４３、課題番号：２０１８－０－００８６１－００３、課題名：医療データ分析知能型ＳＷ技術開発］。
【背景技術】
【0003】
定期的な健康診断の目的で内視鏡診断は非常に頻繁に発生する医療行為である。このような内視鏡診断の際、実時間映像を処理して医療現場で専門家が病変を識別しやすいように前処理する技術に対する需要が存在する。最近には、米国公開特許第２０１８／０２５３８３９号“Ａ ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ｏｆ ｓｕｓｐｉｃｉｏｕｓ ｔｉｓｓｕｅ ｒｅｇｉｏｎｓ ｉｎ ａｎ ｅｎｄｏｓｃｏｐｉｃ ｐｒｏｃｅｄｕｒｅ”などでビデオフレームに対してノイズを除去する前処理過程を遂行し、ノイズ除去前処理過程とコンピュータ支援診断（ＣＡＤ、Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ）過程を並列に遂行して実時間診断支援ディスプレイ情報を提供する技術が紹介されたことがある。
【0004】
このような技術では、ＣＡＤモジュールの正確度と信頼度が非常に重要な要因と認識されている。
【0005】
映像内客体を分割（ｓｅｇｍｅｎｔａｔｉｏｎ）または検出（ｄｅｔｅｃｔｉｏｎ）し、映像内客体を分類（ｃｌａｓｓｉｆｙ）する技術は映像処理で多様な用途に活用される。医療映像においては、映像の明度または強度値（ｉｎｔｅｎｓｉｔｙ）に基づいて映像内客体を分割、検出、分類する。この際、客体は人体の臓器（ｏｒｇａｎ）、病変（ｌｅｓｉｏｎ）であることができる。
【0006】
映像処理過程の自動化において、近年人工神経回路網としてディープラーニング、コンボリューション神経回路網（ＣＮＮ、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の導入は映像処理自動化プロセスの性能を飛躍的に向上させた。
【0007】
しかし、一方で、ディープラーニング、ＣＮＮなどの最近の人工神経回路網は内部がブラックボックスに近くて、導出される結果が優れるといっても使用者がこれを全面的に収容して採択するのに拒否感がある。特に、人工神経回路網に対する拒否感は人間の生命を取り扱う分野である医療映像分野ではもっと重要に目立つ。
【0008】
このような背景で、説明可能な人工知能（ｅｘｐｌａｉｎａｂｌｅ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｘ－ＡＩ）に対する研究が国防総省国防高等研究事業局（ＤＡＲＰＡ）などで試みられている(https://www.darpa.mil/program/explainable-artificial-intelligence)。ただ、いまだに可視的な成果は現れていない状況である。
【0009】
医療分野で複雑な形態の病変を分割／検出し、分類／診断するための技術として複数の分割アルゴリズムを選択的に適用する技術が国際公開特許第ＷＯ２０１８／０１５４１４号の“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＡＲＴＩＦＩＣＩＡＬ ＩＮＴＥＬＬＩＧＥＮＣＥ ＢＡＳＥＤ ＭＥＤＩＣＡＬ ＩＭＡＧＥ ＳＥＧＭＥＮＴＡＴＩＯＮ”などが紹介されたことがある。
【0010】
前記先行文献では、映像分割の最終結果物を得るために、予備訓練された（ｐｒｅ－ｔｒａｉｎｅｄ）分割アルゴリズムを比較し、少なくともいずれか一つを選択する技法が適用される。
【0011】
しかし、前記先行文献からも分割アルゴリズムを選択的に適用する基準が何かについての記述的情報（ｄｅｓｃｒｉｐｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ、ｅｘｐｌａｎａｔｉｏｎ）を導出することができないから、臨床医（ｃｌｉｎｉｃｉａｎ）がこのような分割技法が臨床的にどのくらい有用であるかに対する信頼を高めにくいという問題がある。
【0012】
また、韓国登録特許第１０－１９３８９９２号の“診断理由説明を生成するＣＡＤシステム及びその方法”では、病変診断に対する根拠情報を導出するために、ＤＮＮに基づいて抽出された特徴情報を連鎖的に融合して特徴ベクターを生成する技術が紹介された。しかし、前記韓国登録特許第１０－１９３８９９２号は、人工神経回路網が自ら特徴情報を導出するだけで、抽出された特徴情報が臨床的に有用な情報であるかに対する検証が全然遂行されないから、人工神経回路網の診断結果についての説明によってヒトが認識することができるであろうと言う根拠が希薄である。
【0013】
このように、医療映像の診断過程でもブラックボックスのように実行される人工知能診断システムが結果を導出する過程を臨床的に信頼することができないという類似の問題点が依然として存在する。
【0014】
特に、大腸内視鏡は、肛門を通して内視鏡を人体に投入し、大腸の内部及び大腸に隣接した小腸の末端部位を観察する検査を意味する。装置の内部にはビデオカメラが付いているので、施術者（医師）はチューブに設けられたカメラで大腸の内部をモニタリングしてポリプ及び異常組織を検出し、検出されたポリプ及び／または病変を引き離して組職検査を実行するか組職を除去することができる。しかし、検査の際にポリプを見逃せば、ポリプが後に癌に発展することができるので、ポリプの早期発見は非常に重要である。
【0015】
大腸内視鏡による施術の際、狭い経路での検査過程でイメージの解像度、立体感を使用者が直観的に認知することができないビュー、死角地帯、使用者の間違いなどの原因によってたびたび病変を見逃す現象が現れる。特に、集団的な健康検診では連続的で反復的な施術によって医師はたびたび疲労症状を表して病変を十分に感知することができないことがある。そして、ヒトの間違いがイメージの特性上で現れる原因と結合して病変漏れの原因になり、検査の医療結果に否定的な影響を及ぼすことができる。
【先行技術文献】
【特許文献】
【0016】
【特許文献1】米国公開特許第２０１８／０２５３８３９号公報
【特許文献2】国際公開特許第ＷＯ２０１８／０１５４１４号公報
【特許文献3】韓国登録特許第１０－１９３８９９２号公報
【特許文献4】韓国登録特許第１０－１８５０３８５号公報
【特許文献5】韓国登録特許第１０－１２３０８７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0017】
最近ディープラーニング基盤の人工知能技法を適用して映像分割、映像内客体の検出、及び分類技法の性能を向上しようとする努力が続いている。しかし、ディープラーニング基盤の人工知能の場合、その動作から提供される結果物が偶然に高い性能を示すものであるか、その任務（ｔａｓｋ）に適切な判断過程を経たものであるかが使用者が分からないブラックボックス（ｂｌａｃｋ－ｂｏｘ）であるという点が活用可能性を制限している。
【0018】
一方、説明の容易なルールに基づく（ｒｕｌｅ－ｂａｓｅｄ）方式の訓練または学習ではディープラーニング程度の成果が得られないという点で使用が制限されている。したがって、向上した性能を有しながらも記述的情報（ｄｅｓｃｒｉｐｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ、ｅｘｐｌａｎａｔｉｏｎ）を提供することができるディープラーニング基盤の人工知能に対する研究が活発である。人工神経回路網を用いた映像処理を実際に応用することにあたり、特に医療映像分野では診断及び分類の根拠についての記述的情報が必要であるが、従来技術ではいまだに記述的情報を導出することができない状況である。
【0019】
前述した先行文献第ＷＯ２０１８／０１５４１４号でもどの要素が最終的な分割（ｓｅｇｍｅｎｔａｔｉｏｎ）性能を向上させるのに影響を及ぼすかについての記述的情報（ｄｅｓｃｒｉｐｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ、ｅｘｐｌａｎａｔｉｏｎ）を導出することができなく、分割過程で臨床医（ｃｌｉｎｉｃｉａｎ）が臨床的に有意味なフィードバックを提供しても、このフィードバックが実際にディープラーニングシステムに適切に適用されたかを確認することができる方法がない。
【0020】
本発明の目的は、使用者が医療映像を診断する過程で複数の医療映像分析アルゴリズムに対する信頼度及び正確度を含む評価スコアを提供することにより、使用者による医療映像診断結果の正確度を高めることである。
【0021】
本発明の目的は、使用者が人工知能医療映像分析アルゴリズムを使って最終的な診断結果を導出する過程に推薦情報を記述的情報（ｄｅｓｃｒｉｐｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）として提供し、使用者が医療映像分析アルゴリズムに対する臨床的有用性を定量化した情報として提供することである。
【0022】
本発明の目的は、複数の人工知能医療映像診断結果の最適化した組合せを実時間ビデオフレームのそれぞれに対するディスプレイ情報として生成して提供することである。
【0023】
本発明の目的は、現在ビデオフレームで診断される可能性が高いか、漏れる可能性が高いか、危険度が高い診断結果を効率的に表示することができる複数の人工知能医療映像診断結果の最適化した組合せを提供することである。
【0024】
本発明の目的は、現在ビデオフレームで診断される可能性が高いか、漏れる可能性が高いか、危険度が高い診断結果を自動で検出して提示することにより、内視鏡検査の途中に医療陣が実時間で確認して検討することができるようにする使用者インターフェース及び診断コンピューティングシステムを提供することである。
【0025】
本発明の目的は、大腸内視鏡映像の実時間ビデオフレームのそれぞれに対して人工知能医療映像診断結果に基づいて使用者が逃し得るポリプなどを人工知能アルゴリズムで訓練させ、これを人工知能診断支援システムに適用することにより、業務効率性及び診断正確度を高めることである。
【0026】
一般的に、ポリプ早期検出率の増加は癌発病率の減少と密接な相関関係があると知られている。したがって、本発明によって病変検出率を高め、大腸癌危険要因を早期になくして大腸癌発病率を低めることを目的とする。さらに、医師が以前より多い病変を探して治療することができるようにして大腸癌の原因を減らすのに寄与することを目的とし、検査の頻度を減らすのにも寄与することを目的とする。本発明は実際状況で発見されて検証された多様なサイズ及び／または形態のポリプをその発見位置とともに人工知能／人工神経回路網の学習データとして用いる。本発明の目的はこれを学習した人工知能／人工神経回路網を用いて、人間の肉眼で見逃しやすい非常に小さなサイズのポリプ、及び死角地帯に位置するポリプを自動で発見してポリプの発見率／検出率を高めることであり、これにより大膓癌の発病危険性を低めることである。
【0027】
本発明の目的は、使用者が大腸内視鏡検査中に逃しやすいポリプ及び／または病変を自動で検出し、大腸内視鏡経路上でのポリプ及び／または病変の位置まで提示することにより、使用者が大腸内視鏡検査の途中に実時間で容易に確認し、追後にこれを他の検査者が確認することができるレポートまで簡単な操作で生成することである。
【0028】
本発明の適用対象である大腸内視鏡映像の診断支援技術では、大腸内の多様なサイズ、形態及び位置などのポリプ及び／または病変が大腸壁やしわとともに位置しているとき、周辺組職と色の差がなく、そのサイズが小さければ逃しやすいという難しさがある。したがって、本発明の目的は人工知能によって多様な病変などを実時間で探知して大腸内ポリプ発見率をより向上させることができる方法とともに大腸内視鏡経路上での位置を提供して、追後に他の検査者がそのポリプ候補を再び確認することができるように助けることである。
【課題を解決するための手段】
【0029】
本発明は前記従来技術の問題点を解決するための手段として導出されたものであり、本発明の一実施例による大腸内視鏡映像診断支援システムはコンピューティングシステムを含み、コンピューティングシステムは、受信モジュールと、メモリまたはデータベースと、プロセッサと、使用者ディスプレイとを含む。受信モジュールは医療映像を受信するか入力され、メモリまたはデータベースは医療映像（大腸内視鏡映像）に対する診断機能を有する少なくとも一つ以上の医療映像分析アルゴリズムを保存する。
【0030】
プロセッサは、少なくとも一つ以上の医療映像分析アルゴリズムを用いて大腸内視鏡映像のビデオフレームを分析し、ビデオフレーム内に病変と疑心される部位が存在するかを検出し、プロセッサは、ビデオフレーム内に病変と疑心される部位が存在すれば、病変と疑心される部位の位置座標を算出し、プロセッサは、病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成する。
【0031】
使用者ディスプレイは、ビデオフレーム内に病変と疑心される部位が存在すれば、ビデオフレーム上にディスプレイ情報に基づいて病変と疑心される部位が視覚的に区分されるように表示し、病変と疑心される部位の位置座標を病変と疑心される部位と視覚的に連動するように表示する。
【0032】
プロセッサは、病変と疑心される部位の大腸内視鏡経路上の位置を算出することができ、プロセッサは、病変と疑心される部位の存在有無、病変と疑心される部位の位置座標、及び病変と疑心される部位の大腸内視鏡経路上の位置を含むディスプレイ情報を生成することができる。
【0033】
使用者ディスプレイは、ディスプレイ情報に基づいて病変と疑心される部位の大腸内視鏡経路上の位置を病変と疑心される部位と視覚的に連動するように表示することができる。
【0034】
プロセッサは、現在検査部位を表示するビデオフレームの大腸内視鏡経路上の位置を追跡することができ、プロセッサは、ビデオフレームの大腸内視鏡経路上の位置及び病変と疑心される部位の位置座標に基づいて病変と疑心される部位の大腸内視鏡経路上の位置を算出することができる。
【0035】
プロセッサは、検査対象患者の３次元解剖学的構造を含む検査前獲得医療映像に基づいて病変と疑心される部位の大腸内視鏡経路上の位置を算出することができる。
【0036】
人工知能に基づく医療映像（大腸内視鏡映像）分析アルゴリズムは、ビデオフレームのそれぞれに対して検出された病変の表示、病変のビデオフレーム内での位置座標、病変の大腸内視鏡経路上の位置を含むラベル（ｌａｂｅｌ）をビデオフレームのそれぞれとともに訓練用データとして用いて訓練されることができる。したがって、プロセッサは、医療映像分析アルゴリズムを用いてビデオフレーム内の病変と疑心される部位の大腸内視鏡経路上の位置を算出することができる。
【0037】
プロセッサは、医療映像のビデオフレームを分析して、医療映像の中でビデオフレームの特性に対応する文脈基盤の診断要件を抽出することができる。プロセッサは、文脈基盤の診断要件に基づいて、複数の診断適用アルゴリズム候補の中でビデオフレームに対する診断を実行する診断適用アルゴリズムを選択することができる。
【0038】
本発明の実施例によって、受信モジュールは、少なくとも一つ以上の大腸内視鏡映像獲得モジュールから少なくとも一つ以上の大腸内視鏡映像を受信するか入力されることができる。ここで、プロセッサは、少なくとも一つ以上の医療映像分析アルゴリズムを用いて少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位が存在するかを検出することができる。プロセッサは、少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成することができる。
【0039】
本発明の一実施例による大腸内視鏡映像診断支援方法は、プロセッサ、及び使用者ディスプレイを含む大腸内視鏡映像診断支援システムによって実行され、大腸内視鏡映像診断支援システム内のメモリまたはデータベースに保存された大腸内視鏡に対する分析機能を有する少なくとも一つ以上の医療映像分析アルゴリズムを用いることができる。
【0040】
本発明の方法は、大腸内視鏡映像を受信するか入力される段階と、少なくとも一つ以上の医療映像分析アルゴリズムを用いて、プロセッサが大腸内視鏡映像のビデオフレームを分析し、ビデオフレーム内に病変と疑心される部位が存在するかを検出する段階と、プロセッサが、ビデオフレーム内に病変と疑心される部位が存在すれば、病変と疑心される部位の位置座標を算出する段階と、プロセッサが、病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成する段階と、使用者ディスプレイが、ビデオフレーム内に病変と疑心される部位が存在すれば、ビデオフレーム上にディスプレイ情報に基づいて病変と疑心される部位が視覚的に区分されるように表示する段階と、使用者ディスプレイが、病変と疑心される部位の位置座標を病変と疑心される部位と視覚的に連動するように表示する段階とを含む。
【発明の効果】
【0041】
本発明によれば、大腸内視鏡映像の実時間ビデオフレームのそれぞれに対して、人工知能医療映像診断結果に基づいて使用者が逃し得るポリプなどを人工知能アルゴリズムで訓練させ、これを人工知能診断支援システムに適用することにより業務効率性及び診断正確度を高めることができる。
【0042】
本発明によれば、病変などを早期に探知して、癌などに広がることができる状況を事前に予防することができる効果がある。多様なサイズの病変などとともに大腸腸内視鏡上の位置までもラベル（ｌａｂｅｌ）に含まれて学習データとして用いられたので、本発明によれば、逃しやすい非常に小さなサイズの病変までも自動で探知して病変発見率を高めることができるというのはもちろんのこと、大腸内視鏡映像経路上の位置までも抽出することができる。
【0043】
本発明によれば、ポリプ／病変検出率を高め、大腸癌危険要因を早期になくして大腸癌発病率を低めることができる。さらに、医師が以前より多いポリプを探して治療することができるようにすることにより、大腸癌の原因を減らすのに寄与することができ、検査頻度を減らすのにも寄与することができる。
【0044】
本発明によれば、使用者が大腸内視鏡検査中に逃しやすい疾患を自動で検出し、大腸腸経路（大腸内視鏡経路）上での位置まで提示することにより、使用者が大腸内視鏡検査の途中に実時間で確認し、追後にこれを他の検査者が確認することができるレポートまで簡単な操作で生成することができる。
【0045】
本発明によれば、内視鏡映像の実時間ビデオフレームのそれぞれに対して人工知能医療映像診断結果の中で最適化した内容を提供することができる。
【0046】
本発明によれば、複数の人工知能医療映像診断結果の中で実時間ビデオフレームのそれぞれに対して最適化した内容を提供することができる。
【0047】
本発明によれば、複数の人工知能医療映像診断結果の最適化した組合せを実時間ビデオフレームのそれぞれに対するディスプレイ情報として生成して提供することができる。
【0048】
本発明によれば、現在ビデオフレームで診断される可能性が高いか、漏れる可能性が高いか、危険度が高い診断結果を効率的に表示することができる複数の人工知能医療映像診断結果の最適化した組合せを提供することができる。
【0049】
本発明によれば、現在ビデオフレームで診断される可能性が高いか、漏れる可能性が高いか、危険度が高い診断結果を自動で検出して提示することにより、内視鏡検査の途中に医療陣が実時間で確認して検討することができるようにする使用者インターフェース及び診断コンピューティングシステムを具現することができる。
【図面の簡単な説明】
【0050】
【図1】本発明の一実施例による人工知能基盤の大腸内視鏡映像診断支援システム及びこれを活用するワークフローを示す図である。
【図2】本発明の一実施例による人工知能基盤の大腸内視鏡映像診断支援システムのワークフローを示す図である。
【図3】本発明の一実施例による大腸内視鏡映像に対する映像処理／分析によって学習データ（訓練用データ）を生成する過程を示す図である。
【図4】本発明の一実施例によるマルチクライアント構造の大腸内視鏡映像診断支援システム及び周辺機器を示す図である。
【図5】本発明の一実施例によるシングルクライアント構造の大腸内視鏡映像診断支援システム及び周辺機器を示す図である。
【図6】本発明の一実施例による大腸内視鏡映像診断支援システム及びこれを活用するワークフローを示す図である。
【図7】本発明の一実施例による大腸内視鏡映像診断支援システム及びこれを活用するワークフローを示す図である。
【発明を実施するための形態】
【0051】
前記目的の他に本発明の他の目的及び特徴は添付図面を参照した実施例についての説明から明らかになるであろう。
【0052】
本発明の好適な実施例を添付図面に基づいて詳細に説明する。本発明の説明において、関連した公知の構成または機能についての具体的な説明が本発明の要旨をあいまいにする可能性があると判断される場合にはその詳細な説明は省略する。
【0053】
最近急速に発展したディープラーニング／ＣＮＮ基盤の人工神経回路網技術は、映像分野に適用する場合、人間の肉眼で区分しにくい視覚的要素を区分する用途に考慮されている。このような技術の適用分野は、保安、医療映像、非破壊検査などの多様な分野に拡大する可能性が期待されている。
【0054】
例えば、医療映像分野で、癌組職の中で生検（ｂｉｏｐｓｙ）状態で直ちに癌と判定されず、病理学的（ｐａｔｈｏｌｏｇｙ）観点で追跡モニタリングされてから初めて癌であるかが判定される場合がある。人間の肉眼では医療映像で該当細胞が癌であるかを確定診断しにくいが、人工神経回路網技術を適用する場合、人間の肉眼で観察するものより正確な予測結果を得ることができるという期待がある。
【0055】
しかし、人工神経回路網技術が一部の研究で人間の肉眼より優れた予測／分類／診断結果を得ることができるといっても、人工神経回路網技術の適用によって得られた予測／分類／診断結果についての記述的情報が足りなくて医療現場でこれを収容して採択することは難しい点が問題として台頭する。
【0056】
本発明は人工神経回路網技術を適用して人間の肉眼で分類しにくい映像内客体を分類／予測する性能を向上させようとする意図で導出された。また、人工神経回路網技術の分類／予測性能を向上させるためにも人工神経回路網技術の分類／予測過程に基づく最終診断結果の生成まで到逹する内部動作についての記述的情報を得ることは非常に重要である。
【0057】
本発明は人工神経回路網に基づく複数の医療映像分析アルゴリズムのそれぞれの性能指標及び臨床的有用性を定量化した指標として提示することができる。これにより、人工神経回路網の分類／予測過程に基づく最終診断結果が導出される過程についての記述的情報を提供することができ、人工神経回路網の分類／予測／診断結果を人間使用者が採択するかに対するレファレンスを提供することができる。
【0058】
従来技術の人工神経回路網を医療映像の診断に適用したとき、与えられた任務（ｔａｓｋ）のみに過適合（ｏｖｅｒｆｉｔ）されて統計的正確度は高いが、いくつかの臨床的に重要な診断ポイントでは正確度が低い場合がある。少なくない従来技術の人工神経回路網がこのような状況に置かれており、よって臨床医が人工神経回路網の適用された医療映像の診断結果に対して信頼しにくい状況が頻繁に発生する。このような危険性は、広く知られた人工神経回路網であるＩＢＭのＷａｔｓｏｎソリューションが、学習されたデータに含まれた患者の人種情報などに過適合されて新しい人種の患者のデータセットでは正確度が著しく低下するなどの問題点を露出しているということからより明らかである。
【0059】
したがって、人工神経回路網の優れた診断潜在能力を最大限活用するとともに、臨床医がこのような診断結果を収容するかに対する定量化した指標を提供し、臨床医がこのような定量化した指標を生成するのに直接的なフィードバックを提供することができる経路を確保することは非常に重要である。
【0060】
前述した米国公開特許第２０１８／０２５３８３９号の“Ａ ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ｏｆ ｓｕｓｐｉｃｉｏｕｓ ｔｉｓｓｕｅ ｒｅｇｉｏｎｓ ｉｎ ａｎ ｅｎｄｏｓｃｏｐｉｃ ｐｒｏｃｅｄｕｒｅ”、国際公開特許第ＷＯ２０１８／０１５４１４号の“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＡＲＴＩＦＩＣＩＡＬ ＩＮＴＥＬＬＩＧＥＮＣＥ ＢＡＳＥＤ ＭＥＤＩＣＡＬ ＩＭＡＧＥ ＳＥＧＭＥＮＴＡＴＩＯＮ”、及び韓国登録特許第１０－１９３８９９２号の“診断理由説明を生成するＣＡＤシステム及びその方法”などでは、内視鏡映像の人工知能基盤の診断のための基本的な構成、すなわち内視鏡映像獲得モジュール、映像キャプチャー及び映像処理モジュール、獲得／キャプチャーされた内視鏡映像を分析エンジンの搭載されたコンピューティングシステムに伝達する送信／受信インターフェース（モジュール）、人工知能／人工神経回路網基盤の映像分析アルゴリズム／エンジンが保存されたメモリまたはデータベースなどについて開示した。
【0061】
本発明では、これらの先行文献及び当該分野の従来技術で自明に把握することができるデータ保存手段、演算手段、人工神経回路網の基本概念及び構造、入力データ（映像）を伝達するための送受信インターフェースなどに対する事項を発明の具現のために必要とするが、これらの基本的な事項についての説明を詳細に記述することは本発明の要旨をあいまいにする可能性があるので、本発明の構成の中で本発明の出願前に当業者に公知となった内容は必要に応じてこの明細書で本発明の構成の一部として説明するが、当業者に自明な事実は発明の趣旨をあいまいにする可能性があると判断されば説明を省略することができる。
【0062】
また、本明細書で省略された事項はこの出願明細書で引用している先行文献、例えば米国公開特許第２０１８／０２５３８３９号の“Ａ ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ｏｆ ｓｕｓｐｉｃｉｏｕｓ ｔｉｓｓｕｅ ｒｅｇｉｏｎｓ ｉｎ ａｎｅｎｄｏｓｃｏｐｉｃ ｐｒｏｃｅｄｕｒｅ”、国際公開特許第ＷＯ２０１８／０１５４１４号の“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＡＲＴＩＦＩＣＩＡＬ ＩＮＴＥＬＬＩＧＥＮＣＥ ＢＡＳＥＤ ＭＥＤＩＣＡＬ ＩＭＡＧＥ ＳＥＧＭＥＮＴＡＴＩＯＮ”、及び韓国登録特許第１０－１９３８９９２号の“診断理由説明を生成するＣＡＤシステム及びその方法”などを介して当業者に公知となったことを知らせることで説明を代えることができる。
【0063】
【0064】
図１は本発明の一実施例による人工知能基盤の大腸内視鏡映像診断支援システム及びこれを活用するワークフローを示す図である。
図２は本発明の一実施例による人工知能基盤の大腸内視鏡映像診断支援システムのワークフローを示す図である。
図２は本発明の一実施例による人工知能基盤の大腸内視鏡映像診断支援システムのワークフローを示す図である。
【0065】
図１及び図２を一緒に参照すると、本発明の一実施例による大腸内視鏡映像診断支援システムはコンピューティングシステムを含み、コンピューティングシステムは、受信モジュール、メモリまたはデータベース、プロセッサ、及び使用者ディスプレイを含む。
【0066】
本発明の一実施例による大腸内視鏡映像診断支援システムは単一のコンピューティングシステムから構成されることもでき、複数のコンピューティングシステムを含むこともできる。ここで、複数のコンピューティングシステムは個別的な機能を果たし、他のコンピューティングシステムと協力して大腸内視鏡映像診断支援システムのワークフローを遂行することができる。
【0067】
例えば、コンピューティングシステムの一つは人工知能分析サーバー１１０であることができる。人工知能分析サーバー１１０は、医療映像（大腸内視鏡映像）を分析してフレームごとにポリプの存在有無を分析及び検出し、分析／検出結果を生成して出力することができる。
【0068】
例えば、人工知能分析サーバー１１０の受信モジュール（図示せず）は、医療映像を受信するか入力され、人工知能分析サーバー１１０のメモリまたはデータベースは医療映像（大腸内視鏡映像）に対する診断機能を有する少なくとも一つ以上の医療映像分析アルゴリズム２１２を保存することができる。ここで、図１及び図２を参照すると、人工知能分析サーバー１１０に伝達される医療映像は人工知能ワークステーション１２０で遂行される映像分析２２０の結果であり、訓練用入力データと比較することができるように映像処理されて標準化した映像集合であることができる。
【0069】
大腸内視鏡検査映像獲得モジュール１３２は、内視鏡検査２３２の途中に実時間で獲得される大腸内視鏡映像をＤＩＣＯＭフォーマットでゲートウェイ１２６に伝達することができる。ここで、内視鏡検査２３２の途中の実時間映像だけでなく、大腸内視鏡検査映像獲得モジュール１３２の内視鏡検査２３２の際の映像が病院内データベースに保存され、その後、同じ使用者または他の使用者によって映像照会２３４される場合にも本発明の大腸内視鏡映像診断支援システムを適用することができる。
【0070】
ここで、大腸内視鏡検査映像獲得モジュール１３２は、ｎｏｎ－ＤＩＣＯＭ映像をＤＩＣＯＭフォーマットに変換してゲートウェイ１２６に伝達することができる。ゲートウェイ１２６は、ＤＩＣＯＭ映像をＪＰＥＧフォーマットに変換して人工知能ワークステーション１２０に伝達することができる。
【0071】
本発明の他の実施例では、大腸内視鏡検査映像獲得モジュール１３２が実時間で獲得される大腸内視鏡映像をｎｏｎ－ＤＩＣＯＭ映像としてゲートウェイ１２６に伝達し、ゲートウェイ１２６がｎｏｎ－ＤＩＣＯＭ映像をＤＩＣＯＭフォーマットに変換した後、ＤＩＣＯＭ映像またはＪＰＥＧ／ＭＰＥＧフォーマット映像を人工知能ワークステーション１２０に伝達することができる。
【0072】
人工知能ワークステーション１２０も受信モジュール（図示せず）を含むことができる。人工知能ワークステーション１２０のプロセッサ（図示せず）は、大腸内視鏡映像及び／またはキャプチャー映像の黒い縁部を除去するクロッピング（ｃｒｏｐｐｉｎｇ）、回転／ティルティング、映像明度値の補正などを含む映像処理過程を映像分析２２０の一部として遂行することができる。人工知能ワークステーション１２０のプロセッサは、映像分析２２０の結果として標準化フォーマットに変換された医療映像を人工知能分析サーバー１１０に伝達することができる。ここで、標準化フォーマットは、ＰＮＧ、ＪＰＥＧ、ＭＰＥＧなどのように、人工神経回路網に容易に適用することができる広く知られたフォーマットであることができる。
【0073】
人工知能分析サーバー１００のプロセッサ（図示せず）は、少なくとも一つ以上の医療映像分析アルゴリズム２１２を用いて（既に映像分析２２０によって処理された）大腸内視鏡映像のビデオフレームを分析し、ビデオフレーム内に病変と疑心される部位が存在するかを検出することができる。プロセッサは、ビデオフレーム内に病変と疑心される部位が存在すれば、病変と疑心される部位の位置座標を算出し、プロセッサは、病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含む分析結果２１４を生成する。プロセッサは、分析結果２１４に基づいて大腸内視鏡映像とともに表示されるディスプレイ情報を生成する。
【0074】
使用者ディスプレイ１２２は、大腸内視鏡映像とともに分析結果２１４を使用者が確認できるように（２２２）表示する。すなわち、使用者ディスプレイ１２２はビデオフレーム内に病変と疑心される部位が存在すれば、ビデオフレーム上にディスプレイ情報に基づいて病変と疑心される部位が視覚的に区分されるように表示し、病変と疑心される部位の位置座標を病変と疑心される部位と視覚的に連動するように表示する。使用者の最終確認２２４の過程は現在ビデオフレーム内に表示される病変部位に対して使用者（医療専門家）が承認するか拒絶することによって遂行される。
【0075】
人工知能分析サーバー１１０のプロセッサは、病変と疑心される部位の大腸内視鏡経路上の位置を算出することができ、病変と疑心される部位の存在有無、病変と疑心される部位の位置座標、及び病変と疑心される部位の大腸内視鏡経路上の位置を含むディスプレイ情報を生成することができる。ここで、プロセッサは、大腸内視鏡機器上のセンサーの情報及び／または人工知能アルゴリズム２１２の分析結果２１４に基づいて病変と疑心される部位の大腸内視鏡経路上の位置を算出することができる。
【0076】
使用者ディスプレイ１２２は、ディスプレイ情報に基づいて病変と疑心される部位の大腸内視鏡経路上の位置を使用者が確認できるように病変と疑心される部位と視覚的に連動するように表示することができる（２２２）。
【0077】
人工知能分析サーバー１１０のプロセッサは、現在検査部位を表示するビデオフレームの大腸内視鏡経路上の位置を追跡することができ、プロセッサは、ビデオフレームの大腸内視鏡経路上の位置及び病変と疑心される部位の位置座標に基づいて病変と疑心される部位の大腸内視鏡経路上の位置を算出することができる。
【0078】
人工知能分析サーバー１１０のプロセッサは、検査対象患者の３次元解剖学的構造を含む検査前獲得医療映像に基づいて病変と疑心される部位の大腸内視鏡経路上の位置を算出することができる。
【0079】
人工知能分析サーバー１１０が提供する分析結果２１４は、病変／ポリプの検出座標、病変／ポリプの検出確率、及び／または病変／ポリプの大腸内経路（大腸内視鏡経路）上の位置を含むことができる。
【0080】
内視鏡映像とともに表示されたディスプレイ情報を使用者が最終確認し（２２４）、当該ディスプレイ情報の病変危険部位を病変と承認するか、病変ではないものに否定するか、病変と承認された場合、病変に対する後続措置を遂行するか、以後の措置を遂行するためにレポートを作成することで内視鏡検査過程を終了することができる。
【0081】
人工知能に基づく医療映像（大腸内視鏡映像）分析アルゴリズム２１２は、ビデオフレームのそれぞれに対して検出された病変の表示、病変のビデオフレーム内での位置座標、病変の大腸内視鏡経路上の位置を含むラベル（ｌａｂｅｌ）をビデオフレームのそれぞれとともに訓練用データとして用いて訓練されることができる。したがって、プロセッサは、医療映像分析アルゴリズム２１２を用いてビデオフレーム内の病変と疑心される部位の大腸内視鏡経路上の位置を算出して分析結果２１４として提供することができる。
【0082】
本発明の実施例で、内視鏡映像が示す経路上の現在位置を識別する主な手段は内視鏡映像に対する学習と推論に主に依存することができる。
【0083】
ここで、内視鏡映像に対する学習と推論に依存して（大腸内視鏡または大腸内視鏡）経路上の現在位置を識別すれば、学習に用いられる内視鏡映像のラベル（ｌａｂｅｌ）は、フレームごとに別に内視鏡の（大腸内視鏡または大腸内視鏡）経路上の位置と、検出／確認（生検によって実際に確認された映像）された病変情報を含むことができる。
【0084】
本発明の他の実施例で、内視鏡映像に対する学習と推論が大腸内経路上の現在位置を識別するための主な手段であるが、映像分析によって内視鏡映像のフレームの進行速度などを推定して現在位置を識別する手段を付加的に結合して現在位置をより正確に識別することができる。
【0085】
また、一般的には内視鏡施術前にＣＴ映像の撮影が難しくて内視鏡映像のみに依存して大腸内経路上の現在位置を識別しなければならないが、仮に内視鏡施術前にＣＴ映像の撮影が可能であれば、本発明の他の実施例では、施術前に撮影されたＣＴ映像などに基づいて再構成される内視鏡検査対象（胃または大腸など）の３Ｄモデルに関連させて現在位置を識別することもできる。
【0086】
ここで、ＣＴ映像に基づく大腸の３Ｄモデルは本出願人の既存特許である仮想内視鏡映像技術などと結合して具現することができる（韓国登録特許第１０－１８５０３８５号、または韓国登録特許第１０－１２３０８７１号）
【0087】
また、本発明の他の実施例によって、内視鏡検査対象（胃または大腸など）内の内視鏡経路上の現在位置を識別するとき、全面的に映像分析のみに依存せず、内視鏡または内視鏡装置に設けられたセンサー（内視鏡が人体に投入された長さを検出することができるセンサー）に関連させて補正（補償）することもできる。
【0088】
本発明の実施例によって、人工知能分析サーバー１１０の受信モジュールは、少なくとも一つ以上の大腸内視鏡映像獲得モジュールから少なくとも一つ以上の大腸内視鏡映像を受信するか入力されることができる。ここで、人工知能分析サーバー１１０のプロセッサは、少なくとも一つ以上の医療映像分析アルゴリズム２１２を用いて少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位が存在するかを検出することができる。プロセッサは、少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成することができる。
【0089】
ディスプレイ情報は、病変と疑心される部位の存在有無、病変と疑心される部位の位置座標（現在ビデオフレーム内での位置座標）、及び病変と疑心される部位の大腸内視鏡経路上の位置を含むことができる。
【0090】
大腸内視鏡映像のビデオフレーム上で、病変と疑心される部位はビデオフレーム内の他の部分と視覚的に区別できるように視覚化される。ここで、マーカー／ボックスなどの視覚化要素で表現されることもでき、該当領域がハイライトで表示されることもできる。
【0091】
また、位置情報及び病変が実際に病変である確率（人工知能によって推論される確率）がディスプレイ情報に含まれることにより、病変と疑心される部位の視覚化要素に近接するか、関連性を使用者が直観的に理解することができるように視覚化することができる。
【0092】
ディスプレイ情報は、内視鏡映像フレーム、内視鏡映像フレーム上に選択的にオーバーレイされる診断結果、診断結果を生成した診断適用アルゴリズムの情報、及び診断適用アルゴリズムに対する評価スコアを含むことができる。
【0093】
人工知能診断アルゴリズムは、評価スコアの高い順に診断を適用するとき、優先順位が適用されることができるが、特殊な状況では評価スコアの詳細項目に対する加重値が適応的に適用されることができる。
【0094】
本発明の他の実施例による医療映像診断支援方法は、医療映像に対する診断を支援する診断支援システム（コンピューティングシステム、例えば人工知能分析サーバー１１０）内のプロセッサによって実行され、プロセッサにロードされるプログラムインストラクションに基づいて実行される。
【0095】
本発明の一実施例による大腸内視鏡映像診断支援方法は、プロセッサ、及び使用者ディスプレイ１２２を含む大腸内視鏡映像診断支援システム（コンピューティングシステム、例えば人工知能分析サーバー１１０）によって実行され、大腸内視鏡映像診断支援システム内のメモリまたはデータベースに保存された大腸内視鏡に対する分析機能を有する少なくとも一つ以上の医療映像分析アルゴリズム２１２を用いることができる。
【0096】
本発明の方法は、大腸内視鏡映像を受信するか入力される段階と、少なくとも一つ以上の医療映像分析アルゴリズム２１２を用いて、プロセッサが大腸内視鏡映像のビデオフレームを分析し、ビデオフレーム内に病変と疑心される部位が存在するかを検出する段階と、プロセッサが、ビデオフレーム内に病変と疑心される部位が存在すれば、病変と疑心される部位の位置座標を算出する段階と、プロセッサが、病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成する段階と、使用者ディスプレイが、ビデオフレーム内に病変と疑心される部位が存在すれば、ビデオフレーム上にディスプレイ情報に基づいて病変と疑心される部位が視覚的に区分されるように表示する段階と、使用者ディスプレイが病変と疑心される部位の位置座標を病変と疑心される部位と視覚的に連動するように表示する段階とを含む。
【0097】
ここで、本発明の方法は、前記プロセッサが前記病変と疑心される部位の大腸内視鏡経路上の位置を算出する段階をさらに含むことができる。
【0098】
本発明の方法の前記ディスプレイ情報を生成する段階は、前記プロセッサによって、前記病変と疑心される部位の存在有無、前記病変と疑心される部位の前記位置座標、及び前記病変と疑心される部位の前記大腸内視鏡経路上の位置を含む前記ディスプレイ情報を生成することができる。
【0099】
本発明の方法の前記使用者ディスプレイが前記病変と疑心される部位の前記位置座標を前記病変と疑心される部位と視覚的に連動するように表示する段階は、前記使用者ディスプレイによって、前記ディスプレイ情報に基づいて前記病変と疑心される部位の前記大腸内視鏡経路上の位置を前記病変と疑心される部位と視覚的に連動するように表示することができる。
【0100】
本発明の方法の前記大腸内視鏡映像を受信するか入力される段階は、少なくとも一つ以上の大腸内視鏡映像獲得モジュールから少なくとも一つ以上の大腸内視鏡映像を受信するか入力されることができる。
【0101】
本発明の方法の前記ビデオフレーム内に病変と疑心される部位が存在するかを検出する段階は、前記少なくとも一つ以上の医療映像分析アルゴリズムを用いて前記少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位が存在するかを検出することができる。
【0102】
本発明の方法の前記ディスプレイ情報を生成する段階は、前記少なくとも一つ以上の大腸内視鏡映像のビデオフレームのそれぞれに対して前記病変と疑心される部位の存在有無及び前記病変と疑心される部位の前記位置座標を含む前記ディスプレイ情報を生成することができる。
【0103】
図３は本発明の一実施例による大腸内視鏡映像に対する映像処理／分析によって学習データ（訓練用データ）を生成する過程を示す図である。
【0104】
図３を参照すると、本発明の一実施例による大腸内視鏡診断装置から得られる大腸内視鏡映像の原映像（ｒａｗ ｉｍａｇｅ）３１０の実施例が示されている。大腸内視鏡映像の原映像３１０は、検査部位に対する大腸内視鏡映像部分３２０と、ディスプレイ情報とを含む。
【0105】
本発明の一実施例による大腸内視鏡映像の人工知能分析アルゴリズムの学習過程で訓練用入力データは次を含む。訓練用入力データとして用いられる大腸内視鏡映像の原映像（ｒａｗ ｉｍａｇｅ３１０は、映像獲得機器（大腸内視鏡映像獲得モジュール）が支援する解像度によってそれぞれ異なるサイズの黒色背景を含む映像からなっている。大腸内視鏡映像情報のみを使うために、学習を遂行するに先立ち、内視鏡部分抽出（ｃｒｏｐｐｉｎｇ）を実行する。訓練用入力データは原映像３１０を含むこともできるが、内視鏡部分抽出（ｃｒｏｐｐｉｎｇ）の結果物である大腸内視鏡映像部分３２０とラベル情報３３０とが主に用いられる。
【0106】
原映像３１０から、患者の情報、患者に対する臨床的要求事項、大腸内視鏡映像フレームに対する検証された診断コメント、大腸内視鏡映像フレームに対する病変検出結果などが抽出されてラベル情報３３０として生成される。ここで、患者の情報、及び患者に対する臨床的要求事項などは専ら原映像３１０から抽出されることもでき、ＰＡＣＳ、ＥＭＲ、ＯＣＳ、ＣＩＳ、ＨＩＳなどの病院内データベースから補完されることもできる。ここで、原映像３１０のフレームに対応する大腸内視鏡経路上の位置も一緒に抽出されてラベル情報３３０に含まれることができる。
【0107】
学習／訓練段階で、病変などの検出のための情報とともに大腸内視鏡経路上での位置も一緒に（ラベル情報３３０に含まれて）学習され、最終的に病変などが位置する座標値、病変確率、経路上での位置結果に対する学習を遂行することができる。
【0108】
学習の後、実時間映像に対する推論（ｉｎｆｅｒｅｎｃｅ）過程では、分析された結果値が視覚的に区分可能な視覚化要素を用いて使用者画面に表示される。ここで、人工知能分析サーバー１１０などで大腸内視鏡映像部分３２０からフィーチャー（ｆｅａｔｕｒｅ）を抽出する過程は、ＲｅｓＮｅｔ－５０のような人工神経回路網基盤の映像分析過程によって実行することができる。ＦＰＮ（Ｆｅａｔｕｒｅ ｐｙｒａｍｉｄ ｎｅｔｗｏｒｋ）でＲｅｓＮｅｔ－５０から抽出された各レイヤー（ｌａｙｅｒ）別フィーチャー（ｆｅａｔｕｒｅ）はレイヤー別にポリプであるかに対するクラス確率値及びポリプの位置情報を含むボックス確率値とともに提供され、これを計算して、正確にポリプを検出したかを判断し、学習し、最終にポリプが位置する座標値結果を獲得する過程を含むことができる。
【0109】
使用者の漏れ危険をもっと減らすために、危険部位が発見された場合には、警報音を一緒に用いることによって使用者の注意を引くことができる。危険部位の種類、危険部位が病変である確率、危険部位が視野上の死角地帯に位置して漏れ危険が高い場合には、警報音を異にして使用者の注意をもっと集中させることができる。
【0110】
使用者の注意を集中させる手段として、使用者ディスプレイ１２２上で病変／ポリプ危険部位を含むバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を表示するか、ポップアップ窓を介して特定のメッセージまたは病変／ポリプ危険部位を表示することができる。このような警報音、バウンディングボックス、メッセージ、ポップアップ窓などは特定の時間の間に維持されることができる（例えば、１秒）。
【0111】
訓練用データの生成の際、データの特定の偏向性（内視鏡機器の色相、明度、解像度、またはティルティング）などによる過適合（ｏｖｅｒｆｉｔｔｉｎｇ）を解消するために、データ増殖（ａｕｇｍｅｎｔａｔｉｏｎ）を実行することができる。データの増殖は、イメージデータの回転／ティルティング、移動、対称、色相／明度／解像度の補正などによって遂行することができる。
【0112】
また、過適合を防ぐための方法の一例として、人工知能分析サーバー１１０に含まれる人工神経回路網の加重値規制、ドロップアウト追加、ネットワーク容量調節（減少）などの多様な方法を用いることができる。
【0113】
図３の訓練用データを生成する過程は、図１の人工知能ワークステーション１２０による映像分析２２０の一部として遂行することができる。ただ、本発明の他の実施例では、人工知能分析サーバーが人工知能ワークステーションの機能を全部遂行することができ、人工知能分析サーバーが映像分析２２０及び訓練用データの生成過程を遂行することもできる。
【0114】
一方、学習段階で実行される内視鏡部分抽出（ｃｒｏｐｐｉｎｇ）などの映像分析／処理過程は、推論段階でも映像分析２２０過程の一部として実行され、人工知能分析サーバー１１０は訓練用データと比較することができるように標準化した入力映像を受信し、人工神経回路網及び／または映像分析アルゴリズム２１２を適用することができる。
【0115】
図４は本発明の一実施例によるマルチクライアント構造の大腸内視鏡映像診断補助システム及び周辺機器を示す図である。
【0116】
第１大腸内視鏡映像獲得モジュール４３２は、実時間で獲得される大腸内視鏡映像を実時間で人工知能ワークステーション４２０に伝達するか、大腸内視鏡映像のキャプチャーされた映像を人工知能ワークステーション４２０に伝達することができる。
【0117】
第２大腸内視鏡映像獲得モジュール４３４は、実時間で獲得される大腸内視鏡映像を実時間で人工知能ワークステーション４２０に伝達するか、大腸内視鏡映像のキャプチャーされた映像を人工知能ワークステーション４２０に伝達することができる。
【0118】
ここで、人工知能ワークステーション４２０は、第１大腸内視鏡映像獲得モジュール４３２及び第２大腸内視鏡映像獲得モジュール４３４から受信される大腸内視鏡映像（またはキャプチャー映像）を受信する入力／受信インターフェースモジュール（図示せず）を含むことができる。
【0119】
人工知能ワークステーション４２０は、受信された／獲得された大腸内視鏡映像のビデオフレームを人工知能サーバー４１０に伝達することができる。ここで、人工知能サーバー４１０に伝達される映像は標準化したＪＰＥＧフォーマットまたはＭＰＥＧフォーマットなどとして伝達されることができる。人工知能サーバー４１０も標準化フォーマットのビデオフレーム映像を受信する入力／受信インターフェースモジュール（図示せず）を含むことができる。
【0120】
人工知能サーバー４１０は、人工知能アルゴリズム（医療映像分析アルゴリズム）４１２を用いてビデオフレーム／映像内の病変を検出及び判断することができる。
【0121】
人工知能サーバー４１０内のプロセッサ（図示せず）は、与えられた映像データを人工知能アルゴリズム４１２に入力し、人工知能アルゴリズム４１２の分析結果を受信し、この過程で人工知能アルゴリズム４１２が保存されたメモリまたはストレージ（図示せず）とプロセッサとの間のデータ伝達過程を制御することができる。
【0122】
人工知能サーバー４１０の出力インターフェースモジュール（図示せず）は、人工知能アルゴリズム４１２の分析結果を人工知能ワークステーション４２０に伝達することができる。ここで、伝達される情報は、ビデオフレーム内で病変と疑心される部位が検出されたか、病変と疑心される部位が検出された座標、病変と疑心される部位が病変である確率、及び病変と疑心される部位の大腸または大腸内視鏡経路上の位置を含むことができる。
【0123】
人工知能ワークステーション４２０は、使用者ディスプレイ４２２に人工知能アルゴリズム４１２の分析結果を表示することができる。ここで、使用者ディスプレイ４２２に表示される情報は、現在表示される大腸内視鏡映像のビデオフレーム内で病変と疑心される部位が検出されたか、ビデオフレーム内で病変と疑心される部位が視覚的に区分されるようにする視覚化（例えば、ハイライト、ボックス形態で病変疑心部位を表示）、病変疑心部位のビデオフレーム内での位置座標、及び病変疑心部位の大腸または大腸内視鏡経路上の位置を含むことができる。
【0124】
ここで、使用者ディスプレイ４２２には複数の大腸内視鏡映像が実時間で同時に表示されることができる。画面上のウィンドウごとに個別的に大腸内視鏡映像ビデオフレームが一つずつ表示されることができる。
【0125】
実時間検診で、使用者が大腸内視鏡映像で直ちに病変危険部位を見つけて措置を取れば大きな問題がないが、使用者が実時間検診で病変危険部位を逃した場合、従来技術では漏れた病変危険部位を再診断することは事実上不可能であった。
【0126】
本発明では、キャプチャーされたビデオフレームを他の使用者が後に再確認することもでき、既に内視鏡が前進した状態でも以前のビデオフレームを再び呼び出して漏れた病変危険部位を再診断することができ、内視鏡検査が終了した後にもビデオフレーム内での危険部位の位置座標及び大腸内視鏡経路上の位置を一緒に提供することにより、危険部位の位置識別が可能であり、後続措置を取ることができるようにする効果がある。
【0127】
図４では、説明の便宜上、人工知能ワークステーション４２０と人工知能サーバー４１０とが分離された実施例が示されているが、これは本発明の一実施例に過ぎないものであるだけで、本発明の他の実施例によれば、人工知能ワークステーション４２０と人工知能サーバー４１０とが単一のコンピューティングシステム内で結合されたままで具現されることもできるというのは当業者に自明である。
【0128】
図５は本発明の一実施例によるシングルクライアント構造の大腸内視鏡映像診断補助システム及び周辺機器を示す図である。
【0129】
大腸内視鏡映像獲得モジュール５３２は、実時間で獲得される大腸内視鏡映像を実時間で人工知能ワークステーション５２０に伝達するか、大腸内視鏡映像のキャプチャーされた映像を人工知能ワークステーション５２０に伝達することができる。
【0130】
ここで、人工知能ワークステーション５２０は、大腸内視鏡映像獲得モジュール５３２から受信される大腸内視鏡映像（またはキャプチャー映像）を受信する入力／受信インターフェースモジュール（図示せず）を含むことができる。
【0131】
人工知能ワークステーション５２０は、人工知能アルゴリズム（医療映像分析アルゴリズム）５１２を用いてビデオフレーム／映像内の病変を検出及び判断することができる。
【0132】
人工知能ワークステーション５２０内のプロセッサ（図示せず）は、与えられた映像データを人工知能アルゴリズム５１２に入力し、人工知能アルゴリズム５１２の分析結果を受信し、この過程で人工知能アルゴリズム５１２が保存されたメモリまたはストレージ（図示せず）とプロセッサとの間のデータ伝達過程を制御することができる。
【0133】
人工知能ワークステーション５２０の出力インターフェースモジュール（図示せず）は、人工知能アルゴリズム５１２の分析結果をディスプレイ情報として生成し、ディスプレイ情報を使用者ディスプレイ５２２に伝達することができる。ここで、伝達される情報は、ビデオフレーム内で病変と疑心される部位が検出されたか、病変と疑心される部位が検出された座標、病変と疑心される部位が病変である確率、及び病変と疑心される部位の大腸または大腸内視鏡経路上の位置を含むことができる。
【0134】
人工知能ワークステーション５２０は、使用者ディスプレイ５２２に人工知能アルゴリズム５１２の分析結果を表示することができる。ここで、使用者ディスプレイ５２２に表示される情報は、現在表示される大腸内視鏡映像のビデオフレーム内で病変と疑心される部位が検出されたか、及びビデオフレーム内で病変と疑心される部位が視覚的に区分されるようにする視覚化（例えば、ハイライト、ボックス形態で病変疑心部位を表示）、病変疑心部位のビデオフレーム内での位置座標、及び病変疑心部位の大腸または大腸内視鏡経路上の位置を含むことができる。
【0135】
図６は本発明の一実施例による大腸内視鏡映像診断システム及びこれを活用するワークフローを示す図である。
【0136】
本発明の診断結果導出及びディスプレイ情報は、病院内で使われる場合、内視鏡データを受けて分析した後、人工知能診断支援結果を表示することができる使用者インターフェースを有する使用者システムによって表示され、使用者入力に基づいて診断結果を確定するか、診断結果を交替するか、診断結果に対する収容または拒否を決定することができる。
【0137】
診断システム６１０内のプロセッサはディスプレイ情報を内視鏡映像フレームに連結してデータベースに保存することができる。ここで、データベースは診断コンピューティングシステム内部のデータベースであることができ、今後患者に対する義務記録として保存されることができる。
【0138】
プロセッサは、ディスプレイ情報及び内視鏡映像フレームが連結された外部保存データを生成し、外部保存データを伝送モジュールを介して外部のデータベースに保存されるように外部のデータベースに伝送することができる。ここで、外部のデータベースは、ＰＡＣＳデータベース、またはクラウドに基づいて具現されたデータベースであることができる。
【0139】
ここで、複数の医療映像分析アルゴリズム６１２、６１４は人工神経回路網を用いる人工知能アルゴリズムであり、プロセッサは判読要件／文脈基盤の判読要件のそれぞれによる評価スコアを複数の医療映像分析アルゴリズムのそれぞれについての記述的情報（ｄｅｓｃｒｉｐｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）として生成することができる。
【0140】
本発明の診断システム６１０は、内部的に少なくとも二つ以上の人工知能診断アルゴリズム６１２、６１４を含むことができる。３個以上の内視鏡装備から内視鏡映像データが診断システム６１０に伝達される。診断システム６１０は、内視鏡映像データのそれぞれのフレームごとに少なくとも二つ以上の人工知能診断アルゴリズムを適用して判読／診断結果を生成する。診断システム６１０は、内視鏡映像データのそれぞれのフレームごとに診断結果を連結してディスプレイ情報を生成する。ここで、ディスプレイ情報は、内視鏡映像データが生成された病院の識別情報（病院Ａ）を含んで生成されることができる。また、ディスプレイ情報は各病院の内視鏡装備ごとに与えられる識別情報（内視鏡１、内視鏡２、内視鏡３）を含んで生成されることができる。
【0141】
図７は本発明の一実施例による大腸内視鏡映像診断補助システム及びこれを活用するワークフローを示す図である。
【0142】
図６の診断システム６１０は、生成されたディスプレイ情報をクラウド基盤のデータベースに伝送し、クラウド基盤のデータベースには内視鏡映像データが生成された内視鏡装備、及び生成された病院が識別されて内視鏡映像データ及びディスプレイ情報が保存される。ディスプレイ情報は内視鏡映像データのそれぞれのフレームごとに診断情報が連結されて生成されて保存される。内視鏡映像データのそれぞれのフレームごとに生成される診断情報は、図１～図５の実施例で説明したように、評価スコア及び文脈基盤の診断要件に基づいて自動で生成されることができる。
【0143】
クラウド環境で本発明が適用される場合、無線通信網で連結された装備を用いて内視鏡映像データ及び診断結果を病院側の使用者システムで受信し、人工知能診断支援結果を使用者システム上に表示することができる。
【0144】
クラウドデータベースに保存されたディスプレイ情報は、患者が指定した病院に提供されることができ、患者は自分が近付きやすい病院で自分の内視鏡映像データ及び診断情報を受信し、当該病院で医師の診断結果に対する解釈及び後続の診断を受けることができる。
【0145】
図１～図７の実施例では、内視鏡映像診断獲得モジュール／内視鏡装備から実時間映像獲得モジュールが実時間内視鏡映像を獲得する。実時間映像獲得モジュールは、実時間内視鏡映像を診断支援システムに伝送する。診断支援システムは、少なくとも二つ以上の人工知能アルゴリズムを含み、実時間内視鏡映像に少なくとも二つ以上の人工知能アルゴリズムを適用して診断情報を含むディスプレイ情報を生成する。診断支援システムは、ディスプレイ情報を使用者システムに伝達し、使用者システムは、実時間内視鏡映像にディスプレイ情報をオーバーレイするか、実時間内視鏡映像とディスプレイ情報を一緒に表示することができる。
【0146】
実時間内視鏡映像は個別的な映像フレームに区分されることができる。ここで、内視鏡映像フレームは受信モジュールによって受信されるか入力されることができる。
診断支援システム（コンピューティングシステム）は、受信インターフェースモジュール、プロセッサ、伝送インターフェースモジュール、及びメモリ／ストレージを含む。プロセッサは、内部的にハードウェアまたはソフトウェアによって機能が具現されるサブモジュールを含む。プロセッサは、文脈に基づく診断要件を抽出する第１サブモジュール、人工知能診断アルゴリズムが内視鏡映像フレームに適用されて生成される診断結果の中で表示される人工知能分析結果を選定する第２サブモジュール、及び使用者システムの画面に表示されるディスプレイ情報を生成する第３サブモジュールを含むことができる。
診断支援システム（コンピューティングシステム）は、受信インターフェースモジュール、プロセッサ、伝送インターフェースモジュール、及びメモリ／ストレージを含む。プロセッサは、内部的にハードウェアまたはソフトウェアによって機能が具現されるサブモジュールを含む。プロセッサは、文脈に基づく診断要件を抽出する第１サブモジュール、人工知能診断アルゴリズムが内視鏡映像フレームに適用されて生成される診断結果の中で表示される人工知能分析結果を選定する第２サブモジュール、及び使用者システムの画面に表示されるディスプレイ情報を生成する第３サブモジュールを含むことができる。
【0147】
複数の人工知能診断アルゴリズムは診断コンピューティングシステム内部のメモリまたはデータベース（図示せず）に保存され、プロセッサの制御によって内視鏡映像フレームに適用され、内視鏡映像フレームに対する診断結果を生成することができる。
【0148】
図１～図７の実施例では、複数の人工知能診断アルゴリズムが診断コンピューティングシステム内部のメモリまたはデータベース（図示せず）に保存されてプロセッサの制御によって駆動される場合を示したが、本発明の他の実施例によっては、複数の人工知能診断アルゴリズムが診断コンピューティングシステムの外部のメモリまたはデータベース（図示せず）に保存されることもできる。複数の人工知能診断アルゴリズムが診断コンピューティングシステムの外部のメモリまたはデータベース（図示せず）に保存される場合には、複数の人工知能診断アルゴリズムが内視鏡映像フレームに適用され、内視鏡映像フレームに対する診断結果が生成されるように、プロセッサが伝送モジュールを介して診断コンピューティングシステムの外部のメモリまたはデータベース（図示せず）を制御することができる。ここで、生成された診断結果は受信モジュールを介して診断コンピューティングシステムに伝達され、プロセッサは診断結果に基づいてディスプレイ情報を生成することができる。
【0149】
プロセッサは、医療映像のビデオフレームである内視鏡映像フレームを分析して内視鏡映像フレームに対する診断要件を抽出する。プロセッサは、診断要件に基づいて複数の医療映像分析アルゴリズムの中で内視鏡映像フレームに対する診断を実行する複数の診断適用アルゴリズムを選択し、プロセッサは、内視鏡映像フレームに前記複数の診断適用アルゴリズムを適用して内視鏡映像フレームに対する診断結果を含むディスプレイ情報を生成する。このような過程は、内視鏡映像フレームのそれぞれに対してプロセッサによって実行される。
【0150】
プロセッサは、内視鏡映像フレームを分析して内視鏡映像フレームの特性に対応する文脈基盤の診断要件を抽出することができる。プロセッサは、文脈基盤の診断要件に基づいて内視鏡映像フレームに対する診断を実行する複数の診断適用アルゴリズムを選択することができる。
【0151】
プロセッサは、文脈基盤の診断要件に基づいて複数の診断適用アルゴリズムの組合せを選択することができる。プロセッサは、内視鏡映像フレームに複数の診断適用アルゴリズムの組合せを適用して内視鏡映像フレームに対する診断結果を含むディスプレイ情報を生成することができる。
【0152】
複数の診断適用アルゴリズムの組合せは、文脈基盤の診断要件に基づいて内視鏡映像フレームに対して優先的に推薦される第１診断適用アルゴリズム、及び第１診断適用アルゴリズムの特性に基づいて文脈基板診断要件の中で導出される補完診断要件に基づいて推薦される第２診断適用アルゴリズムを含むことができる。
【0153】
文脈基盤の診断要件は、内視鏡映像フレームが含む人体のボディーパート、人体の臓器（ｏｒｇａｎ）、内視鏡映像フレームが前記人体の臓器内で示す相対的位置、内視鏡映像フレームに係わる病変の発生確率、内視鏡映像フレームに係わる病変の危険度、内視鏡映像フレームに係わる病変の識別難易度、及びターゲット病変の種類の中で少なくとも一つ以上を含むことができる。内視鏡映像フレームがどの臓器に対するものであるかが特定されれば、例えば内視鏡映像フレームが大腸内視鏡（ｃｏｌｏｎｏｓｃｏｐｙ）映像に係わる場合には、現在映像フレームに表示される映像が大腸内視鏡映像の開始部分であるか、中間部分であるか、最終部分であるかについての情報が大腸内での相対的な位置（臓器の入口、中間、終端部）とともに識別されることができる。大腸内視鏡（ｇａｓｔｒｏｓｃｏｐｙ）映像の場合には、現在映像フレームに表示される映像が大腸内視鏡映像の開始部分であるか（例えば、食道）、中間部分であるか（大腸の入口）、終端部分であるかについての情報が大腸内視鏡経路上での相対的な位置とともに識別されることができる。
【0154】
これにより、識別された位置及び部位で発生する可能性が高い病変／疾患の種類、肉眼で識別し易くなくて医療陣が見逃す可能性が高い病変／疾患の種類、現在映像フレーム内で視覚的に識別しやすくない病変／疾患に対する診断情報、現在映像フレームが示す人体臓器内での位置で発生する可能性がある病変／疾患の中で危険度／致死率が高くて注意が必要な病変／疾患の種類などに基づいて文脈基盤の診断要件を抽出することができる。ここで、文脈基盤の診断要件は、前述した情報に基づいて現在映像フレームに関連して優先的に考慮しなければならないターゲット病変／疾患の種類についての情報も含むことができる。
【0155】
ディスプレイ情報は、内視鏡映像フレーム、内視鏡映像フレーム上に選択的にオーバーレイされる診断結果、診断結果を生成した診断適用アルゴリズムの情報、及び診断適用アルゴリズムに対する評価スコアを含むことができる。
【0156】
人工知能診断アルゴリズムは、評価スコアの高い順に診断を適用するとき、優先順位を適用することができるが、追加的に考慮すべきいくつかの変数が存在する。
１順位のＡＩアルゴリズムが当該内視鏡映像で発生可能な病変の一部のみを検出し、後順位のＡＩアルゴリズムが１順位アルゴリズムが検出することができなかった内容を検出している場合、１順位ＡＩアルゴリズム診断結果と後順位のＡＩアルゴリズム診断結果を一緒に表示することができる。また、使用者がこのような基準によって最終的な診断適用ＡＩアルゴリズムを選択することができるメニューを提供し、使用者の選択を助けることができるように複数のＡＩアルゴリズムの診断結果及びその診断結果を一緒に表示する理由についての説明を一緒に表示することができる。
１順位のＡＩアルゴリズムが当該内視鏡映像で発生可能な病変の一部のみを検出し、後順位のＡＩアルゴリズムが１順位アルゴリズムが検出することができなかった内容を検出している場合、１順位ＡＩアルゴリズム診断結果と後順位のＡＩアルゴリズム診断結果を一緒に表示することができる。また、使用者がこのような基準によって最終的な診断適用ＡＩアルゴリズムを選択することができるメニューを提供し、使用者の選択を助けることができるように複数のＡＩアルゴリズムの診断結果及びその診断結果を一緒に表示する理由についての説明を一緒に表示することができる。
【0157】
例えば、現在映像フレーム内で発生する可能性が最も高い病変の種類として病変Ａ１、Ａ２が知られており、発生可能性がＡ１、Ａ２よりは低いが視覚的に識別しにくくて見逃す可能性がある病変Ｂが知られていると仮定する。病変Ａ１、Ａ２に対して最も高い評価スコアを獲得した人工知能診断アルゴリズムＸが全体的に最も高い評価スコアを獲得し、優先的に推薦される第１診断適用アルゴリズムとして選択されることができる。ここで、第１診断適用アルゴリズムが病変Ａ１、Ａ２に対しては最も高い評価スコアを獲得したが、病変Ｂに対しては基準値未満の評価スコアを獲得する場合があり得る。ここで、第１診断適用アルゴリズムが基準値未満の性能を示す病変Ｂは補完診断要件と指定されることができる。第２診断適用アルゴリズムは補完診断要件である病変Ｂに対して最も高い評価スコアを獲得した人工知能診断アルゴリズムＹとして選択されることができる。第１診断適用アルゴリズムと第２診断適用アルゴリズムの組合せは、全体的な診断情報に対する信頼性、正確性などの評価スコアが高い組合せでありながらも特定の病変／疾患に対する診断情報が見逃されるか、特定の病変／疾患に対する診断性能が脆弱ではないように選択されることができる。したがって、第２診断適用アルゴリズムは、全体的な評価スコアが均一に高い人工知能診断アルゴリズムよりは第１診断適用アルゴリズムが脆弱な補完診断要件で一番優れた性能を示す人工知能診断アルゴリズムが選択されるように診断適用アルゴリズムを選択する論理条件が設計されることができる。
【0158】
前記実施例で、２個の診断適用アルゴリズムが選択される場合を例として挙げたが、評価スコアによって３個以上の診断適用アルゴリズムの組合せがもっと優れた性能を示す場合、３個以上の診断適用アルゴリズムを選択して適用する実施例もこの出願明細書に記載した事項によって具現することができる。
【0159】
図１～図７の実施例は、内部的な評価スコアが高いＡＩ診断アルゴリズムが適用された診断結果を提示し、使用者が評価スコア上位のＡＩ診断アルゴリズムが適用された診断結果を選択することができる実施例である。図１～図７の実施例では、実時間内視鏡映像に対して早く診断結果を表示しようとする目的で導出した構成が開示される。したがって、図１～図７の実施例では、文脈基盤の診断要件に基づいて現在ビデオフレームに対して表示されるＡＩ診断アルゴリズムの組合せを優先的に選択した後、これらの組合せによる診断結果をディスプレイ情報として生成して使用者にビデオフレームとともに提供する。
【0160】
ここで、現在ビデオフレームで発生する可能性が高い病変／疾患の種類、現在ビデオフレームで発生する可能性が高いが視覚的に識別しにくくて医療陣が見逃す可能性が高い病変／疾患の種類、及び現在ビデオフレームで発生し得る病変／診断の中で危険度／致死率が高くて注意が必要な病変／疾患の種類などが文脈基盤の診断要件に含まれることができる。また、病変／疾患の種類及び特性に基づいて現在ビデオフレームで見逃してはいけないターゲット病変／疾患の種類、及びターゲット病変／疾患の種類の優先順位が文脈基盤の診断要件に含まれることができる。
【0161】
従来技術の医療陣の診断用コンピュータ端末では、人工知能アルゴリズムが適用された結果を用いて診断結果が生成される。ここで、診断結果を生成する過程では医療陣のコメントが加わることができる。
【0162】
本発明が適用された医療映像診断支援装置／システムでは、評価スコアであるＩ－Ｓｃｏｒｅがコンピューティングシステムから医療陣の診断用コンピュータ端末に伝達される。診断結果の生成に評価スコアであるＩ－Ｓｃｏｒｅが反映されて最終診断文が生成されることができる。本発明の一実施例によって、コンピューティングシステムは、評価スコアであるＩ－Ｓｃｏｒｅとともに診断文を生成して医療陣のコンピューティングシステムに伝達することができる。ここで、コンピューティングシステムで生成される診断文は、評価スコアであるＩ－Ｓｃｏｒｅが高い診断適用アルゴリズムに基づく診断結果を用いて作成されることができる。
【0163】
コンピューティングシステムは、内部的に計算した評価スコアであるＩ－Ｓｃｏｒｅを用いて推薦診断結果を選択することができ、評価スコアが一緒に表示されるので、診断医（ｒａｄｉｏｌｏｇｉｓｔ）は当該推薦診断（例えば、診断医の診断結果と一致する推薦診断アルゴリズム）に対する診断信頼度などを評価／確認することができる使用者インターフェースを提供することができる。コンピューティングシステムのプロセッサは、評価スコアに基づいて複数の診断結果の中で第１診断結果及び第２診断結果を推薦診断結果として選択することができる。プロセッサは、第１診断アルゴリズムに対する評価スコア、第１診断結果、第２診断アルゴリズムに対する評価スコア、及び第２診断結果を含むディスプレイ情報を生成することができる。
【0164】
コンピューティングシステムは、診断アルゴリズムの信頼度点数、診断アルゴリズムの正確度点数、及びフィードバックを提供した診断医の評価信頼度点数に基づいて評価スコアを生成することができる。プロセッサは、複数の診断結果及び複数の診断結果に対する使用者のフィードバックに基づいて複数の医療映像分析アルゴリズムのそれぞれに対する信頼度点数、複数の医療映像分析アルゴリズムのそれぞれに対する正確度点数、及び前記複数の医療映像分析アルゴリズムのそれぞれに対する前記使用者の評価信頼度点数を下位評価項目として生成し、前記下位評価項目に基づいて前記評価スコアを生成することができる。
【0165】
例えば、評価スコアの生成基準は次のように具現することができる。
（数１）
Ｉ－Ｓｃｏｒｅ＝ａｘ（ＡＩアルゴリズムの信頼度点数）＋ｂｘ（ＡＩアルゴリズムの正確度点数）＋ｃｘ（ＡＩアルゴリズムに対する診断医の評価信頼度点数）
（数１）
Ｉ－Ｓｃｏｒｅ＝ａｘ（ＡＩアルゴリズムの信頼度点数）＋ｂｘ（ＡＩアルゴリズムの正確度点数）＋ｃｘ（ＡＩアルゴリズムに対する診断医の評価信頼度点数）
【0166】
アルゴリズムの信頼度点数は、診断医が各アルゴリズムに対して付与することができる。すなわち、第１診断結果及び第２診断結果の中で第１診断結果がより正確であると判断されれば、第１診断結果に対して高い信頼度点数を付与することができる。
【0167】
アルゴリズムの正確度点数は、別途の付与過程なしに診断医が各アルゴリズムの診断結果を収容する程度によって決定されることができる。例えば、第１診断結果が１０個の病変疑心位置を提示したが、診断医が９個の病変疑心位置を承認すれば、正確度点数は９０／１００として与えられることができる。
【0168】
アルゴリズムの正確度点数が付与されるさらに他の実施例では、生検（ｂｉｏｐｓｙ）などによって正確な結果が現れる場合を仮定することができる。このときは、生検による正確な結果と比較して各診断アルゴリズムの診断結果の正確度が現れることができる。使用者が生検によって正確な結果をコンピューティングシステムに入力すれば、コンピューティングシステムは、各診断結果を生検による正確な結果（レファレンス）と比較して各診断アルゴリズムの正確度点数を算出することができる。
【0169】
診断医の評価信頼度点数は、診断医の評価に対する信頼度点数として提供されることができる。すなわち、診断医が当該臨床分野で長い経歴を有する専門家であればそれほど高い評価信頼度点数が付与される。診断医の経歴年数、診断医の専攻、診断医が専攻医であるか、当該臨床分野での経験などを考慮して評価信頼度点数が算出されることができる。
【0170】
コンピューティングシステムは、内部の人工知能アルゴリズムによって評価スコア算出基準を持続的に学習して内部的に決まった日程によってアップデートすることができる。プロセッサは、下位評価項目である複数の医療映像分析アルゴリズムのそれぞれに対する信頼度点数、複数の医療映像分析アルゴリズムのそれぞれに対する正確度点数、及び複数の医療映像分析アルゴリズムのそれぞれに対する前記使用者の評価信頼度点数のそれぞれに対して加重値を付与し、複数の診断結果及び複数の診断結果に対する使用者のフィードバックに基づき、目標要件によって下位評価項目のそれぞれの加重値が調整されるように前記下位評価項目のそれぞれの加重値をアップデートすることができる。
【0171】
目標要件の例示としては、各アルゴリズムに対する使用者の信頼度と正確度の相関関係が一致する方向に調整する場合を挙げることができる。例えば、同じ正確度点数を有する第１診断アルゴリズムと第２診断アルゴリズムに対する診断医の信頼度点数が異なることができる。ここで、診断医の評価の一般的な誤差を除去した後にも一定の傾向で信頼度点数が異なる場合、第１診断アルゴリズムと第２診断アルゴリズムに対する診断医の信頼度は異なると認めることができる。例えば、第１診断アルゴリズムと第２診断アルゴリズムが総１０個の病変疑心位置の中で９個の位置で正確な診断結果を生成して正確度点数は９０／１００になったが、重症度の病変を第１診断アルゴリズムのみ正確に診断し、第２診断アルゴリズムは正確に診断することができなかったら、診断医の信頼度が異なる理由が説明される。正確度と信頼度の相関関係が一致するように調整する手段としては、各下位項目別に加重値を調整するか、正確度を判定する対象病変の選別基準を細分化する手段があり得る。この場合、診断された病変の軽度／重症度、病変の医療映像の中心からの位置、病変の識別難易度（骨、臓器、血管が複雑に混在している領域では難易度が高い）などの基準に病変を区分し、各領域で病変の診断正確度に他の加重値を付与する方法があり得る。
【0172】
コンピューティングシステムは、映像によって適用可能な多数の人工知能アルゴリズムを内部的に自動で割り当てることができる機能を含むことができる。コンピューティングシステムは、映像に適用可能な人工知能アルゴリズムを判断するために、推薦診断システムの内部に別途の映像分類人工知能アルゴリズムによって一つの検査または一つ以上の映像を分類した後、多数の人工知能アルゴリズムを適用することができる。
【0173】
本発明の一実施例によっては、複数の医療映像分析アルゴリズムが人工神経回路網を用いることができる。ここで、評価スコア及び下位評価項目を各診断アルゴリズムについての記述的情報（ｄｅｓｃｒｉｐｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）として生成し、コンピューティングシステムが評価スコア及び下位評価項目を診断アルゴリズムの生成主体にフィードバックして診断アルゴリズムの改善に用いられるように情報を提供することもできる。ここで、人工神経回路網が最近研究されている関連性スコア（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ）及び信頼度レベル（ｃｏｎｆｉｄｅｎｃｅ ｌｅｖｅｌ）などを用いる人工神経回路網の場合、評価スコア及び下位評価項目を人工神経回路網の関連性スコア（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ）または信頼度レベル（ｃｏｎｆｉｄｅｎｃｅ ｌｅｖｅｌ）などと連結して統計分析が遂行され、診断アルゴリズムの改善に評価スコア及び下位評価項目が影響を及ぼすことができる。
【0174】
このような本発明の一実施例は、従来技術の医療映像診断シーケンスを最大限変形しないながら本発明によって得られる利点を提供するために設計された実施例である。
【0175】
本発明のさらに他の実施例では、コンピューティングシステムが複数の診断適用アルゴリズムを選択し、複数の診断適用アルゴリズムのそれぞれを医療映像に適用して複数の診断結果を生成する過程を自ら実行することができる。この場合、コンピューティングシステムは、選択された診断適用アルゴリズムについての情報だけでなく診断適用アルゴリズムに基づく複数の診断結果を医療陣の診断用コンピュータ端末に伝達し、医療陣の診断用コンピュータ端末では医療映像に対する人工知能アルゴリズム（診断適用アルゴリズム）が適用された結果が表示されることができる。
【0176】
この際、本発明の一実施例は、医療陣の診断用コンピュータ端末のコンピューティングパワーが大きくない場合、例えばモバイルデバイスであるか旧型のコンピューティングシステムであるときにも本発明によって得られる利点を提供することができる。ここで、本発明の一実施例は、医療映像に対する人工知能アルゴリズムを適用する主体がコンピューティングシステムであり、コンピューティングシステムは一種のサーバー（ｓｅｒｖｅｒ）として機能し、医療陣の診断用コンピュータ端末はシンクライアント（ｔｈｉｎ－ｃｌｉｅｎｔ）基盤のシステムとして動作することもできる。ここで、本発明の一実施例では、医療陣の診断用コンピュータ端末で医療陣が複数の診断結果または複数の診断適用アルゴリズムに対して入力したフィードバック指標をコンピューティングシステムにフィードバックすることができる。フィードバック指標は、評価対象のそれぞれ、すなわち複数の診断結果または複数の診断適用アルゴリズムのそれぞれと連結されてコンピューティングシステム内のメモリまたはデータベースに保存することができる。
【0177】
以上で説明したように、本発明の一実施例で選択されたアルゴリズムが適用される段階は臨床医の診断システムで実行され、複数の診断結果がコンピューティングシステムに伝達されることもでき、本発明の他の実施例では、選択されたアルゴリズムが適用される段階がコンピューティングシステム内で全面的に実行された後、臨床医の診断システムでその結果が表示されることもできる。
【0178】
本発明の一実施例による医療映像の診断を支援する方法は、多様なコンピュータ手段によって遂行可能なプログラム命令形態として具現されてコンピュータ可読の媒体に記録されることができる。前記コンピュータ可読の媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組合せで含むことができる。前記媒体に記録されるプログラム命令は本発明のために特別に設計されて構成されたものであるかコンピュータソフトウェア当業者に公知となって使用可能なものであることができる。コンピュータ可読の記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようにプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラーによって作われるもののような機械語コードだけではなく、インタープリターなどを使ってコンピュータによって実行可能な高級言語コードを含む。前記ハードウェア装置は本発明の動作を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆もまた同様である。
【0179】
しかし、本発明が実施例によって制限されるか限定されるものではない。各図に提示された同じ参照符号は同じ部材を示す。本発明の実施例及び図面に開示した長さ、高さ、サイズ、幅などは理解を助けるために誇張しているものであることができる。
【0180】
以上のように、本発明では、具体的な構成要素などのような特定の事項と限定された実施例及び図面に基づいて説明したが、これは本発明のより全般的な理解を助けるために提供したものであるだけで、本発明は前記実施例に限定されるものではなく、本発明が属する分野で通常的な知識を有する者であればこのような記載から多様な修正及び変形が可能である。
【0181】
したがって、本発明の思想は説明された実施例に限って決まってはいけなく、後述する特許請求範囲だけではなくこの特許請求範囲と均等な変形や等価的変形があるすべてのものは本発明思想の範疇に属するものであると言える。
【符号の説明】
【0182】
１１０、４１０ 人工知能サーバー（コンピューティングシステム）
２１２、４１２、５１２ 人工知能アルゴリズム
１２０、５２０ 人工知能ワークステーション（コンピューティングシステム）
１２２、４２２、５２２ 使用者ディスプレイ
１３２、４３２、４３４、５３２ 大腸内視鏡映像獲得モジュール
２１２、４１２、５１２ 人工知能アルゴリズム
１２０、５２０ 人工知能ワークステーション（コンピューティングシステム）
１２２、４２２、５２２ 使用者ディスプレイ
１３２、４３２、４３４、５３２ 大腸内視鏡映像獲得モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【外国語明細書】