(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173746
(43)【公開日】2024-12-12
(54)【発明の名称】人工知能基盤の医療映像分析方法およびシステム
(51)【国際特許分類】
G16H 50/20 20180101AFI20241205BHJP
【FI】
G16H50/20
【審査請求】有
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2024084042
(22)【出願日】2024-05-23
(31)【優先権主張番号】10-2023-0070631
(32)【優先日】2023-06-01
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2024-0016863
(32)【優先日】2024-02-02
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】520159215
【氏名又は名称】ルニット・インコーポレイテッド
【氏名又は名称原語表記】LUNIT INC.
【住所又は居所原語表記】5F, 374 GANGNAM-DAERO, GANGNAM-GU, SEOUL 06241, REPUBLIC OF KOREA
(74)【代理人】
【識別番号】110001818
【氏名又は名称】弁理士法人R&C
(72)【発明者】
【氏名】ジョン,ヘイン
(72)【発明者】
【氏名】ハ,ユリ
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA26
(57)【要約】
【課題】人工知能基盤の医療映像分析方法およびシステムを提供すること。
【解決手段】映像分析装置は、メモリ、およびメモリに保存された命令を実行するプロセッサーを含み、プロセッサーは、互いに異なるタスクで医療映像を分析するように訓練された第1人工知能モデルおよび第2人工知能モデルを使用して、入力医療映像に対する分析結果を取得し、第1人工知能モデルと第2人工知能モデルによって入力医療映像がすべて正常と判断された場合、入力医療映像を正常ケースに分類する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
メモリ、および
前記メモリに保存された命令を実行するプロセッサーを含み、
前記プロセッサーは、
互いに異なるタスクで医療映像を分析するように訓練された第1人工知能モデルおよび第2人工知能モデルを使用して、入力医療映像に対する分析結果を取得し、前記第1人工知能モデルと前記第2人工知能モデルによって前記入力医療映像がすべて正常と判断された場合、前記入力医療映像を正常ケースに分類する、映像分析装置。
【請求項2】
前記第1人工知能モデルは、前記第2人工知能モデルよりも保守的な基準で医療映像内の異常所見を総合的に検出するように訓練された正常フィルタリングモデルであり、
前記第2人工知能モデルは、医療映像で特定の病変を検出するように訓練されたモデルである、請求項1に記載の映像分析装置。
【請求項3】
前記プロセッサーは、
前記第1人工知能モデルでの分析結果で取得した非正常スコアと正常フィルタリングの閾値とに基づいて、前記入力医療映像が正常か否かを判断する、請求項1に記載の映像分析装置。
【請求項4】
前記プロセッサーは、
使用者入力により現在の正常フィルタリングの閾値を新しい値に変更する、請求項3に記載の映像分析装置。
【請求項5】
前記プロセッサーは、
前記入力医療映像の分析を行う医療機関の類型、前記非正常スコアに対する前記医療機関の正常ケースの分布図または異常ケースの分布図のうち少なくとも一つに基づいて、正常フィルタリングのための新しい正常フィルタリングの閾値を決定し、前記新しい正常フィルタリングの閾値を使用者に提案する、請求項4に記載の映像分析装置。
【請求項6】
前記プロセッサーは、
前記第2人工知能モデルでの分析結果で取得した病変別スコアに基づいて、前記入力医療映像が正常か否かを判断する、請求項1に記載の映像分析装置。
【請求項7】
前記プロセッサーは、
前記第1人工知能モデルによって前記入力医療映像が非正常と判断され、前記第2人工知能モデルによって前記入力医療映像が正常または非正常と判断された場合、前記入力医療映像を非正常ケースに分類する、請求項1に記載の映像分析装置。
【請求項8】
前記プロセッサーは、
前記正常ケースに対して予め設定された正常所見文言を使用し、前記正常ケースに分類された前記入力医療映像の判読文を生成する、請求項1に記載の映像分析装置。
【請求項9】
前記プロセッサーは、
前記入力医療映像に対する分析結果をDICOMフォーマットのSCで提供し、
前記SCは、前記入力医療映像が正常ケースであることを示すグラフィカルインジケータを含む、請求項1に記載の映像分析装置。
【請求項10】
映像分析装置の動作方法であって、
互いに異なるタスクで医療映像を分析するように訓練された第1人工知能モデルおよび第2人工知能モデルを使用して、入力医療映像に対する分析結果を取得すること、
前記第1人工知能モデルと前記第2人工知能モデルとによって前記入力医療映像がすべて正常と判断された場合、前記入力医療映像を正常ケースに分類すること、および
前記入力医療映像に対する分析結果、および前記入力医療映像の正常ケースの有無を含む最終分析結果を指定された装置に提供することを含む、動作方法。
【請求項11】
前記第1人工知能モデルは、前記第2人工知能モデルよりも保守的な基準で医療映像内の異常所見を総合的に検出するように訓練された正常フィルタリングモデルであり、
前記第2人工知能モデルは、医療映像から特定の病変を検出するように訓練されたモデルである、請求項10に記載の動作方法。
【請求項12】
前記入力医療映像を正常ケースに分類することは、
前記第1人工知能モデルでの分析結果で取得した非正常スコアと正常フィルタリングの閾値に基づいて前記入力医療映像が正常か否かを判断し、
前記第2人工知能モデルでの分析結果で取得した病変別スコアに基づいて、前記入力医療映像が正常か否かを判断する、請求項10に記載の動作方法。
【請求項13】
使用者入力により現在の正常フィルタリングの閾値を新しい値に変更することをさらに含む、請求項12に記載の動作方法。
【請求項14】
前記入力医療映像の分析を行う医療機関の類型、前記非正常スコアに対する前記医療機関の正常ケースの分布図または異常ケースの分布図のうち少なくとも一つに基づいて、正常フィルタリングのための新しい正常フィルタリングの閾値を決定すること、および
前記新しい正常フィルタリングの閾値を使用者に提案することをさらに含む、請求項13に記載の動作方法。
【請求項15】
前記第1人工知能モデルによって前記入力医療映像が非正常と判断され、前記第2人工知能モデルによって前記入力医療映像が正常または非正常と判断された場合、前記入力医療映像を非正常ケースに分類することをさらに含む、請求項10に記載の動作方法。
【請求項16】
前記正常ケースに対して予め設定された正常所見文言を使用して、前記正常ケースに分類された前記入力医療映像の判読文を生成することをさらに含む、請求項10に記載の動作方法。
【請求項17】
前記入力医療映像に対する最終分析結果は、DICOMフォーマットのSCで提供され、
前記SCは、
前記入力医療映像が正常ケースであることを示すグラフィカルインジケータを含む、請求項10に記載の動作方法。
【請求項18】
コンピュータ可読記憶媒体に保存されるコンピュータプログラムであって、
実行するプロセッサーに、医療映像に対する分析結果を保存する映像保存装置と連動して映像判読作業のための映像目録を含むワークリストを表示させ、前記医療映像に対する分析結果に含まれている正常ケースの有無に基づいて、前記ワークリストで、正常ケースに分類された医療映像が区別されるように表示させるようにする命令を含む、コンピュータプログラム。
【請求項19】
前記ワークリストから前記正常ケースに分類された特定の医療映像が選択されると、前記特定の医療映像の分析結果を示すSC映像を表示させるようにする命令をさらに含み、
前記SC映像は、前記特定の医療映像が前記正常ケースであることを知らせるグラフィカルインジケータを含む、請求項18に記載のコンピュータプログラム。
【請求項20】
前記正常ケースに分類された医療映像に対して生成された判読文を提供するようにする命令をさらに含み、
前記正常ケースに分類された医療映像の判読文は、前記正常ケースに対して予め設定された正常所見文言を使用して自動的に生成される、請求項18に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人工知能基盤の医療映像分析技術に関する。
【背景技術】
【0002】
近年、人工知能(Artificial Intelligence、AI)技術が医療分野に活発に導入されるにつれて、ルニットインサイト(Lunit INSIGHT)ソリューションのように、AIが医療映像を分析し、分析結果を視覚的に提供するAI基盤の医療映像分析技術が研究されている。
【0003】
判読医は、ワークリスト(worklist)を通じて映像判読業務を割り当てられ、医療映像分析で提供された異常(abnormal)の有無を確認した後、判読文(report)を作成する映像判読業務を行うことができる。判読医は、ワークリストを整列して映像判読順序を変更することができ、緊急に判読が必要な映像や、異常検出映像を優先的に読み取ることができる。しかし、ワークリスト整列はすでにワークリストに含まれている映像の判読順序だけを変更することだけで、正常映像に対する判読も最終的には行わなければならないので、判読の業務量(workload)は変わらない。国家、病院規模、臨床環境によって、全体映像のうち正常映像の比重が異なるが、概して病変が検出されない正常映像の比重が相当であるため、判読効率を上げることができる方法が求められている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、人工知能基盤の医療映像分析方法およびシステムを提供する。
【0005】
本開示は、人工知能基盤の医療映像分析結果を提供するインターフェース画面に関する。
【0006】
本開示は、人工知能基盤の医療映像分析結果を活用したワークリストの提供方法に関する。
【0007】
本開示は、人工知能基盤の医療映像分析結果を活用した判読文の生成方法に関する。
【課題を解決するための手段】
【0008】
一実施例による映像分析装置は、メモリ、およびメモリに保存された命令を実行するプロセッサーを含む。プロセッサーは、互いに異なるタスクで医療映像を分析するように訓練された第1人工知能モデルおよび第2人工知能モデルを使用して、入力医療映像に対する分析結果を取得し、第1人工知能モデルと第2人工知能モデルによって入力医療映像がすべて正常と判断された場合、入力医療映像を正常ケースに分類する。
【0009】
第1人工知能モデルは、第2人工知能モデルよりも保守的な基準で医療映像内の異常所見を総合的に検出するように訓練された正常フィルタリングモデルであり、第2人工知能モデルは、医療映像から特定の病変を検出するように訓練されたモデルであり得る。
【0010】
プロセッサーは、第1人工知能モデルでの分析結果で取得した非正常スコア(non-normal score)と正常フィルタリングの閾値に基づいて、入力医療映像が正常か否かを判断することができる。
【0011】
プロセッサーは、使用者の入力に応じて、現在の正常フィルタリングの閾値を新しい値に変更することができる。
【0012】
プロセッサーは、入力医療映像の分析を行う医療機関の類型、非正常スコアに対する医療機関の正常ケースの分布図または異常ケースの分布図のうち少なくとも一つに基づいて、正常フィルタリングのための新しい正常フィルタリングの閾値を決定し、新しい正常フィルタリングの閾値を使用者に提案することができる。
【0013】
プロセッサーは、第2人工知能モデルでの分析結果で取得した病変別スコアに基づいて、入力医療映像の正常か否かを判断することができる。
【0014】
プロセッサーは、第1人工知能モデルによって入力医療映像が非正常(non-normal)と判断され、第2人工知能モデルによって入力医療映像が正常または異常と判断された場合、入力医療映像を異常ケースに分類することができる。
【0015】
プロセッサーは、正常ケースに対して予め設定された正常所見文言を使用し、正常ケースに分類された入力医療映像の判読文(Report)を生成することができる。
【0016】
プロセッサーは、入力医療映像に対する分析結果をDICOMフォーマットのセカンダリ・キャプチャー(Secondary Capture、SC)として提供し、SCは、入力医療映像が正常ケースであることを示すグラフィカルインジケータを含むことができる。
【0017】
一実施例による映像分析装置の動作方法は、互いに異なるタスクで医療映像を分析するように訓練された第1人工知能モデル、および第2人工知能モデルを使用して、入力医療映像に対する分析結果を取得すること、第1人工知能モデルと第2人工知能モデルによって入力医療映像がすべて正常と判断された場合、入力医療映像を正常ケースに分類すること、および入力医療映像に対する分析結果、および入力医療映像の正常ケースの有無を含む最終分析結果を指定された装置に提供することを含む。
【0018】
第1人工知能モデルは、第2人工知能モデルよりも保守的な基準で医療映像内の異常所見を総合的に検出するように訓練された正常フィルタリングモデルであり、第2人工知能モデルは、医療映像で特定の病変を検出するように訓練されたモデルであり得る。
【0019】
入力医療映像を正常ケースに分類することは、第1人工知能モデルでの分析結果で取得した非正常スコア(non-normal score)と正常フィルタリングの閾値に基づいて入力医療映像が正常か否かを判断し、第2人工知能モデルでの分析結果で取得した病変別スコアに基づいて入力医療映像が正常か否かを判断することができる。
【0020】
動作方法は、使用者入力に応じて、現在の正常フィルタリングの閾値を新しい値に変更することをさらに含むことができる。
【0021】
動作方法は、入力医療映像の分析を行う医療機関の類型、非正常スコアに対する医療機関の正常ケースの分布図または異常ケースの分布図のうち少なくとも一つに基づいて、正常フィルタリングのための新しい正常フィルタリングの閾値を決定すること、および新しい正常フィルタリングの閾値を使用者に提案することをさらに含むことができる。
【0022】
動作方法は、第1人工知能モデルによって入力医療映像が非正常(non-normal)と判断され、第2人工知能モデルによって入力医療映像が正常または非正常と判断された場合、入力医療映像を非正常ケースに分類することをさらに含むことができる。
【0023】
動作方法は、正常ケースに対して予め設定された正常所見文言を使用し、正常ケースに分類された入力医療映像の判読文を生成することをさらに含むことができる。
【0024】
入力医療映像に対する最終分析結果は、DICOMフォーマットのSC(Secondary Capture)として提供され、SCは、入力医療映像が正常ケースであることを示すグラフィカルインジケータを含むことができる。
【0025】
一実施例によるコンピュータ可読記憶媒体に保存されるコンピュータプログラムは、実行するプロセッサーに、医療映像に対する分析結果を保存する映像保存装置と連動して、映像判読作業のための映像目録を含むワークリストを表示させ、医療映像に対する分析結果に含まれている正常ケースの有無に基づいて、ワークリストから正常ケースとして分類された医療映像を区別して表示させる命令を含む。
【0026】
ワークリストで正常ケースに分類された特定医療映像が選択されると、特定医療映像の分析結果を示すSC(Secondary Capture)映像を表示させるようにする命令をさらに含むことができる。SC映像は、特定医療映像が正常ケースであることを知らせるグラフィカルインジケータを含むことができる。
【0027】
コンピュータプログラムは、正常ケースに分類された医療映像に対して生成された判読文を提供するようにする命令をさらに含み、正常ケースに分類された医療映像の判読文は、正常ケースに対して予め設定された正常所見の文言を使用して自動的に生成することができる。
【発明の効果】
【0028】
一実施例によれば、互いに異なるタスクで医療映像を分析するように訓練された人工知能モデルを利用して医療映像を分析することにより、分析結果に対する精度および信頼度を高めることができる。
【0029】
一実施例によれば、医療映像のうち高い信頼度で正常医療映像を分類して、正常ケースを認知できるグラフィカルインジケータを提供することにより、判読時間および判読業務量を減らして判読効率を上げることができ、結果的に判読待機中の医療映像管理のための医療映像システムのメモリ資源およびコンピューティング資源を減らすことができる。
【0030】
一実施例によれば、医療映像のうち高い信頼度で正常医療映像を分類することにより、これを使用する医療機関は判読費用を減らすことができる。
【0031】
一実施例によれば、医療映像の分析結果に基づいて判読文を自動生成することにより、判読時間および判読業務量を減らして判読効率を上げることができ、結果的に判読待機中の医療映像管理のための医療映像システムのメモリ資源およびコンピューティング資源を減らすことができる。
【0032】
一実施例によれば、正常ケースに対する判読業務を熟練度が低い使用者に割り当てたり、遠隔判読業者に割り当てたり、病院内判読業務を効率的に運用することにより、結果的に判読待機中の医療映像管理のための医療映像システムのメモリ資源およびコンピューティング資源を減らすことができる。
【0033】
一実施例によれば、使用者は映像判読作業のための映像目録を含むワークリストから正常ケースを識別して業務順位を決定することができ、正常ケースより非正常ケースを先に読み取るように優先順位を設定することができる。
【0034】
一実施例によれば、使用者は、正常ケースより非正常ケースに時間を割いて判読業務を行うことができ、正常ケースであることを示す表示を含むSC(Secondary Capture)映像、GSPS(Grayscale Softcopy Presentation State)などを通して正常ケースの判読時間を減らすことができる。
【図面の簡単な説明】
【0035】
【
図1】一実施例による医療映像システムの構成図である。
【
図2】一実施例による医療映像を正常ケースと非正常ケースに分類する方法を説明する図面である。
【
図3】一実施例による分析結果を提供する補助映像の例示である。
【
図4】一実施例による分析結果を提供する補助映像の例示である。
【
図5】一実施例による分析結果を提供する補助映像の例示である。
【
図6】一実施例による正常フィルタリングの閾値を設定する方法を説明する図面である。
【
図7】一実施例により生成されたワークリストの例示である。
【
図8】一実施例により生成された判読文の例示である。
【
図9】一実施例による映像分析方法のフローチャートである。
【
図10】一実施例による正常フィルタリングのための閾値設定方法のフローチャートである。
【
図11】一実施例による分析結果提供方法のフローチャートである。
【発明を実施するための形態】
【0036】
以下、添付の図面を参照して、本開示の実施例について、本開示が属する技術分野における当業者が容易に実施できるように詳細に説明する。しかし、本開示は、多様に異なる形態で実施することができ、ここで説明する実施例に限定されない。および、図面で本開示を明確に説明するために、説明と関係のない部分は省略し、明細書全体を通じて類似した部分については類似の図面符号を付した。
【0037】
説明において、ある部分がある構成要素を「含む」とは、特に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含むことができることを意味する。また、明細書に記載されている「...部」、「...機」、「モジュール」などの用語は、少なくとも1つの機能や動作を処理する単位を意味し、これは、ハードウェアやソフトウェア、またはハードウェアとソフトウェアの組み合わせで実現することができる。
【0038】
本開示の装置または端末は、少なくとも一つのプロセッサーが命令(instructions)を実行することによって、本開示の動作を行うことができるように構成および連結されたコンピューティング装置である。コンピュータプログラムは、プロセッサーが本開示の動作を実行するように記述された命令(instructions)を含み、非一時的なコンピュータ可読記憶媒体(non-transitory computer readable storage medium)に保存されることができる。コンピュータプログラムは、ネットワークを通してダウンロードされ、および/または製品形態として販売されることができる。
【0039】
本開示の医療映像は、様々なモダリティ(modality)で撮影された様々な部位の映像であってもよく、例えば、モダリティは、X線(X-ray)、MRI(magnetic resonance imaging)、超音波(ultrasound)、CT(computed tomography)、Digital MMG(Mammography)、DBT(Digital breast tomosynthesis)などであってもよい。
【0040】
本開示の使用者とは、医療専門家であり、医師、看護師、臨床病理士、ソノグラファー、または医療映像専門家(Radiologist)などであるが、これに限定されない。
【0041】
本開示の人工知能モデル(Artificial Intelligence model、AI model)は、少なくとも一つのタスク(task)を学習する機械学習モデルであり、プロセッサーによって実行されるコンピュータプログラムで実現されることができる。人工知能モデルが学習するタスクとは、機械学習を通して解決しようとする課題または機械学習を通して行おうとする作業を指すことができる。人工知能モデルは、コンピューティング装置で実行されるコンピュータプログラムとして実現されることができ、ネットワークを通してダウンロードされ、および/または製品形態として販売されることができる。また、人工知能モデルは、ネットワークを通して様々な装置と連動することができる。
【0042】
図1は、一実施例による医療映像システムの構成図であり、
図2は、一実施例による医療映像を正常ケースと異常ケースに分類する方法を説明する図面であり、
図3~
図5のそれぞれは、一実施例による分析結果を提供する補助映像の例示である。
【0043】
図1を参照すると、医療映像システム1は、少なくとも一つの使用者端末100、映像保存装置200、および映像分析装置300を含むことができる。
【0044】
使用者端末100は、プロセッサーによって実行されるプログラムを設置し、本開示の動作を行うためのコンピューティング環境およびネットワーク環境を提供するハードウェアおよびソフトウェアで構成される。使用者端末100は、例えば、ワークステーション内のコンピューティングデバイス、モバイルデバイスなどのように様々な種類で実現することができる。使用者端末100は、映像保存装置200と連動して、映像保存装置200に保存された医療映像関連データを表示するビューア(簡単に、「ビューア」と呼ぶ)(Viewer)110を含むことができる。ビューア110は、例えば、ワークステーション内のコンピューティングデバイスに設置されて実行され、映像保存装置200に接続するように実現され、映像保存装置200に保存された医療映像関連データを表示することができる。ビューア110は、コンピュータ判読可能な媒体に保存されたコンピュータプログラムであり、プロセッサーによって実行される命令を含む。使用者端末100のプロセッサーが命令を実行することにより、本開示で説明する動作を行うことができる。
【0045】
ビューア110は、映像保存装置200に保存された映像分析結果を表示することができる。ビューア110は、テーブル形式で構成され、使用者が判読しなければならない映像目録を主要情報と一緒に羅列して表示するワークリスト(worklist)を提供することができる。ビューア110は、PACS(Picture archiving and communication system)ビューアを含むことができる。ここで、ビューア110は、映像保存装置200に保存された医療映像および/または映像分析結果を表示することができるように作られたプログラムであり、ワークリストと関連した映像判読作業を支援することができるが、必ずしも判読業務用ビューアに限定される必要はない。
【0046】
映像保存装置200は、撮影された医療映像を保存および管理することができる。また、映像保存装置200は、医療映像に対する分析結果を保存および管理することができる。映像保存装置200は、PACSデータベースを含むことができる。映像保存装置200は、指定されたデータフォーマットによりデータを保存することができる。例えば、映像保存装置200は、DICOM(Digital Imaging and Communications in Medicine)標準にしたがって医療映像機器で撮影された医療映像、および医療映像の分析結果を保存することができ、使用者端末100と通信して映像判読のためのデータを提供することができる。映像保存装置200とビューア110をPACSシステムで構成することができ、映像保存装置200はPACSサーバー/DBであり、ビューア110はPACSビューアであり得る。
【0047】
本開示では、医療映像保存に活用されるDICOM標準を例に挙げて説明するが、医療映像標準がDICOMに限定される必要はない。
【0048】
映像保存装置200は、映像分析装置300から医療映像の分析結果を取得することができる。医療映像の分析結果は、病変情報をはじめとする各種医学的な予測を含むことができる。このような医療映像の分析結果は、使用者の映像判読補助のために提供することができる。映像の分析結果は、様々なフォーマット(format)で提供することができ、例えば、DICOMフォーマットのSC(Secondary Capture)、GSPS(Grayscale Softcopy Presentation State)などで提供することができる。SCは、原本医療映像と別途の映像(SC映像)を生成して病変情報を表示するものであり、原本医療映像と別途に提供され、PACSビューアで表示することができる。GSPSは、原本医療映像の上に病変情報をオーバレイして表示するものであり、オーバレイされた病変情報をオン(on)またはオフ(off)にすることができ、PACSビューアで表示することができる。本開示では、主にSCを例に挙げて説明することができる。また、医療映像分析結果は、テキストとして作成された判読文形態のリポートにも提供することができる。例えば、リポートは、DICOM Basic Text SR(Structured Report)であり得る。しかし、医療映像分析結果の提供形態がこれに限定されるものではなく、様々な形態のDICOMフォーマットの結果物を含むことができる。
【0049】
映像保存装置200に保存される医療映像は、様々なモダリティの医療映像機器によって取得された映像を含むことができる。医療映像は、X線(X-ray)映像、MRI(magnetic resonance imaging)映像、超音波(ultrasound)映像、CT(computed tomography)映像、Digital MMG(Mammography)映像、DBT(Digital breast tomosynthesis)映像などであり得る。本開示では、胸部X線映像を医療映像の例として説明するが、医療映像がこれに限定される必要はなく、医療映像の種類に合うように本開示を適用することができる。
【0050】
映像分析装置300は、人工知能(Artificial Intelligence、AI)モデルを使用して医療映像を分析し、分析結果を映像保存装置200に保存することができる。
【0051】
映像分析装置300は、医療映像の種類ごとに特化したAIモデルを備えることができ、入力映像の種類に応じてAIモデルを選択して入力映像に適した病変検出などの分析を行うことができる。AIモデルは、入力医療映像から医学的推論を行うように生成され、モデル構造、訓練データ構成、訓練方法、および医学的推論対象などは多様に設計することができる。
【0052】
映像分析装置300は、互いに異なるタスクで医療映像を分析するように訓練された複数のAIモデルを使用して医療映像の分析結果を取得し、分析結果に基づいて医療映像に対する最終分析結果を生成することができる。医療映像に対する分析結果に基づいて、判読文(report)を自動生成することができる。本開示では、映像分析装置300が判読文を自動生成すると仮定するが、判読文の生成は他の装置が行うことができる。
【0053】
映像分析装置300が使用するAIモデルの数が必ずしも2つに限定される必要はないが、本開示ではAIモデル1(310)とAIモデル2(320)を使用すると仮定する。この時、AIモデル1(310)を使用するかどうかは選択的に決定することができる。即ち、映像分析装置300は、設定によりAIモデル1(310)とAIモデル2(320)を使用して医療映像を分析することができ、またはAIモデル2(320)だけを使用して医療映像を分析することができる。
【0054】
図2を参照すると、AIモデル1(310)は、AIモデル2(320)より保守的な基準で医療映像内の異常所見(abnormal findings)を総合的に(comprehensive)検出するように訓練されたモデルであってもよい。AIモデル1(310)は、結節、気胸、胸水、硬化、心臓肥大、無気肺、起伏症、石灰変性、肺繊維化、縦隔拡張、肺結核、骨折などの病変だけでなく、臨床的異常所見(clinical abnormal findings)を検出するように訓練することができる。AIモデル1(310)は、AIモデル2(320)より多くの種類の病変を異常所見として検出するように訓練することができる。ここで、臨床的な異常所見は、手術痕跡、治療痕跡、カテーテルなどの医療デバイスなどを含むことができ、医師が診療や治療のために確認しなければならない情報を含むことができる。
【0055】
AIモデル1(310)が医療映像内の異常所見を総合的に検出し、病変だけでなく、医師が確認しなければならない臨床的な異常所見もない正常映像を分類するという点で、正常フィルタリング(normal filtering)モデルまたは総合分析(comprehensive analysis)モデルと呼ぶことができる。
【0056】
AIモデル1(310)は、医療映像から検出された異常所見に関するスコア(score)を出力することができ、非正常スコア(non-normal score)と呼ぶことができる。これは、AIモデル1(310)によって判断された異常所見に関するスコアを異常スコア(Abnormality Score)と区分するために使用する用語であり、非正常スコアは、他の用語に変更してもよい。非正常スコアは、AIモデル1(310)が医療映像に異常所見が存在すると確信する信頼水準(confidence level)に関する値でありうる。非正常スコアは、特定範囲(例えば、0~100)の値を有するスコアと定義され、および/または0~1間の確率値として定義することができる。例えば、非正常スコアが0~1間の確率値として定義される場合、正常スコア(normal score)は、1から非正常スコアを差し引いた値として定義することができる。
【0057】
AIモデル1(310)が医療映像に対して予測した非正常スコアが閾値(threshold)未満の場合、医療映像は正常として分類され、そうではない場合、医療映像は非正常として分類されることができる。閾値は正常フィルタリングのための閾値であり、閾値によって正常として分類されるケース数が異なる場合がある。閾値は可変である。閾値は、使用者によって調整されたり、映像分析装置300によって最適値に調整されたり、映像分析装置300が使用者に最適値を提案することができる。
【0058】
AIモデル2(320)は、医療映像で特定の病変を検出するように訓練されたモデルでありうる。例えば、胸部X線映像で検出可能な病変としては、表1のように、結節、気胸、胸水、硬化、心臓肥大、無気肺、腹膜浮腫症、石灰変性、肺繊維化、縦隔拡張、肺結核、骨折などを含むことができる。
【0059】
【表1】
AIモデル2(320)は、医療映像から検出された病変に関するスコアを出力することができ、これを病変別スコア(per-lesion score)と呼ぶことができる。病変別スコアは、AIモデル2(320)が医療映像に当該病変が存在すると確信する信頼水準に関する値でありうる。
【0060】
AIモデル2(320)が医療映像に対して予測した病変別スコアに基づいて、医療映像を、正常または非正常と分類することができる。例えば、検出可能な複数の病変のうち病変スコアが閾値以上である少なくとも一つの病変が存在する場合、医療映像は非正常として分類することができる。閾値は病変ごとに設定することができる。また、病変別閾値は使用者によって調整されたり、映像分析装置300によって最適値に調整されたり、映像分析装置300が使用者に最適値を推薦することができる。例えば、使用者が特定の病変の検出結果がより重要であると考える場合、当該特定の病変に対する閾値を下げることができる。
【0061】
医療映像に対して予測した病変スコアが閾値未満の場合、当該病変の存在の可能性が低いことを示す表示、例えば、「Low」が出力され得る。
【0062】
医療映像の異常スコア(Abnormality Score)は、AIモデル2(320)の分析結果に基づいて決定することができ、例えば、病変別スコアの中で最も高い病変スコアが異常スコアとして決定されることができる。
【0063】
映像分析装置300は、AIモデル1(310)とAIモデル2(320)によって医療映像がすべて正常と判断された場合、医療映像を正常ケースと分類することができる。即ち、病変だけでなく、臨床的な異常所見も発見されなかった医療映像が正常ケースに分類されることができる。映像分析装置300は、医療映像が正常ケースの信頼水準を示すスコア、即ち、非正常スコア(non-normal score)または正常スコア(normal score)を提供することができる。
【0064】
映像分析装置300は、AIモデル1(310)とAIモデル2(320)とのうち少なくとも一つによって医療映像が非正常と判断された場合、医療映像を非正常ケースと分類することができる。ここで、非正常ケースは、明白な正常ではない医療映像を意味し、病変が検出されなかったが、手術痕跡などの臨床的な異常所見が検出された医療映像が非正常ケースとして分類されることがある。
【0065】
一方、AIモデル1(310)がAIモデル2(320)よりも保守的な基準で医療映像内の異常所見を検出するように訓練された場合、AIモデル2(320)によって非正常と判断された医療映像がAIモデル1(310)によって正常と判断される可能性は低い。したがって、映像分析装置300は、AIモデル1(310)によって正常と判断され、AIモデル2(320)によって非正常と判断された医療映像を例外ケースとして分類することができる。例外ケースは多様に処理することができ、例えば、映像分析装置300が指定された装置に例外ケース発生を報告するように実現されることができる。収集された例外ケースは、AIモデル1(310)やAIモデル2(320)の改善に活用することができる。
【0066】
AIモデル1(310)の分析結果を利用して、医療映像が正常か否かを判断する機能は、使用者設定によって活性化され得る。AIモデル1(310)が不活性化され、AIモデル2(320)だけを使用して医療映像を分析する場合、AIモデル2(320)による分析結果に基づいて医療映像を正常ケースまたは非正常ケースに分類するように設定することができる。または、AIモデル2(320)の分析結果が正常であっても、AIモデル1(310)による分析が行われなかったので、AIモデル1(310)による分析結果を非正常と見なして、医療映像を非正常ケースに分類するように設定することができる。
【0067】
映像分析装置300は、AIモデル1(310)とAIモデル2(320)の分析結果に基づいて、医療映像に対する最終分析結果を生成することができる。最終分析結果は、AIモデル1(310)で予測された異常スコアなどを含む分析結果、AIモデル2(320)で予測された病変別スコア、異常スコア、正常か否か、病変情報などを含む分析結果、二つのモデルの分析結果に基づいて分類された正常ケースの有無、正常ケースに対する非正常スコア、医学的指標、AIモデル1(310)の使用有無などを含むことができる。
【0068】
映像分析装置300は、医療映像の分析結果に基づいて、医療映像に病変情報を含む分析結果をDICOMのSC(Secondary Capture)、GSPS(Grayscale Softcopy Presentation State)、SR(Structured report)などのフォーマットで提供することができる。医療映像に対する分析結果は、映像保存装置200に保存され、映像保存装置200と連動する使用者端末100で表示することができる。医療映像がDICOM映像である場合、映像のメタデータは、Public tagとPrivate tagに保存することができる。Public tagには、DICOM標準で規定されるファイル構造によって医療映像に対する情報が記録される。Private tagは、Public tagに含まれていない情報を医療機器企業でDICOM映像に追加したい時に自由に使用できるため、Private tagに医療映像に対する分析結果が記録されることができる。例えば、Private tagには、AIモデル1(310)とAIモデル2(320)のそれぞれの分析結果、二つのモデルの分析結果に基づいて分類された正常ケースの有無、正常ケースに対する非正常スコア、医学的指標、AIモデル1(310)の使用の有無などを含むことができる。
【0069】
医療映像に対する分析結果は、正常ケースを表すように提供することができる。例えば、正常ケースに対するSC映像またはGSPSは、使用者が正常ケースを急速に確認できるように非正常ケースに対するSC映像またはGSPSと異なる形で提供することができる。
【0070】
正常ケースに分類された医療映像はフィルタリングされてワークリストから除外され、別のフォルダーに保存することができる。使用者は、当該フォルダーを通して正常ケースに分類された医療映像だけを確認することができる。または、正常ケースはワークリストから除外されず、正常ケースであることが分かるようにワークリストに表示することができる。使用者は、ワークリストから正常ケースを識別して処理することができる。
【0071】
使用者端末100で実行されるビューア110は、医療映像に対する分析結果を提供することができる。ビューア110は、分析結果に含まれている様々な情報を表示することができ、このため、分析結果は、ビューア110で表示可能なデータフォーマットである、DICOMフォーマットで保存することができる。医療映像に対する分析結果は、SC、GSPS、SRフォーマットなどで提供することができる。
【0072】
図3を参照すると、正常ケースに対するSC映像400Aは、医療映像が表示される映像領域410A、医療映像の分析結果が表示される情報領域420Aで構成することができる。情報領域420Aに表示される情報は多様に定義することができる。情報領域420Aは、正常ケースに対する信頼水準を示す非正常スコア(non-normal score)または正常スコア(normal score)を表示することができ、または指定された医学的指標および/または病変に対するスコアや閾値に比較される水準(例えば、閾値より低い水準を示す「Low」)を表示することができる。正常ケースの場合、情報領域420Aを省略することができる。
【0073】
正常ケースに対するSC映像400Aは、医療映像が正常ケースであることを知らせるグラフィカルインジケータ(Graphical indicator)430Aをさらに表示することができる。グラフィカルインジケータ430Aの位置および表示方法は、多様に定義することができる。例えば、グラフィカルインジケータは、「N」アイコンで表示することができる。「N」は、No visible abnormalityまたはNormalを意味することができる。
【0074】
例えば、胸部X線の映像がAIモデル1(310)とAIモデル2(320)によって全て正常と判断された場合、胸部X線映像は正常ケースに分類することができる。正常ケースに提供されるSC映像は、情報領域420Aに指定された情報(例えば、Abnormality Score:Low、TB analysis score:Low)を表示し、正常ケースであることを知らせるグラフィカルインジケータ430Aを表示することができる。情報領域420Aに医療映像の異常スコアが表示されることがあるが、正常ケースであるため、閾値より低い水準を示す「Low」で表示されることができる。一方、肺結核に対する病変スコアは、異常スコアと別に表示することができ、肺結核分析スコア(TB analysis score)で表示することができる。
【0075】
医療映像の分析結果をGSPSフォーマットで提供する場合にも、正常ケースであることを示す情報(例えば、「N」)を医療映像の上にオーバレイすることができる。
【0076】
使用者は、正常ケースであることを知らせるグラフィカルインジケータを通して、医療映像がAIモデルによって全て正常と判断されたことを直観的に認知することができる。
【0077】
図4と
図5を参照すると、非正常ケースに対するSC映像400B、400Cは、医療映像が表示される映像領域410B、410C、医療映像の分析結果が表示される情報領域420B、420Cで構成することができる。この時、非正常ケースに対するSC映像400B、400Cは、医療映像が正常ケースであることを知らせるグラフィカルインジケータを提供しない。代わりに、医療映像が非正常ケースであることを知らせるグラフィカルインジケータを表示することができる。
【0078】
医療映像がAIモデル1(310)とAIモデル2(320)によって全て非正常と判断された場合、またはAIモデル1(310)によって非正常と判断され、AIモデル2(320)によって正常と判断された場合、医療映像は非正常ケースに分類されることができる。
【0079】
図4を参照すると、医療映像がAIモデル1(310)とAIモデル2(320)によって全て非正常と判断された場合、非正常ケースに提供されるSC映像400Bは、映像領域410Bに病変情報が視覚的に表示された医療映像を提供するが、病変情報は、病変領域の位置および病変スコアを含むことができる。例えば、映像領域410Bは、医療映像の上に、Fx92、Csn22、Atl、Csn57のように病変名と病変別スコアを表示し、輪郭、ヒートマップなどで病変領域を表示することができる。
【0080】
情報領域420Bは、医療映像の分析結果のうち、指定された情報(例えば、Abnormality Score:92、TB analysis score:Low)を表示することができる。情報領域420Bは、医療映像の異常スコア(Abnormality Score)、病変別スコアや病変別閾値に比較される水準(例えば、閾値より低い水準を示す「Low」)を表示することができる。医療映像の異常スコアは、病変別スコアのうち最も高い病変スコアでありうる。特定の病変の病変スコアが閾値以上である場合、病変スコアが情報領域に表示されることができる。特定の病変の病変スコアが閾値未満の場合、閾値より低い水準を示す「Low」が表示されることができる。
【0081】
図5を参照すると、医療映像がAIモデル1(310)によって非正常と判断され、AIモデル2(320)によって正常と判断された場合、非正常ケースに提供されるSC映像400Cは、AIモデル2(320)によって正常と判断されたため、映像領域410CにAIモデル2(320)によって検出された病変情報が表示されないこともでき、またはAIモデル1(310)によって検出された病変情報や臨床的な異常所見が指定された方法で表示されることができる。
【0082】
情報領域420Cは、指定された情報を表示し、例えば、指定された病変スコアが閾値より低い水準を示す表示をし、および/または異常スコアもしくは異常スコアの水準(例えば、「Low」、「High」)を表示することができる。
【0083】
一方、AIモデル1(310)の使用有無は選択的に決定することができ、SC映像がAIモデル2(320)による分析結果だけを表示することができる。AIモデル2(320)による分析結果のみが存在する場合、二つのモデルによって全て正常と判断された正常ケースではないので、医療映像は非正常ケースに分類されることができる。AIモデル2(320)による医療映像の分析結果が非正常である場合、医療映像に対するSC映像は、
図4のように提供されることができる。もし、AIモデル2(320)による医療映像の分析結果が正常である場合、医療映像に対するSC映像は
図5のように提供されることができる。
【0084】
このように、映像分析装置300は、AIモデル1(310)とAIモデル2(320)を通じて医療映像を分析することによって、分析結果に対する精度および信頼度を高めることができる。映像分析装置300が医療映像の中で高い信頼度で正常医療映像を分類して、正常ケースを認知できるグラフィカルインジケータを提供することによって、判読時間および判読業務量を減らして判読効率を上げることができ、結果的に判読待機中の医療映像管理のための医療映像システム1のメモリ資源およびコンピューティング資源を減らすことができる。また、映像分析装置300が医療映像のうち高い信頼度で正常医療映像を分類することにより、これを使用する医療機関は、判読費用を削減することができる。
【0085】
映像分析装置300は、AIモデル1(310)とAIモデル2(320)による医療映像の分析結果に基づいて判読文を自動生成することにより、判読時間および判読業務量を減らして判読効率を上げることができ、結果的に、判読待機中の医療映像管理のための医療映像システム1のメモリ資源およびコンピューティング資源を削減することができる。
【0086】
図6は、一実施例による正常フィルタリングの閾値を設定する方法を説明する図面である。
【0087】
図6を参照すると、AIモデル1(310)が医療映像に対して予測した非正常スコア(non-normalscore)が閾値未満である場合、医療映像は正常として分類され、そうではない場合、医療映像は非正常として分類することができる。このような正常フィルタリングの閾値をすべての医療機関で同じように使用して医療映像を分類することができるが、正常フィルタリングの閾値に基づいてAIモデル1(310)によって正常と判断される映像数が異なるため、正常ケースに分類される映像数が異なり、結果的に判読業務量および判読効率が影響を受ける可能性がある。
【0088】
また、表2を参照すると、医療機関ごとに患者特性が異なり、正常ケース(Normal case)、境界ケース(Borderline case)、異常ケース(Abnormal case)の比率が異なる。したがって、このような医療機関のケース分布に合わせて正常フィルタリングの閾値を調整することができる。正常フィルタリングの閾値は、使用者の設定(configuration)値の変更によって調整されたり、映像分析装置300によって最適値に調整されたり、映像分析装置300が使用者に最適値を推薦することができる。
【0089】
【表2】
医療機関がAIモデル1(310)を使用するように設定される場合、AIモデル1(310)を通じて正常映像を決定するための正常フィルタリングの閾値を基本値(default)として設定することができる。その後、映像分析装置300は、各医療機関でAIモデル1(310)およびAIモデル2(320)を使用して分析した医療映像に対する結果データを統計処理し、これに基づいて正常フィルタリングの閾値を変更し、および/または適切な値を提案することができる。ここで、映像分析装置300は、最適の単一の値を提案することに限定される必要はなく、調整可能な正常フィルタリングの閾値の範囲を提案し、使用者が範囲内の閾値を選択するようにすることができる。
【0090】
映像分析装置300は、医療映像に対する結果データをグラフおよび/またはダッシュボード(dashboard)の形で使用者に提供し、結果データと共に現在設定された正常フィルタリングの閾値、および/または推薦する正常フィルタリングの閾値を提供することができる。医療映像に対する結果データは、正常ケース、境界ケース、異常ケースに対するケースの数、比率、およびケースの分布図を含むことができる。ケースの分布図は、非正常スコアに対する当該ケースの数で表現することができ、正常ケース、境界ケース、異常ケースに対する定義は様々である。例えば、AIモデル1(310)に設定された正常フィルタリングの閾値によって正常と決定された医療映像を正常ケースとして見ることができ、または最終的に判読医によって正常と決定された医療映像を正常ケースとして見ることができる。
【0091】
映像分析装置300は、AIモデル1(310)を使用して、医療機関の医療映像に対する分析を開示することができる。また、一定期間の映像分析装置300を使用して分析した医療機関の医療映像に対する正常ケース情報(正常ケース数、正常ケース比率、正常ケースの分布図など)、臨床的に重要な(Clinically relevant)病変が検出された異常ケース情報(異常ケース数、異常ケース比率、異常ケースの分布図など)、当該医療機関で撮影された映像に対する専門医の所見分布図などのデータを基に、当該医療機関のための正常フィルタリングの閾値を提案することができる。
【0092】
映像分析装置300は、様々な情報に基づいて、医療機関別の正常フィルタリングの閾値を提案することができる。例えば、映像分析装置300は、医療機関の正常ケース、境界ケース、異常ケースの分布図に基づいて、正常フィルタリングの閾値を提案することができる。映像分析装置300は、医療機関類型に基づいて正常フィルタリングの閾値を提案することができる。
【0093】
例えば、健康診断センターのような医療機関1のケースの分布図を見ると、異常(abnormal)ケースに比べて正常(normal)ケースが多数であり、低い非正常スコアに正常ケースが偏って分布している。また、健康診断センターの目的に合わせて境界ケースは追加検診を提案しなければならないので、映像分析装置300は、非正常スコアに相当する正常フィルタリングの閾値を基本閾値より低い値で提案することができる。これにより、健康診断センターの場合、AIモデル1(310)によってより保守的に正常か否かを決定することによって健康診断の目的を達成することができ、大部分のケースが正常ケースであるため、正常フィルタリングの閾値を下げても非正常ケースが急激に増加せず、また低い非正常スコアを閾値に設定し、確実な正常に該当する複数の医療映像を分類することができる。
【0094】
3次病院のような医療機関2のケースの分布図を見ると、異常ケースが多く、境界ケースは大部分臨床的に重要でない病変と判断されるので、映像分析装置300は、非正常スコアに相当する正常フィルタリングの閾値を基本閾値より高い値で提案することができる。3次病院を訪問する患者の医療映像の場合、病変などの異常所見が検出される確率が高く、非正常スコアが相対的に高いため、AIモデル1(310)の正常フィルタリングの閾値を高くしても、正常ケースが急激に増加せず、また高い非正常スコアを閾値に設定して、臨床的に重要な病変が検出された医療映像を分類することができる。
【0095】
このように、AIモデル1(310)を通じて医療映像を分析しても、医療機関1の医療映像は、異常所見が存在する確率が基本値より低くても非正常として分類され、医療機関2の医療映像は異常所見が存在する確率が基本値より高い場合、非正常として分類されることができる。これにより、国家、病院規模、臨床環境によって全体の映像の中で正常映像の比重が異なるため、医療機関ごとに判読業務を最適化することができる。
【0096】
一方、使用者端末100は、AIモデル1(310)のための正常フィルタリングの閾値、およびAIモデル2(320)のための病変別閾値を調整することができるインターフェース画面を提供することができる。この時、インターフェース画面は、推薦された閾値を表示することができる。使用者は、インターフェース画面を通してAIモデル1(310)のための正常フィルタリングの閾値、およびAIモデル2(320)のための病変別閾値のうち少なくとも一つを調整することができ、使用者によって調整された閾値が映像分析装置300に設定されることができる。また、使用者端末100は、一定期間の間に映像分析装置300が各医療機関の医療映像を分析した結果データをグラフおよび/またはダッシュボードの形で使用者に提供することができ、使用者は、結果データに基づいて当該医療機関の特性を把握し、病変別に正常に対する定義を設定することができる。例えば、使用者は、石灰変性(Calcification)の場合、病変スコア30以下を正常と設定し、肺繊維化(Fibrosis)の場合、病変スコア25以下を正常と設定し、臨床的な異常所見のうち、医療デバイス(medical device)は正常と判断するように設定することができる。
【0097】
図7は、一実施例により生成されたワークリストの例示である。
【0098】
図7を参照すると、使用者端末100で実行されたビューア110は、映像保存装置200と連動してワークリスト500を提供することができる。ワークリスト500は、使用者が判読しなければならない映像目録を主要な情報と一緒にテーブル形式で羅列して表示する。ワークリストが必ずビューア110に含まれる必要はなく、別途のプログラムとして設置することができる。ワークリストに表示される情報は、ビューア110または映像保存装置200によって提供することができるが、説明の便宜上、ビューア110が提供すると説明することができる。
【0099】
ビューア110は、映像保存装置200と連動して医療映像に対して映像分析装置300が分析した分析結果をワークリスト500の指定された列(column)510、520に表示することができる。ワークリストに表示される分析結果は、多様に設定することができるが、例えば、各映像の異常スコア(Abnormality score)が列510に記載され、正常ケースの有無が「No Visible Abnormality」列520に記載されることができる。例えば、ビューア110は、医療映像のprivate tagに含まれる正常ケースの有無に対するデータをcolor chipまたはフラグ(flagging)に区分してワークリストに表示することができる。ビューア110は、比較分析結果によって判断された優先順位にしたがってワークリストに含まれる映像を区別して表示することができる。また、ビューア110は、比較分析結果によって判断された優先順位にしたがってワークリストの映像目録を整列して表示することができる。
【0100】
AIモデル1(310)とAIモデル2(320)によって特定の医療映像がすべて正常と判断された場合、ワークリスト500は、特定の医療映像の「No Visible Abnormality」列520に正常ケースであることを示す表示(例えば、フラグ表示またはハイライト表示)をすることができ、正常ケースの判読のために正常ケースを整列(sorting)または抽出することができる機能を提供することができる。これにより、使用者(映像医学科専門医)は、正常ケースを識別して業務順位を決定することができ、正常ケースより非正常ケースを先に読み取るように優先順位を設定することができる。また、使用者は正常ケースより非正常ケースに時間をさらに割いて判読業務を行うことができる。正常ケースのSC映像またはGSPSは、正常ケースであることを示す表示を含むので、使用者は正常ケースの判読時間を短縮することができる。
【0101】
ワークリスト500は、AIモデル1(310)の分析結果を利用して医療映像が正常かどうかを判断する機能が活性化した場合、「No Visible Abnormality」列520を表示し、不活性化した場合には「No Visible Abnormality」列520を隠すことができる。
【0102】
一方、ワークリスト500は、AIモデル1(310)とAIモデル2(320)によって全て正常と判断された正常ケースの医療映像を表示しないか、または、別のフォルダーに保存して正常ケースだけを別に集めて見ることができる機能を提供することができる。また、正常ケースは判読のためのワークリストに割り当てられないか、判読文が自動的に生成されて保存された場合、ワークリストに正常ケースの映像に対する判読文が自動的に生成されていることを示すインジケータ(indicator)を表示することができる。使用者は、当該インジケータを通して、使用者の確認(confirm)が必要な判読文が生成されていることを認知することができる。即ち、医療映像システム1は、使用者が正常ケースの医療映像を判読しない判読業務手順を提供することができ、正常ケースに対する判読文は医療映像に対する分析結果に基づいて自動的に生成され、映像保存装置200に保存されることができる。映像分析装置300が正常ケースに対する判読文を生成し、映像保存装置200の指定されたフォルダーに保存することができる。映像分析装置300は、正常ケース以外にも医療映像に対する分析結果に基づいて判読文を生成することができ、これにより、使用者が判読文を作成する時間を短縮することができる。自動生成された判読文は、指定された使用者が修正し、最終確認した後、保存することができる。一方、映像保存装置200または別途の装置が医療映像に対する分析結果に基づいて判読文を生成することができる。
【0103】
また、医療映像システム1は、正常ケースに対する判読業務を熟練度の低い使用者に割り当て、および/または遠隔判読企業に割り当てて、病院内の判読業務を効率的に運用することができ、これにより、患者が提供される医療サービス質を改善することができる。
【0104】
図8は、一実施例により生成された判読文の例示である。
【0105】
図8を参照すると、映像分析装置300または指定された装置が医療映像に対する分析結果に基づいて判読文を生成することができる。例えば、AIモデル1(310)とAIモデル2(320)によって全て正常と判断された正常ケースに対する判読文600が生成されることができる。
【0106】
判読文600は、例えば、名称領域610、患者および映像情報領域620、および分析領域630で構造化されることができる。
【0107】
名称領域610には、判読文名(例えば、Chest CAD Report)が記載され、判読文に対する説明、例えば、人ではなくAIによって自動生成されたことを示す説明1(This preliminary report is created by Lunit。)が記載され得る。
【0108】
患者情報および映像情報領域620は、医療映像識別子2(例えば、StudyInstanceUID)、患者年齢3(Patient Age)、患者性別4(Sex)、医療映像情報5(Technique)などの項目を含むことができる。このような項目を、使用者が設定ページで設定することができる。患者情報および映像情報領域620の各項目に記載される値は、医療映像のDICOM tagからそれぞれに対応する値で抽出することができる。
【0109】
分析領域630は、所見6(findings)、追加コメント7(Additional comment)、総合意見8(Impression)などの項目を含むことができる。患者情報および映像情報領域620に含まれている項目と同様に、分析領域630に含まれている項目は、使用者が設定ページで設定することができる。所見6に記載される文言(例えば、胸部X線映像の場合、Lines and tubes:[none present]、Lungs and pleural space:[No focal consolidation、pleural effusion or pneumothorax。など)も使用者が設定ページで設定することができる。正常ケースの場合、所見がすべて正常と(normal)記載されることがある。追加コメント7に記載されるコメントにおいて、使用者が設定ページで文言を設定することができ、使用者が追加コメントを記載しない場合、追加コメント7の領域は表示されない場合がある。正常ケースの場合、総合意見8は、医療映像が正常であるという説明(例えば、Normal chest radiograph)を表示することができる。
【0110】
このように、使用者が予め設定したフォーマットで正常ケースに対する判読文を自動的に生成することができる。正常ケースに対する判読文の自動生成により、使用者(映像医学科専門医)が正常映像の判読と判読文作成のために使用する時間を短縮することができる。一方、正常映像に対する判読文の生成を自動化するためには、正常映像を正確に分類することが求められる。映像分析装置300は、AIモデル1(310)とAIモデル2(320)によって全て正常と判断された医療映像を正常ケースと分類することにより、自動生成された判読文の信頼性を高めることができる。
【0111】
図9は、一実施例による映像分析方法のフローチャートである。
【0112】
図9を参照すると、映像分析装置300は、互いに異なるタスクで医療映像を分析するように訓練されたAIモデル1(310)とAIモデル2(320)を使用し、医療映像に対する分析結果を取得する(S110)。AIモデル1(310)は、AIモデル2(320)より保守的な基準に医療映像内の異常所見を総合的に検出するように訓練された正常フィルタリングモデルであり、病変および臨床的な異常所見を異常所見として検出することができる。AIモデル2(320)は、医療映像から特定の病変を検出するように訓練されたモデルであってもよい。映像分析装置300は、AIモデル1(310)で予測された非正常スコアなどを含む分析結果、およびAIモデル2(320)で予測された病変別スコア、異常スコア、正常か否か、病変情報などを含む分析結果を取得することができる。一方、映像分析装置300は、設定によってAIモデル1(310)とAIモデル2(320)を使用して医療映像を分析することができ、またはAIモデル2(320)だけを使用して医療映像を分析することができる。
【0113】
映像分析装置300は、医療映像に対する分析結果に基づいて、AIモデル1(310)とAIモデル2(320)によって全て正常と判断された医療映像を正常ケースに分類する(S120)。映像分析装置300は、AIモデル1(310)での分析結果で取得した非正常スコアが正常フィルタリングの閾値未満の場合、医療映像がAIモデル1(310)によって正常と判断されたものと決定することができる。この時、非正常スコアに基づいて医療映像を正常または非正常と判断する正常フィルタリングの閾値は、可変でありうる。映像分析装置300は、AIモデル2(320)での分析結果として取得した病変別スコア、または病変別スコアから決定された異常スコアに基づいて医療映像が正常か否かを判断することができる。病変別スコアに基づいて医療映像を正常または非正常と判断する病変別閾値は、可変でありうる。映像分析装置300は、使用者入力により正常フィルタリングの閾値、病変別閾値などを変更することができる。映像分析装置300は、新しい正常フィルタリングの閾値を使用者に提案することができる。
【0114】
映像分析装置300は、AIモデル1(310)とAIモデル2(320)による医療映像の分析結果、および医療映像の正常ケースの有無を含む最終分析結果を指定された装置に提供する(S130)。医療映像に対する最終分析結果は、DICOMフォーマットで生成され、映像保存装置200に提供することができる。医療映像に対する最終分析結果は、例えば、PACSサーバー/DBの映像保存装置200に保存され、映像保存装置200と連動する使用者端末100でビューア110を通じて表示することができる。
【0115】
映像分析装置300は、正常ケースに分類された医療映像に対する判読文を生成して指定された装置に提供する(S140)。映像分析装置300は、医療映像のDICOM tagから抽出した患者情報および映像情報、正常ケースに対して予め設定された正常所見文言、および医療映像が正常であるという総合意見を含むように構造化された判読文を生成することができる。
【0116】
医療映像は、正常ケースの有無により医療映像システム1で異なる取り扱いをすることができる。正常ケースのSC映像またはGSPSは、正常ケースであることを示すグラフィカルインジケータを含むことができる。正常ケースの医療映像がワークリストに割り当てられる場合、正常ケースであることを示す表示(フラグ表示)を付加することができる。また、正常ケースの医療映像は、判読のためのワークリストに割り当てられないか、またはワークリストに表示されない場合がある。また、正常ケースの医療映像は、別のフォルダーに保存され、使用者が想定するケースだけをまとめて確認できるように提供することができる。また、正常ケースの医療映像に対する判読文が自動的に生成されて保存されている場合、ワークリストに当該医療映像に対する判読文が自動的に生成されていることを示すインジケータ(indicator)を表示することができる。使用者は、当該インジケータにより、使用者の確認(confirm)を必要とする判読文が自動的に生成されたことを認知することができる。
【0117】
図10は、一実施例による正常フィルタリングのための閾値設定方法のフローチャートである。
【0118】
図10を参照すると、映像分析装置300は、AIモデル1(310)を使用して医療機関の医療映像に対する非正常スコアを取得し、非正常スコアが正常フィルタリングの閾値未満の医療映像を正常と判断する(S210)。AIモデル1(310)は、保守的な基準で医療映像内の異常所見を総合的に検出するように訓練された正常フィルタリングモデルであり、病変および臨床的な異常所見を異常所見として検出することができる。また、映像分析装置300は、医療映像から特定の病変を検出するように訓練されたAIモデル2(320)を使用して医療映像を分析し、AIモデル1(310)とAIモデル2(320)によって全て正常と判断された医療映像を正常ケースに分類することができる。
【0119】
映像分析装置300は、医療機関の医療映像に対する正常ケース情報および異常ケース情報を収集し、非正常スコアに対する医療機関の正常/異常ケースの分布図を生成する(S220)。正常ケース情報は、正常ケース数、正常ケース比率、正常ケースの分布図などを含み、異常ケース情報は、臨床的に重要な病変が検出されたケースに関する情報であり、異常ケース数、異常ケース比率、異常ケースの分布図などを含むことができる。正常ケースおよび異常ケースの医療映像は、AIモデル1(310)によって決定された非正常スコアがマッピングされており、映像分析装置300は、非正常スコア別に正常/異常ケース数を示すグラフを生成することができる。映像分析装置300は、生成されたグラフを提供することができる。
【0120】
映像分析装置300は、医療機関類型、非正常スコアに対する医療機関の正常ケースの分布図または異常ケースの分布図のうち少なくとも一つに基づいて、AIモデル1(310)による医療映像の正常フィルタリングを最適化する正常フィルタリングの閾値を決定し、新しい正常フィルタリングの閾値を提案する(S230)。正常フィルタリングを最適化するロジックを、最適化条件に応じて多様に設計することができる。映像分析装置300は、非正常スコアに対する医療機関のケースの分布図および/または提案する新しい正常フィルタリングの閾値もしくは閾値範囲をビューア110を通じて使用者に提供することができる。使用者は、使用者インターフェース(User Interface)形で提供された設定窓で医療機関のケースの分布図および/または提案された新しい正常フィルタリングの閾値もしくは閾値範囲を確認し、新しい正常フィルタリングの閾値を設定することができる。
【0121】
映像分析装置300は、新しい正常フィルタリングの閾値が設定されると、新しい正常フィルタリングの閾値を利用して、AIモデル1(310)によって分析された医療映像を正常または非正常と判断する(S240)。
【0122】
図11は、一実施例による分析結果の提供方法のフローチャートである。
【0123】
図11を参照すると、ビューア110は、医療映像に対する分析結果を保存する映像保存装置200と連動して、映像判読作業のための映像目録を含むワークリストを表示する(S310)。ビューア110は、映像分析装置300で分析された各映像の分析結果をワークリストの指定された列に表示し、分析結果は異常スコア、正常ケースの有無を含むことができる。ワークリストは、AIモデル1(310)とAIモデル2(320)によって全て正常と判断された正常ケースの医療映像を表示しないか、または非表示する機能を提供することができる。また、正常ケースは、判読のためのワークリストに割り当てられない場合がある。また、正常ケースに対する判読文が自動的に生成されて保存された場合、ワークリスト上に区別された表示を提供することができる。正常ケースに対する判読文が自動的に生成されて保存された場合、使用者の確認(confirm)を必要とする判読文が生成されていることを示すインジケータ(indicator)がワークリストに表示されることができる。
【0124】
ビューア110は、ワークリストから医療映像が選択されると、医療映像の分析結果を示すSC(Secondary Capture)映像を表示するが、正常ケースに対するSC映像を非正常ケースに対するSC映像と区別されるように表示する(S320)。ビューア110は、医療映像の撮影映像、およびDICOMフォーマットのSC映像を表示することができる。正常ケースに対するSC映像は、使用者が正常ケースを急速に確認できるように異常ケースに対するSC映像と異なる形で提供することができる。例えば、正常ケースに対するSC映像は、医療映像が正常ケースであることを知らせるグラフィカルインジケータを表示することができる。
【0125】
ビューア110は、正常ケースに分類された医療映像に対して自動生成された判読文を提供する(S330)。即ち、使用者は、正常ケースに分類された医療映像に対する判読文を直接作成する必要がなく、正常ケースに対して予め設定された正常所見文言を使用して自動的に生成された判読文を確認し、必要に応じて修正することができる。
【0126】
ビューア110は、コンピュータ可読記憶媒体に保存されるコンピュータプログラムで実現され、プロセッサーによって実行される命令を含む。コンピュータプログラムは、実行するプロセッサーに、映像保存装置200と連動して映像判読作業のための映像目録を含むワークリストを表示し、ワークリストから医療映像が選択されると、医療映像の分析結果を表示させるようにする命令を含むことができる。
【0127】
本開示の医療映像システム1を構成する端末または装置100、200、300は、一つ以上のプロセッサー、プロセッサーによって実行されるコンピュータプログラムをロードするメモリ、コンピュータプログラムおよび各種データを保存する保存装置、通信インターフェースを含むことができる。その他にも、端末または装置100、200、300は、様々な構成要素をさらに含むことができる。プロセッサーは、コンピュータプログラムに含まれている命令を処理する様々な形態のプロセッサーであってもよく、例えば、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、MCU(Micro Controller Unit)、GPU(Graphic Processing Unit)、または本開示の技術分野でよく知られた任意の形態のプロセッサーのうち少なくとも一つを含むように構成することができる。メモリは、各種データ、命令および/または情報を保存する。メモリは、本開示の動作を実行するように記述された命令がプロセッサーによって処理されるように命令を保存するように実現することができる。メモリは、例えば、ROM(read only memory)、RAM(random access memory)などであってもよい。保存装置は、コンピュータプログラム、各種データを非臨時的に保存することができる。保存装置は、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリなどのような不揮発性メモリ、ハードディスク、着脱型ディスク、または本開示が属する技術分野でよく知られた任意の形態のコンピュータで読むことができる記録媒体を含むように構成することができる。通信インターフェースは、有/無線通信を支援する有/無線通信モジュールであってもよい。コンピュータプログラムは、プロセッサーによって実行される命令(instructions)を含み、非一時的なコンピュータ可読記憶媒体(non transitory computer readable storage medium)に保存され、命令は、プロセッサーが本開示の動作を実行するようにする。映像分析装置300は、患者のターゲット映像を取得すると、ターゲット映像を分析して、病変情報を含む分析結果を取得することができる。
【0128】
以上で説明した本開示の実施例は、装置及び方法を介してのみ実施されるものではなく、本開示の実施例の構成に対応する機能を実現するプログラムまたはそのプログラムが記録された記録媒体を介して実施することもできる。
【0129】
以上、本開示の実施例について詳細に説明したが、本開示の権利範囲はこれに限定されるものではなく、添付の請求の範囲に定義されている本開示の基本概念を利用した当業者の様々な変形及び改良形態も本開示の権利範囲に属するものである。