IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ルニット・インコーポレイテッドの特許一覧

特開2024-149456過去映像と現在映像とを比較する方法およびシステム
<>
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図1
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図2
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図3
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図4
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図5
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図6
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図7
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図8
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図9
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図10
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図11
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図12
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図13
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図14
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図15
  • 特開-過去映像と現在映像とを比較する方法およびシステム 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024149456
(43)【公開日】2024-10-18
(54)【発明の名称】過去映像と現在映像とを比較する方法およびシステム
(51)【国際特許分類】
   A61B 6/00 20240101AFI20241010BHJP
   A61B 6/46 20240101ALI20241010BHJP
【FI】
A61B6/00 550Z
A61B6/00 560
A61B6/46 506Z
【審査請求】有
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2024061436
(22)【出願日】2024-04-05
(31)【優先権主張番号】10-2023-0045366
(32)【優先日】2023-04-06
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2023-0159411
(32)【優先日】2023-11-16
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】520159215
【氏名又は名称】ルニット・インコーポレイテッド
【氏名又は名称原語表記】LUNIT INC.
【住所又は居所原語表記】5F, 374 GANGNAM-DAERO, GANGNAM-GU, SEOUL 06241, REPUBLIC OF KOREA
(74)【代理人】
【識別番号】110001818
【氏名又は名称】弁理士法人R&C
(72)【発明者】
【氏名】ジョン,ヘイン
(72)【発明者】
【氏名】ハ,ユリ
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA01
4C093AA26
4C093CA18
4C093FF17
4C093FF33
4C093FG18
4C093FH08
(57)【要約】
【課題】過去映像と現在映像とを比較する方法およびシステムを提供すること
【解決手段】映像分析装置は、メモリ、およびメモリに保存された命令を実行するプロセッサーを含み、プロセッサーは、人工知能モデルを使用して患者のターゲット映像を分析し、病変情報を含む分析結果を取得し、患者の映像のうちターゲット映像より以前に撮影された過去映像を基準映像として決定し、過去映像とターゲット映像を比較分析して病変変化度を含む比較分析結果を取得する。
【選択図】図1
【特許請求の範囲】
【請求項1】
メモリ、および
前記メモリに保存された命令を実行するプロセッサーを含み、
前記プロセッサーは、
人工知能モデルを使用して患者のターゲット映像を分析し、病変情報を含む分析結果を取得し、
前記患者の映像のうち前記ターゲット映像より以前に撮影された過去映像を基準映像として決定し、前記基準映像と前記ターゲット映像とを比較分析して病変変化度を含む比較分析結果を取得する、映像分析装置。
【請求項2】
前記プロセッサーは、
前記患者の過去映像のうち条件に合う映像を前記基準映像として決定する、請求項1に記載の映像分析装置。
【請求項3】
前記プロセッサーは、
前記基準映像の分析結果と前記ターゲット映像の分析結果から少なくとも一つの比較対象病変の病変情報を抽出し、前記抽出された病変情報に基づいて、経時的な各比較対象病変の変化度を判断し、前記各比較対象病変の変化度を含む前記比較分析結果を生成する、請求項1に記載の映像分析装置。
【請求項4】
前記プロセッサーは、
前記各比較対象病変の変化度を変化なし、病変消失、病変出現、病変減少、病変増加または病変なしのうちいずれか一つと判断する、請求項3に記載の映像分析装置。
【請求項5】
前記プロセッサーは、
各比較対象病変に対して閾値以上の変化があれば、病変変化があると判断する、請求項3に記載の映像分析装置。
【請求項6】
前記プロセッサーは、
比較対象病変ごとに設定された閾値を利用して前記病変変化を判断する、請求項5に記載の映像分析装置。
【請求項7】
前記プロセッサーは、
前記患者の映像のうち前記ターゲット映像より以前に撮影された複数の過去映像を複数の基準映像として選択し、前記複数の基準映像と前記ターゲット映像で時間的に隣接した映像同士を比較分析することにより、映像間の病変変化度を含む複数の比較分析結果を取得する、請求項1に記載の映像分析装置。
【請求項8】
前記プロセッサーは、
前記ターゲット映像のために行った分析の結果を指定されたデータフォーマットで生成し、映像保存装置に保存する、請求項1に記載の映像分析装置。
【請求項9】
前記プロセッサーは、
前記比較分析結果をDICOM標準のセカンダリ・キャプチャーで生成する、請求項8に記載の映像分析装置。
【請求項10】
前記プロセッサーは、
前記ターゲット映像の分析結果に前記比較分析結果が付加された増強型セカンダリ・キャプチャーを生成する、請求項9に記載の映像分析装置。
【請求項11】
前記プロセッサーは、
前記基準映像の分析結果と前記ターゲット映像の分析結果を比較して示す追加型セカンダリ・キャプチャーを生成する、請求項9に記載の映像分析装置。
【請求項12】
映像分析装置の動作方法であって、
人工知能モデルを使用して患者のターゲット映像を分析し、病変情報を含む分析結果を取得すること、
前記患者の映像のうち前記ターゲット映像より以前に撮影された過去映像を基準映像として決定すること、および
前記基準映像と前記ターゲット映像を比較分析して病変変化度を含む比較分析結果を取得することを含む、動作方法。
【請求項13】
前記比較分析結果を取得することは、
前記基準映像の分析結果と前記ターゲット映像の分析結果から、少なくとも一つの比較対象病変の病変情報を抽出すること、
前記抽出された病変情報に基づいて、経時的な各比較対象病変の変化度を判断すること、および
前記各比較対象病変の変化度を含む前記比較分析結果を生成することを含む、請求項12に記載の動作方法。
【請求項14】
前記変化度を判断することは、
前記各比較対象病変の変化度を変化なし、病変消失、病変出現、病変減少、病変増加または病変なしのうちいずれか一つと判断する、請求項13に記載の動作方法。
【請求項15】
前記変化度を判断することは、
比較対象病変ごとに設定された閾値を利用して、当該比較対象病変に対して設定された閾値以上の変化があれば、病変変化があると判断する、請求項13に記載の動作方法。
【請求項16】
前記ターゲット映像のために行った分析の結果を指定されたデータフォーマットで生成することをさらに含む、請求項12に記載の動作方法。
【請求項17】
前記データフォーマットは、DICOM標準のセカンダリ・キャプチャーを含み、
前記指定されたデータフォーマットで生成することは、
前記ターゲット映像の分析結果に前記比較分析結果が付加された増強型セカンダリ・キャプチャーを生成し、および/または
前記基準映像の分析結果と前記ターゲット映像の分析結果とを比較して示す追加型セカンダリ・キャプチャーを生成する、請求項16に記載の動作方法。
【請求項18】
コンピュータ可読記憶媒体に保存されるコンピュータプログラムであって、
実行するプロセッサーに、映像保存装置と連動して映像読み取り作業のための映像目録を含むワークリストを表示させ、前記ワークリストから患者のターゲット映像が選択されると、前記患者の映像のうち前記ターゲット映像より以前に撮影された過去映像と前記ターゲット映像の比較分析結果を含む分析結果を表示させるようにする命令を含む、コンピュータプログラム。
【請求項19】
前記ワークリストに過去映像との比較分析結果を表示させるようにする命令を含み、
前記比較分析結果は、読み取る現在映像と前記現在映像の対象患者の映像とのうち前記現在映像より以前に撮影された過去映像を比較分析して取得された病変変化度を含む、請求項18に記載のコンピュータプログラム。
【請求項20】
前記ターゲット映像の分析結果に前記比較分析結果が付加された増強型セカンダリ・キャプチャーを表示し、および/または
前記過去映像の分析結果と前記ターゲット映像の分析結果とを比較して示す追加型セカンダリ・キャプチャーを表示するようにする命令を含む、請求項18に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人工知能基盤の医療映像分析技術に関する。
【背景技術】
【0002】
過去には、CAD(Computer Aided Detection)装置がルール基盤(rule based)として医療映像から病変を検出したり、医療映像から設定された候補領域から病変を検出したりした。近年、人工知能(Artificial Intelligence、AI)技術が医療分野に活発に導入されるにつれて、ルニットインサイト(Lunit INSIGHT)ソリューションのように、AIが医療映像を分析し、分析結果を視覚的に提供するAI基盤医療映像分析技術が研究されている。
【0003】
使用者は映像分析で検出された異常(abnormal)病変を確認することによって、読み取り、診断などの業務を行うことができる。しかし、追跡観察が必要な患者の場合、使用者は患者の過去映像を手動で検索し、過去映像を開き、現在映像と過去映像を直接目で比較して病変の変化を確認しなければならない不便がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、過去映像と現在映像とを比較する方法およびシステムを提供する。
【0005】
本開示は、ターゲット映像の分析結果として、過去映像との比較分析結果を提供する方法およびシステムを提供する。
【課題を解決するための手段】
【0006】
一実施例による映像分析装置は、メモリ、およびメモリに保存された命令を実行するプロセッサーを含み、プロセッサーは、人工知能モデルを使用して患者のターゲット映像を分析し、病変情報を含む分析結果を取得し、患者の映像のうちターゲット映像より以前に撮影された過去の映像を基準映像として決定し、基準映像とターゲット映像を比較分析して、病変変化度を含む比較分析結果を取得する。
【0007】
プロセッサーは、患者の過去映像のうち、条件に合う映像を基準映像として決定することができる。
【0008】
プロセッサーは、基準映像の分析結果とターゲット映像の分析結果から少なくとも一つの比較対象病変に対する病変情報を抽出し、抽出された病変情報に基づいて、経時的な各比較対象病変の変化度を判断し、各比較対象病変の変化度を含む比較分析結果を生成することができる。
【0009】
プロセッサーは、各比較対象病変の変化度を変化なし(No change)、病変消失(Disappeared)、病変出現(Appeared)、病変減少(Decreased)、病変増加(Increased)または病変なし(No existence)のうちいずれかで判断することができる。
【0010】
プロセッサーは、各比較対象病変に対して、閾値以上の変化があれば、病変変化があると判断することができる。
【0011】
プロセッサーは、比較対象病変ごとに設定された閾値を利用して、病変変化を判断することができる。
【0012】
プロセッサーは、患者の映像のうちターゲット映像より以前に撮影された複数の過去映像を複数の基準映像として選択し、複数の基準映像とターゲット映像で時間的に隣接した映像同士を比較分析することにより、映像間の病変変化度を含む複数の比較分析結果を取得する、映像分析装置である。
【0013】
プロセッサーは、ターゲット映像のために行った分析結果を、指定されたデータフォーマットで生成して、映像保存装置に保存することができる。
【0014】
プロセッサーは、比較分析結果をDICOM標準のセカンダリ・キャプチャー(Secondary Capture)で生成することができる。
【0015】
プロセッサーは、ターゲット映像の分析結果と比較分析結果が付加された増強型セカンダリ・キャプチャーを生成することができる。
【0016】
プロセッサーは、基準映像の分析結果とターゲット映像の分析結果を比較して示す追加型セカンダリ・キャプチャーを生成することができる。
【0017】
一実施例による映像分析装置の動作方法は、人工知能モデルを使用して患者のターゲット映像を分析し、病変情報を含む分析結果を取得すること、患者の映像のうちターゲット映像より以前に撮影された過去映像を基準映像として決定すること、そして基準映像とターゲット映像を比較分析して、病変変化度を含む比較分析結果を取得することを含む。
【0018】
比較分析結果を取得することは、基準映像の分析結果とターゲット映像の分析結果から少なくとも一つの比較対象病変の病変情報を抽出すること、抽出された病変情報に基づいて、経時的な各比較対象病変の変化度を判断すること、そして各比較対象病変の変化度を含む比較分析結果を生成することを含むことができる。
【0019】
変化度を判断することは、各比較対象病変の変化度を変化なし(No change)、病変消失(Disappeared)、病変出現(Appeared)、病変減少(Decreased)、病変増加(Increased)または病変なし(No existence)のうちいずれかで判断することができる。
【0020】
変化度を判断することは、比較対象病変ごとに設定された閾値を利用して、当該比較対象病変に対して設定された閾値以上の変化があれば、病変変化があると判断することができる。
【0021】
動作方法は、ターゲット映像のために行った分析結果を指定されたデータフォーマットで生成することをさらに含むことができる。
【0022】
データフォーマットは、DICOM標準のセカンダリ・キャプチャーを含むことができる。指定されたデータフォーマットで生成することは、ターゲット映像の分析結果に比較分析結果が付加された増強型セカンダリ・キャプチャーを生成し、および/または基準映像の分析結果とターゲット映像の分析結果を比較して示す追加型セカンダリ・キャプチャーを生成することができる。
【0023】
一実施例によるコンピュータ読み取り可能な記録媒体に保存されるコンピュータプログラムは、実行するプロセッサーに、映像保存装置と連動して映像読み取り作業のための映像目録を含むワークリストを表示させ、ワークリストから患者のターゲット映像が選択されると、患者の映像のうちターゲット映像より以前に撮影された過去映像とターゲット映像の比較分析結果を含む分析結果を表示させるようにする命令を含む。
【0024】
コンピュータプログラムは、ワークリストに過去映像との比較分析結果を表示させるようにする命令を含み、比較分析結果は、読み取る現在映像と現在映像の対象患者の映像のうち、現在映像より以前に撮影された過去映像を比較分析して取得された病変変化度を含むことができる。
【0025】
コンピュータプログラムは、ターゲット映像の分析結果に比較分析結果が付加された増強型セカンダリ・キャプチャーを表示し、および/または過去映像の分析結果とターゲット映像の分析結果を比較して示す追加型セカンダリ・キャプチャーを表示するようにする命令を含むことができる。
【発明の効果】
【0026】
一実施例によれば、ターゲット映像に対する分析結果として、過去映像との比較分析結果を提供するため、使用者が別途に過去映像を確認しなくても、ターゲット映像から検出された病変の経時的な変化を迅速に知ることができる。
【0027】
実施例によれば、ビューア、ワークリスト、または分析リポートなどに過去映像との比較分析結果を提供することによって、映像読み取りの精度を高め、映像読み取り作業の効率を上げることができる。
【0028】
一実施例によれば、増強型補助映像または追加型補助映像により、注意が必要な病変や病変変化度を視覚的に区分して強調表示をすることにより、映像読み取りの精度を高め、映像読み取り作業の効率を上げることができる。
【0029】
一実施例によれば、過去映像との比較分析結果に基づいてワークリストの作業優先順位を決定することができ、映像読み取り作業の効率を上げることができる。
【図面の簡単な説明】
【0030】
図1】一実施例による医療映像システムの構成図である。
図2】一実施例による病変変化度を示すグラフィカルインジケータの例示である。
図3】一実施例による過去映像との比較分析結果を提供する画面の例示である。
図4】一実施例による過去映像との比較分析結果を提供する画面の例示である。
図5】一実施例によるビューアで比較分析結果が出力される順序を説明する図面である。
図6】一実施例による増強型補助映像を提供する画面の例示である。
図7】一実施例による増強型補助映像を提供する画面の例示である。
図8】一実施例による増強型補助映像を提供する画面の例示である。
図9】一実施例による追加型補助映像を提供する画面の例示である。
図10】一実施例による追加型補助映像を提供する画面の例示である。
図11】一実施例により生成された分析リポートの例示である。
図12】一実施例により生成された分析リポートの例示である。
図13】一実施例により生成されたワークリストの例示である。
図14】一実施例による映像分析方法のフローチャートである。
図15】他の実施例による映像分析方法のフローチャートである。
図16】一実施例による分析結果提供方法のフローチャートである。
【発明を実施するための形態】
【0031】
以下、添付の図面を参照して、本開示の実施例について、本開示が属する技術分野における当業者が容易に実施できるように詳細に説明する。しかし、本開示は、様々な異なる形態で実施することができ、ここで説明する実施例に限定されない。そして、図面で本開示を明確に説明するために、説明と関係のない部分は省略し、明細書全体を通じて類似した部分については類似の図面符号を付した。
【0032】
説明において、ある部分がある構成要素を「含む」とは、特に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含むことができることを意味する。また、明細書に記載されている「...部」、「...機」、「モジュール」などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これは、ハードウェアやソフトウェア、またはハードウェアとソフトウェアの組み合わせで実現することができる。
【0033】
本開示の装置または端末は、少なくとも一つのプロセッサーが命令(instructions)を実行することにより、本開示の動作を行うことができるように構成および連結されたコンピューティング装置である。コンピュータプログラムは、プロセッサーが本開示の動作を実行するように記述された命令(instructions)を含み、非一時的なコンピュータ可読記憶媒体(non-transitory computer readable storage medium)に保存することができる。コンピュータプログラムは、ネットワークを通してダウンロードされ、および/または製品として販売することもできる。
【0034】
本開示の医療映像は、様々なモダリティ(modality)に撮影された様々な部位の映像であってもよく、例えば、モダリティは、X線(X-ray)、MRI(magnetic resonance imaging)、超音波(ultrasound)、CT(computed tomography)、DigitalMMG(Mammography)、DBT(Digital breast tomosynthesis)などであってもよい。
【0035】
本開示の使用者とは、医療専門家として医師、看護師、臨床病理士、ソノグラファー、または医療映像専門家などであるが、これに限定されない。
【0036】
本開示の人工知能モデル(Artificial Intelligence model、AI model)は、少なくとも一つのタスク(task)を学習する機械学習モデルであり、プロセッサーによって実行されるコンピュータプログラムとして実現することができる。人工知能モデルが学習するタスクとは、機械学習を通して解決しようとする課題または機械学習を通して実行しようとする作業を指すことができる。人工知能モデルは、コンピューティング装置で実行されるコンピュータプログラムとして実現することができ、ネットワークを通してダウンロードされ、および/または製品として販売されることができる。また、人工知能モデルは、ネットワークを通して様々な装置と連動することができる。
【0037】
図1は、一実施例による医療映像システムの構成図であり、図2は、一実施例による病変変化度を示すグラフィカルインジケータの例示である。
【0038】
図1を参照すると、医療映像システム1は、少なくとも一つの使用者端末100、映像保存装置200、そして映像分析装置300を含むことができる。
【0039】
使用者端末100は、プロセッサーによって実行されるプログラムを設置し、本開示の動作を行うためのコンピューティング環境およびネットワーク環境を提供するハードウェアおよびソフトウェアで構成される。使用者端末100は、例えば、ワークステーション内コンピューティングデバイス、モバイルデバイスなどのように様々な種類で実現することができる。使用者端末100は、映像保存装置200と連動して映像保存装置200に保存された医療映像関連データを表示するビューア(簡単に、「ビューア」と呼ぶ)(Viewer)110を含むことができる。ビューア110は、例えば、ワークステーション内コンピューティングデバイスに設置されて実行されることができ、映像保存装置200に接続するように実現され、映像保存装置200に保存された医療映像関連データを表示することができる。ビューア110は、コンピュータ読み取り可能な媒体に保存されたコンピュータプログラムであり、プロセッサーによって実行される命令を含む。使用者端末100のプロセッサーが命令を実行することによって、本開示で説明する動作を行うことができる。
【0040】
ビューア110は、映像保存装置200に保存された映像分析結果を表示することができる。ビューア110は、テーブル形式で構成され、使用者が読み取るべき映像目録を主要情報と共に羅列して表示するワークリスト(worklist)を提供することができる。ビューア110は、PACS(Picture archiving and communication system)ビューアを含むことができる。ここで、ビューア110は、映像保存装置200に保存された映像分析結果を表示できるように作られたプログラムであって、ワークリストと関連した映像読み取り作業を支援することができるが、必ず読み取り業務用ビューアに限定される必要はない。
【0041】
映像保存装置200は、撮影された医療映像を保存および管理することができる。そして、映像保存装置200は、医療映像に対する分析結果を保存および管理することができる。映像保存装置200は、PACSデータベースを含むことができる。映像保存装置200は、指定されたデータフォーマットによりデータを保存することができる。例えば、映像保存装置200は、DICOM(Digital Imaging and Communications in Medicine)標準により、医療映像機器で撮影された医療映像、そして医療映像の分析結果を保存することができ、使用者端末100と通信して映像読み取りのためのデータを提供することができる。映像保存装置200とビューア110をPACSシステムで構成することができ、映像保存装置200は、PACSサーバー/DBであり、ビューア110は、PACSビューアでありうる。
【0042】
本開示では、医療映像保存に活用されるDICOM標準を例として説明するが、医療映像標準がDICOMに限定される必要はない。
【0043】
映像保存装置200は、映像分析装置300から医療映像の分析結果を取得することができる。医療映像の分析結果は、病変情報をはじめとする各種医学的な予測を含むことができる。このような医療映像の分析結果は、使用者の映像読み取り補助のために提供することができるが、映像に病変情報を表示した補助映像として提供することもできる。例えば、補助映像は、DICOMのSC(セカンダリ・キャプチャー)映像(簡単に、SCと呼ぶことができる)でありうる。SC映像は、原本医療映像に病変情報を表示して生成した、原本医療映像と別途の映像であって、PACSビューアで表示されることができる。また、医療映像分析結果は、テキストに作成された読み取り文形態のリポートとしても提供することができる。例えば、リポートは、DICOM Basic Text SR(Structured Report)であってもよい。しかし、医療映像分析結果の提供形態がこれに限定されず、様々な形態のDICOMフォーマット(format)の結果物を含むことができる。
【0044】
映像保存装置200は、映像分析装置300から、ターゲット映像と過去映像の比較分析結果(過去映像との比較分析結果)を取得することができる。過去映像との比較分析結果は、ターゲット映像の分析結果と過去映像の分析結果を比較することによって得られた病変変化度を含むことができる。比較分析結果も、使用者の映像読み取り補助のために提供することができ、提供方法は様々である。例えば、比較分析結果をターゲット映像の補助映像(SC)と共に提供することができるが、このように比較分析結果を含む補助映像を増強型補助映像(Augmented SC)と呼ぶことができる。または比較分析結果がターゲット映像の補助映像(SC)と別途の補助映像で提供することもでき、このように別途に提供される補助映像を追加型補助映像(Additional SC)と呼ぶことができる。増強型補助映像と追加型補助映像については、以下で詳しく説明する。
【0045】
映像保存装置200に保存される医療映像は、様々なモダリティの医療映像機器によって取得された映像を含むことができる。医療映像は、X線(X-ray)映像、MRI(magnetic resonance imaging)映像、超音波(ultrasound)映像、CT(computed tomography)映像、Digital MMG(Mammography)映像、DBT(Digital breast tomosynthesis)映像などであることができる。説明では、胸部X線映像を医療映像の例として説明するが、医療映像がこれに限定される必要はなく、医療映像の種類に合わせて本開示を適用することができる。
【0046】
映像分析装置300は、人工知能(Artificial Intelligence、AI)モデルを使用して、分析要請された医療映像(ターゲット映像)を分析し、分析結果を映像保存装置200に保存することができる。映像分析装置300は、医療映像の種類ごとに特化されたAIモデルを備えることができ、入力映像の種類によってAIモデルを選択して入力映像に適した病変検出などの分析を行うことができる。AIモデルは、入力医療映像から医学的推論をするように生成され、モデル構造、訓練データ構成、訓練方法、そして医学的推論対象などは多様に設計することができる。
【0047】
また、映像分析装置300は、分析要請された映像(ターゲット映像)と過去映像を比較分析し、過去映像との比較分析結果を映像保存装置200に保存することができる。映像分析装置300は、比較分析のために、ターゲット映像に関する少なくとも一つの過去映像を抽出し、ターゲット映像と過去映像を比較分析することができる。比較分析対象は、患者が時間差をおいて撮影した映像であり、現在映像と比較する少なくとも一つの過去映像であることができる。ここで、分析要請された映像をターゲット映像または現在映像と呼び、これより以前に撮影された患者の過去映像を基準映像と呼ぶことができる。説明で、主に一つの過去映像を基準映像として説明するが、基準映像は複数の過去映像であってもよい。
【0048】
映像分析装置300は、患者のターゲット映像に対する分析要請を受けると、ターゲット映像を分析して、病変情報を含む分析結果を取得することができる。また、映像分析装置300は、ターゲット映像に対する分析要請または比較分析要請を受けると、映像分析装置300でターゲット映像より以前に撮影された患者の過去映像を識別し、過去映像とターゲット映像を比較分析して、病変変化度などの比較分析結果を取得することができる。例えば、映像分析装置300は、映像保存装置200でターゲット映像の患者識別子(Patient ID)を基準に以前に撮影された映像を検索し、過去映像との比較分析を行うことができる。また、映像分析装置300が過去映像を検索する必要がないように、比較分析に用いる過去映像の情報が分析要請に含まれることもできる。説明では、映像分析装置300が過去映像を決定するものと説明することができるが、比較基準となる過去映像は、使用者入力で指定され、および/または映像保存装置200が同一患者の同種映像の中から基準に基づいて選択した過去映像を映像分析装置300に知らせることができる。
【0049】
比較基準となる過去映像は多様に決定することができる。例えば、映像分析装置300は、映像保存装置200に保存された患者の過去映像の中から最新映像を基準映像として決定することができる。映像分析装置300は、ターゲット映像の撮影日を基準に一定期間(例えば、最近n、最近n月、最近n年など)内に撮影された患者の過去映像を検索し、過去映像のうち最新映像または条件に合う映像を基準となる過去映像として決定することができる。ここで、条件は、例えば、有意な変化を検出するために、ターゲット映像の撮影日から一定期間(例えば、3ヶ月)前に撮影された映像を選択するように設定したり、AI分析や読み取りが行われた映像を選択するように設定したり、その他にも様々な条件を通して比較分析に用いられる過去映像を決定することができる。一方、映像機器で撮影された映像は、自動的に映像保存装置200に保存されるが、映像(例えば、X線映像)が正確に撮れず、撮影後すぐに再撮影する場合、重複または不正確な映像が映像保存装置200に蓄積される場合がある。したがって、撮影時点がターゲット映像と差がない映像が過去映像として決定されることを防止するために、映像分析装置300は、ターゲット映像前に連続撮影された映像を基準映像から除外することができる。連続撮影された映像は、例えば、ターゲット映像と分単位の時間差をおいて撮影された映像であり、除外基準は多様に設定することができる。
【0050】
映像分析装置300が比較分析する方法は多様である。例えば、映像分析装置300が患者の過去映像と現在映像を全て分析して、二つの映像のそれぞれで病変を検出し、病変の変化度を検出することができる。または、映像分析装置300がすでに過去の映像を分析した場合、過去映像の分析結果から病変情報を抽出し、これを現在映像から検出した病変情報と比較することにより、病変変化度を検出することができる。説明の便宜上、過去映像との比較分析時、過去映像と現在映像を比較分析すると説明することができ、これはすでに行われた過去映像の分析結果を活用することを含むことができる。
【0051】
映像分析装置300が過去映像との比較分析を行う時点は多様に設定することができる。例えば、映像分析装置300は、ターゲット映像に対する分析要請を受けると、ターゲット映像分析および過去映像との比較分析を行い、ターゲット映像の分析結果と共に、比較分析結果を提供することができる。または、映像分析装置300は、過去映像との比較分析要請を受けると、過去映像との比較分析を行い、過去映像との比較分析結果を提供することができる。ターゲット映像に対する分析要請や過去映像との比較分析要請は、映像保存装置200から転送されたり、使用者端末100から転送されたり、ターゲット映像の保存を感知して映像分析装置300で自動的に発生することができる。
【0052】
以下、胸部X線映像を例に挙げて説明する。
【0053】
映像分析装置300は、胸部X線映像を分析して、胸部X線映像から病変を検出することができる。胸部X線画像で検出可能な病変としては、表1のように、結節、気胸、胸水、硬化、心臓肥大、無気肺、起伏症、石灰変性、肺線維化、縦隔拡張、肺結核、骨折などを含むことができる。また、映像分析装置300は、胸部X線映像を分析し、異常スコア(Abnormality Score)をはじめとする主な医学的な指標を取得することができる。例えば、映像分析装置300は、入力映像から異常スコア(Abnormality Score)、肺結核(Tuberculosis、TB)分析スコア(TB analysis score)、心臓肥大確率(Cardiomegaly)等を推論することができる。当然、映像分析装置300が分析する映像によって、検出可能な病変と医学的な指標は変更される可能性がある。
【0054】
【表1】
過去映像と比較される病変、即ち、比較対象病変は、映像で検出可能なすべての病変に設定することができる。または、比較対象病変は、映像で検出可能な病変のうち一部病変に設定することができる。比較対象病変は変更することができ、医療機関や医療スタッフにより異なって設定することができる。例えば、胸部X線映像で比較可能な病変は、表2のように設定することができ、これは変更することができる。比較対象病変が医療スタッフにより異なって設定できる場合、映像分析装置300は、使用者が選択可能な病変の変化度を全て分析しておき、ビューア110で使用者の設定により選択された病変の変化度だけを表示することができる。
【0055】
【表2】
映像分析装置300は、過去映像と現在映像から検出された病変の変化を比較して、比較分析結果を取得する。映像分析装置300は、閾値(threshold)以上の変化(閾値以上の増加または減少)があれば、病変の変化(増加または減少)があると判断することができる。映像分析装置300は、閾値未満の変化があれば、病変変化なしと判断することができる。閾値は、病変の種類によって異なって設定することができる。病変変化を比較する方法は、多様であり、病変が占める領域の変化で判断することができる。過去映像の病変領域対比現在映像の病変領域の比率(例えば、1.2倍、0.8倍)で病変変化を判断したり、過去映像と現在映像のそれぞれから計算した基準領域(例えば、左肺)対比非正常領域(例えば、左肺結節)の面積比率を比較して病変変化を判断したり、または過去映像と現在映像のそれぞれから計算した基準領域(例えば、左肺)に対する異常スコア(abnormality score)対比非正常領域(例えば、左肺結節)の異常スコア比率を比較して病変変化を判断することができるが、これに限定される必要はない。映像分析装置300は、表3のように、病変変化度を判断することができる。
【0056】
【表3】
過去映像と現在映像の両方に病変が存在するが、経時的な大きさの変化がない時、当該病変の比較分析結果は変化なし(No change)と判断される。病変が過去映像では検出されたが、現在映像では検出されていない場合、当該病変の比較分析結果は消失(Disappeared)と保存される。病変が過去映像では検出されなかったが、現在映像で検出された場合、当該病変の比較分析結果は出現(Appeared)と判断される。過去映像より現在映像での病変領域が減少した場合、当該病変の比較分析結果は減少(Decreased)と判断される。過去映像より現在映像での病変領域が増加した場合、当該病変の比較分析結果は増加(Increased)と判断される。この時、映像分析装置300は、基準領域(例えば、左肺)対比病変領域(例えば、左肺の結節領域)の面積比率を計算し、面積比率を比較して病変領域の増減を判断することができる。または、映像分析装置300は、基準領域(例えば、左肺)に対する異常スコア対比病変領域(例えば、左肺の結節領域)の異常スコア比率を計算し、スコア比率を比較して病変領域の増減を判断することができる。過去映像と現在映像の両方に病変が検出されない場合、当該病変の比較分析結果は病変なし(No existence)と判断される。
【0057】
他の実施例として、映像分析装置300は、複数の過去映像と現在映像を比較分析することができる。比較分析に用いる医療映像の数(N個)、そして映像選択方法は、使用者設定などで予め決められ、および/または比較分析の進行過程で適応的に決定することができる。
【0058】
患者の映像のうちN個の映像が選択されると、映像分析装置300は、二つの映像を比較分析して病変変化度を判断することにより、比較分析結果を生成することができる。映像分析装置300は、時間的に隣接した二つの映像を比較することによって、N-1個の比較分析結果を取得することができる。N-1個の比較分析結果は、病変変化度を含む補助映像(SC)として出力されることができる。そして、映像分析装置300は、N-1個の比較分析結果を総合して、全体比較分析結果を生成することができる。全体比較分析結果は、例えば、病変の変化推移を示す情報として、変化速度、時間(撮影日)による変化グラフ、表などで表現することができる。全体比較分析結果は、別途のリポートまたはインターフェースに提供されることができる。
【0059】
映像分析装置300は、適応的に過去映像を選択することができる。一実施例によれば、映像分析装置300は、現在映像と直前過去映像(過去映像1)を比較した結果、病変が無くなったり、出現したり、領域変化がない場合、直前過去映像の前の映像を確認する必要がないと判断することができる。病変が増加し、および/または減少した場合、映像分析装置300は過去映像の分析結果や読み取りリポートを参考して、当該病変が最初に出現した最初過去映像(過去映像n)を検索し、最初過去映像から現在映像までの映像を比較分析して、隣接映像間の病変変化を分析し、また当該病変の変化推移(変化速度、経時的な変化グラフ、表など)を分析することができる。映像分析装置300は、使用者選択または選別基準(例えば、撮影間隔が3ヶ月以上など)により、最初過去映像から現在映像までの映像のうち少なくとも一部を選別して比較分析することができる。
【0060】
他の実施例によれば、直前過去映像(過去映像1)との比較結果、病変が増加し、および/または減少した場合、映像分析装置300は、一定数の過去映像を順次分析することができる。例えば、最大3件の過去映像を分析するように設定された場合、映像分析装置300は、過去映像1の前の映像(過去映像2)を検索し、過去映像2と過去映像1の分析結果も病変が増加/減少の場合、過去映像2の前の映像(過去映像3)を検索し、過去映像3と過去映像2を比較分析することができる。結果的に、映像分析装置300は、過去映像3から現在映像までの映像を比較分析して、隣接映像間の病変変化を分析し、また当該病変の変化推移(変化速度、経時的な変化グラフ、表など)を分析することができる。もし、過去映像2と過去映像1の分析結果、病変が現れ、および/または病変変化がない場合、映像分析装置300は、過去映像2の前の映像(過去映像3)をそれ以上検索せず、過去映像2と過去映像1を基準映像として使用することができる。
【0061】
映像分析装置300で分析されたターゲット映像に対する分析結果は、映像保存装置200に保存され、使用者端末100に表示されることができる。分析結果は、ターゲット映像に対するAI分析結果、そしてターゲット映像と過去映像の比較分析結果を含むことができる。映像がDICOM映像の場合、映像のメタデータは、Public tagとPrivate tagに保存することができる。Public tagにはDICOM標準で規定するファイル構造により医療映像に対する情報が記録される。Private tagは、Public tagに含まれない情報を医療機器企業でDICOM映像に追加しようとする時に自由に使用できるので、Private tagに分析結果が記録されることができる。Private tagには病変情報を含むAI分析結果、そして病変変化度を含む比較分析結果が記録され、現在-過去映像比較機能の動作有無をさらに含むことができる。
【0062】
使用者端末100で実行されるビューア110は、ターゲット映像の分析結果、そしてターゲット映像と過去映像の比較分析結果を表示することができる。ターゲット映像の分析結果は、基本補助映像(SC)として提供されることができる。過去映像との比較分析結果は、基本補助映像(SC)と共に提供されることができるが、比較分析結果をさらに含む基本補助映像(SC)を増強型補助映像(Augmented SC)と呼ぶことができる。過去映像との比較分析結果は、基本補助映像(SC)と別途の補助映像として提供されることができ、基本補助映像(SC)に追加的に提供される補助映像を追加型補助映像(Additional SC)と呼ぶことができる。
【0063】
ビューア110は、比較分析結果に含まれている様々な情報を表示することができ、このために、比較分析結果は、ビューア110で表示可能なデータフォーマットである、DICOMフォーマットで保存することができる。
【0064】
ビューア110は、過去映像と現在映像の撮影日付および時間を表示することができる。
【0065】
ビューア110は、比較分析結果に基づいて、比較対象病変ごとの変化度を表示することができる。ビューア110は、比較対象病変のうち変化がある病変位置を表示することができる。ビューア110は、読み取りの注意が必要な変化(例えば、Appeared、Increasedなど)が現れた病変を、他の病変と区別できるように表示することができる。例えば、ビューア110は、当該病変または病変変化度を視覚的に異なって表示し、および/または強調マークを追加することができる。ビューア110は、医療映像が胸部X線映像の場合、左肺(left lung)、右肺(right lung)のそれぞれを区分して病変変化度を表示することができる。ビューア110は、病変変化度の判断に使用された閾値を提供することができる。
【0066】
図2を参照すると、ビューア110は、比較分析結果に含まれている病変変化度をアイコンなどのグラフィカルインジケータ(Graphical indicator)に表示することができる。変化度ごとに指定されたグラフィカルインジケータを通して使用者は病変変化度を直観的に迅速に認識することができる。
【0067】
このような比較分析機能は、下記のように活用できる。
【0068】
例えば、患者の胸部X線映像の分析結果、異常所見がある病変が検出されて患者が肺施術を受けたと仮定する。その後、医師は経過確認のために病院システムを通して患者の胸部X線映像を撮影するように指示することができる。放射線士が患者の胸部X線映像を撮影すると、X線映像撮影装置から映像保存装置200に映像が伝送される。映像分析装置300は施術後に、撮影された胸部X線映像と施術前に撮影された胸部X線映像を比較分析して病変変化度を含む比較分析結果を取得し、比較分析結果を映像保存装置200に保存する。医師は映像分析装置300の現在-過去映像比較機能を通して、施術前後の病変変化を確認することができる。
【0069】
例えば、患者の胸部X線映像の分析結果、異常所見がある病変が検出され、医師が追跡観察が必要であると診断したと仮定する。一定期間が過ぎて患者がX線撮影をすると、X線装置から映像保存装置200に映像が伝送される。映像分析装置300は、以前に撮影された胸部X線映像と今回撮影された胸部X線映像を比較分析して、病変変化度を含む比較分析結果を取得し、比較分析結果を映像保存装置200に保存する。医師は、映像保存装置200と連動された映像分析装置300の現在-過去映像比較機能を通して、一定期間の病変変化を確認することができる。
【0070】
図3図4のそれぞれは、一実施例による過去映像との比較分析結果を提供する画面の例示である。
【0071】
図3を参照すると、使用者端末100で実行されたビューア110は、映像保存装置200と連動してターゲット映像の読み取り作業に関する画面を提供することができ、現在-過去映像比較機能(Current-Prior comparison)の結果物を画面に提供する。現在映像と過去映像の比較機能は使用者によって選択されてもよく、または基本として提供されてもよい。映像分析装置300で現在映像と過去映像の比較機能が活性化した場合、ビューア110は、過去映像との比較分析結果を画面に表示することができるが、ターゲット映像の分析結果に比較分析結果を含む増強型補助映像(Augmented SC)を提供することができる。
【0072】
ビューア110で表示された増強型補助映像画面400は、映像領域410、そして分析情報領域420で構成されることができる。映像領域410には、ターゲット映像の分析結果を含む基本補助映像(SC)が表示されることができる。基本補助映像(SC)は、ターゲット映像の分析結果(例えば、Ptx88%、Csn94%などの病変スコア、病変領域の輪郭、ヒートマップなど)が含まれている映像でありうる。病変変化情報が基本補助映像(SC)に追加的に表示されることができる。病変スコアは、病変が存在するconfidence levelをスコア/確率に示したものでありうる。
【0073】
分析情報領域420は、ターゲット映像の分析結果が表示される領域421と過去映像との比較分析結果(例えば、病変変化度)が表示される領域422で構成されることができる。領域421には、人工知能モデルにターゲット映像を分析して取得した医学的指標、例えば、異常スコア(Abnormality Score)、肺結核分析スコア(TB analysis score)、心臓肥大確率(Cardiomegaly)等が表示されることができる。領域422には、比較対象病変(例えば、Ptx、PEf、Csn)の変化度が表示されることができるが、胸部X線映像のように客体(object)の左右が区分される場合、右肺の病変変化度(422-R)と左肺の病変変化度(422-L)を分離して表示することができる。この時、比較対象病変(例えば、Ptx、PEf、Csn)の変化度は、アイコンなどのグラフィカルインジケータ423で表示されることができる。変化度を説明するテキスト(No change、Disappearedなど)は、分析情報領域420の大きさに合わせて表示され、および/または省略されることができる。No changeなどのテキスト説明がなくても、使用者はアイコンなどのグラフィカルインジケータを通して、病変変化度を直観的に迅速に認識することができる。
【0074】
増強型補助映像(Augmented SC)は、ターゲット映像の分析結果に比較分析結果を提供する形態であるが、使用者が変化速度などを判断するために、比較分析に使用された過去映像の撮影時点を確認する必要がある。このために、増強型補助映像画面400は、比較分析に使用された過去映像の撮影時点を提供することができる。増強型補助映像画面400は、ターゲット映像と過去映像の時間差を説明する情報(例えば、患者の8週間前の映像との比較)を提供することができる。
【0075】
図4を参照すると、映像分析装置300で現在映像と過去映像の比較機能が活性化した場合、ビューア110は、過去映像との比較分析結果を画面に表示することができるが、追加型補助映像(Additional SC)を通じて比較分析結果を提供することができる。
【0076】
ビューア110で表示された追加型補助映像画面500は、映像領域510、そして分析情報領域520で構成されることができる。使用者が過去映像と現在のターゲット映像を同時に確認することができるように、映像領域510には過去映像の分析結果を含む補助映像(SC)511とターゲット映像の分析結果を含む補助映像(SC)512が一緒に表示されることができる。過去映像とターゲット映像の配置は多様でありうる。過去映像とターゲット映像の補助映像511、512は、当該映像の分析結果(病変情報)が含まれた映像でありうる。病変変化情報がターゲット映像の補助映像(SC)に追加的に表示されることができる。
【0077】
ビューア110は、過去映像とターゲット映像の情報(撮影日付および時間など)を提供することができる。ビューア110は、ターゲット映像と過去映像の時間差が分かるように情報(例えば、8週間前の映像との比較)を提供することができる。
【0078】
分析情報領域520には過去映像との比較分析結果(病変変化度)が表示される。分析情報領域520で比較対象病変(例えば、Ptx、PEf、Csn)の変化度が表示されるUIは多様にデザインすることができるが、例えば、病変名521とその変化度がテーブル形態に表示されることができる。胸部X線映像のように客体(object)の左右が区分される場合、右肺の病変変化度(522-R)と左肺の病変変化度(522-L)に分離することができる。この時、比較対象病変(例えば、Ptx、PEf、Csn)の変化度は、アイコンなどのグラフィカルインジケータで表示されることができる。使用者は、アイコンなどのグラフィカルインジケータを通して病変変化度を直観的に迅速に認識することができる。一方、変化度を説明するテキスト(No change、Disappearedなど)を記載する空間がある場合、テキスト説明がグラフィカルインジケータと一緒に表示されることができる。
【0079】
このような、追加型補助映像(Additional SC)は、分析対象人の現在映像と比較対象人の過去映像の分析結果を一画面に提供するので、使用者が患者の過去映像を別途画面で確認する必要がなく、追加型補助映像画面500の二つの映像で検出された病変を簡単に比較することができる。
【0080】
図5は、一実施例によるビューアで比較分析結果が出力される順序を説明する図面である。
【0081】
図5を参照すると、ビューア110は、映像保存装置200と連動してターゲット映像の読み取り作業のための映像を順次提供することができる。従来のビューアは、撮影映像10、そして映像の分析結果を含む補助映像(SC)20を提供するが、本開示のビューア110は、過去映像との比較分析結果をさらに提供することができる。
【0082】
増強型補助映像(Augmented SC)を通じて比較分析結果を提供するように設定された場合、ビューア110は、ターゲット映像の撮影映像10、そして増強型補助映像(Augmented SC)400を順次表示することができる。増強型補助映像(Augmented SC)400は、ターゲット映像の分析結果と比較分析結果を含むことができる。
【0083】
追加型補助映像(Augmented SC)を通じて比較分析結果を提供するように設定された場合、ビューア110は、ターゲット映像の撮影映像10、ターゲット映像の分析結果を含む基本補助映像(SC)20、そして追加型補助映像(Additional SC)500を順次表示することができる。
【0084】
ビューア110が比較分析結果を提供する出力オプションは固定され、および/または使用者によって選択されることができる。
【0085】
図6から図8のそれぞれは、一実施例による増強型補助映像を提供する画面の例示である。
【0086】
図6を参照すると、ビューア110で表示された増強型補助映像画面400Aは、映像領域410A、そして分析情報領域420Aで構成することができ、比較分析に使用された過去映像情報を表示する領域430Aをさらに含めて構成することができる。増強型補助映像画面400Aの配置や領域大きさは多様に設計することができる。
【0087】
映像領域410Aには、ターゲット映像の分析結果を含む補助映像(SC)が表示されることができる。補助映像(SC)は、ターゲット映像の分析結果(例えば、Ptx88%、Csn94%などの病変スコア、病変領域の輪郭、ヒートマップなど)を表示するが、ターゲット映像で検出された病変のうち比較対象病変(例えば、左肺ではCsnとPEf、右肺ではPtxとCsn)の病変変化情報411、412、413、414を追加的に表示することができる。病変変化情報411、412、413、414は、過去映像との比較分析結果による病変変化度(Increased、Appeared、No change、Decreased)を示し、テキストに表示され、および/または変化度アイコンで表示することができる。
【0088】
分析情報領域420Aには、ターゲット映像の分析結果(Abnormality Score、TB analysis scoreなど)および過去映像との比較分析結果(病変変化度)が表示されることができる。この時、比較対象病変(例えば、Ptx、PEf、Csn)の変化度は、アイコンなどのグラフィカルインジケータで表示することができ、変化度を説明するテキストは省略または表示することができる。
【0089】
領域430Aには、比較分析に使用された過去映像情報が表示されることができる。過去映像情報は、比較分析に使用された過去映像の撮影時点またはターゲット映像と過去映像の時間差を含むことができる。
【0090】
増強型補助映像画面400Aは、使用者の注意がさらに必要な変化(例えば、Appeared、Increasedなど)が現れた病変を確認し、視覚的に区分されるように強調して表示することができる。例えば、左肺に病変PEfが現れたので、新たに現れた病変PEf、その病変変化情報412、またはその変化度アイコンを強調するために、色、大きさ、模様などを異なって表示し、および/または強調マークを追加することができる。
【0091】
図7を参照すると、ビューア110で表示される増強型補助映像画面400Bは、映像領域410B、そして分析情報領域420Bで構成することができ、比較分析に使用された過去映像情報を表示する領域430Bをさらに含めて構成することができる。増強型補助映像画面400Bの配置や領域大きさは多様に設計することができる。
【0092】
映像領域410Bには、ターゲット映像の分析結果を含む補助映像(SC)が表示されることができる。補助映像(SC)は、ターゲット映像の分析結果を表示し、図6のように、ターゲット映像で検出された病変のうち、比較対象病変の病変変化情報を追加的に表示することができる。
【0093】
分析情報領域420Bには、ターゲット映像の分析結果(Abnormality Score、TB analysis scoreなど)および過去映像との比較分析結果(病変変化度)が表示されることができる。この時、比較対象病変(例えば、Ptx、PEf、Csn)の変化度は、アイコンなどのグラフィカルインジケータで表示することができ、変化度を説明するテキストは省略または表示することができる。
【0094】
一方、使用者設定に応じて、増強型補助映像画面400Bに表示される比較対象病変が異なる場合がある。例えば、使用者がPtxとCsnが表示されるように設定し、NdlとPEfは表示されないように設定した場合、分析情報領域420Bには、表示されるように設定された病変のPtxとCsnの変化度のみ表示されることがある。また、補助映像(SC)に表示される病変変化情報も、表示設定された比較対象病変に対してのみ提供することができる。
【0095】
図8を参照すると、ビューア110で表示された増強型補助映像画面400Cは、映像領域410C、そして分析情報領域420Cで構成することができ、詳細分析テーブル440Cをさらに含むことができる。増強型補助映像画面400Cの配置や領域大きさは、多様に設計することができる。
【0096】
映像領域410Cには、ターゲット映像(現在映像)の分析結果を含む補助映像(SC)が表示されることができる。補助映像(SC)は、ターゲット映像の分析結果を表示し、図6のようにターゲット映像で検出された病変のうち比較対象病変の病変変化情報を追加的に表示することができる。
【0097】
分析情報領域420Cには、ターゲット映像の分析結果(Abnormality Score、TB analysis scoreなど)および過去映像との比較分析結果(病変変化度)が表示されることができる。この時、比較対象病変(例えば、Ptx、PEf、Csn)の変化度は、アイコンなどのグラフィカルインジケータで表示することができ、変化度を説明するテキストは、省略または表示することができる。
【0098】
詳細分析テーブル440Cは、病変名441C、病変別閾値442C、病変スコア443C、そして病変位置444Cを含むことができるが、これは多様に変更されることができる。
【0099】
図9図10のそれぞれは、一実施例による追加型補助映像を提供する画面の例示である。
【0100】
図9を参照すると、ビューア110で表示された追加型補助映像画面500Aは、映像領域510A、そして分析情報領域520Aで構成することができ、過去映像とターゲット映像の撮影時点を表示することができる。追加型補助映像画面500Aの配置や領域大きさは、多様に設計することができる。
【0101】
映像領域510Aには、過去映像の分析結果を含む補助映像(SC)511Aとターゲット映像の分析結果を含む補助映像(SC)512Aが一緒に表示されることができる。過去映像とターゲット映像の補助映像511A、512Aは、当該映像の分析結果(病変情報)を表示するが、ターゲット映像の補助映像512Aは、検出された病変のうち比較対象病変の病変変化情報を追加的に表示することができる。病変変化情報は、様々な形態で表示することができる。
【0102】
分析情報領域520Aには過去映像との比較分析結果(病変変化度)が表示される。分析情報領域520Aで比較対象病変(例えば、Ptx、PEf、Csn)の変化度が表示されるUIは多様にデザインすることができ、例えば、病変名521Aとその変化度がテーブル形態で表示されることができる。胸部X線映像のように客体(object)の左右が区分される場合、右肺の病変変化度(522A-R)と左肺の病変変化度(522A-L)に分離することができる。この時、比較対象病変(例えば、Ptx、PEf、Csn)の変化度は、アイコンなどのグラフィカルインジケータで表示することができ、変化度を説明するテキストは、省略または表示することができる。
【0103】
追加型補助映像画面500Aは、強調表示が必要な変化、例えば、病変出現(Appeared)、病変領域増加(Increased)が発生した病変に対して、視覚的に区分されるように強調して表示することができる。例えば、追加型補助映像画面500Aは、左肺に病変PEfが現れたので、ターゲット映像の補助映像512Aで病変PEfに変化情報(AppearedまたはAppearedのアイコン)を表示することができる。この時、新たに現れた病変PEfは強調表示が必要な病変であるため、映像に表示されるテキスト(PEfやAppeared)、または変化度アイコンに視覚的変化(色、大きさ、模様などの変化)を与えることで強調し、および/または強調マーク513Aを追加することができる。
【0104】
また、追加型補助映像画面500Aは、強調表示が必要な変化(例えば、Appeared、Increasedなど)があれば、分析情報領域520Aでも他の変化度と視覚的に区分されるように強調して表示することができる。例えば、左肺の病変変化度(522A-L)において、病変PEfに対する変化情報(AppearedまたはAppearedのアイコン)の色が眼立つように表示することができる。
【0105】
図10を参照すると、ビューア110で表示された追加型補助映像画面500Bは、映像領域510B、そして分析情報領域520Bで構成することができ、過去映像とターゲット映像の撮影時点を表示することができる。追加型補助映像画面500Bの配置や領域の大きさは、多様に設計することができる。
【0106】
映像領域510Bには、過去映像の分析結果を含む補助映像(SC)511Bとターゲット映像の分析結果を含む補助映像(SC)512Bが一緒に表示されることができる。過去映像とターゲット映像の補助映像511B、512Bは、当該映像の分析結果(病変情報)を表示するが、ターゲット映像の補助映像512Bは、検出された病変のうち比較対象病変の病変変化情報を追加的に表示することができる。
【0107】
分析情報領域520Bには、過去映像との比較分析結果(病変変化度)が表示される。追加型補助映像画面500Bは、使用者設定によって選択された比較対象病変を分析情報領域520Bに表示することができる。例えば、使用者がPtxとCsnが表示されるように設定し、NdlとPEfは表示されないように設定した場合、分析情報領域520Bには設定された病変のPtxとCsnの変化度のみが表示されることができる。また、ターゲット映像の補助映像512Bに表示される病変変化情報も、表示設定された比較対象病変に対してのみ提供することができる。
【0108】
図11図12のそれぞれは、一実施例により生成された分析リポートの例示である。
【0109】
図11図12を参照すると、映像分析装置300がターゲット映像に対して分析した結果は、分析リポートとして生成することができる。分析リポートは、ターゲット映像で検出された病変情報と一緒に、過去映像との比較分析結果をさらに含むことができる。
【0110】
分析リポートは、例えば、DICOM標準により作成された構造化されたリポート(Structured Report)でありうる。分析リポートは、「A has appeared in the left(or right or both)lung…、B has not changed…、C has increased…、D has disappeared…」などの文句で比較対象病変A、B、C、Dの比較分析結果を表示することができる。
【0111】
例えば、分析リポート600Aは、ターゲット映像で検出された病変を記載するが、過去映像との比較分析結果、右肺に存在する気胸(Pneumothorax)が過去映像と比較して変化がない場合、これに対する説明(Pneumothorax has not changed in the right lung.)610を含むことができる。また、ターゲット映像の左肺に存在する胸水(Pleural effusion)が過去映像と比較して変化がない場合、分析リポート600Aはこれに対する説明(Pleural effusion has not changed in the left lung.)611を含むことができる。
【0112】
例えば、分析リポート600Bは、ターゲット映像で検出された病変を記載するが、過去映像との比較分析結果、過去映像では検出されなかった硬化(Consolidation)が左右肺に現れた場合、これに対する説明(Consolidation has appeared in both lungs.)612を含むことができる。また、過去映像では検出されなかった気胸(Pneumothorax)がターゲット映像の右肺で検出された場合、分析リポート600Bは、気胸(Pneumothorax)が右肺に現れたという説明(Pneumothorax has appeared in the right lung.)613を含むことができる。また、過去映像では検出されなかった胸水(Pleural effusion)がターゲット映像の左右肺で検出された場合、分析リポート600Bは、胸水(Pleural effusion)が左右肺に現れたという説明(Pleural effusion has appeared in both lungs.)614を含むことができる。
【0113】
したがって、分析リポートは、病変が存在するという分析結果と一緒に、病変の経時的な変化をさらに提供することができる。したがって、使用者は過去映像やその分析リポートを見なくても、ターゲット映像の分析リポートを通して新たに現れた病変であるか、変化がない病変であるか、大きさが減った病変であるか、大きさが増えた病変であるかを知ることができる。特に、分析リポートは、以前には存在したが消失して検出されなかった病変情報を提供するので、使用者は、ターゲット映像の分析リポートを通して、消失して検出されなかった病変を知ることができる。
【0114】
図13は、一実施例により生成されたワークリストの例示である。
【0115】
図13を参照すると、使用者端末100で実行されたビューア110は、映像保存装置200と連動してワークリスト(Worklist)700を提供することができる。ワークリスト700は、使用者が読み取るべき映像目録を主要情報と共にテーブル形式で羅列して表示する。ワークリストが必ずしもビューア110に含まれる必要はなく、別途プログラムとして設置することができる。ワークリストに表示される情報は、ビューア110または映像保存装置200によって提供することができるが、説明の便宜上、ビューア110が提供すると説明することができる。
【0116】
ビューア110は、映像保存装置200と連動してターゲット映像に対して映像分析装置300が分析した分析結果をワークリスト700の指定された列(column)に表示することができる。分析結果は、ターゲット映像に対するAI分析結果、そしてターゲット映像と過去映像の比較分析結果を含むことができる。この時、ビューア110は、ワークリスト700の指定された列710に比較分析結果を表示することができる。ビューア110は、DICOM Private tagに含まれる比較分析結果をワークリスト700に表示することができる。この時、ビューア110は、DICOM映像のPrivate tagを基に、過去映像との自動比較分析機能の動作の有無をワークリスト700に表示することができる。
【0117】
ワークリストに比較分析結果を表示する方法は、color chip、テキスト、アイコン(icon)、フラッギング(flagging)などで多様である。例えば、ビューア110は、private tagに含まれている比較分析結果をcolor chipで区分して指定された列710に表示することができる。比較分析結果に対するcolor chipは使用者が設定することができ、またはビューア110が比較分析結果の優先順位または重要度により設定されたcolor chipを表示することができる。
【0118】
代表変化度(例えば、Appearedまたはアイコン)がワークリストの指定された列710に表示することができる。比較分析結果に複数の病変の変化度が含まれているので、重要度の高い病変変化度(例えば、Appeared、Increasedなど)が代表変化度として決定され、代表変化度がワークリストに表示されることができる。また、病変ごとに危急性が異なるので、病変の重要度と病変変化度の重要度を考慮して、当該映像の比較分析結果を代表する変化度を決定することができる。
【0119】
映像分析装置300で生成した比較分析結果により、ワークリストの作業優先順位が決定されることができる。例えば、使用者は、ワークリスト700を通じて読み取る映像に対して行われた比較分析結果を確認することができ、比較分析結果の重要度により作業順序を整列することにより、読み取り業務の効率を上げることができる。または、ビューア110は、読み取りの注意が必要な変化(例えば、Appeared、Increasedなど)が発生した映像の作業優先順位を高く設定してワークリストを提供することができる。例えば、比較分析結果に含まれている病変変化が、変化がなかったり、病変が消えたり、病変が減少した変化(肯定的変化)の場合、当該映像の読み取り優先順位が低く設定されることができる。一方、比較分析結果に含まれている病変変化が、病変が新たに現れ、および/または病変が増えた変化(否定的変化)の場合、当該映像の読み取り優先順位が高く設定されることができる。
【0120】
図14は、一実施例による映像分析方法のフローチャートである。
【0121】
図14を参照すると、映像分析装置300は、患者の映像(ターゲット映像)が取得されると、AIモデルを使用してターゲット映像を分析し、病変情報を含む分析結果を取得する(S110)。分析結果は、病変スコア、病変位置などを含む病変情報、そして異常スコア(Abnormality Score)をはじめとして、主な医学的指標を含むことができる。
【0122】
映像分析装置300は、患者の映像のうちターゲット映像より以前に撮影された過去映像を比較のための基準映像として決定する(S120)。映像分析装置300は、映像保存装置200でターゲット映像の患者識別子(Patient ID)を基準として以前に撮影された映像を検索し、条件に合う過去映像を選択することができる。比較基準となる過去映像は、多様に決定することができる。映像分析装置300は、例えば、映像保存装置200に保存された患者の過去映像のうち、最新映像を基準映像として決定したり、ターゲット映像と一定時間の間隔をおいて撮影された過去映像を基準映像として決定したり、AI分析や読み取りが行われた映像を基準映像として決定することができる。ここで、映像分析装置300が過去映像との比較分析を行う時点は、多様に設定することができる。例えば、映像分析装置300は、ターゲット映像に対する分析要請を受けると、比較分析を進めることができ、または、別途に比較分析要請を受けて比較分析を進めることができる。
【0123】
映像分析装置300は、過去映像とターゲット映像を比較分析して、病変変化度を含む比較分析結果を取得する(S130)。映像分析装置300は、過去映像の分析結果とターゲット映像の分析結果から少なくとも一つの比較対象病変の病変情報を抽出することができる。映像分析装置300は、経時的な比較対象病変の変化度を判断し、比較対象病変の変化度を含む比較分析結果を生成することができる。映像分析装置300は、過去映像とターゲット映像で対応する位置で検出された病変を対応させて変化度を判断し、過去映像やターゲット映像にだけ存在する病変であれば、病変が消えた、および/または現れたと判断することができる。映像分析装置300は、過去映像との比較結果、比較対象病変に対して閾値以上の変化があれば、病変変化があると判断することができ、閾値は病変の種類によって異なって設定することができる。病変変化は、病変が占める領域の変化または病変に対する異常スコア(abnormality score)の変化を基に判断することができるが、これに限定される必要はない。病変変化度は、表3のように、変化なし(No change)、病変消失(Disappeared)、病変出現(Appeared)、病変減少(Decreased)、病変増加(Increased)で分析することができる。一方、映像分析装置300は、過去映像とターゲット映像の比較分析のためにAIモデルを使用して過去映像を分析し、過去映像の病変情報を含む分析結果を取得した後、ターゲット映像の分析結果と比較することができる。または、識別した過去映像に対するAI分析結果がある場合、即ち、映像分析装置300がすでに過去映像を分析した場合、映像分析装置300は、過去映像分析を再実施する必要なく、過去映像とターゲット映像の分析結果を直ちに比較することができる。
【0124】
映像分析装置300は、ターゲット映像のために行った分析結果を、指定されたデータフォーマット(例えばDICOMフォーマット)で生成し、映像保存装置200に保存する(S140)。映像保存装置200に保存する例としては、ターゲット映像の病変情報を含む分析結果は、DICOM標準のセカンダリ・キャプチャーで保存することができ、これを基本SCであると呼ぶことができる。過去映像との比較分析結果もDICOM標準のセカンダリ・キャプチャーで保存することができ、ターゲット映像の分析結果に比較分析結果が付加された増強型SCで保存することができ、過去映像の分析結果とターゲット映像の分析結果を比較して示す追加型SCで保存することができる。ターゲット映像のために行った分析結果は、DICOM映像のPrivate tagに含めることができる。ターゲット映像のために行った分析結果は、ビューア110でターゲット映像のセカンダリ・キャプチャーにまとめられ、順次表示されることができる。ターゲット映像のために行った分析結果、特に比較分析結果がワークリストに表示されることができる。また、ターゲット映像のために行った分析結果、特に病変変化度が文章形態で分析リポートに表示されることができる。
【0125】
図15は、他の実施例による映像分析方法のフローチャートである。
【0126】
図15を参照すると、映像分析装置300は、AIモデルを使用して患者の映像(ターゲット映像)を分析し、病変情報を含む分析結果を取得する(S210)。分析結果は、病変スコア、病変位置などを含む病変情報、そして異常スコア(Abnormality Score)をはじめとして主な医学的な指標を含むことができる。映像分析装置300は、新規映像の取得時に自動的に分析結果を生成し、PACSワークリストやビューアで患者ID選択時に当該患者の映像に対する分析結果を提供することができる。
【0127】
映像分析装置300は、比較分析のために、患者の映像のうちターゲット映像より以前に撮影された複数の過去映像を選択する(S220)。比較分析に使用する医療映像の数(N)、そして映像選択方法は、使用者設定などで予め決められるか、比較分析の進行過程で適応的に決定することができる。
【0128】
映像分析装置300は、複数の過去映像とターゲット映像で時間的に隣接する映像同士を比較分析することによって、映像間の病変変化度を含む比較分析結果を取得する(S230)。病変変化度は表3のように、変化なし(No change)、病変消失(Disappeared)、病変出現(Appeared)、病変減少(Decreased)、病変増加(Increased)で分析することができる。
【0129】
映像分析装置300は、複数の過去映像とターゲット映像の比較分析結果から病変別変化推移を示す情報を抽出する(S240)。病変別変化推移を示す情報は、変化速度、時間(撮影日)による変化グラフ、表などで表現することができる。
【0130】
映像分析装置300は、ターゲット映像のために行った分析結果を指定されたデータフォーマット(例えばDICOMフォーマット)で生成し、映像保存装置200に保存する(S250)。例えば、ターゲット映像の病変情報を含む分析結果は、DICOM標準のセカンダリ・キャプチャーで保存することができ、複数の比較分析結果またDICOM標準のセカンダリ・キャプチャーで保存することができる。各比較分析結果は、比較された二つの映像を共に示す追加型SCで保存することができ、ターゲット映像と比較される過去映像の比較分析結果は、増強型SCで保存することもできる。ターゲット映像のために行った分析結果は、DICOM映像のPrivate tagに含めることができる。ターゲット映像のために行った分析結果は、ビューア110でDICOM映像のセカンダリ・キャプチャーにまとめられ、順次表示されることができる。ターゲット映像のために行った分析結果、特に比較分析結果がワークリストに表示されることができる。また、ターゲット映像のために行った分析結果、特に病変変化度が文章形態に分析リポートに表示されることができる。
【0131】
図16は、一実施例による分析結果提供方法のフローチャートである。
【0132】
図16を参照すると、ビューア110は、映像保存装置200と連動して映像読み取り作業のための映像目録を含むワークリストを表示する(S310)。ビューア110は、映像分析装置300で分析された各映像の分析結果をワークリストの指定された列に表示するが、分析結果は、映像に対するAI分析結果、そして比較分析結果を含むことができる。ビューア110は、様々な方式(color chip、テキスト、flagging、アイコンなど)で比較分析結果をワークリストに表示することができる。例えば、ビューア110は、映像のprivate tagに含まれている比較分析結果をcolor chipで区分して、ワークリストに表示することができる。ビューア110は、映像の比較分析結果を代表する変化度(例えば、Appeared、Increasedなど)をワークリストに表示することができる。ビューア110は、比較分析結果で判断された優先順位によってワークリストの映像目録を整列して表示することができる。
【0133】
ビューア110は、ワークリストからターゲット映像が選択されると、ターゲット映像と過去映像の比較分析結果を含む分析結果を表示する(S320)。ビューア110は、指定されたデータフォーマット(例えば、DICOMフォーマット)で保存された分析結果を呼び出して表示することができる。増強型補助映像(Augmented SC)を通じて比較分析結果を提供するように設定された場合、ビューア110は、ターゲット映像の撮影映像、そしてターゲット映像の分析結果と比較分析結果を含む増強型補助映像(Augmented SC)を順次表示することができる。追加型補助映像(Augmented SC)を通じて比較分析結果を提供するように設定された場合、ビューア110は、ターゲット映像の撮影映像、ターゲット映像の分析結果を含む基本補助映像(SC)、そして過去映像とターゲット映像の比較結果を含む追加型補助映像(Augmented SC)を順次表示することができる。
【0134】
ビューア110は、コンピュータ読み取り可能な記録媒体に保存されるコンピュータプログラムで実現され、プロセッサーによって実行される命令を含む。コンピュータプログラムは、実行するプロセッサーに、映像保存装置200と連動して映像読み取り作業のための映像目録を含むワークリストを表示させ、ワークリストからターゲット映像が選択されると、ターゲット映像と過去映像の比較分析結果を含む分析結果を表示させるようにする命令を含むことができる。コンピュータプログラムは、ワークリストに過去映像との比較分析結果を表示させるようにする命令を含むことができる。コンピュータプログラムは、ターゲット映像の分析結果に比較分析結果が付加された増強型セカンダリ・キャプチャーを表示し、および/または過去映像の分析結果とターゲット映像の分析結果を比較して示す追加型セカンダリ・キャプチャーを表示するようにする命令を含むことができる。
【0135】
ここで、使用者がターゲット映像と過去映像の比較分析結果を含む分析結果を確認するために、必ずしもワークリストを通じて確認する必要はなく、これは説明のための一つの実施例である。例えば、使用者(医師)は、患者の医療情報を示すビューアを通してターゲット映像と過去映像の比較分析結果を含む分析結果を確認することができる。
【0136】
本開示の医療映像システム1を構成端末または装置100、200、300は、一つ以上のプロセッサー、プロセッサーによって実行されるコンピュータプログラムをロードするメモリ、コンピュータプログラムおよび各種データを保存する保存装置、通信インターフェースを含むことができる。その他にも、端末または装置100、200、300は、様々な構成要素をさらに含むことができる。プロセッサーは、コンピュータプログラムに含まれている命令を処理する様々な形態のプロセッサーであってもよく、例えば、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、MCU(Micro Controller Unit)、GPU(Graphic Processing Unit)または本開示の技術分野によく知られた任意の形態のプロセッサーのうち少なくとも一つを含むように構成することができる。メモリは、各種データ、命令および/または情報を保存する。メモリは、本開示の動作を実行するように記述された命令が、プロセッサーによって処理されるように命令を保存するように実現されることができる。メモリは、例えば、ROM(read only memory)、RAM(random access memory)などであってもよい。保存装置は、コンピュータプログラム、各種データを非臨時的に保存することができる。保存装置は、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリなどの不揮発性メモリ、ハードディスク、着脱型ディスク、または本開示が属する技術分野でよく知られた任意の形態のコンピュータで読み取り可能な記録媒体を含めて構成することができる。通信インターフェースは、有/無線通信を支援する有/無線通信モジュールであってもよい。コンピュータプログラムは、プロセッサーによって実行される命令(instructions)を含み、非一時的なコンピュータ可読記憶媒体(non-transitory computer readable storage medium)に保存され、命令はプロセッサーが本開示の動作を実行させる。
【0137】
以上、本開示の実施例は、装置および方法を介してのみ実現されるものではなく、本開示の実施例の構成に対応する機能を実現するプログラムまたはそのプログラムが記録された記録媒体を通して実現されることもできる。
【0138】
以上、本開示の実施例について詳細に説明したが、本開示の権利範囲はこれに限定されず、添付の請求範囲で定義している本開示の基本概念を利用した当業者の様々な変形および改良形態も本開示の権利範囲に属するものである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16