(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-06-08
(54)【発明の名称】医療情報を評価するためのプラットフォームおよびその使用方法
(51)【国際特許分類】
G16H 30/00 20180101AFI20220601BHJP
【FI】
G16H30/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021558611
(86)(22)【出願日】2020-02-28
(85)【翻訳文提出日】2021-11-12
(86)【国際出願番号】 US2020020516
(87)【国際公開番号】W WO2020205116
(87)【国際公開日】2020-10-08
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】516236827
【氏名又は名称】フジフィルム メディカル システムズ ユーエスエイ インコーポレイテッド
(74)【代理人】
【識別番号】100094569
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100170209
【氏名又は名称】林 陽和
(72)【発明者】
【氏名】ヴィンセント ブリギル
(72)【発明者】
【氏名】杉原 佳次
(72)【発明者】
【氏名】カールーザーズ ザ サード ウィリアム ベンジャミン
(72)【発明者】
【氏名】クラミ ヨシユキ
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA26
(57)【要約】
医療情報を評価するためのプラットフォームおよびその使用方法について記載される。1つの実施形態において、方法は、医用画像管理システムが1以上のデータソースにおけるコンテンツ変化の第1の指示をモニタすることと、1以上の画像に伴う情報または少なくとも1つの画像に身体部分検出を適用した結果の一方または両方に基づいて、1以上の新たな医用画像のうちのコンテンツ変化に関連する少なくとも1つの画像を複数の画像解析エンジンのうちのどの画像解析エンジンが解析すべきであるかを、第1の指示に応じて決定することと、1以上の新たな医用画像のうちの少なくとも1つの画像を解析するように決定された1以上の画像解析エンジンの組の各画像解析エンジンに、1以上の医用画像のうちの少なくとも1つの画像に対して画像解析を開始する第1の通知を送信することと、1以上の画像解析エンジンの組から、画像解析結果が利用可能である旨の第2の指示を受け取ることと、画像解析結果を登録者がアクセスおよび表示に利用できることを示す第2の通知を登録者に送信することと、を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
1以上のデータソースにおけるコンテンツ変化の第1の指示を医用画像管理システムによりモニタすることと、
前記1以上の画像に伴う情報または前記少なくとも1つの画像に身体部分検出を適用した結果の一方または両方に基づいて、1以上の新たな医用画像のうちの前記コンテンツ変化に関連する少なくとも1つの画像を複数の画像解析エンジンのうちのどの画像解析エンジンが解析すべきであるかを、前記第1の指示に応じて決定することと、
前記1以上の新たな医用画像のうちの前記少なくとも1つの画像を解析するように決定された1以上の画像解析エンジンの組の各画像解析エンジンに、前記1以上の医用画像のうちの前記少なくとも1つの画像に対して画像解析を開始する第1の通知を送信することと、
前記1以上の画像解析エンジンの組から、画像解析結果が利用可能である旨の第2の指示を受け取ることと、
画像解析結果を登録者がアクセスおよび表示に利用できることを示す第2の通知を前記登録者に送信することと、
を含む、方法。
【請求項2】
前記複数の画像解析エンジンのうちの1以上の画像解析エンジンは、人工知能(AI)エンジンを含む、
請求項1に記載の方法。
【請求項3】
前記第1の指示は、前記1以上のデータソースへの前記1以上の新たな医用画像の到着を指定する、
請求項1に記載の方法。
【請求項4】
前記1以上の新たな医用画像は、新たな健康管理検査資料、または前記新たな医用画像の生成前に作成された既存の検査資料、の一部である、
請求項3に記載の方法。
【請求項5】
複数の画像解析エンジンの場合に、前記少なくとも1つの画像を解析するように決定された各画像解析エンジンの優先度を決定することをさらに含む、
請求項1に記載の方法。
【請求項6】
前記優先度を決定することは、健康管理検査資料内の前記少なくとも1つの画像の特徴、前例、および前記複数の画像解析エンジンの性質に基づく、
請求項5に記載の方法。
【請求項7】
前記通知を受け取ることに応じて、
前記画像解析エンジンを使用して、前記少なくとも1つの画像内の1以上の特徴が、医学的状態を示す所定の基準を満たしているかどうかを判定することと、
前記画像解析エンジンが、DICOM適合性を実装することなくDICOM対応のAI結果表現を生成することと、
前記DICOM対応のAI結果表現をDICOMオブジェクトとして前記医用画像管理システムに送信することと、
をさらに含む、請求項1に記載の方法。
【請求項8】
前記1以上の特徴は、前記医用画像内に示される解剖学的特徴および異常のうちの1以上を含む、
請求項7に記載の方法。
【請求項9】
前記画像解析エンジンは、前記少なくとも1つの画像内の前記1以上の特徴が前記所定の基準を満たしているかどうかをユーザ入力なしで判定するために画像解析を実行するように動作できる、
請求項7に記載の方法。
【請求項10】
医用画像管理システムであって、
健康管理検査資料を受け取るためのネットワーク通信インターフェイスと、
前記ネットワーク通信インターフェイスに結合されて、受け取った健康管理検査資料を記憶するメモリと、
前記メモリに結合されて、前記受け取った健康管理検査資料を表示するディスプレイ画面と、
前記ネットワーク接続インターフェイス、前記メモリおよび前記ディスプレイ画面に結合される1以上のプロセッサであって、
1以上のデータソースにおけるコンテンツ変化の第1の指示をモニタし、
前記1以上の画像に伴う情報または前記少なくとも1つの画像に身体部分検出を適用した結果の一方または両方に基づいて、1以上の新たな医用画像のうちの前記コンテンツ変化に関連する少なくとも1つの画像を複数の画像解析エンジンのうちのどの画像解析エンジンが解析すべきであるかを、前記第1の指示に応じて決定し、
前記1以上の新たな医用画像のうちの前記少なくとも1つの画像を解析するように決定された1以上の画像解析エンジンの組の各画像解析エンジンに、前記1以上の医用画像のうちの前記少なくとも1つの画像に対して画像解析を開始する第1の通知を送信し、
前記1以上の画像解析エンジンの組から、画像解析結果が利用可能である旨の第2の指示を受け取り、
画像解析結果を登録者がアクセスおよび表示に利用できることを示す第2の通知を前記登録者に送信する、
ように構成される1以上のプロセッサと、
を備える、システム。
【請求項11】
前記複数の画像解析エンジンのうちの1以上の画像解析エンジンは、人工知能(AI)エンジンを含む、
請求項10に記載のシステム。
【請求項12】
前記第1の指示は、前記1以上のデータソースへの前記1以上の新たな医用画像の到着を指定する、
請求項10に記載のシステム。
【請求項13】
前記1以上の新たな医用画像は、新たな健康管理検査資料、または前記新たな医用画像の生成前に作成された既存の検査資料、の一部である、
請求項12に記載のシステム。
【請求項14】
前記1以上のプロセッサは、複数の画像解析エンジンの場合に、前記少なくとも1つの画像を解析するように決定された各画像解析エンジンの優先度を決定する、
請求項10に記載のシステム。
【請求項15】
前記優先度の決定は、健康管理検査資料内の前記少なくとも1つの画像の特徴、前例、および前記複数の画像解析エンジンの性質に基づく、
請求項14に記載のシステム。
【請求項16】
命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令は、少なくともプロセッサと、メモリと、ディスプレイ画面とを有するシステムによって実行されたとき、前記システムに、
1以上のデータソースにおけるコンテンツ変化の第1の指示をモニタすることと、
前記1以上の画像に伴う情報または前記少なくとも1つの画像に身体部分検出を適用した結果の一方または両方に基づいて、1以上の新たな医用画像のうちの前記コンテンツ変化に関連する少なくとも1つの画像を複数の画像解析エンジンのうちのどの画像解析エンジンが解析すべきであるかを、前記第1の指示に応じて決定することと、
前記1以上の新たな医用画像のうちの前記少なくとも1つの画像を解析するように決定された1以上の画像解析エンジンの組の各画像解析エンジンに、前記1以上の医用画像のうちの前記少なくとも1つの画像に対して画像解析を開始する第1の通知を送信することと、
前記1以上の画像解析エンジンの組から、画像解析結果が利用可能である旨の第2の指示を受け取ることと、
画像解析結果を登録者がアクセスおよび表示に利用できることを示す第2の通知を前記登録者に送信することと、
を含む方法を実行させる、コンピュータ可読記憶媒体。
【請求項17】
前記複数の画像解析エンジンのうちの1以上の画像解析エンジンは、人工知能(AI)エンジンを含む、
請求項16に記載のコンピュータ可読記憶媒体。
【請求項18】
前記第1の指示は、前記1以上のデータソースへの前記1以上の新たな医用画像の到着を指定する、
請求項16に記載のコンピュータ可読記憶媒体。
【請求項19】
前記1以上の新たな医用画像は、新たな健康管理検査資料、または前記新たな医用画像の生成前に作成された既存の検査資料、の一部である、
請求項18に記載のコンピュータ可読記憶媒体。
【請求項20】
前記方法は、複数の画像解析エンジンの場合に、前記少なくとも1つの画像を解析するように決定された各画像解析エンジンの優先度を決定することをさらに含む、
請求項16に記載のコンピュータ可読記憶媒体。
【請求項21】
前記優先度を決定することは、健康管理検査資料内の前記少なくとも1つの画像の特徴、前例、および前記複数の画像解析エンジンの性質に基づく、
請求項20に記載のコンピュータ可読記憶媒体。
【請求項22】
前記方法は、前記通知を受け取ることに応じて、
前記画像解析エンジンを使用して、前記少なくとも1つの画像内の1以上の特徴が、医学的状態を示す所定の基準を満たしているかどうかを判定することと、
前記画像解析エンジンが、DICOM適合性を実装することなくDICOM対応のAI結果表現を生成することと、
前記DICOM対応のAI結果表現をDICOMオブジェクトとして前記医用画像管理システムに送信することと、
をさらに含む、請求項16に記載のコンピュータ可読記憶媒体。
【請求項23】
前記1以上の特徴は、前記医用画像内に示される解剖学的特徴および異常のうちの1以上を含む、
請求項22に記載のコンピュータ可読記憶媒体。
【請求項24】
前記画像解析エンジンは、前記少なくとも1つの画像内の前記1以上の特徴が前記所定の基準を満たしているかどうかをユーザ入力なしで判定するために画像解析を実行するように動作できる、
請求項22に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用撮像の分野に関し、具体的には、自動画像解析(たとえば、人工知能(AI)解析)プラットフォームを使用して医用画像を解析することに関する。
【背景技術】
【0002】
医師およびその他の医療従事者は、医療上の決断を行う際に患者の関連する臨床情報を全て再考察することが多い。通常、臨床情報は、健康管理検査資料(healthcare studies)および構造化レポートに含まれる。多くの場合、これらの情報は、病歴に関する情報、異なる分野からの診断レポート、画像、およびその他の臨床データを電子フォーマットで含む。
【0003】
患者の健康管理検査資料は、検査または処置からのパラメータ値(たとえば、測定値、読み取り値など)および画像を含む画像診断レポートを含み、これらは通常、診断および治療に役立つように医師間および臨床医間で共有される。
【0004】
通常、健康管理検査資料は、医師が自身の患者の検査を指図することに応じて生成される。多くの場合、検査が行われると、生成された検査資料は画像保管通信システム(PACS)に送られる。医師または臨床医は、医用画像管理システムを使用して、患者の検査資料を含むワークリストを取得することができる。
【0005】
最近では、放射線PACSシステムと共に様々な人工知能(AI)アルゴリズムが利用されている。これらのアルゴリズムは、健康管理検査資料内の画像を評価するプロセスを自動化する。これらのアルゴリズムは、1つの画像または検査資料全体に適用することができ、判読する医師およびその他の臨床ユーザはその結果にアクセスすることができる。たとえアルゴリズムの結果が利用可能であっても、AIアルゴリズムは異なるプラットフォームで展開され、AI結果のための系統的なストレージ、アクセスおよびデータフローは存在しないので、判読する医師が所見に気付かないこともある。判読する医師は、これらの制限によって自動結果をタイムリーに再考察できないことがあり、このため所見の優先レベルに関連する速さで再考察が行われない場合には、患者にさらなる悪影響または治療の遅れが生じる恐れがある。
【発明の概要】
【0006】
医療情報を評価するためのプラットフォームおよびその使用方法について説明する。1つの実施形態では、方法が、医用画像管理システムが1以上のデータソースにおけるコンテンツ変化の第1の指示をモニタすることと、1以上の画像に伴う情報または少なくとも1つの画像に身体部分検出を適用した結果の一方または両方に基づいて、1以上の新たな医用画像のうちのコンテンツ変化に関連する少なくとも1つの画像を複数の画像解析エンジンのうちのどの画像解析エンジンが解析すべきであるかを、第1の指示に応じて決定することと、1以上の新たな医用画像のうちの少なくとも1つの画像を解析するように決定された1以上の画像解析エンジンの組の各画像解析エンジンに、1以上の医用画像のうちの少なくとも1つの画像に対して画像解析を開始する第1の通知を送信することと、1以上の画像解析エンジンの組から、画像解析結果が利用可能である旨の第2の指示を受け取ることと、画像解析結果を登録者がアクセスおよび表示に利用できることを示す第2の通知を登録者に送信することと、を含む。
【0007】
本発明は、以下に示す詳細な説明および本発明の様々な実施形態の添付図面からさらに完全に理解されると思われるが、これらは本発明を特定の実施形態に限定するものではなく、説明および理解のためのものにすぎないと受け取るべきである。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施形態を実装できる例示的な医療情報コンピュータシステム環境を示す図である。
【
図2】健康管理検査資料情報(たとえば、画像)を解析するコンピュータシステムアーキテクチャの1つの実施形態を示すブロック図である。
【
図3】医用画像のうちの1以上に適用された自動画像解析アルゴリズム(たとえば、AIアルゴリズム)を使用して医用画像を解析するプロセスの1つの実施形態のデータフロー図である。
【
図4A】医用画像に対して画像解析を実行する際に使用されるAIプラットフォームの1つの実施形態のブロック図である。
【
図4B】医用画像に対して画像解析を実行する際に使用されるAIプラットフォームの1つの実施形態のデータフロー図である。
【
図5】画像解析(たとえば、AI解析)プラットフォームを使用して医用画像を処理するプロセスの1つの実施形態のフロー図である。
【
図6】画像解析(たとえば、AI解析)プラットフォームを使用して医用画像を処理するプロセスの別の実施形態のフロー図である。
【
図7】医用撮像および情報管理システムの論理的表現の例示的な実施形態を示す図である。
【発明を実施するための形態】
【0009】
以下の説明では、本発明を完全に説明できるように数多くの詳細を示す。しかしながら、当業者には、これらの特定の詳細を伴わずに本発明を実施できることが明らかであろう。その他の場合には、本発明を曖昧にしないように、周知の構造および装置については詳細にではなくブロック図形式で示す。
【0010】
本発明の実施形態は、医用画像を解析するためのプラットフォームを使用して画像解析ワークフローを実行するシステムおよび方法に関する。1つの実施形態では、画像解析が、ワークフロー(たとえば、放射線学のワークフロー、心臓学のワークフローなど)の一部として医用画像を解析するために使用される人工知能(AI)解析を含む。1つの実施形態では、医用画像が健康管理検査資料の一部であり、プラットフォームが、医用画像管理システムの一部であるまたは医用画像管理システムに関連するAIプラットフォームである。1つの実施形態では、AIプラットフォームが、異なる科におけるAIワークフローのシームレスな統合を確立するように複数のAIアルゴリズムが統合されたオープンAPIベースのプラットフォームである。医用画像を解析するために利用可能な複数のAIアルゴリズムを有することにより、患者の医学的状態を先行技術よりも素早く識別できる可能性が高くなる。これにより、健康管理検査資料が重大な/切迫した結果をリストの最上部に提示して、さらに素早い診断を可能にすることができる。本発明の概要を簡潔に説明したところで、
図1~
図7を参照しながら本発明の実施形態を説明する。
【0011】
本明細書では、法令要件を満たすように本発明の実施形態の主題を特異的に説明する。しかしながら、この説明自体は、本発明の範囲を限定するように意図されたものではない。むしろ、本発明者らは、現在のまたは将来的な他の技術と併せて、異なること、または本明細書で説明するものと同様のことの組み合わせを含むように、特許請求する主題を他の形でも具体化できることを目論んでいる。
【0012】
本発明の実施形態を簡潔に説明したところで、以下、本発明の実施形態の実装における使用に適した例示的な動作環境について説明する。
【0013】
全体的に図面を参照すると、特に最初に
図1に本発明の実施形態を実装できる医療情報コンピュータシステム環境を示し、全体を参照番号120として指定する。当業者であれば、図示の医療情報コンピュータシステム環境120は1つの好適なコンピュータ環境の一例にすぎず、本発明の使用または機能の範囲に関するいずれかの限定を示唆するように意図されたものではないと理解するであろう。また、医療情報コンピュータシステム環境120は、図示のいずれかの単一のコンポーネントまたはコンポーネントの組み合わせに関連する依存性または要件を有するものでもないと解釈されたい。
【0014】
本開示の実施形態は、数多くの汎用または専用コンピュータシステム環境または構成と共に動作することができる。本発明との使用に適することができる周知のコンピュータシステム、環境および/または構成の例としては、ほんの一例として、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド装置またはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラム可能な消費者電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、および上述したシステムまたは装置のうちのいずれかを含む分散コンピュータ環境などが挙げられる。
【0015】
本発明の実施形態は、コンピュータがプログラムモジュールなどのコンピュータ実行可能命令を実行する一般的状況で説明することができる。一般に、プログラムモジュールは、以下に限定するわけではないが、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネントおよびデータ構造を含む。本発明は、通信ネットワークを通じてリンクされた遠隔処理装置によってタスクが実行される分散コンピュータ環境で実施することもできる。分散コンピュータ環境では、一例としてメモリ記憶装置を含む局所的および/または遠隔的コンピュータ記憶媒体に関連付けてプログラムモジュールを配置することができる。
【0016】
引き続き
図1を参照すると、例示的な医療情報コンピュータシステム環境120は、制御サーバ122の形の汎用コンピュータ装置を含む。制御サーバ122のコンポーネントは、処理ユニットと、内部システムメモリと、データベースクラスタ124を含む様々なシステムコンポーネントを制御サーバ122に結合するための好適なシステムバスとを制限なく含むことができる。システムバスは、様々なバスアーキテクチャのうちのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バスおよびローカルバスを含む複数のタイプのバス構造のうちのいずれかとすることができる。限定ではなく一例として、このようなアーキテクチャは、業界標準アーキテクチャ(ISA)バス、マイクロチャネルアーキテクチャ(MCA)バス、高度ISA(EISA)バス、ビデオ電子標準協会(VESA)ローカルバス、およびMezzanineバスとしても知られている周辺コンポーネント相互接続(PCI)バスを含む。
【0017】
通常、制御サーバ122は、たとえばデータベースクラスタ124などの様々なコンピュータ可読媒体を含み、またはこのようなコンピュータ可読媒体にアクセスすることができる。コンピュータ可読媒体は、制御サーバ122がアクセスできるいずれかの利用可能な媒体とすることができ、揮発性および不揮発性媒体、並びに取り外し可能および取り外し不能媒体を含む。限定ではなく一例として、コンピュータ可読媒体は、コンピュータ記憶媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータなどの情報を記憶するためのいずれかの方法または技術で実装された揮発性および不揮発性媒体、並びに取り外し可能および取り外し不能媒体を制限なく含むことができる。この点、コンピュータ記憶媒体は、以下に限定するわけではないが、RAM、ROM、EEPROM、フラッシュメモリまたはその他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)またはその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気記憶装置、あるいは所望の情報を記憶するために使用できるとともに制御サーバ122がアクセスできる他のいずれかの媒体を含むことができる。限定ではなく一例として、通信媒体は、有線ネットワークまたは直接配線接続などの有線媒体と、音響、RF、赤外線およびその他の無線媒体などの無線媒体とを含む。コンピュータ可読媒体の範囲には、上記のうちのいずれかの組み合わせを含めることもできる。
【0018】
図1に示して上述したデータベースクラスタ124を含むコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、および制御サーバ122のための他のデータのストレージを提供する。制御サーバ122は、1以上のリモートコンピュータ128への論理接続を使用してコンピュータネットワーク126内で動作することができる。リモートコンピュータ128は、たとえば以下に限定するわけではないが、臨床検査室(たとえば、分子臨床検査室)、病院およびその他の入院患者環境、獣医環境、外来環境、医療費請求事務室および財務室、病院管理環境、在宅医療環境および診療所などの、医療または研究環境内の様々な位置に配置することができる。臨床医は、以下に限定するわけではないが、1または複数の治療担当医、集中治療専門医、外科医、放射線医、循環器専門医および腫瘍医などの専門医、救急医療技師、医師の助手、実地看護師、看護師、補助看護師、薬剤師、栄養士、微生物学者、検査室専門家、検査室技師、放射線技師、研究者、獣医および学生などを含む。リモートコンピュータ128は、医療団体全体をネットワーク上で一体化できるように非伝統的な医療環境内に物理的に配置することもできる。リモートコンピュータ128は、パーソナルコンピュータ、サーバ、ルータ、ネットワークPC、ピア装置、または他の共通ネットワークノードなどとすることができ、制御サーバ122に関して上述した要素の一部または全部を含むことができる。装置は、携帯情報端末または他の同様の装置とすることができる。
【0019】
例示的なコンピュータネットワーク126は、ローカルエリアネットワーク(LAN)および/またはワイドエリアネットワーク(WAN)を制限なく含むことができる。このようなネットワーク環境は、オフィス、企業規模のコンピュータネットワーク、イントラネットおよびインターネットにおいて一般的である。制御サーバ122は、WANネットワーク環境で利用される場合、インターネットなどのWANを介して通信を確立するためのモデムまたはその他の手段を含むことができる。ネットワーク環境では、プログラムモジュールまたはその一部を、制御サーバ122、データベースクラスタ124、またはいずれかのリモートコンピュータ128に関連付けて記憶することができる。限定ではなく一例として、いずれか1以上のリモートコンピュータ128に関連するメモリ上には、様々なアプリケーションプログラムが存在することができる。当業者であれば、図示のネットワーク接続は例示であり、コンピュータ(たとえば、制御サーバ122およびリモートコンピュータ128)間の通信リンクを確立する他の手段を利用することもできると理解するであろう。
【0020】
臨床医は、活動中に、キーボード、(一般にマウスと呼ばれる)ポインティングデバイス、トラックボールまたはタッチパッドなどの入力装置を通じて制御サーバ122にコマンドおよび情報を入力し、あるいは1以上のリモートコンピュータ128を介して制御サーバ122にコマンドおよび情報を伝えることができる。他の入力装置は、マイクまたはスキャナなどを制限なく含むことができる。コマンドおよび情報は、遠隔医療装置から制御サーバ122に直接送信することもできる。制御サーバ122および/またはリモートコンピュータ128は、モニタに加えてスピーカおよびプリンタなどの他の周辺出力装置を含むこともできる。
【0021】
制御サーバ122およびリモートコンピュータ128の他の多くの内部コンポーネントについては図示していないが、当業者であれば、このようなコンポーネントおよびその相互接続は周知であると理解するであろう。従って、本明細書では、制御サーバ122およびリモートコンピュータ128の内部構造に関するさらなる詳細についてはこれ以上開示しない。
【0022】
図2は、画像解析(たとえば、医用画像の人工知能(AI)解析)を実行するコンピュータシステムアーキテクチャの例を示すブロック図である。なお、
図2に示すコンピュータシステムアーキテクチャは、1つの好適なコンピュータシステムの例にすぎず、いずれかの単一のモジュール/コンポーネントまたはモジュール/コンポーネントの組み合わせに関連するいずれかの依存性または要件を有するように意図されたものではないと理解されるであろう。
【0023】
1つの実施形態では、コンピュータシステムが、検査資料解析200と、未読の健康管理検査資料または新たな医用画像を含む既存の健康管理検査資料(および、場合によっては他の健康管理検査資料)を記憶して維持する1以上のデータベース230と、たとえばデータベース230に記憶された健康管理検査資料などの未読の健康管理検査資料の画像に1以上の自動画像解析アルゴリズム(たとえば、人工知能(AI)解析アルゴリズム)を適用することによって得られる所見を記憶して維持する1以上のデータベース231とを含む。1つの実施形態では、データベース230および231が同じデータベースの組である。
【0024】
1つの実施形態では、健康管理検査資料が、医療検査に関連する画像と、たとえば1以上の医療パラメータ(たとえば、測定値など)などの検査データとを含む。例示的な医用画像は、放射線画像、検査室画像、写真、心エコー画像などの心臓病画像、およびその他の医用画像を含む。当業者であれば、データベースは、個別に維持することもまたは統合することもできると理解するであろう。データベース230は、患者の電子医療記録(EMR)内から画像および/または検査データを選択し、表示コンポーネント222を介してビューア内に表示できるように、あるいは画像、EKGの写真、注記などを記憶するVNA(ベンダー中立アーカイブ)にリンクできるように、EMRにリンクされた画像またはその他の検査データ(たとえば、パラメータ値(たとえば、測定値))を含むことができる。本明細書で使用する「EMR」という頭字語は、限定的であることを意図したものではなく、デジタルフォーマットで示される患者の医療記録の一部または全部の態様を広く意味する。一般に、EMRは、コンピュータ装置を使用した個人記録の記憶と検索とを協調させるように構成されたシステムによってサポートされる。従って、このようにして様々なタイプの医療関連情報を記憶し、これらにアクセスすることができる。1つの実施形態では、自動画像解析アルゴリズムが、健康管理検査資料の1以上の画像に対して実行されるAI解析アルゴリズムである。これらのアルゴリズムは、医用画像管理プラットフォームと通信する1以上のサーバ(たとえば、AIエンジンおよびアプリケーション)を使用して遠隔的に適用することができる。これらのサーバは、検査資料およびその関連画像を受け取ってこれらの画像に自動的にこれらのアルゴリズムを適用する。あるいは、AI解析アルゴリズムは、プラットフォームに統合されて、医用画像管理システムが検査資料を受け取った後に、画像解析コンポーネント218によって健康管理検査資料の画像に対して局所的に適用される。あるいは、これらのアルゴリズムのいくつかが遠隔的に実行され、他のアルゴリズムが局所的に実行される。
【0025】
AIアルゴリズム(またはその他の画像解析アルゴリズム)は、画像にアルゴリズムを適用した結果を詳述する所見を生成する。1つの実施形態では、これらのAIアルゴリズムが、アルゴリズムによって識別された考えられる患者の状態を示すテキスト所見を生成する。1つの実施形態では、所見が、自動画像解析アルゴリズムによって準備されるスコア(たとえば、異常性スコア、解析結果に関連する数値的信頼度指標など)を含む。たとえば、異常性スコアは、画像に対して実行された解析に基づいて患者に異常がある可能性を示す大きさを含む(たとえば、スコアが高ければ高いほど可能性も高い)。なお、別の実施形態では、アルゴリズムからの所見に診断の信頼度などの他のスコアを含めることもできる。
【0026】
検査資料解析モジュール200は、新たな健康管理検査資料または新たな医用画像を有する健康管理検査資料のコンテンツの変化についてストレージなどのデータソースをモニタするモニタリングコンポーネント210を含む。これらのデータソースは、PACS、VNA、あるいはその他のリポジトリまたはデータベースシステムとすることができる。これらの健康管理検査資料は、複数のソース(たとえば、データベース)から入手することができる。検査資料解析モジュール200は、たとえば
図1を参照しながら上述した制御サーバ122などの1以上のコンピュータ装置上に存在することができる。一例として、1つの実施形態では、制御サーバ122がコンピュータプロセッサを含み、サーバ、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルド装置、モバイル装置、または消費者電子装置などとすることができる。
【0027】
1つの実施形態では、検査資料解析モジュール200が、選択コンポーネント212、オーケストレーションコンポーネント214、通知コンポーネント216、画像解析(たとえば、AI解析)コンポーネント218、および画像解析(たとえば、AI解析)結果生成コンポーネント220を含む。様々な実施形態では、検査資料解析モジュール200が、表示コンポーネント222、履歴コンポーネント224、情報コンポーネント226、および操作コンポーネント228を含む。なお、検査資料解析モジュール200は、データベース230に記憶された健康管理検査資料を受け取っているが、複数の施設および/または複数の場所に分散したデータベースを含む複数のソースからの健康管理検査資料、並びに健康管理検査資料の画像に1以上の自動画像解析アルゴリズム(たとえば、AI解析アルゴリズム)を適用することによって得られる所見を受け取ることができると理解されるであろう。また、検査資料解析モジュール200は、自動画像解析アルゴリズム(たとえば、AI解析アルゴリズム)からの画像および/または所見を含む健康管理検査資料を、上述したソースから患者のEMR内のリンクを介して受け取ることができると理解されるであろう。
【0028】
モニタリングコンポーネント210がデータソースのうちの1以上に新たなコンテンツが存在すると判定したことに応じて、選択コンポーネント212は、新たな健康管理検査資料または新たな医用画像を有する健康管理検査資料を選択し、データソースにアクセスしてこのような検査資料を取得する。1つの実施形態では、健康管理検査資料が、1以上の一連の画像と、1以上のパラメータ値(たとえば、測定値、所見、印象、患者の人口統計データ、および/または病歴/リスク因子など)とを含む。1つの実施形態では、各一連の画像が、画像の題材を様々な角度から示す1以上の画像を含む。マルチメディアマネージャ内のリスト全体像(list perspective)は、(未読の検査資料を含む)利用可能な検査資料、画像およびその他のメディアを提供する。
【0029】
オーケストレーションコンポーネント214は、新たな医用画像を解析するためにどの画像解析アルゴリズムを適用すべきであるかを決定する。1つの実施形態では、オーケストレーションコンポーネント214が、新たな医用画像のうちのどの画像を解析すべきであるか、およびどのAIアルゴリズムが解析を実行すべきであるかを決定する。1つの実施形態では、AIアルゴリズムが、画像解析(たとえば、AI解析)コンポーネント218のAIエンジンまたはAIアプリケーションによって実行される。1つの実施形態では、AIエンジンが、ロジックを実装するおよび/またはソフトウェアを実行する回路を含む。ソフトウェアは、アプリケーションとすることができる。オーケストレーションコンポーネント214は、決定に基づいて、画像解析コンポーネント218のAIアルゴリズムに評価すべき画像を割り当てる。
【0030】
通知コンポーネント216は、AIアルゴリズムを実行しているAIエンジンまたはシステム(たとえば、サーバ)に、新たな医用画像の解析に関する割り当てについて通知する。1つの実施形態では、通知コンポーネント216が、検査資料識別子と、どの画像を評価すべきであるかに関する情報とを通知の一部として送信し、画像解析コンポーネント218は、これに応じて記憶先のデータソースから評価する画像を取得する。あるいは、通知コンポーネント216は、解析すべきその実際の画像を送信する。
【0031】
画像が取得されると、画像解析コンポーネント218は、画像に対してAIまたはその他の画像解析を実行して所見を生成する。1つの実施形態では、この動作が、1以上のAIエンジンまたはサーバ上で実行する1以上のAIアルゴリズムを作動させることを含む。AIエンジンまたはサーバのうちの1以上は、AIプラットフォームの内部またはAIプラットフォームの外部に存在することができる。1つの実施形態では、複数のAIエンジンまたはサーバが同じまたは異なる医用画像に対して同時に解析を実行することができる。各AIアルゴリズムは、アルゴリズムの所見を示す結果を生成する。AIアルゴリズムは、所見の一部として、解析された画像に関連する患者の診断または状態に関連する画像またはその一部を含むことができる。画像解析結果生成コンポーネント220は、画像解析コンポーネント218のAIアルゴリズムからの所見を考慮して出力を生成し、この出力が再考察のために送信され、その後のアクセスのために記憶される。
【0032】
表示コンポーネント222は、健康管理検査資料からの画像およびその他のデータと、健康管理検査資料内の画像に自動画像解析アルゴリズムを適用することによって得られる所見とを含むグラフィックユーザインターフェイスを表示するためのモニタ、コンピュータ画面、投影装置またはその他のハードウェア装置とすることができるグラフィックディスプレイ装置を含む。1つの実施形態では、表示コンポーネント222が、未読の健康管理検査資料または新たな画像を含む健康管理検査資料のリストを含むGUIを、緊急性または重大性の高い所見を含む検査資料を強調する優先度情報と共に表示する。1つの実施形態では、未読の健康管理検査資料のリストが優先度に基づいてソートされる。別の実施形態では、健康管理検査資料のリストがソートされず、医師が未読の健康管理検査資料の表示状態から優先レベル(たとえば、優先度が高いことおよび/または優先度が低いこと)を識別できるように、明確に優先度情報が示される。
【0033】
1つの実施形態では、履歴コンポーネント224が、複数の医用画像に関連する異なる検査資料および臨床画像の履歴を表示する。さらに、履歴コンポーネント224は、表示コンポーネント222がビューア内に表示すべき1以上の画像を履歴から選択できるようにする。たとえば、選択コンポーネント212は、臨床医から特定の検査資料の選択を受け取ることができる。しかしながら、この選択された検査資料を含む画像を表示コンポーネント222が表示した時点で、履歴コンポーネント224は、臨床医の関心が特に高い他の検査資料および臨床画像を表示することができる。この結果、臨床医は、ビューア内で起動すべきさらなる項目を履歴から選択することができる。
【0034】
1つの実施形態では、情報コンポーネント226が、複数の医用画像、履歴、またはこれらの組み合わせに関連する追加情報を表示する。この追加情報は、患者識別情報、画像関連情報、検査資料関連情報、またはこれらの組み合わせを含む。このような追加情報は、時間関連情報を含むこともできる。
【0035】
1つの実施形態では、操作コンポーネント228が、臨床医による医用画像の表示の操作を可能にする。たとえば、臨床医は、画像がビューア内に描画された時に、この画像が所望の詳細レベルを見るのに十分な大きさではないと判断することができる。臨床医は、ズームインまたはズームアウトを行うことができ、操作コンポーネント228は、これに従って画像の表示を操作する。同様に、臨床医は、画像をパンしたいと望むこともでき、操作コンポーネント228は、これに従って画像の表示を操作する。
【0036】
図3は、健康管理検査資料の画像のうちの1以上に適用される自動画像解析アルゴリズム(たとえば、AI解析アルゴリズムなど)を使用して健康管理検査資料の画像を自動的に解析するプロセスの1つの実施形態のデータフロー図である。
【0037】
図3を参照すると、医用画像管理システム310が、1以上の健康管理検査資料301を受け取る。健康管理検査資料301は、未読の健康管理検査資料、あるいは1以上の新たな画像を含む健康管理検査資料を含むことができる。1つの実施形態では、医用画像管理システム310が、評価のための新たな健康管理検査資料および/または新たな画像を含む健康管理検査資料についてデータソースをモニタするモニタリングロジック312に応じて健康管理検査資料301を受け取る。1つの実施形態では、医用撮像(たとえば、心臓血管(CV)、X線検査、磁気共鳴映像法、超音波、内視鏡検査、触覚撮像(tactile imaging)、サーモグラフィ、陽電子放出断層撮影法(PET)および単光子放出コンピュータ断層撮影法(SPECT)などの核医学機能撮像法など)を実行する1以上の医用撮像モダリティから1以上の未読の健康管理検査資料301が送信される。別の実施形態では、医用画像管理システム310が、遠隔地から1以上の健康管理検査資料301を受け取る。1つの実施形態では、遠隔地が、検査資料を作成する1以上のモダリティ、または離れて配置された画像リポジトリ(たとえば、画像保管通信システム(PACS)、VNAなど)を含むことができる。
【0038】
1つの実施形態では、モニタリングロジック312が、1以上のデータソースにおけるコンテンツ変化(たとえば、新たな健康管理検査資料または新たな医用画像の生成前に作成された既存の検査資料の一部である新たな医用画像の到着)の第1の指示をモニタし、コンテンツ変化が発生したと判定したことに応じてこれらの検査資料を取得する。1つの実施形態では、モニタリングロジック312が、健康管理検査資料を記憶しているデータソースまたは健康管理検査資料を生成するモダリティ/施設から、このような検査資料が再考察および評価に利用可能であることを示す通知を受け取ることに応じて、コンテンツ変化が発生したと判定する。モニタリングロジック312は、これらの通知に応じて、検査資料を記憶しているデータソースにアクセスしてこれらを取得する。このアクセスは、データソースに検査資料のコピーを求める要求を含むことができる。要求は、直接またはデータソースへのネットワーク接続を介して送信することができる。1つの実施形態では、医用画像管理システム310が、検査資料のコピーを求める要求をデータソースに送信して健康管理検査資料を受け取る(単複の)ネットワーク通信インターフェイス(図示せず)を含む。別の実施形態では、医用画像管理システム310が、個々のデータソースとの直接接続を介して検査資料を要求して受け取る。
【0039】
1つの実施形態では、医用画像管理システム310が、たとえばメモリ323などの、受け取った健康管理検査資料を記憶するメモリを含む。
【0040】
1つの実施形態では、解析すべき医用画像を含む健康管理検査資料を取得した後に、コントローラ311(たとえば、1以上のプロセッサ)が、複数の画像解析エンジン340(たとえば、1以上の人工知能(AI)エンジン)のうちのどの画像解析エンジンが新たな医用画像のうちの少なくとも1つを解析すべきであるかを決定する。本明細書では、このことを画像解析(たとえば、AI解析)オーケストレーションと呼ぶ。コントローラ311は、画像解析エンジン340のうちの医用画像を評価するように識別された画像解析エンジンに対し、これらの画像解析エンジンに新たな医用画像のうちの1以上に対する画像解析を開始させる通知を送信する。1つの実施形態では、どの画像解析エンジンであるかの決定が、1以上の画像に伴う情報、および/または新たな画像のうちの少なくとも1つに対して身体部分検出を適用した結果に基づく。
【0041】
1つの実施形態では、自動解析エンジン(たとえば、AI画像解析エンジン)の各々が、健康管理検査資料の画像および/または非画像データの解析を実行する。非画像データの例としては、以下に限定するわけではないが、テキスト、波形、時系列、構造化/テンプレートベースのレポートが挙げられる。1つの実施形態では、自動画像解析エンジン(たとえば、AI解析エンジンなど)340などで示すように、これらのエンジンを医用画像管理システムに統合することができる。別の実施形態では、これらのエンジン302のうちの1以上が、医用画像管理システムに対して離れて配置される。1つの実施形態では、画像解析エンジン340が、所見または結果320を生成する。1つの実施形態では、個々の解析エンジンが、画像解析のみに基づいて所見を生成し、他の解析エンジンが、画像解析とデータ解析との組み合わせに基づいて所見を生成する。1つの実施形態では、画像解析エンジン340の自動画像解析アルゴリズムを適用することから得られる所見が異常性スコアを含み、異常性スコアの数字が高ければ高いほど、AIまたはその他の画像解析によって検査資料内の1以上の画像において異常が識別される可能性も高い。1つの実施形態では、画像解析エンジン340の自動画像解析アルゴリズムを適用することから得られる所見が、(単複の)画像および/または非画像データ内で何も見つからなかった旨の指示を含むことができる。これらのエンジンを画像に適用することから得られた結果(所見)は、有線または無線通信を介して医用画像管理システム310に送られる。
【0042】
画像解析エンジン340は、画像および/または非画像を解析して所見を生成した後に、結果が生成された旨の指示および結果自体をプラットフォームに送信する。これに応じて、プラットフォームは、画像解析結果がアクセスおよび表示のために利用可能であることを示す通知を登録者に送信する。
【0043】
健康管理検査資料301および自動画像解析(たとえば、画像解析エンジン340がAI解析を実行して所見を取得した)後に、出力ロジック313が、メモリ323からAIおよびその他の画像解析結果320を取得し、この情報を使用して、ディスプレイ装置314上のGUI(またはビューア)330内にAI結果3311~331Nを表示する。1つの実施形態では、AIエンジン340のうちの1つによって評価されてAI結果が作成された画像を含む検査資料の全部または一部と共にAI結果が表示される。すなわち、ディスプレイ314は、ユーザが1以上の健康管理検査資料またはこれらの一部を、たとえばAI結果3311~331NなどのAIまたはその他の画像解析結果と共にグラフィカルユーザインターフェイス330内に表示することを可能にする。これにより、医師またはその他の医療専門家は、受け取られた検査資料および実行された画像解析の結果を容易に確認することができる。
【0044】
1つの実施形態では、コントローラ311が、医用画像管理システム310の他の動作も制御する。1つの実施形態では、コントローラ311が、1以上のプロセッサ、マイクロコントローラ、および/またはハードウェア、ソフトウェアおよび/またはファームウェアの組み合わせを含む。
【0045】
図4Aおよび
図4Bに、
図3の医用画像管理システム310などの医用画像管理システムの一部であるAIプラットフォームアーキテクチャの1つの実施形態を示す。1つの実施形態では、
図4Aおよび
図4BのAIプラットフォームアーキテクチャが、本明細書で説明した動作を実行する複数のコンポーネントを含み、これらは、オープンAPI403、モニタリングロジック402a、画像解析(たとえば、AI解析)オーケストレーションを実行するオーケストレーションエンジン430、AIエンジン403Aのプラットフォームへの統合、検査資料通知ロジック402B、画像解析(たとえば、AI)スキャン、1以上のAIサーバ(たとえば、サーバ403B)の使用、1以上の内蔵AIサーバ(たとえば、サーバ403A)、および画像解析結果(たとえば、AI結果)通知ロジック460といった特徴を含む。これらの各々については、以下でさらに詳細に説明する。1つの実施形態では、AIスキャンが、画像を処理して結果データを生成する1以上のAIエンジンまたはアルゴリズムに関する。別の実施形態では、検査資料をスキャンすることが、検査資料を断片に分割し、これを個々のAIアルゴリズム(オーケストレ-ティング)+個々のAI処理に送信する全体的プロセスも意味する。
【0046】
AIプラットフォームは、医療ワークフロー(たとえば、放射線ワークフロー)内で効果的にAI評価を実行するために、アプリケーション(たとえば、アプリケーション401、AIサーバ403A、403B上で動作するアプリケーションなど)およびAIエンジン(たとえば、403A、403B)にオープンAPI403を提供する。1つの実施形態では、オープンAPI403が、DICOMゲートウェイ(たとえば、480、473)を使用したDICOM情報へのアクセスを可能にする。1つの実施形態では、DICOMゲートウェイ(たとえば、480、473)が、QIDO-RS、WADO-RSおよびSTOW-RSを介してDICOM情報にアクセスするために使用される。
【0047】
1つの実施形態では、オープンAPI403が、アプリケーション(たとえば、401)またはAIエンジン(たとえば、403A、403B)がDICOM適合性を実装する必要なく、DICOM GSPS、DICOMセグメンテーション、セカンダリキャプチャ、基本構造化表示(Basic Structured Display)、キーオブジェクト選択、構造化レポートなどと共に機能する機構およびデータモデルを提供する。以下でさらに詳細に説明するように、1つの実施形態では、オープンAPI403が、複数のシステムにわたる画像解析(たとえば、AI解析)結果の系統的な管理およびアクセスに役立つthinklogインスタンスの問い合わせ、検索および作成を行うAPIを含む。thinklogに関するさらなる情報については、2015年8月6日に出願された「医用画像表示システムを使用して情報をログ記録する方法および装置(METHODS AND APPARATUS FOR LOGGING INFORMATION USING A MEDICAL IMAGING DISPLAY SYSTEM)」という名称の米国特許出願公開第14/820,144号を参照されたい。
【0048】
1つの実施形態では、オープンAPI403が、アプリケーション(たとえば、401)がAIスキャンをトリガしてAIスキャンまたはAI解析の状態を追跡できるような形でのAIエンジン(たとえば、403A、403B)およびスキャンワークフローへのアクセスも提供する。
【0049】
1つの実施形態では、AIプラットフォームが、PACSシステム(400A、400B)および/またはVNAと一体化される。1つの実施形態では、AIプラットフォームが、PACSシステムおよびVNAをデータソースとして構成する。従って、たとえば有線または無線ネットワーク接続を介してPACSシステム(400A、400B)およびVNAが検査資料(たとえば、425、426)を受け取ると、AIプラットフォームはこれらを取得することができる。
【0050】
AIプラットフォームは、PACSシステム400Aおよび400Bに接続されると、モニタリングロジック402aを使用して、新たな検査資料の到着、既存の検査資料へのDICOM画像または非DICOM画像の到着または他の新たな画像の到着を含む、データソースのコンテンツ変化を継続的にモニタする。1つの実施形態では、モニタリングロジック402aが、カスタム統合および標準インターフェイス(たとえば、HL7/FHIR)を通じて検査資料モニタリングを行う。1つの実施形態では、カスタム統合が、新たな画像が到着した旨が通知(たとえば、画像到着427)を介してモニタリングロジック402aに通知されることを伴い、たとえば検査資料識別子(ID)を介して新たな画像を含む検査資料を識別し、どのような変化が起きたか(たとえば、新たな検査資料が到着したこと、検査資料内の全ての画像の中で新たな画像を指定する識別情報(たとえば、メタデータ)と共に新たな画像が検査資料に追加されこと、および新たな画像内に情報のタイプ(たとえば、(単複の)身体部分)が示されたこと)についての指示を識別する。1つの実施形態では、画像到着通知がHTTP通信(たとえば、POST)を介する。対照的に、モニタリングロジック402aは、標準インターフェイスを使用して、PACSシステム400Aおよび400Bなどのデータソースにコンテンツ変化(たとえば、画像到着428として示される新たな検査資料または新たな画像)が存在する旨の指示を受け取る。1つの実施形態では、この指示が、発生した変化を識別する情報を含まない。このような場合には、検査資料にアクセスし、これを解析して新たなコンテンツを特定し、新たなコンテンツを再考察するためにどの画像解析エンジンが適しているかを判定する。
【0051】
AIプラットフォーム400は、PACS/VNA内のコンテンツ変化を識別すると、検査資料を取得し、オーケストレーションエンジン430を使用してAIオーケストレーションを実行して、検査資料を評価するためにどのAIアルゴリズムを割り当てる必要があるかを決定する。1つの実施形態では、オーケストレーションエンジン430が、様々なヘッダベースのフィルタ(たとえば、DICOMヘッダベースのフィルタ)を利用することによってオーケストレーションを実行して、画像ファイルのヘッダに記憶された情報を取得して評価する。たとえば、ある画像、一連の画像または検査資料内のヘッダ情報は、検査資料を評価するのに適した画像解析エンジンを識別するために使用できるコンテンツ(たとえば、身体部分、検査のタイプなど)を特定することができる。1つの実施形態では、オーケストレーションエンジン430が、内蔵型身体部分検出アルゴリズムを使用して、画像内に示される(単複の)身体部分を特定し、これらのタイプの身体部分を含む画像を解析するのに適したAIエンジン(403A、403B)を識別する。
【0052】
オーケストレーションエンジン430は、検査資料を評価すべき複数のAIエンジンを識別することができる。1つの実施形態では、複数のAIエンジンが検査資料の評価を必要とする場合、AIプラットフォーム400のオーケストレーションエンジン430が、各AIエンジン(または実行すべき各AIアルゴリズム)の優先度を決定し、この優先度に基づいて検査資料を評価するタスクを割り当てる。1つの実施形態では、オーケストレーションエンジン430が、検査資料内の特徴、以前の検査資料(たとえば、現在の検査資料の前に取得された同じ患者の検査資料)および/またはアルゴリズムの性質に基づいて優先度を決定する。たとえば、以前の検査資料に関して言えば、一部のAIスキャンは、AIプラットフォーム(たとえば、AIプラットフォーム400)がAIアルゴリズムを使用して検査資料をスキャンする際に、以前の検査資料に対してもAI解析(すなわち、AIスキャン)を実行するという理由で以前の検査資料を必要とする。優先度に関して言えば、たとえばAIアルゴリズムが脳出血を検出するためのものである場合、このような出血が存在する場合には直ぐに治療を行うべきであるため、このような検出は高優先度で実行されるべきである。優先度の割り当ては、一度に1つの画像解析にしか対処しない1つのAIエンジンが異なる検査資料からの複数の画像を同時に利用できる場合にも使用される。
【0053】
AIプラットフォーム400は、オーケストレーションエンジン430によって行われたオーケストレーション決定に基づいて、AIプラットフォーム400に統合されたAIサーバ(403A、403B)またはアプリケーション(401)に通知を行う。これらのAIエンジンは、AIプラットフォーム400(たとえば、AIエンジン403A)内にホストすることも、あるいはプラットフォームの外部の別のAIサーバ(たとえば、AIサーバ403B)内にホストすることもできる。異なる実施形態では、AIサーバ403Bが、プレミス環境(premise environment)上またはクラウド環境内に存在することができる。AIプラットフォーム400は、アプリケーションまたはAIエンジン(401、403A、403B)がデータ(たとえば、検査資料、画像)にアクセスするために、または所見(たとえば、AI結果)を記憶するために利用するオープンAPI403を提供する。
【0054】
1つの実施形態では、解析すべき検査資料および画像に関する情報を含む通知が通知ロジック402Bによって送信される。1つの実施形態では、AIアプリケーションまたはAIエンジン(401、403A、403B)が、AIプラットフォーム400から通知ロジック402Bを介して、検査資料に対してAI評価を開始する通知を受け取ることができる。1つの実施形態では、アプリケーションまたはAIエンジン(401、403A、403B)が、通知が特定の特徴を満たす場合に通知を受け取るように登録するという点で登録者である。たとえば、1つの実施形態では、オーケストレーションエンジン430が、所定のフィルタおよびアルゴリズム特性を使用して、評価のために送信されるAIサーバの要件を満たす特定の特徴を再考察用の画像が有しているかどうかを判定する。
【0055】
アプリケーションまたはAIエンジン(401、403A、403B)は、通知を受け取ると、DICOMゲートウェイAPI480を通じて、再考察すべき画像(たとえば、DICOM画像)をAIプラットフォーム400から検索し、1以上の新たな画像を解析する。解析の結果は、所見またはAI結果を含む。
【0056】
1つの実施形態では、AIプラットフォームが、複数の企業固有のAIエンジンが統合されて展開された内蔵AIサーバ403Aを有する。1つの実施形態では、AIサーバ403Aへの通知が、オーケストレーションエンジン430によって割り当てられた優先度およびその他の拡張性考察に基づいて待ち行列に入れられて処理される。1つの実施形態では、AIプラットフォーム400が、DICOMゲートウェイAPI480を使用して、通知メッセージ内で特定されたデータソースからDICOMインスタンスを取得してキャッシュに入れる。AIプラットフォーム400は、データを解析してAIエンジンのために必要な入力を準備する。この入力準備は、エンジンのために必要なDICOMヘッダおよび画素データの準備を含む。1つの実施形態では、いくつかのエンジンが、画像処理のために再フォーマットされた3D体積を必要とし、AIプラットフォーム400は、再構成を実行し、好適な平面内に体積を準備し、AIエンジンに処理データを供給する。1つの実施形態では、AIサーバ403AのAIエンジンが、この入力を利用してDICOM画像を評価し、様々な所見(異常および病気)および器官を検出する。
【0057】
各AIエンジンまたはアプリケーションは、対応する所見を表す様々な形態の結果を生成し、対応するオープンAPIを使用してこれらを再び記憶する。1つの実施形態では、これらの結果が、以下に限定するわけではないが、DICOMグレースケールソフトコピー提示状態(Grayscale Softcopy Presentation State:GSPS)、DICOM構造レポート(SR)、スナップショットまたはDICOM基本構造化表示、未加工データ(たとえば、DICOMまたは非DICOM)、DICOMキーオブジェクト選択ドキュメント(KOS)などのうちの1以上を含む。スナップショットに関するさらなる情報については、2015年6月11日に出願された「医用画像表示のスナップショットを取得する方法および装置(METHODS AND APPARATUS FOR OBTAINING A SNAPSHOT OF A MEDICAL IMAGING DISPLAY)」という名称の米国特許出願公開第14/736,550号を参照されたい。1つの実施形態では、AIプラットフォーム400が、たとえばスナップショットストレージ410、未加工データストレージ420およびサムネイルストレージ421などの1以上の記憶装置にAI結果を記憶する。
【0058】
1つの実施形態では、オープンAPIが、DICOM適合性を実装する必要なくDICOM対応のAI結果表現(DICOM complaint AI result representations)を生成するために、単純化されたAPIおよびデータモデルを提供する。たとえば、アプリケーションまたはAIエンジン(401、403A、403B)がDICOMセグメンテーションを実装する必要なく、セグメンテーションオープンAPIを使用して、ヒートマップをDICOMセグメンテーションインスタンスとして記憶することができる。1つの実施形態では、個々の結果インスタンスに加えて、アプリケーションまたはAIエンジン(401、403A、403B)が、所見の詳細と、関連するAI結果インスタンスと、所見および/またはAI結果インスタンスを表すキー画像とが参照される結果の要約を使用してthinklogインスタンスを作成する。thinklogインスタンスは、AI所見を系統的に管理する。1つの実施形態では、thinklogサービス440の制御下で、thinklogパネルユーザインターフェイス441を使用してthinklogインスタンスが表示される。1つの実施形態では、thinklogがthinklogストレージ411に記憶される。
【0059】
AIスキャン結果の準備が整って、thinklogインスタンスが存在する場合にこれが生成されると、AIプラットフォーム400は、いくつかの所定の個人または位置の組にAI結果到着に関する通知を送信する。1つの実施形態では、AI結果の到着に関する通知が全ての登録アプリケーションに送信される。1つの実施形態では、様々なタイプのシステムまたはアプリケーションがAI結果を利用できるように、AIプラットフォーム400が、WebInvoke、SignalR、HL7およびFHIRを含む異なる通知機構をサポートする。AI結果通知を消費するシステムとしては、たとえば以下に限定するわけではないが、放射線ワークフローマネージャ(Radiology Workflow Manager)、画像ビューイングワークステーション(Image Viewing workstation)、請求ITシステム(Billing IT systems)などが挙げられる。アプリケーション(401)は、この通知に応じて、thinklog、およびAIエンジン(403A、403B)によって生成された各結果にアクセスすることによって、AI解析結果を利用することができる。
【0060】
1つの実施形態では、AIプラットフォーム400が、ユーザが構成ストレージ452に記憶された情報を使用して構成サービス451の制御下でAIプラットフォーム400またはそのビュー構成情報を構成できるようにする管理ユーザインターフェイス(administration user interface)450を含む。1つの実施形態では、管理ユーザインターフェイス450が、ユーザが監査ログストレージ454に記憶された情報を使用して監査ログサービス453の制御下でAIプラットフォーム400の監査ログの再考察またはその監査情報の閲覧を行うことを可能にする。
【0061】
図5は、医用画像を処理するプロセスの1つの実施形態のフロー図である。1つの実施形態では、このプロセスが、ハードウェア(回路、専用ロジックなど)、ソフトウェア(たとえば、チップ上で実行されるソフトウェア)、ファームウェア、またはこれらの組み合わせを含むことができる処理ロジックによって実行される。1つの実施形態では、プロセスが、たとえば以下に限定するわけではないが、
図3、
図4Aおよび
図4Bに関連して上述した医用画像管理プラットフォームなどの医用画像管理プラットフォームによって実行される。
【0062】
図5を参照すると、プロセスは、処理ロジックが1以上のデータソースにおけるコンテンツ変化の指示をモニタすることによって開始する(処理ブロック501)。1つの実施形態では、この指示が、1以上のデータソースへの1以上の新たな医用画像の到着を指定する。1つの実施形態では、これらの新たな医用画像が、新たな健康管理検査資料、または新たな医用画像の生成前に作成された既存の検査資料の一部である。
【0063】
1つの実施形態では、この指示に応じて、処理ロジックが、コンテンツ変化に関連する1以上の新たな医用画像を取得し(処理ブロック502)、1以上の画像に伴う情報、および/または少なくとも1つの画像に身体部分検出を適用した結果の一方または両方に基づいて、新たな医用画像のうちの少なくとも1つの画像を複数のAI/画像解析エンジン(たとえば、アプリケーション)のうちのどれが解析すべきであるかを決定する(処理ブロック503)。
【0064】
別の実施形態では、医療管理システムの処理ロジックが、必ずしもAIエンジンのために新たな画像を取得しない。1つの実施形態では、このことが、AIプラットフォーム(たとえば、AIプラットフォーム400)とAIエンジンとの間の統合レベルに依存する。たとえば、いくつかのAIアルゴリズムは、システムが実際の画像画素データまたは再構成された3D体積を提供するように密接に統合される。これは、アルゴリズム/エンジンがAIプラットフォーム(たとえば、AIプラットフォーム400)からデータを取得して、PACSまたはVNAから画像をフェッチする必要がないPUSHモデルの例である。別の実施形態では、使用される別の統合レベルが、AIエンジンがPACS/VNAからデータをプルする必要があるPULLモデルである。1つの実施形態では、このことが、AIプラットフォーム(たとえば、AIプラットフォーム400)がAIエンジンに提供するUID情報に基づく。AIプラットフォーム(たとえば、AIプラットフォーム400)は、VNAまたはPACSからデータをPULLするために、使用されるDICOMゲートウェイAPIを提供する。1つの実施形態では、AI/画像解析エンジンのうちの少なくとも1つが人工知能(AI)エンジンを含む。
【0065】
複数の画像解析エンジン(たとえば、AIエンジンまたはアプリケーション)が新たな医用画像の組を評価する場合、1つの実施形態では、処理ロジックが、複数のAI/画像解析エンジンの時にそのAI/画像解析エンジンがいつ少なくとも1つの画像を解析すべきであるかを示す、各AI/画像解析エンジンの優先度を決定する(処理ブロック504)。1つの実施形態では、処理ロジックが、健康管理検査資料内の少なくとも1つの画像の特徴、前例(priors)、および複数のAI/画像解析エンジンの性質に基づいて優先度を決定する。
【0066】
処理ロジックは、画像を解析すべき画像解析エンジンを決定した後に、新たな医用画像のうちの少なくとも1つの画像に対してAI/画像解析を開始するための通知をAIエンジン/画像解析エンジンに送信する(処理ブロック505)。1つの実施形態では、この通知が、新たな医用画像のうちの少なくとも1つの画像を解析するように割り当てられた各AIエンジン/画像解析エンジンに送信される。
【0067】
AI/画像解析エンジンの処理ロジックは、通知を受け取ることに応じて、少なくとも1つの画像内の1以上の特徴が医学的状態を示す所定の基準を満たすかどうかを判定する(処理ブロック506)。1つの実施形態では、これらの1以上の特徴が、医用画像に示されている解剖学的特徴および異常のうちの1以上を含む。1つの実施形態では、AI/画像解析エンジンがAI/画像解析を実行して、少なくとも1つの画像内の1以上の特徴が所定の基準を満たすかどうかをユーザ入力なしで判定する。
【0068】
AI/画像解析エンジンの処理ロジックは、AI/画像解析を実行した後に、AI結果に関連するまたはAI結果を含む情報の出力(たとえば、DICOM適合性を実装しないDICOM対応のAI結果表現)を生成し(処理ブロック507)、医用画像管理システムおよび/またはデータソース(たとえば、PACS、VNAなど)に記憶するために、これらに1以上の出力(たとえば、DICOMオブジェクトとしてのDICOM対応のAI結果表現)を送信する(処理ブロック508)。1つの実施形態では、いくつかのAIエンジンによって生成される1以上の出力が、非DICOM AI結果または非DICOM対応の結果である。1つの実施形態では、所見が存在しない時にこれが行われる。処理ロジックは、AI/画像解析エンジンの組からAI/画像解析結果が利用可能である旨の指示も受け取り(処理ブロック509)、AI/画像解析結果がアクセスおよび表示のために利用可能であることを示す通知を登録者に送信する(処理ブロック510)。
【0069】
図6に、健康管理検査資料を処理するプロセスのさらに詳細なデータフロー図を示す。1つの実施形態では、プロセスが、ハードウェア(回路、専用ロジックなど)、ソフトウェア(たとえば、チップ上で動作するソフトウェア)、ファームウェア、またはこれらの組み合わせを含むことができる処理ロジックによって実行される。1つの実施形態では、プロセスが、たとえば限定するわけではないが、
図3、
図4Aおよび
図4Bに関連して上述した医用画像管理プラットフォームなどの医用画像管理プラットフォームによって実行される。
【0070】
プロセスは、アプリケーション401が新たな医用画像の到着の通知を受け取ることによって開始する(処理ブロック601)。1つの実施形態では、アプリケーション401が、1以上のAIエンジンまたはアルゴリズムがホストされたAIサーバの一部である。別の実施形態では、アプリケーションがAIエンジン自体である。1つの実施形態では、AIアルゴリズムまたはAIエンジンが、PACS、VNA、または他の同様の医療情報管理システムの一部である。システムは、画像解析結果(たとえば、AI結果)を表示するビューアを有することができる。
【0071】
1つの実施形態では、新たな医用画像が、新たな健康管理検査資料の一部である。別の実施形態では、新たな医用画像が、既存の健康管理検査資料に追加された新たな画像(たとえば、以前に作成されて既に医用画像(たとえば、一連の医用画像)を含んでおり、さらなる医用画像が追加された健康管理検査資料)を含む。これらの画像は、DICOMまたは非DICOM画像を含むことができる。
【0072】
1つの実施形態では、アプリケーション401が、モニタリングおよび通知ロジック402から新たな医用画像の到着を通知される。1つの実施形態では、モニタリングおよび通知ロジック402が、1以上のデータソース内のコンテンツ変化を継続的にモニタする。データソースは、1以上のPACS400A(たとえば、DICOMベースのPACS、ベンダー固有のデータベースなど)、VNA400B(たとえば、DICOMベースのVNA、非DICOM VNAなど)、またはその他の医用画像リポジトリを含む。PACSは、公的に利用可能なPACSとすることも、あるいは所定の個人または機関(たとえば、登録者)の組のみが利用できる私的なPACSとすることもできる。1つの実施形態では、PACS400AまたはVNA400Bにおいて新たな検査資料が到着し、または既存の検査資料に新たな医用画像が追加されると、そのDICOMサーバがモニタリングおよび通知ロジック402に通知を送信する。
【0073】
1つの実施形態では、モニタリングおよび通知ロジック402によって実行される検査資料モニタリングが、カスタム統合または標準インターフェイスのいずれかを通じて行われる。たとえば、モニタリングおよび通知ロジック402は、登録者として、HL7/FHIR標準インターフェイスを使用して、PACS400AおよびVNA400Bのようなデータソースのうちの1つにおけるコンテンツの変化を示す通知を受け取る。このような標準インターフェイスを使用する1つの短所は、提供される情報が変化した検査資料の識別にすぎず、どのような変化が発生したについての指示を含まない点である。従って、この通知に応じて検査資料の取得および解析を行って、いずれかの解析を実行できるようになる前に、変化を引き起こした新たなコンテンツを特定しなければならない。1つの実施形態では、モニタリングおよび通知ロジック402によって受け取られる通知が、検査資料の特定の変化を示す情報を含む。たとえば、この情報は、検査資料に追加された新たな医用画像を指定することができる。この場合、より早く解析を開始することができる。
【0074】
処理ロジックは、新たな医用画像の通知を受け取ることに応じて新たな医用画像を取得する(処理ブロック602)。1つの実施形態では、アプリケーション401が、新たな医用画像が含まれている健康管理検査資料を取得することによって新たな医用画像を取得する。1つの実施形態では、アプリケーション401が、DICOMゲートウェイ403およびオープンAPI404を介して健康管理検査資料を取得する。
【0075】
処理ロジックは、新たな医用画像を取得した後に、どのAIアルゴリズムを新たな医用画像に適用すべきであるかを決定する(処理ブロック603)。1つの実施形態では、画像解析に関する限り、AIエンジンがプラットフォームに追加された時の各AIエンジンに関連する情報がそのアプリケーションを示す。すなわち、各AIエンジンは、特定のタイプの医学的状態を含む医用画像の解析のみに適用可能である。従って、新たな医用画像が取得された場合、これらの新たな医用画像は、その特定のコンテンツを解析するように設計されたAIエンジンにしか送信されない。たとえば、あるAIエンジンが胸部X線を解析するように設計されている場合、このAIエンジンには胸部X線画像のみが解析のために送信される。
【0076】
1つの実施形態では、画像を再考察するために割り当てるべき適切なAIエンジンを識別するために、オーケストレーションロジックが新たな医用画像のコンテンツを特定する。1つの実施形態では、オーケストレーションロジックが、新たな医用画像に伴う情報を使用してそのコンテンツを決定する。1つの実施形態では、新たな医用画像に伴う情報がヘッダ情報に含まれる。たとえば、1つの実施形態では、オーケストレーションロジックが、様々なDICOMヘッダベースのフィルタを利用して新たな医用画像のコンテンツを特定する。別の実施形態では、オーケストレーションロジックが、内蔵型身体部分検出アルゴリズムを使用して、検査資料を評価するためにどの(単複の)AIエンジンを割り当てる必要があるかを決定する。これらのアルゴリズムは、画像を解析して画像内にどの身体部分が表示されているかを判定し、オーケストレーションロジックは、この身体部分検出に基づいて、画像を解析するのに適したAIエンジンを決定することができる。1つの実施形態では、オーケストレーションロジックが、新たな画像からの関連する画像部分のみをAIエンジンに送信する。すなわち、オーケストレーションロジックは、特定のAIエンジンが評価できる身体部分を新たな画像のうちのどの画像が有しているかを判定し、これらの画像のみを解析のためにAIエンジンに送信する。なお、1つの実施形態では、オーケストレーションロジックが、新たな医用画像に伴う情報(たとえば、ヘッダベースの情報)および身体部分検出を使用して、解析のために新たな医用画像を割り当てるべきAIエンジンを決定する。
【0077】
1つの実施形態では、オーケストレーションロジックが、複数のAIエンジンが新たな医用画像(またはその一部)を解析すべきであると決定した場合、AIエンジンが特定の画像を解析する順番を制御するために、これらの識別されたAIエンジン間の優先度を決定する。1つの実施形態では、この優先度が、AIエンジンが解析している対象の重大な特質に基づく。従って、新たな医用画像を解析しているAIエンジンが2つまたは3つ以上存在する場合、オーケストレーションロジックは、最も重大な医学的状態の画像を評価する1つのAIエンジンに最も高い優先度を割り当てて、このAIエンジンに最初に実行させる。なお、1つの実施形態では、処理能力が得られる場合、複数のAIエンジンが同じ画像セットに対して同時に実行する。しかしながら、オーケストレーションロジックによって行われる優先度割り当ては、同時に受け取られた複数の検査資料からの複数の新たな画像セットに及ぶことができる。このように、重大性の高い医学的状態の画像の解析が、重大性の低い医学的状態の解析の前に行われる。このように、本明細書で説明した技術は、重大性の低い状態の解析前に最も重大な状態について新たな医用画像解析されるという点で早期検出システムを容易にする。
【0078】
1つの実施形態では、オーケストレーションロジックが、新たな医用画像を解析するようにAIエンジンに通知する。1つの実施形態では、オーケストレーションロジックが、検査資料識別子(ID)および解析すべき1以上の画像のリストを含む通知をAIエンジンに送信することによってAIエンジンに通知を行う。こうすれば、AIエンジンに関連する対象を含まない画像を含む全ての新たな画像を解析する必要がなく、代わりにAIエンジンが新たな画像セットからの関連する画像に解析を集中させることができるという点で有益である。1つの実施形態では、複数の検査資料から獲得できた画像またはフレーム識別子のリストが送信されるが、1つの組が(以前の検査資料データとは対照的に)現在の画像またはフレームであるとみなされてAIの標的となる。検査資料IDは、どれが現在の検査資料であるかを示す。しかしながら、それは一般に他よりも(たとえば、シリーズレベル、画像レベル、フレームレベルなどにおいて)粒度が高いものでありうる。
【0079】
新たな医用画像に適用すべきAIアルゴリズムが識別され、新たな医用画像を解析する通知がAIエンジンに送信されると、AIエンジン内の処理ロジックは、解析すべき必要な画像を取得し、AI解析を実行し、AI結果を生成する(処理ブロック604)。1つの実施形態では、AIエンジンが、DICOMゲートウェイ403およびオープンAPI404を使用することによって、解析すべき必要な画像を取得する。
【0080】
1つの実施形態では、AIエンジンの処理ロジックが、AI結果を示す所見を作成する。1つの実施形態では、所見が、AI結果の少なくともいくつかの側面を含むまたはこれらを示す1以上のDICOMオブジェクトを含む。1つの実施形態では、AIエンジンがDICOM標準に精通する必要なくDICOMオブジェクトが作成される。1つの実施形態では、AIエンジン405が、結果オブジェクト生成モジュール406を使用して、DICOMオブジェクトまたは所見を含む他の出力を作成する。所見は、新たな画像のうちの医師または臨床医によって再考察されるべき所見を示す1つの画像の関連部分にすぎないマスク画像を含むことができる。所見は、AIエンジンによって取り込まれた画像の関連部分のスクリーンショットとすることができる。1つの実施形態では、結果オブジェクト生成モジュール406が、この画像部分を取り込む。所見は、解析された画像に関連するヒートマップとすることができる。1つの実施形態では、所見を未加工データのスナップショットとすることができる。1つの実施形態では、生成できるDICOMオブジェクトが、DICOM GSPS、DICOM SR、DICOM基本構造化表示、未加工データ(DICOMまたは非DICOM)、DICOM KOSを含む。
【0081】
処理ロジックは、(単複の)DICOMオブジェクトを記憶するためにPACS400Aに送信する(処理ブロック605)。1つの実施形態では、処理ロジックが、DICOMゲートウェイ403を介して(単複の)DICOMオブジェクトをPACS400Aに送信する。別の実施形態では、処理ロジックが、(単複の)DICOMオブジェクトをVNA400Bに送信する。結果は、他の位置または宛先に送信することもできる。
【0082】
1つの実施形態では、処理ロジックが、任意にAI解析結果の表示状態のGSPS(処理ブロック606)および/またはthinklog(処理ブロック607)を作成する要求を生成して送信する。
【0083】
1つの実施形態では、処理ロジックが、結果を受け取るように要求または登録した個人(たとえば、医師、検査助手など)または施設(たとえば、病院、医院など)に警告するメッセージで1以上のDICOMオブジェクトを送信する(処理ブロック608)。これらのメッセージは通知として機能し、通知ロジックによって送信される。1つの実施形態では、通知が全ての登録アプリケーションに送信される。重大な医学的状態が存在することまたはその存在の可能性が高いことをAIエンジンが識別した状況では、このことが特に重要である。1つの実施形態では、様々なタイプのシステムまたはアプリケーションがAI結果を利用できるように、たとえば以下に限定するわけではないが、WebInvoke、SignalR、HL7およびFHIRを含む異なる通知機構が医用画像管理システムによってサポートされる。AI結果通知を消費するシステムとしては、たとえば以下に限定するわけではないが、放射線ワークフローマネージャ、画像ビューイングワークステーション、請求ITシステムなどが挙げられる。
【0084】
1つの実施形態では、アプリケーション401内の処理ロジックが、thinklogにアクセスした後に、AIエンジンによって生成された各結果にアクセスすることによって、AI解析結果を利用する(処理ブロック609)。この場合、処理ロジックは、thinklogを検索して表示することによって、個人がAI結果を再考察することを可能にする。thinklogは、上述したスナップショットなどのスナップショットを含むことができる。AI所見はPACSの別々の位置に記憶され、thinklogは全てのAI所見を系統的にアクセスできるように1つの場所に配置するので、thinklogを使用してAI所見を再考察することは有利である。
【0085】
上記のプロセスは、新たな画像の到着の通知に応じて新たな医用画像を自動的に解析することについて説明したものであるが、1つの実施形態では、個々のAIエンジンが手動で開始することもできる。1つの実施形態では、AIエンジンのうちの1つを開始するためにAPIの組が使用される。このことは、AIアルゴリズムの性質が、AIエンジンの関与前にいくつかの予備解析を必要とするようなものである場合に必要である。以下はこのいくつかの例である。しかしながら、他の例も可能である。
【0086】
1.ユーザが、画像ビューイングアプリケーションを使用して画像/3D体積のエリアにマーキングすることによって、画像/3D体積の特定の部分を解析したいと望む。この場合、アプリケーションは、APIを呼び出して、ユーザによってマーキングされた画像点を指定することによって、AIスキャンをトリガすることができる。
【0087】
2.過去の検査資料が存在し、AIワークフローを導入する前に既にVNAまたはPACSに記憶されている。ユーザは、この検査資料に対してAIスキャンを実行したと望む場合、検査資料リストから検査資料を選択することによってこれを実行することができる。
【0088】
3.ユーザが特定の異常に関する傾向(たとえば、治癒率)が存在するかどうかなどを判定するために患者の全ての過去の検査資料を通じてAIスキャンを実行したいと望み、施設が何らかの理由(たとえば、支払い問題など)でこのことを自動的に実行するようにシステムを構成していない場合、ユーザは、患者の全ての以前の検査資料を手動で含めることによって患者のフルスキャンをトリガすることができる。
【0089】
例示的な医用画像管理システム
図7に、上述した現在および以前のパラメータ値を含むレイアウトを生成して描画する医用画像および情報管理システム700の論理的表現の例示的な実施形態を示す。1つの実施形態では、システム700が、上述したような医用画像システムの一部である。
【0090】
医用画像および情報管理システム700は、第1の伝送媒体720を介して通信インターフェイスロジック710に結合される1以上のプロセッサ701を含む。通信インターフェイスロジック710は、他の電子装置との通信、とりわけ医師、看護師および/または医療技師などの遠隔ユーザ、健康管理検査資料を記憶する遠隔データベース(たとえば、PACS)、検査資料を生成して送信する医療モダリティ、検査資料の画像に画像解析アルゴリズム(たとえば、AIアルゴリズム)を適用して結果に基づいて所見を生成する1以上の遠隔地(たとえば、クラウドベースのサーバ)との通信を可能にする。本開示の1つの実施形態によれば、通信インターフェイスロジック710は、有線コネクタのための1以上のポートを含む物理的インターフェイスとして実装することができる。これに加えてまたはこれに代えて、通信インターフェイスロジック710は、他の電子装置との無線通信をサポートするための1以上の無線ユニットと共に実装することもできる。
【0091】
(単複の)プロセッサ701は、第2の伝送媒体725を介して永続ストレージ730にさらに結合される。本開示の1つの実施形態によれば、永続ストレージ730が、(a)インターフェイスロジック741と、(b)モニタリングロジック742と、(c)通知/アラートロジック743と、(d)画像解析ロジック(たとえば、AI解析エンジン)744と、(e)オーケストレーションロジック731と、(f)インポートロジック732と、(g)スナップショット/thinklog/出力生成ロジック733と、(h)ディスプレイ制御ロジック734と、(i)注記データベース736と、(j)記録データベース737とを実装するためのデータおよびコードを含むことができる。
【0092】
1つの実施形態では、インターフェイスロジック741が、プラットフォーム内のコンポーネント間の、並びにユーザとディスプレイ画面上に表示されている表示領域との間の相互作用を可能にするためのロジックを含む。1つの実施形態では、インターフェイスロジック741が、オープンAPIを操作するための実装を含む。ユーザインターフェイスは、検査資料またはその一部、およびその関連するAI結果を含むGUIの生成を含む。
【0093】
モニタリングロジック742は、AI/画像解析エンジンがいつ新たな画像を解析のために利用できるかを確認するために、継続的モニタリングを実行してPACSシステム、VNAまたはデータベースなどのデータソースにいつ変化が起きたかを判定するロジックを含む。
【0094】
オーケストレーションロジック731は、新たな医用画像を解析するためにどのAI/画像解析エンジンを割り当てるべきであるかを決定するロジックを含む。このロジックは、医用画像のコンテンツを識別する画像ヘッダおよび検査資料解析ロジックおよび身体部分検出ロジックと、適切な割り当てを実行するためにヘッダ/検査資料解析のおよび身体部分検出結果を利用可能なAI/画像解析アルゴリズムの特徴と比較する照合ロジックとを含む。1つの実施形態では、オーケストレーションロジック731が、既存の医用画像のスキャンまたは再考察を手動で開始するユーザ入力を受け取ることができる。
【0095】
通知/アラートロジック743は、1以上の新たな医用画像を評価するための通知を発行してAI/画像解析エンジンおよびアプリケーションに送信するロジックを含む。通知/アラートロジック743は、AI/画像解析結果を含む検査資料の再考察のための通知および/またはアラートも生成して医師および医療従事者のうちの1人または2人以上に送信する。1つの実施形態では、通知/アラートロジック743が、健康管理検査資料の1以上の画像に対して実行された自動画像解析の結果における所定の所見に応じてアラート(たとえば、SMS、テキスト、eメール、または他のメッセージ、医師とのチャットセッションが望ましいことを示すチャット指示など)を送信する。1つの実施形態では、所定の所見が、閾値レベルを上回る異常性スコアを含む。別の実施形態では、所定の所見が、所見内の1以上のキーワードを含む。さらに別の実施形態では、所定の所見が、閾値レベルを上回る異常性スコアと、所見内の1以上のキーワードとを含む。1つの実施形態では、アラートが、所定の所見に関連する状態に対処する役割を担う1以上の所定の医療提供者に送信される。たとえば、1つの実施形態では、患者が脳卒中を起こした可能性が高いことが所見によって示された場合、患者のケアを行う特定の医療施設の脳卒中チームに自動的にアラートが送信される。1つの実施形態では、アラートが、自動画像解析アルゴリズムによって生成された健康管理検査資料の所見に関連する画像へのリンクを含む。このような場合、アラートは、所見に関連する画像を含む検査資料を開くためにユーザが選択するとシステムが画像を表示するリンクを含むことができる。
【0096】
画像解析ロジック744は、健康管理検査資料からの画像に対して1以上の画像解析アルゴリズムを実行する。1つの実施形態では、画像解析アルゴリズムがAI解析アルゴリズムである。画像解析アルゴリズムを適用した結果は、画面上に表示することができる。
【0097】
インポートロジック732は、記憶装置から1以上の情報を検索し、これらの各情報をビューアまたはビューアテンプレートの独立した表示領域内にインポートするためのロジックを含むことができる。たとえば、これらの情報は、以下に限定または制限するわけではないが、(i)自動画像解析アルゴリズム(たとえば、AIアルゴリズム)からの所見、(ii)x線、マンモグラム、コンピュータ断層撮影(CT)走査、磁気共鳴撮像(MRI)、ポジトロン放出断層撮影(PET)走査および/または超音波撮像を含む医用画像、(iii)医用画像のうちの1以上に関する医師の注記、および/または(iv)1以上の医用画像の題材のうちの1以上に対応する医療記録、を含むことができる、
【0098】
上述したように、スナップショット/thinklog/出力生成ロジック733は、(レイアウトテンプレートの状態を保存することによって)スナップショット、thinklogおよび/またはAI/画像解析出力を生成するためのロジックを含む。状態の保存は、少なくとも(i)1以上の情報と、(ii)非一時的コンピュータ可読媒体内の1以上の情報の各々の視認性とを記憶することを含むことができる。レイアウトテンプレートは、自動画像解析アルゴリズムからの所見に関連する画像データを示す健康管理検査資料の1以上の画像を示すことができる。スナップショット/thinklog/出力生成ロジック733は、医療記録または医療レポート内にスナップショット、thinklogまたはAI/画像解析結果を保存し、および/またはこれらを所定の位置に送信することができる。
【0099】
ディスプレイ制御ロジック734は、ユーザインターフェイスと、上述したような局所的に描画される画像およびAI/画像解析結果とを表示するためのロジックを含む。1つの実施形態では、ディスプレイ制御ロジック734が、画像、上述したユーザインターフェイスを表示するブラウザを表示するためのロジックを含む。
【0100】
注記データベース736は、医師、看護師、医療技師などが記録した、ユーザがレイアウトテンプレートの表示領域内にインポートできる注記を記憶する。最後に、記録データベース737は、ユーザがレイアウトテンプレートの表示領域内にインポートできる医療記録を記憶する。
【0101】
本明細書で説明する実施形態例は複数存在する。
【0102】
例1は、医用画像管理システムが、1以上のデータソースにおけるコンテンツ変化の第1の指示をモニタすることと、1以上の画像に伴う情報または少なくとも1つの画像に身体部分検出を適用した結果の一方または両方に基づいて、1以上の新たな医用画像のうちのコンテンツ変化に関連する少なくとも1つの画像を複数の画像解析エンジンのうちのどの画像解析エンジンが解析すべきであるかを、第1の指示に応じて決定することと、1以上の新たな医用画像のうちの少なくとも1つの画像を解析するように決定された1以上の画像解析エンジンの組の各画像解析エンジンに、1以上の医用画像のうちの少なくとも1つの画像に対して画像解析を開始する第1の通知を送信することと、1以上の画像解析エンジンの組から、画像解析結果が利用可能である旨の第2の指示を受け取ることと、画像解析結果を登録者がアクセスおよび表示に利用できることを示す第2の通知を登録者に送信することと、を含む方法である。
【0103】
例2は、複数の画像解析エンジンのうちの1以上の画像解析エンジンが人工知能(AI)エンジンを含む、ということを任意に含むことができる例1の方法である。
【0104】
例3は、第1の指示が、1以上のデータソースへの1以上の新たな医用画像の到着を指定することを任意に含むことができる例1の方法である。
【0105】
例4は、1以上の新たな医用画像が、新たな健康管理検査資料、または新たな医用画像の生成前に作成された既存の検査資料、の一部である、ということを任意に含むことができる例1の方法である。
【0106】
例5は、複数の画像解析エンジンの場合に、少なくとも1つの画像を解析するように決定された各画像解析エンジンの優先度を決定することを任意に含むことができる例1の方法である。
【0107】
例6は、優先度を決定することが、健康管理検査資料内の少なくとも1つの画像の特徴、前例、および複数の画像解析エンジンの性質に基づく、ということを任意に含むことができる例5の方法である。
【0108】
例7は、通知を受け取ることに応じて、画像解析エンジンを使用して、少なくとも1つの画像内の1以上の特徴が、医学的状態を示す所定の基準を満たしているかどうかを判定することと、画像解析エンジンが、DICOM適合性を実装することなくDICOM対応のAI結果表現を生成することと、DICOM対応のAI結果表現をDICOMオブジェクトとして医用画像管理システムに送信することと、を任意に含むことができる例1の方法である。
【0109】
例8は、1以上の特徴が、医用画像内に示される解剖学的特徴および異常のうちの1以上を含む、ということを任意に含むことができる例7の方法である。
【0110】
例9は、画像解析エンジンが、少なくとも1つの画像内の1以上の特徴が所定の基準を満たしているかどうかをユーザ入力なしで判定するために画像解析を実行するように動作できる、ということを任意に含むことができる例7の方法である。
【0111】
例10は、医用画像管理システムであって、健康管理検査資料を受け取るためのネットワーク通信インターフェイスと、ネットワーク通信インターフェイスに結合されて、受け取った健康管理検査資料を記憶するメモリと、メモリに結合されて、受け取った健康管理検査資料を表示するディスプレイ画面と、ネットワーク接続インターフェイス、メモリおよびディスプレイ画面に結合される1以上のプロセッサであって、1以上のデータソースにおけるコンテンツ変化の第1の指示をモニタし、1以上の画像に伴う情報または少なくとも1つの画像に身体部分検出を適用した結果の一方または両方に基づいて、1以上の新たな医用画像のうちのコンテンツ変化に関連する少なくとも1つの画像を複数の画像解析エンジンのうちのどの画像解析エンジンが解析すべきであるかを、第1の指示に応じて決定し、1以上の新たな医用画像のうちの少なくとも1つの画像を解析するように決定された1以上の画像解析エンジンの組の各画像解析エンジンに、1以上の医用画像のうちの少なくとも1つの画像に対して画像解析を開始する第1の通知を送信し、1以上の画像解析エンジンの組から、画像解析結果が利用可能である旨の第2の指示を受け取り、画像解析結果を登録者がアクセスおよび表示に利用できることを示す第2の通知を登録者に送信するように構成される1以上のプロセッサと、を含むシステムである。
【0112】
例11は、複数の画像解析エンジンのうちの1以上の画像解析エンジンが人工知能(AI)エンジンを含む、ということを任意に含むことができる例10のシステムである。
【0113】
例12は、第1の指示が、1以上のデータソースへの1以上の新たな医用画像の到着を指定する、ということを任意に含むことができる例10のシステムである。
【0114】
例13は、1以上の新たな医用画像が、新たな健康管理検査資料、または新たな医用画像の生成前に作成された既存の検査資料、の一部である、ということを任意に含むことができる例12のシステムである。
【0115】
例14は、1以上のプロセッサが、複数の画像解析エンジンの場合に、少なくとも1つの画像を解析するように決定された各画像解析エンジンの優先度を決定する、ということを任意に含むことができる例10のシステムである。
【0116】
例15は、優先度の決定が、健康管理検査資料内の少なくとも1つの画像の特徴、前例、および複数の画像解析エンジンの性質に基づく、ということを任意に含むことができる例14のシステムである。
【0117】
例16は、命令を記憶した非一時的コンピュータ可読記憶媒体であって、命令が、少なくともプロセッサと、メモリと、ディスプレイ画面とを有するシステムによって実行された時に、システムに、1以上のデータソースにおけるコンテンツ変化の第1の指示をモニタすることと、1以上の画像に伴う情報または少なくとも1つの画像に身体部分検出を適用した結果の一方または両方に基づいて、1以上の新たな医用画像のうちのコンテンツ変化に関連する少なくとも1つの画像を複数の画像解析エンジンのうちのどの画像解析エンジンが解析すべきであるかを、第1の指示に応じて決定することと、1以上の新たな医用画像のうちの少なくとも1つの画像を解析するように決定された1以上の画像解析エンジンの組の各画像解析エンジンに、1以上の医用画像のうちの少なくとも1つの画像に対して画像解析を開始する第1の通知を送信することと、1以上の画像解析エンジンの組から、画像解析結果が利用可能である旨の第2の指示を受け取ることと、画像解析結果を登録者がアクセスおよび表示に利用できることを示す第2の通知を登録者に送信することと、を含む方法を実行させる、コンピュータ可読記憶媒体である。
【0118】
例17は、複数の画像解析エンジンのうちの1以上の画像解析エンジンが人工知能(AI)エンジンを含む、ということを任意に含むことができる例16のコンピュータ可読記憶媒体である。
【0119】
例18は、第1の指示が、1以上のデータソースへの1以上の新たな医用画像の到着を指定することを任意に含む、ということができる例16のコンピュータ可読記憶媒体である。
【0120】
例19は、1以上の新たな医用画像が、新たな健康管理検査資料、または新たな医用画像の生成前に作成された既存の検査資料、の一部である、ということを任意に含むことができる例18のコンピュータ可読記憶媒体である。
【0121】
例20は、方法が、複数の画像解析エンジンの場合に、少なくとも1つの画像を解析するように決定された各画像解析エンジンの優先度を決定することをさらに含む、ということを任意に含むことができる例16のコンピュータ可読記憶媒体である。
【0122】
例21は、優先度を決定することが、健康管理検査資料内の少なくとも1つの画像の特徴、前例、および複数の画像解析エンジンの性質に基づく、ということを任意に含むことができる例20のコンピュータ可読記憶媒体である。
【0123】
例22は、方法が、通知を受け取ることに応じて、画像解析エンジンを使用して、少なくとも1つの画像内の1以上の特徴が、医学的状態を示す所定の基準を満たしているかどうかを判定することと、画像解析エンジンが、DICOM適合性を実装することなくDICOM対応のAI結果表現を生成することと、DICOM対応のAI結果表現をDICOMオブジェクトとして医用画像管理システムに送信することと、をさらに含む、ということを任意に含むことができる例16のコンピュータ可読記憶媒体である。
【0124】
例23は、1以上の特徴が、医用画像内に示される解剖学的特徴および異常のうちの1以上を含む、ということを任意に含むことができる例22のコンピュータ可読記憶媒体である。
【0125】
例24は、画像解析エンジンが、少なくとも1つの画像内の1以上の特徴が所定の基準を満たしているかどうかをユーザ入力なしで判定するために画像解析を実行するように動作できる、ということを任意に含むことができる例22のコンピュータ可読記憶媒体である。
【0126】
上記の詳細な説明の一部は、コンピュータメモリ内のデータビットに対する演算のアルゴリズムおよび記号的表現の観点から示したものである。これらのアルゴリズム的な記述および表現は、データ処理技術における当業者が自らの研究内容を他の当業者に最も効果的に伝えるために使用する手段である。ここで、および一般的に、アルゴリズムとは、望ましい結果をもたらす首尾一貫した一連のことであると考えられる。これらのことは、物理量の物理的操作を必要とするものである。これらの量は、必ずというわけではないが、通常は、記憶、転送、合成、比較および他の形の操作が可能な電気または磁気信号の形を取る。主に共通使用という理由で、時にはこれらの信号を、ビット、値、要素、記号、文字、用語、番号などと呼ぶことが便利であると分かっている。
【0127】
しかしながら、これらのおよび同様の用語は、全て適切な物理量に関連付けられるべきものであり、またこれらの量に与えられた便利な表記に過ぎないことに留意されたい。以下の説明から明らかなように、特に別途述べていない限り、説明全体を通じて「処理する(processing)」、「算出する(computing)」、「計算する(calculating)」、「決定する(determining)」または「表示する(displaying)」などの用語を利用した説明は、コンピュータシステムのレジスタおよびメモリ内の物理(たとえば、電子)量として表されるデータを操作し、コンピュータシステムのメモリ、レジスタ、またはその他のこのような情報記憶装置、送信または表示装置内の物理量として同様に表される他のデータに変形させるコンピュータシステムまたは同様の電子コンピュータ装置の動作および処理を意味すると理解されたい。
【0128】
本発明は、本明細書の動作を実行する装置にも関する。この装置は、必要な目的のために特別に構成することも、あるいはコンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを含むこともできる。このようなコンピュータプログラムは、以下に限定されるわけではないが、フロッピーディスク、光ディスク、CD-ROM、および光磁気ディスクを含むあらゆる種類のディスク、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気または光カード、あるいは電子命令を記憶するのに適したあらゆるタイプの媒体などのコンピュータ可読記憶媒体に記憶することができ、これらはそれぞれコンピュータシステムバスに結合される。
【0129】
本明細書に示すアルゴリズムおよび表示は、本質的にいずれかの特定のコンピュータまたはその他の装置に関連するものではない。本明細書の教示に従うプログラムと共に様々な汎用システムを使用することもでき、あるいはいくつかの実施形態の方法を実行するために、より特殊化した装置を構成することが便利であると証明することもできる。以下の説明から、これらの様々なシステムに必要な構造が明らかになるであろう。また、本発明は、いずれかの特定のプログラミング言語を参照しながら説明したものではない。本明細書で説明した本発明の教示を実施するために、様々なプログラミング言語を使用することができると理解されるであろう。
【0130】
機械可読媒体は、機械(コンピュータなど)による読み取りが可能な形で情報を記憶または送信するいずれかの機構を含むことができる。たとえば、機械可読媒体は、リードオンリメモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気、光、音響またはその他の形の伝播信号(たとえば、搬送波、赤外線信号、デジタル信号など)などを含む。
【0131】
上記の説明を読めば、当業者には本発明の多くの変更および修正が明らかになると思われるが、一例として図示し説明したあらゆる特定の実施形態は、決して限定的と見なされるように意図したものではないと理解されたい。従って、様々な実施形態の詳細についての言及は、本発明にとって必須とみなされる特徴のみを記載した特許請求の範囲を限定するように意図したものではない。
【国際調査報告】