(58)【調査した分野】(Int.Cl.,DB名)
前記第1の結果と前記第2の結果とは一致するが、前記第3の結果が前記第1の結果及び前記第2の結果と矛盾する場合に、所定の装置にアラートを送信するステップをさらに含む、請求項4に記載の方法。
前記機械学習訓練を実行するステップは、前記第1の結果及び前記第2の結果に基づいて、機械学習アルゴリズムを用いて前記複数の画像処理エンジンのうちのスーパーバイザエンジンを訓練することをさらに含む、請求項1に記載の方法。
どの画像処理エンジンがどの医療研究論文に対して動作を実行するかを示すデータを含む、前記画像処理エンジンの動作統計を追跡するステップをさらに含む、請求項1に記載の方法。
前記画像処理エンジンは、ウェブサーバ上にリスト化された複数の画像処理エンジンから選択され、前記選択された画像処理エンジンは、ウェブサーバの構成インターフェイスを介して所定の順序に従って構成される、請求項1に記載の方法。
前記複数の画像処理エンジンは、複数のエンジン開発者によって個別に提供され、複数のユーザが1又は2以上の画像処理エンジンを選択して自身のそれぞれの医用画像に登録できるようにウェブサーバ上にアップロードされる、請求項9に記載の方法。
前記画像処理エンジンは、前記医用画像の異なる部分に対して複数のレビューセッションを分散方式で同時に実行するように構成され、前記画像処理エンジンのうちの1つは、残りの処理エンジンにレビュータスクを割り当てるスーパーバイザエンジンとして動作する、請求項1に記載の方法。
命令を記憶した非一時的機械可読媒体であって、前記命令は、プロセッサによって実行された時に、前記プロセッサに対し、自動医用診断システムの自動診断機能を向上させるためのステップを実行させ、前記ステップは、
プロセッサとメモリとを有する医用画像処理サーバにより、医用データソースから医療研究論文に関連する第1の医用画像の組を受け取るステップと、
複数の画像処理エンジンを呼び出して、前記医療研究論文をレビューするように特異的に構成された所定の順序に従って医用画像を処理し、前記画像処理エンジンが、前記医用画像の異常所見を検出して、該異常所見を表す第1の結果を生成するステップであって、前記複数の画像処理エンジンのうちの少なくとも2つの画像処理エンジンを用いて前記異常所見を探すことを含み、前記少なくとも2つの画像処理エンジンの各々は、発見された異常所見を含む前記第1の結果を判定するとき、発見に対する各画像処理エンジンの重み付けを付与するために使用される個々の重み値を有する、当該ステップと、
前記画像処理エンジンによって異常として分類された前記発見された異常所見を第1のレビューシステムに送信するステップと、
前記第1のレビューシステムから第2の結果を受け取ったことに応答して、前記第1の結果及び前記第2の結果の間の任意の相違に基づいて、前記少なくとも2つの画像処理エンジンの前記重み値を調整することを含む機械学習訓練を実行するステップと、を含むことを特徴とする機械可読媒体。
前記機械学習訓練を実行するステップは、前記複数の画像処理エンジンのうちのスーパーバイザエンジンを訓練することを含む、請求項17に記載のデータ処理システム。
前記画像処理エンジンは、前記医用画像の異なる部分に対して複数のレビューセッションを分散方式で同時に実行するように構成され、前記画像処理エンジンのうちの1つは、残りの処理エンジンにレビュータスクを割り当てるスーパーバイザエンジンとして動作する、請求項21に記載の自動医用診断システム。
【発明を実施するための形態】
【0006】
後述する詳細を参照しながら本発明の様々な実施形態及び態様について説明し、添付図面に様々な実施形態を示す。以下の説明及び図面は本発明を例示するものであり、本発明を限定するものとして解釈すべきではない。本発明の様々な実施形態を完全に理解できるように数多くの具体的な詳細を示す。しかしながら、本発明の実施形態を簡潔に説明するために、いくつかの例では周知の又は従来の詳細については説明しない。
【0007】
本明細書における「1つの実施形態」又は「ある実施形態」という言及は、その実施形態に関連して説明する特定の特徴、構造又は特性を本発明の少なくとも1つの実施形態に含めることができることを意味する。本明細書の様々な箇所で見られる「1つの実施形態では」という表現は、必ずしも全てが同じ実施形態を参照しているわけではない。
【0008】
本発明の1つの態様によれば、現場に位置するシステム及び/又はクラウドベースのプラットフォームを利用して、研究論文の匿名化、研究論文のアップロード、新規アカウントの登録及びアクセス、コミュニティの構築、臨床顧問委員会及び/又はグループ統治の規定、機械学習済みアルゴリズム/エンジンの訓練及び形成のためのツール利用、アルゴリズム/エンジンのアップロード又はダウンロード、公開アルゴリズム/エンジンの利用及び研究論文に対する実行、確認又は却下された所見に基づく使用数、精度及び信頼度などの成果/結果の通信を容易にする。システムは、個人の考え又はグループの考え、並びにこれらの間の類似性及びクラウドソーシングする慣習を判断するためのビッグデータ分析に基づいて構成できる機械学習したアルゴリズムを組み込んだ判読ワークフローの最良事例を判定するためのフレームワークを有することができる。個人の考え又はグループの考えに基づいて構成できるアルゴリズムは、1又は2以上の医療機関で共有することができる。
【0009】
システムは、1又は2以上の場所の1つの医療研究所のためのローカルクラウドシステムとすることができる。クラウドベースのシステムは、1又は2以上の地理的場所の1つの医療研究所のためのプライベートクラウドとすることができる。システムは、1又は2以上の場所の1又は2以上の医療研究所を接続できるシステムとすることができる。クラウドベースのシステムは、パブリッククラウドとすることもできる。複数のローカルクラウドシステムを接続できるメインクラウドシステムが存在することもできる。例えば、複数の研究所からの複数のプライベートクラウドシステムを接続できるメインクラウドシステムが存在することができる。メインクラウドシステムからプライベートクラウドシステムへの情報及びツールのアクセス度は、医療研究所による事前設定に依存することができる。
【0010】
画像処理エンジンは、医用画像データ、医用メタデータ、並びにその他の患者及び治療関連コンテンツに対して実行される機械学習法、深層学習法及び決定論的統計法(エンジン)を利用するマルチサイドプラットフォーム上で呼び出され又は有効にされた時に、単独で又は互いに組み合わせて機能して、特定の標的所見を有する事前確率又は信頼度が高い又は低いことが医師又は臨床医によって確認された画像及び情報のコホート(cohorts)を改善することができる。標的所見は、医師が個別に同意するかどうかを確認するために盲信的に保持され、或いは医師の判読プロセス内で提示されて応答を喚起し、あらゆるフィードバック、調整、同意又は不同意が取り込まれ、提案を生成したエンジンの性能フィードバックとして利用される。
【0011】
所見は、この研究論文と同様の以前の研究論文、ツールの提案、及び診断又は研究の判読プロセスにおいて使用されることが望ましいほとんど全ての当時最新の情報又は自動化ツールを示すことができるいずれかの関心生体構造、測定値、表示、参考資料を表す。本査読システムでは、エンジンは交換可能であり、従って発明ではない。従って、所見のタイプ及びエンジンの機能は時間と共に様々に変化する。データを処理するエンジン及び本査読システムの利用データの両方から受け取られる性能フィードバックが統計的相互作用データの形で取り込まれ、これを利用して、処理及びレビューが行われた現在の画像データコホートの相対値、医師又は臨床医によるレビューのために研究論文を準備又は表示する過程において意図的に呼び出されるあらゆる(単複の)ツール、自動相互作用、所見及びその他のデータの値及び精度、及び/又は(単複の)エンジン自体の値、並びにこれらの様々な組み合わせを決定する。
【0012】
従って、画像、データ及び所見の全ての意図的又は偶発的な提示を医師の同意、修正又は不同意について盲目的又は非盲目的に評価し、これによって、a)新たなフィードバックが戻された時に、医師による確認率を高めて見逃された所見を減少させるようにエンジンを改善すること、b)レビュアの能力を測り、レビューツール及び画像/コンテンツの表示を適合させて、医用画像(又は他の)ビューア内に一般に必要とされる項目に対する努力及びアクセスを抑えることによってワークフローを改善すること、c)既知の所見を含むキュレートされた画像コホートを査読のために送信(又は投入)し、見えない所見をコホート内の実際の既知の所見と比較する際の医師の性質を評価すること、d)読まれていない処理前の研究論文に本査読システムを予見的に適用することにより、医師が医用画像研究論文を最初にリアルタイムで判読した時に、盲目的又は非盲目的に同時に自動的に生成された本査読システムの所見が予見的に組み込まれるようにすること、及びe)機械と、反復的又は継続的に更新されるこのような画像、データ、相互作用及び所見の(単複の)人間可読データベースとの集合体が、次の画像コホートを作成するために使用されるエンジン、ツール及びレイアウトの選択/提案、任意のエンジンの利用可能性、並びにこのコホートの査読及び診断的判読のために必要な他の特徴及びデータを最適化するために、トレンドを評価する能力、及び/又はこのデータを教師あり又は教師なしエンジンに継続的又は反復的に分析させる能力を提供すること(エンジンのエンジン)、のうちの一部又は全部を可能にする貴重なデータを生成する。
【0013】
本発明の1つの実施形態は、教師なし(又は教師あり)のエンジンのエンジン(マスタエンジン、スーパーバイザエンジン又は管理エンジンとも呼ばれる)が自律的に動作して、実行されるエンジン(例えば、二次エンジン又はスレーブエンジン)と、例えば分散的に(例えば、複数のスレッドを介して)同時にエンジン毎に実行される画像研究論文又は患者コンテンツセットの数とを選択できるようにする。本査読システムの管理者は、自律能力を達成するために、コホート内に配置する、或いは査読のために送信する研究論文又はコンテンツセットの数の制限をエンジンのエンジンに与え、それぞれがいずれかのコホート内の1又は複数のエンジンの使用期間又は使用制限、所見のタイプ及び数量の制限又は目標、(単複の)コホート群に関する仕様、又は(単複の)期間によって制限されるようにする必要がある。
【0014】
教師なしのエンジンのエンジンには、その作業を最適化させて、医師の時間が過度に多く査読に費やされたり、過度に多くの計算リソースが消費されたりして著しいコストが掛からないように強制するために、画像、画像コホート、コンテンツ、所見、相互作用のタイプ及び/又は数/量、並びにこれらのエンジンを実行するための、及び/又は医師がこれらのプロセスを実行するための処理時間に関する個別の及び/又は集合的な制限(最小値、最大値、平均値、又はその他の統計的に関連する又は設定された制限/目標)が与えられる。教師なしエンジンの観察及び選択を、所見の最大化された臨床的価値、注釈調整(annotation adjustments)、画像コホートと査読において受け取られる医師/臨床医のフィードバックとの組み立て、及び臨床診断の判読と確実に整合させるために、a)エンジン、b)各エンジンが形成した(所見なしを含む)所見の量及びタイプ、c)複数のエンジンによって所見が確認又は拒絶された場合に適用される乗数、d)所見(又は所見なし)を判定するために複数のエンジンが画像又はコンテンツセットに作用する場合に適用される乗数、のうちの1つ又は2つ以上に(等しい又は等しくない)重み値が設定される。
【0015】
エンジンは、査読システムを開発した個人又は企業と同じ又は異なる個人又は企業によって開発することができ、自機の入力及び出力スキーマにおいて共通する特徴を利用して複数のエンジンの連続的又は階層的な実行を可能にするエンジンは、アンサンブルエンジンとしても知られている。これらのアンサンブルエンジンは、教師ありのエンジンのエンジンを用いて、或いは教師なしのエンジンのエンジンを用いてエンジンの出力又は実行、或いは所見のうちの1つの所見に値を設定してプログラム的に組み立てることができる。エンジンと本査読システムとによるこれらの間の、又はエンジンと他のエンジンとの間の通信のための所定の入出力スキーマは、入力及び出力を、様々なエンジンが必要とする様々な形に抽象化することができる。例えば、エンジン1が、ゼロを無限の正及び負の範囲領域の中間値とするデータ点座標を受け入れ、エンジン2が、0を無限の常に正の範囲領域内の最低値とするデータ点座標を受け入れた場合、通信スキーマにおいて行われる抽象化は、これらの2つの領域の範囲値を考えられる共有値の指定範囲にわたってマッピングすることである。コンテナエンジン及びエンジンのエンジンの動作を実行するための抽象化方法の実装は、全ての考えられる値のタイプ及び範囲にわたって機能する。
【0016】
所見は、以下に限定するわけではないが、導出された画像、輪郭、区分、オーバーレイ、数、類似性、数量、並びに企業の電子健康記録システム、画像アーカイブ及び通信システム、コンテンツ管理システム、査読システム、研究室システム及び/又は高度可視化システムで一般に見られ、測定され、導出され又は発見される他のいずれかの値を含むことができる。本査読システムは、将来的なエンジンの分析及び最適化のために、査読において生じた結果と医師又は臨床医が生成した結果との間の差分を取り込み、比較し、出力することができる。
【0017】
エンジン立案者(engine authors)及びエンドユーザ(医師及び臨床医を含むヘルスケア提供者、研究者、業界団体、又はこれらのグループ)などの様々な出資者は、マルチテナンシープラットフォーム(multi−tenancy platform)として査読システムにアクセスすることができる。特定の画像、画像コホート、エンドユーザである医師又は臨床医のフィードバック、統治、アップロード又は削除のためのエンジン、画像及び臨床コンテンツを実行するためのエンジン、及びユーザ設定へのアクセス制御は、許可された所有者からの許可を伴わない画像、エンジン又は使用の混同(comingling)を防ぐように制御することができる。あらゆる出資者は、エンドユーザがアルゴリズム、コード又は画像データにアクセスすることなく使用できるアルゴリズムを作成できるエンジン立案者とすることができる。これは、あらゆる数のコンテナエンジン/アルゴリズムを用いて研究論文を処理するクラウドベースサーバ又は現場に位置するサーバとすることができるセキュアなプライベートサーバ又はマルチテナントサーバに研究論文を送信することによって行うことができる。アクセス制御は、アルゴリズム開発者による認証及び管理者権限の供与を可能にする。
【0018】
アルゴリズム及び使用認証の1つの実施形態は、アルゴリズム開発者に、アルゴリズムを使用する能力を異なるエンドユーザに認める能力、或いは書面形式で又はクリック式の法的取引条件を通じて提供されるプラットフォーム及びライセンス契約に(単複の)エンドユーザが同意することを必要としながらこれらのアルゴリズムを公的利用のために公開できるようにする能力を与える。さらに、管理者権限は、アルゴリズム開発者に、他のアルゴリズム開発者にアルゴリズムを修正させる能力、又は新たなバージョンのアルゴリズムを作成させる能力、或いはエンジン又はエンジンのエンジンにアルゴリズムを修正させる能力を与える。バージョン制御は、これらの多くの異なるアルゴリズムを作成する能力をアルゴリズム開発者に対して可能にしながら、規制当局の認可のためのアルゴリズム技術ファイルへの変更を追跡する。同様に、本質的価値を保護して予期せぬデータの拡散を避けるために、多くの異なる画像、臨床コンテンツコホート及び査読フィードバックデータもバージョン化され保護される。
【0019】
1つの実施形態では、様々な組織又は企業体が運営できる様々な開発者が、(いずれかの画像に関連するデータしか処理できない、又は関連しないデータも処理できる、画像処理モジュール又は画像処理ユニットとも呼ばれる)画像処理エンジンを開発することができる。画像処理エンジンは、場合によってはハードウェア処理リソース(例えば、グラフィック処理ユニット又はGPUなどのグラフィック高速化装置)と組み合わせて、(形状認識、サイズ測定などの)特定の画像処理を画像に対して実行するためにプロセッサが個別に単独で立ち上げて実行できる実行可能イメージ又は2進コードを意味する。画像処理エンジンは、ユーザが目的とする動作パラメータを選択してプログラムし、及び/又は1又は2以上の画像処理エンジンをダウンロードして、島状(insular)の現場に位置する本査読システムのソリューションとして特定の場所で個別に、及び/又は別のシステムと通信して組み合わせて(ハイブリッドモード)実行できるように、ウェブサーバ内にアップロードしてリスト化することができる。選択された画像処理エンジンは、様々な構成(例えば、直列、並列、又はその両方)に合わせて一連の1又は2以上の画像処理動作を実行するように構成することができる。
【0020】
本発明の別の態様によれば、画像処理エンジンを利用して、医師集団によって識別された医学的所見をレビューするように設計された他の市販の又は個別に開発された査読システムに研究論文を投入することができる。1つの実施形態では、査読システムとして動作する画像処理エンジンを使用して医師による所見を確認又は検証する。画像処理エンジンを利用して、異常所見を有している可能性が高いあらゆる画像を選別して識別し、これらをサードパーティシステムにおける査読のために送信し、又は本査読システムの発明上で診断レビューを呼び出すこともできる。
【0021】
次に、識別された画像を医師集団がレビューして所見の検証及び確認を行う。後者の場合、エンジンは予備レビュアとして動作する。この結果、画像処理エンジンは、レビューの必要がある数千枚もの医用画像について大量画像処理動作を実行して異常画像を事前に識別することができ、医師が診断の判読中にこれらの画像をレビューする際に、エンジンがフィードバックから前向きに「学習」することができる。画像処理エンジンの所見とレビューを行った医師の所見とが一致する場合には、関与する画像処理エンジンの動作の妥当性を確認することができ、すなわち画像処理エンジンによって使用されるアルゴリズムの妥当性が確認される。一致しなければ、このようなアルゴリズムは、例えば機械学習方法を用いたさらなる微調整又は訓練を必要とすることができる。エンジンの機能は、アルゴリズムと呼ぶこともある。医師又はエンジンが行動の実行又はアルゴリズム/入力又はツールの適用を行う際には、これを動作と呼ぶこともある。これらの動作により、査読研究の全体的判読成果の一部である所見がもたらされる。エンジンを伴う以外は査読ワークフローと同様に、本査読システムには(医師、エンジン、エンジンのエンジン又は動作からの)第1の結果が存在し、これを(医師、エンジン、エンジンのエンジン又は動作からの)第2の結果と比較し、不一致の場合には(医師、エンジン、エンジンのエンジン又は動作からの)第3の結果によって判定する。従って、本査読システムでは、実現技術が、判読を行う医師の、医師の前の、又は医師の後の動作を実行し、この相互作用を用いて、人間が発見した所見と機械(エンジン)が発見した所見との比較をサポートし、人間の入力、エンジン、コンテンツ及び所見を典型的な査読環境に加えてリアルタイム画像判読環境で取り込み、照合して組み合わせるための技術プラットフォーム及び方法を提供することによって、査読の役割及び用途を新規の方法で拡張する。本査読システムの場合、これが、医師、エンジン(又はエンジンのエンジン)、コンテンツ/画像コホート及びサードパーティが妥当性確認したデータソースのいずれかの組み合わせ間の相互作用を(同期的又は非同期的に)含む。
【0022】
医師が本査読システムを用いて提供する医師の確認及び拒絶、並びに他の収集可能なワークフロー入力は、教師あり又は教師なしの機械学習技術を用いてエンジンを継続的又は反復的に訓練する訓練データとして閉ループの形で使用することができる。エンジンの所見と(医師の修正、確認又は拒絶を含む)医師の所見との間にいずれかの不整合が存在する場合には、イベントを記録するデータベースにメッセージが送信され、任意に、たとえ一次判読プロセス又は本査読システムのプロセス中であっても、いずれかの所定の(単複の)装置、(単複の)個人、又はグループに何かに注意を払う必要がある旨のメッセージを送信することができる。これは、エンジンが他のエンジンにフィードバックを提供する教師なし方式で行って、依然として閉ループ学習シナリオを形成することができる。このような場合、人間ではなくエンジン(又はエンジンのエンジン)から第1の、第2の、さらには第3の結果を提供し、これらの結果を、本査読システムが使用する(単複の)エンジンを強化する目的で使用することができる。第1、第2及び第3の結果が完全に人間から得られる場合には典型的な査読であり、本査読システムの発明の一部ではない。しかしながら、このような場合には、妥当性確認された所見を含むこれらの判読の画像及びコンテンツコホートを画像/コンテンツコホートとして取り込むことができ、このプロセスは本発明の機能である。このようなコホートは、エンジンが学習のために遡及的に使用することができ、本査読システムは、医師の成果をさらに検証し、画像/コンテンツコホートをさらに改善し、新たなエンジン及び/又はエンジンのエンジンを開発するためにこれらのデータを査読プロセスに投入することができる。
【0023】
エンジン(及びエンジンのエンジン)は、画像/コンテンツコホートだけでなく、到来する臨床データのライブストリームに対しても良好に機能しなければならない。判読を必要とするこれらのリアルタイム臨床画像及びコンテンツセットは不完全であることが多い。そうである理由は、スキャンプロトコルのエラー、患者の動き、金属アーチファクト、肥満患者などの、患者スキャン上の問題が存在するためである。この不完全性は、現在の研究論文に関連する以前の画像研究論文を利用できないこと、或いは臨床情報の不足又は医療ミスなどに起因して発生することもある。これらの理由により、リアルタイムの研究評価は画像/コンテンツコホートの処理よりも困難であり、様々なエンジン/動作が機能しなくなると予想することができる。本査読システムは、困難であった又は失敗した研究のコホートを利用して、提示されたデータの使用事例及び品質係数を所与としていずれかの所与のアンサンブル、エンジン又は動作が上手くいく可能性を判断することができる。本査読システムは、データを分析してどのエンジン、アンサンブル及び動作が実行されるかに影響を与えるエンジンのエンジンにおいてこの情報を利用して、いずれかの特定の研究論文又は困難な画像コホートの必要な/望ましい所見を最良に提供することができる。本査読システムは、このように最適化を行うことにより、無駄な計算パワーを削減し、劣った所見をレビューする医師の無駄な時間を削減し、エンジン及びアンサンブルの一貫性及び性能を高め、これにより本査読システムの知性を利用して本査読システム自体の性能を改善する。
【0024】
1又は2以上のエンジン又はアンサンブルが、一致する、一致しない、正常な、異常な、高品質の、低品質の、失敗した又は上手くいった結果を戻した場合には、アラートを発することができる。また、本査読プロセス内であるか、別の医師又は臨床医の画像判読プロセス又はレビュープロセス内であるか、それとも電子健康記録、観察システム、PACS又は3D高度可視化システム内であるかにかかわらず、医師が確認する必要がある所見、或いはエンジンによってマーキングされず、又は別様に評価、言及、指示又はマーキングされてクラウドプラットフォームによって供給された場合には医師が見逃した可能性が高かったはずの所見の数を増やすために、教師あり又は教師なしで機械学習したエンジンを用いて、様々な状況における様々なエンジンの効果をモニタして学習し、様々なエンジンの使用を様々な使用事例に最良に適用されるように最適化し始めることもできる。
【0025】
1つの実施形態によれば、特定の臨床研究論文に関連する第1の医用画像の組が医用データソースから受け取られると、1又は2以上の画像処理エンジンが呼び出されて、特定のタイプの画像研究論文のために構成されたエンジン動作を実行するための、所定の又は機械学習によって提案された順序に従って医用画像(又はデータ、本出願では同義的に使用)を処理(例えば、画像内、他のデータ内又は測定結果内の形状、特徴、傾向を認識)する。画像処理エンジンは、医用画像のいずれかの異常所見を検出し、或いは(エンドユーザが判読のために使用しているシステムに基づいて、又はエンドユーザが本査読システムの機能の一部としてカスタマイズした方法で)エンドユーザの選好又はコンピュータ観察による作業方法に従って臨床ワークフローを最適化して異常所見を示す、又は好ましい画像の提示と正常所見及び/又は異常所見とを示す第1の結果を生成する画像処理動作を実行するように構成される。医師の入力は第2の結果を表す。本査読システムは、結果及び所見内の一致又は不一致を検出し、不一致の結果を所与としてさらなる判定のためのアラートを送信し、或いは差分を記録し、アルゴリズム/エンジンの所有者に提供して、これらの所有者がこのフィードバックを受け入れるかどうか(すなわち、医師の入力を真実として受け入れるべきかどうか、及びこの研究論文を新たな又は最新のコホートに含めるべきかどうか)を管理できるようにする。
【0026】
本発明の1つの実施形態は、画像収集品質に基づいて推論及び画像コホート収集を規制する。エンジン基準を確実に満たすために、いずれかの予測エンジンを呼び出す前又は後には画像品質をチェックして検証する必要がある。この基準は、画像インフォマティクスの品質管理に関与する規制及び監視団体の基準を含むことができる。この基準1つの例は、肺塞栓症の研究に関連する。肺塞栓症検出の感度及び特異度は、画像収集品質に直接関連する。呼吸運動アーチファクトなどの画質劣化をもたらすアーチファクト、又は技術習得パラメータ(例えば、造影ボーラスのタイミング)は、所与の所見を確実に識別するためのエンジンの能力に直接影響を及ぼす。肺塞栓症検出エンジンの結果が医師に提示され又は検証されるようにするには、肺塞栓症検出エンジンの信頼度を修正するために、品質管理エンジンが造影ボーラスのタイミングの評価及び呼吸運動アーチファクトについての評価を行わなければならない。所与のアーチファクトの有無を所与として性能が良くなる又は悪くなるエンジンが存在することができ、これらは画像を処理するために自動的に選択することができる。処理されるエンジンの組み合わせは、所与の所見の所見出力の最適かつ適切な信頼性を保証する。従って、所見の有無は研究論文の質の範囲又は関数としての結果と考えられ、必ずしも離散値ではない。これは、品質管理、画像アーチファクトの処理及び画像収集品質の技術的変動に関するエンジンのエンジンのセレクタの1つの実施形態である。
【0027】
画像コホートキュレーション品質スコアリングにも同様の品質管理パラダイムが適用される。医師とエンジンとの組み合わせによってキュレートされた所与の画像コホートに記憶された各画像については、画像アーチファクトの有無に伴う品質スコアが所見と共にデータベースに記憶される。診断画像判読者又は提供者は、この自動品質管理スコアを受諾又は拒絶することができる。高品質ラベルセットと低品質ラベルセットの両方がキュレートされる。高品質データセット及び低品質データセットの両方に照らして所与のエンジンの性能にスコア付けして、特定のアーチファクトが存在する場合にエンジンを使用できるかどうかを判断する。
【0028】
具体的に言えば、本発明の1つの実施形態では、画像処理エンジンが、同じ又は異なる実体又は組織が運営できる1又は2以上の画像処理エンジン開発者によって提供される。第1の医用画像の組の一部である第2の医用画像の組が第1のレビューシステムに送信される。1つの実施形態では、第2の医用画像の組が、画像処理エンジンによって異常画像として分類されたものである。査読システムとして動作するレビューシステムは、第2の医用画像の組をレビューして、画像の異常点を検証又は確認、或いは非検証又は拒絶して第2の結果を生成するように構成される。レビューシステムから受け取られた第2の結果に応答して、第1の結果及び第2の結果に基づいて、本査読システム上で実行される画像処理エンジンの動作の妥当性を確認又は否定する(これは、サードパーティの従来の査読システム上で、又はこのような機能を有する、本明細書で説明する本査読システムの発明上で行われる)。
【0029】
機械学習済みのエンジンは、この情報から学習を行うことができ、及び/又はアルゴリズムの統治及び/又は所有者は、このような学習プロセスへのフィードバックを受諾又は拒絶することができ、或いは教師なしエンジンは、様々なシナリオを用いて独自に実験を行って、一部のフィードバックを受諾して他のフィードバックを拒絶する統計的に理想的な組み合わせを発見することができる。品質管理を実行するために、エンジン立案者が訓練データとして利用できない参照基準画像コホートに照らして(単複の)エンジン/(単複の)アンサンブルの性能を検証することができ、この場合、エンジンのバージョニングが、典型的な医療規制及び参照基準に従って、これらの性能メトリクス及び/又は所与のアルゴリズムのバージョン、並びにトレーサビリティのために立案者に提供される画像のコホートを表示する。所与のバージョンのアルゴリズムの過剰適合を防ぐために、アルゴリズム検証及びエンジン認定のために特別に組み立てられた投入画像又は画像コホートを、提供される画像の数及びタイプに関してランダム化する(すなわち、アルゴリズムが良く見えるように又は良く評価されるようにデータを調整する)。このようなバージョニングは、参照基準コホートを用いて妥当性確認を実行することが適切でない場合に、訓練データと妥当性確認データとの間の明確な分離を保証する。
【0030】
1つの実施形態では、画像処理エンジンの結果の妥当性を一貫して多くのユーザが確認することにより、これらのデータを利用してFDAなどの外部サードパーティエンティティによる規制認証をサポートすることによって、画像処理エンジンが「認定」又は「認可」された画像処理エンジンになることができる。画像処理エンジンの妥当性をその使用結果に基づいて確認できない場合には、例えばその以前の結果(画像コホート及び臨床コンテンツコホート)に基づく機械学習方法を用いて画像処理エンジンのパラメータ又はアルゴリズムを調整又は再訓練する必要があり得る。さらに、エンジン、画像コホート、臨床コホートを改訂し、本査読システムの全ての利用データを保存することにより、エンジンのエンジンが学習し適合してエンジン立案者がこれらの記録されたイベントに基づいて自身のエンジンの性能を改善するための方法が提供される。
【0031】
図1は、本発明の1つの実施形態による医用データ査読システムを示すブロック図である。
図1を参照すると、医用データ査読システム100が、ネットワーク103を介して医用画像処理サーバ110に通信可能に結合された1又は2以上のクライアント装置101〜102を含む。クライアント装置101〜102は、デスクトップ、ラップトップ、モバイル装置、ワークステーションなどとすることができる。ネットワーク103は、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、インターネット又はイントラネットなどの広域ネットワーク(WAN)、プライベートクラウドネットワーク、パブリッククラウドネットワーク、又はこれらの組み合わせとすることができる。
【0032】
画像処理サーバ110は、医用データソース105が提供できる医用画像及び臨床コンテンツに対して一連の1又は2以上の画像処理動作又は臨床コンテンツ処理動作を実行するように呼び出して構成できる複数の画像処理エンジン113〜115をホストする。医用データソース105は、臨床研究情報システム(LIS)、放射線情報システム(RIS)、企業コンテンツ管理システム(ECM)、電子診療記録(EMR)、病院情報システム(HIS)、画像アーカイブ及び通信システム(PACS)、VNA(ベンダーニュートラルアーカイブ)、高度可視化3Dシステム、EMRデータ、様々なディレクトリ、並びにHIE(医療情報交換)サーバ及び個人又は組織リポジトリなどの他のデータソースを含むことができる。医用データソース105は、画像処理サーバ110を運用する組織とは異なる組織又は情報提供者が管理及び/又は運用することができる。医用画像データソース105は、クラウドベースのストレージ、ローカルドライブ、CD、ハードドライブ、DVD、USB、ウェブアップローダ、いずれかのDICOMリポジトリ又はソース、その他の画像及び臨床コンテンツソース、又はこれらの組み合わせからの画像データを含むことができる。画像処理サーバ110は、医用画像データソース105からネットワークを介して画像データ(例えば、研究論文、臨床レポート、画像、患者データ、利用データ、又はこれらのいずれかの組み合わせ)を受け取ることができる。
【0033】
本査読システムは、人間の知性及び検証を必要とするラベル付きデータの本質的価値、又は大量の非ラベル付きデータの意図的な収集を認識する。この査読システムは、ラベル付きデータの盗用によるエンジンのリバースエンジニアリングを防ぐための、又はこのタスクを実行できるエンジンを盗むことによるラベル付きデータセットの複製を防ぐためのオプションとして、透かし、画像ラベリング、及び/又は基礎を成す証明書又は認証システムの有無にかかわらずに暗号化能力を含み、これらを利用してラベル付きデータ、ソースデータのアクセス、実行、復号又はエクスポートを防ぎ、或いはこのようなマーキングの不在時又は存在時にエンジン立案者の許可なくエンジン/アンサンブルが動作するのを制限することができる。
【0034】
本査読システムの1つの実施形態は、エンジンの知的財産の立案者の許可を伴わずに注釈付きデータを収集することによるエンジンのリバースエンジニアリングを防ぐことによって立案者を保護することができる。この実施形態は、立案者及びエンドユーザによって設定されるEULA及び許可に基づいて変化することができる。この機能のいくつかの実装例としては、以下に限定するわけではないが、a)ブロックチェーンベースの(例えば、イーサリアム)DApp(分散型アプリケーション)を用いてメタデータ又は画像データに注釈を付けることによる研究論文の追跡、b)エンジンによって生成される透かし画像オーバーレイ、c)認証ビューア又はPACS環境と共に見ることができるようにエンジンの出力を暗号化すること、d)注釈付きの画像データ及び/又はメタデータのバルクデータエクスポートの防止、e)注釈付き画像コホート使用のログ記録、f)検証証明書を受け取っていないエンジン/アンサンブル動作の防止、g)エンジンが特定のマーキング又は注釈付きメタデータ、又は暗号化アクセスキーなどを含まない限り、データ上でエンジンが実行するのを防ぐこと、を挙げることができる。
【0035】
1つの実施形態では、データソース105によって提供される医用データが、DICOMフォーマットの医用画像データ、非DICOMフォーマットの医用画像データ、スケジューリングデータ、登録データ、人口統計データ、処方箋データ、課金データ、保険データ、口述データ、レポートデータ、ワークフローデータ、EKGデータ、最良の参考資料、参考資料、訓練資料などを含むことができる。これらのデータは、HIS、RIS、PACS、LIS、ECM、EMR又はその他のシステムを含む複数の場所又はシステム内に存在することができる。非DICOMデータは、A/V、MPEG、WAV、JPG、PDF、Microsoft Office(商標)フォーマット及びその他のフォーマットを含む複数のフォーマットとすることができる。一般に、PACS内のデータはDICOMデータを含み、HIS、RIS及びLIS、ECM、EMR内のデータは、画像データと非画像データの両方を含む非DICOMデータを含む。HIEデータは、健康情報交換システムを通じて利用できるデータを含む。一般に、これらのデータは、地域内、コミュニティ内又は病院システム内の異なる組織にわたって利用可能なデータを含み、テキストベースのデータ、ファイルベースのデータ、DICOM又は非DICOM画像データとすることができる。他のデータは、コンピュータ上のディレクトリ内のデータ、データベース内のデータ、白書及び臨床リポジトリ内のデータ、研究所内のデータ、並びにユーザ、モバイル装置から臨床使用の過程で収集されたデータを含む他のいずれかの関連データを含む。
【0036】
画像処理エンジン113〜115は、様々なベンダが開発して提供することができ、様々な組織又は企業体が運用することができる。1つの実施形態は、場合によってはハードウェア処理リソース(例えば、グラフィック処理ユニット又はGPUなどのグラフィック高速化装置)と組み合わせて、トレンド、比較、特定値、特性、形状又は類似性(類似度)認識、関心領域、サイズ、測定値などの特定の画像処理を画像(又はデータセット、同義的に使用)に対して実行するためにプロセッサが個別に単独で立ち上げて実行できる実行可能イメージ、コンテナ、仮想環境又は2進コードとしての画像処理エンジンである。画像処理エンジン113〜115は、クライアント101〜102のユーザが1又は2以上の画像処理エンジンをクライアントアプリケーション111〜112のそれぞれの一部として購入、選択及びダウンロードできるように、この例ではアプリケーションストアであるウェブサーバ109内にアップロードしてリスト化することができる。選択された画像処理エンジンは、様々な構成(例えば、直列、並列、又はその両方)に合わせて一連の1又は2以上の画像処理動作を実行するように構成することができる。画像処理エンジン113〜115は、クライアントシステム101〜102にダウンロードされて動作を実行することができる。或いは、画像処理エンジン113〜115は、画像処理サーバ110などのクラウドベースのシステム内でサービス型ソフトウェア(SaaS)及び/又はサービス型プラットホーム(PaaS)の一部としてホストされて動作を実行し、エンジンの立案者がアクセスの制御、バージョン及び規制順守の維持を行えるようにすることもできる。
【0037】
1つの実施形態では、画像処理エンジン又はモジュール113〜115の各々を、例えば肺結節の検出、骨折の検出、臓器の同定及び分割、血液凝固の検出、画像の身体部分のカテゴリ化、慢性閉塞性肺疾患(COPD)の検出、又は軟組織の特性化などの特定の画像処理動作を医用画像に対して実行するように構成することができる。画像処理エンジンは、医用画像から取得される、或いは臨床コンテンツによって導出又は示唆される形状、質感、真球度測定、色又はその他の特徴に基づいてこのような検出を実行することができる。1つの実施形態では、複数のベンダによって提供された複数の画像処理エンジンを、医用画像処理サーバ110の構成インターフェイス又はクライアントアプリケーション111〜112を介して、直列に、並列に又はこれらの組み合わせで画像処理動作を実行するように構成することができる。
【0038】
1つの実施形態では、画像処理エンジン113〜115のいずれか1つが呼び出されると、その画像処理エンジンが、画像処理サーバ110の一部として、或いは画像処理サーバ110に通信可能に結合された遠隔医用画像処理システム(或いはシステム又はサーバのクラスタ)として統合できる画像処理システム106の1又は2以上の画像処理ツール107をさらに呼び出すことができる。画像処理システム106は、TeraRecon(登録商標) AquariusNET(商標)サーバ及び/又はTeraRecon(登録商標) AquariusAPS(商標)サーバの一部として実装することができる。各画像処理エンジンは、医用画像処理システム106を呼び出して、エンジン又はエンジンのエンジンに誘導された、或いはエンジン又はエンジンのエンジンによって自動的に検出できる患者の身体部分の画像に対して画像処理動作を実行して、このような画像上で特定の定量的画像データ又は測定データを生成することができる。同様に、臨床コンテンツを調査することもできる。
【0039】
これらの定量的画像データを用いて、医用画像の特定の身体部分のサイズ及び/又は特徴を手動又は半自動で特定又は測定することができる。これらの定量的画像データを画像のタイプに関連する対応するベンチマークと比較して、特定の病状、医学的問題、或いは疾病の存在又は疑いがあるかどうかを判断することができる。患者の病歴及び/又はその他の患者のデータの一部と同じタイプの患者の医用データの傾向に基づいて、このような発生の確率をさらに予測又は判断することもできる。1つの実施形態では、アンサンブルエンジンを組み合わせて、例えば1つのエンジンが身体部分を発見し、別のエンジンが身体部分を分割し、別のエンジンがその中の生体構造にラベル付けし、別のエンジンがその領域の主要疾病の兆候を検出し、最後に別のエンジンがこれらの所見を臨床情報リソース及び提言と照合して医師に対する支援及び指示を行うことができる。
【0040】
1つの実施形態では、処理エンジンを患者の特定の身体部分に関連付けることができる。エンジンがどの身体部分に関連するか、或いは使用する画像モダリティタイプ(画像処理タイプ)が何であるかに従って特定のエンジンのみが適用される。これにより、上述したエンジンのうちの1つのエンジンが良好な選択を行って何が役立つかを学習するのを支援する。
【0041】
画像処理サーバ110は、1又は2以上のe−suiteをさらに含むことができる(すなわち、アンサンブルとも呼ばれるe−suiteは、1又は2以上の画像処理エンジンの組み合わせとすることができる)。従って、アンサンブルをカスケード化して粒度を高め、これによってアンサンブルエンジンの特定の対象動作の感度及び特異度を高めることができる。
【0042】
エンジン又はe−suiteは、所見(例えば、疾病、兆候、特徴、物体、形状、質感、測定値、保険金詐欺、又はこれらのいずれかの組み合わせ)を検出することができる。1又は2以上のエンジン及び/又は1又は2以上のe−suiteは、メタデータ、既知の画像内分析法、又はこれらのいずれかの組み合わせに基づいて、研究論文(例えば、臨床レポート、画像、患者データ、画像データ、メタデータ又はこれらのいずれかの組み合わせ)から所見を検出することができる。画像処理サーバ110の画像処理エンジン113〜115は、例えば画像データが異常である旨を示す所見を画像データにフラグ付けすることができる。
【0043】
フラグ付けは、実際の所見、又はエンジン/e−suiteによって発見された所見の組み合わせを利用して導出された要約表示、エンジン/e−suite名、画像処理サーバ110が研究論文を処理したことを表す単純な記号、研究が正常/異常であった旨のマーキング、所見のリスクを示す一連のマクロレベルの表示選択(例えば、赤、黄、緑又はオレンジ)、重症度(例えば、軽度、中度、重度)によるマーキング、所見を示すアイコン(例えば、所見の存在を示す単純な記号)、画像観察システムにおいて自動的に呼び出される関連ツール、又はこれらのいずれかの組み合わせ、或いはエンジン/e−suite/アンサンブル又はエンジンのエンジンによって提供されるようなものを表示することを含むことができる。
【0044】
フラグ付けは、研究論文に対して又は研究論文とは別に行うことができる。フラグ付けは、1又は複数のRESTfulサービス(restful services)、API、通知システムを通じて利用及びアクセスすることも、或いはサードパーティアプリケーションに又は画像処理サーバ上で、又は本査読システムの(単複の)データベースにプッシュ配信することもできる。1つの実施形態では、3D医用画像処理ソフトウェアアプリケーション(例えば、クライアントアプリケーション111〜112)内にフラグ付けを表示し、又はこのアプリケーション内で見ることができる。エンジン及び/又はe−suiteは、多くの研究論文を処理するにつれてさらに正確に所見を検出できるように、機械学習アルゴリズム(machine learing algorithms)を用いて以前の所見に基づいて定期的に機械学習又は訓練することができる。換言すれば、多くの研究論文を処理するにつれて所見を検出する信頼度が高くなる。画像処理サーバ110は、エンジン及び/又はe−suiteの所見に基づいて、例えば所見の種類、所見の重症度、患者の健康リスク、又はこれらのいずれかの組み合わせに基づいて、研究論文のワークリストを優先順位付け又はソートすることができる。これは、一次画像判読プロセスにおいて使用できる結果及びマクロ所見のリストを含む最終的なプラットフォームの出力であり、これらの所見はいずれも公開し、又は調整のための基礎的前提に関してさらに問い合わせることができ、或いは妥当性及び交換又は編集の可能性について画像データ又は臨床データの品質を評価することもできる。
【0045】
RESTfulサービスとのインターフェイス、又はAPIは、本査読システムと、他の一般的な査読システムと、他の医用画像ビューアとの間に、これらのサードパーティアプリケーションにおいて提供されるあらゆるフィードバックを本査読システムに戻して、エンジン学習、並びにさらなる画像データコホートと臨床コンテンツコホートとのキュレーションを容易できるように双方向通信をもたらす。
【0046】
アプリケーションストア109は、1又は2以上のエンジン、1又は2以上のe−suite、又はこれらのいずれかの組み合わせを記憶できるe−コマースサーバとすることができる。画像処理サーバ110は、アプリケーションストア109と同じ又は異なるエンジン又はe−suiteを記憶することができる。画像処理サーバ110のエンジン又はe−suiteは、ユーザがグラフィカルユーザインターフェイス(GUI)又は画像処理サーバ110の(ローカルな又はインターネット上の)ウェブサイトを介してどのエンジンを選択したかに応じて研究論文を処理することができる。画像処理サーバ110は、最新の/改善されたエンジン又はe−suiteをアプリケーションストア109に送信することができる。アプリケーションストア109又は画像処理サーバ110は、ユーザプロファイル及び/又はグループプロファイルを記憶することができる。ユーザプロファイルは、1又は2以上のユーザに固有のものとすることができる。グループプロファイルは、例えば統治理事会、放射線科医グループ、心臓内科医グループ、技術者グループ、開発者グループ、又はこれらのいずれかの組み合わせなどの1又は2以上のグループに固有のものとすることができる。ユーザプロファイル及びグループプロファイルは、ツール、エンジン、e−suite、訓練ツール、コーディングツール、又はこれらのいずれかの組み合わせへのアクセス制御を有することができる。ユーザ及び/又はグループは、他のユーザ及び/又はグループへのアクセス制御を拡大又は縮小することができる。
【0047】
ツール、エンジン、e−suite、訓練ツール、コーディングツール、又はこれらのいずれかの組み合わせは、画像処理サーバ110を介して、或いは2D及び/又は3D医用画像処理ソフトウェアアプリケーション、又は査読システム、又は新規の本査読システムに表示して使用することができる。医用画像処理ソフトウェアアプリケーションは、画像処理システム106の画像処理ツール107の出力にアクセスするクライアントアプリケーションである。例えば、第1のユーザがクライアント装置(例えば、ウェブサイト、携帯電話機、ワークステーション、コンピュータ、iPad(登録商標)、ラップトップ、又は他のいずれかの方法又はタイプ、又はこれらの組み合わせ)を介して第1のエンジンをアップロードし、これをアプリケーションストア109に記憶することができる。第1のユーザ又は統治理事会は、例えば機械学習/訓練ツールなどの特定のツールへのアクセス権を第2のユーザ又はグループに提供することができる。第2のユーザ又はグループはこれらの機械学習/訓練ツールを使用することができ、この使用からのフィードバックを適用して、高精度で所見を検出するように第1のエンジンを訓練することができる。画像処理サーバ110は、第1のエンジンを更新してアプリケーションストア109に記憶することができる。エンジンによる画像データの処理及びエンジンの更新は、画像処理サーバ110、画像処理アプリケーションストア109、又はこれらのいずれかの組み合わせにおいて行うことができる。
【0048】
なお、これらのエンジンは、規範的な、教師あり学習を通じて実装される、或いは教師あり又は教師なし学習を通じてエンジン(エンジンのエンジン)によって自己開発できる評価された性能属性を有することができる。その後、エンジンをアップロードする人物は、統治を通じてこれらの変更を受諾又は拒絶し、及び/又はこれらを他者が使用できるように公開することも又はしないこともできる。
【0049】
画像処理サーバ110は、異なる場所の1又は2以上の医療研究所、1又は2以上のユーザ、1又は2以上のグループ、又はこれらのいずれかの組み合わせからのエンジン又はe−suiteを含むことができる。画像処理サーバ110は、1又は2以上のユーザが1又は2以上のエンジン、或いは1又は2以上のe−suiteをアップロード又はダウンロードできるように、グラフィカルユーザインターフェイス(GUI)を有することができる。画像処理サーバ110は、1又は2以上のユーザ又はグループがエンジン又はe−suite上でデータの訓練、コード化、開発、アップロード、消去、追跡、購入、更新又は処理を行うためのGUIを有することができる。画像処理サーバ110は、アクセス制御を有することができる。画像処理サーバ110は、独立したセキュリティと、エンジン、アンサンブルエンジン、エンジンのエンジン及びこれらの構成への制御されたアクセスをサポートするクラウドアクセス制御とを提供するマルチテナント環境をサポートするようにパスワード保護することができる。これらのパスワード(及び/又は他のシステムとの統合ワークフローのための認証方法)は、画像コホート、臨床データコホート、エンジンのアクセス可能性、及び相互作用データベースの個別のアクセス制御をサポートする。
【0050】
ユーザ又はグループは、画像処理サーバ110を通じて、同じ医療研究所又は他の医療研究所(例えば、マルチテナンシー構成(multi−tenancy configuration))の他のユーザ又はグループにツール及びエンジンへのアクセス制御を与えることができる。これにより、エンジン又はe−suiteによる所見の検出を改善するための、1又は2以上の医療研究所の1又は2以上のユーザ又はグループ間の共同努力を促すことができる。画像処理サーバ110は、ユーザがエンジン又はe−suiteを実行して画像データを処理できるようにするGUIを有することができる。1つの実施形態では、RESTful及び/又はAPI通信をサポートする、或いはプラットフォームのデータベース対して読み出し/書き込みを行うことができるいずれかのサードパーティシステムが、本査読システムの出力を統合及び/又は消費することができる。或いは、本査読システムの観察部分をこのコンテンツの消費者とすることができ、及び/又はサードパーティシステムに埋め込み、又はスタンドアロンとして使用することもできる。いずれかの画像処理エンジン113〜115は、エンジン所有者、並びに査読及び/又は診断判読を実行する本査読システムのユーザによって適用されるセキュリティ設定及び統治設定に応じて、画像処理システム106の画像処理ツール107をさらに呼び出すことができる。
【0051】
エンジン立案者は、画像処理サーバ110を通じて、ウェブインターフェイスなどのグラフィカルインターフェイスを用いてアプリケーションストア109にいずれかの画像処理エンジン又はe−suiteをアップロードすることができる。画像処理サーバ110は、1又は2以上のエンジン開発者が画像処理サーバ110上でいずれかのエンジンの更新、変更、訓練、機械学習又はこれらのいずれかの組み合わせを行うための開発者プラットフォームを有することができる。エンジンは、開発者プラットフォーム上で、例えば機械学習アルゴリズムを用いた訓練を通じて、又は所与のエンジンの予測方法のコンテナ化バージョンの修正を通じて所見を検出するように改善することができる。これを達成できる1つの方法は、所与のエンジンを改善するためにデータを集約し、反復的訓練評価に使用されるデータと、所与のソフトウェアコンテナ又はラッパー内のエンジンソースコードのバージョニングに使用されるデータを非同期的にバージョニング(versioning)して、クラウド内で使用中の、或いはプラットフォーム内で協働して動作するエンドユーザ及びアルゴリズム/エンジン立案者の動作によって管理され支配される展開されたコンテナアルゴリズムプレーヤソフトウェア内で離れて使用中のアルゴリズムの配布及び更新を可能にすることによるものである。
【0052】
1又は2以上の個々の処理エンジンは、規定の入力及び出力の組と共にソフトウェアコンテナにラップすることができる。互換性のある入力及び出力を有する処理エンジンは、順に実行することも、又はより正確な最終出力を生成するように(例えば、複数のスレッドを介して)並行して実行することもできる。1つの実施形態では、特定のエンジン/アルゴリズムの必要な入力及び出力をプラットフォームによってサポートされ更新される標準的な公開スキーマに抽象化できるようにする標準化されたRESTfulウェブサービスAPI(又は同様のもの)を利用することができる。このためには、マッピング及び抽象化を可能にする抽象層を全てのエンジンが入力及び出力側に有する必要がある。この結果、1又は2以上の抽象化された出力を1又は2以上の抽象化された入力にマッピングすることができる。
【0053】
例えば、エンジン開発者は、肺結節検出の様々な特徴(例えば、幾何学的形状、質感、肺結節の検出をもたらす特徴の他の組み合わせ、又はこれらのいずれかの組み合わせ)に基づいてエンジンを訓練することにより、アプリケーションストア109の開発者プラットフォーム又はデータ分析システム(図示せず)上で研究論文内の肺結節を検出するように肺結節検出エンジンを訓練することができる。別の例では、エンジン開発者が開発者プラットフォーム上で血液凝固エンジンを訓練することができる。別の例では、骨折エンジンが、画像処理サーバ110からの骨折エンジンデータに基づいて開発者プラットフォーム上で機械学習することができる。別の例では、COPDエンジンが、同じCOPDエンジンのデータ、別のCOPDエンジンのデータ、又はこれらのいずれかの組み合わせに基づいて機械学習することができる。
【0054】
図2は、1つの実施形態による画像処理サーバの例を示すブロック図である。
図2を参照すると、画像処理サーバ110は、永続記憶装置202(例えば、ハードディスク)にインストールしてここからロードできるとともに1又は2以上のプロセッサ(図示せず)が実行できる1又は2以上の画像処理エンジン113〜115をホストするメモリ201(例えば、ダイナミックランダムアクセスメモリ又はDRAM)を含む。画像処理サーバ110は、追跡モジュール211、アラートモジュール212、分析モジュール213及びレポートモジュール214をさらに含む。画像処理エンジン113〜115は、プロセス構成224に従って様々な構成で構成することができる。プロセス構成224は、ユーザによって、或いは特定の研究論文又は画像のために特別に構成された構成ファイルに記憶することができる。医用画像処理サーバ110は、マルチテナンシークラウドサーバとすることができる。それぞれがユーザ又はユーザグループに関連し得る複数の構成ファイルが存在することができ、これらは構成インターフェイス(図示せず)を介して構成することができる。
【0055】
例えば、
図2及び
図3を参照すると、画像処理サーバ110において医用データソース105から医用データ(この例では、医用画像)を受け取ることができる。画像処理エンジン113〜115のうちの1つ又は2つ以上は、プロセス構成データ224に基づいて順番に従って配置することができる。画像処理エンジン113〜115は、医用画像処理システム106の画像処理ツール107をさらに呼び出すことができる。1又は2以上の結果250を生成し、出力データ222の一部として永続記憶装置202に記憶することができる。1つの実施形態では、
図4Aに示すように画像処理エンジン113〜115を直列に配置して、第1の画像処理エンジンの出力を第2の画像処理エンジンの入力として利用することができる。或いは、
図4Bに示すように画像処理エンジン113〜115を並列に配置して、同じ又は異なる画像処理動作を同時に実行することもできる。その後、画像処理エンジンの出力を集約して最終結果を生成する。さらに、画像処理エンジン113〜115は、
図4Cに示すように直列と並列の両方で配置することもできる。
【0056】
1つの実施形態では、画像処理サーバ110が、出力250のテキスト又は言語を処理する自然言語処理(NLP)システム310をさらに呼び出すことができる。NLPシステム310は、画像処理サーバ110によって抽出された特徴をスキャンし、分析し、照合して、見逃された所見又は誤って判読された所見を含む研究論文を識別して出力250と相関させることができる。NLPは、コンピュータと人間(自然)言語との間の相互作用に関する、とりわけ大量の自然言語コーパスを効果的に処理するようにコンピュータをプログラムすることに関するコンピュータ科学、人工知能及び言語学の分野である。NLPタスクには、多くの異なる種類の機械学習アルゴリズムが適用されてきた。これらのアルゴリズムは、入力データから生成される大量の「特徴」を入力として取り込む。
【0057】
例えば、第1のエンジンは、所見を検出するためのアルゴリズムを実行することができる。第1のエンジンは、第1のエンジンの所見の出力を生成することができる。第1のエンジンによる所見は、統計インターフェイス、レポート(図示せず)、診断判読ビューア(図示せず)、或いはRESTfulサービス及び/又はAPIを通じて結果及びコホートにアクセスできるいずれかのシステム又はデータベースに含めることができる。医師は、所見の出力をレビューすることができる。医師は、第1のエンジンの所見の妥当性を確認/否定することができる。第1のエンジンの所見の妥当性の確認/否定は、出力データ222の一部として含めることができる。第1のエンジンは、1又は2以上の医療研究所からの研究論文を処理し、結果を出力データ222として含めることができる。
【0058】
あらゆる出資者は、エンドユーザがアルゴリズム、コード、又はアルゴリズムの訓練に必要な画像データにアクセスすることなく使用できるアルゴリズムを作成できるエンジン立案者とすることができる。これは、あらゆる数のコンテナエンジン/アルゴリズムを用いて研究論文を処理するクラウドベースサーバ又は現場に位置するサーバとすることができるセキュアなプライベートサーバ又はマルチテナントサーバに研究論文を送信することによって行われる。アクセス制御は、アルゴリズム開発者による認証及び管理者権限の供与を可能にする。アルゴリズム及び使用認証の1つの実施形態では、アルゴリズム開発者が、アルゴリズムを使用する能力を異なるエンドユーザに認める能力、或いは書面形式で又はクリック式の法的取引条件を通じて提供されるプラットフォーム及びライセンス契約に(単複の)エンドユーザが同意することを必要としながらこれらのアルゴリズムを公的利用のために公開できるようにする能力を与えられる。さらに、管理者権限は、アルゴリズム開発者に、他のアルゴリズム開発者にアルゴリズムを修正させる能力、又は新たなバージョンのアルゴリズムを作成させる能力、或いはエンジン又はエンジンのエンジンにアルゴリズムを修正させる能力を与える。バージョン制御は、これらの多くの異なるアルゴリズムを作成する能力をアルゴリズム開発者に対して可能にしながら、規制当局の認可のためにアルゴリズム技術ファイルへの変更を追跡する。同様に、本質的価値を保護して予期せぬデータの拡散を避けるために、多くの異なる画像、臨床コンテンツコホート及び査読フィードバックデータもバージョン化され保護される。
【0059】
本発明の1つの実施形態では、腹部の造影後CTスキャンをCT透視手順よりも前に処理する。造影後画像は、位置合わせエンジンを用いてCT透視データセットに位置合わせされる。CT誘導による生検又は切除中に非造影CT透視画像上に血管を表示するために、CT透視データ上で位置合わせの結果と解剖学的分割の結果とを切り替えることができる。このようにして、仮想コントラストが強調された透視結果が得られる。この処理は、MRIなどの他のモダリティを用いて同様にサポートすることもできる。1つの実施形態では、e−suiteの所見の出力の妥当性の確認又は否定を追跡データ221及び/又は統計223に含めることができる。
【0060】
別のシナリオによれば、例えばPACSサーバ又はCT、MRI、超音波、X線、又はその他の画像モダリティ又は情報システムが、e−suiteの第1のエンジンに研究論文を送信することができる。この研究論文を第1のエンジンが処理した後に、第1のエンジンからの所見の出力を第2のエンジン及び第3のエンジンに送信することができる。第2のエンジン及び第3のエンジンは、同時に実行することができる。第2のエンジンの所見の出力と第3のエンジンの所見の出力とを組み合わせることができる。第2のエンジン及び第3のエンジンの組み合わさった出力がe−suitenの所見の出力になることができる。或いは、処理用のデータを複数のエンジンが受け取ることからプロセスを開始し、これらのエンジンが、上述したように結果を1又は2以上の他のエンジンに送信することもできる。最終的な出力をソースモダリティ、PACS又は本査読システムに返送し、これを医師がレビューして、e−suiteアンサンブルの出力の所見を確認又は拒絶することができる。
【0061】
第1のエンジンの出力は、第1の重み因子を有することができる。第2のエンジンの出力は、第2の重み因子を有することができ、他も同様である。第1の重み因子及び第2の重み因子は、−100%〜+100%の範囲のいずれかの百分率、又は対数尺、或いは実行される試験及びコホートのタイプに適したいずれかの種類のいずれかの立案者割り当て尺度とすることができる。重み付けされた所見の出力によって、1つのエンジンは他のエンジンよりも大きな重みを有することができ、エンジン内の1つのタイプの所見は、所見毎に異なる重み付けを有することができる。ユーザは、画像処理サーバ上のインターフェイスから各エンジンの重みを操作することができる。或いは、教師あり又は教師なし機械学習技術を用いてこれらの値を設定するようにエンジンのエンジンを適用することもできる。
【0062】
例えば、第1のエンジンは、エッジ検出のためのエンジンとすることができる。第2のエンジンは、軟組織検出のためのエンジンとすることができる。ユーザは、第1のエンジンに20%が重み付けされ、第2のエンジンに80%が重み付けされるように各エンジンを操作することができる。第1のエンジン及び第2のエンジンの出力は、このような重みを反映することができる。複数のエンジン又はe−suiteを同じ研究論文のために同時に並行して実行することもできる。複数のエンジン又はe−suiteを同じ患者又は異なる患者からの異なる研究論文のために同時に実行することもできる。
【0063】
同様の所見を発見する同様のエンジンは、同時に、順番に実行することができ、又はこれらのいずれかの組み合わせは、同じ所見を検出する異なるエンジンとすることができる。例えば、第1のエンジン、第2のエンジン及び第3のエンジンは、肺結節検出エンジンではあるが異なるエンジン開発者又は異なる医療研究所からのものとすることができる。このような構成では、異なるベンダからの3つのエンジンからの所見を比較し、査読中に行われる診断判読プロセス中に、複数のツールへの迅速なアクセス及び各エンジンからの所見の概要を直ちに医師に提供することができる。或いは、本査読システムでは、共通のPACSシステムで診断的レビューを行い、本査読システムを用いたこのようなレビュー後に査読を行って、これらの診断判読間の同様の及び異なる所見を評価することもできる。
【0064】
典型的な査読と本査読システムとの違いは、典型的な査読では、判読の結果全体に関する同意しか確認しようとしないのに対し、本査読システムでは、所見を含む高い粒度レベルで同意を評価することができ、従って画像処理又はデータ処理エンジンを訓練するのに必要な詳細が提供されて将来的な結果が改善される点である。本査読システムでは、開始時には医師の従事時間が多く必要となり得るが、高度に調整されたアルゴリズムの利用可能性によって継続的に使用することができ、将来的には医師の判読時間全体が短縮されて、時間と共に査読結果が改善されるようになる。
【0065】
1つの実施形態によれば、処理エンジンは、同様のモダリティを用いて複数の研究論文を分析し、「顕著な経時変化なし(no significant interval change)」という分析結果を生じることができる。例えば、処理エンジンは、異なる時点で発生した同じモダリティ及び身体部分の2つの頭部CTの研究論文を取り込むことができる。追跡研究から容易に抽出されるレポート機能は、「顕著な経時変化なし」である。その後、両CT研究論文に対して処理エンジンを実行してこれらを比較し、いずれかの差分が存在するかどうかを確認する。最新のレポートが「顕著な経時変化なし」とみなされた場合、本査読システムの機能は、類似性を検証できるエンジンを実行し、従ってこの記述に同意する又はしない能力を提供することができる。多くの場合、報告された所見はレポート内で維持され、エンジンの実行時にプラットフォームへの入力である電子通信及び関連するコンテンツがエンジンに提供される。
【0066】
1つの実施形態によれば、単一の研究論文に対して実行されるエンジンは、異常の安定性を評価するために、別の1又は複数のエンジンを呼び出して関連する対照に対して実行することができる。これは、比較研究においてCT肝病変エンジンをMRI肝病変エンジンと比較することなどのマルチモダリティとすることができる。この実施形態では、CT画像コホートに対して実行されるCTアルゴリズムを実行する処理エンジンが、別の処理エンジン、又は同じ患者のMRI画像コホートに対してMRIアルゴリズムを実行する推論エンジンの以前の結果を呼び出して単一の比較タスクを実行する。
【0067】
エンジン及び/又はe−suiteは、所見を検出する(又は所見が無いことを目標とする場合にはそれを確認する)確率が高くなるような及び/又は最適化されるようないずれかの構成で実行することができる。エンジン及び/又はe−suiteは、所見を検出する信頼度を最大化するためのいずれかの構成で実行することができる。エンジンは、所見の出力がどのように見えるか(例えば、高確率での所見検出、低確率での所見検出、特定の所見の排除、特定の所見の包含、正常な研究論文の選択、又はこれらのいずれかの組み合わせ)をユーザが構成できるようないずれかの構成で実行することができる。
【0068】
例えば、ユーザは、COPD及び/又はCOPDの特徴を検出したいと望む場合、エンジンの構成がCOPD又はCOPDの特徴を高確率で検出できるように、1又は2以上のCOPDエンジンを並列、直列又はこれらのいずれかの組み合わせで(すなわち、COPD e−suite)構成することができる。この例は、医師が確認した標的所見をどの患者が有していたかに関する情報がレポートで提供される場合に検出アルゴリズムの重み付けを自己最適化できるエンジンのエンジンの理想的な使用事例である。COPD e−suiteを使用してCOPD e−suiteの所見の出力を確かめる(すなわち、妥当性確認する)医師が多くなるほど、e−suiteも高い評価を有することができる。評価が高くなり及び/又は確認が増加すると、他の医師もどのCOPD e−suiteの所見検出率が最も高いかを認識することができる。このことは、e−コマースサイトに評価システムを提供することによってユーザにも明らかになる。
【0069】
別の例では、ユーザが、肺結節を検出したいと望む場合に、例えば質感用のエンジン、及び結節形状用のエンジン、強度用のエンジン、又はこれらのいずれかの組み合わせなどの、肺結節の特定の特徴を検出するエンジンを選択することができる。このようなエンジンは、並列、直列又はこれらのいずれかの組み合わせで実行することができる。多くの肺スキャンは所見を有するので、検出すべき最も重要なものは、医師から経過観察を指示される可能性が高い所見である。従って、経過観察を要する可能性が最も高い肺の所見の検出を改善するために、エンジン又はエンジンのエンジンにレポート情報又はその他の臨床情報を提供することができる。偶発的所見は見逃された所見ではないので、本発明の1つの実施形態は、偶発的所見を提示しないことによって、又は提示した上で偶発的な可能性が高いとのマークを示すことによって査読及び診断判読プロセスにおいて偶発的所見をフィルタ除去するシステムである。上述したプロセスを具現化する別の方法は、偶発的所見によっては臨床転帰に影響を与える臨床的関連を有することも又は有さないこともあるような臨床重症度スコアとしての方法である。ユーザは、画像処理サーバ110(図示せず)の構成インターフェイスを通じて、あるエンジンを別のエンジンに手動で交換することができる。
【0070】
再び
図2を参照すると、1つの実施形態によれば、追跡モジュール211は、画像処理エンジン113〜115の割り当て及びプロセスを追跡又は記録するように構成される。なお、画像処理エンジン113〜115は、マルチテナンシー動作環境では複数のインスタンス(例えば、複数スレッド)で実行することができる。マルチテナンシー動作環境では、異なるユーザのログイン及び認証を行うことができる。ユーザは、認証されて許可されると、サービス又は加入契約書に従って画像処理エンジンを異なる研究論文、異なる組織などのために構成して利用することができる。追跡モジュール211は、どの医療研究のために又はどのユーザによってどの画像コホート及び臨床コンテンツコホートに対してどの画像処理エンジンが利用され、どのインデックス付きユーザデータが生じたかを追跡した後に、1又は複数のデータベースとも呼ばれる永続記憶装置202に記憶される(エンジンデータとも呼ばれる)追跡データ221を生成するように構成される。
【0071】
図5は、1つの実施形態による、医用画像を処理する処理フローである。
図5を参照して分かるように、医用画像501が受け取られると、画像処理エンジン113〜115のうちの1つ又は2つ以上を有する処理エンジン502が、医用画像を処理して結果503を生成するように構成される。なお、画像501は、単一の研究論文内の複数の画像、研究論文内の複数のシリーズ、又は異なるモダリティの複数の研究論文からのシリーズと画像の組み合わせを表すことができる。分析モジュール213は、結果503を分析して統計データを生成する。一方で、追跡モジュール211は、処理エンジン502の動作を追跡するように構成される。結果503は、出力データ222の一部として記憶することができる。追跡データ及び統計データ504が生成され、これらを追跡データ221及び/又は統計223の一部として記憶することができる。追跡データ/統計データ504に基づいて、異常所見又は不整合所見などの所定の条件を満たすいずれかのデータが存在する場合には、アラートモジュール212が、アラートを生成して所定の装置、データベース又はシステムに送信するように構成される。追跡/統計データ504に基づいて、レポートモジュール214がレポートを生成することもできる。
【0072】
追跡モジュール211は、1又は2以上のエンジン(例えば、第1のエンジン)のエンジンデータ(例えば、どの研究論文が画像処理サーバに送られたか、どの研究論文がどのエンジンによって処理されたか、どの研究論文がどのエンジンによってフラグ付けされたか、どの研究論文が複数のエンジンによってフラグ付けされたか、どの研究論文が査読サンプルの一部として送信されたか、エンジン名、所見、妥当性が確認及び/又は否定された、疾病の可能性が潜在的に高い機械学習された研究論文に関するデータ、限定するわけではないが、壁厚、質感、傾斜、測定値、密度、異質性、ボクセル範囲の標準偏差、又はこれらのいずれかの組み合わせを含む研究論文内の画像の特徴に関するデータ、判読する医師とシステムを使用する他のいずれかの人物とのユーザインタラクション、診断時間、例えば患者の健康リスクに基づく研究論文のフラグ付け、リスクに基づく研究論文の順序、又はこれらのいずれかの組み合わせ)を追跡することができる。各研究論文が1又は2以上のエンジン又はe−suiteによって実行された後には、エンジンデータを手動で、継続的に、又は自動的に追跡して更新することができる。査読機能は、1人、2人又は3人よりも多くの医師の判読を伴うことができ、本査読システムは、医師又は治験による無関係な研究論文の連続的診断判読のために使用することもできる。
【0073】
また、統計データエンジンとも呼ばれる分析モジュール213は、画像処理エンジンの追跡したエンジンデータに対して分析を実行することもできる。統計データエンジン213は、エンジンを提供する1又は2以上の医療研究所、並びに画像及び臨床コンテンツコホートのみを提供する他のソースからのエンジンデータを含む、本査読システムに関連する1又は2以上の画像処理サーバ及び1又は2以上のデータベース、並びに外部ソースからのエンジンデータを集約することができる。統計データエンジン213は、アプリケーションストア109上でエンジン評価の一部として更新できるエンジンデータに基づいて、全てのエンジン及びエンジンのエンジンの統計データを更新することができる。統計データは、統計データ223の一部として永続記憶装置202に記憶することもできる。画像コホート及び臨床データコホートについても同様のフィードバックが収集され表示される。
【0074】
なお、上記で図示し説明したようなコンポーネントの一部又は全部は、ソフトウェア、ハードウェア、又はこれらの組み合わせで実装することができる。例えば、このようなコンポーネントは、プロセッサ(図示せず)によってメモリにロードされ実行されて、本出願全体を通じて説明するプロセス又は動作を実行できる、永続記憶装置にインストールされ記憶されたソフトウェアとして実装することができる。或いは、このようなコンポーネントは、対応するドライバ及び/又はオペレーティングシステムを介してアプリケーションからアクセスできる、集積回路(例えば、特定用途向けIC又はASIC)、GPU(グラフィック処理ユニット)、デジタルシグナルプロセッサ(DSP)、又はフィールドプログラマブルゲートアレイ(FPGA)又は同様のものなどの専用ハードウェアにプログラムされた又は埋め込まれた実行可能コードとして実装することもできる。さらに、このようなコンポーネントは、ソフトウェアコンポーネントが1又は2以上の特定の命令を介してアクセスできる命令セットの一部としての、プロセッサ又はプロセッサコア内の特定のハードウェアロジックとして実装することもできる。
【0075】
本発明の別の態様によれば、画像処理エンジンを査読システムの一部として利用して、医師集団によって実行される医学的所見をレビューすることができる。画像処理エンジンは、異常所見を有している可能性が高いあらゆる画像を選別して識別するために利用される。次に、識別された画像を医師集団がレビューして所見の検証及び確認を行う。この結果、画像処理エンジンは、レビューの必要がある数千枚もの医用画像について大量画像処理動作を実行して異常画像を事前に識別することができる。その後、これらの画像を医師がレビューして所見を確認する。画像処理エンジンの所見とレビューを行った医師の所見とが一致する場合には、関与する画像処理エンジンの動作の妥当性を確認することができ、すなわち画像処理エンジンによって使用されるアルゴリズムの妥当性が確認される。一致しなければ、このようなアルゴリズムは、例えば機械学習方法を用いたさらなる微調整又は訓練を必要とすることができる。
【0076】
或いは、機械の所見と医師の所見との間にいずれかの不整合がある場合、データベース内の表示及びRESTfulサービス及び/又はAPI内の通知が、所望のシステム及びスタッフに通知を送信するという効果を奏する。その後、これらの識別された矛盾する研究論文は、医師による二次レビューのために送信される。両レビュー結果が分かると、分析モジュールを通じた調整によってエンジン精度の確認又はエンジンの改善を行うことができる。
【0077】
図6Aに、1つの実施形態による、査読システムの新規ワークフローの例を示すワークフローループ図を示す。
図6Aを参照すると、このワークフローは、査読高信頼度投入ワークフローループ(peer review high confidence injection workflow loop)を含む。このワークフローループ中、画像処理サーバ(110)は、ステップ1として示す画像処理サーバに撮像研究論文又は画像研究論文、及び(レポートとしても知られている)提供者の判読結果が到着することによって開始する。複数のエンジン及びエンジンの組み合わせが画像研究論文を処理した後の出力をステップ2として示す。ステップ3において、信頼度の高い潜在的所見又は提供者の判読結果との潜在的不一致を有すると判断された所見を含む研究論文又は画像を、査読のための選択に投入する。ステップ4において、この投入された研究論文を(該当する場合には、最初の提供者判読を行わなかった)医師が評価する。ステップ5において、この判読の結果と本査読システムの判読とをデータベースに記憶し、画像処理サーバ及び本査読システム内のエンジン及びエンジンのエンジンの将来的な訓練のために使用することができる。また、ステップBにおいて、ユーザインタラクションデータもデータベースに記憶される。
【0078】
このワークフローは、査読を投入する医師が確認する所見ワークフローループをさらに含む。このワークフローループ中、画像処理サーバ(110)は、ステップ1として示す画像処理サーバに撮像研究論文又は画像研究論文、及び(レポートとしても知られている)提供者の判読結果が到着することによって開始する。複数のエンジン及びエンジンの組み合わせが画像研究論文を処理した後の出力をステップ2として示す。ステップ3において、信頼度の高い潜在的所見又は提供者の判読結果との潜在的不一致を有すると判断された所見を含む研究論文又は画像が、査読のための選択に投入される。ステップAにおいて、信頼度の高い所見の値に重み付けを行って医師がレビューするための特定の最適な数及びタイプの研究論文(又は画像)を選択するエンジンのエンジンを介して研究論文を選択する。ステップBにおいて、(該当する場合には、最初の提供者判読を行わなかった)医師が研究論文を評価する。この判読の結果が好ましい場合、ステップDにおいて、この研究論文が査読システムに自動投入され、医師によって研究論文が好ましくないと判断された場合にはこの処理は行われない。好ましい場合にも、又は好ましくない場合にも、ステップCのように、この判読の両方の結果(及びいずれかの以前の判読)と本査読システムの判読とをデータベースに記憶し、画像処理サーバ及び本査読システム内のエンジン及びエンジンのエンジンの将来的な訓練のために使用することができる。また、ステップBにおいて、ユーザインタラクションデータもデータベースに記憶される。
【0079】
このワークフローは、盲査読エンジン訓練ワークフローループを用いた、ルーチンが最初に読み出す診断判読をさらに含む。このワークフローループ中、画像処理サーバ(110)は、ステップ1として示す画像処理サーバに撮像研究論文又は画像研究論文、及び(レポートとしても知られている)提供者の判読結果が到着することによって開始する。複数のエンジン及びエンジンの組み合わせが画像研究論文を処理した後の出力をステップ2として示す。ステップEにおいて、提供者の一次判読中に信頼度の高い潜在的所見を有すると判断された所見を含む研究論文又は画像を実際の医師の所見と比較できるように計算する。ステップBにおいて、(該当する場合には、最初の提供者判読を行わなかった)医師が研究論文を評価する。ステップCにおいて、この判読の両方の結果(及びいずれかの以前の判読)と本査読システムの判読とをデータベースに記憶し、画像処理サーバ及び本査読システム内のエンジン及びエンジンのエンジンの将来的な訓練のために使用することができる。また、ステップBにおいて、ユーザインタラクションデータもデータベースに記憶される。
【0080】
図6Bは、1つの実施形態による医用画像査読システムの例を示すブロック図である。
図6Bを参照すると、この例ではPACSである医用データソース601が、一次レビュアとしての第1の医師集団を表す一次レビューシステム602に一連の画像を送信する。一次レビューシステム602のレビュアは、所見をレビューしてPACS601に戻す。一次レビュアによってレビューされた画像の一部(例えば、5%)は、二次レビュア又は査読者としての第2のレビュア集団を表す査読システム603に送信される。二次レビュアは、これらの画像をレビューして、第2の見解所見(opinion findings)を提供する第2の結果を生成する。第2の結果は、第1の医師集団によって行われた一次所見の妥当性確認又は検証を行うためのものである。二次レビュアは、一次レビュアが同じ画像をどのようにレビューしたかを知らずにレビューを実行することができ、これは盲読と呼ばれる。この画像の二次所見を査読システム603からPACS601に返送することができる。
【0081】
また、1つの実施形態によれば、一次レビュアによってレビューされた医用画像が画像処理サーバ110に送信される。画像処理サーバ110は、1又は2以上の画像処理エンジン113〜115を呼び出して画像を個別に処理し、第3の結果を生成する。同様に、画像処理エンジンは、一次レビュアによって行われた第1の結果を知らずに単独でレビューを実行することができる(例えば、盲読)。第3の結果も、第1の結果の妥当性確認又は検証のために利用することができる。
【0082】
別の実施形態によれば、画像処理サーバ110によってレビューされた画像の少なくとも一部(例えば、5〜20%)が、さらなる査読のために査読者603に送信される。すなわち、査読者603は、一次レビュア602によってレビューされた画像のサンプルと、画像処理サーバ110によってレビューされた画像のサンプルとを受け取る。査読者603は、一次レビュアによって生成された第1の結果及び画像処理サーバ110によって生成された第3の結果を知らずに、一次レビュア602及び画像処理サーバ110から受け取った画像をレビューすることができる(二重盲読と呼ばれる)。1つの実施形態では、画像処理サーバ110が、異常としてフラグ付けされた画像のみを妥当性確認のために査読者603に送信する。同様に、一次レビュア602によってフラグ付けされた異常所見を有する画像のみを査読者603に送信することができる。追跡モジュール211は、一次レビュア602、画像処理サーバ110及び査読者603の所見を追跡し、追跡データ504の一部として記憶することができる。アラートモジュール212は、一次レビュア601、エンジン502及び査読者603間の特定の異常所見又は不整合所見に応答して、PACS601などの所定の装置にアラートを送信することができる。
【0083】
具体的には、1つの実施形態によれば、この例ではPACSであるデータソース601が、レビュー又は調査のために第1のレビュア602に研究論文を送信することができる。これらの研究論文は、例えばCT、MR、X線、他の既知又は未知のモダリティ、又はこれらのいずれかの組み合わせなどのいずれかのモダリティの画像を含むことができる。第1の医師集団601は、これらの研究論文をワークステーション上でレビューし、1又は2以上の所見を検出/診断することができる。これらの所見は、研究論文に含めることも、或いは、例えばレポート、電子メール、又は3D医用画像処理ソフトウェアなどに含めて研究論文から分離することもできる。これらの研究論文と第1の医師集団による所見とをワークステーションから送信してPACSサーバに記憶することができる。PACSサーバは、一定期間(例えば、1年、6ヶ月、3ヶ月、1ヶ月、1週間、又は1日)にわたる全研究論文の一部(例えば、0%〜100%、さらに狭く約1%〜約50%、約1%〜約25%、約1%〜約20%、約1%〜約10%)と第1の医師集団602による所見とを、第2の医師集団による査読のために査読システム603に送信することができる。
【0084】
また、データソース601は、画像処理サーバ110に接続することもできる。データソース601は、全研究論文と第1の医師集団602による所見とをサーバ110に送信することができる。画像処理サーバ110は、1又は2以上のエンジン、1又は2以上のe−suite(すなわち、1又は2以上のエンジンの組み合わせ)、又はこれらのいずれかの組み合わせ502を含むことができる。1又は2以上のエンジン及び1又は2以上のe−suiteは、所見を検出するためのアルゴリズムを実行することができる。画像処理サーバ110は、全研究論文と第1の医師集団602による所見とを受け取って処理することができる。画像処理サーバ110は、画像処理(すなわち、1又は2以上のエンジン及び/又は1又は2以上のe−suiteに基づいて研究論文に所見をフラグ付けすること)によって発見された、疾病の可能性が潜在的に高い機械学習(すなわち、訓練)された研究論文を出力することができる。フラグ付けは、エンジン/e−suiteによって発見された実際の所見、エンジン/e−suite名、その研究論文が画像処理サーバ110によって処理されたことを表す単純な記号、研究が正常であった旨のマーキング、又はこれらのいずれかの組み合わせを表示することを意味する。1又は2以上のエンジン及び/又は1又は2以上のe−suiteは、多くの画像を処理すればするほど正確に所見を検出できるように機械学習又は訓練することができる。
【0085】
1つの実施形態では、画像処理サーバ110が、疾病の可能性が潜在的に高い機械学習された研究論文の一部を査読システム603に送信することができる。査読システム603に送信される疾病の可能性が潜在的に高い機械学習された研究論文は、エンジン/e−suiteによる所見の重症度に基づくことができる。例えば、画像処理サーバ110内のエンジン502が、1つの研究論文に肺結節をフラグ付けして別の研究論文に軽い骨折をフラグ付けした場合、肺結節の研究論文のほうが軽い骨折の研究論文に比べて患者へのリスクが高いので、画像処理サーバ110は、肺結節の研究論文を第2のレビューのために査読システム603に送信することができる。画像処理サーバ110は、エンジン/e−suiteによる所見の重症度に基づいて研究を分類することができる。
【0086】
画像処理サーバ110は、画像処理によって発見された疾病の可能性が潜在的に高い機械学習された研究論文を査読システム603に送信できるように、査読システム603に接続することができる。査読システム603は、PACSサーバ601からの査読サンプル、画像処理サーバ110からの疾病の可能性が潜在的に高い機械学習された研究論文、又はこれらのいずれかの組み合わせを受け取ることができる。第2の医師集団は、査読システム603において、査読サンプル、疾病の可能性が潜在的に高い機械学習された研究論文、又はこれらのいずれかの組み合わせのレビュー、再読、盲読又は二重盲読を行うことができる。第2の医師集団からの所見を伴う査読サンプルと、第2の医師集団からの所見を伴う疾病の可能性が潜在的に高い機械学習された研究論文とを画像処理サーバ110、ワークステーション、PACSサーバ、又はこれらのいずれかの組み合わせに送信することができる。1つの実施形態では、画像処理サーバ110が正常な研究論文にフラグ付けすることができる。1つの実施形態では、画像処理サーバ110が、画像処理サーバ110及び/又は査読システム603内の除去エンジンによって、正常な研究論文を査読サンプルから除去することができる。
【0087】
1つの実施形態によれば、画像処理エンジン113〜115のいくつかは、個別にレビュー結果を生成して査読システム603に送信することができる。個々の結果は、査読システム603のデータ統合器によって統合することができる。例えば、PACSサーバは、第1の医師集団によるレビューのために年間1,000,000件の全研究論文をワークステーション(例えば、1又は2以上のワークステーション)に送信することができる。第1の医師集団は、割り当てられた研究論文をレビューし、レビューした各研究論文について所見を作成することができる。この第1の医師集団による所見を伴う全研究論文をPACSサーバに送信することができる。PACSサーバは、これらの査読サンプル(すなわち、50,000件の研究論文)と第1の医師集団による所見とを査読システム603に送信することができる。
【0088】
PACSサーバは、1,000,000件の全研究論文を画像処理サーバ110に送信することができる。画像処理サーバ110は、COPD e−suite(すなわち、1又は2以上の画像、レポート、研究論文又はこれらのいずれかの組み合わせに基づいてCOPDを検出できるエンジンのグループ)と、肺結節エンジン(すなわち、1又は2以上の画像、レポート、研究論文又はこれらのいずれかの組み合わせに基づいて結節を検出できるエンジン)と、骨折エンジン(すなわち、1又は2以上の画像、レポート、研究論文又はこれらのいずれかの組み合わせに基づいて骨折を検出できるエンジン)と、病変エンジン(すなわち、1又は2以上の画像、レポート、研究論文又はこれらのいずれかの組み合わせに基づいて病変を検出できるエンジン)とを含むことができる。これらのエンジン(すなわち、COPDエンジン、肺結節エンジン、骨折エンジン及び病変エンジン)の各々は、1,000,000件の全研究論文を処理して所見を検出することができる。画像処理サーバ110は、これらのエンジンに基づいて、疾病の可能性が潜在的に高い機械学習された研究論文を出力することができる(すなわち、COPD、肺結節、骨折、病変又はこれらのいずれかの組み合わせの可能性が高い研究論文)。
【0089】
画像処理サーバ110は、疾病の可能性が潜在的に高い機械学習された研究論文の全部又は一部を査読システムに送信することができる。画像処理サーバ110は、例えば患者への健康リスクに基づいて、疾病の可能性が潜在的に高い機械学習された研究論文に順序又は優先順位を付けることができる。画像処理サーバ110は、患者への健康リスクが最も高い研究論文を医師によるレビューのために査読システム又は他のシステムに送信することができる。画像処理サーバ110は、疾病の可能性が潜在的に高い機械学習された研究論文に対するフラグ付けを表示することも、又は隠すこともできる。第2の医師集団は、疾病の可能性が潜在的に高い機械学習された研究論文及び査読サンプルをレビューすることができる。第2の医師集団からの所見を伴う疾病の可能性が潜在的に高い機械学習された研究論文と、第2の医師集団からの所見を伴う査読サンプルとを画像処理サーバ110又はPACSサーバに送信することができる。
【0090】
疾病の可能性が潜在的に高い機械学習された研究論文は、所見が存在する可能性が高い研究論文とすることができる。疾病の可能性が潜在的に高い機械学習された研究論文は、第1の医師集団による初期レビューが診断を誤った可能性が高い研究論文とすることができる。1つの研究論文に、疾病の可能性が潜在的に高い機械学習された研究論文の一部であるとのフラグを複数のエンジンが付けた場合、このような研究論文は、疾病の可能性が潜在的に高い機械学習された研究論文に1回含めることができる(すなわち、重複する研究論文を含めることはできない)。
【0091】
追跡モジュール211は、レビュア(例えば、一次レビュア、画像処理エンジン及び査読者)の動作及び結果を追跡することができる。追跡エンジン211は、画像処理サーバ110がどの研究論文を受け取ったか、どのエンジンがどの研究論文を処理したか、どのエンジンがどの研究論文にフラグ付けしたか、どの研究論文が査読サンプルの一部として送信されたか、エンジン名、エンジンからの所見、正常な研究、所見の重症度、重症度評価、所見に基づく研究論文のランキング、重症度、及び/又は所見の数、又はこれらのいずれかの組み合わせを含む情報を追跡することができる。
【0092】
追跡エンジン211は、研究論文毎にエンジンに基づいて所見を追跡することができる。追跡エンジン211は、このような情報を画像処理サーバ110のメモリに記憶することができる。査読サンプル及び疾病の可能性が潜在的に高い機械学習された研究論文の全部又は一部は、査読システム603に送信することができる。査読システム603の複合サンプルエンジン(図示せず)は、レビューする研究論文が査読サンプルからのものであるか、それとも疾病の可能性が潜在的に高い機械学習された研究論文からのものであるであるかを第2の医師集団が判断できないように、査読サンプルと、疾病の可能性が潜在的に高い機械学習された研究論文とを無作為に混合して複合サンプルを形成することができる。複合サンプルエンジンは、疾病の可能性が潜在的に高い機械学習された研究論文と査読サンプルとを、所見、疾病、エンジン名、健康リスク、医師、研究日、患者、無作為、又はこれらのいずれかの組み合わせに基づく所定の順序で共に配置することができる。
【0093】
例えば、追跡データを記憶する追跡テーブルの例である
図7に示すように、追跡エンジン211は、第1のエンジンが第1の研究論文を出力(すなわち、フラグ付け)できることと、第1の研究論文が第1の所見を有することができることとを相関させることができる。追跡エンジン211は、第2のエンジンが第2の研究を出力(すなわち、フラグ付け)できることと、第2の研究が第2の所見を有することができることとを相関させることができる。1つの実施形態では、疾病の可能性が潜在的に高い機械学習された研究論文が、査読サンプルからの研究論文を含むことができる。画像処理サーバ110及び/又は査読システムは、重複する研究論文を複合サンプルから削除することができる。1つの実施形態では、画像処理サーバ110及び/又は査読システム603が、複合サンプル及び/又は査読サンプルからの正常な研究論文(すなわち、所見を有していない研究論文)を削除することができる。追跡エンジン211は、複合サンプル及び/又は査読サンプルからどのエンジンが削除されたかを追跡することができる。
【0094】
1つの実施形態によれば、レポートモジュール214は、追跡データに基づいてレポートを生成し、特定のユーザ又はシステムなどの要求された宛先に送信することができる。
図8は、1つの実施形態による、特定の研究論文の所見のレポート例を示すブロック図である。このレポートは、どの画像処理エンジンが使用されたか、どのような所見が識別されたか、所見の測定値、及び診断結果を示すデータを含む。
【0095】
1つの実施形態によれば、画像データ上の各処理エンジンからの特徴がレポート内の要素に対応する必要がある。NLPシステム又はNLPモジュールを利用してレポート内のテキストを構文解析し、抽出された画像特徴を照合することができる。どの処理エンジンがNLPアルゴリズムを実行すべきであるかを判断するために、一連のNLPルールを規定することができる。例えば、手のx線写真が「重大な骨折又は外傷性亜脱臼なし」を示す場合には、画像処理サーバを介して手のx線写真骨折アルゴリズムを開始してレポートの精度を確認する。
【0096】
1つの実施形態によれば、再び
図6Bを参照して分かるように、システムを二重盲読に利用して所見の妥当性を確認することができる。例えば、PACSサーバ601は、第1の医師集団がレビューを行って各研究論文の所見を決定できるように、全研究論文をレビューシステム602に送信することができる。レビューシステム602は、全研究論文と第1の医師集団による所見とをPACSサーバ601に送信することができる。PACSサーバ601は、全研究論文と所見とを画像処理サーバ110に送信することができる。画像処理サーバ110の第1のエンジン113、第2のエンジン114及び第3のエンジン115は、第1の医師による所見の有無にかかわらず、全研究論文の各々を処理することができる。画像処理サーバ110は、エンジン113〜115によって生成された主張/所見が各研究論文に表示されていない疾病の可能性が潜在的に高い機械学習された研究論文を出力することができる(すなわち、第2の医師集団は、レビューする研究が画像処理サーバ110によってフラグ付け及び/又は処理されたかどうかが分からない)。
【0097】
査読システム603では、疾病の可能性が潜在的に高い機械学習された研究論文と査読サンプルとをランダムに組み合わせて複合サンプルを形成する。第2の医師集団は、これらの複合サンプルをレビューすることができる。第2の医師集団は、エンジン113〜115及び第1の医師集団の所見の妥当性を確認することができる。換言すれば、第1の医師集団からの所見とエンジン113〜115による所見とを比較し、第2の医師集団による所見とエンジン113〜115による所見をと比較することによる二重盲読によって、エンジン113〜115の妥当性を確認することができる。
【0098】
例えば、第1の医師は、第1の研究論文をレビューして、第1の研究論文内の画像が骨折を含んでいたと判断することができる。この第1の研究論文は、骨折エンジンが処理することができる。骨折エンジンは、どのエンジンが使用されたか、又は骨折エンジンによってどのような所見が検出されたかが第2の医師に分からないように、第1の研究論文内に主張/所見を表示することなく第1の研究論文に骨折を有するものとしてフラグ付けすることができる。第2の医師は、第1の研究論文をレビューして、第1の研究論文が骨折を有していることを確認することができる。ここでは、骨折エンジンが、第1の医師の所見と第2の医師の所見とによって妥当性を確認された骨折を有するものとして第1の研究論文にフラグ付けした。
【0099】
別の例では、第1の医師が第1の研究論文をレビューして、第1の研究論文内の画像が肺結節を含んでいなかったと判断することができる。この第1の研究論文は、第1の肺結節エンジンが処理することができる。第1の肺結節エンジンは、どのエンジンが使用されたか、又は第1の肺結節エンジンによってどのような所見が検出されたかが第2の医師に分からないように、第1の研究論文内に主張/所見を表示することなく第1の研究論文に肺結節を有するものとしてフラグ付けすることができる。第2の医師は、第1の研究論文をレビューして、第1の研究論文が肺結節を有していることを確認することができる。ここでは、第1の肺結節エンジンが、第2の医師には妥当性を確認されたが第1の医師には誤って診断された肺結節を有するものとして第1の研究論文にフラグ付けした。
【0100】
別の実施形態によれば、第1の医師が第1の研究論文をレビューして、第1の研究論文が第1の所見を含むと判断することができる。この第1の研究論文は、画像処理サーバ110内の第1のエンジンが処理することができる。第1のエンジンは、第1の所見に主張/所見を示すことなく、第1の研究論文に第1の所見を有するものとしてフラグ付けし、第1の研究論文を疾病の可能性が潜在的に高い機械学習された研究論文として出力することができる。第2の医師は、第1の研究論文をレビューして、第1の研究論文が第1の所見を含むことを確認することができる。追跡エンジンは、第1の医師、第2の医師、第1のエンジン又はこれらのいずれかの組み合わせの第1の研究論文の所見を追跡することができる。コンパレータエンジン(図示せず)は、第1の医師、第2の医師、第1のエンジン又はこれらのいずれかの組み合わせの所見を比較して、二重盲読を通じて第1のエンジンの妥当性を確認できるかどうかを判断することができる。追跡エンジンは、第1のエンジンの動作の妥当性が確認されたか、それとも否定されたかを追跡することができる。
【0101】
例えば、第1の医師は、第1の研究論文をレビューして、第1の研究論文が肺結節を含むと判断することができる。この第1の研究論文は、第1の肺結節エンジンが処理することができる。第1の肺結節エンジンは、主張/所見を示すことなく、第1の研究論文に肺結節を有するものとしてフラグ付けし、第1の研究論文を疾病の可能性が潜在的に高い機械学習された研究論文として出力することができる。第2の医師は、第1の研究論文をレビューして、第1の研究論文が肺結節を含むことを確認することができる。追跡エンジンは、第1の医師、第2の医師、肺結節エンジン又はこれらのいずれかの組み合わせの所見を(
図9に示すような追跡データの一部として)追跡することができる。コンパレータエンジンは、第1の医師、第2の医師、肺結節エンジン又はこれらのいずれかの組み合わせの所見を比較して、二重盲検試験を通じて肺結節エンジンの妥当性を確認できるかどうかを判断することができる。
【0102】
図9に示すように、第1の医師の所見と、第2の医師の所見と、肺結節エンジンの所見とが一致した/等しかったので、肺結節エンジンの妥当性を確認することができる。エンジンの妥当性が確認されたか否かは、クライアント装置(例えば、ワークステーション、ウェブサイト、モバイル装置、又はいずれかの将来的なコンピュータi/o装置)、査読システム603、画像処理サーバ110、エンジンプロファイル、査読医用画像ソフトウェア、又はこれらのいずれかの組み合わせ上に表示することができ、このような結果は画像処理サーバ110に記憶することができる。
【0103】
1つの実施形態では、コンパレータエンジン(図示せず)が、第1の医師の所見と第2の医師の所見と第1のエンジンの所見とを比較する際に、第1の医師と第2の医師と第1のエンジンとの間の所見の類似性に基づいて統計値を出力することができる。このような情報は、メモリ及び/又は永続記憶装置に記憶することができる。例えば、コンパレータエンジンは、第1のエンジンの所見が第1の医師との間で80%正しく、第2の医師との間で20%正しかった旨を表示することができる。
【0104】
別の実施形態によれば、追跡エンジンが、第1のエンジンデータ(例えば、どの研究論文が画像処理サーバ110に送信されたか、どの研究論文がどのエンジンによって処理されたか、どの研究論文がどのエンジンによってフラグ付けされたか、どの研究論文が複数のエンジンによってフラグ付けされたか、どの研究論文が査読サンプルの一部として送信されたか、エンジン名、所見、妥当性が確認又は否定された疾病の可能性が潜在的に高い機械学習された(全ての事例において、これは決定論的方法又はその他の非機械学習計算方法の二者択一とすることができる)研究論文に関するデータ、限定するわけではないが、壁厚、質感、傾斜、測定値、類似性、解剖学的識別子、又はこれらのいずれかの組み合わせを含む、研究論文内の画像の特徴に関するデータ、第1の医師及び第2の医師のユーザインタラクション、診断時間、又はこれらのいずれかの組み合わせ)を追跡することができる。訓練エンジンは、第1のエンジンデータに基づいて、教師あり又は教師なし方法論を用いた機械学習、又は一般的な決定論的又は統計的エンジンの手動調整を用いて第1のエンジンを訓練することができる。このようなフィードバック及び分析は、第1のエンジンのアルゴリズムを改善することができる。このような機械学習は、疾病の可能性が潜在的に高い機械学習された研究論文の選択を改善することができる。第1のエンジンデータに基づくこのような機械学習プロセスは、反復的、自動的又は手動的なものとすることができる。
【0105】
例えば、全研究論文を肺結節エンジンに通した後には、研究論文上に主張/所見を表示することなく、肺結節の可能性が潜在的に高い機械学習された研究論文にフラグ付けすることができる。この肺結節の可能性が潜在的に高い機械学習された研究論文を現在使用中の査読システムのワークフローに投入することにより、第2の医師は、所見についての事前知識を有することなくこの研究論文をレビューして肺結節エンジンの所見の妥当性を確認又は否定することができる。訓練エンジン(例えば、機械学習エンジン)は、追跡エンジンが記録している肺結節エンジンデータに基づいて肺結節エンジンを訓練することができる。例えば、訓練エンジンは、妥当性確認/妥当性否定データ、妥当性確認/妥当性否定を生じさせる(
図10A及び
図10Bに示すような)形状測定値、質感、真球度、他の測定値、又はこれらのいずれかの組み合わせなどの研究論文内の画像の特徴に基づいて肺結節エンジンを訓練することができる。
【0106】
ニューラルネットワーク技術では、数式ではない推論及び類似性が使用されるので、所見をもたらす実際の(単複の)特徴が機械学習技術を用いて常に認識されるわけではない。訓練エンジンは、(
図10Aに示すような)第2の医師、(
図10Bに示すような)第1の医師、既知の所見を有する研究論文、又はこれらのいずれかの組み合わせからの肺結節エンジンデータに基づいて肺結節エンジンを訓練することができる。訓練は、画像処理サーバ110のGUI上、又は査読システムプラットフォームソフトウェアアプリケーション内で行うことができる。
図10A〜
図10Bに示すように、これらの所見は、医師と画像処理エンジンとの間で一致する時には妥当性が確認される。これらの所見が食い違う場合には妥当性が否定される。
【0107】
1つの実施形態によれば、査読セッションは、患者の特定の病状を示す状態又は兆候を有する統計的信頼度が非常に高い又は非常に低い読み取るべき研究論文を投入するためのめったにない機会を提示する。医師には画像が再読のために投入された(単複の)理由が分からないので、この確認は、エンジンが純粋に盲目的に所見を確認又は拒絶するために必要なグランドトゥルースとして使用することができる。最終的な画像レポートは、疑わしい患者の状態を確認するためにコンピュータで読み取ることができる。或いは、システムは、高確率の状態又は低確率の状態が存在するか否かについて、判読の最後に直接フィードバックの収集を可能にするように、選択ボックス又はその他の手段を通じて医師に問い合わせることもできる。或いは、このフィードバックは、診断判読中に本査読システムとの相互作用を観察することによって獲得することもできる。
【0108】
高確率又は低確率の状態及び/又は所見は、場合によっては医用画像及び呼び出されたコンピュータバージョンに適用される決定論的試験又は機械学習(又は深層学習)された試験に基づく訓練されたエンジン又はアルゴリズムによって検出することができる。このアルゴリズムの科学及び作成は、アルゴリズム又はエンジンを訓練又はテストした後に、訓練の元になる所見に関連する同様の何らかの方法で同様の所見を発見又は生成するために、数多くのラベル付き画像データセットの利用可能性に依拠する。これらのさらなる査読(高又は低試験確率)研究論文は、通常の査読(第2の専門家による盲読又は非盲読、及び不一致の場合には第3の専門家による裁定)中に専門家によって読まれるので、これらの処理データにおける結果は同様の所見を介して妥当性が確認され、或いは不一致の結果に基づいて拒絶される。これは、不一致の結果についても同様に発生する。このフィードバックが(プラットフォームとしても知られている)エンジン実行及び訓練システムに戻され、アルゴリズムを自動的に(教師なし)、或いはエンジン立案者又は所有者の選好及び誘導に基づいて(教師あり)再び又はさらに訓練するために使用される。全てのフィードバックがさらに知的なエンジンを形成するわけではなく、従って教師なし又は教師ありの(管理された)訓練法には様々な利点がある。
【0109】
教師なしエンジン学習は、最も価値ある結果をもたらすためにどのエンジンが様々な環境で実行されるかを選択するように教師ありモード又は教師なしモードで実行されるエンジンを用いて実現することができる。例えば、ある日の作業出力のために10,000件の画像データセット(又は画像でない場合には数値/その他のデータ)に対して実行できるエンジンが100個存在する場合、「エンジンのエンジン」が、(割り当てられた各所見の値に基づいて)その日の可能な限り高い値を実現するためにどの適用可能なデータ及び実験に対してどのエンジンが動作するかを選択する。この値は、医師が査読プロセスにおいて研究論文を再読した際に実際に確認された所見の値を表す。
【0110】
エンジン毎に行われる各種所見へのユーザ入力又は値のマッピングは、未だ具体的に設定されていなかった新たな所見のデフォルトを設定するための手段を含む。指標点などのエンジンの所見を調整し、受け入れ、拒絶し、キャンセルし、又は追加するための医師の関与及び相互作用(ここでは命名せずに何かを探す、又は具体的な名前/タイプで何かを探す)である。
【0111】
これらのデータを将来的なエンジン訓練データとして構築するためにエンジンがエンドユーザインタラクションフィードバック及び基礎データを取り入れる能力は、アクセスセキュリティ制御、クラウドアクセス制御、統治機能、フィードバックの訓練機能タイプ、エンドユーザ特性、エンドユーザインタラクションフィードバックのいずれか、全部又は一部の包含を伴う及び伴わない測定されるエンジン性能の変化のうちのいずれかに基づく。最高の動作を戻すための正しいアルゴリズムの選択はカテゴリ(例えば、手順コード又はCPTコード、手順タイプ、身体部分、画像診断法、及び患者の治療及び医療提供者のワークフローに関連する他の要因)にまとめられる。ファイルは自動化された値を含み、システムにアップロードされて、復元され、編集され、保存される。これらのファイル内の値は、例えばXMLで記憶され、ファイル内に保持され、ファイルに復元されて、値の検索、比較及び経時的な傾向、並びに診断又は観察システムに戻すことができるファイルフォーマットに逆構築できる値の平均、平均又はその他の統計的編集を逆配信するために統計学を実行するための能力を逆配信できるデータベースに、抽出された全てのデータのバージョニングと共に記憶される。
【0112】
1つの実施形態では、要求(例えば、JSON要求などのウェブ要求)時に、この要求から取得された文書がファイルシステムに変換される。この変換では、要求文書内の各キーと値のペアが、査読システム上のフォルダ内のファイル又はディレクトリに対応する。値がブール型、数値又は文字列であるキーと値のペアは、キーの名前を付けられて値を含むファイルに変換される。値が配列型であるキーと値のペアは、キーの名前を付けられてファイルを含むディレクトリ、又は配列内のインデックスの名前を付けられてこれらの同じ変換ルールに従うコンテンツを含むディレクトリに変換される。値が入れ子型文書(nested document)であるキーと値のペアは、キーの名前を付けられてこれらの同じ変換ルールに従うファイルシステムを含むディレクトリに変換される。
【0113】
この新たに作成された「入力」ファイルシステムは、実行可能なソフトウェアコンテナ(例えば、Docker)に、コンテナの出力を保持するための書き込み可能な「出力」ファイルシステムと共に結合する。コンテナ画像が実行されると、変換ルールの逆を用いて「出力」ファイルシステムの実行が応答文書(例えば、JSON文書)に変換される。また、各実行可能コンテナとペアにされる小さな相手方コンテナ画像を作成して、既存のコンテナのロードバランサ及びスケジューラとの互換性を有するように入力及び出力変換を円滑にする。これには、遠隔コンテナ(docker)APIを使用する相手方コンテナ(docker)画像と、独自のホストに接続して同じように実行可能なコンテナ(docker)画像を実行するNvidiaGPUInfoサービスとが必要である。
【0114】
このエンジン出力及び/又は所見を医師の同意、利用、理解を有するものと照合する機能を有する査読システムは、CEマーク及びFDA 510k又はPMAファイリングなどの規制機関に準拠できるように妥当性確認データを収集する自動化手段、さらにはこのような新たなファイリングをサポートするように医師の妥当性確認及び/又はグランドトゥルースを収集する手段を提供する。規制機関は、査読プロセスの一部としてサポートされる系統的で十分に裏付けられたデータ収集方法を採用し、このような手段によって開発又は妥当性確認されるエンジンは、査読プロセス以外の臨床診療で使用されるものと同一である。1つの実施形態では、査読システムが、各エンジンの規制要件及び品質保証要件が全体的又は部分的に満たされるようにするデータ収集要件を確実にするために、画像及び臨床コンテンツと医師の検証サポートとを含む二重目的を果たす。このようなサポートは、エンジンの組み合わせ、又はエンジンのエンジンについても提供される。
【0115】
このような臨床検証に加えて、査読システムは、エンジンをマーケティングするため及び/又は医療機器としての診断利用の確認を得るために必要な、各国の特定の要件に基づいて異なる文書の収集及び編集もサポートする。査読システムの妥当性確認及びコンプライアンス文書化の1つのコンポーネントは、ソフトウェアの変更及び更新を追跡する技術ファイルである。この技術ファイルは、コンピュータ環境及びサーバ要件、並びに臨床能力及び特徴部の仕様を含む、所与の医療機器の特定の実装に関するエンジン立案者の説明も含む。この技術ファイルは、所与のシステム内で医療機器がどのように実装されるかについての仕様を含むこともできる。1つの実施形態では、査読システムデータベース及びその関連する又は含まれるエンジンのバージョン追跡、画像/コンテンツコホートのバージョン追跡、並びに医師のフィードバック及び利用データが、これらの規制要件及び品質システム要件に自動的に従って規制及び品質保証提出書類の技術的及び臨床的妥当性確認及び検証部分のほぼ完全な又は十分に完全な作成を可能にする手段としての役割を果たす。
【0116】
システムは、サードパーティデータ及び/又は企業から学習したエンジンを用いた規制の順守を保証するために、査読のための通常使用中に規制情報を追跡する。査読システムは、使用中のエンジンの品質を管理するために、アルゴリズム開発者(立案者)及び/又は企業によるこれらのエンジンの統治を含む。システムは、選択された査読エンジンと、査読システムの設定に基づいて選択された設定とに基づいて、臨床的に読まれた又は判読された一連の画像から研究論文の査読コホートを選択する。システムは、以前にラベル付けしたデータを1又は複数の保存された状態イメージセット及び/又は画像データ又は臨床コンテンツコホートの形でインポートする能力を提供する。システムは、(しばしば、別のエンジン、製品又はサードパーティからの、或いは専門家が読んだグランドトゥルースとみなされるコホートの集合体からの)既知の良好な基準コホートと比較したコホート内の各所見との評価された一致又は不一致を示す臨床規制の妥当性確認のための画像及び臨床コンテンツコホートを作成するために使用される。
【0117】
新たな規制認可されていないエンジン出力の組の結果が規制認可されたエンジン出力の組と比較され、この一致又は不一致がレビュー及び承諾のために医師に提示されて、このような全ての結果が査読システム内に文書化される。医師又は臨床医による全ての最終的な確認、拒絶又は調整は、査読データベース内に文書化される。査読システムは、(単複の)認可されたエンジンが、満足できる結果、ワークフロー及び安全性、及び/又は同様の感度及び特異度、並びにプラットフォームの標準的な査読機能の適用を通じて達成できるような評価された統計的合意信頼度で動作したことを実証するために使用される。
【0118】
エンジンのアルゴリズム開発者は、医師、企業、ソフトウェアエンジニア、データサイエンティスト、又はデータにアクセスしてエンジンを構築できる誰かとすることができる。エンジンは、教師あり又は教師なしの形で機能する他の多くのエンジンの出力である二次創作物とすることもできる。査読システム内には、プラットフォーム内で使用するように開発されたエンジンを管理する統治システムが実装されて、実行、管理、バージョニングを可能にするようなアクセス権の割り当て、バージョンの管理、使用の追跡、出力の制御、他者へのアクセス許可、使用するエンジンの公開、私的使用及び限定使用に対する制約、書類、検証及び妥当性確認データ、並びに販促資料及び品質証明、規制当局の認可状態及び書類、使用及び顧客満足に関する細目、及び他の形の関連する臨床コンテンツ及び情報のアップロードを行う。治験用及び臨床用エンジンは、エンジン立案者によって行われる、異なる統治、価格設定、性能保証、使用に関する法的契約、及びこのようなエンジンが医療機器としてのマーケティング及び使用に適するように保証する他の要因を有する医療請求によって区別される。
【0119】
管理者のための統治機能は、CEマーク、510k又はPMAなどの、規制当局への提出のための自動的に生成されるレポートと共に、使用データ及びフィードバックデータを検討することによる自動市販後調査を実行する。使用データは、臨床診療においてアルゴリズムがどのように使用されたかとすることができる。フィードバックデータは、評価及び測定が行われる臨床画像データセット及び臨床コンテンツに関連する臨床転帰データを含むこともできる。このデータは、医師による判読時又は判読後、査読システムによる処理前又は処理後における、エンジン結果の下流の臨床的意義の性能又は予測的/遡及的分析、及びエンジンのアンサンブル(組み合わせ)又はエンジンのエンジンが戻す結果に関するブール型又はenum(列挙型)の選択、又はその他の臨床観察結果とすることができる。
【0120】
図11に、1つの実施形態によるレポート生成プロセスを示す。
図11に示すように、第1のユーザがユーザ入力情報をアップロード又は完了することができる。ユーザ入力情報は、エンジンに関連付けてストレージに記憶することができる。ユーザは、クライアントアプリケーションを介して第1のエンジンに関連する文書をアップロードすることができる。ユーザがアップロードした文書は、第1のエンジンに関連付けてストレージに記憶することができる。例えば、ユーザは、医療機器ユーザの料金カバーシート、医療機器・放射線保健センター(CDRH)の市販前レビューの提出、適合性証明書、目次、カバーレター、使用適応、510kの概要、真実及び正確性の声明(truthful and accuracy statement)、クラスIII証明書の概要(class III certification summary)、装置/エンジンの名称、装置/エンジンの説明、叙述(predicate)、装置/エンジンと叙述との比較、使用目的、ラベル案、有効期限、又は他のいずれかの情報、或いはこれらの組み合わせに関する情報の入力又は文書のアップロードを行うことができる。このような情報は、画像処理サーバのストレージ又はアプリケーションストアに記憶することができる。このような情報は、第1のエンジンに関連付けることができる。このような情報又はそのいずれかの一部は、第1のユーザが要求する場合又はアプリケーションテンプレートの一部である場合にはストレージから取り出してレポートに含めることができる。テンプレートからのいずれかの情報が不足している場合には、ユーザの情報が不足していてその情報を含めることができる旨をユーザに知らせるプロンプトを生成することができる。
【0121】
ユーザは、クライアント装置又はウェブページ上のクライアントアプリケーションに第1のエンジンのレポートを要求することができる。ユーザがアプリケーションにレポートを要求すると、アプリケーションはネットワークを介してこの要求を画像処理サーバに送信することができる。レポートモジュールは、第1のエンジンのユーザ入力情報、追跡情報、研究情報、妥当性確認情報、最新の文書、自機のデータベース内の他の情報、或いはその情報が統合された情報又はシステム、又はこれらのいずれかの組み合わせ、ストレージからのコホート又は制約データの問い合わせを編集してレポートを編集することができる。レポートは、保存情報に基づいて自動的に完成するように、レポートテンプレートを用いて事前に構成することができる。レポートは、ユーザがアプリケーション上の特定のフィールドを選択することによって画像処理サーバのストレージからどのデータを必要とするかというユーザ仕様に基づくことができる。例えば、ユーザは、妥当性確認及び使用の適応のみを望むことができる。レポートは、クライアントアプリケーション又はウェブサイトに送信することができる。レポートは、アプリケーションに送信された時点でユーザが操作することも、或いはアプリケーションに送信される前にユーザが操作することもできる。
【0122】
例えば、ユーザは、さらなる情報、更新情報、削除情報、又はこれらのいずれかの組み合わせを含めることができる。アプリケーションは、レポートは、510K申請、PMA申請、治験申請、保険関連申請、又はエンジンの妥当性確認を必要とする他のいずれかの申請を含むことができるレポートの所定のレポートテンプレートを含むことができる。1又は2以上の医療研究所からの1又は2以上のユーザは、レポートをレビューし、アプリケーションを介してレポートの結果を検証することができる。このようなレポートは、ユーザがアプリケーションを介してこのようなレポートを要求した時に自動生成することができる。1又は2以上のユーザは、アプリケーションを通じて、レポートを検証したかどうか、又は結果が誤っている可能性のある特定の研究論文にマーク付け(例えば、フラグ付け、赤色/緑色でのマーク付け、各研究論文上の事項への丸付け、又はこれらのいずれかの組み合わせ)を行うことができる。別の実施形態では、裁定グループがアプリケーションを介してエンジンが有効であるか否かを判断することができる。閉ループ機械学習が治験の妥当性確認データセットを生成する。
【0123】
例えば、ユーザは、エンジン(例えば、肺結節)をクラウドにアップロードすることができる。ユーザは、アプリケーションを介して研究論文による肺結節エンジンの機械学習/訓練を行うことができる。肺結節エンジンへのアクセスが他のユーザにも認められている場合には、他のユーザがローカルに又はクラウドを介して研究論文による肺結節エンジンの訓練/機械学習を行うことができる。肺結節エンジンが最適化されると、ユーザは、既知の又は未知の所見を伴う1又は2以上の研究に対して肺結節エンジンを実行することができる。追跡モジュールは、研究論文ID、既知の所見、未知の所見、肺結節エンジンの所見、肺結節エンジンの精度、肺結節エンジンのパーセント精度、又はこれらのいずれかの組み合わせなどの情報を追跡することができる。
【0124】
ユーザは、アプリケーションのGUIを介して、使用目的、使用の適応、追跡モジュールを介して肺結節エンジンに関連付けてストレージに記憶できる記述などの他の肺結節エンジン情報を入力することもできる。ユーザは、例えば510Kレポートなどのレポートをアプリケーションに要求することができる。レポートモジュールは、肺結節エンジンの510Kレポートを求める要求を受け取り、ストレージに記憶されている肺結節エンジンに関連する情報に基づいて510Kレポートテンプレート内の適用フィールドを埋めることができる。その後、510Kレポートの閲覧、510Kレポートの更新、レポートのダウンロード、レポートの印刷、規制当局へのレポートの直接的な提出、又はこれらのいずれかの組み合わせをユーザが行えるように、肺結節エンジンの510Kレポートをアプリケーションに送信することができる。
【0125】
図12A〜
図12Cに、1つの実施形態による、画像処理についてユーザを認証するためのアクセス制御テーブルを示す。クライアントアプリケーションは、特定のユーザに特定のユーザ権限が与えられるようにアクセス制御を有することができる。例えば、医師は、臨床使及び非臨床使用のためにクラウド上のいずれかの利用可能なエンジンにアクセスして使用することができる(すなわち、医師が作成者によってエンジンへのアクセスを認められていた場合)。例えば、医師でなくても、クラウド上のいずれかの利用可能なエンジンへのアクセスが作成者によって認められている限り、非臨床使用のためにこれらのエンジンにアクセスして使用することができる。例えば、エンジンの作成者は、エンジンを使用するため及び/又はエンジンを機械学習/訓練するために別の医師にアクセス権を与えることもできる。別の例では、作成者が、エンジンを通じて研究論文を処理するために1又は2以上の医療研究所からの医師又は医師集団にアクセス権を与えることができる。
【0126】
1つの実施形態によれば、画像処理サーバ110は、エンジン、リソース(例えば、画像処理ツール)、及び/又は医用データストアに記憶されている医用データのアクセス権を制御するためのアクセス制御システムをさらに含む。ユーザは、それぞれのアクセス権に応じて、特定のエンジン、リソースの特定の部分及び/又は医用データストアに記憶されている医用データにアクセスできることも又はアクセスできないこともある。アクセス権は、
図12A〜
図12Cに示すような一連の役割ベースのルール又はポリシーに基づいて決定又は構成することができる。例えば、医師は、FDA認可されたエンジン、開発中のエンジン、訓練が必要なエンジン、又は自身がアップロードしたエンジン及びデータ、又はこれらのいずれかの組み合わせなどの特定のエンジンにしかアクセスすることができない。特定の役割又は証明書を有する一部のユーザは、
図12Bに示すように、システムによって提供されるツールの一部にしかアクセスすることができない。特定の役割を有する一部のユーザは、訓練/機械学習の特定のステップ又は段階しか実行することができない。ステップ又は段階はツールに組み込まれ、命令を識別及び/又は評価するステップ、又は以前に実行されたステップ又は段階からのフィードバックの妥当性確認/受諾を含むことができる。特定の役割を有する一部のユーザは、特定のタイプのプロセスに制限される。
【0127】
1つの実施形態では、アクセス制御システムが、医療保険の携行と責任に関する法律(HIPAA)の順守に基づいてアクセスを制御することができる。例えば、第1の医師は、第2の医師に医用画像データ及び/又はエンジンへのアクセスを認めることができる。第1の医師は、エンジンへのアクセスを認めるとともに、HIPAA要件の順守を確実にするために画像処理サーバを介して事業提携契約書(BAA)を要求/送信することもできる。第2の医師は、BAAに同意した後にエンジンにアクセスすることができる。BAAは、第1の医師及び第2の医師のユーザプロファイル上で追跡することができる。アプリケーションは、保護された健康情報を研究論文上で匿名化するオプションを有することができる。
【0128】
なお、
図12A〜
図12Cに示すようなルール又はポリシーは説明目的で示すものにすぎず、他のルール及びフォーマットを適用することもできる。いくつかの実施形態によれば、アクセスレベルは、例えばエンジンのタイプ、エンジンがFDAによって確認されているかどうか、エンジンが未だに開発中であるかどうか、エンジンの妥当性が確認されているかどうか、エンジンをさらに訓練する必要があるかどうか、ツール又はツール内のステップのタイプ、機能(例えば、アップロード、ダウンロード、閲覧、操作、編集、妥当性確認など)、他者にアクセス権を与える能力(例えば、セカンドオピニオン、紹介、専門家、家族、友人など)、患者、エンジン(例えば、ライセンス契約に応じて1ヶ月に特定の数のエンジンにしかアクセスして使用することができない)、医療研究所、専門性、償還又は課金コード(例えば、保険で払い戻される特定の手順を実行するためにしかアクセスすることができない)、管理アクセスレベル、治験又は研究プロジェクト、データ閲覧方法、HIPAAの確認、又はこれらのいずれかの組み合わせなどの様々なパラメータに基づいて構成することができる。
【0129】
画像データコホート、臨床データコホート、フィードバック、及びデータベース内のデータ又は本査読システムに含まれるデータにも同様のアクセス制御を提供することができる。クラウドモデルは、世界中の医師又はその他の参加者によるアプリケーションの使用への参加を可能にする。ローカルモデルは、1つのネットワーク内又は部署内の医師又はその他の参加者がアプリケーションの使用に参加して患者情報がその環境から離れないようにすることができる。アプリケーションのアクセス制御は、どのエンジン及びツールがどのように又は誰によって使用されるかを制御することができる。
【0130】
図13は、本発明の1つの実施形態による医用画像処理プロセスを示すフロー図である。処理1300は、ソフトウェア、ハードウェア、又はこれらの組み合わせを含むことができる処理ロジックによって実行することができる。例えば、処理1300は、画像処理サーバ110によって実行することができる。
図13を参照すると、ブロック1301において、処理ロジックが、PACSなどの医用データソースから一連の臨床研究論文に関連する医用画像の組を受け取る。ブロック1302において、処理ロジックは、各臨床研究論文の各医用画像の組について、臨床研究論文の画像を処理するように構成された1又は2以上の画像処理エンジンを識別する。ブロック1303において、処理ロジックは、臨床研究論文に関連する構成ファイルによって指定された処理順に従って画像処理エンジンを構成する。ブロック1304において、処理ロジックは、画像処理エンジンを呼び出して実行し、医用画像を処理して第1の結果を生成する。第1の結果は、異常な医用画像を示す情報を含む。ブロック1305において、処理ロジックは、異常な医用画像を第1のレビューシステムに送信する。第1のレビューシステムは、第2のレビューシステムによって実行される第2のレビューの第2の結果と組み合わせて第1の結果の妥当性を確認する。ブロック1306において、処理ロジックは、査読システムから受け取ったレビュー結果に応答して、1又は2以上の処理アルゴリズムを修正して将来的な画像処理動作(例えば、効率、精度)を改善するように処理エンジンのうちの少なくとも1つを訓練する機械学習動作を実行する。
【0131】
図14は、本発明の別の実施形態による医用画像処理プロセスを示すフロー図である。処理1400は、ソフトウェア、ハードウェア、又はこれらの組み合わせを含むことができる処理ロジックによって実行することができる。例えば、処理1400は、画像処理サーバ110によって実行することができる。
図14を参照すると、ブロック1401において、処理ロジックが、PACSなどの医用データソースからの一連の臨床研究論文に関連する医用画像の組と、第1のレビューシステム(例えば、第1の査読システム又は一次レビューシステム)から受け取られた第1のレビュー結果とを受け取る。ブロック1402において、処理ロジックは、各臨床研究論文の各医用画像の組について、臨床研究論文の画像を処理するように構成された1又は2以上の画像処理エンジンを識別する。ブロック1403において、処理ロジックは、画像処理エンジンを呼び出して実行し、医用画像を処理して第2のレビュー結果を生成する。第2のレビュー結果は、異常な医用画像が存在する場合にその画像を示す情報を含む。ブロック1404において、処理ロジックは、第1のレビュー結果と第2のレビュー結果とを比較して、第1のレビュー結果と第2のレビュー結果との間のあらゆる矛盾を検出する。ブロック1405において、処理ロジックは、矛盾(例えば、第1のレビュー結果と第2のレビュー結果との間の不一致)がある医用画像を第2のレビューシステム(例えば、第2の査読システム)に送信する。第2のレビューシステムは、矛盾する医用画像に別のレビューを実行して第3のレビュー結果を生成する。ブロック1406において、処理ロジックは、第2のレビューシステムから受け取った第3のレビュー結果に応答して、1又は2以上の処理アルゴリズムを修正して将来的な画像処理動作(例えば、効率、精度)を改善するように処理エンジンのうちの少なくとも1つを訓練する機械学習動作を実行する。
【0132】
図15は、本発明の別の実施形態による医用画像処理プロセスを示すフロー図である。処理1500は、ソフトウェア、ハードウェア、又はこれらの組み合わせを含むことができる処理ロジックによって実行することができる。例えば、処理1500は、画像処理サーバ110によって実行することができる。
図15を参照すると、ブロック1501において、処理ロジックが、PACSシステムなどの医用データソースから1又は2以上の医用画像の組を受け取る。これらの医用画像は、臨床研究論文又は患者に関連することができる。ブロック1502において、処理ロジックは、分析システムから分析レポートを受け取る。分析レポートは、医用画像の医用所見を示す情報を含む。例えば、分析レポートは、医師によって作成された又はコンピュータシステムによって自動的に生成された臨床レポートとすることができる。ブロック1503において、処理ロジックは、1又は2以上の画像処理エンジンを呼び出し、医用画像に画像認識などの画像分析を実行して医用画像から第1の特徴の組を抽出する。
【0133】
ブロック1504において、処理ロジックは、分析レポートから第2の特徴の組を抽出する。抽出された特徴は、医用画像の医学的所見又は推定を示すことができる。ブロック1505において、処理ロジックは、第1の特徴の組と第2の特徴の組とを比較して、これらの間にいずれかの差分が存在するかどうかを判定する。存在する場合、ブロック1506において、処理ロジックは、所定の宛先(例えば、管理者システム、分析レポートを生成した医師、又は査読を実行できる別の医師)にアラートメッセージを送信する。このアラートメッセージは、誰かが患者又は医用画像の経過観察を行う必要がある旨を示すことができる。1つの実施形態によれば、医用画像を査読システムに送信し、査読者が査読を実行して、分析レポートの医学的所見及び/又は医用処理エンジンによって実行された画像分析の妥当性の確認又は否定をさらに行うことができる。
【0134】
図16は、本発明の別の実施形態による医用画像処理プロセスを示すフロー図である。処理1600は、ソフトウェア、ハードウェア、又はこれらの組み合わせを含むことができる処理ロジックによって実行することができる。例えば、処理1600は、画像処理サーバ110によって実行することができる。
図16を参照すると、ブロック1601において、処理ロジックが、臨床研究論文の1又は2以上の医用画像をレビューする第1のレビュアの第1の結果を受け取る。ブロック1602において、処理ロジックは、同じ画像を独立してレビューする第2のレビュアの第2の結果を受け取る。ブロック1603において、処理ロジックは、同じ医用画像を処理する1又は2以上の画像処理エンジンによって生成された第3の結果を受け取る。ブロック1604において、処理ロジックは、第1の結果と第2の結果と第3の結果とを比較して、これらの結果間のあらゆる矛盾を特定する。いずれかの結果の矛盾が存在する場合、ブロック1605において、処理ロジックは、所定の宛先にアラートを送信し、及び/又は画像処理エンジンの動作の妥当性を否定する。結果が互いに一致する場合、ブロック1606において、処理ロジックは、画像処理エンジンの動作の妥当性を確認する。ブロック1607において、結果に基づいて機械学習アルゴリズムを用いて画像処理エンジンを訓練する。この方法は、知り合いではないが自身のエンジンへのアクセスを認め合っている立案者からのエンジンの出力を組み合わせることによって感度及び特異度を改善する手段を提供するものである。
【0135】
いくつかの実施形態によれば、ユーザは、査読システムの診断画像処理機能を用いて様々な画像処理ツールにアクセスすることができる。或いは、このような画像処理ツールは、PACS又はEMR、或いは他の臨床又は情報システムなどの他のサードパーティシステムにおいて呼び出される画像処理エンジン113〜115として実装することもできる。以下は、上述した画像処理システムの一部として含めることができる及び/又はさらに自動化できる又はエンジンに変換できる現在の先進的半自動画像観察及び高度可視化システム内に存在する医用画像処理ツールの例である。これらの例は、例示目的で示すものであり、本発明を限定するものではない。
【0136】
血管分析ツールは、広範囲の血管分析タスク、冠動脈から大動脈までのエンドグラフトプラニング、並びに頸動脈及び腎動脈を含む一般的血管レビューが可能なCT及びMR血管造影のための包括的血管分析パッケージを含むことができる。自動中心線抽出、直線ビュー、直径及び長さ測定、CPR及び軸レンダリング(axial renderings)、及び自動薄スラブMIPのための血管追跡モードを含めることもできる。
【0137】
カルシウムスコアリングツールは、Agatstonを用いた冠動脈カルシウムの識別、容積及びミネラル質量アルゴリズムを含むことができる。カスタマイズオプション付きの統合レポートパッケージを含めることもできる。
【0138】
時間依存分析(TDA)ツールは、CT又はMRを用いて習得される時間分解平面又は容積4D脳潅流検査を含むことができる。TDAツールは、入力関数及び基線の半自動選択を用いた平均強化時間及び強化積分などの様々なパラメータの色又はマッピングをサポートして分析速度を高めることができる。TDAツールは、動的4Dエリア検出器CT検査の迅速な自動処理をサポートして取得後数分以内の判読を確実にすることができる。
【0139】
CT血管造影検査から非強化構造(例えば骨)を除去する際には、CT/CTA(コンピュータ断層撮影血管造影法)減算ツールが使用され、CT/CTAオプションは、造影前後の画像の自動位置合わせの後に、造影増強血管構造の分離によってノイズの増加を伴わずにCTAスキャンから(骨及び外科クリップのような)高強度構造を除去する高密度ボクセルマスキング技術を含む。
【0140】
小葉分解(Lobular decomposition)ツールは、例えば血管床を含むスキャン領域などの関心容積内のツリー状構造、又は肝臓などの臓器を識別する。その後、LDツールは、ツリーの所与の分枝又はその副分枝のうちの1つとの近接性に基づいて関心副容積を識別することができる。研究用途は、臓器の小葉構造の分析を含む。
【0141】
低被爆一般強化&ノイズ処理(General Enhancement & Noise Treatment with Low Exposure)ツールは、たとえソース画像の品質が最適でない場合でも3Dの有効性、中心線、輪郭削り及びセグメンテーションアルゴリズムを改善するノイズ管理技術を適用する高度容積フィルタアーキテクチャを含むことができる。
【0142】
Spherefinderツールは、容積検査の自動分析を行って、高球面指数(多くの結節及びポリープによって示される特徴)を有する構造の位置を識別する。Spherefinderは、潜在的関心領域を識別するために肺又は大腸CTスキャンと共に使用されることが多い。
【0143】
セグメンテーション、分析&追跡ツールは、孤立性肺結節又はその他の潜在的病変などの塊及び構造の分析及び特性化をサポートする。ツールは、関心領域を識別してセグメント化した後に、RECIST及びWHOなどの測定基準を適用して所見の集計報告及び経過観察比較をもたらす。Spherefinderを含む任意の検出エンジンからの候補マーカの表示及び管理をサポートすることもできる。
【0144】
時間容積分析ツールは、心室などのリズム運動を行う房から駆出率を自動計算することができる。ユーザが対象の壁境界(例えば、心外膜及び心内膜)を識別し、ユーザが確認したこれらの関心領域に基づいて多面的CTデータから駆出率、壁容積(質量)及び壁肥厚を報告できるようにする高速かつ効率的なワークフローを含めることができる。集計レポート出力も含まれる。
【0145】
顎顔面(Maxillo−facial)ツールは、顎顔面領域のCT検査の分析及び視覚化をサポートし、これらのツールは、様々な平面における様々な厚みの「パノラマ」投影、及び規定の曲面に沿った設定増分での断面MPRビューを生成するCPRツールを適用する。
【0146】
大腸、肺又は血管などの腔内CT又はMR検査に適用できるFlythroughツールは、比較レビュー、既に見た領域の塗り潰し、カバー率追跡、並びに、早送り、巻き戻し、魚眼及びフラット容積表示ビューを含む複数画面レイアウトをサポートする。コントラスト減算のためのツールである「Cube View」及び統合文脈レポートをサポートすることもできる。iNtuition社のSpherefinderを含む任意の検出エンジンからの候補マーカの表示及び管理をサポートすることもできる。
【0147】
容量ヒストグラム(Volumetric Histogram)ツールは、組成のための関心容積のセグメント化及び分析を可能にする。研究用途は、肺の低減衰領域の分析、閾値に基づくボクセル集団への腫瘍分割、血栓血管又は動脈瘤の検査、又はその他の病変を含む。
【0148】
所見ワークフローツールは、連続検査にわたって所見を追跡するためのフレームワークを提供する。データベースは、測定結果及びキー画像を保持し、連続比較を提示するRECIST1.1法などの、所見の構造的比較及び経時的な集計レポートをサポートする。音声認識システム又は臨床データベースとの自動統合のための注釈及び画像マークアップ(AIM)XMLスキーマをサポートすることもでき、データベースからワードベースの(Word−based)レポートを取得することもできる。
【0149】
これらのツールを用いて、いずれか2つのCT、PET、MR又はSPECT系列、又はこれらのいずれか2系列の組み合わせを重ね合わせ、解剖学的参照のために、一方に半透明カラーコーディングを割り当て、他方をグレースケール及び容積レンダリングで示すことができる。自動位置合わせが提供され、一時的系列(temporary series)又は保存された第3系列への減算が可能である。PET/MR視覚化のためのサポートも含まれる。
【0150】
一部のMR検査(例えば、胸部MR)は、時間と共にいくつかの構造が他の構造に対して強化される、一定期間にわたって撮影された一連の画像収集を伴う。これらのツールは、全ての強化後画像から強化前画像を減算して、強化構造(例えば、血管構造及び他の強化組織)の視覚化を強調する能力を特徴とする。所与の領域の時間−強度グラフをプロットする時間依存性関心領域ツールを提供することもできる。
【0151】
パラメータマッピングツールは、マルチフェーズMRツールへの拡張機能であり、パラメータマッピングオプションは、画像内の各画素が画素強度の時間依存挙動に応じて色分けされたオーバーレイマップを事前計算する。一例として、このツールを胸部MRで使用して強化領域の識別及び研究速度を高めることもできる。
【0152】
MultiKvツールは、複数のベンダからの二重エネルギー及びスペクトル撮像(Dual Energy and Spectral Imaging)の取得をサポートして、セグメンテーション又はコントラスト抑制などの標準的な画像処理アルゴリズム、並びに新技術の正確な分析及び開発のための汎用ツールキットを提供する。
【0153】
これらの例、並びに現在の高度画像分析及び臨床データ分析のほとんどの機能は、査読システムでサポートすることができる。しかしながら、エンジン及びエンジンのエンジンの能力はますます先に進み、知性と自動化を高めたツールに対応するとともに、個人又はグループの選好にエンジンを適合させることによって個人に合わせたワークフローをもたらすことができる。
【0154】
上述した実施形態は、様々な医学領域に適用することができる。例えば、上述した技術は、(ステントグラフト内挿術(EVAR)及び電気生理学(EP)プラニングを含む)血管分析に適用することができる。このような血管分析は、大動脈エンドグラフト及び電気生理学プラニングに加えて、冠動脈と、頸動脈及び腎動脈などの一般血管との分析を判読するために行われる。現場又はクラウドに位置するプラットフォームのクラウドサービスとして提供されるツールは、自動中心線抽出、直線ビュー、直径及び長さ測定、カラーオーバーレイ、フュージョンマッピング、湾曲面再形成(Curved Planar Reformation:CPR)及び軸レンダリング、並びに血管直径対距離及び断面図の図表化を含む。血管追跡ツールは、ナビゲーションの容易さと深い取り調べ(deep interrogation)のために、血管中心線に沿って移動してその周囲で回転する2つの直交面における最大値投影法(MIP)ビューを提供する。プラーク分析ツールは、ソフトプラーク、石灰化プラーク及び壁内病変などの非管腔構造の詳細な描画を提供する。
【0155】
また、上述した技術は、血管内大動脈修復の分野で利用することもできる。いくつかの実施形態によれば、同様のクラウドサービスとして提供される血管分析ツールが、エンドグラフトのサイズ決定のための測定結果を取り込むレポートテンプレートの定義をサポートする。複数のアクセスポイントを用いたEVAR手順の計画を可能にするために複数の中心線を抽出することができる。血管に垂直な直径を、2つの大動脈腸骨経路に沿った距離と共に測定することができる。カスタムワークフローテンプレートを用いて、ステントのサイズ決定に必要とされるような主大動脈エンドグラフト製造の測定仕様を作成することができる。有窓の分岐装置を計画するための血管枝の配向及び位置の文書化を支援する「クロックフェース」オーバーレイを用いた心嚢セグメンテーション及び容積決定を使用することもできる。必要な測定値及びデータを含むレポートを生成することができる。
【0156】
上述した技術は、主静脈及び副静脈直径評価のためのクラウドサービスとして提供される距離ペアツール(distance pair tool)によって各肺静脈口の半自動左心房セグメンテーションがサポートされる左心房分析モードにおいて適用することもできる。測定値は自動的に検出されて統合レポートシステムに取り込まれる。これらの能力を他の血管分析ツールと組み合わせて、切除及びリードアプローチプラニング(lead approach planning)のための包括的なカスタマイズされたEPプラニングワークフローを提供することができる。
【0157】
上述した技術は、カルシウムスコアリングにおいて利用することもできる。冠動脈カルシウムの識別は、Agatstonを用いてサポートされ、容積及びミネラル質量アルゴリズムが合計されてレポートされる。結果は、患者及びその心臓血管病歴及びリスク因子に関する他の様々なデータと共にオープンフォーマットデータベースに記憶することができる。これらのデータに基づいて、カスタマイズされたレポートを自動的に生成することができる。心臓血管コンピュータ断層撮影学会(SCCT)ガイドラインによって定められるレポートの作成も含む。
【0158】
上述した技術は、左心室容積、駆出率、心筋容積(質量)及びマルチフェーズデータからの壁肥厚の完全自動計算を含むことができる時間・容積分析(TVA)において利用することもできる。
【0159】
上述した技術は、肺CT検査を含む様々なスキャンにおける質量及び構造の分析及び特性化のサポートを含むセグメントテーション分析及び追跡(SAT)の分野において利用することもできる。特徴は、質量のセグメントテーション、寸法及び容積のレポート、選択領域のグラフィカル3D表示、統合自動レポートツール、パーセント容積の変化及び倍化時間を含む経過観察比較のサポート、及びフィルタ結果(例えば球面)の適用及びレビューのサポートを含む。
【0160】
上述した技術は、大腸の自動セグメンテーション及び中心線抽出の特徴を含むことができるフライスルー(flythrough)の分野において利用することもできる。2Dレビューは、代表的な同期的腔内ビューを用いた軸状、冠状又は矢状ビューの形の横並びの同期背臥及び腹臥データセットを含む。3Dレビューは、大型の腔内ビュー及び大腸全体を表示する展開ビューを用いた軸状、冠状及び矢状MPR又はMIP画像表示を含む。見えない部分の段階的レビュー、ポリープ識別、ブックマーク及びマージ所見、並びに関心容積及び統合文脈レポートツールを分離するための立方体ビューを用いて100%カバレッジを確実にするためのカバレッジ追跡がサポートされる。フィルタ結果(例えば、球面)を使用するためのサポートも提供される。
【0161】
上述した技術は、脳潅流研究などにおいて適切なコンピュータ断層撮影血管造影法(CTA)及び/又はMRI検査の時間依存挙動の評価分析を提供する時間依存分析(TDA)の分野において利用することもできる。複数の時間依存系列が同時に分析され、入出力関数及び関心領域を選択するためのプロシージャ型ワークフローが提供される。血流、血液量及び通過時間マップの値のエクスポートが、DICOM又は他の画像フォーマットでサポート又はエクスポートされる。他の出力は、様々な時間依存パラメータの計算を含む。
【0162】
上述した技術は、造影前後の画像の自動位置合わせの後に、ノイズの増加を伴わずに造影増強血管構造を無傷にしたままでCTAスキャンから(骨及び外科クリップなどの)高強度構造を除去する減算又は高密度ボクセルマスキング技術を含むCTA−CT減算の分野において利用することもできる。
【0163】
上述した技術は、歯科分析において利用して、様々な平面における様々な厚みの「パノラマ」投影と、規定の曲面に沿った設定増分での断面MPRビューとを生成する能力をもたらす、歯科CTスキャンのレビューに適用できるCPRツールを提供することもできる。
【0164】
上述した技術は、マルチフェーズMRの分野(例えば、胸部MR、前立腺MRなどの基本MR)において利用することもできる。一部のMR検査(例えば、胸部MR、前立腺MR)は、時間と共にいくつかの構造が他の構造に対して強化される、一定期間にわたって撮影された一連の画像収集を伴う。機能は、全ての強化後画像から強化前画像を減算して、強化構造(例えば、血管構造及び他の強化組織)の視覚化を強調する能力を含む。所与の領域の時間−強度グラフをプロットする時間依存性関心領域ツールも提供される。
【0165】
上述した技術は、画像内の各画素が画素強度の時間依存挙動に応じて色分けされたオーバーレイマップをパラメータマッピングモジュールが事前計算する(例えば、マルチフェーズ胸部MRの)パラメータマッピングにおいて利用することもできる。
【0166】
上述した技術は、画像データセット内の物体の球面を発見する際に利用することもできる。これは、潜在的関心領域を識別するために肺又は大腸CTで使用されることが多い。
【0167】
上述した技術は、CT/MR/PET/SPECTの融合において利用することもできる。いずれか2つのCT、PET、MR又はSPECT系列、又はいずれか2系列の組み合わせを重ね合わせ、解剖学的参照のために、一方に半透明カラーコーディングを割り当て、他方をグレースケール及び容積レンダリングで示すことができる。自動位置合わせが提供され、一時的系列又は保存された第3系列への減算が可能である。
【0168】
上述した技術は、小葉分解の分野において利用することもできる。小葉分解は、解剖学的構造を検出してセグメント化するように設計された分析及びセグメンテーションツールである。このツールは、(動脈及び/又は静脈ツリーなどの)ツリー状構造が絡み合ったあらゆる構造又は臓器領域について、関心容積及びそれに関連するツリーを計算し、ツリー又はそのいずれかの特定の副分枝に最も近い小葉又はテリトリーに容積を分割する。この汎用かつ柔軟なツールには、肝臓、肺、心臓、並びに他の様々な臓器及び病理学的構造の分析における潜在的研究用途がある。
【0169】
上述した技術は、容積ヒストグラム(volumetric histogram)計算の分野において利用することもできる。容積ヒストグラムは、異なる強度又は密度範囲のグループ又は集団を形成する成分ボクセルに基づいて、所与の関心容積を分割する。この容積ヒストグラムは、例えば癌(活動腫瘍、壊死組織、及び浮腫間のバランスを理解するために腫瘍の組成を分析することが望ましい場合)、又は気腫(肺CT検査における低減衰ボクセルの集団が早期疾患の重要な指標になり得る場合)などの疾病過程の研究をサポートするために使用することができる。
【0170】
上述した技術は、動き分析(motion analytics)の分野において利用することもできる。動き分析は、対話型3D又は4Dディスプレイが利用できない時に所見をより効率的に伝える、4Dプロセスの強力な2D表現を提供する。拍動する心臓などのあらゆる動的容積取得を動き分析して、動的シーケンス全体を通じて重要な境界の輪郭の色分けされた「痕跡(trail)」を生成し、単一の2Dフレームが動きを取り込んで、容易に文献で報告できる形で例示できるようにする。カラーパターンの均一性又はその欠如が動きの調和度を反映して、単一画像からの迅速な視覚フィードバックを提供する。
【0171】
図17は、本発明の1つの実施形態と共に使用できるデータ処理システムのブロック図である。例えば、システム1700は、上述したようなサーバ又はクライアントの一部として使用することができる。例えばシステム1700は、ネットワークインターフェイス1710を介して遠隔クライアント装置又は別のサーバに通信可能に結合された、上述した画像処理サーバ110を表すことができる。なお、
図17にはコンピュータシステムの様々なコンポーネントを示しているが、コンポーネント同士を相互接続する特定のアーキテクチャ又は方法を表すことは意図しておらず、従って細部は本発明と密接に関係するものではない。さらに少ない、又は場合によってはさらに多くのコンポーネントを有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話機及びその他のデータ処理システムを本発明と共に使用することもできると理解されるであろう。
【0172】
図17に示すように、データ処理システムの形態のコンピュータシステム1700は、1又は2以上のマイクロプロセッサ1703、ROM1707、揮発性RAM1705及び不揮発性メモリ1706に結合されたバス又は相互接続部1702を含む。マイクロプロセッサ1703は、キャッシュメモリ1704に結合される。バス1702は、これらの様々なコンポーネントを相互接続するとともに、これらのコンポーネント1703、1707、1705及び1706を、ディスプレイコントローラ及びディスプレイ装置1708、並びにマウス、キーボード、モデム、ネットワークインターフェイス、プリンタ、及び当業で周知の他の装置とすることができる入力/出力(I/O)装置1710に相互接続する。
【0173】
通常、入力/出力装置1710は、入力/出力コントローラ1709を通じてシステムに結合される。通常、揮発性RAM1705は、メモリのデータを更新又は保持するために絶えず電力を必要とするダイナミックRAM(DRAM)として実装される。通常、不揮発性メモリ1706は、磁気ハードドライブ、光磁気ドライブ、光学ドライブ、DVD RAM、又はシステムから電力が除去された後でもデータを保持する他のタイプのメモリシステムである。通常、不揮発性メモリはランダムアクセスメモリでもあるが、これは必須ではない。
【0174】
図17には、不揮発性メモリが、データ処理システム内の残りのコンポーネントに直接結合されたローカル装置であると示しているが、本発明は、モデム又はイーサネット(登録商標)インターフェイスなどのネットワークインターフェイスを介してデータ処理システムに結合されたネットワーク記憶装置などの、システムから離れた不揮発性メモリを利用することもできる。当業で周知のように、バス1702は、様々なブリッジ、コントローラ及び/又はアダプタを介して互いに接続された1又は2以上のバスを含むことができる。1つの実施形態では、I/Oコントローラ1709が、USB(ユニバーサルシリアルバス)周辺機器を制御するUSBアダプタを含む。或いは、I/Oコントローラ1709は、FireWire装置を制御する、FireWireアダプタとしても知られているIEEE−1394アダプタを含むこともできる。
【0175】
上述した詳細な説明の一部は、コンピュータメモリ内のデータビットにおける演算のアルゴリズム及び記号表現の観点から示したものである。これらのアルゴリズムによる記述及び表現は、データ処理において当業者が自らの研究内容を他の当業者に最も効果的に伝えるために使用する方法である。ここでは、一般に、アルゴリズムとは、望ましい結果をもたらす首尾一貫した一連の演算であると考えられる。これらの演算は、物理量の物理的操作を必要とするものである。
【0176】
しかしながら、これらの及び同様の用語は、全て適切な物理量に関連付けられるべきものであり、またこれらの量に与えられた便利な表記に過ぎないことに留意されたい。上述の説明から明らかなように、特に別途述べていない限り、本発明全体を通じ、以下の特許請求の範囲に記載するような用語を利用した説明は、コンピュータシステムのレジスタ及びメモリ内の物理(電子)量として表されるデータを操作し、コンピュータシステムのメモリ、レジスタ、又はその他のこのような情報記憶装置、送信又は表示装置内の物理量として同様に表される他のデータに変換するコンピュータシステム又は同様の電子コンピュータ装置の動作及び処理を意味するものである。
【0177】
図示の技術は、1又は2以上の電子装置上に記憶され実行されるコード及びデータを用いて実装することができる。このような電子装置は、非一時的コンピュータ可読記憶媒体(例えば、磁気ディスク、光ディスク、ランダムアクセスメモリ、リードオンリメモリ、フラッシュメモリデバイス、相変化メモリ)及び一時的コンピュータ可読伝送媒体(例えば、電気信号、光信号、音響信号、又は搬送波、赤外線信号、デジタル信号などのその他の形の伝搬信号)などのコンピュータ可読媒体を使用してコード及びデータを記憶し(内部的に及び/又はネットワークを介して他の電子装置と)通信する。
【0178】
上述した図に示すプロセス又は方法は、ハードウェア(例えば、回路、専用ロジックなど)、ファームウェア、(例えば、非一時的コンピュータ可読媒体上で具現化される)ソフトウェア、又はこれらの組み合わせを含むロジックを処理することによって実行することができる。上記では、これらのプロセス又は方法をいくつかの順次処理の観点から説明したが、説明した動作の一部を異なる順序で実行することもできると理解されたい。さらに、動作によっては、順次的にではなく同時に実行できるものもある。
【0179】
上述の明細書では、本発明の実施形態をその特定の例示的な実施形態を参照しながら説明した。特許請求の範囲に示す本発明の幅広い趣旨及び範囲から逸脱することなく本発明に様々な修正を行えることが明白であろう。従って、明細書及び図面は、限定的な意味ではなく例示的な意味で捉えるべきである。