知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-16
(54)【発明の名称】マルチモーダルな医療画像の相関付け
(51)【国際特許分類】
G16H 30/00 20180101AFI20241008BHJP
G06T 7/00 20170101ALI20241008BHJP
G06V 10/82 20220101ALI20241008BHJP
【ＦＩ】
G16H30/00
G06T7/00 630
G06V10/82
G06T7/00 350C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024516923
(86)(22)【出願日】2022-07-13
(85)【翻訳文提出日】2024-04-03
(86)【国際出願番号】 US2022036952
(87)【国際公開番号】W WO2023043527
(87)【国際公開日】2023-03-23
(31)【優先権主張番号】63/244,756
(32)【優先日】2021-09-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＳＷＩＦＴ
３．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】591003013
【氏名又は名称】エフ． ホフマン－ラ ロシュ アーゲー
【氏名又は名称原語表記】Ｆ． ＨＯＦＦＭＡＮＮ－ＬＡ ＲＯＣＨＥ ＡＫＴＩＥＮＧＥＳＥＬＬＳＣＨＡＦＴ
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100138759
【弁理士】
【氏名又は名称】大房 直樹
(72)【発明者】
【氏名】マリクシ，デンニブ
(72)【発明者】
【氏名】スズエ，エレン
(72)【発明者】
【氏名】シェフチェク，マテウシュ
(72)【発明者】
【氏名】ブスケット，ギヨーム
(72)【発明者】
【氏名】シェフドテル，クリストフ
【テーマコード（参考）】
5L096
5L099
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096AA09
5L096BA06
5L096BA13
5L096CA01
5L096CA02
5L096CA18
5L096CA22
5L096CA24
5L096DA01
5L096FA25
5L096FA69
5L096GA30
5L096HA11
5L096KA04
5L099AA26
(57)【要約】
いくつかの実施形態において、医療画像の表示を同期させるための方法、システム、ソフトウェア、および使用が提供される。第１の医療画像内の対象領域を特定する入力が受信される。第２の医療画像内の第２の対象領域が、第１の領域に基づいて決定される。第１の医療画像および第１の領域の第１の指示が、ＧＵＩの第１の表示域に表示される。第２の医療画像および第２の領域の第２の指示が、ＧＵＩの第２の表示域に表示される。第１の対象領域または第２の対象領域の一方の表示を調整するための表示調整入力が受信される。表示調整入力および対応情報に基づいて、第１の表示域における第１の対象領域の表示の調整および第２の表示域における第２の対象領域の表示の調整が実施される。
【選択図】図２Ａ
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
コンピュータ実装方法であって、１つ以上のデータベースから、第１の医療画像にアクセスすることと、
前記１つ以上のデータベースから、第２の医療画像にアクセスすることと、
グラフィカルユーザインターフェース（ＧＵＩ）を介して、前記第１の医療画像内の第１の対象領域の選択に対応する選択入力を受信することと、
前記第１の対象領域に基づく前記第２の医療画像内の第２の対象領域であって、同じ組織に対応する、前記第２の医療画像内の第２の対象領域を決定することと、
前記第１の対象領域を前記第２の対象領域に関連付ける対応情報を記憶することと、
前記ＧＵＩの第１の表示域に、前記第１の医療画像と、前記第１の医療画像内の前記第１の対象領域の第１の指示とを表示することと、
前記ＧＵＩの第２の表示域に、前記第２の医療画像と、前記第２の医療画像内の前記第２の対象領域の第２の指示とを表示することと、
前記第１の表示域または前記第２の表示域のうちの一方における前記第１の対象領域または前記第２の対象領域のうちの一方の表示を調整するために介して表示調整入力を受信することと、
前記表示調整入力および前記対応情報に基づいて、前記第１の表示域における前記第１の対象領域の表示の調整と、前記第２の表示域における前記第２の対象領域の表示の調整とを同期させることと
を含む、コンピュータ実装方法。
【請求項2】
前記第１の医療画像および前記第２の医療画像は、デジタル放射線画像またはデジタル病理画像の少なくとも一方を含む、請求項１に記載の方法。
【請求項3】
前記第１の医療画像は、１つ以上の陽電子放出断層撮影（ＰＥＴ）画像を含み、前記第２の医療画像は、標本スライドのデジタル病理画像を含む、
請求項２に記載の方法。
【請求項4】
前記デジタル病理画像は、ヘマトキシリンおよびエオジン（Ｈ＆Ｅ）染色または免疫組織化学（ＩＨＣ）染色のうちの１つに基づいて処理された前記標本スライドをキャプチャする、請求項３に記載の方法。
【請求項5】
前記デジタル病理画像は、蛍光照明または明視野照明のうちの少なくとも１つに基づいて取得される、請求項３に記載の方法。
【請求項6】
前記選択入力は、前記第１の表示域内の複数の第１のランドマークの選択を含み、前記方法は、
前記第１の表示域内の前記複数の第１のランドマークの位置および前記第１の表示域内の前記第１の医療画像の表示拡大縮小倍率に基づいて、前記第１の医療画像内の前記第１の対象領域の第１の位置情報を決定することと、
前記第１の位置情報を前記対応情報内に記憶することと
をさらに含む、請求項１に記載の方法。
【請求項7】
前記第２の表示域内の複数の第２のランドマークの選択を受信することと、前記第２の表示域内の前記複数の第２のランドマークの位置および前記第２の表示域内の前記第２の医療画像の表示拡大縮小倍率に基づいて、前記第２の医療画像内の前記第２の対象領域の第２の位置情報を決定することと、
前記第２の位置情報を前記対応情報内に記憶することと
をさらに含む、請求項６に記載の方法。
【請求項8】
前記ＧＵＩによって、前記第１の表示域内および前記第２の表示域内の対応する対象領域のランドマークを選択するための選択肢の選択を検出することをさらに含み、前記第１の対象領域と前記第２の対象領域とが前記同じ組織に対応するとの判断は、前記選択肢の選択の前記検出に基づく、
請求項７に記載の方法。
【請求項9】
前記第１の医療画像について第１の画像処理操作を実行して前記第１の対象領域を決定することと、前記第２の医療画像について第２の画像処理操作を実行して前記第２の対象領域を決定することと、
前記選択入力を、前記第１の画像処理操作によって決定された前記第１の対象領域と、前記第２の画像処理操作によって決定された前記第２の対象領域とが、前記同じ組織に対応することの確認として受信することと、
前記確認に基づいて前記対応情報を記憶することと
をさらに含む、請求項１に記載の方法。
【請求項10】
前記第１の画像処理操作は、前記第１の医療画像の画素によって表される放射性レベルをしきい値に対して比較することを含み、前記第１の対象領域は、前記画素のうちの前記放射性レベルが前記しきい値を超えるサブセットに基づいて決定される、
請求項９に記載の方法。
【請求項11】
前記第２の画像処理操作は、がん細胞を表す１つ以上の染色パターンを検出することを含み、前記第２の対象領域は、前記検出の結果に基づいて決定される、
請求項１０に記載の方法。
【請求項12】
前記第２の画像処理操作は、畳み込みニューラルネットワークによって実行される、請求項１１に記載の方法。
【請求項13】
学習システムを使用して、前記第１の対象領域と前記第２の対象領域とが前記同じ組織に対応するとの予測を生成することと、前記ＧＵＩに前記予測を表示することと、
前記選択入力を前記予測の確認として受信することと
をさらに含む、請求項１に記載の方法。
【請求項14】
前記表示調整入力は、拡大入力、縮小入力、平行移動入力、または回転入力のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項15】
前記第１の表示域における前記第１の対象領域の前記表示の調整と、前記第２の表示域における前記第２の対象領域の前記表示の調整とを同期させることは、前記第１の対象領域および前記第２の対象領域が、前記第１の表示域および前記第２の表示域のそれぞれにおいて同じ拡大度で表示されるように実行される、請求項１４に記載の方法。
【請求項16】
前記第１の表示域における前記第１の対象領域の前記表示の調整と、前記第２の表示域における前記第２の対象領域の前記表示の調整とを同期させることは、前記第１の対象領域および第２の対象領域の同じ部分が、前記第１の表示域および前記第２の表示域のそれぞれに表示されるように実行される、請求項１４に記載の方法。
【請求項17】
前記第１の表示域における前記第１の対象領域の前記表示の調整と、前記第２の表示域における前記第２の対象領域の前記表示の調整とを同期させることは、前記第１の対象領域および第２の対象領域が、前記第１の表示域および前記第２の表示域のそれぞれにおいて同程度に回転するように実行される、請求項１４に記載の方法。
【請求項18】
前記同じ組織に対応する前記第１の対象領域および前記第２の対象領域に基づいて分析出力を生成することをさらに含み、前記分析出力は、がん診断の予測、以前の外科処置の検証、前記第１の対象領域および前記第２の対象領域にキャプチャされた前記同じ組織の分類、または治療に関する研究操作のうちの少なくとも１つを含む、
請求項１に記載の方法。
【請求項19】
非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品であって、１つ以上のデータベースから、第１の医療画像にアクセスすることと、
前記１つ以上のデータベースから、第２の医療画像にアクセスすることと、
グラフィカルユーザインターフェース（ＧＵＩ）を介して、前記第１の医療画像内の第１の対象領域の選択に対応する選択入力を受信することと、
前記第１の対象領域に基づく前記第２の医療画像内の第２の対象領域であって、同じ組織に対応する、前記第２の医療画像内の第２の対象領域を決定することと、
前記第１の対象領域を前記第２の対象領域に関連付ける対応情報を記憶することと、
前記ＧＵＩの第１の表示域に、前記第１の医療画像と、前記第１の医療画像内の前記第１の対象領域の第１の指示とを表示することと、
前記ＧＵＩの第２の表示域に、前記第２の医療画像と、前記第２の医療画像内の前記第２の対象領域の第２の指示とを表示することと、
前記第１の表示域または前記第２の表示域のうちの一方における前記第１の対象領域または前記第２の対象領域のうちの一方の表示を調整するために介して表示調整入力を受信することと、
前記表示調整入力および前記対応情報に基づいて、前記第１の表示域における前記第１の対象領域の表示の調整と、前記第２の表示域における前記第２の対象領域の表示の調整とを同期させることと
を含む動作の組を１つ以上のデータプロセッサに実行させるように構成された命令を含んでいる、コンピュータプログラム製品。
【請求項20】
１つ以上のデータプロセッサと、命令を含んでいる非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つ以上のデータプロセッサ上で実行されたときに、
１つ以上のデータベースから、第１の医療画像にアクセスすることと、
前記１つ以上のデータベースから、第２の医療画像にアクセスすることと、
グラフィカルユーザインターフェース（ＧＵＩ）を介して、前記第１の医療画像内の第１の対象領域の選択に対応する選択入力を受信することと、
前記第１の対象領域に基づく前記第２の医療画像内の第２の対象領域であって、同じ組織に対応する、前記第２の医療画像内の第２の対象領域を決定することと、
前記第１の対象領域を前記第２の対象領域に関連付ける対応情報を記憶することと、
前記ＧＵＩの第１の表示域に、前記第１の医療画像と、前記第１の医療画像内の前記第１の対象領域の第１の指示とを表示することと、
前記ＧＵＩの第２の表示域に、前記第２の医療画像と、前記第２の医療画像内の前記第２の対象領域の第２の指示とを表示することと、
前記第１の表示域または前記第２の表示域のうちの一方における前記第１の対象領域または前記第２の対象領域のうちの一方の表示を調整するために介して表示調整入力を受信することと、
前記表示調整入力および前記対応情報に基づいて、前記第１の表示域における前記第１の対象領域の表示の調整と、前記第２の表示域における前記第２の対象領域の表示の調整とを同期させることと
を含む動作の組を前記１つ以上のデータプロセッサに実行させる、非一時的コンピュータ可読記憶媒体と
を備える、システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年９月１６日に出願された米国特許出願第６３／２４４，７５６号の利益および優先権を主張し、米国特許出願第６３／２４４，７５６号は、あらゆる目的に関して、その全体が参照により本明細書に組み込まれる。
本出願は、２０２１年９月１６日に出願された米国特許出願第６３／２４４，７５６号の利益および優先権を主張し、米国特許出願第６３／２４４，７５６号は、あらゆる目的に関して、その全体が参照により本明細書に組み込まれる。
【背景技術】
【0002】
背景
医療画像は、一般に、臨床分析および／または介入のために撮影された画像を指す。マルチモーダルな医療画像を、さまざまな撮像／処理態様から得ることができる。例えば、陽電子放出断層撮影（ＰＥＴ）、Ｘ線写真、磁気共鳴画像化、超音波、単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）、などのさまざまな種類の放射線画像を撮影して、侵襲的な処置を実行することなく、被験者（例えば、患者）の内部構造を明らかにし、あるいは目的の特定の細胞（例えば、がん細胞）を検出することができる。別の例として、組織標本を被験者から取り出し、標本スライドにスライスすることができる。標本スライドをさらに処理（例えば、ヘマトキシリンおよびエオジン（Ｈ＆Ｅ）染色、免疫組織化学（ＩＨＣ）染色、蛍光タグ付け、など）し、かつ／または（例えば、蛍光照明、明視野（可視光）照明、などで）照明し、処理／照明されたスライドのデジタル病理画像を撮影して、標本中の細胞の組織学的情報を提供することができる。異なる種類の放射線技術を使用して撮影された放射線画像を、異なる種類の細胞／組織構造を明らかにするために異なる染色剤／技術で処理されたスライドから撮影された病理画像などと同様に、マルチモーダルな医療画像と見なすことができる。
医療画像は、一般に、臨床分析および／または介入のために撮影された画像を指す。マルチモーダルな医療画像を、さまざまな撮像／処理態様から得ることができる。例えば、陽電子放出断層撮影（ＰＥＴ）、Ｘ線写真、磁気共鳴画像化、超音波、単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）、などのさまざまな種類の放射線画像を撮影して、侵襲的な処置を実行することなく、被験者（例えば、患者）の内部構造を明らかにし、あるいは目的の特定の細胞（例えば、がん細胞）を検出することができる。別の例として、組織標本を被験者から取り出し、標本スライドにスライスすることができる。標本スライドをさらに処理（例えば、ヘマトキシリンおよびエオジン（Ｈ＆Ｅ）染色、免疫組織化学（ＩＨＣ）染色、蛍光タグ付け、など）し、かつ／または（例えば、蛍光照明、明視野（可視光）照明、などで）照明し、処理／照明されたスライドのデジタル病理画像を撮影して、標本中の細胞の組織学的情報を提供することができる。異なる種類の放射線技術を使用して撮影された放射線画像を、異なる種類の細胞／組織構造を明らかにするために異なる染色剤／技術で処理されたスライドから撮影された病理画像などと同様に、マルチモーダルな医療画像と見なすことができる。
【0003】
これらのマルチモーダルな医療画像が異なる態様の情報を提供することに鑑み、典型的には、これらの画像は、別々の専門家によって分析される２つの個別の医療データとして表示される。例えば、放射線画像が、放射線科医によって検討および分析されるべきである一方で、デジタル病理画像は、病理学者によって検討および分析されるべきである。現時点において、これらの画像へのアクセスを提供する医療情報システム（例えば、医療デジタル撮像通信（ＤＩＣＯＭ）システム）は、典型的には、例えば或る医療画像内のどの領域が別の医療画像内の別の領域に対応するかを識別するなど、異なる態様の２つの医療画像の間の対応をユーザが効率的に判断することを、可能にしていない。
【0004】
さらに、現時点の医療情報システムは、２つの医療画像の間の対応する領域を示す情報の格納およびアクセスのための容易かつ直感的なやり方も提供していない。マルチモーダルな医療画像が被験者の身体の異なる範囲をキャプチャする場合、これらの画像は、異なる解像度を有し、異なるスケールを表すことが多い。２つの画像の間の対応する領域を示す情報が存在しないならば、２つの画像の各々において移動して、対応する目的の領域の位置を特定してアクセスすることが、ユーザにとって困難になる。
【0005】
したがって、画像間の対応部分を決定することによってマルチモーダルな医療画像を自動的に相関させることができ、かつ／またはマルチモーダルな医療画像間の対応する領域を示す情報を容易にマークして記憶することをユーザにとって可能にするシステムを提供する必要がある。
【発明の概要】
【0006】
簡単な説明
マルチモーダルな医療画像を相関付け、相関結果へのアクセスを提供するための技術が、本明細書に開示される。マルチモーダルな医療画像は、異なる撮像／処理の態様から得られた第１の医療画像および第２の医療画像を含む。いくつかの例においては、第１の医療画像がデジタル放射線画像を含むことができる一方で、第２の医療画像はデジタル病理画像を含むことができる。いくつかの例においては、第１の医療画像および第２の医療画像の両方が、異なる情報を明らかにするために異なる技術を使用して得られたデジタル放射線画像またはデジタル病理画像を含むことができる。
マルチモーダルな医療画像を相関付け、相関結果へのアクセスを提供するための技術が、本明細書に開示される。マルチモーダルな医療画像は、異なる撮像／処理の態様から得られた第１の医療画像および第２の医療画像を含む。いくつかの例においては、第１の医療画像がデジタル放射線画像を含むことができる一方で、第２の医療画像はデジタル病理画像を含むことができる。いくつかの例においては、第１の医療画像および第２の医療画像の両方が、異なる情報を明らかにするために異なる技術を使用して得られたデジタル放射線画像またはデジタル病理画像を含むことができる。
【0007】
いくつかの例において、本技術は、１つ以上のデータベースから第１の医療画像および第２の医療画像にアクセスすることと、グラフィカルユーザインターフェース（ＧＵＩ）を介して、ユーザから、第１の医療画像内の第１の対象領域の選択に対応する選択入力を受信することとを含む。本技術は、第１の対象領域に基づく第２の医療画像内の第２の対象領域であって、同じ組織に対応する、第２の医療画像内の第２の対象領域を決定することをさらに含む。本技術は、第１の対象領域が第２の対象領域に関連するという情報に基づいて、第１の対象領域の第１の位置、第２の対象領域の第２の位置、および第１の対象領域と第２の対象領域との間の関連付けを示す対応情報を決定し、記憶することをさらに含む。本技術は、ＧＵＩに、第１の医療画像、第１の対象領域の第１の指示、第２の医療画像、および第２の対象領域を表示することをさらに含む。本技術は、ＧＵＩ内の第１の対象領域または第２の対象領域のうちの一方の表示を調整するための表示調整入力を、ＧＵＩを介して受信することと、表示調整入力および対応情報に基づいて、ＧＵＩ内の第１の対象領域の表示の調整と第２の対象領域の表示の調整との間の同期を行うこととをさらに含む。
【0008】
本開示のこれらの例および他の例が、以下で詳細に説明される。例えば、他の実施形態は、本明細書に記載される方法に関連するシステム、装置、およびコンピュータ可読媒体を対象とする。
【0009】
開示された技術の性質および利点のよりよい理解は、以下の詳細な説明および添付の図面を参照して得られることがある。
【図面の簡単な説明】
【0010】
詳細な説明を、添付の図面を参照して示す。
【0011】
【図1A】マルチモーダルな医療画像の例を示している。
【図1B】マルチモーダルな医療画像の例を示している。
【図2A】本開示の特定の態様によるマルチモーダルな医療画像の相関付けシステムの一例を示している。
【図2B】本開示の特定の態様によるマルチモーダルな医療画像の相関付けシステムの一例を示している。
【図8】本開示の特定の態様によるマルチモーダルな医療画像を表示する方法を示している。
【図9】本明細書に開示の技術を実施するために利用され得る例示的なコンピュータシステムを示している。
【発明を実施するための形態】
【0012】
詳細な説明
マルチモーダルな医療画像を相関付けるための技術が、本明細書に開示される。マルチモーダルな医療画像は、がん診断などの被験者に関する特定の臨床分析を支援するために、異なる撮像／処理の態様から得られた被験者の第１の医療画像および第２の医療画像を含む。いくつかの例においては、第１の医療画像がデジタル放射線画像を含むことができる一方で、第２の医療画像はデジタル病理画像を含むことができる。いくつかの例においては、第１の医療画像および第２の医療画像の両方が、デジタル放射線画像またはデジタル病理画像を含むことができるが、それらは、異なる情報を明らかにするために異なる技術（例えば、異なる種類の染色、異なる種類の照明、など）を使用して取得される。
マルチモーダルな医療画像を相関付けるための技術が、本明細書に開示される。マルチモーダルな医療画像は、がん診断などの被験者に関する特定の臨床分析を支援するために、異なる撮像／処理の態様から得られた被験者の第１の医療画像および第２の医療画像を含む。いくつかの例においては、第１の医療画像がデジタル放射線画像を含むことができる一方で、第２の医療画像はデジタル病理画像を含むことができる。いくつかの例においては、第１の医療画像および第２の医療画像の両方が、デジタル放射線画像またはデジタル病理画像を含むことができるが、それらは、異なる情報を明らかにするために異なる技術（例えば、異なる種類の染色、異なる種類の照明、など）を使用して取得される。
【0013】
いくつかの例において、技術を、態様間医療画像相関付けシステムによって実施することができる。システムは、データベース、ユーザ装置、などの１つ以上のデータ源からの第１の医療画像および第２の医療画像にアクセスすることができる。第１の医療画像が、被験者の体内の放射性レベルの分布を明らかにするＰＥＴ画像などのデジタル放射線画像を含むことができる一方で、第２の医療画像は、被験者の組織のデジタル病理画像を含むことができる。いくつかの例において、ＰＥＴ画像に示される放射性レベルの分布が、被験者の体内に存在しうる腫瘍の位置を特定することができる一方で、デジタル病理画像は、疑わしい腫瘍細胞を明らかにするために染色（例えば、Ｈ＆Ｅ染色、ＩＨＣ染色、蛍光タグ付け、など）および／または照明（例えば、蛍光照明、明視野照明、など）された被験者から収集された試料（例えば、組織標本）の画像を含むことができる。データベースは、例えば、電子医療記録（ＥＭＲ）システム、画像保存通信システム（ＰＡＣＳ）、デジタルパソロジー（ＤＰ）システム、検査室情報システム（ＬＩＳ）、および放射線科情報システム（ＲＩＳ）を含み得る。
【0014】
態様間医療画像相関付けシステムは、ＧＵＩをさらに提供することができる。いくつかの例において、システムは、第１の医療画像内の第１の対象領域を選択するために、ＧＵＩを介して選択入力を受信することができる。具体的には、いくつかの例において、選択入力は、１つ以上の第１のランドマーク点としての第１の医療画像内の１つ以上の第１の画像位置の選択を含むことができる。第１の対象領域は、第１のランドマーク点を包含することができる。第１の対象領域は、第１のランドマーク点の数に基づくことができる三角形、長方形、自由形状、などの種々の幾何学的形状であり得る。例えば、第１の対象領域は、被験者の体内に注入された放射性標識グルコーストレーサを代謝する腫瘍の存在を示し得る放射性レベルを有するＰＥＴ画像内の領域に対応することができる。いくつかの例において、選択入力は、ユーザによる第１の対象領域の直接選択を含むこともできる。いくつかの例において、マルチモーダルな医療画像の相関付けシステムの画像処理アプリケーションは、ＰＥＴ画像に現れた放射性レベルをしきい値と比較することによって第１の医療画像を処理することができる。比較結果に基づいて、第１の画像内の１つ以上の候補の第１の対象領域を定めることができる。例えば、第１の画像内の１つ以上の候補の第１の対象領域を、しきい値よりも高い放射性レベルを有する領域に基づいて定めることができる。被験者の体内に複数の疑わしい腫瘍部位が存在する場合、複数の候補の第１の対象領域が特定され得る。選択入力をユーザから受信して、候補の第１の対象領域のうちの１つを、例えば、被験者の身体の特定の位置の腫瘍部位に対応する第１の対象領域として選択することができる。選択入力に基づいて、システムは、例えば、第１の対象領域の第１の位置（例えば、中心位置）、第１の対象領域の形状、第１の対象領域のサイズ、などを含む第１の対象領域のさまざまな情報を決定することができる。
【0015】
さらに、態様間医療画像相関付けシステムは、第２の医療画像内の第２の対象領域を決定することができる。第２の対象領域を、例えば、第１の対象領域によって表される組織（例えば、腫瘍組織）を決定し、次いで、同じ組織（例えば、同じ腫瘍組織）に対応する第２の医療画像内の第２の対象領域を特定することに基づいて決定することができる。いくつかの例において、決定は、ユーザからの第２の選択入力の受信に基づくことができる。第２の選択入力は、第２の医療画像内の１つ以上の第２の画像位置を１つ以上の第２のランドマーク点として選択することを含んでよく、第２の対象領域は、第２のランドマーク点を包含することができる。いくつかの例において、情報をユーザからの入力に基づいて決定することも可能である。例えば、ＧＵＩは、第１の医療画像内および第２の医療画像内の一対の対応する対象領域のランドマーク点を入力するための対応する対象領域の入力選択肢を提供し得る。対応する対象領域の入力選択肢を介して第１および第２のランドマーク点を受信することにより、マルチモーダルな医療画像の相関付けシステムは、第１の対象領域および第２の対象領域が同じ組織に対応することを示す情報を決定することができる。さらに、システムは、第２の医療画像内のランドマーク点に基づいて、例えば、第２の対象領域の第２の位置（例えば、中心位置）、第２の対象領域の形状、第２の対象領域のサイズ、などを含む第２の対象領域のさまざまな情報を決定することができる。
【0016】
いくつかの例においては、第２の対象領域を、マルチモーダルな医療画像の相関付けシステムの機械学習モデルによって決定することもできる。機械学習モデルは、第２の医療画像の各画素について、その画素が組織に属する尤度を決定し、尤度がしきい値を超える場合に、画素が組織に属し、その画素が第２の対象領域に含まれると分類することができる。分類結果に基づいて、マルチモーダルな医療画像の相関付けシステムは、次いで、組織の一部として分類された画素を含むように第２の医療画像内の第２の対象領域を決定することができる。いくつかの例において、機械学習モデルは、複数の層を備える深層畳み込みニューラルネットワーク（ＣＮＮ）を含むことができる。ＣＮＮは、第２の医療画像と組織の特徴を表す重み行列との間で畳み込み演算を実行して、画素が組織に属する尤度を計算し、第２の対象領域の一部である画素を決定することができる。次いで、システムは、第２の対象領域の一部であると決定された画素に基づいて、例えば、第２の対象領域の第２の位置（例えば、中心位置）、第２の対象領域の形状、第２の対象領域のサイズ、などを含む第２の対象領域のさまざまな情報を決定することができる。
【0017】
いくつかの例においては、第１の医療画像内の第１の対象領域および第２の医療画像内の第２の対象領域を決定した後に、態様間医療画像相関付けシステムは、第１の対象領域の１つ以上の第１の位置、第２の対象領域の１つ以上の第２の位置、および第１の対象領域と第２の対象領域との間の対応／関連付けを示す対応情報を記憶することができる。第１および第２の位置は、例えば、第１の対象領域および第２の対象領域の境界位置、中心位置、などを含むことができる。いくつかの例において、対応情報は、第１の対象領域の第１の位置および第２の対象領域の第２の位置をそれぞれ定めることができる第１のランドマークおよび第２のランドマークの画素位置を含むことができる。いくつかの例において、対応情報は、第１の対象領域および第２の対象領域の境界の位置、第１の医療画像および第２の医療画像のファイル名、対象領域に表される組織の種類、などの追加情報をさらに含み得る。いくつかの例において、対応情報は、第１の対象領域を第２の対象領域にマッピングするマッピングテーブルなどのデータ構造を含み得る。いくつかの例において、第１の医療画像は、３Ｄ ＰＥＴ画像の一部であってよく、マッピングテーブルは、第１の対象領域の三次元座標を含むことができる。マッピングテーブルは、両方の医療画像が２Ｄ画像である場合、第１の医療画像の電子ファイル名を第２の医療画像にマッピングすることもできる。第１の医療画像が異なる長手方向位置で取得された複数の２Ｄ ＰＥＴ画像を含む３Ｄ ＰＥＴ画像の一部である場合、マッピングテーブルは、複数の２Ｄ ＰＥＴ画像内の第１の対象領域を複数の第２の医療画像内の第２の対象領域にマッピングすることができる。このような構成は、マルチモーダルな医療画像の相関付けシステムが、第１の医療画像および第２の医療画像にアクセスした後に、マッピングテーブルおよび対象領域の情報にアクセスすることを可能にする。
【0018】
第１および第２の対象領域を決定した後に、マルチモーダルな医療画像の相関付けシステムは、第１の医療画像、第１の対象領域の第１の指示、第２の医療画像、および第２の対象領域の第２の指示をＧＵＩに表示することができる。具体的には、ＧＵＩは、第１の医療画像および第１の指示を表示するための第１の表示域と、第２の医療画像および第２の指示を表示するための第２の表示域とを含み得る。対象領域の指示は、対象領域を定めるランドマーク、対象領域を表す幾何学的形状、さまざまな形式の注釈など、さまざまな形式であり得る。
【0019】
第１の医療画像および第２の医療画像を表示する一方で、マルチモーダルな医療画像の相関付けシステムは、第１の表示域または第２の表示域の一方における第１の対象領域または第２の対象領域の一方の表示を調整するために、ＧＵＩを介して表示調整入力を受信することができる。表示調整入力は、例えば、表示調整入力を受信する表示域における対象領域の表示を調整するための拡大／縮小入力、平行移動入力、回転入力、などを含むことができる。さらに、マルチモーダルな医療画像の相関付けシステムは、両方の表示域が同じ座標セットによって示される同じ領域を表示することができるように、両方の表示域における表示の調整を同期させることができる。マルチモーダルな医療画像の相関付けシステムは、表示調整入力および対応情報に基づいて同期を実行することができる。同期の結果として、両方の表示域が第１および第２の医療画像内の同じ座標セットによって示される同じ領域を表示することができるように、拡大の程度、対象領域のうちの表示用に選択された部分、対象領域の視点、などの表示のさまざまな設定が両方の表示域に適用される。
【0020】
例えば、第１の表示域内の第１の対象領域を拡大するための拡大入力が第１の表示域において受信された場合、マルチモーダルな医療画像の相関付けシステムは、拡大入力に基づいて拡大の程度を計算し、拡大の程度によって第１の表示域内の第１の対象領域を拡大することができる。さらに、マルチモーダルな医療画像の相関付けシステムは、（対応情報に基づいて）第２の医療画像の第２の位置の第２の対象領域を特定し、第１の対象領域と第２の対象領域とが同じスケールで表示されるように、第２の表示域において第２の対象領域を同じ倍率で拡大することができる。
【0021】
別の例として、第１の対象領域の選択された部分に平行移動するための平行移動入力が第１の表示域において受信され、マルチモーダルな医療画像の相関付けシステムは、第１の対象領域の選択された部分を表示することができる。さらに、第１の対象領域の第１の位置と第２の対象領域の第２の位置との間のマッピングに基づいて、マルチモーダルな医療画像の相関付けシステムは、第２の対象領域の対応する部分を決定し、第２の対象領域の対応する部分を第２の表示域に表示することができる。
【0022】
第１の対象領域および第２の対象領域のそれぞれの表示域における表示の同期に加えて、マルチモーダルな医療画像の相関付けシステムは、がん細胞の特定などの臨床診断をサポートするために、病理学的特徴と放射線画像の特徴との組み合わせに基づく他の種類の表示および分析動作をサポートすることもできる。例えば、マルチモーダルな医療画像の相関付けシステムは、第１の対象領域および第２の対象領域の両方を同じスケールで表示し、第２の対象領域上に第１の対象領域を重ね、あるいは第１の対象領域上に第２の対象領域を重ねるための第３の表示域を含むことができる。重ねられる対象領域を、半透明の形態で表示することができる。このような構成は、第１の対象領域と第２の対象領域との間の視覚的比較をサポートすることができる。例えば、第１の対象領域は、身体のうちの腫瘍の存在を示す可能性がある（放射性標識グルコーストレーサからの）高い放射性レベルを有する部分を表し得る。第２の対象領域は、実際の腫瘍細胞を示し得る。２つの対象領域の間の視覚的比較は、腫瘍の存在を確認し、かつ／または以前のがん手術によって健常組織以外のがん組織が除去されたことを確認することができる。いくつかの例において、マルチモーダルな医療画像の相関付けシステムは、第２の対象領域を（例えば、染色パターンの分析に基づいて）分析して、腫瘍細胞を示す細胞構造を検出するための画像処理モジュールを含むことができる。第２の対象領域における腫瘍細胞の位置と第１の対象領域における高い放射性レベルとの間の比較も、腫瘍の存在を確認することができる。
【0023】
本開示の技術は、臨床分析を容易にするために、放射線画像と病理画像との間など、マルチモーダルな医療画像の間での対応する領域のアクセスおよび検出を容易にすることができる。具体的には、上述のように、マルチモーダルな医療画像が被験者の身体の異なる範囲をキャプチャする場合、これらの画像は、異なる解像度を有し、異なるスケールを表すことが多い。マルチモーダルな医療画像の相関付けシステムは、マルチモーダルな医療画像の対象領域間のマッピングを行う対応情報の記憶を可能にし、対応情報をマルチモーダルな医療画像の電子ファイルにリンクさせるため、システムは、マルチモーダルな画像内の対象領域へのユーザのアクセスを容易にすることができる。さらに、２つの対応する対象領域の表示を同期させることによって、システムは、ユーザが異なる解像度／スケールを有する２つの医療画像において同時に２つの対応する対象領域を移動することを可能にする。加えて、システムのいくつかの例は、マルチモーダルな医療画像内の第１および第２の対象領域ならびに第１および第２の対象領域の間の対応関係の自動検出をサポートすることができ、これにより、画像が異なるスケール／解像度を有するにもかかわらず、医療画像内の対象領域の検出をさらに容易にすることができる。
【0024】
上述したように、マルチモーダルな画像の間で対象領域の間の相関付けを行うことを可能にすることによって、腫瘍細胞の確認、外科処置の確認、などの追加の臨床診断を実行することができる。結果として、医師によるマルチモーダルな医療画像間の分析および相関付けの効率を改善することができ、これは、被験者に提供されるケアの質も改善することができる。
【0025】
Ｉ．マルチモーダルな医療画像の例
図１Ａおよび図１Ｂが、マルチモーダルな医療画像、およびそれらを医師がどのように使用し得るのかについて、例を示している。図１Ａに示されるように、第１の医療画像１０２および第２の医療画像１０４を含む異なる態様の２つの医療画像を医師へと表示することができる。第１の医療画像１０２および第２の医療画像１０４を、異なる撮像／処理の態様から取得することができる。例えば、第１の医療画像１０２は、侵襲的処置を実行することなく、被験者の内部構造を明らかにし、あるいは対象の特定の細胞（例えば、がん細胞）を検出するために撮影されたデジタル放射線画像を含むことができる。図１Ａの例において、第１の医療画像１０２は、被験者が放射性標識グルコーストレーサの注入を受けた後の被験者の身体１０６のＰＥＴスキャンから得られたＰＥＴ画像であってよい。第１の医療画像１０２は、被験者の身体１０６内の腫瘍の存在を示す可能性がある放射性標識グルコーストレーサからの放射性レベルが高い活性化領域１０８を含み得る。さらに、第２の医療画像１０４は、被験者の身体１０６から取り出された組織から調製された標本１１０のデジタル病理画像を含むことができる。標本を染色して、標本中の細胞の組織学的情報を提供することができる。例えば、図１Ａの例において、標本１１０は、染色によって明らかにして第２の医療画像１０４にキャプチャすることができる腫瘍細胞の領域１１２を含み得る。
図１Ａおよび図１Ｂが、マルチモーダルな医療画像、およびそれらを医師がどのように使用し得るのかについて、例を示している。図１Ａに示されるように、第１の医療画像１０２および第２の医療画像１０４を含む異なる態様の２つの医療画像を医師へと表示することができる。第１の医療画像１０２および第２の医療画像１０４を、異なる撮像／処理の態様から取得することができる。例えば、第１の医療画像１０２は、侵襲的処置を実行することなく、被験者の内部構造を明らかにし、あるいは対象の特定の細胞（例えば、がん細胞）を検出するために撮影されたデジタル放射線画像を含むことができる。図１Ａの例において、第１の医療画像１０２は、被験者が放射性標識グルコーストレーサの注入を受けた後の被験者の身体１０６のＰＥＴスキャンから得られたＰＥＴ画像であってよい。第１の医療画像１０２は、被験者の身体１０６内の腫瘍の存在を示す可能性がある放射性標識グルコーストレーサからの放射性レベルが高い活性化領域１０８を含み得る。さらに、第２の医療画像１０４は、被験者の身体１０６から取り出された組織から調製された標本１１０のデジタル病理画像を含むことができる。標本を染色して、標本中の細胞の組織学的情報を提供することができる。例えば、図１Ａの例において、標本１１０は、染色によって明らかにして第２の医療画像１０４にキャプチャすることができる腫瘍細胞の領域１１２を含み得る。
【0026】
第１の医療画像１０２および第２の医療画像１０４は、それらの態様が異なるがゆえに、典型的には、医療情報システム１２０（例えば、医療デジタル撮像通信（ＤＩＣＯＭ）システム）によって異なるデータベースからもたらされ、異なる専門家によって分析されるように、異なるインターフェースにおける２つの別個の医療データとして表示される。例えば、第１の医療画像１０２を、デジタル放射線画像データベース１３０からもたらし、放射線科医への放射線画像インターフェース１３２に表示することができる一方で、第２の医療画像１０４を、デジタル病理画像データベース１４０からもたらし、病理学者への病理画像インターフェース１４２に表示することができる。データベースは、例えば、ＥＭＲ（電子医療記録）システム、ＰＡＣＳ（画像保存通信システム）、デジタルパソロジー（ＤＰ）システム、ＬＩＳ（検査室情報システム）、ＲＩＳ（放射線科情報システム）、などを含み得る。
【0027】
現時点において、医療情報システム１２０は、典型的には、ユーザが異なる態様の２つの医療画像の間の相関付けを効率的に行うことを可能にしていないが、そのような相関付けの作業は、臨床分析および／または臨床介入を容易にすることができる追加の情報を明らかにし得る。例えば、医療情報システム１２０は、典型的には、第１の医療画像１０２と第２の医療画像１０４との相関付けにおいてユーザを支援する情報を提供していない。例えば、医療情報システム１２０は、典型的には、活性化領域１０８と細胞の領域１１２とが同じ組織および同じ細胞セットに対応しているのかどうかなど、活性化領域１０８と細胞の領域１１２との間の関係を示すことがない。さらに、医療情報システム１２０は、典型的には、対応情報の格納およびアクセスのための容易かつ直感的なやり方を提供していない。
【0028】
上述したように、第１の医療画像１０２と第２の医療画像１０４との間の相関関係は、臨床診断および／または臨床介入を支援することができる追加情報を明らかにすることができる。相関関係を生成し、あるいは少なくとも対応情報の格納およびアクセスのための容易かつ直感的なやり方を提供することは、臨床診断および／または臨床介入を容易にすることができる。図１Ｂが、第１の医療画像１０２と第２の医療画像１０４との相関によって支援することができる作業の例を示している。図１Ｂに示されるように、がん診断１５０を、活性化領域１０８と細胞の領域１１２との相関付けに基づいて行うことができる。例えば、活性化領域１０８は、放射性標識グルコーストレーサを代謝する腫瘍の存在の可能性を示し得る。細胞の領域１１２と活性化領域１０８とが同じ組織および同じ細胞セットに対応する場合、そのような相関は、被験者のがん診断１５０、ならびに被験者におけるがん細胞／腫瘍の位置を確認することができる。
【0029】
別の例として、相関関係を、外科処置の検証１５２を支援するために使用することもできる。具体的には、第１の医療画像１０２が、腫瘍を含む組織を除去する手術に先立って被験者について撮影されてよい一方で、第２の医療画像１０４は、手術後に除去された組織について撮影されてよい。細胞の領域１１２と活性化領域１０８とが同じ組織および同じ細胞セットに対応する場合、手術によって健康な組織ではなく腫瘍が正しく除去されたと判断することができる。
【0030】
別の例として、相関関係を、分類作業１５４を支援するために使用することもできる。具体的には、同じ組織および同じ細胞セットに対応する細胞の領域１１２および活性化領域１０８、ならびに第１の医療画像１０２に身体１０６のどの部分が写っているかの知識に基づいて、第２の医療画像１０４に写っている標本１１０の出所を分類することができる。例えば、第１の医療画像１０２に身体１０６の前立腺が写っている場合、標本１１０を前立腺に属するものとして分類することができる。そのような情報は、結果として、第２の医療画像１０４についての分析を精緻化することができる。例えば、標本１１０が前立腺組織であると決定することによって、他の種類のがん（例えば、肺がん）よりもむしろ前立腺がんに関連する腫瘍に関連する特定のパターンを検出するように、第２の医療画像１０４を処理することができる。
【0031】
さらに別の例として、相関関係を、研究作業１５６を支援するために使用することもできる。相関を、創薬研究、特定の処置に対する被験者の応答を判断するための橋渡し研究、特定の処置が被験者においてどのように機能するか、などの研究作業を支援するために被験者のコホートの医療画像の間で行うことができる。
【0032】
ＩＩ．マルチモーダルな医療画像の相関付けシステムの例
Ａ．システムの概要
図２Ａが、マルチモーダルな画像内の対象領域間の対応情報へのアクセスを提供することができる例示的なマルチモーダルな医療画像の相関付けシステム２００を示している。マルチモーダルな医療画像の相関付けシステム２００は、それぞれデジタル放射線画像データベース１３０およびデジタル病理画像データベース１４０から第１の医療画像１０２および第２の医療画像１０４にアクセスすることができるソフトウェアシステムであってよい。マルチモーダルな医療画像の相関付けシステム２００は、第１の医療画像１０２内の第１の対象領域（例えば、活性化領域１０８）と第２の医療画像１０４内の第２の対象領域（例えば、細胞の領域１１２）との間の相関を決定することができる。相関を、第１の医療画像１０２と第２の医療画像１０４との間の対応する対象領域を選択するためのユーザからの選択入力、および／または対応する対象領域を特定するための画像の相関分析の実行に基づいて決定することができる。マルチモーダルな医療画像の相関付けシステム２００は、第１の医療画像１０２および第２の医療画像１０４内の対応する対象領域を示す対応情報２０６を生成し、対応情報２０６を相関データベース２０２に格納して、将来において第１の医療画像１０２および第２の医療画像１０４が再びアクセスされるときに対応情報への容易なアクセスを提供することができる。加えて、マルチモーダルな医療画像の相関付けシステム２００は、相関の決定に関するユーザからの入力を受け付けることができるグラフィカルユーザインターフェース（ＧＵＩ）２０４をさらに含む。ＧＵＩ ２０４は、第１の医療画像１０２および第２の医療画像１０４を同時に表示するために、表示域２０４ａおよび２０４ｂなどの複数の表示域も含むことができる。さらに、ＧＵＩ ２０４は、表示域のうちの１つ（例えば、表示域２０４ａ）におけるユーザからの表示調整入力を検出し、それぞれの表示域における第１の医療画像１０２および第２の医療画像１０４の両方の表示の調整を同期させることで、第１の医療画像１０２と第２の医療画像１０４との間の対応する対象領域間の視覚的比較／相関を容易にすることができる。
Ａ．システムの概要
図２Ａが、マルチモーダルな画像内の対象領域間の対応情報へのアクセスを提供することができる例示的なマルチモーダルな医療画像の相関付けシステム２００を示している。マルチモーダルな医療画像の相関付けシステム２００は、それぞれデジタル放射線画像データベース１３０およびデジタル病理画像データベース１４０から第１の医療画像１０２および第２の医療画像１０４にアクセスすることができるソフトウェアシステムであってよい。マルチモーダルな医療画像の相関付けシステム２００は、第１の医療画像１０２内の第１の対象領域（例えば、活性化領域１０８）と第２の医療画像１０４内の第２の対象領域（例えば、細胞の領域１１２）との間の相関を決定することができる。相関を、第１の医療画像１０２と第２の医療画像１０４との間の対応する対象領域を選択するためのユーザからの選択入力、および／または対応する対象領域を特定するための画像の相関分析の実行に基づいて決定することができる。マルチモーダルな医療画像の相関付けシステム２００は、第１の医療画像１０２および第２の医療画像１０４内の対応する対象領域を示す対応情報２０６を生成し、対応情報２０６を相関データベース２０２に格納して、将来において第１の医療画像１０２および第２の医療画像１０４が再びアクセスされるときに対応情報への容易なアクセスを提供することができる。加えて、マルチモーダルな医療画像の相関付けシステム２００は、相関の決定に関するユーザからの入力を受け付けることができるグラフィカルユーザインターフェース（ＧＵＩ）２０４をさらに含む。ＧＵＩ ２０４は、第１の医療画像１０２および第２の医療画像１０４を同時に表示するために、表示域２０４ａおよび２０４ｂなどの複数の表示域も含むことができる。さらに、ＧＵＩ ２０４は、表示域のうちの１つ（例えば、表示域２０４ａ）におけるユーザからの表示調整入力を検出し、それぞれの表示域における第１の医療画像１０２および第２の医療画像１０４の両方の表示の調整を同期させることで、第１の医療画像１０２と第２の医療画像１０４との間の対応する対象領域間の視覚的比較／相関を容易にすることができる。
【0033】
Ｂ．ランドマークに基づく相関
具体的には、マルチモーダルな医療画像の相関付けシステム２００は、相関モジュール２１０を含む。相関モジュール２１０は、第１の医療画像１０２内の第１の対象領域（例えば、活性化領域１０８）と第２の医療画像１０４内の第２の対象領域（例えば、細胞の領域１１２）との間の相関を決定することができる。相関を、第１の医療画像１０２と第２の医療画像１０４との間の対応する対象領域を選択するためのユーザからの選択入力、および／または対応する領域を特定するための画像の相関分析の実行に基づいて決定することができる。
具体的には、マルチモーダルな医療画像の相関付けシステム２００は、相関モジュール２１０を含む。相関モジュール２１０は、第１の医療画像１０２内の第１の対象領域（例えば、活性化領域１０８）と第２の医療画像１０４内の第２の対象領域（例えば、細胞の領域１１２）との間の相関を決定することができる。相関を、第１の医療画像１０２と第２の医療画像１０４との間の対応する対象領域を選択するためのユーザからの選択入力、および／または対応する領域を特定するための画像の相関分析の実行に基づいて決定することができる。
【0034】
いくつかの例において、相関モジュール２１０は、ランドマークとして選択入力を受信するためのランドマークモジュール２１２を含む。ランドマークは、ユーザによって選択された特定の関心対象の特徴を示し、対象領域に包含される医療画像内の点であってよい。選択入力を、表示された医療画像上の表示域２０４ａおよび２０４ｂを介して受信することができる。次いで、ランドマーク入力モジュール２１２は、医療画像内の選択されたランドマークの画像位置（例えば、画素座標）を決定することができる。いくつかの例において、ランドマーク入力モジュール２１２は、第１の医療画像１０２（表示域２０４ａを介する）および第２の医療画像１０４（表示域２０４ｂを介する）の両方におけるランドマークの選択を受信するために、ＧＵＩ ２０４を介して対応入力選択の選択肢２１４を提供することができる。選択の選択肢を介した第１の医療画像１０２および第２の医療画像１０４における選択されたランドマークは、互いに対応する（例えば、同じ組織および同じ細胞セットに対応する）２つの医療画像における選択されたランドマークを包含する対象領域を示すことができる。
【0035】
さらに、相関モジュール２１０は、第１の医療画像１０２および第２の医療画像１０４の各々における対象領域を決定するための領域モジュール２１６を含む。対象領域がＧＵＩ ２０４を介して入力されたランドマークに基づいて決定される場合、領域モジュール２１６は、ランドマークを包含するように対象領域を決定することができる。対象領域は、任意の所定の形状（例えば、三角形、長方形、長円形、など）であってよく、対象領域の境界は、ランドマークから所定の距離であってよい。いくつかの例において、対応領域モジュール２１６は、選択されたランドマークの数に基づいて対象領域の形状を調整することもできる。例えば、ランドマークの数が所定のしきい値数を超える場合、対応領域モジュール２１６は、多角形の対象領域を、ランドマークが多角形領域の頂点になるように決定することができる。
【0036】
相関モジュール２１０は、第１の医療画像１０２および第２の医療画像１０４における２つの対象領域が対応する対象領域（例えば、同じ組織および／または同じ細胞領域に対応する）であると判定する対応領域モジュール２２１をさらに含む。いくつかの例において、対応領域モジュール２２１は、ユーザの入力に基づいて２つの対象領域が互いに対応すると判定することができる。例えば、ランドマークが第１の医療画像１０２および第２の医療画像１０４における対応入力選択の選択肢２１４を介して選択された場合、対応領域モジュール２１６は、各々の医療画像における選択されたランドマークを互いに対応するように指定することができ、選択されたランドマークを包含する対象領域も、２つの医療画像間で互いに対応する。
【0037】
図２Ｂは、ＧＵＩ ２０４によって表示されたランドマークおよび対象領域の例を示している。図２Ｂに示されるように、表示域２０４ａが、第１の医療画像１０２、ＧＵＩ ２０４を介してユーザによって選択されたランドマーク２１８ａ、２１８ｂ、および２１８ｃ、ならびにランドマーク２１８ａ、２１８ｂ、および２１８ｃを包含する第１の対象領域２２０を表示することができる。ランドマークをＧＵＩに注釈として表示することができる。さらに、表示域２０４ｂが、第２の医療画像１０４、ＧＵＩ ２０４を介してユーザによって選択されたランドマーク２２２ａ、２２２ｂ、および２２２ｃ、ならびにランドマーク２２２ａ、２２２ｂ、および２２２ｃを包含する第２の対象領域２２４を表示することができる。ランドマークおよび対象領域の境界は、対象領域の指示として表示される。ランドマークが対応入力選択の選択肢２１４を介して選択される場合、対応領域モジュール２１６は、ランドマーク２１８ａをランドマーク２２２ａに対応すると指定し、ランドマーク２１８ｂをランドマーク２２２ｂに対応すると指定し、ランドマーク２１８ｃをランドマーク２２２ｃに対応すると指定し、第１の対象領域２２０を第２の対象領域２２４に対応すると指定することができる。
【0038】
ランドマークモジュール２１２は、ＧＵＩ ２０４ならびに表示域２０４ａおよび２０４ｂを介してランドマークの選択を受信し、例えば、表示された医療画像のスケールに対する表示域内の選択の位置に基づいて、ランドマークの画素位置を決定することができる。例えば、表示域２０４ａは、表示域内の第１の医療画像１０２の表示拡大縮小倍率を決定することができる。次いで、表示域２０４ａ内の選択位置ならびにランドマーク２１８ａ～２１８ｃの位置を、表示拡大縮小倍率に基づいて第１の医療画像１０２内の画素位置に変換することができる。
【0039】
Ｃ．対応情報
第１の医療画像１０２と第２の医療画像１０４との間の対応するランドマークおよび対象領域を決定した後に、相関モジュール２１０は、ランドマークおよび対象領域の間の対応関係を示すデータを格納するための対応情報２０６を生成することができる。図３Ａが、対応情報２０６の一例を示している。図３Ａに示されるように、対応情報２０６は、第１の対象領域（例えば、図３Ａにおける第１の対象領域Ａ）の第１の位置と第２の対象領域（例えば、図３Ａにおける第２の対象領域Ｂ）の第２の位置との間のマッピングを行うデータ構造３０２を含むことができる。データ構造３０２は、例えば、マッピングテーブルを含み得る。いくつかの例において、第１の位置および第２の位置は、第１の医療画像１０２内の（Ｘ０ａ，Ｙ０ａ）、（Ｘ１ａ，Ｙ１ａ）、および（Ｘ２ａ，Ｙ２ａ）、第２の医療画像１０４内の（Ｘ０ｂ，Ｙ０ｂ）、（Ｘ１ｂ，Ｙ１ｂ）、および（Ｘ２ｂ，Ｙ２ｂ）などの選択されたランドマークの実際の画素位置、ならびに第１の医療画像１０２および第２の医療画像１０４内の対象領域の境界位置を含むことができる。データ構造３０２は、対象領域Ａにキャプチャされた器官の種類（例えば、肺、腎臓、前立腺、など）および対象領域Ｂにキャプチャされた組織の種類（例えば、肺細胞、前立腺細胞、腫瘍細胞、など）などの追加情報を含み得る。対応情報２０６は、第１の医療画像１０２および第２の医療画像１０４をそれぞれ含む第１および第２の画像ファイル３０４および３０６への参照（例えば、ファイル名、ポインタ、など）も含むことができる。このような構成は、領域の位置および対応関係を含む対象領域の情報を電子ファイルにリンクさせることができ、これにより、マルチモーダルな医療画像の相関付けシステム２００は、第１の医療画像１０２および第２の医療画像１０４の電子ファイルにアクセスすると、対応情報２０６にアクセスすることができる。
第１の医療画像１０２と第２の医療画像１０４との間の対応するランドマークおよび対象領域を決定した後に、相関モジュール２１０は、ランドマークおよび対象領域の間の対応関係を示すデータを格納するための対応情報２０６を生成することができる。図３Ａが、対応情報２０６の一例を示している。図３Ａに示されるように、対応情報２０６は、第１の対象領域（例えば、図３Ａにおける第１の対象領域Ａ）の第１の位置と第２の対象領域（例えば、図３Ａにおける第２の対象領域Ｂ）の第２の位置との間のマッピングを行うデータ構造３０２を含むことができる。データ構造３０２は、例えば、マッピングテーブルを含み得る。いくつかの例において、第１の位置および第２の位置は、第１の医療画像１０２内の（Ｘ０ａ，Ｙ０ａ）、（Ｘ１ａ，Ｙ１ａ）、および（Ｘ２ａ，Ｙ２ａ）、第２の医療画像１０４内の（Ｘ０ｂ，Ｙ０ｂ）、（Ｘ１ｂ，Ｙ１ｂ）、および（Ｘ２ｂ，Ｙ２ｂ）などの選択されたランドマークの実際の画素位置、ならびに第１の医療画像１０２および第２の医療画像１０４内の対象領域の境界位置を含むことができる。データ構造３０２は、対象領域Ａにキャプチャされた器官の種類（例えば、肺、腎臓、前立腺、など）および対象領域Ｂにキャプチャされた組織の種類（例えば、肺細胞、前立腺細胞、腫瘍細胞、など）などの追加情報を含み得る。対応情報２０６は、第１の医療画像１０２および第２の医療画像１０４をそれぞれ含む第１および第２の画像ファイル３０４および３０６への参照（例えば、ファイル名、ポインタ、など）も含むことができる。このような構成は、領域の位置および対応関係を含む対象領域の情報を電子ファイルにリンクさせることができ、これにより、マルチモーダルな医療画像の相関付けシステム２００は、第１の医療画像１０２および第２の医療画像１０４の電子ファイルにアクセスすると、対応情報２０６にアクセスすることができる。
【0040】
いくつかの例において、第１の医療画像１０２は、異なる長手方向位置で得られた複数の２Ｄ ＰＥＴ画像を含む３Ｄ ＰＥＴ画像の一部であってよい。さらに、Ｚ軸に沿った異なる長手方向位置で組織をスライスすることから、複数の第２の医療画像を生成することもできる。図３Ｂが、組織塊３１０からの複数の医療画像の生成の例を示している。図３Ｂに示されるように、走査方向Ａに沿って３Ｄ ＰＥＴ走査動作を行うことができる。画像３１２および３１４を含むことができる複数の２Ｄ ＰＥＴ画像を、Ｚ軸に沿った異なる長手方向位置Ｚ０およびＺ１において取得することができる。組織塊３１０は、画像３１２に取り込まれた第１の位置（Ｘ０、Ｙ０、およびＺ０）の第１の領域と、画像３１４に取り込まれた第２の位置（Ｘ１、Ｙ１、およびＺ１）の第２の領域とを含むことができる。さらに、画像３１２および３１４を、Ｚ軸に沿った位置Ｚ０およびＺ１で組織塊３１０をスライスすることから得られる組織標本からデジタル病理画像として生成することもできる。
【0041】
第１の医療画像１０２が複数の２Ｄ ＰＥＴ画像を含む場合、データ構造３０２は、複数の２Ｄ ＰＥＴ画像における複数の第１の対象領域を、第２の医療画像１０４の複数のデジタル病理画像における複数の第２の対象領域にマッピングすることができる。図３Ｃが、第１の医療画像１０２を複数の第２の医療画像１０４にマッピングするデータ構造３０２の一例を示している。図３Ｃを参照すると、第１の画像ファイル３０４に関連する第１の医療画像１０２が、長手方向位置Ｚ０でキャプチャされた第１の２Ｄ ＰＥＴ画像、長手方向位置Ｚ１でキャプチャされた第２の２Ｄ ＰＥＴ画像、長手方向位置Ｚ２でキャプチャされた第３の２Ｄ ＰＥＴ画像、などを含み得る。第１の２Ｄ ＰＥＴ画像は、第１の対象領域Ａ０を含むことができ、第２の２Ｄ ＰＥＴ画像は、第１の対象領域Ａ１を含むことができ、第３の２Ｄ ＰＥＴ画像は、第１の対象領域Ａ２を含むことができる。さらに、各々が第２の対象領域Ｂ０、Ｂ１、およびＢ２をそれぞれ含む第２の医療画像１０４ａ、１０４ｂ、および１０４ｃを含む複数の第２の医療画像が存在できる。データ構造３０２は、長手方向位置（例えば、Ｚ０、Ｚ１、またはＺ２のうちの１つ）、その長手方向位置でキャプチャされた２Ｄ ＰＥＴ画像内の第１の対象領域（例えば、Ａ０、Ａ１、またはＡ２のうちの１つ）の位置、その長手方向位置で得られた組織スライドからの第２の医療画像（例えば、１０４ａ、１０４ｂ、または１０４ｃのうちの１つ）およびその関連ファイル（例えば、３０６ａ、３０６ｂ、または３０６ｃのうちの１つ）、ならびに第２の医療画像内の第２の対象領域（Ｂ０、Ｂ１、またはＢ２のうちの１つ）の位置の間のマッピングを提供することができる。このような構成により、ユーザが異なる長手方向位置を表すマルチモーダルな医療画像の相関付けシステム２００を介して異なる２Ｄ ＰＥＴスキャン画像を移動するとき、システムは、対応する第２の画像ファイル３０６を取得し、ファイルに含まれる第２の医療画像１０４を表示することができる。さらに、マルチモーダルな医療画像の相関付けシステム２００は、データ構造３０２内の対象領域の位置の情報に基づいて、各々の医療画像内の対象領域の指示（例えば、ランドマーク、境界線、など）を表示することもできる。さらに、後述されるように、データ構造３０２内の３Ｄ位置情報は、３Ｄ回転などのさまざまな表示効果をサポートすることもできる。
【0042】
Ｄ．自動相関
いくつかの例においては、ユーザ入力の受信に加えて（あるいは、代えて）、相関モジュール２１０は、第１の医療画像１０２および第２の医療画像１０４から自動的に対応する対象領域を決定することもできる。具体的には、再び図２Ａを参照すると、領域モジュール２１６は、第１の医療画像１０２および第２の医療画像１０４に対して画像処理操作を実行し、画像処理操作の結果に基づいて各々の画像内の対象領域を決定するための画像処理モジュール２３０を含むことができる。
いくつかの例においては、ユーザ入力の受信に加えて（あるいは、代えて）、相関モジュール２１０は、第１の医療画像１０２および第２の医療画像１０４から自動的に対応する対象領域を決定することもできる。具体的には、再び図２Ａを参照すると、領域モジュール２１６は、第１の医療画像１０２および第２の医療画像１０４に対して画像処理操作を実行し、画像処理操作の結果に基づいて各々の画像内の対象領域を決定するための画像処理モジュール２３０を含むことができる。
【0043】
例えば、第１の医療画像１０２がＰＥＴ画像である場合、画像処理モジュール２３０は、ＰＥＴ画像の各画素に現れた放射性レベルをしきい値と比較することができ、領域モジュール２１６は、しきい値を超える放射性レベルを有する画素を第１の医療画像１０２内の第１の対象領域に含めることができる。加えて、第２の医療画像１０４が染色された標本スライドから撮影されたデジタル病理画像である場合、画像処理モジュール２３０は、特定の種類のがん細胞および／または細胞構造を示す特定の染色パターン、細胞／細胞構造の特定の層を明らかにする特定の蛍光タグ付け、などの対象の細胞を表す特徴を検出するための特徴抽出操作を実行することができる。領域モジュール２１６は、そのような染色パターンを示す画素を第２の医療画像１０４における第２の対象領域に含めることができる。
【0044】
第１および第２の対象領域を決定すると、領域モジュール２１６は、表示域２０４ａおよび２０４ｂにおける表示のために第１および第２の対象領域を提供することができる。いくつかの例においては、第１および第２の対象領域を候補の対象領域として出力することができ、ＧＵＩ ２０４は、第１および第２の対象領域が互いに対応するかどうかを確認するようにユーザに促すことができる。ユーザからの確認を受信すると、相関モジュール２１０は、第１および第２の対象領域の情報を、図３Ａおよび図３Ｃに示される対応情報２０６の一部として記憶することができる。
【0045】
Ｅ．畳み込みニューラルネットワーク
いくつかの例において、画像処理モジュール２３０は、特徴抽出操作を実行するために、畳み込みニューラルネットワークなどの機械学習モデルを実装することができる。図４Ａおよび図４Ｂが、画像処理モジュール２３０の一部であってよい畳み込みニューラルネットワーク（ＣＮＮ）４００の例を示している。図４Ａは、ＣＮＮ４００の簡略版を示している。図４Ａに示されるように、ＣＮＮ４００は、入力層４０２と、中間層４０４と、出力層４０６とを少なくとも備える。入力層４０２および中間層４０４が共に畳み込み演算を実行することができる一方で、出力層４０６は、画素のタイル（例えば、ＮｘＭ次元の２次元配列）が候補予測出力の各々に分類される確率を計算することができる。
いくつかの例において、画像処理モジュール２３０は、特徴抽出操作を実行するために、畳み込みニューラルネットワークなどの機械学習モデルを実装することができる。図４Ａおよび図４Ｂが、画像処理モジュール２３０の一部であってよい畳み込みニューラルネットワーク（ＣＮＮ）４００の例を示している。図４Ａは、ＣＮＮ４００の簡略版を示している。図４Ａに示されるように、ＣＮＮ４００は、入力層４０２と、中間層４０４と、出力層４０６とを少なくとも備える。入力層４０２および中間層４０４が共に畳み込み演算を実行することができる一方で、出力層４０６は、画素のタイル（例えば、ＮｘＭ次元の２次元配列）が候補予測出力の各々に分類される確率を計算することができる。
【0046】
具体的には、入力層４０２は、入力ノード４０２ａ、４０２ｂ、４０２ｃ、４０２ｄ、４０２ｅ、および４０２ｆなどの入力ノードのセットを含むことができる。入力層４０２の各々の入力ノードを、医療画像１０２などの医療画像から画素値（例えば、ｐ０、ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、など）を受け取り、重み配列［Ｗ１］の重みに基づいて画素をスケーリングするように割り当てることができる。重み配列［Ｗ１］は、カーネルの一部であってよく、画素において検出されるべき画像特徴を定めることができる。
【0047】
さらに、中間層４０４は、中間ノード４０４ａ、４０４ｂ、および４０４ｃを含む中間ノードのセットを含むことができる。各々の中間ノードは、画素のタイルを表すことができ、カーネルと重複する入力ノードのグループからスケーリングされた画素値を受け取ることができる。各々の中間ノードは、スケーリングされた画素値を合計して、畳み込み出力を生成することができる。例えば、中間ノード４０４ａは、スケーリングされた画素値ｐ０、ｐ１、ｐ２、およびｐ３に基づいて畳み込み出力ｃ０を生成することができ、中間ノード４０４ｂは、スケーリングされた画素値ｐ１、ｐ２、ｐ３、およびｐ４に基づいて畳み込み出力ｃ１を生成することができ、中間ノード４０４ｃは、スケーリングされた画素値ｐ２、ｐ３、ｐ４、およびｐ５に基づいて畳み込み出力ｃ２を生成することができる。各々の中間ノードは、重み配列［Ｗ２］に定められた重みのセットを用いて畳み込み出力をスケーリングすることができる。重み配列［Ｗ２］は、タイルが候補予測出力のうちの１つに分類される確率に対する畳み込み出力の寄与を定めることができる。重み配列［Ｗ２］もカーネルの一部であってよい。
【0048】
出力層４０６は、４０６ａ、４０６ｂ、などの１つ以上のノードを含む。各々のノードは、タイルに対応することができ、タイルが予測出力へと分類される確率を計算することができる。例えば、画素のタイルが腫瘍の一部であるかどうかを予測するためにＣＮＮ ４００が使用される場合、ノード４０６ａ、４０６ｂ、などの各々は、対応するタイルが腫瘍に分類される確率（例えば、ｐａ、ｐｂ、など）を出力することができる。次いで、領域モジュール２１６は、しきい値を超える確率を有する画素のタイルを、第２の医療画像１０４の第２の対象領域に含めることができる。
【0049】
図４Ｂが、ＣＮＮ４２０のさらなる詳細を示している。図４Ｂに示されるように、ＣＮＮ４２０は、以下の４つの主要な動作を含み得る：（１）畳み込み、（２）非線形活性化関数（例えば、ＲｅＬＵ）、（３）プーリングまたはサブサンプリング、および（４）分類。
【0050】
図４Ｂに示されるように、第２の医療画像１０４を、第１の重み配列セット（例えば、図４Ｂにおける［Ｗｓｔａｒｔ］）を使用して第１の畳み込みネットワーク４２６によって処理し得る。畳み込み演算の一部として、医療画像１０２の画素のブロックを第１の重み配列と乗算して、合計を生成することができる。次いで、各々の合計が非線形活性化関数（例えば、ＲｅＬＵ、ソフトマックス、など）によって処理されて、畳み込み出力が生成され、畳み込み出力は、出力行列４３０を形成することができる。第１の重み配列を、例えば、医療画像１０２から特定の基本特徴（例えば、エッジなど）を抽出するために使用することができ、出力行列４３０は、基本特徴マップとして基本特徴の分布を表すことができる。出力行列（または、特徴マップ）４３０をプーリング層４３２に渡してよく、出力行列４３０をプーリング層４３２によってサブサンプリングまたはダウンサンプリングして、行列４３４を生成してよい。
【0051】
行列４３４を、第２の重み配列（例えば、図４Ａにおける［Ｗ１］および［Ｗ２］）を使用して、図４Ａの入力層４０２および中間層４０４を含むことができる第２の畳み込みネットワーク４３６によって処理し得る。第２の重みアレイを、例えば、がん細胞の染色パターンを識別するために使用することができる。畳み込み演算の一部として、行列４３４の画素のブロックを第２の重み配列と乗算し、合計を生成することができる。次いで、各々の合計が非線形活性化関数（例えば、ＲｅＬＵ、ソフトマックス、など）によって処理されて、畳み込み出力が生成され、畳み込み出力は、出力行列４３８を形成することができる。さらに、非線形活性化関数（例えば、ＲｅＬＵ）が、第１の畳み込み層と同様に、第２の畳み込みネットワーク４３６によって実行されてもよい。第２の畳み込みネットワーク４３６からの出力行列４１８（または、特徴マップ）は、器官の種類を表す特徴の分布を表し得る。出力行列４３８をプーリング層４４０に渡してよく、出力行列４１８をサブサンプリングまたはダウンサンプリングして、行列４４２を生成してよい。
【0052】
次いで、行列４４２を、多層パーセプトロン（ＭＬＰ）を含むことができる全結合層４４６に通すことができる。全結合層４４６は、行列４４２に基づいて分類操作を実行することができる。分類出力は、例えば、図４Ａで説明したように、タイルががん細胞に分類される確率を含むことができる。全結合層４４６は、行列４４２を第３の重み配列（［Ｗ２］と標記）で乗算して合計を生成することもでき、合計を活性化関数（例えば、ＲｅＬｕ、ソフトマックス、など）によって処理し、確率の分布を生成することもできる。確率の分布に基づいて、領域モジュール２１６は、第２の対象領域２２４を決定することができる。
【0053】
Ｆ．学習に基づく相関
特徴抽出および対象領域決定に加えて、相関モジュール２１０は、２つの対象領域が互いに対応するかどうかの決定を自動化することもできる。再び図２Ａを参照すると、相関モジュール２１０は、相関の決定を実行するために、対象領域の他の相関ペアから学習することができる相関学習モジュール２２５を含むことができる。図４Ｃが、相関学習モジュール２２５の例示的な動作を示している。図４Ｃに示されるように、相関モジュール２１０は、対応する対象領域のペアを含む訓練データ４６０によって訓練することができる機械学習モデル４５０（例えば、ニューラルネットワーク、決定木、など）を含むことができる。訓練データ４６０は、例えば、対応する対象領域の形状、サイズ、および画素位置などの幾何学的情報を含むことができる。次いで、訓練済みの機械学習モデル４５０を、相関モジュール２１０によって使用することができる。機械学習モデル４５０は、第１の対象領域の幾何学的情報４６２および第２の対象領域の幾何学的情報４６４を入力として受信し、第１の対象領域と第２の対象領域とが互いに対応するかどうかの相関予測出力４６６を生成することができる。
特徴抽出および対象領域決定に加えて、相関モジュール２１０は、２つの対象領域が互いに対応するかどうかの決定を自動化することもできる。再び図２Ａを参照すると、相関モジュール２１０は、相関の決定を実行するために、対象領域の他の相関ペアから学習することができる相関学習モジュール２２５を含むことができる。図４Ｃが、相関学習モジュール２２５の例示的な動作を示している。図４Ｃに示されるように、相関モジュール２１０は、対応する対象領域のペアを含む訓練データ４６０によって訓練することができる機械学習モデル４５０（例えば、ニューラルネットワーク、決定木、など）を含むことができる。訓練データ４６０は、例えば、対応する対象領域の形状、サイズ、および画素位置などの幾何学的情報を含むことができる。次いで、訓練済みの機械学習モデル４５０を、相関モジュール２１０によって使用することができる。機械学習モデル４５０は、第１の対象領域の幾何学的情報４６２および第２の対象領域の幾何学的情報４６４を入力として受信し、第１の対象領域と第２の対象領域とが互いに対応するかどうかの相関予測出力４６６を生成することができる。
【0054】
Ｇ．表示モジュール
再び図２Ａを参照すると、マルチモーダルな医療画像の相関付けシステム２００は、表示域２０４ａにおける第１の医療画像１０２の表示および表示域２０４ｂにおける第２の医療画像１０４の表示を制御するための表示モジュール２５０をさらに含む。具体的には、マルチモーダルな医療画像の相関付けシステム２００は、表示調整入力モジュール２５２、表示同期モジュール２５４、およびオーバーレイモジュール２５６を含む。
再び図２Ａを参照すると、マルチモーダルな医療画像の相関付けシステム２００は、表示域２０４ａにおける第１の医療画像１０２の表示および表示域２０４ｂにおける第２の医療画像１０４の表示を制御するための表示モジュール２５０をさらに含む。具体的には、マルチモーダルな医療画像の相関付けシステム２００は、表示調整入力モジュール２５２、表示同期モジュール２５４、およびオーバーレイモジュール２５６を含む。
【0055】
表示調整入力モジュール２５２は、表示域２０４ａが第１の医療画像１０２を表示し、表示域２０４ｂが第２の医療画像１０４を表示しているときに、表示調整入力を受け取ることができる。表示調整入力を、表示域２０４ａまたは２０４ｂの一方を介して受け取り、入力を受け取る表示域内の第１の対象領域２２０または第２の対象領域２２４の一方の表示を調整することができる。表示調整入力は、例えば、拡大／縮小入力、平行移動入力、回転入力、などを含むことができる。表示同期モジュール２５４は、入力を受け取る表示域における対象領域の表示の調整を決定し、その表示域における対象領域の表示を調整することができる。加えて、調整の同期の一部として、表示同期モジュール２５４は、入力を受け取らない他の表示域における他の対象領域の表示も調整することができ、調整は、入力ならびに他の対象領域の幾何学的情報（例えば、画素位置、サイズ、形状、など）に基づいて行われる。同期の結果として、拡大の程度、対象領域のうちの表示用に選択された部分、対象領域の視点、などの表示のさまざまな設定が、両方の表示域に適用される。
【0056】
このような構成は、２つの対象領域間の視覚的な比較／相関を容易にすることができ、ひいては、医療画像に基づく臨床診断を容易にすることができる。例えば、第１の対象領域２２０が、身体のうちの腫瘍の存在を示す可能性がある（放射性標識グルコーストレーサからの）高い放射性レベルを有する部分を表し得る一方で、第２の対象領域２２４は、腫瘍細胞または正常細胞の染色パターンを表し得る。２つの対象領域の間の視覚的比較は、腫瘍の存在を確認し、かつ／または以前のがん手術によって健常組織以外のがん組織が除去されたことを確認することができる。
【0057】
図５Ａが、同期した拡大動作の一例を示している。状態５００において、表示域２０４ａは、第１の医療画像１０２、ならびにランドマーク２１８ａ～ｃおよび第１の対象領域２２０を、第１の表示拡大縮小倍率で表示することができる。さらに、表示域２０４ｂが、第２の医療画像１０４、ならびにランドマーク２２２ａ～ｃおよび第２の対象領域２２４を、第２の表示拡大縮小倍率で表示することができる。第１の医療画像１０２および第２の医療画像１０４を、異なる表示拡大縮小倍率および異なる拡大度で表示することができる。したがって、第１の対象領域２２０および第２の対象領域２２４を、異なるサイズを有するとして表示することができる。
【0058】
表示域２０４ａは、表示域２０４ａの第１の対象領域２２０を拡大するための拡大入力を受け取ることができ、表示域２０４ａおよび２０４ｂの両方が、状態５１０に遷移することができる。状態５１０において、拡大入力に基づいて、表示同期モジュール２５４は、拡大度を計算し、第１の対象領域２２０ならびに第１の対象領域２２０の周りの第１の医療画像１０２のいくつかの部分を、拡大度によって表示域２０４ａにおいて拡大することができる。さらに、表示同期モジュール２５４は、第２の対象領域２２４および第２の医療画像１０４におけるその位置を（例えば、対応情報２０６に基づいて）特定し、表示域２０４ｂにおいて同じ拡大度で第２の対象領域２２４を拡大することができる。同じ拡大度ゆえに、第１の対象領域２２０および第２の対象領域２２４は同じスケールで表示され、同じサイズを有する。
【0059】
図５Ｂが、同期した平行移動動作の一例を示している。平行移動入力（例えば、左平行移動／右平行移動／上平行移動／下平行移動の入力）に基づいて、表示域２０４ａおよび２０４ｂは、図５Ａの状態５１０から、表示域２０４ａが第１の対象領域２２０の右側部分５１２ならびにランドマーク２１８ｃを表示する状態５２０に遷移することができる。さらに、状態５２０の一部として、表示域２０４ｂは、第２の対象領域２２４の右側部分５２２ならびにランドマーク２２２ｃを表示する。第１の対象領域２２０の右側部分５１２を、第２の対象領域２２４の右側部分５２２と同じスケールおよび拡大度で表示することができ、対象領域の同じ範囲／部分ならびに対応するランドマーク２１８ｃおよび２２２ｃが、両方の表示域に表示される。
【0060】
拡大動作および平行移動動作に加えて、表示同期モジュール２５４はまた、両方の表示域における対象領域の回転（２Ｄまたは３Ｄ）を同期させることもできる。例えば、表示同期モジュール２５４は、表示域２０４ａにおいて或る角度だけ第１の対象領域２２０（および、第１の医療画像１０２）を回転させる入力を受信し得る。入力に基づいて、表示同期モジュール２５４は、表示域２０４ｂにおいて同じ角度だけ第２の対象領域２２４（および、第２の医療画像１０４）を回転させることができる。
【0061】
第１の対象領域２２０および第２の対象領域２２４のそれぞれの表示域における表示の同期に加えて、表示モジュール２５０は、他の種類の表示動作も実行することができる。例えば、表示モジュール２５０は、表示域（例えば、表示域２０４ａ、２０４ｂ、または別の表示域）を制御して、その表示域に第１の医療画像１０２および第２の医療画像１０４の両方の表示を、第１の対象領域２２０および第２の対象領域２２４が同じスケールで、一方の対象領域が他方の対象領域に重ねられて表示されるように行うオーバーレイモジュール２５６を含む。図５Ｃが、半透明形式にされた第１の対象領域２２０が第２の対象領域２２４に重ねられた例を示している。このような構成は、第１の対象領域２２０と第２の対象領域２２４との間の視覚的比較をさらに支援することができ、したがって、上述のように医療画像に基づく臨床診断を容易にすることができる。
【0062】
再び図２Ａを参照すると、医療画像の表示に加えて、マルチモーダルな医療画像の相関付けシステム２００は、相関モジュール２１０の出力に基づいて追加の分析を実行するための分析モジュール２６０をさらに含み得る。図６が、分析モジュール２６０の内部構成要素の例を示している。図６に示されるとおり、分析モジュール２６０は、がん診断モジュール６０２、外科処置検証モジュール６０４、および組織分類モジュール６０６を含み得る。
【0063】
がん診断モジュール６０２は、第１の対象領域２２０と第２の対象領域２２４との間の相関に基づいて診断予測を出力することができる。例えば、ＰＥＴスキャン画像内にあってよい第１の対象領域２２０を、腫瘍の存在を示すことができる（放射性標識グルコーストレーサからの）高い放射性レベルを有していることに基づいて特定し得る。第２の対象領域２２４は、がん細胞を含むと判定される染色パターンを含み得る。対応領域モジュール２２１が、これらの対象領域が互いに対応すると判定した場合、がん診断モジュール６０２は、被験者に関するがんの診断予測、ならびに被験者におけるがん細胞／腫瘍の位置を出力することができる。
【0064】
さらに、外科処置検証モジュール６０４は、第１の対象領域２２０と第２の対象領域２２４との間の相関に基づいて外科処置検証動作を実行することができる。具体的には、第１の医療画像１０２は、腫瘍を含む組織を除去する手術の前に被験者について撮影されてよく、腫瘍が第１の対象領域２２０で検出および捕捉される。さらに、第２の医療画像１０４が、手術後に除去された組織について撮影されてよく、疑わしいがん細胞が、第２の対象領域２２２で検出および捕捉される。対応領域モジュール２２１が、第１の対象領域２２０と第２の対象領域２２４とが互いに対応すると判定した場合、外科処置検証モジュール６０４は、手術が健常な組織ではなくて腫瘍を正しく除去する可能性が高いことを示す検証出力を生成することができる。
【0065】
さらに、組織分類モジュール６０６は、第１の対象領域２２０と第２の対象領域２２４との間の相関に基づいて組織分類動作を実行することができる。例えば、第１の対象領域２２０を含む第１の医療画像１０２は、組織／器官の種類、または被験者の身体のどの部分が医療画像に取り込まれたかを示すメタデータを含み得る。対応領域モジュール２２１が、第１の対象領域２２０と第２の対象領域２２４とが互いに対応すると判定した場合、組織分類モジュール６０６は、第１の医療画像１０２のメタデータに基づいて、第２の医療画像１０４に取り込まれた組織を分類することができる。第２の医療画像１０４も画像に取り込まれた組織を特定するメタデータを含む場合、組織分類モジュール６０６は、生じ得る不一致を検出するために、２つの医療画像間でメタデータを検証することもできる。分類は、第２の医療画像１０４の追加の処理を決定することもできる。例えば、上述したように、第２の医療画像１０４に取り込まれた組織が前立腺組織であると判定される場合、他の種類のがん（例えば、肺がん）よりもむしろ前立腺がんに関連する腫瘍に関連する特定のパターンを検出するように、第２の医療画像１０４を処理することができる。
【0066】
ＩＩＩ．グラフィカルユーザインターフェースの例
図７Ａ、図７Ｂ、図７Ｃ、図７Ｄ、図７Ｅ、および図７Ｆが、マルチモーダルな医療画像の相関付けシステム２００によってサポートされるＧＵＩ ２０４およびその動作の例を示している。図７Ａに示されるように、ＧＵＩ ２０４は、表示域２０４ａ、表示域２０４ｂ、サイドパネル７０２、およびオプションメニュー７０４を含む。図７Ａに示される例において、表示域２０４ａが第１の医療画像１０２を表示する一方で、表示域２０４ｂが第２の医療画像１０４を表示する。医療画像を異なるスケールで表示することができる。サイドパネル７０２は、被験者の情報、画像の出所、などの両方の画像のメタデータに含まれる情報の一部を表示することができる。オプションメニュー７０４は、一方の表示域において一方の画像を拡大するための拡大選択肢７０６と、両方の画像に対応するランドマークを追加するための選択肢７０８とを含む。選択肢７０８は、図２Ａのランドマークモジュール２１２によって提供される対応入力選択の選択肢２１４に対応する。
図７Ａ、図７Ｂ、図７Ｃ、図７Ｄ、図７Ｅ、および図７Ｆが、マルチモーダルな医療画像の相関付けシステム２００によってサポートされるＧＵＩ ２０４およびその動作の例を示している。図７Ａに示されるように、ＧＵＩ ２０４は、表示域２０４ａ、表示域２０４ｂ、サイドパネル７０２、およびオプションメニュー７０４を含む。図７Ａに示される例において、表示域２０４ａが第１の医療画像１０２を表示する一方で、表示域２０４ｂが第２の医療画像１０４を表示する。医療画像を異なるスケールで表示することができる。サイドパネル７０２は、被験者の情報、画像の出所、などの両方の画像のメタデータに含まれる情報の一部を表示することができる。オプションメニュー７０４は、一方の表示域において一方の画像を拡大するための拡大選択肢７０６と、両方の画像に対応するランドマークを追加するための選択肢７０８とを含む。選択肢７０８は、図２Ａのランドマークモジュール２１２によって提供される対応入力選択の選択肢２１４に対応する。
【0067】
図７Ｂが、選択肢７０８を介してユーザからランドマーク２１８ａ～２１８ｃの選択を受信した後のＧＵＩ ２０４の状態を示している。ランドマークを、表示域２０４ａにおいてタッチスクリーンなどの任意の入力デバイスを使用して選択することができる。ランドマークモジュール２１２は、表示域２０４ａが選択を受け取る位置、ならびに第１の医療画像１０２を表示する際に表示域２０４ａによって適用される表示拡大縮小倍率に基づいて、第１の医療画像１０２内のランドマークの画素位置を決定することができる。選択を受け取った後に、領域モジュール２１６は、ランドマーク２１８ａ～２１８ｃの画素位置に基づいて第１の対象領域２２０を決定することができる。
【0068】
表示域２０４ａの第１の医療画像１０２のランドマーク２１８ａ～２１８ｃの選択に続いて、ＧＵＩ ２０４は、表示域２０４ｂの第２の医療画像１０４のランドマークの選択を受け取ることができる。第２の医療画像１０４のランドマークの選択を、第２の医療画像１０４が拡大されたときに行うことができる。例えば、図７Ｃを参照すると、ＧＵＩ ２０４は、第２の医療画像１０４を拡大するために拡大選択肢７０６が選択されたことを検出し得る。次いで、ＧＵＩ ２０４は、画像が拡大された形態で表示されたときに、第２の医療画像１０４のランドマークの選択を受け取ることができる。拡大選択肢７０６を受信すると、ＧＵＩ ２０４は、第２の医療画像１０４を表示域２０４ｂに表示することができる。ＧＵＩ ２０４は、拡大すべき第２の医療画像１０４内の領域の選択を検出することもできる。
【0069】
図７Ｄにおいて、ＧＵＩ ２０４は、拡大すべき第２の医療画像１０４内の領域７１０の選択を検出することができる。次いで、表示域２０４ｂは、第２の医療画像１０４の領域７１０を拡大したスケールにて（例えば、小さい表示拡大縮小倍率で）表示することができる。さらに、表示域２０４ｂは、ランドマーク２２２ａ～２２２ｃの選択を受け取ることができる。ランドマークモジュール２１２は、表示域２０４ｂが選択を受け取る位置、ならびに拡大されたスケールで第２の医療画像１０４を表示する際に表示域２０４ｂによって適用される表示拡大縮小倍率に基づいて、第２の医療画像１０４内のランドマークの画素位置を決定することができる。選択を受け取った後に、領域モジュール２１６は、ランドマーク２２２ａ～２２２ｃの画素位置に基づいて第２の対象領域２２４を決定することができる。
【0070】
図７Ｅおよび図７Ｆは、３Ｄ ＰＥＴ画像およびデジタル病理画像における領域の相関をサポートする際のＧＵＩ ２０４のさらなる例を示している。図７Ｅを参照すると、ＧＵＩ ２０４は、表示域２０４ａおよび２０４ｂに加えて、表示域２０４ｃおよび２０４ｄを提供することができる。表示域２０４ａ、２０４ｃ、および２０４ｄは、３Ｄ ＰＥＴ画像の異なるビューを示すことができる。例えば、表示域２０４ａは、被験者の身体の軸方向／横断ビューの医療画像７１２を示すことができ、表示域２０４ｃは、被験者の身体の冠状／正面ビューの医療画像７１４を示すことができ、表示域２０４ｄは、被験者の身体の矢状／縦方向ビューの医療画像７１６を示すことができる。他方で、表示域２０４ｂは、デジタル病理画像７１８を示すことができる。
【0071】
ＧＵＩ ２０４は、表示域２０４ａ、２０４ｃ、または２０４ｄのうちの１つで３Ｄ ＰＥＴ画像内の対象領域７２０を示すためのランドマーク７１８ａ～ｃの選択を受け取ってよい。ランドマークの選択を受け取ると、ＧＵＩ ２０４は、ランドマーク７１８ａ～ｃおよび対象領域７２０の三次元座標を決定することができる。三次元座標を、ランドマークが選択された医療画像内の二次元画素座標、ならびに図３Ｂで上述したように３Ｄ ＰＥＴ画像内の医療画像によって表される位置に基づいて決定することができる。例えば、ランドマークが被験者の身体の軸方向ビューの医療画像７１２から選択される場合、長手方向座標を、３Ｄ ＰＥＴ画像内の医療画像７１２によって表される長手方向位置に基づいて決定することができる。次いで、ＧＵＩ ２０４は、三次元座標を他の表示域に示される他の医療画像内の画素座標に変換し、それらの医療画像内にランドマークおよび対象領域を示すことができる。さらに、ＧＵＩ ２０４は、表示域２０４ｂに示されたデジタル病理画像７１８におけるランドマーク７２８ａ～７２８ｃおよび対象領域７３０の選択を検出し、３Ｄ ＰＥＴ画像およびデジタル病理画像７１８におけるランドマーク、およびそれらの対応関係を、相関データベース２０２に相関情報２０６の一部として格納することができる。
【0072】
いくつかの例において、相関情報２０６は、３Ｄ ＰＥＴ画像とデジタル病理画像との間の位置対応を示し得る。位置対応は、３Ｄ ＰＥＴ画像内の各２Ｄ ＰＥＴ画像の長手方向位置、およびデジタル病理画像に取り込まれた被験者の体内の組織スライドの長手方向位置に基づくことができる。相関情報に基づいて、ＧＵＩ ２０４は、対応する２Ｄ ＰＥＴ画像およびデジタル病理画像のペアを取り出すことができる。例えば、図７Ｆに示されるように、相関情報２０６に基づいて、ＧＵＩ ２０４は、デジタル病理画像７２８が医療画像７１２に対応すると判定することができる。ＧＵＩ ２０４は、医療画像７１２ならびに選択されたランドマーク７１８ａ～ｃおよび対象領域７２０を表示域２０４ａに表示し、デジタル病理画像７２８を表示域２０４ｂに表示することができる。
【0073】
ＩＶ．方法
図８が、マルチモーダルな医療画像を表示する方法８００を示している。方法８００を、マルチモーダルな医療画像の相関付けシステム２００によって実行することができる。
図８が、マルチモーダルな医療画像を表示する方法８００を示している。方法８００を、マルチモーダルな医療画像の相関付けシステム２００によって実行することができる。
【0074】
方法８００は、システムが１つ以上のデータベースから第１の医療画像にアクセスするステップ８０２で開始する。さらに、ステップ８０４において、システムは、１つ以上のデータベースから第２の医療画像にアクセスする。
【0075】
具体的には、第１の医療画像が、被験者の体内の放射性レベルの分布を明らかにするＰＥＴ画像などのデジタル放射線画像を含むことができる一方で、第２の医療画像は、被験者の組織のデジタル病理画像を含むことができる。いくつかの例において、ＰＥＴ画像に示される放射性レベルの分布が、被験者の体内に存在しうる腫瘍の位置を特定することができる一方で、デジタル病理画像は、疑わしい腫瘍細胞を明らかにするために染色（例えば、Ｈ＆Ｅ染色、ＩＨＣ染色、蛍光タグ付け、など）および／または照明（例えば、蛍光照明、明視野照明、など）された被験者から収集された試料（例えば、組織標本）の画像を含むことができる。いくつかの例においては、第１の医療画像および第２の医療画像の両方が、デジタル放射線画像またはデジタル病理画像を含むことができるが、それらは、異なる情報を明らかにするために異なる技術（例えば、異なる種類の染色、異なる種類の照明、など）を使用して取得される。１つ以上のデータベースは、デジタル放射線画像データベース１３０、デジタル病理画像データベース１４０、などを含んでよく、例えば、電子医療記録（ＥＭＲ）システム、画像保存通信システム（ＰＡＣＳ）、デジタルパソロジー（ＤＰ）システム、検査室情報システム（ＬＩＳ）、および放射線科情報システム（ＲＩＳ）の一部であることができる。
【0076】
ステップ８０６において、システムは、グラフィカルユーザインターフェース（ＧＵＩ）を介して、第１の医療画像内の第１の対象領域の選択に対応する選択入力を受信する。
【0077】
具体的には、システムは、ＧＵＩ ２０４などのＧＵＩを提供し得る。選択入力の例は、図７Ａ～図７Ｆに示される。選択入力は、１つ以上の第１のランドマーク点としての第１の医療画像内の１つ以上の第１の画像位置の選択を含むことができる。第１の対象領域は、第１のランドマーク点を包含することができる。第１の対象領域は、第１のランドマーク点の数に基づくことができる三角形、長方形、自由形状、などの種々の幾何学的形状であり得る。例えば、第１の対象領域は、被験者の体内に注入された放射性標識グルコーストレーサを代謝する腫瘍の存在を示し得る放射性レベルを有するＰＥＴ画像内の領域に対応することができる。いくつかの例において、選択入力は、ユーザによる第１の対象領域の直接選択を含むこともできる。いくつかの例において、マルチモーダルな医療画像の相関付けシステムの画像処理アプリケーションは、ＰＥＴ画像に現れた放射性レベルをしきい値と比較することによって第１の医療画像を処理することができる。比較結果に基づいて、第１の画像内の１つ以上の候補の第１の対象領域を定めることができる。例えば、第１の画像内の１つ以上の候補の第１の対象領域を、しきい値よりも高い放射性レベルを有する領域に基づいて定めることができる。被験者の体内に複数の疑わしい腫瘍部位が存在する場合、複数の候補の第１の対象領域が特定され得る。選択入力をユーザから受信して、候補の第１の対象領域のうちの１つを、例えば、被験者の身体の特定の位置の腫瘍部位に対応する第１の対象領域として選択することができる。選択入力に基づいて、システムは、例えば、第１の対象領域の第１の位置（例えば、中心位置）、第１の対象領域の形状、第１の対象領域のサイズ、などを含む第１の対象領域のさまざまな情報を決定することができる。
【0078】
ステップ８０８において、システムは、第１の対象領域に基づく第２の医療画像内の第２の対象領域であって、同じ組織に対応する、第２の医療画像内の第２の対象領域を決定する。
【0079】
具体的には、第２の対象領域を、例えば、第１の対象領域によって表される組織（例えば、腫瘍組織）を決定し、次いで、同じ組織（例えば、同じ腫瘍組織）に対応する第２の医療画像内の第２の対象領域を特定することに基づいて決定することができる。いくつかの例において、決定は、ユーザからの第２の選択入力の受信に基づくことができる。第２の選択入力は、第２の医療画像内の１つ以上の第２の画像位置を１つ以上の第２のランドマーク点として選択することを含んでよく、第２の対象領域は、第２のランドマーク点を包含することができる。いくつかの例において、情報をユーザからの入力に基づいて決定することも可能である。例えば、図７Ａ～図７Ｆに示されるように、ＧＵＩは、第１の医療画像内および第２の医療画像内の一対の対応する対象領域のランドマーク点を入力するための対応する対象領域の入力選択肢を提供し得る。対応する対象領域の入力選択肢を介して第１および第２のランドマーク点を受信することにより、マルチモーダルな医療画像の相関付けシステムは、第１の対象領域および第２の対象領域が同じ組織に対応することを示す情報を決定することができる。さらに、システムは、第２の医療画像内のランドマーク点に基づいて、例えば、第２の対象領域の第２の位置（例えば、中心位置）、第２の対象領域の形状、第２の対象領域のサイズ、などを含む第２の対象領域のさまざまな情報を決定することができる。
【0080】
いくつかの例においては、図５Ａ～図５Ｃを参照すると、第２の対象領域を、マルチモーダルな医療画像の相関付けシステムの機械学習モデルによって決定することもできる。機械学習モデルは、第２の医療画像の各画素について、その画素が組織に属する尤度を決定し、尤度がしきい値を超える場合に、画素が組織に属し、その画素が第２の対象領域に含まれると分類することができる。分類結果に基づいて、マルチモーダルな医療画像の相関付けシステムは、次いで、組織の一部として分類された画素を含むように第２の医療画像内の第２の対象領域を決定することができる。いくつかの例において、機械学習モデルは、複数の層を備える深層畳み込みニューラルネットワーク（ＣＮＮ）を含むことができる。ＣＮＮは、第２の医療画像と組織の特徴を表す重み行列との間で畳み込み演算を実行して、画素が組織に属する尤度を計算し、第２の対象領域の一部である画素を決定することができる。次いで、システムは、第２の対象領域の一部であると決定された画素に基づいて、例えば、第２の対象領域の第２の位置（例えば、中心位置）、第２の対象領域の形状、第２の対象領域のサイズ、などを含む第２の対象領域のさまざまな情報を決定することができる。
【0081】
ステップ８１０において、システムは、第１の対象領域を第２の対象領域に関連付ける対応情報を記憶する。
【0082】
対応情報の例が、図３Ａ～図３Ｃに示されている。対応情報は、第１の対象領域の１つ以上の第１の位置、第２の対象領域の１つ以上の第２の位置、および第１の対象領域と第２の対象領域との間の対応関係を示すことができる。第１および第２の位置は、例えば、第１の対象領域および第２の対象領域の境界位置、中心位置、などを含むことができる。いくつかの例において、対応情報は、第１の対象領域の第１の位置および第２の対象領域の第２の位置をそれぞれ定めることができる第１のランドマークおよび第２のランドマークの画素位置を含むことができる。いくつかの例において、対応情報は、第１の対象領域および第２の対象領域の境界の位置、第１の医療画像および第２の医療画像のファイル名、対象領域に表される組織の種類、などの追加情報をさらに含み得る。いくつかの例において、対応情報は、第１の対象領域を第２の対象領域にマッピングするマッピングテーブルなどのデータ構造を含み得る。いくつかの例において、第１の医療画像は、３Ｄ ＰＥＴ画像の一部であってよく、マッピングテーブルは、第１の対象領域の三次元座標を含むことができる。マッピングテーブルは、両方の医療画像が２Ｄ画像である場合、第１の医療画像の電子ファイル名を第２の医療画像にマッピングすることもできる。第１の医療画像が異なる長手方向位置で取得された複数の２Ｄ ＰＥＴ画像を含む３Ｄ ＰＥＴ画像の一部である場合、マッピングテーブルは、複数の２Ｄ ＰＥＴ画像内の第１の対象領域を複数の第２の医療画像内の第２の対象領域にマッピングすることができる。このような構成は、マルチモーダルな医療画像の相関付けシステムが、第１の医療画像および第２の医療画像にアクセスした後に、マッピングテーブルおよび対象領域の情報にアクセスすることを可能にする。
【0083】
ステップ８１２において、システムは、ＧＵＩの第１の表示域に、前記第１の医療画像と、第１の医療画像内の第１の対象領域の第１の指示とを表示する。さらに、ステップ８１４において、システムは、ＧＵＩの第２の表示域に、第２の医療画像と、第２の医療画像内の第２の対象領域の第２の指示とを表示する。図７Ａ～図７Ｆを参照すると、対象領域の指示は、対象領域を定めるランドマーク、対象領域を表す幾何学的形状、さまざまな形式の注釈など、さまざまな形式であり得る。
【0084】
ステップ８１６において、システムは、第１の表示域または第２の表示域のうちの一方における第１の対象領域または第２の対象領域のうちの一方の表示を調整するために介して表示調整入力を受信する。表示調整入力は、例えば、表示調整入力を受信する表示域における対象領域の表示を調整するための拡大／縮小入力、平行移動入力、回転入力、などを含むことができる。
【0085】
ステップ８１８において、システムは、表示調整入力および対応情報に基づいて、第１の表示域における第１の対象領域の表示の調整と、第２の表示域における第２の対象領域の表示の調整とを同期させる。
【0086】
マルチモーダルな医療画像の相関付けシステムは、表示調整入力および対応情報に基づいて同期を実行することができる。同期の結果として、両方の表示域が第１および第２の医療画像内の同じ座標セットによって示される同じ領域を表示することができるように、拡大の程度、対象領域のうちの表示用に選択された部分、対象領域の視点、などの表示のさまざまな設定が両方の表示域に適用される。例えば、第１の表示域内の第１の対象領域を拡大するための拡大入力が第１の表示域において受信された場合、マルチモーダルな医療画像の相関付けシステムは、拡大入力に基づいて拡大の程度を計算し、拡大の程度によって第１の表示域内の第１の対象領域を拡大することができる。さらに、マルチモーダルな医療画像の相関付けシステムは、（対応情報に基づいて）第２の医療画像の第２の位置の第２の対象領域を特定し、第１の対象領域と第２の対象領域とが同じスケールで表示されるように、第２の表示域において第２の対象領域を同じ倍率で拡大することができる。別の例として、第１の対象領域の選択された部分に平行移動するための平行移動入力が第１の表示域において受信され、マルチモーダルな医療画像の相関付けシステムは、第１の対象領域の選択された部分を表示することができる。さらに、第１の対象領域の第１の位置と第２の対象領域の第２の位置との間のマッピングに基づいて、マルチモーダルな医療画像の相関付けシステムは、第２の対象領域の対応する部分を決定し、第２の対象領域の対応する部分を第２の表示域に表示することができる。
【0087】
Ｖ．コンピュータシステム
本明細書で言及されるコンピュータシステムはいずれも、任意の適切な数のサブシステムを利用し得る。そのようなサブシステムの例が、コンピュータシステム１０（１つ以上のローカル展開を容易にし得る１つ以上のクラウドコンピュータを含んでよい）において図９に示されている。いくつかの実施形態において、コンピュータシステムは、単一のコンピュータ装置を含み、サブシステムは、コンピュータ装置のコンポーネントであってよい。他の実施形態において、コンピュータシステムは、各々が内部コンポーネントを有するサブシステムである複数のコンピュータ装置を含むことができる。コンピュータシステムは、デスクトップおよびラップトップコンピュータ、タブレット、携帯電話機、ならびに他のモバイルデバイスを含むことができる。いくつかの実施形態においては、クラウドインフラストラクチャ（例えば、Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ）やグラフィカル処理ユニット（ＧＰＵ）などを、開示された技術を実装するために使用することができる。
本明細書で言及されるコンピュータシステムはいずれも、任意の適切な数のサブシステムを利用し得る。そのようなサブシステムの例が、コンピュータシステム１０（１つ以上のローカル展開を容易にし得る１つ以上のクラウドコンピュータを含んでよい）において図９に示されている。いくつかの実施形態において、コンピュータシステムは、単一のコンピュータ装置を含み、サブシステムは、コンピュータ装置のコンポーネントであってよい。他の実施形態において、コンピュータシステムは、各々が内部コンポーネントを有するサブシステムである複数のコンピュータ装置を含むことができる。コンピュータシステムは、デスクトップおよびラップトップコンピュータ、タブレット、携帯電話機、ならびに他のモバイルデバイスを含むことができる。いくつかの実施形態においては、クラウドインフラストラクチャ（例えば、Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ）やグラフィカル処理ユニット（ＧＰＵ）などを、開示された技術を実装するために使用することができる。
【0088】
図１０に示されるサブシステムは、システムバス７５を介して相互接続される。プリンタ７４、キーボード７８、記憶装置７９、ディスプレイアダプタ８２に結合したモニタ７６、などの追加のサブシステムが示されている。Ｉ／Ｏコントローラ７１に結合する周辺機器および入力／出力（Ｉ／Ｏ）デバイスを、入力／出力（Ｉ／Ｏ）ポート７７（例えば、ＵＳＢ、ＦｉｒｅＷｉｒｅ（登録商標））などの当技術分野で知られている任意のいくつかの手段によって、コンピュータシステムに接続することができる。例えば、Ｉ／Ｏポート７７または外部インターフェース８１（例えば、イーサネット、Ｗｉ－Ｆｉ、など）を、コンピュータシステム図１０をインターネットなどのワイドエリアネットワーク、マウス入力装置、またはスキャナに接続するために使用することができる。Ｉ／Ｏポート７７は、周辺装置（例えば、コンピュータマウス）から入力（例えば、ランドマークの選択、表示調整入力、など）を受信し、入力をＧＵＩ ２０４に提供することができる。システムバス７５を介した相互接続により、中央処理装置７３は、各サブシステムと通信し、システムメモリ７２または記憶装置７９（例えば、ハードドライブなどの固定ディスク、または光学ディスク）からの複数の命令の実行、ならびにサブシステム間の情報の交換を制御することができる。システムメモリ７２および／または記憶装置７９は、コンピュータ可読媒体を具現化し得る。別のサブシステムは、カメラ、デジタル病理画像用のデジタルスキャナ、放射線画像用の撮像スキャナ、などのデータ収集装置８５である。本明細書において言及されたあらゆるデータを、或るコンポーネントから別のコンポーネントへと出力すること、およびユーザへと出力することが可能である。
【0089】
コンピュータシステムは、例えば外部インターフェース８１または内部インターフェースによって互いに接続された複数の同じコンポーネントまたはサブシステムを含むことができる。いくつかの実施形態において、コンピュータシステム、サブシステム、または装置は、ネットワークを介して通信することができる。このような場合、或るコンピュータをクライアントと見なし、別のコンピュータをサーバと見なすことができ、各々が同じコンピュータシステムの一部であってよい。クライアントおよびサーバはそれぞれ、複数のシステム、サブシステム、またはコンポーネントを含むことができる。
【0090】
実施形態の態様は、ハードウェア（例えば、特定用途向け集積回路またはフィールドプログラマブルゲートアレイ）を使用し、さらには／あるいは一般的にプログラム可能なプロセッサとともにコンピュータソフトウェアを使用して、モジュール方式または統合方式で、制御ロジックの形態で実装され得る。本明細書において使用されるとき、プロセッサは、シングルコアプロセッサ、同じ集積チップ上のマルチコアプロセッサ、あるいは単一の回路基板上またはネットワーク化された複数の処理ユニットを含む。本明細書で提供される開示および教示に基づいて、当業者は、ハードウェアおよびハードウェアとソフトウェアとの組み合わせを使用して本発明の実施形態を実施するための他のやり方および／または方法を知り、理解するであろう。
【0091】
図２Ａ～図９に記載されているようなマルチモーダルな医療画像の相関付けシステム２００をその構成要素として含む本出願に記載されるソフトウェア構成要素または機能はいずれも、例えば、Ｊａｖａ、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｓｗｉｆｔ、あるいはＰｅｒｌまたはＰｙｔｈｏｎなどのスクリプト言語などの任意の適切なコンピュータ言語を使用し、例えば、従来技術またはオブジェクト指向技術を使用して、プロセッサによって実行されるソフトウェアコードとして実装されてよい。ソフトウェアコードは、記憶および／または伝送のためにコンピュータ可読媒体上に一連の命令またはコマンドとして記憶されてよい。適切な非一時的コンピュータ可読媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ハードドライブまたはフロッピーディスクなどの磁気媒体、あるいはコンパクトディスク（ＣＤ）またはＤＶＤ（デジタル多用途ディスク）などの光学媒体、フラッシュメモリ、などを含むことができる。コンピュータ可読媒体は、このような記憶デバイスまたは伝送デバイスの任意の組み合わせであってもよい。
【0092】
このようなプログラムは、インターネットを含むさまざまなプロトコルに準拠した有線、光、および／または無線ネットワークを介した伝送に合わせて構成されたキャリア信号を使用してエンコードされ、送信されてもよい。したがって、コンピュータ可読媒体を、そのようなプログラムでエンコードされたデータ信号を使用して生成し得る。プログラムコードでエンコードされたコンピュータ可読媒体は、互換性のあるデバイスとともにパッケージ化されても、他のデバイスとは別個に（例えば、インターネットダウンロードを介して）提供されてもよい。このようなコンピュータ可読媒体はいずれも、単一のコンピュータ製品（例えば、ハードドライブ、ＣＤ、またはコンピュータシステム全体）上、またはその内部に位置してもよく、システムまたはネットワーク内の異なるコンピュータ製品上、またはその内部に存在してもよい。コンピュータシステムは、本明細書で言及される結果のいずれかをユーザに提供するためのモニタ、プリンタ、または他の適切な表示装置を含み得る。
【0093】
本明細書に記載される方法はいずれも、ステップを実行するように構成され得る１つ以上のプロセッサを含むコンピュータシステムを用いて全体的に、または部分的に実行されてよい。したがって、実施形態は、本明細書に記載のいずれかの方法のステップを実行するように構成され、おそらくはそれぞれのステップまたはそれぞれのステップ群を実行する異なる構成要素を備えているコンピュータシステムを対象とすることができる。番号付けされたステップとして提示されているが、本明細書の方法のステップは、同時にまたは異なる順序で実行され得る。加えて、これらのステップの一部は、他の方法からの他のステップの一部とともに使用されてもよい。また、ステップのすべてまたは一部は任意であってよい。さらに、いずれの方法のいずれのステップも、これらのステップを実行するためのモジュール、ユニット、回路、または他の手段を用いて実行され得る。
【0094】
特定の実施形態の具体的な詳細は、本発明の実施形態の精神および範囲から逸脱することなく、任意の適切なやり方で組み合わせられてよい。しかしながら、本発明の他の実施形態は、各々の個々の態様、またはこれらの個々の態様の特定の組み合わせに関する特定の実施形態を対象とし得る。
【0095】
本発明の例示的な実施形態の上記の説明は、例示および説明の目的で提示されている。網羅的であることや、本発明を記載された厳密な形態に限定することは意図されておらず、上記の教示に照らして多数の修正および変形が可能である。
【0096】
「１つの（ａ）」、「１つの（ａｎ）」、または「その（ｔｈｅ）」という記述は、そうでないことが具体的に示されない限り、「１つ以上の」を意味することが意図されている。「または（ｏｒ）」の使用は、「包括的論理和（ｉｎｃｌｕｓｉｖｅ ｏｒ）」を意味するものであり、そうでないことが具体的に示されない限り、「排他的論理和（ｅｘｃｌｕｓｉｖｅ ｏｒ）」を意味することは意図されていない。「第１の」構成要素への言及は、第２の構成要素が提供されることを必ずしも必要としない。さらに、「第１の」または「第２の」構成要素への言及は、明示的に規定されない限り、言及された構成要素を特定の位置に限定しない。
【0097】
本明細書で言及されるすべての特許、特許出願、刊行物、および説明文は、あらゆる目的に関して、それらの全体が参照によって援用される。いずれも先行技術であると認めたものではない。
【図1A】
【図1B】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図7F】
【図8】
【図9】
【国際調査報告】